CN112741609B - 电子装置、电子装置的控制方法以及介质 - Google Patents

电子装置、电子装置的控制方法以及介质 Download PDF

Info

Publication number
CN112741609B
CN112741609B CN202011167161.1A CN202011167161A CN112741609B CN 112741609 B CN112741609 B CN 112741609B CN 202011167161 A CN202011167161 A CN 202011167161A CN 112741609 B CN112741609 B CN 112741609B
Authority
CN
China
Prior art keywords
pulse wave
display
image
wave information
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011167161.1A
Other languages
English (en)
Other versions
CN112741609A (zh
Inventor
大塚利彦
富田高弘
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Casio Computer Co Ltd
Original Assignee
Casio Computer Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Casio Computer Co Ltd filed Critical Casio Computer Co Ltd
Publication of CN112741609A publication Critical patent/CN112741609A/zh
Application granted granted Critical
Publication of CN112741609B publication Critical patent/CN112741609B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/02Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/026Measuring blood flow
    • A61B5/0261Measuring blood flow using optical means, e.g. infrared light
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/02Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which colour is displayed
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/02Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/026Measuring blood flow
    • A61B5/0295Measuring blood flow using plethysmography, i.e. measuring the variations in the volume of a body part as modified by the circulation of blood therethrough, e.g. impedance plethysmography
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/02Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/021Measuring pressure in heart or blood vessels
    • A61B5/02108Measuring pressure in heart or blood vessels from analysis of pulse wave characteristics
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/02Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/026Measuring blood flow
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/02Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/026Measuring blood flow
    • A61B5/0285Measuring or recording phase velocity of blood waves
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1126Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
    • A61B5/1128Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using image analysis
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/48Other medical applications
    • A61B5/486Bio-feedback
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/74Details of notification to user or communication with user or patient ; user input means
    • A61B5/742Details of notification to user or communication with user or patient ; user input means using visual displays
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/10Intensity circuits
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2503/00Evaluating a particular growth phase or type of persons or animals
    • A61B2503/12Healthy persons not otherwise provided for, e.g. subjects of a marketing survey
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/06Adjustment of display parameters
    • G09G2320/0626Adjustment of display parameters for control of overall brightness
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00Aspects of interface with display user
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2380/00Specific applications
    • G09G2380/08Biomedical applications

Abstract

本发明提供电子装置、电子装置的控制方法以及介质,能视觉上易于理解地示出血流变动。电子装置(1)具备信息取得部(112)、显示信息决定部(113)和显示控制部(115)。信息取得部(112)基于通过至少对身体的一部分进行摄像而得到的第1影像中的身体的影像信息来取得表示身体的一部分的脉搏波的第1脉搏波信息,基于通过第1影像之后对所述身体的一部分摄像而得到的第2影像中的身体的影像信息来取得表示身体的一部分的脉搏波的第2脉搏波信息。显示信息决定部(113)基于第1脉搏波信息和第2脉搏波信息来决定与身体的一部分的血流变动对应的显示影像的显示色的色调的显示范围或明亮度。显示控制部(115)用基于显示范围或明亮度和第2脉搏波信息决定的显示色的色调来控制显示影像的显示。

Description

电子装置、电子装置的控制方法以及介质
对关联申请的交叉参考
本申请基于并主张日本专利申请第2019-197860号(2019年10月30日申请)的优先权,其完整公开包括具体实施方式、权利要求、附图和摘要通过引用结合于本文中。
技术领域
本发明涉及电子装置、电子装置的控制方法以及介质。
背景技术
在特开2016-190022号公报中公开了如下结构:为了将入浴前后的血流变动进行比较来报知入浴对身体的哪个部分的血流变动有效果,通过利用阴影来对入浴后的身体的血流变动进行显示。但在将按摩等特定的行动前后的血流变动使用户易于理解地显示这点上,在现有技术中尚有改善的余地。
发明内容
本发明目的在于,提供能视觉上易于理解地示出血流变动的电子装置、电子装置的控制方法以及介质。
本发明的一个方案提供一种电子装置,其特征在于,具备至少1个处理器,所述处理器进行以下的处理:基于通过至少对身体的一部分进行摄像而得到的第1影像中的所述身体的影像信息来取得表示所述身体的一部分的脉搏波的第1脉搏波信息,基于通过在所述第1影像之后对所述身体的一部分进行摄像而得到的第2影像中的所述身体的影像信息来取得表示所述身体的一部分的脉搏波的第2脉搏波信息,基于所述第1脉搏波信息和所述第2脉搏波信息来决定与所述身体的一部分的血流变动对应的显示影像的显示色的色调的显示范围,用基于所述显示范围和所述第2脉搏波信息决定的所述显示色的色调来控制所述显示影像的显示。
本发明的另一方案提供一种电子装置,其特征在于,具有至少一个处理器,所述处理器:基于通过至少对身体的一部分进行摄像而得到的第1影像中的所述身体的影像信息来取得表示所述身体的一部分的脉搏波的第1脉搏波信息,基于通过在所述第1影像之后对所述身体的一部分进行摄像而得到的第2影像中的所述身体的影像信息来取得表示所述身体的一部分的脉搏波的第2脉搏波信息,基于所述第1脉搏波信息和所述第2脉搏波信息来决定与所述身体的一部分的血流变动对应的显示影像的显示的明亮度,用基于所述显示的明亮度和所述第2脉搏波信息决定的显示色的色调来控制所述显示影像的显示。
本发明的另一方案提供一种电子装置的控制方法,由所述电子装置的处理器执行,基于对身体摄像得到的影像来测量血流,所述电子装置的控制方法的特征在于,包含如下步骤:基于通过至少对身体的一部分进行摄像而得到的第1影像中的所述身体的影像信息来取得表示所述身体的一部分的脉搏波的第1脉搏波信息,基于通过在所述第1影像之后对所述身体的一部分进行摄像而得到的第2影像中的所述身体的影像信息来取得表示所述身体的一部分的脉搏波的第2脉搏波信息;基于所述第1脉搏波信息和所述第2脉搏波信息来决定与所述身体的一部分的血流变动对应的显示影像的显示色的色调的显示范围;和用基于所述显示范围和所述第2脉搏波信息决定的所述显示色的色调来控制所述显示影像的显示。
本发明的另一方案提供一种介质,记录程序,所示程序由基于对身体摄像得到的影像来测量血流的电子装置的处理器执行并使所述电子装置实现:取得功能,基于通过至少对身体的一部分进行摄像而得到的第1影像中的所述身体的影像信息来取得表示所述身体的一部分的脉搏波的第1脉搏波信息,基于通过在所述第1影像之后对所述身体的一部分进行摄像而得到的第2影像中的所述身体的影像信息来取得表示所述身体的一部分的脉搏波的第2脉搏波信息;决定功能,基于所述第1脉搏波信息和所述第2脉搏波信息来决定与所述身体的一部分的血流变动对应的显示影像的显示色的色调的显示范围;和显示控制功能,用基于所述显示范围和所述第2脉搏波信息决定的所述显示色的色调来控制所述显示影像的显示。
本发明的另一方案提供一种电子装置的控制方法,由所述电子装置的处理器执行,基于对身体摄像得到的影像来测量血流,所述电子装置的控制方法的特征在于,包含如下步骤:基于通过至少对身体的一部分进行摄像而得到的第1影像中的所述身体的影像信息来取得表示所述身体的一部分的脉搏波的第1脉搏波信息,基于通过在所述第1影像之后对所述身体的一部分进行摄像而得到的第2影像中的所述身体的影像信息来取得表示所述身体的一部分的脉搏波的第2脉搏波信息;基于所述第1脉搏波信息和所述第2脉搏波信息来决定与所述身体的一部分的血流变动对应的显示影像的显示的明亮度;用基于所述显示的明亮度和所述第2脉搏波信息决定的显示色的色调来控制所述显示影像的显示。
本发明的另一方案提供一种介质,记录程序,所述程序由基于对身体摄像得到的影像来测量的血流的电子装置的处理器执行并使所述电子装置实现:取得功能,基于通过至少对身体的一部分进行摄像而得到的第1影像中的所述身体的影像信息来取得表示所述身体的一部分的脉搏波的第1脉搏波信息,基于通过在所述第1影像之后对所述身体的一部分进行摄像而得到的第2影像中的所述身体的影像信息来取得表示所述身体的一部分的脉搏波的第2脉搏波信息;决定功能,基于所述第1脉搏波信息和所述第2脉搏波信息来决定与所述身体的一部分的血流变动对应的显示影像的显示的明亮度;和显示控制功能,用基于所述显示的明亮度和所述第2脉搏波信息决定的显示色的色调来控制所述显示影像的显示。
根据本发明的电子装置、电子装置的控制方法以及介质,能视觉上易于理解地示出血流变动。
附图说明
图1是表示本发明的一个实施方式所涉及的测量系统的结构的结构图。
图2是表示本发明的一个实施方式所涉及的电子装置的前面的外观结构的结构图。
图3A~图3B是表示本发明的一个实施方式所涉及的电子装置的侧面的外观结构的结构图。
图4是表示本发明的一个实施方式所涉及的电子装置的硬件的结构的框图。
图5是表示本发明的一个实施方式所涉及的电子装置的功能结构当中用于执行测量处理的功能结构的功能框图。
图6A~图6B是表示由本发明的一个实施方式所涉及的电子装置生成的色相动态图像的一例的图。
图7是表示由本发明的一个实施方式所涉及的电子装置生成的测量结果的图像的一例的图。
图8是表示由本发明的一个实施方式所涉及的电子装置执行的测量处理的前半的流程图。
图9是表示由本发明的一个实施方式所涉及的电子装置执行的测量处理的后半的流程图。
图10是表示本发明的一个实施方式所涉及的电子装置的第1设定处理中的显示范围的示意图。
图11是表示基于本发明的一个实施方式所涉及的电子装置的第1设定处理中决定的显示范围而生成的色相动态图像的一例的图。
图12是表示本发明的一个实施方式所涉及的电子装置的第2设定处理中的显示范围的示意图。
图13是表示基于本发明的一个实施方式所涉及的电子装置的第2设定处理中决定的显示范围而生成的色相动态图像的一例的图。
图14A~图14C是表示本发明的一个实施方式所涉及的电子装置的第3设定处理中的显示范围的示意图。
图15是表示基于本发明的一个实施方式所涉及的电子装置的第3设定处理中决定的显示范围而生成的色相动态图像的一例的图。
图16是用图表说明由本发明的一个实施方式所涉及的电子装置取得的第1脉搏波信息以及第2脉搏波信息的一例的图。
图17A~图17B是用表示取得根据脸的朝向而不同的脉搏波信息的示例的图表来进行说明的图。
图18A~图18B是用图表来说明由本发明的一个实施方式所涉及的电子装置从第1脉搏波信息取得第1振幅的一例的图。
图19A~图19B是用图表来说明由本发明的一个实施方式所涉及的电子装置从第2脉搏波信息取得第2振幅的一例的图。
具体实施方式
以下使用附图来说明本发明的实施方式。
[实施方式的概略]
本发明的实施方式所涉及的电子装置1是构成为用户能携带的自立式的镜(镜子)的智能镜(smart mirror)。电子装置1对作为视觉辨识镜的对象者的用户进行摄像。电子装置1基于对用户摄像的影像来取得按摩等特定的行动前后的血流变动,显示与血流变动的程度相应的色相动态图像。根据这样的电子装置1,能视觉上易于理解地显示特定的行动前后的血流变动。
[系统结构]
图1是表示包含本实施方式所涉及的电子装置1的测量系统S的整体结构的框图。如图1所示那样,测量系统S包含多个电子装置1、网络2以及服务器群3。电子装置1的台数并没有特别制限,可以在显示系统1中包含n台(n是任意的自然数)电子装置1。另外,在以下的说明中,在不特别区别n台电子装置1地进行说明的情况下,省略附图标记的末尾的字母,仅称作“电子装置1”。
电子装置1是从影像测量用户的血流变动、显示测量结果的测量装置。电子装置1经由网络2而与服务器群3中所含的各服务器能相互通信地连接。
网络2例如通过因特网、LAN(Local Area Network,局域网)、移动电话网的任一者或将它们组合的网络实现。
在服务器群3中包含与电子装置1协作的各种服务器。例如在服务器群3中包含用于认证电子装置1的用户的认证服务器。另外,例如在服务器群3中包含发布用于实现电子装置1的功能的应用软件的应用发布服务器。进而,例如在服务器群3中包含存放作为包含与用户相关的设定信息、用户的电子装置1的利用历史记录等的信息的、用户的配置文件信息的测定数据存放服务器。
另外,图1所示的测量系统S只是一例,也可以在服务器群3中包含具有其他功能的服务器。另外,可以分别由独立服务器装置实现服务器群3中所含的多个服务器,也可以由单一的服务器装置实现。
[外观结构]
图2是表示本发明的一个实施方式所涉及的电子装置1的前面的外观结构的结构图。另外,图3是表示电子装置1的侧面的外观结构的结构图。电子装置1的前面的大小例如形成为国际标准的ISO(International Organization for Standardization,国际标准化组织)216规定的A4尺寸。
如图2以及图3所示那样,电子装置1包含主体部30、腿部31和铰链部32而构成。主体部30是包含显示部18、参考图4后述的其他硬件的部分。另外,腿部31和铰链部32是用于使电子装置1自立的构件。腿部31通过铰链部32支承成能相对于主体部30来回转动。
如图3A所示那样,用户在携带电子装置1时,能将主体部30的侧面和腿部31的侧面对齐,形成紧凑的形状来挪动。另一方面,如图3B所示那样,用户在将电子装置1设置于桌子等而利用时,能通过以铰链部32为中心点使腿部31来回转动,来将电子装置1自立设置。另外,为了能将电子装置1自立,铰链部32具有用于在腿部31维持给定的角度的状态下进行保持的机构。
主体部30如上述那样包含显示部18。显示部18是通过显示各种信息来将这些各种信息对用户显示的部分。显示部18,例如,显示由摄像部16作为被摄体而摄像到的用户的实像即用户图像(相当于图中的用户图像51)、成为用户的代替的代替图像即虚拟形象图像(相当于图中的虚拟形象图像52)、用于进行指导的辅助信息即引导图像(相当于图中的引导图像53)。另外,在该情况下,在显示部18中,对虚拟形象图像合成引导图像,重叠进行显示。
用户通过视觉辨识显示部18,能一次性掌握这些多样的信息。另外,关于这样的显示部18的显示在没有看得见的间隙、有适合用户视觉辨识的一体感这点,如上述那样。
如图2所示那样,电子装置1作为外观结构而进一步具备摄像部16、输入部17以及显示部18。
摄像部16是在电子装置1的利用时将正对显示部18的用户作为被摄体进行摄像的部分。摄像部16配置在能对正对显示部18的用户的脸图像进行摄像的位置。例如,摄像部16如图中所示那样配置在主体部30的前面的显示部18的上部。
输入部17是接受用户的操作输入的部分。输入部17例如通过多个按钮实现。在图中,作为一例,图示了向小脸美容疗法、笑脸训练以及生物体信息的记录等各种模式的切换按钮、用于进行电子装置1的电源的接通/断开的切换的按钮。
以上对电子装置1的外观结构进行了说明。但该结构只是一例,电子装置1的外观结构并不限定于该示例。
例如电子装置1也可以为了将正对显示部18的用户照亮而还具有进行发光的发光部。通过发光部调整照度、色分量来照亮用户,电子装置1作为带照明的镜发挥功能。发光部的数量可以是多个。另外,发光部可以配置于显示部18的上部、下部,也可以配置于显示部18的周边整体。
另外,例如可以变更输入部17的数量、配置。另外,例如显示部18的一部分可以构成为触控面板,使输入部17和显示部18一体构成。
[硬件结构]
图4是表示电子装置1的硬件的结构的框图。
如图4所示那样,电子装置1具备处理器即CPU(Central Processing Unit,中央处理器)11(处理器)、ROM(Read Only Memory,只读存储器)12、RAM(Random Access Memory随机存取存储器)13、总线14、输入输出接口15、摄像部16、输入部17、显示部18、存储部19、通信部20、驱动器21和蓄电池22。
CPU11遵循记录于ROM12的程序或从存储部19载入到RAM13的程序来执行各种处理。
在RAM13中还适宜存储在CPU11执行各种处理上所需的数据等。
CPU11、ROM12以及RAM13经由总线14而相互连接。
在该总线14另外还连接输入输出接口15。在输入输出接口15连接有摄像部16、输入部17、显示部18、存储部19、通信部20、驱动器21和蓄电池22。
虽未图示,但摄像部16具备光学镜头部和图像传感器。光学镜头部为了对被摄体摄像而包含将光聚光的透镜、例如聚焦透镜、变焦透镜等。聚焦透镜是使被摄体像成像在图像传感器的受光面的透镜。变焦透镜是使焦距在一定的范围内自由变化的透镜。摄像部16中另外还根据需要设置调整焦点、曝光、白平衡等设定参数的外围电路。
图像传感器包含光电变换元件、AFE(Analog Front End,模拟前端)等。光电变换元件例如包含CMOS(Complementary Metal Oxide Semiconductor,互补金属氧化物半导体)型的光电变换元件等。在光电变换元件,从光学镜头部入射被摄体像。为此,光电变换元件将被摄体像光电变换(摄像)并将图像信号蓄积一定时间,将蓄积的图像信号作为模拟信号依次提供给AFE。AFE对该模拟的图像信号执行A/D(Analog/Digital,模拟/数字)变换处理等各种信号处理。通过各种信号处理来生成数字信号,将其作为摄像部16的输出信号而输出。这样的摄像部16的输出信号被适宜提供给CPU11等。
输入部17包含各种按钮、麦克风等,对应于用户的指示操作、指示声音而输入各种信息。
显示部18包含液晶显示器等,显示与CPU11输出的图像数据对应的图像。
存储部19包含DRAM(Dynamic Random Access Memory,动态随机存取存储器)等半导体存储器,存储各种数据。
通信部20进行用于让CPU11经由网络2在与其他装置(例如服务器群3中所含的各服务器)之间进行通信的通信控制。
驱动器21包含能装备可移动介质100的接口。在驱动器21适宜装备包含磁盘、光盘、光磁盘或半导体存储器等的可移动介质100。可移动介质100中存放用于执行后述的合成显示处理的程序、图像数据等各种数据。由驱动器21从可移动介质100读出的程序、图像数据等各种数据,根据需要安装在存储部19。
蓄电池22通过对各部提供电力并与外部电源而构成为能充电。在电子装置1未与外部电源连接的状态下,通过蓄电池22的电力而电子装置1动作。
另外,电子装置1可以除了上述的硬件以外还具备其他硬件。例如电子装置1可以包含灯、扬声器或振动用电动机等输出光、声音或振动信号的输出部等。
[功能结构]
图5是表示电子装置1的功能结构当中用于执行测量处理的功能结构的功能框图。所谓测量处理,是电子装置1基于从用户取得的生物体信息值的变化来显示测量结果的一系列处理。
首先说明存储各种信息的存储部19。如图5所示那样,在存储部19的一区域设定指导信息存储部191、虚拟形象信息存储部192和测量结果存储部193。
在指导信息存储部191中存放显示处理中的指导所相关的各种数据。例如在指导信息存储部191中存放用于生成显示处理中显示的指导信息的引导图像的数据、文本数据以及音数据等。另外,在指导信息存储部191中还存放一系列指导中的多个指导信息的显示的顺序、用于将显示的指导信息向下一指导信息切换的条件、用于生成各种用户界面的数据等。进而,在指导信息存储部191中存放关于显示处理而生成的用户的配置文件信息。另外,引导图像可以是预先生成的图像数据,也可以是基于运算而实时生成的CG(Computergraphics,计算机图形学)等。
在虚拟形象信息存储部192中存放成为用户的实像的代替的虚拟形象所相关的各种数据。例如在虚拟形象信息存储部192中存放用于生成合成显示处理中显示的虚拟形象图像的虚拟形象图像的数据、指导等中显示哪个虚拟形象图像的条件等。另外,虚拟形象图像可以是预先生成的图像数据,也可以是基于运算实时生成的CG等。虚拟形象图像例如是模仿人、动物的角色的图像。另外,虚拟形象图像可以准备任意的数量,对应于用户的属性(例如用户的性别、年龄、嗜好)、指导的内容而适宜选择。另外,虚拟形象图像也可以是用于实现角色等的动画显示的连续的图像群。另外,各数据为了在实现一系列指导时易于读出,可以以各指导为单位作为1个库而存放。
在测量结果存储部193中存放用于信息取得部112进行测量的信息、用于显示测量结果的信息、表示测量结果的信息等。关于信息取得部112进行的测量处理,之后叙述。
另外,存放于上述那样的指导信息存储部191、虚拟形象信息存储部192、测量结果存储部193的各信息,可以仅存放于存储部19,也可以通过驱动器21而适宜存放于可移动介质100。进而,存放于指导信息存储部191、虚拟形象信息存储部192、测量结果存储部193的各信息,也可以适宜存放于服务器群3中所含的测定数据存放服务器等中。
接下来,说明执行测量处理的各功能块。如图5所示那样,在CPU11中,设定处理部111、信息取得部112、显示信息决定部113、图像生成部114和显示控制部115发挥功能。
设定处理部111是进行测量处理、显示处理所相关的设定等控制的部分。设定处理部111,例如从服务器群3中所含的应用发布服务器取得用于进行显示处理的应用软件,并使该应用软件动作。另外,设定处理部111例如通过与服务器群3中所含的认证服务器进行通信,来认证进行显示处理的用户。进而,设定处理部111例如通过与服务器群3中所含的测定数据存放服务器进行通信,来更新显示处理中的用户的配置文件信息。
另外,设定处理部111基于用于进行显示处理的应用软件来显示用于进行指导的菜单。例如,显示菜单,该菜单包含用于选择基于指导来进行“小脸美容疗法”、“笑脸按摩”、“生物体信息的测定”、“化妆(makeup)”等指导的内容的选项。另外,设定处理部111,从参考了菜单的用户处,经由输入部17等接受某个指导内容的选择。例如接受“小脸美容疗法”的选择。由此,为了进行小脸美容疗法所相关的指导而进行显示处理。另外,所谓小脸美容疗法,用户对用户自身的脸等进行通过使淋巴流动的按摩来使脸的肿胀减少的淋巴按摩等。
信息取得部112通过对包含作为摄像部16摄像的被摄体的用户的影像进行解析,来取得用户所相关的信息(以下称作“被摄体信息”)。被摄体信息例如是表示用户的脸等中的各部位的位置的坐标、用户的脸等中的各部位的颜色、表示用户的状态的生物体信息(有时也称作生命数据(vital data))等。
作为进行测量处理的前提而设定坐标信息。坐标信息例如包含:用于定义关于摄像部16中摄像的图像的坐标系即摄像坐标系、关于显示部18的显示面的坐标系即显示部坐标系这样的各坐标系的信息;以及用于将各坐标系中的坐标变换成其他坐标系中的坐标的表示对应关系的信息。各功能块能通过基于这些各坐标系中的坐标的对应关系将各坐标系中的坐标进行变换来进行显示处理。这些各坐标系的对应关系,例如通过在电子装置1的制造时进行基于摄像部16中的摄像镜头的方向调整、变焦率的调整等的伴随对应关系的补正的校准来设定。例如使用通过摄像部16的透镜位置的调整而进行的所谓光学变焦、以及图像处理中的所谓数字变焦的双方或任一者来进行变焦率的调整。
信息取得部112通过对摄像用户得到的影像进行轮廓、部位的图案匹配、肤色识别等人脸追踪所相关的处理,来认识脸的轮廓、眼的位置、皮肤的区域,进行前额、脸颊、下巴以及脖子等给定的部位区域的检测。例如检测影像中的用户的脸的轮廓和眼的位置,基于与它们的相对位置来自动认识前额、眼睑、脸颊、鼻周边、唇周围、下巴、脖子、脖颈到胸口位置等多个区域。然后,信息取得部112检测该检测到部位区域各自的坐标、用户的皮肤的颜色、用户的脸的角度(即用户的脸的朝向)这样的状态。
信息取得部112基于影像中的用户的皮下的血液中的血红蛋白所吸收的绿信号来取得脉搏、脉搏波等血流所相关的生物体信息。绿信号的波长一般来说是495-570nm,血红蛋白在550-660nm的附近吸收系数变高。通过利用该波长的特性、和摄像部16取得的影像的绿信号的亮度值,能将血红蛋白的吸收变化精度良好地捕捉成血流量的变化。另外,在摄像部16的摄像元件将光变换成亮度的情况下,在摄像元件近前配置RGB的滤光器,算出RGB各个像素的亮度值。在该情况下,通过绿色的滤光器的光成为亮度值。即使摄像元件的灵敏度相对于波长为平坦的,也能通过上述的滤光器以某种程度将波长带缩小范围,因此能精度良好地检测绿信号。
由于基于摄像部16取得的信息(影像)来进行测量,因此不与用户接触就能逐次取得生物体信息。更具体地,信息取得部112基于用户的脸等中的部位来设定关注区域(ROI:Region of interest)。信息取得部112取得关注区域内的多处的绿信号的亮度。信息取得部112每单位时间进行绿信号的亮度的取得,来取得绿信号的亮度的时间变化,作为脉搏波信息。另外,单位时间例如是动态图像的帧频,能对构成影像的时间上连续的每个图像取得绿信号的亮度。
在本实施方式中,为了比较用户的特定的行动的前后的血流的状态,对特定的行动前的用户进行摄像来取得第1影像,并对特定的行动后的用户进行摄像来取得第2影像。然后,信息取得部112分别对第1影像和第2影像取得绿信号的亮度的时间变化。更具体地,信息取得部112将从第1影像的影像信息解析的绿信号的亮度的值作为第1亮度信息,取得如下信息作为第1脉搏波信息:是表示该第1亮度信息的时间变化的信息,包含相当于第1影像的摄像时的身体的一部分的脉搏波的亮度的峰值与谷值之差。同样地,信息取得部112将从第2影像的影像信息解析的绿信号的亮度的值作为第2亮度信息,取得如下信息作为第2脉搏波信息:是表示该第2亮度信息的时间变化的信息,包含相当于第2影像的摄像时的身体的一部分的脉搏波的亮度的峰值与谷值之差。
信息取得部112为了生成视觉上显示用户的血流的状态的马赛克状的色相动态图像(参考图6),将关注区域分割成多个小区域,取得每个小区域的亮度的时间变化。例如在脸被设定为关注区域的情况下,将脸的部分分割成30×30的马赛克状的小区域。并且,按每个小区域算出绿信号的亮度的时间变化。小区域至少包含1个像素。在小区域包含多个像素的情况下,也可以将该多个像素的亮度的平均值设为小区域的亮度。在本实施方式中,信息取得部112分别对第1影像和第2影像取得每个小区域的绿信号的亮度的时间变化。
另外,信息取得部112,在表示每个小区域的绿信号的亮度的时间变化的信息之外,另行取得用于决定后述的显示范围的脉搏波信息。更具体地,信息取得部112取得表示第1影像的关注区域的整体的亮度的代表值的时间变化的信息、和表示第2影像的关注区域的整体的亮度的代表值的时间变化的信息。代表值是反映了关注区域中的多处的绿信号的亮度的值,通过众值、中央值、平均值等种种方式算出。在本实施方式中,由信息取得部112取得关注区域的全像素的绿信号的亮度的平均值的时间变化,作为脉搏波信息。即,在第1脉搏波信息中包含表示第1影像摄像时的每个小区域的亮度的时间变化的信息和表示关注区域整体的亮度的平均值的时间变化的信息的至少2种类的信息。同样地,在第2脉搏波信息中包含表示第2影像摄像时的每个小区域的亮度的时间变化的信息和表示关注区域整体的亮度的平均值的时间变化的信息这至少2种类的信息。另外,关于将第1脉搏波信息和第2脉搏波信息进行比较的比较处理、基于比较处理来生成色相动态图像的处理,之后叙述。
作为从影像的绿信号的亮度取得生物体信息的方法,例如能利用下述的参考文献记载的基于皮下的血液中的血红蛋白所吸收的绿信号来取得脉搏、脉搏波等血流所相关的生物体信息的技术。
<参考文献>
东北大学计算机科学的中心,尖端信息技术研究部、东北大学革新性创新研究机构、“血液流通状态监控装置‘魔法的镜’的开发成功”、[online]、2016年9月27日、[2018年9月27日检索]、因特网<URL:http://www.tohoku.ac.jp/japanese/newimg/pressimg/tohokuuniv-press20160927_01web.pdf>
显示信息决定部113进行用于生成显示信息取得部112的测量结果的色相动态图像的处理。图6A是表示按摩施术(特定的行动)前的用户的脸的血流的色相动态图像的示例,图6B是表示按摩施术(特定的行动)后的用户的脸的血流的色相动态图像的示例。在图6A以及图6B中,作为特定的部位而设定的脸的部分被分割成方格状的小区域,在小区域示出血流变动被色相的变化而表现的样子。
显示信息决定部113决定用于设定与绿信号的亮度的值对应的颜色的显示范围。本实施方式的显示信息决定部113基于特定行动前的第1脉搏波信息与特定行动后的第2脉搏波信息的比较结果来决定显示范围。显示信息决定部113选择从第1脉搏波信息向第2脉搏波信息的变化的程度越大、则越强调特定的行动后的色相动态图像的颜色的变化的程度的显示方法。
图像生成部114基于设定了由显示信息决定部113决定的显示范围的颜色映射来生成色相动态图像。另外,关于显示范围的决定方法的示例,之后叙述。如图6A以及图6B所示那样,在色相动态图像中显示各小区域的与某时间点的绿信号的亮度的值对应的颜色。由于绿信号的亮度根据血流而变动,因此在各小区域显示的颜色也对应于时间而变化。图像生成部114生成在某时间的各区域分别设定了与亮度的值对应的颜色的图像。通过如此地使生成的图像在时间上连续,来马赛克状地生成颜色变化的色相动态图像。
图像生成部114生成基于第1影像的测量结果的第1色相动态图像和基于第2影像的测量结果的第2色相动态图像。然后,图像生成部114对第1影像合成第1色相动态图像,对第2影像合成基于第2测量结果的色相动态图像。例如在用户的特定的部位是脸、在脸整体重叠色相动态图像的情况下,生成图6A、图6B那样的合成图像。通过将图6A所示的合成图像和图6B所示的合成图像并排进行显示,能生成比较图像。
另外,图像生成部114还能生成一起显示过去的测量结果和最新的测量结果的测量结果图像。在图7中示出表示测量结果的图像的一例。在图7的左侧示出过去的测定结果中进行了最良好的按摩(特定的行动)时的用户的合成图像,在右侧示出表示本日进行了按摩的测定结果的合成图像。在图7的示例中,在用户(实像)的图像的脸颊的部分合成色相动态图像。由此,本实施方式的电子装置1能参考过去的按摩等特定行动的结果来判断是否合适地进行了本次进行的按摩等特定行动。
另外,图像生成部114还进行将引导图像、虚拟形象图像合成的合成处理等。图像生成部114通过将存放于指导信息存储部191的引导图像和存放于虚拟形象信息存储部192的虚拟形象图像合成,来生成对虚拟形象图像合成了引导图像的图像。图像生成部114例如生成合成图像,使得在虚拟形象图像的脸等给定的部位区域重叠引导图像。然后,在进行关于按摩的指导的情况下,生成合成图像,使得表示按摩时的手的活动的箭头的引导图像重叠在进行按摩的对象的部位区域。
显示控制部115进行在显示部18显示用户的镜像或与用户对应的图像(例如虚拟形象等)的控制。另外,基于各种图像的进行显示的定时、用户的输入部17的操作来进行切换显示的处理等。由显示控制部115决定将对影像合成了色相动态图像的合成图像显示于显示部18的定时。关于显示控制部115显示色相动态图像的定时,之后叙述。
另外,显示控制部115执行切换第1显示模式和第2显示模式的处理,其中,在第1显示模式中,将用户图像作为主要部分进行显示,并将合成了虚拟形象图像和引导图像的合成图像作为次要部分进行显示,在第2显示模式中,将用户图像作为次要部分进行显示,并将合成了虚拟形象图像和引导图像的合成图像作为主要部分进行显示。如图2所示那样,将合成图像即虚拟形象图像和引导图像作为主要部分在画面中央以大的尺寸显示,将用户图像作为次要部分在画面下部等以比主要部分小的尺寸显示。反之,还能将用户图像作为主要部分在画面中央以大的尺寸显示,将合成图像即虚拟形象图像和引导图像作为次要部分在画面下部等以比主要部分小的尺寸显示。
另外,显示控制部115也可以在与用户的镜像的脸或虚拟形象图像的脸不重复的区域,在一系列指导中以图像、文本自动配置并显示用户应朝向的方向、按摩的方法、生物体信息。另外,显示控制部115除了进行显示以外,也可以用其他方法输出指导信息。例如显示控制部115也可以读出包含声音数据的指导信息,将根据读出的指导信息生成的声音、音乐从扬声器输出。另外,此外,例如显示控制部115也可以使发光部的发光状态变化。
[测量处理]
图8以及图9是说明具有图5的功能结构的图1的电子装置1所执行的测量处理的整体流程的流程图。
如图8所示那样,在步骤S1,设定处理部111进行初始设定。例如设定处理部111从服务器群3中所含的认证服务器下载对每个用户ID设定的个人数据。
在步骤S2,显示控制部115进行在显示部18显示菜单画面的启动处理。
在步骤S3,信息取得部112为了对施术前的用户执行皮肤追踪以及施术前生命扫描(vital scan)而开始摄像部16所进行的用户的摄像。然后,进行由摄像部16对用户摄像得到的第1影像的解析。通过该影像解析来取得施术前的用户的生物体信息。在生物体信息中包含表示施术前的用户的脸的脉搏波的信息、表示用于生成色相动态图像的每个小区域的绿信号的亮度的时间变化的信息等(第1脉搏波信息)。另外,步骤S3可以在菜单画面启动开始后自动开始,也可以通过从用户的输入部17接受操作而开始。
在步骤S4,信息取得部112判定是否能确定用户的脸等部位,并判定是否能合适地取得生物体信息。在不能确定用户的脸等部位的情况下、不能合适地取得生物体信息的情况下,在步骤S4中判定为“否”,信息取得部112回到步骤S3,再度开始由摄像部16进行的摄像并进行影像的解析。在能确定用户的脸等部位、能合适地取得生物体信息的情况下,在步骤S4判定为“是”,处理前进到步骤S5。
在步骤S5,显示控制部115判定是否接受预先设定的按摩等特定的行动的引导指示。特定的行动例如是笑脸训练、面部美容、放松(穴位按压以及深呼吸)、按摩等美容施术。在步骤S5,直到根据用户的输入部17的操作而接受引导指示为止,都判定为“否”。在接受到引导指示的情况下,在步骤S5判定为“是”,显示控制部115将为了对应于接受的引导指示进行指导所需的数据从指导信息存储部191以及虚拟形象信息存储部192读入,处理前进到步骤S6。
在步骤S6,图像生成部114以及显示控制部115由于用户开始施术而执行基于步骤S6中读入的数据来生成合成图像并将其显示于显示部18的处理。更具体地,显示将虚拟形象图像和表示面部美容中的按摩中的手的活动的引导图像重叠的合成图像。用户在参考该合成图像的同时进行面部美容中的按摩。或者,显示将虚拟形象图像和表示成为进行穴位按压的对象的第1穴位的位置的引导图像重叠的合成图像。用户在参考该合成图像的同时对用户自身的穴位进行穴位按压。
在步骤S7,显示控制部115判定是否将一系列的指导结束。关于指导是否结束,例如可以基于生物体信息来判定一系的列指导是否结束,也可以基于影像的解析来判定用户的特定行动是否结束,还可以基于一系列的指导的引导图像的显示完成来判定。在指导处理的结束后,处理前进到步骤S8。
在步骤S8,信息取得部112为了对施术后的用户执行施术前生命扫描,而进行通过摄像部16对施术后的用户摄像得到的第2影像的解析。信息取得部112通过第2影像的解析来取得特定的行动后的生物体信息。在生物体信息中包含表示施术后的用户的脸的脉搏波的信息、表示用于生成色相动态图像的每个小区域的绿信号的亮度的时间变化的信息等(第2脉搏波信息)。
在步骤S9,信息取得部112判定是否合适地取得了生物体信息。在未合适地取得生物体信息的情况下,在步骤S9判定为“否”,再度执行步骤S8的处理。在合适地取得了生物体信息的情况下,处理前进到步骤S10。
如图9所示那样,在步骤S10,显示信息决定部113执行表示施术前的用户的脉搏波的第1脉搏波信息与表示施术后的用户的脉搏波的第2脉搏波信息的比较处理。在该比较处理中,取得第1脉搏波信息与第2脉搏波信息之间的变化的程度,作为比较结果。
在步骤S11,显示信息决定部113基于步骤S9的比较结果来进行显示色相动态图像时的显示范围的决定。显示范围的决定分别在表示施术前的状态的色相动态图像和表示施术后的状态的色相动态图像中决定。
在步骤S12,图像生成部114基于步骤S11中决定的各显示范围来生成施术前的色相动态图像和施术后的色相动态图像。基于第1脉搏波信息中所含的表示每个小区域的绿信号的亮度的时间变化的信息来生成表示施术前的用户的状态的第1色相动态图像,基于第2脉搏波信息中所含的表示每个小区域的绿信号的亮度的时间变化的信息来生成表示施术后的用户的状态的第2色相动态图像。另外,关于决定显示范围的处理,之后叙述。
在步骤S13,图像生成部114进行将色相动态图像与影像合成的重叠处理。例如,图像生成部114通过人脸追踪来从摄像部16摄像的影像检测脸,作为用户的给定的部位区域。然后,基于上述的各坐标系的对应关系来取得与检测到的部位区域的摄像坐标系中的坐标对应的显示部坐标系的坐标。然后,显示控制部115进行在显示部18的显示部坐标系的坐标显示色相动态图像的重叠处理。
在步骤S14,生成同时显示时间轴不同的色相动态图像的比较图像。也可以是显示施术前的合成图像(例如图6A)和施术后的合成图像(例如图6B)两方的比较图像,还可以是图7所示那样的显示过去的合成图像和当前的合成图像两方的比较图像。
在步骤S15,显示控制部115等待来自用户的比较画面的显示结束指示。显示结束指示例如通过输入部17的操作来通知。若被通知显示结束指示,显示控制部115就将比较动态图像的显示结束,处理前进到步骤S16。
在步骤S16,信息取得部112将一系列测量处理中取得的生物体信息等数据保存到测量结果存储部193。在步骤S16的结束后,处理回到步骤S2,再度执行步骤S2以后的处理。
[显示信息的决定处理]
接下来,说明用于调整显示图像的显示的显示范围的决定处理。显示信息决定部113具有成为用于显示显示图像的基准的颜色映射。该颜色映射根据后述的显示范围让显示方式发生改变。如图10、图12、图14所示那样,颜色映射是用于决定与亮度的值对应的颜色的色相信息。作为颜色映射,例如能利用jet颜色映射。
在以下的说明中,在颜色映射中为了说明的方便而设定0~9的标度,基于标度来定义色相的范围。另外,将标度0设为颜色映射的最低坐标,将标度9设为颜色映射的最高坐标。低坐标侧成为蓝系(冷色系)的色相,高坐标侧成为红系(暖色系)的色相。另外,颜色映射的中心坐标处于标度4与5的中央。
[第1设定处理]
如图10所示那样,第1设定处理中的显示范围是指定颜色映射的范围宽度的设定值。在第1设定处理中,作为指定颜色映射的范围的设定值而设定有第1显示范围、第2显示范围和第3显示范围这3种类。
若将颜色映射的最大范围宽度设为0~9的10,则第1显示范围是范围宽度为标度3~6之间,是指定最窄的范围(范围宽度3)的设定值。在从第1脉搏波信息向第2脉搏波信息的变化的程度小的、为负的变化的或不改变的情况下等,第1显示范围设定为颜色映射的显示范围。
第2显示范围是指定范围宽度为标度2~7的中等程度的范围(范围宽度5)的设定值。在从第1脉搏波信息向第2脉搏波信息的变化的程度为中等程度的情况下等,第2显示范围设定为颜色映射的显示范围。
第3显示范围是指定范围宽度为标度0~9的最宽的范围(范围宽度10)的设定值。在从第1脉搏波信息向第2脉搏波信息的变化的程度大的情况下等,第3显示范围设定为颜色映射的显示范围。
在图11的左侧,是表示特定的行动前的用户的血流的、设定了范围宽度3的第1显示范围的色相动态图像。另一方面,在图11的右侧,示出表示特定的行动后的用户的血流的、设定了范围宽度10的第3显示范围的色相动态图像。从图11也示出,能实现能通过对应于特定行动前后的血流变动的程度变更范围宽度来直观地掌握血流变动的显示。
在第1设定处理中,图像生成部114设定在各区域进行显示的颜色,使得在小区域的亮度的脉搏波中,振幅的正的峰值与范围宽度的最大值对应,振幅的负的峰值与范围宽度的最小值对应。例如在第1显示范围中,颜色映射的标度6与脉搏波的正的峰值对应,标度3与脉搏波的负的峰值对应。在第2显示范围中,颜色映射的标度7与脉搏波的正的峰值对应,标度2与脉搏波的负的峰值对应。在第3显示范围中,颜色映射的标度9与脉搏波的正的峰值对应,标度0与脉搏波的负的峰值对应。
[第2设定处理]
接下来说明与第1设定处理不同的第2设定处理。如图12所示那样,在第2设定处理中也指定第1显示范围、第2显示范围以及第3显示范围这3个范围宽度。第1显示范围是范围宽度为标度0~5的范围(范围宽度5),第2显示范围是范围宽度为标度2~7的范围(范围宽度5),第3显示范围是范围宽度为标度4~9的范围(范围宽度5)。即,第1显示范围是位于低坐标侧的范围,第2显示范围是位于以中心坐标为中心的中央侧的范围,第3显示范围是位于高坐标侧的范围。在该示例中,第1显示范围、第2显示范围以及第3显示范围的范围的长度相同,所设定的位置(坐标)错开。
在图13的左侧,是表示特定的行动前的用户的血流的、设定了位于低坐标侧的第1显示范围的色相动态图像。另一方面,在图13的右侧,示出表示特定的行动后的用户的血流的、设定了位于高坐标侧的第3显示范围的色相动态图像。从图13也示出,能实现通过对应于特定行动前后的血流变动的程度变更范围宽度的坐标能直观地掌握血流变动的显示。
在第2设定处理中,图像生成部114设定在各区域进行显示的颜色,使得在小区域的亮度的脉搏波中,振幅的正的峰值与范围宽度的最大值对应,振幅的负的峰值与范围宽度的最小值对应。例如在第1显示范围中,颜色映射的标度5与脉搏波的正的峰值对应,标度0与脉搏波的负的峰值对应。在第2显示范围中,颜色映射的标度7与脉搏波的正的峰值对应,标度2与脉搏波的负的峰值对应。在第3显示范围中,颜色映射的标度9与脉搏波的正的峰值对应,标度4与脉搏波的负的峰值对应。
[第3设定处理]
接下来说明与第1设定处理以及第2设定处理不同的第3设定处理。如图14所示那样,在第3设定处理中,将颜色映射中设定的颜色映射的显示亮度的设定值变更。即,显示信息决定部113对应于从第1脉搏波信息向第2脉搏波信息的变化的程度来调整进行显示的颜色的亮度。
图14A是表示作为第1显示范围而设定了最暗的亮度的颜色映射。同样地,图14B是表示作为第2显示范围而设定了中等程度的亮度的颜色映射。图14C是表示作为第3显示范围而设定了最明亮的亮度的颜色映射。如图14A~图14C所示那样,第3设定处理中的第1显示范围、第2显示范围以及第3显示范围的范围宽度均被设定为相同的10。
在图15的左侧,是表示特定的行动前的用户的血流的、设定了被设定有低的亮度的第1显示范围的色相动态图像。另一方面,在图15的右侧,示出表示特定的行动后的用户的血流的、设定了被设定有高的亮度的第3显示范围的色相动态图像。从图15中也示出,能实现通过对应于特定行动前后的血流变动的程度变更色相的亮度能直观地掌握血流变动的显示。
在第3设定处理中,图像生成部114也设定在各区域进行显示的颜色,使得在小区域的亮度的脉搏波中,振幅的正的峰值与范围宽度的最大值对应,振幅的负的峰值与范围宽度的最小值对应。在第1显示范围、第2显示范围以及第3显示范围的任何一者中,颜色映射的标度9都与脉搏波的正的峰值对应,标度0都与脉搏波的负的峰值对应。
以上以第1设定处理、第2设定处理以及第3设定处理为例说明了将用于设定利用了颜色映射的显示图像的显示信息的调整,但显示信息的设定处理并不限定于这些方法。例如可以在第1设定处理中组合第2设定处理、第3设定处理,也可以在第2设定处理中组合第3设定处理,还可以将第1~第3设定处理的全部进行组合。
[比较处理的说明]
接下来说明比较从第1脉搏波信息向第2脉搏波信息的变化的程度的比较处理的示例。在血流的上升时,由于每单位时间的血红蛋白量增加,因此与血流上升前相比更多的绿信号被血红蛋白吸收。为此,血流的上升时检测的绿信号的亮度降低。在本实施方式中,为了易于在感觉上掌握血流的上升,进行若血流上升则亮度值变高那样的换算处理。更具体地,在使用RGB各色8比特的输出的图像传感器来检测绿信号的亮度的情况下,将从亮度值的最大值255减去检测到的绿信号的亮度值而得的数值作为“换算亮度值”而用在比较处理中。以下,单纯说明为换算亮度值的是:进行了这样的换算处理的亮度所涉及的信息。另外,基于比较处理的结果而决定的显示范围是使用上述的第1设定处理、第2设定处理以及第3设定处理的任一者而设定的显示范围。
[第1比较处理]
如图16所示那样,由于通过用户进行脸颊的施术(例如按摩)等特定的行动,随着时间的经过而脸整体的血流量增加,因此若将施术前后相比,脉搏波的波形的亮度平均值示出不同的倾向。另外,这里说的亮度平均值是基于换算亮度值的数值。在第1比较处理中,着眼于该特定的行动后的脉搏波的变化来决定显示范围。另外,第1比较处理中所用的脉搏波信息以及图16所示的脉搏波信息(第1脉搏波信息以及第2脉搏波信息)是每给定时间(例如数秒程度的包含多个脉搏波的波形的时间)算出作为关注区域而设定的部位的全域的亮度的平均值得到。
显示信息决定部113算出表示第1脉搏波信息的给定时间这样的平均值的第1基线,其中该第1脉搏波信息表示施术前的脉搏波。第1基线是图16的图表中的直线状的虚线。同样地,显示信息决定部113算出表示第2脉搏波信息的给定时间中的平均值的第2基线。第2基线是图16的图表中的直线状的一点划线。
算出第1基线时的脉搏波的范围(时间)优选在脉搏波稳定的区域内设置。例如,在检测到超过预先设定的阈值的异常值的情况下等,取得脉搏波信息,使得异常值被排除。或者,也可以在摄像时显示不能合适地取得影像的意思,进行再摄像来取得合适的脉搏波信息。或者,也可以将从摄像开始起经过给定时间后的脉搏波用在基线的算出中。或者,也可以从给定时间内取得的脉搏波将异常值除去来算出基线。如此地,基线的算出能运用种种方法。
接下来,显示信息决定部113取得表示第1基线与第2基线的差分的偏移值,来作为比较结果。基于该偏移值来设定显示范围。在上述的设定处理中,基于偏移值来设定第1显示范围、第2显示范围或第3显示范围的任一者,作为显示范围。
在特定的行动前的色相动态图像的生成时,将偏移值设为0来设定显示范围。在该示例中,第1显示范围成为特定的行动前的色相动态图像的显示范围。
在特定的行动后的色相动态图像的生成时,基于第1基线与第2基线的差分来决定显示范围。适宜设定用于决定显示范围的偏移值的基准值,将偏移值和基准值进行比较来决定显示范围。基准值只要是比较未超过基准值的情况下的色相动态图像和超过基准值的情况下的色相动态图像时用户能在视觉上识别差异的数值即可,通过对用户的实验、导出视觉辨识条件的理论值等来决定。在如第1显示范围、第2显示范围以及第3显示范围那样选择的显示范围有多个的情况下,基准值也能如第1基准值、第2基准值那样阶段地设定多个。例如,考虑颜色映射的范围而将第1基准值设定为3,将第2基准值设定为6。在该设定中,在第1基线与第2基线的差分为“偏移值≤3”的情况下,设定第1显示范围,在“3<偏移值<6”的情况下,设定第2显示范围,在“偏移值≥6”的情况下,设定第3显示范围。另外,根据状况,还有偏移值成为负的情况。例如是如下情况等:在用户入浴过的情况下,对刚入浴后的血流上升的状态摄像而取得第1影像,对取得第1影像起时间经过而血流降低的状态摄像而取得第2影像。在该情况下,由于偏移值成为负,因此判定为“偏移值≤3”的情况,可以设为设定第1显示范围的处理,也可以进行显示不能合适地测量的意思的消息的处理。
[第2比较处理]
接下来说明用与第1比较处理不同的方法比较从第1脉搏波信息向第2脉搏波信息的变化的程度的第2比较处理。另外,第2比较处理中所用的脉搏波信息以及图17~图19所示的脉搏波信息(第1脉搏波信息以及第2脉搏波信息)是每给定时间(例如数秒程度的包含多个脉搏波的波形的时间)算出作为关注区域而设定的部位的全域的亮度平均值得到。另外,这里说的亮度平均值是基于换算亮度值的数值。
图17A是基于用户以正确的姿势观察摄像部16的状态的影像算出的脉搏波信息的图表,图17B是基于用户的脸稍微朝向上方的状态的影像算出的脉搏波信息的图表。另外,不管在哪种情况下,用户都未进行特定的行动,摄像时的照明等环境也相同。若比较图17A和图17B,则可知用户的脸稍微朝向上方的状态整体上示出亮度更加明亮(换算亮度值大的更暗)倾向。认为光接触脸的方式等给绿信号的亮度的取得带来影响。
由于用户不一定能在特定的行动前后对摄像部16维持相同姿态,因此优选将脸的朝向的影响排除。第1比较处理难以排除脸的朝向的影响来比较第1脉搏波信息和第2脉搏波信息。关于这点,在第2比较处理中,采用能排除脸的朝向的变化的影响的处理。更具体地,在按摩等特定的行动后,血流量增加,脉搏波的振幅变大(例如10%)。为此,进行第2比较处理的显示信息决定部113,通过着眼于特定的行动后的脉搏波的振幅的增加,基于振幅的增加率决定显示范围,来排除脸的朝向的影响。
图18A是表示按摩等特定的行动前的第1脉搏波信息的图表,图18B是将图18A的脉搏波信息的一部分放大的图表。显示信息决定部113从第1脉搏波信息确定用于取得振幅的范围。用于取得振幅的范围是没有异常值而振幅稳定的区域。显示信息决定部113基于该范围的区间平均等来取得表示特定的行动前的脉搏波的振幅的第1振幅信息。
图19A是表示按摩等特定的行动后的第2脉搏波信息的图表,图19B是将图19A的脉搏波信息的一部分放大的图表。显示信息决定部113从第2脉搏波信息确定用于取得振幅的范围。用于取得振幅的范围是没有异常值而振幅稳定的区域。显示信息决定部113基于该范围的区间平均等来取得表示特定的行动后的脉搏波的振幅的第2振幅信息。
算出振幅时的脉搏波的范围(时间),优选在脉搏波稳定的区域设置。例如,在检测到超过预先设定的阈值的异常值的情况下等,取得脉搏波信息,使得异常值被排除。或者,也可以在摄像时显示不能合适地取得影像的意思,进行再摄像来取得合适的脉搏波信息。或者,也可以将摄像开始起经过给定时间后的脉搏波用在振幅的算出中。或者,也可以从给定时间内取得的脉搏波将异常值去除来算出振幅。如此地,振幅的算出能运用种种方法。
显示信息决定部113将第1振幅信息和第2振幅信息比较来决定显示范围。按摩等特定的行动后的脉搏波,通常由于血流变得良好而振幅变大。显示信息决定部113基于振幅的增加率来决定显示范围。
在特定的行动前的色相动态图像的生成时,增加率设为0来设定显示范围。在该示例中,第1显示范围成为特定的行动前的色相动态图像的显示范围。
在特定的行动后的色相动态图像的生成时,基于相对于第1振幅信息的第2振幅信息的增加率来决定显示范围。适宜设定用于决定显示范围的增加率的基准值,将增加率和基准值比较来决定显示范围。基准值只要是在比较不超过基准值的情况下的色相动态图像和超过基准值的情况下的色相动态图像时使用户能在视觉上识别差异的数值,就能通过对用户的实验、导出视觉辨识条件的理论值等来决定。在如第1显示范围、第2显示范围以及第3显示范围那样选择的显示范围有多个的情况下,基准值也如第1基准值、第2基准值那样阶段第设定多个。例如在以百分率算出增加率的情况下,考虑颜色映射的范围而对第1基准值设定比100大的数字(以下为R1),对第2基准值设定比R1大的数字(以下为R2)。如此地,在100<R2<R1的关系成立的条件下,在比较第1振幅信息和第2振幅信息的结果是“增加率≤R2”的情况下,设定第1显示范围,在“R2<增加率<R1”的情况下,设定第2显示范围,在“增加率≥R1”的情况下,设定第3显示范围。另外,根据状况,还有振幅不增加的情况。例如有如下情况等:在用户入浴过的情况下,对刚入浴后的血流上升的状态摄像而取得第1影像,对取得第1影像起时间经过而血流降低的状态摄像而取得第2影像。在该情况下,由于增加率不足100,因此判定为“增加率≤R2”,可以设为设定第1显示范围的处理,或者进行显示不能合适地进行测量的意思的消息的处理。
图像生成部114基于通过以上说明的比较处理决定的显示范围和颜色映射来设定某时间点的显示于小区域的颜色。另外,如上述那样,在本实施方式中,色相动态图像基于对每个小区域设定的亮度的时间变化来将色相的变化马赛克状地显示。为此,不是基于特定的部位全域的平均值的第1脉搏波信息、第2脉搏波信息来生成色相动态图像,而是基于在每个小区域取得的亮度的时间变化来生成色相动态图像。
以上说明的本实施方式的电子装置1具备信息取得部112、显示信息决定部113和显示控制部115。信息取得部112基于通过对用户的至少身体的一部分即脸等特定部位摄像而得到的第1影像中的身体的影像信息来取得表示用户的身体的一部分的脉搏波的第1脉搏波信息,在第1影像之后的特定行动后,基于通过对身体的一部分摄像而得到的第2影像中的身体的影像信息来取得表示身体的一部分的脉搏波的第2脉搏波信息。显示信息决定部113基于第1脉搏波信息和第2脉搏波信息来决定与身体的一部分的血流变动对应的显示影像的显示色的色调的显示范围。显示控制部115用基于显示信息决定部113中决定的显示范围和第2脉搏波信息而决定的显示色的色调来控制显示影像的显示。
由此,能对用户易于理解地报知时间轴不同的2个影像中的血流的变化。例如,即使特定的行动的结果是血流变得良好,在本实施方式中的显示中,也由于将脉搏波的波形显示为颜色映射,因此即使单纯以相同显示范围的色相动态图像进行显示,也难以判别特定的行动的前后的差异。关于这点,根据本实施方式的结构,由于能反映进行特定的行动等后的血流的变化的程度来生成色相动态图像,因此能根据显示的颜色的倾向的差异,视觉上易于理解地显示测量结果。
另外,在本实施方式中,血流变动是从第1影像中的身体的一部分的血流向第2影像中的身体的一部分的血流的变动。由此,能在视觉上对用户示出时间轴不同的血流的变化。
另外,在本实施方式中,显示控制部115将包含相当于第2影像的摄像时的身体的一部分的脉搏波的亮度的峰值与谷值之差的信息作为第2脉搏波信息,来控制显示影像的显示。由此,如上述实施方式所示那样,能利用作为关注区域而设定而区域的全像素的绿信号的亮度的平均值的时间变化来生成图像。
另外,在本实施方式中,显示控制部115进行作为显示影像而显示动态图像的控制。由此,能将血流变动动态地视觉化,能易于理解地显示特定的行动前后的差异。
另外,在本实施方式中,信息取得部112基于第1影像中的身体的影像信息中所含的第1亮度信息来取得第1脉搏波信息,基于第2影像中的身体的影像信息中所含的第2亮度信息来取得第2脉搏波信息。由此,能利用血红蛋白引起的绿信号的亮度来生成视觉上表现血流变动的图像。
另外,在本实施方式中,第1亮度信息是第1影像的身体的一部分中的至少1像素的换算亮度值(亮度值)或与第1影像的身体的一部分对应的区域整体的平均亮度所涉及的信息,第2亮度信息是第2影像的身体的一部分中的1像素的换算亮度值(亮度值)或与第2影像的身体的一部分对应的区域整体的平均亮度所涉及的信息。由此能生成视觉上表示特定的区域中的血流变动的图像。
另外,在本实施方式中,显示信息决定部113基于第1脉搏波信息与第2脉搏波信息的差分来决定显示色的色调的显示范围。由此能利用按摩等特定的行动后的偏移,不用进行复杂的处理,就能生成反映了特定的行动后的血流变动的程度的图像。
另外,如第1比较处理中所示的那样,显示信息决定部113根据基于第1脉搏波信息取得的第1基线与基于第2脉搏波信息取得的第2基线的差分来决定显示色的色调的显示范围。由此,不用进行复杂的计算处理,就能取得第1脉搏波信息与第2脉搏波信息的差分。
另外,在本实施方式中,第1基线基于与第1脉搏波信息当中脉搏波稳定的范围的脉搏波对应的换算亮度值(亮度值)的平均值而取得,第2基线基于与第2脉搏波信息当中脉搏波稳定的范围的脉搏波对应的换算亮度值(亮度值)的平均值而取得。由此,能有效果地防止未正常检测的换算亮度值(亮度值)反映在显示中的事态的发生,能更正确地进行实际的血流变动的视觉化。
另外,如第1设定处理中所示的那样,第1脉搏波信息与第2脉搏波信息的差分越大,显示信息决定部113将以与显示范围的中心坐标对应的颜色为中心的显示范围的范围宽度,设定得越比运用在第1脉搏波信息与第2脉搏波信息的差分相对低的情况中的显示范围的范围宽度更宽,第1脉搏波信息与第2脉搏波信息的差分或第2振幅相对于第1振幅的增加率越小,显示信息决定部113将以与显示范围的中心坐标对应的颜色为中心的显示范围的范围宽度设定得越比运用在第1脉搏波信息与第2脉搏波信息的差分相对高的情况中的显示范围的范围宽度更窄(第1比较处理)。同样地,第2振幅相对于第1振幅的增加率越大,显示信息决定部113将以与显示范围的中心坐标对应的颜色为中心的显示范围的范围宽度设定得越比运用在第2振幅相对于第1振幅的增加率相对低的情况中的显示范围的范围宽度更宽,第2振幅相对于第1振幅的增加率越小,显示信息决定部113将以与显示范围的中心坐标对应的颜色为中心的显示范围的范围宽度设定得越比运用在第2振幅相对于第1振幅的增加率相对高的情况中的显示范围的范围宽度更窄(第2比较处理)。由此,在色相动态图像中变化的程度小时,以窄的范围让颜色改变,与此相对,在变化的程度大时,由于颜色急剧改变,因此能在色相动态图像的显示易于理解地反映在第1影像与第2影像之间产生的血流变动的程度。
另外,如第2设定处理所示的那样,第1脉搏波信息与第2脉搏波信息的差分越大,显示信息决定部113将显示范围的范围当中越比运用在第1脉搏波信息与第2脉搏波信息的差分相对低的情况中的显示范围的范围靠高坐标侧的范围设定为显示范围,第1脉搏波信息与第2脉搏波信息的差分越小,显示信息决定部113将显示范围的范围当中越比运用在第1脉搏波信息与第2脉搏波信息的差分相对高的情况中的显示范围的范围靠低坐标侧的范围设定为显示范围(第1比较处理)。同样地,第2振幅相对于第1振幅的增加率越大,显示信息决定部113将显示范围的范围当中越比运用在第2振幅相对于第1振幅的增加率相对低的情况中的显示范围的范围靠高坐标侧的范围设定为显示范围,第2振幅相对于第1振幅的增加率越小,显示信息决定部113将显示范围的范围当中越比运用在第2振幅相对于第1振幅的增加率相对高的情况中的显示范围的范围靠低坐标侧的范围设定为显示范围(第2比较处理)。由此,由于在色相动态图像中变化的程度小时和变化的程度大时显示的颜色的倾向改变,能在色相动态图像的显示中易于理解地反映在第1影像与第2影像之间产生的血流变动的程度。
另外,如第3设定处理所示那样,信息取得部112基于通过至少对身体的一部分进行摄像而得到的第1影像中的身体的影像信息来取得表示身体的一部分的脉搏波的第1脉搏波信息,基于通过第1影像之后对身体的一部分摄像而得到的第2影像中的身体的影像信息来取得表示身体的一部分的脉搏波的第2脉搏波信息,显示信息决定部113基于第1脉搏波信息和第2脉搏波信息来决定与身体的一部分的血流变动对应的显示影像的显示的明亮度(第1比较处理)。或者,基于从第1脉搏波信息取得的表示脉搏波的振幅的第1振幅和从第2脉搏波信息取得的表示脉搏波的振幅的第2振幅来决定显示影像的显示的明亮度(第2比较处理)。然后,显示控制部115用基于显示信息决定部113决定的显示的明亮度和第2脉搏波信息而决定的显示色的色调来控制显示影像的显示。由此,由于在色相动态图像中变化的程度小时以低的亮度让颜色改变,与此相对,在变化的程度大时,以高的亮度明亮地让颜色发生变化,因此能在色相动态图像的显示中易于理解地反映在第1影像与第2影像之间产生的血流变动的程度。
另外,如第1~第3设定处理中所示的那样,电子装置1进行显示色相动态图像的控制,使得脉搏波的振幅的最大值与显示范围的最大值对应,脉搏波的振幅的最小值与显示范围的最小值对应。由此,在显示范围改变的情况下,也对应于决定与脉搏波的波形相应的颜色的显示范围来合适地设定,因此能将周期性变化的血流的活动合适地视觉化。
另外,如第2比较处理所示那样,电子装置1具备信息取得部112、显示信息决定部113和显示控制部115。并且,显示信息决定部113基于从第1脉搏波信息取得的表示脉搏波的振幅的第1振幅和从第2脉搏波信息取得的表示脉搏波的振幅的第2振幅,来决定与血流变动对应的颜色的显示范围。
通过该处理也起到与第1比较处理同样的效果。进而,由于着眼于振幅,因此即使在用户的朝向不合适的情况下,也能将时间轴不同的2个影像中的血流变动更正确地对用户进行报知。
[变形例]
本发明并不限定于上述的实施方式,能达成本发明的目的的范围内的变形、改良等包含在本发明中。例如可以将上述的实施方式如以下的变形例那样变形。
在上述实施方式中,说明了基于第1脉搏波信息和第2脉搏波信息来从第1显示范围、第2显示范围以及第3显示范围中选择显示方法的示例,但并不限定于该形式。例如也可以省略选择显示范围的处理,设为决定显示范围或明亮度的处理,使得在使基于第1脉搏波信息生成的施术前的色相动态图像的显示范围的特定值(例如中央值)和基于第2脉搏波信息生成的施术后的色相动态图像的显示范围的特定值(例如中央值)一致的状态下,让基于第2脉搏波信息生成的施术后的色相动态图像的显示范围(亮度)或明亮度的最大值与基于第1脉搏波信息生成的施术前的色相动态图像中的显示范围(亮度)或明亮度的最大值相比变大。或者,也可以设为决定显示范围或明亮度的处理,使得在使基于第1脉搏波信息生成的施术前的色相动态图像的显示范围的特定值(例如中央值)和基于第2脉搏波信息生成的施术后的色相动态图像的显示范围的特定值(例如中央值)一致的状态下,让施术后的色相动态图像的显示范围(亮度)或明亮度的最小值与施术前的色相动态图像中的显示范围(亮度)或明亮度的最小值相比变小。
或者,也可以设为对应于第1脉搏波信息与第2脉搏波信息的比较结果的程度来算出显示范围或明亮度的最大值或最小值的处理。在该处理中,第1脉搏波信息与第2脉搏波信息的差越大,让施术后的显示范围或明亮度的最大值算出得越大。或者,进行设定,使得施术后的显示范围或明亮度的最大值与施术前的显示范围或明亮度的最大值相比更大,且施术前的显示范围或明亮度的最大值与施术后的显示范围或明亮度的最大值之差与第1脉搏波信息与第2脉搏波信息的差小时相比变大。同样地,第1脉搏波信息与第2脉搏波信息的差越小,让施术后的显示范围或明亮度的最小值算出得越小。或者,进行设定,使得施术后的显示范围或明亮度的最小值与施术前的显示范围或明亮度的最小值相比更小,且施术前的显示范围或明亮度的最小值与施术后的显示范围或明亮度的最小值之差与第1脉搏波信息与第2脉搏波信息的差大较时相比变小。如此地,能适宜变更决定显示范围和明亮度的方法。
在上述实施方式中,以马赛克状地显示色相的变化的色相动态图像为例进行了说明,但显示形式并不限定于该形式。也可以不是马赛克状地进行显示的处理,而是设为在特定的部位(例如脸颊的一部分)的一处显示色相动态图像的处理。在该情况下,可以设为基于显示范围的决定中所用的脉搏波信息来决定在某时间点显示的颜色的处理。
在上述实施方式中,对影像合成了实像,但显示形式并不限定于该形式。也可以设为作成与虚拟形象图像相符的色相动态图像、以变得苍白或变红那样的动画的表现来显示血流变动的形式。
还能设为对上述实施方式的电子装置1的显示部18组合具有反射面的镜部的结构。在该情况下,镜部通过作为光学的特性而具有透过特性和反射特性双方的半反射镜实现。并且镜部配置成重叠在让与显示部18相比靠前面的用户进行视觉辨识的方向上。通过这样的配置,用户例如不是视觉辨识由摄像部16摄像用户得到的图像,而是能同时视觉辨识由镜部反射的自身的脸、和显示于显示部18并透过镜部的各种信息(例如合成图像)。即,在上述的实施方式中,作为用户的实像而视觉辨识摄像部16作为被摄体摄像得到的用户图像,但在本变形例中,设为作为用户的实像而视觉辨识通过镜部反射的用户的镜像。如此地,也能起到与上述的实施方式同样的效果。
在上述实施方式中,说明了使用进行了对检测到的亮度进行换算的处理的换算亮度值来进行比较处理的结构,但并不限定于该结构。换算亮度值是表示亮度的水平的一个方案,也可以从上述实施方式省略换算处理,不进行换算处理地使用检测的亮度值来进行比较处理。
<其他变形例>
例如在上述的实施方式中,设想电子装置1和服务器群3中所含的各服务器进行协作,但也可以将各服务器的功能追加在电子装置1中,仅用电子装置1进行全部处理。
另外,在上述的实施方式中,运用本发明的电子装置1将装入能携带的自立式的镜的电子设备为例进行了说明,但并不特别限定于此。例如,本发明能运用在装入穿衣镜等大型的镜的电子装置、装入静置型的盥洗化妆台的电子装置、设置于浴室的镜形状的电子装置中。
上述的一系列处理能通过硬件执行,也能通过软件执行。换言之,图5的功能结构只是例示,并没有特别限定。即,在电子装置1中具备能将上述的一系列处理作为整体而执行的功能即足够,为了实现该功能而使用怎样的功能块并不特别限定于图5的示例。
另外,1个功能块可以由硬件单体构成,也可以由软件单体构成,还可以由它们的组合构成。本实施方式中的功能结构由执行运算处理的处理器实现,能用在本实施方式中的处理器除了包含由单处理器、多处理器以及多核处理器等各种处理装置单体构成的处理器以外,还包含这些各种处理装置和ASIC(Application Specific Integrated Circuit,特定用途集成电路)、FPGA(Field-Programmable Gate Array,现场可编程门阵列)等处理电路组合而成的结构。
在通过软件执行一系列处理的情况下,构成该软件的程序从网络、记录介质安装到计算机等。
计算机可以是装入专用的硬件中的计算机。另外,计算机也可以是通过安装各种程序而能执行各种功能的计算机,例如是通用的个人计算机。
包含这样的程序的记录介质,不仅由为了对用户提供程序而在装置主体之外另行分发的图4的可移动介质100构成,还由以预先装入装置主体的状态提供给用户记录介质等构成。可移动介质100例如由磁盘(包含软盘)、光盘或光磁盘等构成。光盘例如由CD-ROM(Compact Disk-Read Only Memory,只读光盘)、DVD、Blu-ray(注册商标)Disc(蓝光盘)等构成。光磁盘由MD(Mini-Disk)等构成。另外,以预先装入装置主体的状态提供给用户的记录介质例如由记录了程序的图4的ROM12、图4、5的存储部19中所含的硬盘等构成。
另外,在本说明书中,记述记录于记录介质的程序的步骤,当然包含按照其顺序在时间序列上进行的处理,但不一定非在时间序列上进行处理,还包含并列或个别执行的处理。另外,本说明书中的系统的用语是指由多个装置、多个单元等构成的整体的装置。
以上说明了本发明的几个实施方式,但这些实施方式只是例示,并不限定本发明的技术的范围。本发明能采用其他种种实施方式,进而,能在不脱离本发明的要旨的范围内进行省略、置换等种种变更。这些实施方式、其变形包含在记载于本说明书等中的发明的范围、要旨中,并包含在权利要求书记载的发明和其等同的范围内。

Claims (26)

1.一种电子装置,其特征在于,具备至少1个处理器,
所述处理器进行以下的处理:
基于通过至少对身体的一部分进行摄像而得到的第1影像中的所述身体的影像信息来取得表示所述身体的一部分的脉搏波的第1脉搏波信息,
基于通过在所述第1影像之后对所述身体的一部分进行摄像而得到的第2影像中的所述身体的影像信息来取得表示所述身体的一部分的脉搏波的第2脉搏波信息,
基于所述第1脉搏波信息和所述第2脉搏波信息来决定与所述身体的一部分的血流变动对应的显示影像的显示色的色调的显示范围,
用基于所述显示范围和所述第2脉搏波信息决定的所述显示色的色调来控制所述显示影像的显示,
所述处理器,
基于所述第1脉搏波信息与所述第2脉搏波信息的差分来决定所述显示色的色调的显示范围,
所述第1脉搏波信息与所述第2脉搏波信息的差分越大,将以与所述显示范围的中心坐标对应的颜色为中心的所述显示范围的范围宽度设定得越比运用在所述第1脉搏波信息与所述第2脉搏波信息的差分相对低的情况中的所述显示范围的范围宽度更宽,
所述第1脉搏波信息与所述第2脉搏波信息的差分越小,将以与所述显示范围的中心坐标对应的颜色为中心的所述显示范围的范围宽度设定得越比运用在所述第1脉搏波信息与所述第2脉搏波信息的差分相对高的情况中的所述显示范围的范围宽度更窄。
2.根据权利要求1所述的电子装置,其特征在于,
所述血流变动是从所述第1影像中的所述身体的一部分的血流向所述第2影像中的所述身体的一部分的血流的变动。
3.根据权利要求1或2所述的电子装置,其特征在于,
所述处理器,
将包含相当于所述第2影像的摄像时的所述身体的一部分的脉搏波的亮度的峰值与谷值之差的信息作为所述第2脉搏波信息,来控制所述显示影像的显示。
4.根据权利要求1所述的电子装置,其特征在于,
所述处理器,
进行作为所述显示影像而显示动态图像的控制。
5.根据权利要求1或2所述的电子装置,其特征在于,
所述处理器,
基于所述第1影像中的所述身体的影像信息中所含的第1亮度信息来取得所述第1脉搏波信息,基于所述第2影像中的所述身体的影像信息中所含的第2亮度信息来取得所述第2脉搏波信息。
6.根据权利要求5所述的电子装置,其特征在于,
所述第1亮度信息是所述第1影像的所述身体的一部分中的至少1像素的亮度值或所述第1影像的与所述身体的一部分对应的区域整体的平均亮度所相关的信息,所述第2亮度信息是所述第2影像的所述身体的一部分中的1像素的亮度值或所述第2影像的与所述身体的一部分对应的区域整体的平均亮度所相关的信息。
7.根据权利要求1所述的电子装置,其特征在于,
所述第1影像以及所述第2影像是动态图像,
所述处理器,
根据基于所述第1脉搏波信息取得的第1基线与基于所述第2脉搏波信息取得的第2基线的差分来决定所述显示色的色调的显示范围。
8.根据权利要求7所述的电子装置,其特征在于,
所述第1基线基于与所述第1脉搏波信息当中脉搏波稳定的范围的所述脉搏波对应的亮度值的平均值而取得,
所述第2基线基于与所述第2脉搏波信息当中脉搏波稳定的范围的所述脉搏波对应的亮度值的平均值而取得。
9.根据权利要求1或2所述的电子装置,其特征在于,
所述处理器具备:
显示信息决定部,其基于从所述第1脉搏波信息取得的表示脉搏波的振幅的第1振幅和从所述第2脉搏波信息取得的表示脉搏波的振幅的第2振幅来决定与所述身体的一部分的血流变动对应的显示影像的显示色的色调的显示范围;和
显示控制部,其用基于所述显示范围和所述第2脉搏波信息决定的所述显示色的色调来控制所述显示影像的显示。
10.根据权利要求9所述的电子装置,其特征在于,
所述处理器,
所述第2振幅相对于所述第1振幅的增加率越大,将以与所述显示范围的中心坐标对应的颜色为中心的所述显示范围的范围宽度设定得越比运用在所述第2振幅相对于所述第1振幅的增加率相对低的情况中的所述显示范围的范围宽度更宽,
所述第2振幅相对于所述第1振幅的增加率越小,将以与所述显示范围的中心坐标对应的颜色为中心的所述显示范围的范围宽度设定得越比运用在所述第2振幅相对于所述第1振幅的增加率相对高的情况中的所述显示范围的范围宽度更窄。
11.根据权利要求9所述的电子装置,其特征在于,
所述处理器,
所述第2振幅相对于所述第1振幅的增加率越大,将所述显示范围的范围当中越比运用在所述第2振幅相对于所述第1振幅的增加率相对低的情况中的所述显示范围的范围靠高坐标侧的范围设定为所述显示范围,
所述第2振幅相对于所述第1振幅的增加率越小,将所述显示范围的范围当中越比运用在所述第2振幅相对于所述第1振幅的增加率相对高的情况中的所述显示色的色调的显示范围的范围靠低坐标侧的范围设定为所述显示范围。
12.一种电子装置的控制方法,由所述电子装置的处理器执行,基于对身体摄像得到的影像来测量血流,所述电子装置的控制方法的特征在于,包含如下步骤:
基于通过至少对身体的一部分进行摄像而得到的第1影像中的所述身体的影像信息来取得表示所述身体的一部分的脉搏波的第1脉搏波信息,基于通过在所述第1影像之后对所述身体的一部分进行摄像而得到的第2影像中的所述身体的影像信息来取得表示所述身体的一部分的脉搏波的第2脉搏波信息;
基于所述第1脉搏波信息和所述第2脉搏波信息来决定与所述身体的一部分的血流变动对应的显示影像的显示色的色调的显示范围;和
用基于所述显示范围和所述第2脉搏波信息决定的所述显示色的色调来控制所述显示影像的显示,
基于所述第1脉搏波信息与所述第2脉搏波信息的差分来决定所述显示色的色调的显示范围,
所述第1脉搏波信息与所述第2脉搏波信息的差分越大,将以与所述显示范围的中心坐标对应的颜色为中心的所述显示范围的范围宽度设定得越比运用在所述第1脉搏波信息与所述第2脉搏波信息的差分相对低的情况中的所述显示范围的范围宽度更宽,
所述第1脉搏波信息与所述第2脉搏波信息的差分越小,将以与所述显示范围的中心坐标对应的颜色为中心的所述显示范围的范围宽度设定得越比运用在所述第1脉搏波信息与所述第2脉搏波信息的差分相对高的情况中的所述显示范围的范围宽度更窄。
13.一种介质,记录程序,所示程序由基于对身体摄像得到的影像来测量血流的电子装置的处理器执行并使所述电子装置实现:
取得功能,基于通过至少对身体的一部分进行摄像而得到的第1影像中的所述身体的影像信息来取得表示所述身体的一部分的脉搏波的第1脉搏波信息,基于通过在所述第1影像之后对所述身体的一部分进行摄像而得到的第2影像中的所述身体的影像信息来取得表示所述身体的一部分的脉搏波的第2脉搏波信息;
决定功能,基于所述第1脉搏波信息和所述第2脉搏波信息的差分来决定与所述身体的一部分的血流变动对应的显示影像的显示色的色调的显示范围,所述第1脉搏波信息与所述第2脉搏波信息的差分越大,将以与所述显示范围的中心坐标对应的颜色为中心的所述显示范围的范围宽度设定得越比运用在所述第1脉搏波信息与所述第2脉搏波信息的差分相对低的情况中的所述显示范围的范围宽度更宽,所述第1脉搏波信息与所述第2脉搏波信息的差分越小,将以与所述显示范围的中心坐标对应的颜色为中心的所述显示范围的范围宽度设定得越比运用在所述第1脉搏波信息与所述第2脉搏波信息的差分相对高的情况中的所述显示范围的范围宽度更窄;和
显示控制功能,用基于所述显示范围和所述第2脉搏波信息决定的所述显示色的色调来控制所述显示影像的显示。
14.一种电子装置,其特征在于,具备至少1个处理器,
所述处理器进行以下的处理:
基于通过至少对身体的一部分进行摄像而得到的第1影像中的所述身体的影像信息来取得表示所述身体的一部分的脉搏波的第1脉搏波信息,
基于通过在所述第1影像之后对所述身体的一部分进行摄像而得到的第2影像中的所述身体的影像信息来取得表示所述身体的一部分的脉搏波的第2脉搏波信息,
基于所述第1脉搏波信息和所述第2脉搏波信息来决定与所述身体的一部分的血流变动对应的显示影像的显示色的色调的显示范围,
用基于所述显示范围和所述第2脉搏波信息决定的所述显示色的色调来控制所述显示影像的显示,
所述处理器,
基于所述第1脉搏波信息与所述第2脉搏波信息的差分来决定所述显示色的色调的显示范围,
所述第1脉搏波信息与所述第2脉搏波信息的差分越大,将所述显示范围的范围当中越比运用在所述第1脉搏波信息与所述第2脉搏波信息的差分相对低的情况中的显示范围的范围靠高坐标侧的范围设定为所述显示范围,
所述第1脉搏波信息与所述第2脉搏波信息的差分越小,将所述显示范围的范围当中越比运用在所述第1脉搏波信息与所述第2脉搏波信息的差分相对高的情况中的所述显示范围的范围靠低坐标侧的范围设定为所述显示范围。
15.根据权利要求14所述的电子装置,其特征在于,
所述血流变动是从所述第1影像中的所述身体的一部分的血流向所述第2影像中的所述身体的一部分的血流的变动。
16.根据权利要求14或15所述的电子装置,其特征在于,
所述处理器,
将包含相当于所述第2影像的摄像时的所述身体的一部分的脉搏波的亮度的峰值与谷值之差的信息作为所述第2脉搏波信息,来控制所述显示影像的显示。
17.根据权利要求14所述的电子装置,其特征在于,
所述处理器,
进行作为所述显示影像而显示动态图像的控制。
18.根据权利要求14或15所述的电子装置,其特征在于,
所述处理器,
基于所述第1影像中的所述身体的影像信息中所含的第1亮度信息来取得所述第1脉搏波信息,基于所述第2影像中的所述身体的影像信息中所含的第2亮度信息来取得所述第2脉搏波信息。
19.根据权利要求18所述的电子装置,其特征在于,
所述第1亮度信息是所述第1影像的所述身体的一部分中的至少1像素的亮度值或所述第1影像的与所述身体的一部分对应的区域整体的平均亮度所相关的信息,所述第2亮度信息是所述第2影像的所述身体的一部分中的1像素的亮度值或所述第2影像的与所述身体的一部分对应的区域整体的平均亮度所相关的信息。
20.根据权利要求14所述的电子装置,其特征在于,
所述第1影像以及所述第2影像是动态图像,
所述处理器,
根据基于所述第1脉搏波信息取得的第1基线与基于所述第2脉搏波信息取得的第2基线的差分来决定所述显示色的色调的显示范围。
21.根据权利要求20所述的电子装置,其特征在于,
所述第1基线基于与所述第1脉搏波信息当中脉搏波稳定的范围的所述脉搏波对应的亮度值的平均值而取得,
所述第2基线基于与所述第2脉搏波信息当中脉搏波稳定的范围的所述脉搏波对应的亮度值的平均值而取得。
22.根据权利要求14或15所述的电子装置,其特征在于,
所述处理器具备:
显示信息决定部,其基于从所述第1脉搏波信息取得的表示脉搏波的振幅的第1振幅和从所述第2脉搏波信息取得的表示脉搏波的振幅的第2振幅来决定与所述身体的一部分的血流变动对应的显示影像的显示色的色调的显示范围;和
显示控制部,其用基于所述显示范围和所述第2脉搏波信息决定的所述显示色的色调来控制所述显示影像的显示。
23.根据权利要求22所述的电子装置,其特征在于,
所述处理器,
所述第2振幅相对于所述第1振幅的增加率越大,将以与所述显示范围的中心坐标对应的颜色为中心的所述显示范围的范围宽度设定得越比运用在所述第2振幅相对于所述第1振幅的增加率相对低的情况中的所述显示范围的范围宽度更宽,
所述第2振幅相对于所述第1振幅的增加率越小,将以与所述显示范围的中心坐标对应的颜色为中心的所述显示范围的范围宽度设定得越比运用在所述第2振幅相对于所述第1振幅的增加率相对高的情况中的所述显示范围的范围宽度更窄。
24.根据权利要求22所述的电子装置,其特征在于,
所述处理器,
所述第2振幅相对于所述第1振幅的增加率越大,将所述显示范围的范围当中越比运用在所述第2振幅相对于所述第1振幅的增加率相对低的情况中的所述显示范围的范围靠高坐标侧的范围设定为所述显示范围,
所述第2振幅相对于所述第1振幅的增加率越小,将所述显示范围的范围当中越比运用在所述第2振幅相对于所述第1振幅的增加率相对高的情况中的所述显示色的色调的显示范围的范围靠低坐标侧的范围设定为所述显示范围。
25.一种电子装置的控制方法,由所述电子装置的处理器执行,基于对身体摄像得到的影像来测量血流,所述电子装置的控制方法的特征在于,包含如下步骤:
基于通过至少对身体的一部分进行摄像而得到的第1影像中的所述身体的影像信息来取得表示所述身体的一部分的脉搏波的第1脉搏波信息,基于通过在所述第1影像之后对所述身体的一部分进行摄像而得到的第2影像中的所述身体的影像信息来取得表示所述身体的一部分的脉搏波的第2脉搏波信息;
基于所述第1脉搏波信息和所述第2脉搏波信息来决定与所述身体的一部分的血流变动对应的显示影像的显示色的色调的显示范围;和
用基于所述显示范围和所述第2脉搏波信息决定的所述显示色的色调来控制所述显示影像的显示,
基于所述第1脉搏波信息与所述第2脉搏波信息的差分来决定所述显示色的色调的显示范围,
所述第1脉搏波信息与所述第2脉搏波信息的差分越大,将所述显示范围的范围当中越比运用在所述第1脉搏波信息与所述第2脉搏波信息的差分相对低的情况中的显示范围的范围靠高坐标侧的范围设定为所述显示范围,
所述第1脉搏波信息与所述第2脉搏波信息的差分越小,将所述显示范围的范围当中越比运用在所述第1脉搏波信息与所述第2脉搏波信息的差分相对高的情况中的所述显示范围的范围靠低坐标侧的范围设定为所述显示范围。
26.一种介质,记录程序,所示程序由基于对身体摄像得到的影像来测量血流的电子装置的处理器执行并使所述电子装置实现:
取得功能,基于通过至少对身体的一部分进行摄像而得到的第1影像中的所述身体的影像信息来取得表示所述身体的一部分的脉搏波的第1脉搏波信息,基于通过在所述第1影像之后对所述身体的一部分进行摄像而得到的第2影像中的所述身体的影像信息来取得表示所述身体的一部分的脉搏波的第2脉搏波信息;
决定功能,基于所述第1脉搏波信息和所述第2脉搏波信息的差分来决定与所述身体的一部分的血流变动对应的显示影像的显示色的色调的显示范围,所述第1脉搏波信息与所述第2脉搏波信息的差分越大,将所述显示范围的范围当中越比运用在所述第1脉搏波信息与所述第2脉搏波信息的差分相对低的情况中的显示范围的范围靠高坐标侧的范围设定为所述显示范围,所述第1脉搏波信息与所述第2脉搏波信息的差分越小,将所述显示范围的范围当中越比运用在所述第1脉搏波信息与所述第2脉搏波信息的差分相对高的情况中的所述显示范围的范围靠低坐标侧的范围设定为所述显示范围;和
显示控制功能,用基于所述显示范围和所述第2脉搏波信息决定的所述显示色的色调来控制所述显示影像的显示。
CN202011167161.1A 2019-10-30 2020-10-27 电子装置、电子装置的控制方法以及介质 Active CN112741609B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-197860 2019-10-30
JP2019197860A JP7115458B2 (ja) 2019-10-30 2019-10-30 電子装置、電子装置の作動方法及び電子装置の制御プログラム

Publications (2)

Publication Number Publication Date
CN112741609A CN112741609A (zh) 2021-05-04
CN112741609B true CN112741609B (zh) 2023-09-08

Family

ID=75648754

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011167161.1A Active CN112741609B (zh) 2019-10-30 2020-10-27 电子装置、电子装置的控制方法以及介质

Country Status (3)

Country Link
US (1) US11521575B2 (zh)
JP (1) JP7115458B2 (zh)
CN (1) CN112741609B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022164266A (ja) 2021-04-16 2022-10-27 株式会社デンソー ユーザ装置、基地局及び通信制御方法
JP7338667B2 (ja) * 2021-09-16 2023-09-05 カシオ計算機株式会社 情報処理装置、スキンケア処方システム、スキンケア処方方法、及びプログラム
WO2023139799A1 (ja) * 2022-01-21 2023-07-27 株式会社 レイマック 非接触血流観察装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102170823A (zh) * 2008-10-06 2011-08-31 欧姆龙健康医疗事业株式会社 血压信息显示装置、血压信息显示系统、血压信息显示方法及存储有血压信息显示程序的存储介质
CN105188522A (zh) * 2013-03-08 2015-12-23 富士胶片株式会社 脉搏波传播速度的测定方法、测定系统及摄像装置
CN107405094A (zh) * 2014-10-14 2017-11-28 东卡罗莱娜大学 用于使用成像技术来可视化解剖结构以及血流和灌注生理机能的方法、系统和计算机程序产品
CN107865644A (zh) * 2016-09-23 2018-04-03 松下知识产权经营株式会社 脉搏波计测装置、脉搏波计测方法、程序以及记录介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110028850A1 (en) * 2009-07-28 2011-02-03 Thomas Schuhrke Process for quantitative display of blood flow
JP6683367B2 (ja) * 2015-03-30 2020-04-22 国立大学法人東北大学 生体情報計測装置、生体情報計測方法及び生体情報計測プログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102170823A (zh) * 2008-10-06 2011-08-31 欧姆龙健康医疗事业株式会社 血压信息显示装置、血压信息显示系统、血压信息显示方法及存储有血压信息显示程序的存储介质
CN105188522A (zh) * 2013-03-08 2015-12-23 富士胶片株式会社 脉搏波传播速度的测定方法、测定系统及摄像装置
CN107405094A (zh) * 2014-10-14 2017-11-28 东卡罗莱娜大学 用于使用成像技术来可视化解剖结构以及血流和灌注生理机能的方法、系统和计算机程序产品
CN107865644A (zh) * 2016-09-23 2018-04-03 松下知识产权经营株式会社 脉搏波计测装置、脉搏波计测方法、程序以及记录介质

Also Published As

Publication number Publication date
US20210134243A1 (en) 2021-05-06
US11521575B2 (en) 2022-12-06
CN112741609A (zh) 2021-05-04
JP7115458B2 (ja) 2022-08-09
JP2021069652A (ja) 2021-05-06

Similar Documents

Publication Publication Date Title
CN112741609B (zh) 电子装置、电子装置的控制方法以及介质
US11029830B2 (en) Display control apparatus, display controlling method and display control program for providing guidance using a generated image
US11800989B2 (en) Electronic device, control method for the electronic device, and storage medium
US20170319065A1 (en) Information processing device, information processing method, and program
US20220087547A1 (en) Electronic device, control method for electronic device, and recording medium
CN110297720B (zh) 通知装置、通知方法及存储通知程序的介质
CN110993051B (zh) 判定装置、判定方法以及记录介质
US10915617B2 (en) Image processing apparatus, image processing method, and recording medium
JP7135466B2 (ja) 表示装置、表示方法及び表示プログラム
JP7238835B2 (ja) 電子装置、電子装置の制御方法及び電子装置の制御プログラム
JP7415318B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP2021010652A (ja) 情報処理装置、評価方法、および情報処理プログラム
CN114430663A (zh) 图像处理装置、图像处理方法以及图像处理程序
CN110025116B (zh) 报知装置、报知方法以及记录介质
JP2021151304A (ja) 電子装置、電子装置の制御プログラム及び電子装置の制御方法
CN115829917A (zh) 信息处理装置、皮肤护理处方系统、方法以及存储介质
JP2020057153A (ja) 表示制御装置、表示制御方法及び表示制御プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant