CN108697345A - 生物体信息提取装置和生物体信息提取系统 - Google Patents

生物体信息提取装置和生物体信息提取系统 Download PDF

Info

Publication number
CN108697345A
CN108697345A CN201780014778.XA CN201780014778A CN108697345A CN 108697345 A CN108697345 A CN 108697345A CN 201780014778 A CN201780014778 A CN 201780014778A CN 108697345 A CN108697345 A CN 108697345A
Authority
CN
China
Prior art keywords
biont information
information extraction
face
extraction element
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201780014778.XA
Other languages
English (en)
Inventor
中村刚
松尾昌俊
手塚忠则
大桥政宏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Publication of CN108697345A publication Critical patent/CN108697345A/zh
Pending legal-status Critical Current

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024—Detecting, measuring or recording pulse rate or heart rate
    • A61B5/02416—Detecting, measuring or recording pulse rate or heart rate using photoplethysmograph signals, e.g. generated by infrared radiation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024—Detecting, measuring or recording pulse rate or heart rate
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024—Detecting, measuring or recording pulse rate or heart rate
    • A61B5/0245—Detecting, measuring or recording pulse rate or heart rate by using sensing means generating electric signals, i.e. ECG signals
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/1032—Determining colour for diagnostic purposes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6802—Sensor mounted on worn items
    • A61B5/6803—Head-worn items, e.g. helmets, masks, headphones or goggles
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6813—Specially adapted to be attached to a specific body part
    • A61B5/6814—Head
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0002—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Physics & Mathematics (AREA)
  • Cardiology (AREA)
  • Physiology (AREA)
  • Signal Processing (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

生物体信息提取装置具备：照相机，其设置于头部穿戴体，拍摄在时间上连续的摄像图像，该头部穿戴体被穿戴于人物(被检体)的头部，该摄像图像包含人物的至少脸的一部分作为被摄体；区域选择部，其从由照相机拍摄到的摄像图像中选择肤色区域；脉搏波检测部，其基于肤色区域的图像数据来检测人物的脉搏波信号；以及数据发送部，其将脉搏波信号发送到规定的发送目的地，照相机被配置为朝向人物的脸的侧面，从而设定为拍摄脸的侧面的一部分(脸的脸颊)。

Description

生物体信息提取装置和生物体信息提取系统
技术领域
本公开涉及生物体信息提取装置和生物体信息提取系统，从不与人体接触而得到的信息中提取其生物体信息。
背景技术
关于人的脉搏的测量，已知有测量者(护士等)将手指触到被检者的手腕来人为地确认脉动的方法、或者通过在被检者的手腕、手指等上安装专用的测量设备来自动地检测脉动的方法等。另一方面，这种测量方法使得被检者的自由行动临时受限或者需要对被检者安装测量设备，因此开发了不与被检者(人体)接触而估计(检测)脉搏的技术。例如，已知有如下的技术(参照专利文献1)：从拍摄被检者得到的图像数据中提取被检者的脉搏波的时间序列数据、即脉搏波信号，根据该脉搏波信号来估计(检测)脉搏。
另外，例如在施工现场、建设现场等中，为了防止因作业者的健康状态(例如瞌睡、压力、身体不适)引起的事故发生，希望获取作业者的生物体信息(例如脉搏波、脉搏)并根据该生物体信息来监视和管理作业者的健康状态。因此，提出了如下的技术：由在被检体(测量对象者)的头部穿戴的安全帽的正面的帽沿设置的照相机来拍摄被检体的脸的正面并将该图像数据(影像信息)无线发送到管理计算机，由管理计算机基于图像数据提取被检体的生物体信息来判定健康状态(参照专利文献2)。
然而，当制作拍摄被检体的脸的正面得到的图像数据并发送时，在发生误发送、信息泄漏等故障的情况下无法保护被检体的隐私。另外，当被检体的脸上戴有墨镜、口罩等遮蔽物的情况下，无法高精度地提取基于拍摄被检体的脸的正面得到的图像的生物体信息，根据情况无法提取。
并且，图像数据的数据量大，因此应确保大量通信带宽或者削减发送数据量，需要使用H.264等公知的图像压缩技术来压缩图像数据或者缩小图像大小。但是，在压缩图像数据或者缩小图像大小的情况下，基于该图像数据的生物体信息的提取精度降低。
本公开的目的在于，保护被检体的隐私，并且即使在被检体的脸上穿戴有墨镜、口罩等遮蔽物的情况下也能够提取被检体的生物体信息，不降低生物体信息的提取精度并削减发送数据量。
专利文献1：日本特开2012-239661号公报
专利文献2：国际公开第2015/098977号
发明内容
本公开的生物体信息提取装置，其设置于被穿戴于被检体的头部的头部穿戴体，从不与所述被检体接触而得到的信息中提取该被检体的生物体信息，该生物体信息提取装置具备：照相机，其拍摄时间上连续的摄像图像，该摄像图像包含所述被检体的至少脸的一部分作为被摄体；区域选择部，其从由所述照相机拍摄到的摄像图像中选择肤色区域；以及数据发送部，其将基于所述肤色区域提取出的与所述被检体的生物体相关的生物体关联数据发送到规定的发送目的地，其中，所述照相机被配置为朝向所述被检体的所述脸的侧面。
根据本公开，能够保护被检体的隐私，并且即使在被检体的脸上穿戴有墨镜、口罩等遮蔽物的情况下也能够提取被检体的生物体信息，不降低生物体信息的提取精度并削减发送数据量。
附图说明
图1是第一实施方式所涉及的生物体信息提取系统的整体结构图。
图2是第一实施方式所涉及的生物体信息提取系统的功能框图。
图3A是脉搏波检测处理和脉搏估计处理的说明图。
图3B是脉搏波检测处理和脉搏估计处理的说明图。
图4A是表示用于实现第一实施方式所涉及的生物体信息提取装置的硬件结构的框图。
图4B是表示用于实现第一实施方式所涉及的生物体信息提取装置的硬件结构的框图。
图5是表示第一实施方式所涉及的生物体信息提取装置的处理的流程的流程图。
图6是表示第一实施方式所涉及的信息分析装置的处理的流程的流程图。
图7A是表示对在人物的脸上穿戴的遮蔽物与人物的心率之间的关系调查的实验的结果的图。
图7B是表示对在人物的脸上穿戴的遮蔽物与人物的心率之间的关系调查的实验的结果的图。
图7C是表示对在人物的脸上穿戴的遮蔽物与人物的心率之间的关系调查的实验的结果的图。
图7D是表示对在人物的脸上穿戴的遮蔽物与人物的心率之间的关系调查的实验的结果的图。
图8是第二实施方式所涉及的生物体信息提取系统的整体结构图。
图9是第二实施方式所涉及的生物体信息提取系统的功能框图。
图10是表示第三实施方式所涉及的生物体信息提取系统的整体结构图。
图11是第三实施方式所涉及的生物体信息提取系统的功能框图。
图12是第四实施方式所涉及的生物体信息提取系统1的概要图。
图13是表示生物体信息提取装置的照相机的变形例的图。
具体实施方式
以下参照附图说明本公开的实施方式。但是，有时省略所需以上的详细说明。例如有时省略众所周知的事项的详细说明、实质上相同的结构的重复说明。这是为了避免以下的说明不必要地变得冗余，使得从业人员容易理解。此外，附图和以下的说明是为了使从业人员足够理解本公开而提供的，并不是意图通过这些来限定权利要求范围记载的主题。
(第一实施方式)
图1和图2分别是本公开的第一实施方式所涉及的生物体信息提取系统1的整体结构图和功能框图，图3是图2所示的生物体信息提取装置3和生物体信息分析装置4的脉搏波检测处理和脉搏估计处理的说明图。
生物体信息提取系统1是从不与人体接触而得到的信息(摄像图像)中提取其生物体信息(例如脉搏波、脉搏)的单元，如图1所示，具备：生物体信息提取装置3，其设置于头部穿戴体2来提取人物H的生物体信息的原信息、即脉搏波信号W，该头部穿戴体2被穿戴于人物(被检体)H的头部；以及生物体信息分析装置4，其接收从生物体信息提取装置3发送的脉搏波信号W。另外，在生物体信息提取系统1中，生物体信息提取装置3和生物体信息分析装置4能够经由无线局域网(Local Area Network)、蓝牙(Bluetooth：注册商标)等无线通信网络5来相互通信地连接。但是，不限于此，也可以是生物体信息提取装置3和生物体信息分析装置4通过公知的通信电缆来有线连接的结构。
在本实施方式中，人物H是施工现场、建设现场等的作业者，头部穿戴体2是安全帽。以下，头部穿戴体2也称为“安全帽”。在图1的例子中，安全帽2具有在其下端遍及全周形成的帽沿2a。此外，人物H不限于施工现场、建设现场等的作业者，例如也可以是起重机、铲车等各种重型机械的操作员、或轨道车辆、普通车等各种车辆的驾驶员、或调度中心的电话操作员(参照图12)等。另外，头部穿戴体2也不限于安全帽，也可以是头戴式套装(参照图12)、头盔、帽子等。
如图2所示，生物体信息提取装置3具备：照相机11，其拍摄时间上连续的摄像图像，该摄像图像包含人物H的至少脸的一部分作为被摄体；区域提取部12，其从由照相机11拍摄到的摄像图像中提取肤色区域；脉搏波检测部13，其基于由区域提取部12提取出的肤色区域来检测人物H的脉搏波信号W；以及数据发送部14，其将由脉搏波检测部13检测出的脉搏波信号W经由无线通信网络5发送。
生物体信息提取装置3具有薄的大致矩形状的外壳，在其内部收容有用于实施后述的各部功能的硬件。照相机11的镜头暴露在外壳的侧面。使用未图示的公知的安装构件，将生物体信息提取装置3的上端部3a固定安装在位于安全帽2的帽沿2a中的靠人物H的脸的侧方的部分。由此，照相机11被配置为朝向人物H的脸的侧面。在图1的例子中，照相机11配置为与人物H的脸的侧面相向。作为上述的安装构件，例如可举出具有卡合部的安装构件，该卡合部能够插入帽沿2a并固定，呈コ字状截面。此外，如果照相机11被配置为朝向人物H的脸的侧面，则生物体信息提取装置3安装于安全帽2的方法没有被特别限定。例如，也可以使用一方设置于安全帽2且另一方设置于生物体信息提取装置3的能够相互耦合的一对耦合构件。或者也可以将安全帽2和生物体信息提取装置3一体地构成。
照相机11是具有公知的结构的照相机，具有摄像元件，该摄像元件使通过镜头得到的来自被摄体(人物H)的光成像到未图示的图像传感器(CCD、CMOS等)，将该成像了的像的光变换为电信号。如上所述，照相机11被设置为与人物H的脸的侧面相向，因此照相机11拍摄人物H的脸的侧面。另外，照相机11的摄像区域R不是人物H的脸的侧面的整体，而是设定为脸的侧面的一部分。由此，不会制作能够识别人物H的脸的图像数据。
在本实施方式中，以拍摄人物H的脸的脸颊的方式设定照相机11的配置位置。也就是说，照相机11的摄像区域R是脸的脸颊。详细情况后述，但是在本公开使用的生物体信息获取技术中，基于由照相机11拍摄到的人物H的皮肤的摄像图像来提取作为时间序列数据的脉搏波信号W。脉搏波信号W是基于因心脏的收缩产生的血管的电容变化引起的光吸收量(具体地说，血液中的血红蛋白浓度)的变化来提取出的信号，因此希望摄像区域R是皮肤薄的部分，以使对人物H的皮肤的摄像容易，且能够精度良好地提取光吸收量的变化。脸的脸颊平坦、面积大且皮肤薄，因此最适合作为用于提取脉搏波信号W的摄像区域R。通过将脸的脸颊设为摄像区域R，能够精度良好地提取人物H的脉搏波信号W。
区域提取部12按摄像图像(帧图像)中的规定大小的每个像素块来求出代表该像素块的颜色(或者亮度)的代表值，在该代表值与预先设定的肤色值一致的情况下，将该像素块或者从该像素块起规定范围内的区域提取为肤色区域。此外，基于根据摄像图像且使用公知的图像识别技术检测出的肤色候补区域的代表值，来自动地设定肤色值。此外，由于根据每个人以及拍摄时的光条件而肤色值不同，因此可以在人物H穿戴安全帽2时以及按每隔规定时间来设定肤色值。
脉搏波检测部13关于在时间上连续的摄像图像中提取出的构成肤色区域的各像素，计算例如RGB的各成分的像素值(0-255灰度)，将其代表值(这里为各像素的平均值)的时间序列数据生成为脉搏波信号W。在该情况下，能够仅基于因脉动而变动特别大的绿色成分(G)的像素值来生成作为时间序列数据的脉搏波信号W。脉搏波信号W是波形数据(参照图3A)。
数据发送部14能够使用无线局域网、蓝牙(Bluetooth：注册商标)等公知的无线通信技术，将基于肤色区域提取出的与人物H的生物体相关的生物体关联数据(在本实施方式中为由脉搏波检测部13生成的脉搏波信号W)发送到生物体信息分析装置4。此外，数据发送部15中使用的无线通信技术没有特别限定，能够使用公知的各种无线通信技术。
如图2所示，生物体信息分析装置4具备：数据接收部21，其接收从生物体信息提取装置3发送的生物体关联数据(在本实施方式中为脉搏波信号W)；脉搏估计部22，其根据数据接收部21接收到的脉搏波信号W来估计人物H的脉搏；以及数据存储部23，其将由脉搏估计部22估计出的脉搏存储为脉搏数据M。
数据接收部21与生物体信息提取装置3的数据发送部15同样地，能够使用无线局域网、蓝牙(Bluetooth：注册商标)等公知的无线通信技术，来接收从数据发送部15发送的生物体关联数据。此外，数据接收部21中使用的无线通信技术如果能够接收从数据发送部15发送的生物体关联数据则没有被特别限定。
像素值(平均值)的时间序列数据、即脉搏波信号W，例如图3A所示那样，基于血液中的血红蛋白浓度的变化而伴随有微小变动(例如，小于像素值的1灰度的变动)。因此，脉搏估计部22通过对脉搏波信号W实施公知的滤波处理(例如，设定了规定通过频带的带通滤波器进行的处理等)，能够如图3B所示那样，提取出消除了噪声成分的脉搏波信号W。之后，脉搏估计部22能够计算消除了噪声成分的脉搏波信号W中的彼此相邻的峰值间的间隔S(参照图3B)、即脉搏波的一拍的周期的间隔(脉搏波间隔)S，并且基于该脉搏波间隔S来估计脉搏(脉搏数)。脉搏波间隔S是因心脏的搏动引起的，因此能够视为与心电仪中的心搏间隔(RRI)相当。因而，能够根据脉搏波间隔S来估计脉搏数。
脉搏估计部22的估计结果(脉搏数)作为脉搏数据被存储到数据存储部23。另外，包含脉搏估计部22的估计结果的各种信息(例如，脉搏波的波形等)输出到未图示的显示装置(公知的显示器装置)来显示。
图4A是表示用于实现第一实施方式所涉及的生物体信息提取装置3的硬件结构的框图。生物体信息提取装置3具有如下的硬件结构，该硬件结构包括：照相机11；CPU(Central Processing Unit：中央处里单元)31和DSP(Digital Signal Processor：数字信号处理器)32，其基于规定的控制程序来总体地执行各种信息处理(例如，区域提取处理、脉搏波检测处理)、对周边设备的控制等；作为CPU 31和DSP 32的工作区等来发挥功能的RAM(Random Access Memory：随机存取存储器)、保存CPU 31和DSP 32执行的控制程序、数据的ROM(Read Only Memory：只读存储器)等存储器33；用于累积生物体信息提取装置3的处理结果的HDD(Hard Disk Drive：硬盘驱动器)、存储卡等存储单元34；在与生物体信息分析装置4之间进行无线发送的无线局域网、蓝牙(Bluetooth：注册商标)等通信单元35；以及总线36，其将所述这些连接。此外，关于图2所示的生物体信息提取装置3的各部的功能中的至少一部分，是能够通过CPU 31和DSP 32执行规定的控制程序来实现的。另外，也可以通过其它的公知的硬件进行的处理来代替生物体信息提取装置3的功能的至少一部分。
图4B是表示用于实现第一实施方式所涉及的生物体信息分析装置4的硬件结构的框图。生物体信息分析装置4具有如下的硬件结构，该硬件结构包括：CPU(CentralProcessing Unit：中央处里单元)41和DSP(Digital Signal Processor：数字信号处理器)42，其基于规定的控制程序来总体地执行各种信息处理(例如，区域提取处理、脉搏波检测处理)、对周边设备的控制等；作为CPU 41和DSP 42的工作区等来发挥功能的RAM(RandomAccess Memory：随机存取存储器)、保存CPU 41和DSP 42执行的控制程序、数据的ROM(ReadOnly Memory：只读存储器)等存储器43；HDD(Hard Disk Drive：硬盘驱动器)、存储卡等存储单元44，其用于累积生物体信息分析装置4的处理结果；与生物体信息提取装置3之间进行无线发送的无线局域网、蓝牙(Bluetooth：注册商标)等通信单元45；以及总线46，其将所述这些连接。此外，关于图2所示的生物体信息分析装置4的各部的功能的至少一部分，是能够通过CPU 41和DSP 42执行规定的控制程序来实现的。另外，也可以通过其它的公知的硬件的处理来代替生物体信息分析装置4的功能的至少一部分。
接着，参照图5和图6的流程图来分别说明第一实施方式所涉及的生物体信息提取装置3和生物体信息分析装置4的处理的流程。
图5是表示第一实施方式所涉及的生物体信息提取装置3的处理的流程的流程图。首先，由照相机11拍摄时间上连续的摄像图像，该摄像图像包含人物H的至少脸的一部分(在本实施方式中为脸的脸颊)作为被摄体(ST101)。接着，区域提取部12提取由照相机11拍摄到的摄像图像(帧图像)中的肤色区域(ST102)。接着，脉搏波检测部13将基于由区域提取部12提取出的构成肤色区域的各像素值得出的时间序列数据生成为脉搏波信号W。而且，在步骤ST104中，数据发送部14将由脉搏波检测部13生成的脉搏波信号W作为生物体关联数据发送到生物体信息分析装置4(ST104)。此外，在生物体信息提取装置3中，依次重复执行上述的步骤ST101-ST104。
图6是表示第一实施方式所涉及的生物体信息分析装置4的处理的流程的流程图。首先，数据接收部21从生物体信息提取装置3的数据发送部14接收脉搏波信号W(ST201)。接着，脉搏估计部22对脉搏波信号W实施公知的滤波处理来检测脉搏波，计算出该脉搏波中的彼此相邻的峰值间的间隔S(参照图3B)、即脉搏波的一拍的周期的间隔(脉搏波间隔)S，基于该脉搏波间隔S来估计脉搏(脉搏数)(ST202)。而且，数据存储部23将由脉搏估计部22估计出的脉搏存储为脉搏数据(ST203)。此外，在生物体信息分析装置4中，依次重复执行上述的步骤ST201-ST203。
图7A～图7D是表示对在人物H的脸上穿戴的遮蔽物(墨镜51、口罩52)与人物H的心率之间的关系调查的实验的结果的图，图7A表示人物H的脸上没有穿戴遮蔽物的情况，图7B表示人物H的脸上穿戴有墨镜51的情况，图7C表示人物H的脸上穿戴有口罩52的情况，图7D表示人物H的脸上穿戴有墨镜51和口罩52的情况。另外，在图7A～图7D中，“心率计”表示由心率计测量得到的心率，“正面照相机”表示基于拍摄人物H的脸的正面得到的摄像图像来检测的心率，“侧面照相机”表示根据拍摄人物H的脸的侧面得到的摄像图像来检测的心率。
如图7A～图7D所示，根据拍摄人物H的脸的侧面得到的摄像图像来检测的心率(侧面照相机)，在人物H的脸上穿戴有遮蔽物的情况(图7B、图7C、图7D)或人物H的脸上不附有遮蔽物的情况下(图7A)，由心率计测量得到的心率(心率计)大致相同。另一方面，基于拍摄人物H的脸的正面得到的摄像图像来检测的心率(正面照相机)，在人物H的脸上穿戴有口罩52的情况(图7C)、人物H的脸上穿戴有墨镜51和口罩52的情况下(图7D)不能检测。因此可知，在人物H的脸上穿戴有口罩52的情况下，无法根据拍摄人物H的脸的正面得到的摄像图像来检测人物H的心率，但是能够根据拍摄人物H的脸的侧面得到的摄像图像来检测人物H的心率。因而可知，当考虑人物H的脸上穿戴有口罩52等遮蔽物的情况时，优选为拍摄人物H的脸的侧面，而不是拍摄正面。
如以上那样，根据第一实施方式所涉及的生物体信息提取系统1，构成为由以朝向人物H的脸的侧面的方式配置的照相机11来拍摄人物H的脸的侧面，因此即使在人物H的脸上穿戴有墨镜、口罩等遮蔽物的情况下也能够提取人物H的生物体信息。另外，构成为由照相机11来拍摄人物H的脸的侧面的一部分(在本实施方式中为脸的脸颊)，因此不会制作能够识别人物H的脸的图像数据。由此，即使在发生图像数据的误发送、信息泄漏等故障的情况下也能够保护人物H的隐私。并且，构成为在生物体信息提取装置3中生成脉搏波信号W并将该脉搏波信号W发送到生物体信息分析装置4，因此与不降低生物体信息的提取精度并发送图像数据的情况相比，能够大幅地削减发送数据量。
此外，在本实施方式中，照相机11的摄像区域R设为脸的脸颊，但是如果摄像区域R为人物H的脸的侧面的一部分，则也可以是脸的脸颊之外的部分。例如，能够将如图7C所示的人物H的脸中的口罩52上侧的区域R1、如图7D所示的人物H的脸中的口罩52和墨镜51之间的区域R2、人物H的太阳穴的部分、人物H的耳朵的前侧的区域等设为摄像区域R。
另外，在该第一实施方式中，为了减轻生物体信息提取装置3的处理量，构成为从生物体信息提取装置3向生物体信息分析装置4发送实施滤波处理之前的脉搏波信号W。但是，也可以构成为发送实施滤波处理之后的脉搏波信号(即，消除了噪声成分的脉搏波信号)。在这种情况下，与发送图像数据的情况相比，也能够大幅地削减发送数据量。此外，在这种情况下，脉搏波信号W的滤波处理是在生物体信息提取装置3中实施的。
(第二实施方式)
图8和图9是本公开的第二实施方式所涉及的生物体信息提取系统1的整体结构图和功能框图。在图8和图9中，对与上述的第一实施方式相同的结构要素附加相同的附图标记。另外，在第二实施方式中，以下没有特别说到的事项为与上述的第一实施方式的情况相同。
如图8所示，该第二实施方式所涉及的生物体信息提取系统1将脉搏数据M作为生物体关联数据从生物体信息提取装置3向生物体信息分析装置4发送，这点与第一实施方式的情况不同。另外，如图9所示，脉搏估计部22不是设置于生物体信息分析装置4而是设置于生物体信息提取装置3，这点与第一实施方式的情况不同。在该第二实施方式所涉及的生物体信息提取系统1中，脉搏(脉搏数)的估计是在生物体信息提取装置3中进行的，从生物体信息提取装置3向生物体信息分析装置4发送脉搏数据M。生物体信息分析装置4将从生物体信息提取装置3接收到的脉搏数据M存储到数据存储部23。
根据该第二实施方式所涉及的生物体信息提取系统1，构成为在生物体信息提取装置3中生成脉搏数据M，将该脉搏数据M发送到生物体信息分析装置4，因此与不降低生物体信息的提取精度并发送图像数据的情况相比，能够大幅地削减发送数据量。另外，能够从生物体信息提取装置3发送作为生物体信息的脉搏数据M，因此生物体信息提取系统1的结构的自由度提高。由此，能够构建各种结构的生物体信息提取系统1。另外，构成为由以朝向人物H的脸的侧面的方式配置的照相机11来拍摄人物H的脸的侧面的一部分(在本实施方式中为脸的脸颊)，因此与上述的第一实施方式的情况同样地，能够保护人物H的隐私，并且即使人物H的脸上穿戴墨镜、口罩等遮蔽物的情况下也提取人物H的生物体信息。
(第三实施方式)
图10和图11是本公开的第三实施方式所涉及的生物体信息提取系统1的整体结构图和功能框图。在图10和图11中，对与上述的第一实施方式相同的结构要素附加相同的附图标记。另外，在第三实施方式中，以下没有特别说到的事项与上述的第一实施方式的情况相同。
如图10所示，该第三实施方式所涉及的生物体信息提取系统1将图像数据P作为生物体关联数据来从生物体信息提取装置3向生物体信息分析装置4发送，这点与第一实施方式的情况不同。另外，如图11所示，脉搏波检测部13不是设置于生物体信息提取装置3而是设置于生物体信息分析装置4，这点与第一实施方式的情况不同。在该第三实施方式所涉及的生物体信息提取系统1中，从生物体信息提取装置3向生物体信息分析装置4发送图像数据P，在生物体信息分析装置4中对脉搏波信号进行检测以及基于该脉搏波信号估计脉搏(脉搏数)。
根据该第三实施方式所涉及的生物体信息提取系统1，构成为在生物体信息提取装置3中生成肤色区域的时间序列的图像数据、即图像数据P，将该图像数据P发送到生物体信息分析装置4，因此与不降低生物体信息的提取精度并发送脸整体的图像的情况相比，能够大幅地削减发送数据量。另外，构成为由以朝向人物H的脸的侧面的方式配置的照相机11来拍摄人物H的脸的侧面的一部分(在本实施方式中为脸的脸颊)，因此与上述的第一实施方式的情况同样地，能够保护人物H的隐私，并且即使人物H的脸上穿戴墨镜、口罩等遮蔽物的情况下也能够提取人物H的生物体信息。
(第四实施方式)
图12是本公开的第四实施方式所涉及的生物体信息提取系统1的概要图。在图12中，对与上述的第一实施方式相同的结构要素附加相同的附图标记。另外，在第一实施方式中，以下没有特别说到的事项为与上述的第一实施方式的情况相同。此外，在该图12中省略生物体信息分析装置4的图示。
在该第四实施方式所涉及的生物体信息提取系统1中，代替安全帽2而使用头戴式套装2作为头部穿戴体，这点与第一实施方式不同。头戴式套装2具备：被穿戴于人物H的头部的带部61、设置于带部61的下端61a的耳机62、从带部61的下端61a延伸的臂63以及设置于臂63的前端63a的麦克风64，生物体信息提取装置3使用夹子等未图示的公知的安装构件来固定安装于臂63的朝向人物H的脸的脸颊的位置的部分。照相机11的配置位置被设置为拍摄人物H的脸的脸颊。也就是说，照相机11的摄像区域R是脸的脸颊。
该第四实施方式所涉及的生物体信息提取系统1能够应用于调度中心的电话操作员等。根据该第四实施方式所涉及的生物体信息提取系统1，构成为由以朝向人物H的脸的侧面的方式配置的照相机11来拍摄人物H的脸的侧面的一部分(在本实施方式中为脸的脸颊)，因此能够与上述的第一实施方式的情况同样地保护人物H的隐私，并且即使在人物H脸上穿戴墨镜、口罩等遮蔽物的情况下也能够提取人物H的生物体信息。
图13是表示生物体信息提取装置3的照相机11的变形例的图。如图13所示，照相机11具有镜头71和LED照明72。镜头71如下地构成：具有透过红外光且截止可见光的可见光截止滤波器(未图示)以及透过可见光且截止红外光的红外光截止滤波器(未图示)，能够根据由未图示的照度传感器检测出的亮度来相应地切换上述滤波器。由此，白天能够将可见光作为光源进行拍摄，夜间能够将红外线作为光源进行拍摄，因此白天或夜间都能够更鲜明地拍摄人物H。另外，也根据由未图示的照度传感器检测出的亮度来驱动LED照明72。由此，在对人物H的摄像所需的光量不足的情况下，也能够通过驱动LED照明72来确保摄像所需的光量，从而更鲜明地拍摄人物H。
以上，根据特定的实施方式来说明了本公开，但是这些实施方式只不过是例示的，本公开并非被这些实施方式所限定。例如，本公开所涉及的生物体信息提取装置和生物体信息提取系统不限于医疗的用途，能够应用于脸识别、监视、确认生死等各种用途。另外，此外，上述生物体信息提取装置和生物体信息提取系统的各结构要素并非全都是必须的，能够在至少不超出本公开的范围的前提下适当取舍选择。
产业上的可利用性
本公开所涉及的生物体信息提取装置和生物体信息提取系统作为如下生物体信息提取装置和生物体信息提取系统等是有用的，能够保护被检体的隐私，并且即使在被检体的脸上戴有墨镜、口罩等遮蔽物的情况下也能够提取被检体的生物体信息，不降低生物体信息的提取精度并缩减发送数据量。
附图标记说明
1：生物体信息提取系统；2：头部穿戴体(安全帽、头饰)；3：生物体信息提取装置；4：生物体信息分析装置；5：通信网络；11：照相机；12：区域提取部；14：数据发送部；21：数据接收部；22：脉搏估计部；23：数据存储部；71：镜头；72：LED照明；H：人物(被检体)；R：摄像区域；W：脉搏波信号；P：图像数据；M：脉搏数据。

Claims (10)

1.一种生物体信息提取装置，其设置于被穿戴于被检体的头部的头部穿戴体，从不与所述被检体接触而得到的信息中提取该被检体的生物体信息，该生物体信息提取装置具备：
照相机，其拍摄在时间上连续的摄像图像，该摄像图像包含所述被检体的至少脸的一部分作为被摄体；
区域选择部，其从由所述照相机拍摄到的摄像图像中选择肤色区域；以及
数据发送部，其将基于所述肤色区域提取出的与所述被检体的生物体相关的生物体关联数据发送到规定的发送目的地，
所述照相机被配置为朝向所述被检体的所述脸的侧面。
2.根据权利要求1所述的生物体信息提取装置，其特征在于，
所述照相机被设定为拍摄所述脸的侧面的一部分。
3.根据权利要求2所述的生物体信息提取装置，其特征在于，
所述脸的一部分是所述脸的脸颊。
4.根据权利要求1所述的生物体信息提取装置，其特征在于，
所述生物体关联数据是所述肤色区域的时间序列的图像数据。
5.根据权利要求4所述的生物体信息提取装置，其特征在于，
还具备脉搏波检测部，其基于所述肤色区域的所述时间序列的图像数据来检测所述被检体的脉搏波信号，
所述生物体关联数据是所述脉搏波信号。
6.根据权利要求5所述的生物体信息提取装置，其特征在于，
还具备生物体信息提取部，其基于所述脉搏波信号来提取所述被检体的生物体信息，
所述生物体关联数据是所述生物体信息。
7.根据权利要求1所述的生物体信息提取装置，其特征在于，
所述头部穿戴体包含安全帽或者头饰。
8.根据权利要求1所述的生物体信息提取装置，其特征在于，
所述照相机的镜头中具有可见光截止滤波器和红外光截止滤波器。
9.根据权利要求1所述的生物体信息提取装置，其特征在于，
所述照相机具有LED照明。
10.一种生物体信息提取系统，具备：
根据权利要求1所述的所述生物体信息提取装置；以及
生物体信息分析装置，其接收从所述生物体信息提取装置发送的所述生物体关联数据。
CN201780014778.XA 2016-03-03 2017-02-14 生物体信息提取装置和生物体信息提取系统 Pending CN108697345A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016040890A JP2017153773A (ja) 2016-03-03 2016-03-03 生体情報抽出装置および生体情報抽出システム
JP2016-040890 2016-03-03
PCT/JP2017/005214 WO2017150169A1 (ja) 2016-03-03 2017-02-14 生体情報抽出装置および生体情報抽出システム

Publications (1)

Publication Number Publication Date
CN108697345A true CN108697345A (zh) 2018-10-23

Family

ID=59742803

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780014778.XA Pending CN108697345A (zh) 2016-03-03 2017-02-14 生物体信息提取装置和生物体信息提取系统

Country Status (5)

Country Link
US (1) US20190053715A1 (zh)
EP (1) EP3424415A4 (zh)
JP (1) JP2017153773A (zh)
CN (1) CN108697345A (zh)
WO (1) WO2017150169A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024174130A1 (zh) * 2023-02-22 2024-08-29 南方科技大学 一种从视频中连续监测心率的多光谱成像方法、装置及终端

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7028002B2 (ja) * 2017-12-06 2022-03-02 新東工業株式会社 産業機械起動制御システム、起動制御方法、及びプログラム
JP7415318B2 (ja) * 2017-12-22 2024-01-17 カシオ計算機株式会社 画像処理装置、画像処理方法及びプログラム
CN118019488A (zh) * 2021-09-24 2024-05-10 苹果公司 用于测量心脏和呼吸信号的系统和方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013045119A1 (en) * 2011-09-30 2013-04-04 Latvijas Universitate Device for the determination of peripheral regional anaesthesia using contactless photoplethysmography
WO2013166341A1 (en) * 2012-05-02 2013-11-07 Aliphcom Physiological characteristic detection based on reflected components of light
JP2014198201A (ja) * 2013-03-29 2014-10-23 富士通株式会社 脈波検出プログラム、脈波検出方法および脈波検出装置
WO2015098977A1 (ja) * 2013-12-25 2015-07-02 旭化成株式会社 脈波測定装置、携帯機器、医療機器システム、及び生体情報コミュニケーションシステム
US20150313502A1 (en) * 2014-05-02 2015-11-05 Xerox Corporation Determining arterial pulse wave transit time from vpg and ecg/ekg signals
CN105266772A (zh) * 2014-06-20 2016-01-27 赵海 一种生理参数的测量方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2944898B1 (fr) * 2009-04-23 2018-03-16 Lvmh Recherche Procede et appareil de caracterisation des imperfections de la peau et procede d'appreciation de l'effet anti-vieillissement d'un produit cosmetique
JP2012114583A (ja) * 2010-11-22 2012-06-14 Sanyo Electric Co Ltd カメラ付き通信端末装置
US8868039B2 (en) * 2011-10-12 2014-10-21 Digimarc Corporation Context-related arrangements
CN104013394B (zh) * 2014-06-24 2017-02-22 华北电力大学（保定） 电力工程高空作业人员个体状态监测装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013045119A1 (en) * 2011-09-30 2013-04-04 Latvijas Universitate Device for the determination of peripheral regional anaesthesia using contactless photoplethysmography
WO2013166341A1 (en) * 2012-05-02 2013-11-07 Aliphcom Physiological characteristic detection based on reflected components of light
JP2014198201A (ja) * 2013-03-29 2014-10-23 富士通株式会社 脈波検出プログラム、脈波検出方法および脈波検出装置
WO2015098977A1 (ja) * 2013-12-25 2015-07-02 旭化成株式会社 脈波測定装置、携帯機器、医療機器システム、及び生体情報コミュニケーションシステム
US20150313502A1 (en) * 2014-05-02 2015-11-05 Xerox Corporation Determining arterial pulse wave transit time from vpg and ecg/ekg signals
CN105266772A (zh) * 2014-06-20 2016-01-27 赵海 一种生理参数的测量方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024174130A1 (zh) * 2023-02-22 2024-08-29 南方科技大学 一种从视频中连续监测心率的多光谱成像方法、装置及终端

Also Published As

Publication number Publication date
EP3424415A4 (en) 2019-03-13
JP2017153773A (ja) 2017-09-07
US20190053715A1 (en) 2019-02-21
EP3424415A1 (en) 2019-01-09
WO2017150169A1 (ja) 2017-09-08

Similar Documents

Publication Publication Date Title
US20220265202A1 (en) Multifactorial telehealth care pregnancy and birth monitoring
JP6878628B2 (ja) 生理学的モニタのためのシステム、方法、及びコンピュータプログラム製品
EP2979631B1 (en) Blood flow index calculation method, blood flow index calculation program and blood flow index calculation device
CN108697345A (zh) 生物体信息提取装置和生物体信息提取系统
US9875393B2 (en) Information processing apparatus, information processing method, and program
CN111414831A (zh) 监测方法及系统、电子设备和存储介质
WO2014030439A1 (ja) 生体状態観察システム、生体状態観察方法、およびプログラム
US20150157270A1 (en) Using an adaptive band-pass filter to compensate for motion induced artifacts in a physiological signal extracted from video
WO2016006027A1 (ja) 脈波検出方法、脈波検出プログラム及び脈波検出装置
CN108135487A (zh) 用于获得对象的生命体征信息的设备、系统和方法
US20200046241A1 (en) Ecg and pcg monitoring system for detection of heart anomaly
KR20160008129A (ko) 휴대용 단말기를 사용하는 맥파 신호 측정 방법
KR20170128236A (ko) 두개내압의 비-침습적 평가 방법 및 장치
JPWO2020054122A1 (ja) 情報処理装置、プログラム及び情報処理方法
CN109480816A (zh) 心律监控方法、装置、电子设备及计算机可读存储介质
KR20170027468A (ko) 영상을 이용한 산소포화도 측정 방법 및 영상을 이용한 산소포화도 측정 방법을 기록한 컴퓨터로 읽을 수 있는 기록 매체
Cibis et al. Wearable real-time ecg monitoring with emergency alert system for scuba diving
KR101777472B1 (ko) 스마트 폰의 듀얼 카메라를 이용한 호흡과 심장 박동 측정방법
US20210022641A1 (en) Wearable multi-modal bio-sensing system
KR101556063B1 (ko) 심전도 모니터링을 이용한 부정맥 검출 방법 및 장치
JP6358506B2 (ja) 生体情報監視装置及び生体情報監視方法
WO2017154477A1 (ja) 脈拍推定装置、脈拍推定システムおよび脈拍推定方法
JP2023509522A (ja) 着用可能な眼振検出デバイスおよびその使用方法
JP6660601B2 (ja) 生体情報監視装置及び生体情報監視方法
CN211243316U (zh) 一种健康检测镜子

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20181023