CN110279406A - 一种基于摄像头的无接触式的脉率测量方法及装置 - Google Patents
一种基于摄像头的无接触式的脉率测量方法及装置 Download PDFInfo
- Publication number
- CN110279406A CN110279406A CN201910370933.2A CN201910370933A CN110279406A CN 110279406 A CN110279406 A CN 110279406A CN 201910370933 A CN201910370933 A CN 201910370933A CN 110279406 A CN110279406 A CN 110279406A
- Authority
- CN
- China
- Prior art keywords
- image information
- pulse frequency
- camera
- target position
- depth
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000691 measurement method Methods 0.000 title claims abstract description 10
- 230000002596 correlated effect Effects 0.000 claims abstract description 30
- 238000005259 measurement Methods 0.000 claims abstract description 30
- 238000000034 method Methods 0.000 claims abstract description 25
- 230000001815 facial effect Effects 0.000 claims abstract description 20
- 239000000284 extract Substances 0.000 claims abstract description 18
- 238000009432 framing Methods 0.000 claims description 23
- 238000012545 processing Methods 0.000 claims description 19
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 6
- 238000004458 analytical method Methods 0.000 claims description 5
- 238000007781 pre-processing Methods 0.000 claims description 4
- 239000003086 colorant Substances 0.000 claims 1
- 210000003128 head Anatomy 0.000 description 12
- 238000001514 detection method Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 210000000887 face Anatomy 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 238000010276 construction Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 230000000875 corresponding effect Effects 0.000 description 2
- 210000004709 eyebrow Anatomy 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 238000012952 Resampling Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 239000008280 blood Substances 0.000 description 1
- 210000004369 blood Anatomy 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 210000004209 hair Anatomy 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000008676 import Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000002045 lasting effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000005622 photoelectricity Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 230000035807 sensation Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/024—Detecting, measuring or recording pulse rate or heart rate
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- Cardiology (AREA)
- Physiology (AREA)
- Biophysics (AREA)
- Pathology (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Veterinary Medicine (AREA)
- Surgery (AREA)
- Public Health (AREA)
- Artificial Intelligence (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Psychiatry (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)
Abstract
本发明实施例公开了一种基于摄像头的无接触式的脉率测量方法及装置，涉及计算机图像和视觉技术领域，能够实现非接触式的人体体征信号(脉率)的远程测量。本发明包括：从拍摄到的图像中识别人脸，并提取脸部特征点；跟踪人脸中的目标位置，得到所述目标位置的图像信息，所述目标位置包括：所述脸部特征点所在位置；利用所述目标位置的图像信息提取皮肤像素；利用所提取的皮肤像素，获取脉率相关特征信号，根据持续生成的脉率相关特征信号得到脉率时间序列，并输出测量结果。本发明适用于非接触式的人体体征信号测量。
Description
技术领域
本发明涉及计算机图像和视觉技术领域，尤其涉及一种基于摄像头的无接 触式的脉率测量方法及装置。
背景技术
目前，基于非接触式的人体体征特征信号检测，例如脉率(心跳)测量， 是学术界和工业界的科技研究的方向之一。通过非接触式获取人体心跳在医疗、 金融和交通等领域有广泛的业务需求和商业价值。
在业界，目前通常采用心电图(ECG)和光电容积脉搏波(PPG)的方式完 成脉率测量，其中：
心电图(ECG)方式测量，是目前最为成熟的、医疗器械级别的脉率测量方 法。但是这种方式需要在被测人身上放置电极，需要专门的仪器和场地，灵活 性不足且仪器设备的价格高昂，普通的消费者难以应用；光电容积脉搏波(PPG) 方式测量，是借助光电手段在活体组织检测血液容积变化的一种无创检测方法， 市场上常见的运动手环使用此方法进行脉率测量，但是在实际应用中，比如在 跑步时，运动手环的佩戴者通常不喜欢将手环箍紧，这就导致光电感应器与使 用者皮肤的举例和角度都是动态变化，这很大程度上会影响到测量的精度，因 此目前市面上的运动手环普遍存在测量误差，只能用于粗略表示心率的变化趋 势，难以应用于准确度要求更高的场景。
并且，这两种脉率测量方式均要求在被测者皮肤表面安放传感器(电极或 PPG光感传感器)，即测量仪器需要极为靠近或者接触被测者，使用不便的问题 始终无法解决。
发明内容
本发明的实施例提供一种基于摄像头的无接触式的脉率测量方法及装置， 能够实现非接触式的人体体征信号(脉率)的远程测量。
为达到上述目的，本发明的实施例采用如下技术方案：
从拍摄到的图像中识别人脸，并提取脸部特征点；跟踪人脸中的目标位置， 得到所述目标位置的图像信息，所述目标位置包括：所述脸部特征点所在位置； 利用所述目标位置的图像信息提取皮肤像素；利用所提取的皮肤像素，获取脉 率相关特征信号，根据持续生成的脉率相关特征信号得到脉率时间序列，并输 出测量结果。
其中，所述提取脸部特征点，包括：在所采集的图像信息中定位人脸位置； 依据所述人脸位置，获取所述脸部特征点所在位置。
所述利用所述目标位置的图像信息提取皮肤像素，包括：根据所述目标位 置的图像信息，获取感兴趣区域(ROI)；从所述ROI内的像素中，识别所述皮肤 像素。
所述利用所述目标位置的图像信息提取皮肤像素，包括：根据所述目标位 置的图像信息和所述深度摄像头采集的景深帧，获取感兴趣区域(ROI)；利用 所述深度摄像头采集的景深帧，从所述ROI内的像素中，识别所述皮肤像素。
所述利用所述目标位置的图像信息提取皮肤像素，包括：根据所述目标位 置的图像信息和所述深度摄像头采集的景深帧，获取感兴趣区域(ROI)，其中， 所述目标位置的图像信息是从双彩色摄像头或者双近红外摄像头采集的；从所 述ROI内的像素中，识别所述皮肤像素。
所述利用持续生成的脉率相关特征信号得到脉率时间序列，包括：根据所 提取的皮肤像素，按照时间维度提取脉率相关特征信号；从所提取的脉率相关 特征信号中选取样本点，并根据所选取的样本点进行信号融合；根据融合后的 脉率相关特征信号进行脉率计算，得到持续生成的脉率时间序列。
本实施例中基于摄像头的人脸识别，通过对面部图像的像素进行分析，测 得被测对象的脉率，无需其他辅助硬件，也不需要被测者携带任何贴身传感器， 实现了非接触式的人体体征信号(脉率)的远程测量。并且进一步的，由于无 需安置体表传感器，脉率测量直接依靠摄像头作为唯一的信号采集硬件设备， 本实施例的方案还适合在多人同时进行脉率测量，可以基于目前已经建设的视 频监控系统进行部署，也节约了硬件的建设成本。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例中所需要 使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一 些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还 可以根据这些附图获得其它的附图。
图1为本发明实施例提供的系统架构示意图；
图2为本发明实施例提供的方法流程示意图；
图3、图4、图5为本发明实施例提供的具体实例的示意图；
图6、图7为本发明实施例提供的装置结构的示意图。
具体实施方式
为使本领域技术人员更好地理解本发明的技术方案，下面结合附图和具体 实施方式对本发明作进一步详细描述。下文中将详细描述本发明的实施方式， 所述实施方式的示例在附图中示出，其中自始至终相同或类似的标号表示相同 或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方 式是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。本技术领 域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、 “所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书 中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件， 但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组 件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件 时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这 里使用的“连接”或“耦接”可以包括无线连接或耦接。这里使用的措辞“和/ 或”包括一个或更多个相关联的列出项的任一单元和全部组合。本技术领域技 术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学 术语)具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应 该理解的是，诸如通用字典中定义的那些术语应该被理解为具有与现有技术的 上下文中的意义一致的意义，并且除非像这里一样定义，不会用理想化或过于 正式的含义来解释。
本实施例中的方法流程，具体可以执行在一种如图1所示的系统中，其中包 括：图像采集设备、云端服务器。
本实施例中所述的图像采集设备，可以是一种具有独立拍摄功能的摄像机 设备，且该摄像机设备具备通信模块，可以与云端服务器进行通信，例如目前 常见的安防摄像头。摄像头具体安装在指定的区域，比如安装在安检位置，并 用于拍摄被检人员的面部图像；再比如：安装在云台上，用于拍摄人群中每个 人的面部图像，云台可以安装在建筑物内或者户外，具体的系统可以采用目前 一些城市中所使用的“天网”系统。
图像采集设备，具体可以采用数字摄像头或者模拟摄像头。其中，数字摄 像头可以将拍摄的模拟视频信号转换成数字信号，进而传输至与摄像头连接的 云端服务器。模拟摄像头捕捉到的视频信号，经过视频采集卡将模拟信号转换 成数字模式，并加以压缩后传输至与摄像头连接的云端服务器。并且本实施例 的具体方案也可以应用在多种摄像头上，比如纯彩色摄像头(RGB摄像头)、纯 近红外(Near Infrared，NIR)摄像头和深度摄像头等。
本实施例中所揭示的云端服务器，具体可以是刀片机、工作站、超级计算 机等设备，或者是由多个服务器设备组成的一种用于数据处理的服务器集群系 统。云端服务器可以通过移动无线网络或者互联网的方式，与检测终端进行数 据交互，具体的数据交互方式或者通信方式，采用目前已有的网络标准和通信 方案即可，本实施例中不做赘述。
本发明实施例提供一种基于摄像头的无接触式的脉率测量方法，如图2所示， 包括：
S101、从拍摄到的图像中识别人脸，并提取脸部特征点。
其中，本实施例中对于人脸区域的识别，可以采用目前已有的人脸识别技 术。而本实施例的方案重点在于对识别出的人脸的区域，进行进一步的图像特 征提取和分析。用于拍摄人脸图像的摄像头可以由多种，并且可以集成在多种 终端设备中，例如：
图像采集设备也可以是集成在检测终端上的摄像头，比如：智能手机上的 摄像头(目前的智能手机已经实现了多摄像头拍摄，并且已经应用了纯彩色摄 像头(RGB摄像头)、纯近红外(NIR)摄像头、广角摄像头和深度摄像头等)。
检测终端，具体可以实做成单独一台装置，或整合于各种用户的个人终端 设备，包括：智能手机、平板电脑(Tablet Personal Computer)、膝上型电脑 (LaptopComputer)、个人数字助理(personal digital assistant，简称PDA) 或可穿戴式设备(Wearable Device)等；检测终端也可以整合于专门的记录仪 器中。其中操作记录仪包括了便携摄像头和存储设备，例如目前常用的行车记 录仪或者直播用的摄像机等。
S102、跟踪人脸中的目标位置，得到所述目标位置的图像信息。
其中，通过持续跟踪人脸中的目标位置一段时间后，得到所述目标位置的 连续动态变化的图像帧，所得的图像帧即作为所述目标位置的图像信息。在本 实施例中，“某一位置的图像帧”可以理解为在图像采集设备所拍摄的完整的 图像帧中，从目标位置所在的点或者进一步细化的区域中所提取的图像，这种 所提取的图像属于完整的图像帧中的一部分。
具体的，目标位置包括：所述脸部特征点所在位置。其中，脸部特征点， 指的是通过脸特征点识别算法，定位人脸的特征部位，如：眉毛、眼睛、鼻子、 嘴、脸轮廓等。可选的，所述目标位置还包括头部位置和目光位置。通过头部 识别算法和目光识别算法，分别势必得到头部位置和目光位置。
S103、利用所述目标位置的图像信息提取皮肤像素。
其中，皮肤像素指的是所拍摄图像中的、人脸所在区域内的且识别为皮肤 区域的像素。
S104、利用所提取的皮肤像素，获取脉率相关特征信号，根据持续生成的 脉率相关特征信号得到脉率时间序列，并输出测量结果。
其中，脉率时间序列中记录了持续得到的脉率数值，脉率时间序列本身就 可以作为测量结果并输出。也可以对脉率时间序列进行进一步的数据加工，即 通过脉率时间序列进一步得到可视化程度更高的结果，比如：“最大脉率的X％”、 “心跳过快”等文字信息，以便于用户查看。
并且，本实施例中对输出测量结果的具体形式并不限定，可以依据具体的 应用场景而定，比如：可以直接输出至用户的智能终端的屏幕上，或者输出至 云端服务器，并作为用户本人的生理数据由云端服务器记录。
相对于现有技术中通过在被测者皮肤表面安放传感器(电极或PPG光感传感 器)，即测量仪器需要极为靠近或者解除被测者的方案。本实施例中基于摄像头 的人脸识别，通过对面部图像的像素进行分析，测得被测对象的脉率，无需其 他辅助硬件，也不需要被测者携带任何贴身传感器，实现了非接触式的人体体 征信号(脉率)的远程测量。并且进一步的，由于无需安置体表传感器，脉率 测量直接依靠摄像头作为唯一的信号采集硬件设备，本实施例的方案还适合在 多人同时进行脉率测量，可以基于目前已经建设的视频监控系统进行部署，从 而节约了硬件的建设成本。
在本实施例中，提取脸部特征点的具体方式，可以包括：
在所采集的图像信息中定位人脸位置。之后，依据所述人脸位置，获取所 述脸部特征点所在位置。例如以彩色摄像头(RGB摄像头)为例，通过RGB摄像 头进行人脸识别和脸部特征点的过程包括了：
记录摄像头拍摄到的彩色帧(RGB)。
可选的，还可以对彩色帧进行预处理提供图像质量，例如白平衡，曝光补 偿等。很多摄像头采集的图像信息已经经过硬件内部处理，所以此步骤为可选 步骤。
采用人脸识别算法，定位图像中的人脸，并标注框图(bounding box)
采用人脸特征点识别算法，定位人脸的特征部位：眉毛、眼睛、鼻子、嘴、 脸轮廓等。
动态实时跟踪人脸特征点，同时估算头部位置、目光位置。头部位置和目 光位置为可选模块。
本实施例应用在不同的摄像头硬件设备上时，可以按照摄像头类型可分解 为3类子方案：
其一、基于彩色摄像头(RGB摄像头)或近红外摄像头的脉率测量，如图3 所示的：
彩色摄像头(RGB摄像头)采集的图像信息。其中，所述彩色摄像头采集的 图像信息包括：彩色帧。
或者，获取近红外(NIR)摄像头采集的图像信息，所述近红外摄像头采集 的图像信息包括近红外帧。
所述利用所述目标位置的图像信息提取皮肤像素，包括：根据所述目标位 置的图像信息，获取感兴趣区域(ROI)。从所述ROI内的像素中，识别所述皮肤 像素。具体的，本实施例中采用的ROI处理方式，大致包括了：
根据人脸位置、人脸特征点位置以及其他辅助信息如头部位置、人脸动态 跟踪位移矩阵等，实时计算感兴趣区域(ROI)。
识别ROI内的像素是否为人体皮肤像素，剔除包括眼镜、头发等对应的非皮 肤像素。
ROI计算还包括背景的提取。背景信息有助于提升脉率特征计算信号质量。 该步骤可以根据业务场景配置，为可选的。
在本实施例中，彩色摄像头(RGB摄像头)拍摄得到的彩色帧，通常表现为 多个颜色信道的信号形式，比如：3个信道(红、绿、蓝)，每个信道是一个长* 宽的2维矩阵，就是像素矩阵，比如1920*1080，每一个像素值的范围一般来 说在0-255，通常为8比特的精确度。
而红外帧与彩色帧不同的就是：红外帧只有一个信道的像素矩阵，每个像 素值在0-255取值范围内，通常也为8比特的精确度。因此本实施例中对于彩色 摄像头(RGB摄像头)拍摄得到的彩色帧，以及近红外(NIR)摄像头采集的红 外帧处理的逻辑流程是基本一致的，区别在于彩色摄像头(RGB摄像头)与近红 外(NIR)摄像头在皮肤识别、脉率特征处理环节所使用的算法(计算模型)有 所不同。
其二、在基于彩色摄像头(RGB摄像头)或近红外摄像头的脉率测量的基础 上，进一步应用深度摄像头，还包括了：获取深度摄像头采集的图像信息，所 述深度摄像头采集的图像信息包括景深帧。其中，彩色摄像头和近红外摄像头 与深度摄像头，在硬件上是相互独立运作的。检测终端也可以仅基于景深帧进 行脉率测量，在优选方案中则采用基于彩色帧+景深帧，或者是基于近红外帧+ 景深帧的测量方式。
其中，可以将深度摄像头采集的结构光参数，导入ROI处理方式过程。具体 的，由于基于结构光的深度摄像头通常同时含有彩色帧、近红外帧和景深帧。因 此，参照前述的技术方案，基于结构光深度摄像头的脉率测量信号处理流程即 支持以彩色帧为主要图像信息源，近红外帧和景深帧辅助、也支持以近红外图 像为主要图像信息源，彩色帧和景深帧辅助。如图4所示的，基于结构光的技术 方案在ROI计算、皮肤识别、背景提取，以及脉率计算内核中的脉率特征处理和 信号融合这些子模块算法中，同时利用彩色帧、近红外帧和景深帧信息，输出 抗干扰性更佳的结果，从而提升最终脉率测量的准确度和鲁棒性。
所述利用所述目标位置的图像信息提取皮肤像素的过程，则包括：
根据所述目标位置的图像信息和所述深度摄像头采集的景深帧，获取感兴 趣区域(ROI)。利用所述深度摄像头采集的景深帧，从所述ROI内的像素中，识 别所述皮肤像素。
即图像采集设备采集的是彩色帧+景深帧，或者是近红外帧+景深帧。并且 在ROI计算和皮肤识别阶段加入了景深帧，也应用了彩色帧或近红外帧
其三、在基于双彩色摄像头(RGB摄像头)或双近红外摄像头的脉率测量的 基础上，进一步应用深度摄像头，包括了：
获取双彩色摄像头采集的图像信息，所述双彩色摄像头采集的图像信息包 括：第一彩色帧和第二彩色帧。
或者，获取双近红外摄像头采集的图像信息，所述双近红外摄像头采集的 图像信息包括第一近红外帧和第二近红外帧。
其中，基于双目深度摄像头或TOF深度摄像头的技术方案与单目摄像头类似， 区别在于深度摄像头提供了景深信息，如图5所示，将该信息输入到ROI计算， 以提升背景提取和皮肤识别算法的性能。
所述利用所述目标位置的图像信息提取皮肤像素的过程，则包括：
根据所述目标位置的图像信息和所述深度摄像头采集的景深帧，获取感兴 趣区域(ROI)。从所述ROI内的像素中，识别所述皮肤像素。
其中，所述目标位置的图像信息是从双彩色摄像头或者双近红外摄像头采 集的。即图像采集设备采集的是双路的彩色帧+景深帧，或者是双路的近红外帧 +景深帧。并且在ROI计算阶段加入了景深帧，也应用了彩色帧或近红外帧。
在本实施例中，所述利用持续生成的脉率相关特征信号得到脉率时间序列， 包括：
S1041、根据所提取的皮肤像素，按照时间维度提取脉率相关特征信号。
具体的，可以针对ROI中的皮肤像素，按照时间维度提取脉率相关特征信号。 针对提取的脉率特征信号进行包括重采样、降噪、滤波和信号合成等一系列信 号处理。进一步的，脉率特征信号处理可利用背景相关特征信号，有助于提高 脉率特征信号处理质量。基于背景的特征提取和处理为可选辅助模块。
S1042、从所提取的脉率相关特征信号中选取样本点，并根据所选取的样本 点进行信号融合。
其中，根据各个特征的信号质量自动进行样本点选取。根据选定的样本点 进行信号融合，以提高信号质量
S1043、根据融合后的脉率相关特征信号进行脉率计算，得到持续生成的脉 率时间序列。
其中，在根据融合的信号进行脉率计算，得到持续生成的脉率时间序列后。 进一步对持续生成的脉率时间序列进行平滑和噪点纠错处理。
本实施例所提供的非接触式、多人同时进行的远程脉率测量系统，基于摄像 头测量脉率，系统不仅支持传统单目摄像头(RGB和NIR)，也支持所有主流深 度摄像头结构(双目、TOF、结构光)。扩展了脉率测量的业务场景边界，应用 场景广泛，适用于医疗、安防、交通和金融等多个行业领域。
本实施例还提供一种基于摄像头的无接触式的脉率测量装置，该装置具体 可以通过计算机程序编写相应的功能模块，并运行在检测终端上；也可以由摄 像头将拍摄到的图像数据传输至云端服务器，直接由云端服务器进行分析处理， 即该装置也可以实现为一种线上程序，摄像头仅作为前端的拍摄工具，本实施 例中的方法流程在云端服务器上执行，目前基于5G的技术框架下，这种前端摄 像头+云端处理的方式，已经逐渐成熟。该装置如图6所示的，包括：
预处理模块，用于从拍摄到的图像中识别人脸，并提取脸部特征点。
定位模块，用于跟踪人脸中的目标位置，得到所述目标位置的图像信息， 所述目标位置包括：所述脸部特征点所在位置。
图像处理模块，用于利用所述目标位置的图像信息提取皮肤像素。
分析模块，用于利用所提取的皮肤像素，获取脉率相关特征信号，根据持 续生成的脉率相关特征信号得到脉率时间序列，并输出测量结果。
其中，所述预处理模块，具体用于在所采集的图像信息中定位人脸位置。 并依据所述人脸位置，获取所述脸部特征点所在位置。
所述分析模块，具体用于根据所提取的皮肤像素，按照时间维度提取脉率 相关特征信号。从所提取的脉率相关特征信号中选取样本点，并根据所选取的 样本点进行信号融合。根据融合后的脉率相关特征信号进行脉率计算，得到持 续生成的脉率时间序列。
进一步的，如图7所示的，还包括：
数据接收模块，用于获取彩色摄像头(RGB摄像头)采集的图像信息，所述 彩色摄像头采集的图像信息包括：彩色帧。
或者，获取近红外(NIR)摄像头采集的图像信息，所述近红外摄像头采集 的图像信息包括近红外帧。
所述图像处理模块，具体用于根据所述目标位置的图像信息，获取感兴趣 区域(ROI)。从所述ROI内的像素中，识别所述皮肤像素。
可选的，所述数据接收模块，还用于获取深度摄像头采集的图像信息，所 述深度摄像头采集的图像信息包括景深帧。
所述图像处理模块，具体用于根据所述目标位置的图像信息和所述深度摄 像头采集的景深帧，获取感兴趣区域(ROI)。利用所述深度摄像头采集的景深 帧，从所述ROI内的像素中，识别所述皮肤像素。
可选的，所述数据接收模块，还用于获取双彩色摄像头采集的图像信息， 所述双彩色摄像头采集的图像信息包括：第一彩色帧和第二彩色帧。
或者，获取双近红外摄像头采集的图像信息，所述双近红外摄像头采集的 图像信息包括第一近红外帧和第二近红外帧。
所述图像处理模块，具体用于根据所述目标位置的图像信息和所述深度摄 像头采集的景深帧，获取感兴趣区域(ROI)，其中，所述目标位置的图像信息 是从双彩色摄像头或者双近红外摄像头采集的。从所述ROI内的像素中，识别所 述皮肤像素。
相对于现有技术中通过在被测者皮肤表面安放传感器(电极或PPG光感传感 器)，即测量仪器需要极为靠近或者解除被测者的方案。本实施例中基于摄像头 的人脸识别，通过对面部图像的像素进行分析，测得被测对象的脉率，无需其 他辅助硬件，也不需要被测者携带任何贴身传感器，实现了非接触式的人体体 征信号(脉率)的远程测量。并且进一步的，由于无需安置体表传感器，脉率 测量直接依靠摄像头作为唯一的信号采集硬件设备，本实施例的方案还适合在 多人同时进行脉率测量，可以基于目前已经建设的视频监控系统进行部署，从 而节约了硬件的建设成本。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相 似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。 尤其，对于设备实施例而言，由于其基本相似于方法实施例，所以描述得比较 简单，相关之处参见方法实施例的部分说明即可。以上所述，仅为本发明的具 体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术 人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发 明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。
Claims (14)
1.一种基于摄像头的无接触式的脉率测量方法，其特征在于，包括：
从拍摄到的图像中识别人脸，并提取脸部特征点；
跟踪人脸中的目标位置，得到所述目标位置的图像信息，所述目标位置包括：所述脸部特征点所在位置；
利用所述目标位置的图像信息提取皮肤像素；
利用所提取的皮肤像素，获取脉率相关特征信号，根据持续生成的脉率相关特征信号得到脉率时间序列，并输出测量结果。
2.根据权利要求1所述的方法，其特征在于，所述提取脸部特征点，包括：
在所采集的图像信息中定位人脸位置；
依据所述人脸位置，获取所述脸部特征点所在位置。
3.根据权利要求1所述的方法，其特征在于，所述目标位置还包括头部位置和目光位置。
4.根据权利要求2所述的方法，其特征在于，包括：
获取彩色摄像头(RGB摄像头)采集的图像信息，所述彩色摄像头采集的图像信息包括：彩色帧；
或者，获取近红外(NIR)摄像头采集的图像信息，所述近红外摄像头采集的图像信息包括近红外帧。
5.根据权利要求4所述的方法，其特征在于，还包括：
获取深度摄像头采集的图像信息，所述深度摄像头采集的图像信息包括景深帧。
6.根据权利要求5所述的方法，其特征在于，所述利用所述目标位置的图像信息提取皮肤像素，包括：
根据所述目标位置的图像信息和所述深度摄像头采集的景深帧，获取感兴趣区域(ROI)；
利用所述深度摄像头采集的景深帧，从所述ROI内的像素中，识别所述皮肤像素。
7.根据权利要求6所述的方法，其特征在于，还包括：
获取双彩色摄像头采集的图像信息，所述双彩色摄像头采集的图像信息包括：第一彩色帧和第二彩色帧；
或者，获取双近红外摄像头采集的图像信息，所述双近红外摄像头采集的图像信息包括第一近红外帧和第二近红外帧；
所述利用所述目标位置的图像信息提取皮肤像素，包括：
根据所述目标位置的图像信息和所述深度摄像头采集的景深帧，获取感兴趣区域(ROI)，其中，所述目标位置的图像信息是从双彩色摄像头或者双近红外摄像头采集的；
从所述ROI内的像素中，识别所述皮肤像素。
8.根据权利要求1所述的方法，其特征在于，所述利用持续生成的脉率相关特征信号得到脉率时间序列，包括：
根据所提取的皮肤像素，按照时间维度提取脉率相关特征信号；
从所提取的脉率相关特征信号中选取样本点，并根据所选取的样本点进行信号融合；
根据融合后的脉率相关特征信号进行脉率计算，得到持续生成的脉率时间序列。
9.一种基于摄像头的无接触式的脉率测量装置，其特征在于，包括：
预处理模块，用于从拍摄到的图像中识别人脸，并提取脸部特征点；
定位模块，用于跟踪人脸中的目标位置，得到所述目标位置的图像信息，所述目标位置包括：所述脸部特征点所在位置；
图像处理模块，用于利用所述目标位置的图像信息提取皮肤像素；
分析模块，用于利用所提取的皮肤像素，获取脉率相关特征信号，根据持续生成的脉率相关特征信号得到脉率时间序列，并输出测量结果。
10.根据权利要求9所述的装置，其特征在于，所述预处理模块，具体用于在所采集的图像信息中定位人脸位置；并依据所述人脸位置，获取所述脸部特征点所在位置。
11.根据权利要求10所述的装置，其特征在于，还包括：
数据接收模块，用于获取彩色摄像头(RGB摄像头)采集的图像信息，所述彩色摄像头采集的图像信息包括：彩色帧；
或者，获取近红外(NIR)摄像头采集的图像信息，所述近红外摄像头采集的图像信息包括近红外帧；
所述图像处理模块，具体用于根据所述目标位置的图像信息，获取感兴趣区域(ROI)；从所述ROI内的像素中，识别所述皮肤像素。
12.根据权利要求11所述的装置，其特征在于，所述数据接收模块，还用于获取深度摄像头采集的图像信息，所述深度摄像头采集的图像信息包括景深帧；
所述图像处理模块，具体用于根据所述目标位置的图像信息和所述深度摄像头采集的景深帧，获取感兴趣区域(ROI)；利用所述深度摄像头采集的景深帧，从所述ROI内的像素中，识别所述皮肤像素。
13.根据权利要求12所述的装置，其特征在于，所述数据接收模块，还用于获取双彩色摄像头采集的图像信息，所述双彩色摄像头采集的图像信息包括：第一彩色帧和第二彩色帧；
或者，获取双近红外摄像头采集的图像信息，所述双近红外摄像头采集的图像信息包括第一近红外帧和第二近红外帧；
所述图像处理模块，具体用于根据所述目标位置的图像信息和所述深度摄像头采集的景深帧，获取感兴趣区域(ROI)，其中，所述目标位置的图像信息是从双彩色摄像头或者双近红外摄像头采集的；从所述ROI内的像素中，识别所述皮肤像素。
14.根据权利要求13所述的装置，其特征在于，所述分析模块，具体用于根据所提取的皮肤像素，按照时间维度提取脉率相关特征信号；从所提取的脉率相关特征信号中选取样本点，并根据所选取的样本点进行信号融合；根据融合后的脉率相关特征信号进行脉率计算，得到持续生成的脉率时间序列。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910370933.2A CN110279406B (zh) | 2019-05-06 | 2019-05-06 | 一种基于摄像头的无接触式的脉率测量方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910370933.2A CN110279406B (zh) | 2019-05-06 | 2019-05-06 | 一种基于摄像头的无接触式的脉率测量方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110279406A true CN110279406A (zh) | 2019-09-27 |
| CN110279406B CN110279406B (zh) | 2022-07-15 |
Family
ID=68001601
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910370933.2A Active CN110279406B (zh) | 2019-05-06 | 2019-05-06 | 一种基于摄像头的无接触式的脉率测量方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110279406B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112890792A (zh) * | 2020-11-25 | 2021-06-04 | 合肥工业大学 | 一种基于网络摄像头的云计算心血管健康监护系统及方法 |
| WO2022177501A1 (en) * | 2021-02-16 | 2022-08-25 | Space Pte. Ltd. | A system and method for measuring vital body signs |
Citations (22)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005331273A (ja) * | 2004-05-18 | 2005-12-02 | Tech Res & Dev Inst Of Japan Def Agency | レーザ距離画像生成装置及び方法 |
| US20080304736A1 (en) * | 2007-02-20 | 2008-12-11 | Masahiro Nakagawa | Method of estimating a visual evaluation value of skin beauty |
| US20110246329A1 (en) * | 2010-04-01 | 2011-10-06 | Microsoft Corporation | Motion-based interactive shopping environment |
| EP2389573A2 (en) * | 2009-01-20 | 2011-11-30 | Myskin, Inc. | Skin analysis methods |
| CN102670164A (zh) * | 2011-02-25 | 2012-09-19 | 佳能株式会社 | 图像处理装置、摄像系统和图像处理方法 |
| US20130096439A1 (en) * | 2011-10-14 | 2013-04-18 | Industrial Technology Research Institute | Method and system for contact-free heart rate measurement |
| US20130324876A1 (en) * | 2012-06-01 | 2013-12-05 | Xerox Corporation | Processing a video for tidal chest volume estimation |
| CN103987317A (zh) * | 2011-12-19 | 2014-08-13 | 索尼公司 | 测量设备、测量方法、程序及记录介质 |
| CN104077881A (zh) * | 2014-06-30 | 2014-10-01 | 天津大学 | 一种基于机器视觉的婴幼儿监测方法及装置 |
| US20150005646A1 (en) * | 2013-06-26 | 2015-01-01 | Massachusetts Institute Of Technology | Pulse detection from head motions in video |
| US20150310629A1 (en) * | 2013-01-18 | 2015-10-29 | Kabushiki Kaisha Toshiba | Motion information processing device |
| CN105393252A (zh) * | 2013-04-18 | 2016-03-09 | 数字标记公司 | 生理数据采集和分析 |
| CN105989357A (zh) * | 2016-01-18 | 2016-10-05 | 合肥工业大学 | 一种基于人脸视频处理的心率检测方法 |
| CN107358220A (zh) * | 2017-07-31 | 2017-11-17 | 江西中医药大学 | 一种人体心率与呼吸的非接触式测量方法 |
| CN107422841A (zh) * | 2017-03-03 | 2017-12-01 | 杭州市第人民医院 | 一种基于非接触式情绪识别的人机交互方法 |
| US20170367590A1 (en) * | 2016-06-24 | 2017-12-28 | Universita' degli Studi di Trento (University of Trento) | Self-adaptive matrix completion for heart rate estimation from face videos under realistic conditions |
| CN107518880A (zh) * | 2017-08-14 | 2017-12-29 | 无锡南理工科技发展有限公司 | 一种体征监测手环 |
| CN108549884A (zh) * | 2018-06-15 | 2018-09-18 | 天地融科技股份有限公司 | 一种活体检测方法及装置 |
| CN108968928A (zh) * | 2018-07-04 | 2018-12-11 | 芜湖圣美孚科技有限公司 | 一种脉象采集处理系统及其采集方法 |
| CN109101949A (zh) * | 2018-08-29 | 2018-12-28 | 广州洪荒智能科技有限公司 | 一种基于彩色视频信号频域分析的人脸活体检测方法 |
| CN109247923A (zh) * | 2018-11-15 | 2019-01-22 | 中国科学院自动化研究所 | 基于视频的非接触式脉搏实时估计方法及设备 |
| CN109558813A (zh) * | 2018-11-14 | 2019-04-02 | 武汉大学 | 一种基于脉搏信号的ai深度换脸视频取证方法 |
-
2019
- 2019-05-06 CN CN201910370933.2A patent/CN110279406B/zh active Active
Patent Citations (22)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005331273A (ja) * | 2004-05-18 | 2005-12-02 | Tech Res & Dev Inst Of Japan Def Agency | レーザ距離画像生成装置及び方法 |
| US20080304736A1 (en) * | 2007-02-20 | 2008-12-11 | Masahiro Nakagawa | Method of estimating a visual evaluation value of skin beauty |
| EP2389573A2 (en) * | 2009-01-20 | 2011-11-30 | Myskin, Inc. | Skin analysis methods |
| US20110246329A1 (en) * | 2010-04-01 | 2011-10-06 | Microsoft Corporation | Motion-based interactive shopping environment |
| CN102670164A (zh) * | 2011-02-25 | 2012-09-19 | 佳能株式会社 | 图像处理装置、摄像系统和图像处理方法 |
| US20130096439A1 (en) * | 2011-10-14 | 2013-04-18 | Industrial Technology Research Institute | Method and system for contact-free heart rate measurement |
| CN103987317A (zh) * | 2011-12-19 | 2014-08-13 | 索尼公司 | 测量设备、测量方法、程序及记录介质 |
| US20130324876A1 (en) * | 2012-06-01 | 2013-12-05 | Xerox Corporation | Processing a video for tidal chest volume estimation |
| US20150310629A1 (en) * | 2013-01-18 | 2015-10-29 | Kabushiki Kaisha Toshiba | Motion information processing device |
| CN105393252A (zh) * | 2013-04-18 | 2016-03-09 | 数字标记公司 | 生理数据采集和分析 |
| US20150005646A1 (en) * | 2013-06-26 | 2015-01-01 | Massachusetts Institute Of Technology | Pulse detection from head motions in video |
| CN104077881A (zh) * | 2014-06-30 | 2014-10-01 | 天津大学 | 一种基于机器视觉的婴幼儿监测方法及装置 |
| CN105989357A (zh) * | 2016-01-18 | 2016-10-05 | 合肥工业大学 | 一种基于人脸视频处理的心率检测方法 |
| US20170367590A1 (en) * | 2016-06-24 | 2017-12-28 | Universita' degli Studi di Trento (University of Trento) | Self-adaptive matrix completion for heart rate estimation from face videos under realistic conditions |
| CN107422841A (zh) * | 2017-03-03 | 2017-12-01 | 杭州市第人民医院 | 一种基于非接触式情绪识别的人机交互方法 |
| CN107358220A (zh) * | 2017-07-31 | 2017-11-17 | 江西中医药大学 | 一种人体心率与呼吸的非接触式测量方法 |
| CN107518880A (zh) * | 2017-08-14 | 2017-12-29 | 无锡南理工科技发展有限公司 | 一种体征监测手环 |
| CN108549884A (zh) * | 2018-06-15 | 2018-09-18 | 天地融科技股份有限公司 | 一种活体检测方法及装置 |
| CN108968928A (zh) * | 2018-07-04 | 2018-12-11 | 芜湖圣美孚科技有限公司 | 一种脉象采集处理系统及其采集方法 |
| CN109101949A (zh) * | 2018-08-29 | 2018-12-28 | 广州洪荒智能科技有限公司 | 一种基于彩色视频信号频域分析的人脸活体检测方法 |
| CN109558813A (zh) * | 2018-11-14 | 2019-04-02 | 武汉大学 | 一种基于脉搏信号的ai深度换脸视频取证方法 |
| CN109247923A (zh) * | 2018-11-15 | 2019-01-22 | 中国科学院自动化研究所 | 基于视频的非接触式脉搏实时估计方法及设备 |
Non-Patent Citations (2)
| Title |
|---|
| REGAN THOMAS D: "Depth of tissue ablation and residual thermal damage caused by a pixilated 2,940 nm laser in a swine skin model", 《LASERS IN SURGERY AND MEDICINE》 * |
| 李万兵: "脉搏动态图像的特征信息提取与分析", 《中国优秀硕士学位论文全文数据库》 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112890792A (zh) * | 2020-11-25 | 2021-06-04 | 合肥工业大学 | 一种基于网络摄像头的云计算心血管健康监护系统及方法 |
| WO2022177501A1 (en) * | 2021-02-16 | 2022-08-25 | Space Pte. Ltd. | A system and method for measuring vital body signs |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110279406B (zh) | 2022-07-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106022213B (zh) | 一种基于三维骨骼信息的人体动作识别方法 | |
| CN103908236B (zh) | 一种自动血压测量系统 | |
| CN104980710B (zh) | 温度检测方法及移动终端 | |
| CN105147274A (zh) | 一种从可见光谱段人脸视频信号中提取心率的方法 | |
| CN110008783A (zh) | 基于神经网络模型的人脸活体检测方法、装置及电子设备 | |
| KR101725357B1 (ko) | 휴대용 단말기를 사용하는 맥파 신호 측정 방법 | |
| CN107408205A (zh) | 用红外成像区分前景和背景 | |
| TW201315438A (zh) | 非接觸式之心脈量測方法及其系統 | |
| CN109359634A (zh) | 一种基于双目摄像机的人脸活体检测方法 | |
| CN207166656U (zh) | 面向无人监考的监控装置 | |
| CN104821010A (zh) | 基于双目视觉的人手三维信息实时提取方法及系统 | |
| CN110279406A (zh) | 一种基于摄像头的无接触式的脉率测量方法及装置 | |
| CN111429345A (zh) | 一种超低功耗视觉计算心率及心率变异性方法 | |
| Blackford et al. | Long-range non-contact imaging photoplethysmography: cardiac pulse wave sensing at a distance | |
| CN110321782A (zh) | 一种检测人体特征信号的系统 | |
| Wang et al. | VitaSi: A real-time contactless vital signs estimation system | |
| CN106408659A (zh) | 一种人体特征节点三维建模系统及其建模方法 | |
| CN110321781A (zh) | 一种用于无接触式测量的信号处理方法及装置 | |
| Kang et al. | Transppg: Two-stream transformer for remote heart rate estimate | |
| CN107944401A (zh) | 具有多个人脸动态跟踪及分析的嵌入式设备 | |
| Ding et al. | Noncontact multiphysiological signals estimation via visible and infrared facial features fusion | |
| CN108814543B (zh) | 高速视频眼震仪系统 | |
| CN106096544B (zh) | 基于二阶盲辨识的非接触式眨眼与心率联合检测系统及方法 | |
| Wei et al. | Remote photoplethysmography and heart rate estimation by dynamic region of interest tracking | |
| CN106384086A (zh) | 一种双摄像头人脸识别方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CP03 | Change of name, title or address |
Address after: 210042 No.1, Suning Avenue, Xuanwu District, Nanjing City, Jiangsu Province Patentee after: Shanghai Star Map Financial Services Group Co.,Ltd. Country or region after: China Address before: 210042 No.1, Suning Avenue, Xuanwu District, Nanjing City, Jiangsu Province Patentee before: Suning Financial Services (Shanghai) Co.,Ltd. Country or region before: China |
|
| CP03 | Change of name, title or address |