CN110547782B - 一种用于无接触式测量的脉率信号处理方法及装置 - Google Patents
一种用于无接触式测量的脉率信号处理方法及装置 Download PDFInfo
- Publication number
- CN110547782B CN110547782B CN201910370932.8A CN201910370932A CN110547782B CN 110547782 B CN110547782 B CN 110547782B CN 201910370932 A CN201910370932 A CN 201910370932A CN 110547782 B CN110547782 B CN 110547782B
- Authority
- CN
- China
- Prior art keywords
- roi
- pulse rate
- image information
- signal
- frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000005259 measurement Methods 0.000 title claims abstract description 19
- 238000003672 processing method Methods 0.000 title claims abstract description 9
- 238000012545 processing Methods 0.000 claims abstract description 33
- 230000004927 fusion Effects 0.000 claims abstract description 14
- 238000000034 method Methods 0.000 claims description 34
- 238000004364 calculation method Methods 0.000 claims description 25
- 230000001815 facial effect Effects 0.000 claims description 25
- 238000001914 filtration Methods 0.000 claims description 14
- 238000012952 Resampling Methods 0.000 claims description 13
- 239000011159 matrix material Substances 0.000 claims description 13
- 230000008569 process Effects 0.000 claims description 8
- 238000002156 mixing Methods 0.000 claims description 6
- 238000010606 normalization Methods 0.000 claims description 6
- 230000009466 transformation Effects 0.000 claims description 6
- 238000004458 analytical method Methods 0.000 claims description 5
- 238000007781 pre-processing Methods 0.000 claims description 2
- 230000001419 dependent effect Effects 0.000 claims 1
- 238000009532 heart rate measurement Methods 0.000 description 15
- 238000004422 calculation algorithm Methods 0.000 description 14
- 238000001514 detection method Methods 0.000 description 8
- 238000000605 extraction Methods 0.000 description 7
- 210000003128 head Anatomy 0.000 description 6
- 238000013186 photoplethysmography Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 238000010276 construction Methods 0.000 description 2
- 230000009977 dual effect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 210000004709 eyebrow Anatomy 0.000 description 2
- 210000000887 face Anatomy 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000007717 exclusion Effects 0.000 description 1
- 210000001061 forehead Anatomy 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 210000004209 hair Anatomy 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/024—Detecting, measuring or recording pulse rate or heart rate
- A61B5/02416—Detecting, measuring or recording pulse rate or heart rate using photoplethysmograph signals, e.g. generated by infrared radiation
- A61B5/02427—Details of sensor
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Cardiology (AREA)
- Biomedical Technology (AREA)
- Medical Informatics (AREA)
- Biophysics (AREA)
- Pathology (AREA)
- Engineering & Computer Science (AREA)
- Physiology (AREA)
- Heart & Thoracic Surgery (AREA)
- Physics & Mathematics (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
- Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)
Abstract
本发明实施例公开了一种用于无接触式测量的脉率信号处理方法及装置，涉及计算机图像和视觉技术领域，能够实现非接触式的人体体征信号(脉率)的远程测量。本发明包括：根据所提取的皮肤像素，提取脉率相关特征信号；从所提取的脉率相关特征信号中选取样本点，并根据所选取的样本点进行信号融合；根据融合后的脉率相关特征信号进行脉率计算。本发明适用于非接触式的人体体征信号测量。
Description
技术领域
本发明涉及计算机图像和视觉技术领域，尤其涉及一种用于无接触式测量 的脉率信号处理方法及装置。
背景技术
目前，基于非接触式的人体体征特征信号检测，例如脉率(心跳)测量， 是学术界和工业界的科技研究的方向之一。通过非接触式获取人体心跳在医疗、 金融和交通等领域有广泛的业务需求和商业价值。
在业界，目前通常采用心电图(ECG)和光电容积脉搏波(PPG)的方式完 成脉率测量。但这两种脉率测量方式均要求在被测者皮肤表面安放传感器(电 极或PPG光感传感器)，即测量仪器需要极为靠近或者接触被测者，主要原因在 于检测仪器所采集的信号的处理方式的限制，决定了必须使用接触式的传感器， 而接触式的测量方案，始终存在使用不便的问题。
发明内容
本发明的实施例提供一种用于无接触式测量的脉率信号处理方法及装置， 能够实现人体体征信号(脉率)的远程采集处理，从而实现非接触式的脉率测 量。
为达到上述目的，本发明的实施例采用如下技术方案：
从拍摄到的图像中识别人脸，并提取脸部特征点；
跟踪人脸中的目标位置，得到所述目标位置的图像信息，所述目标位置包 括：所述脸部特征点所在位置。
根据从所述目标位置的图像信息中所提取的皮肤像素，进一步提取脉率相 关特征信号；从所提取的脉率相关特征信号中选取样本点，并根据所选取的样 本点进行信号融合；根据融合后的脉率相关特征信号进行脉率计算。
具体的，根据目标位置的图像信息，获取感兴趣区域(ROI)；从所述ROI内 的像素中，识别所述皮肤像素。
其中，需要定位每个ROI网格，并确认每个ROI网格内的皮肤像素；获取每 个ROI网格中的皮肤像素的平均像素强度和皮肤像素点个数。
当所述目标位置的图像信息为近红外帧时，对ROI网格中的皮肤像素的平均 像素强度，依次进行重采样、归一化和滤波处理；当所述目标位置的图像信息 为彩色帧时，组合RGB三色信号生成色度信号，再对所述色度信号依次进行混合、 重采样、动态去势(detrending)和滤波处理。
具体的，统计每个ROI网格中的皮肤像素的皮肤像素点个数的变化情况，得 到每个ROI网格的四分位距(interquartile range,IQR)；所述从所提取的脉 率相关特征信号中选取样本点，包括：获取每个ROI网格的IQR和信噪比，并剔 除IQR高于最大IQR门限，且信噪比低于最小信噪比门限的ROI网格。
本实施例中基于摄像头的人脸识别，通过对面部图像的像素进行分析，测得被 测对象的脉率，无需其他辅助硬件，也不需要被测者携带任何贴身传感器，实 现了人体体征信号(脉率)的远程采集处理，从而实现非接触式的脉率测量。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例中所需要 使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一 些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还 可以根据这些附图获得其它的附图。
图1为本发明实施例提供的系统架构示意图；
图2为本发明实施例提供的方法流程示意图；
图3、图4、图5为本发明实施例提供的具体实例的示意图；
图6、图7为本发明实施例提供的装置结构的示意图；
图8为本发明实施例提供的具体实例中样本自动选择的流程图。
具体实施方式
为使本领域技术人员更好地理解本发明的技术方案，下面结合附图和具体 实施方式对本发明作进一步详细描述。下文中将详细描述本发明的实施方式， 所述实施方式的示例在附图中示出，其中自始至终相同或类似的标号表示相同 或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方 式是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。本技术领 域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、 “所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书 中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件， 但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组 件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件 时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这 里使用的“连接”或“耦接”可以包括无线连接或耦接。这里使用的措辞“和/ 或”包括一个或更多个相关联的列出项的任一单元和全部组合。本技术领域技 术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学 术语)具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应 该理解的是，诸如通用字典中定义的那些术语应该被理解为具有与现有技术的 上下文中的意义一致的意义，并且除非像这里一样定义，不会用理想化或过于 正式的含义来解释。
本实施例中的方法流程，具体可以执行在一种如图1所示的系统中，其中包 括：图像采集设备、云端服务器。
本实施例中所述的图像采集设备，可以是一种具有独立拍摄功能的摄像机 设备，且该摄像机设备具备通信模块，可以与云端服务器进行通信，例如目前 常见的安防摄像头。摄像头具体安装在指定的区域，比如安装在安检位置，并 用于拍摄被检人员的面部图像；再比如：安装在云台上，用于拍摄人群中每个 人的面部图像，云台可以安装在建筑物内或者户外，具体的系统可以采用目前 一些城市中所使用的“天网”系统。
图像采集设备，具体可以采用数字摄像头或者模拟摄像头。其中，数字摄 像头可以将拍摄的模拟视频信号转换成数字信号，进而传输至与摄像头连接的 云端服务器。模拟摄像头捕捉到的视频信号，经过视频采集卡将模拟信号转换 成数字模式，并加以压缩后传输至与摄像头连接的云端服务器。并且本实施例 的具体方案也可以应用在多种摄像头上，比如纯彩色摄像头(RGB摄像头)、纯 近红外(Near Infrared，NIR)摄像头和深度摄像头等。
本实施例中所揭示的云端服务器，具体可以是刀片机、工作站、超级计算 机等设备，或者是由多个服务器设备组成的一种用于数据处理的服务器集群系 统。云端服务器可以通过移动无线网络或者互联网的方式，与检测终端进行数 据交互，具体的数据交互方式或者通信方式，采用目前已有的网络标准和通信 方案即可，本实施例中不做赘述。
本实施例提供一种用于无接触式测量的脉率信号处理方法，如图2所示的， 包括：
S101、根据所提取的皮肤像素，提取脉率相关特征信号。
S102、从所提取的脉率相关特征信号中选取样本点，并根据所选取的样本 点进行信号融合。
具体的，由于真实的脉率信号很弱小，单个ROI网格不足以高质量的提取其 脉率信号，因此需对信号质量优秀的网格所生成的脉率特征信号进行权值加和 以生成更高信噪比的脉率信号，其计算公式可表述为：
其中，Sfinal表示融合后的信号，Si表示单个ROI网格的信号p()表示融合函数， 其中，融合函数可以采用目前已有的信号处理、融合算法，N为大于1的整数。
S103、根据融合后的脉率相关特征信号进行脉率计算。
其中，针对已生成的脉率信号进行脉率求解计算，具体为在其对应的概率 谱密度(PSD)中，搜索频率最大值f_peak，对应的脉率则是f_peak乘以60，物 理解释为每分钟心跳数。进一步的，可以根据应用场景，在需要实时连接跟踪 脉率的应用中，根据脉率历史时间序列和趋势，采用平滑滤波技术进行二次处 理，以便于及时纠正脉率计算错误的单点。
本实施例中，还提供一种提取的皮肤像素的具体方式，包括：根据目标位 置的图像信息，获取感兴趣区域(ROI)。从所述ROI内的像素中，识别所述皮肤 像素。
其中，所述从所述ROI内的像素中，识别所述皮肤像素，包括：定位每个ROI 网格，并确认每个ROI网格内的皮肤像素。获取每个ROI网格中的皮肤像素的平 均像素强度和皮肤像素点个数。具体的，在皮肤像素在每个ROI网格内已被确认 后，特征信号提取以每个网格为单位，分别计录皮肤像素的平均像素强度以及 皮肤像素点个数。
具体的，在所述提取脉率相关特征信号的过程中：
当所述目标位置的图像信息为近红外帧时，对ROI网格中的皮肤像素的平均 像素强度，依次进行重采样、归一化和滤波处理。
当所述目标位置的图像信息为彩色帧时，组合RGB三色信号生成色度信号， 再对所述色度信号依次进行混合、重采样、动态去势(detrending)和滤波处 理。
具体的，在脉率特征信号处理的过程中，需要对每个ROI网格内采集的平均 像素强度和皮肤像素数进行进一步信号处理。平均像素强度的特征处理，对于 近红外帧，是系统依次进行重采样、归一化和滤波。对于彩色图像，多了一步 额外处理：组合RGB三色信号生成色度信号:S＝g(R,G,B)，其中函数g()负责对 RGB信号进行混合、重采样、动态去势(detrending)、滤波等信号处理流程。 皮肤像素数的特征处理是生成皮肤像素数变化统计，即计算其一阶导数和对应 的四分位距(IQR)。
进一步的，还包括：统计每个ROI网格中的皮肤像素的皮肤像素点个数的变 化情况，得到每个ROI网格的四分位距(interquartile range,IQR)。
则步骤S102中，从所提取的脉率相关特征信号中选取样本点，包括：
获取每个ROI网格的IQR和信噪比，并剔除IQR高于最大IQR门限，且信噪比 低于最小信噪比门限的ROI网格。
在本实施例中，对于每一个ROI网格，有一些网格的脉率特征信号，因为被 测人移动、表情、光照变化等因素，受到干扰，因为需要系统自动识别并加以 剔除。可以通过如图8所示的样本自动选择流程。最终自动排除样被系统认为是 噪声较大，不适宜提取脉率信号的ROI样本，剩余的样本子集用于下一步的信号 融合。具体通过IQR和每一个网格的信噪比进行聚类运算，通过Kmean聚类自动 剔除IQR高、信噪比低的网格。具体包括：
1.利用固定阈值剔除IQR较大的样本；
2.从已有的样本点中，遍历成对的排列组合；
3.对每一个生成的排列组合进行ICA计算，剔除ICA不能收敛的组合；
4.对其每个组合生成的ICA结果，求得频域最大分量；
5.对这些频域分量进行majority voting计算获得其出现频率最高的频率 值；
6.以此频率值作为初始脉率计算每一个原始样本的信噪比(SNR)；
7.以IQR，以及SNR作为特征，使用无监督聚类算法(例如kmeans)进行样 本自动筛选，获得最终的样本集用于后面的信号融合计算。
本实施例中基于摄像头的人脸识别，通过对面部图像的像素进行分析，测 得被测对象的脉率，无需其他辅助硬件，也不需要被测者携带任何贴身传感器， 实现了人体体征信号(脉率)的远程采集处理，从而实现非接触式的脉率测量。
在本实施例中，在根据所提取的皮肤像素，提取脉率相关特征信号之前， 还通过以下流程，来确定用于提取的皮肤像素的目标位置：
S201、从拍摄到的图像中识别人脸，并提取脸部特征点。
其中，本实施例中对于人脸区域的识别，可以采用目前已有的人脸识别技 术。而本实施例的方案重点在于对识别出的人脸的区域，进行进一步的图像特 征提取和分析。用于拍摄人脸图像的摄像头可以由多种，并且可以集成在多种 终端设备中，例如：
图像采集设备也可以是集成在检测终端上的摄像头，比如：智能手机上的 摄像头(目前的智能手机已经实现了多摄像头拍摄，并且已经应用了纯彩色摄 像头(RGB摄像头)、纯近红外(NIR)摄像头、广角摄像头和深度摄像头等)。
检测终端，具体可以实做成单独一台装置，或整合于各种用户的个人终端 设备，包括：智能手机、平板电脑(Tablet Personal Computer)、膝上型电脑 (LaptopComputer)、个人数字助理(personal digital assistant，简称PDA) 或可穿戴式设备(Wearable Device)等；检测终端也可以整合于专门的记录仪 器中。其中操作记录仪包括了便携摄像头和存储设备，例如目前常用的行车记 录仪或者直播用的摄像机等。
本实施例中采用的人脸识别模块，原则上可以使用任何主流的人脸识别引 擎。例如：可以采用Viola Jones算法定位和标注人脸(支持多个人脸)，通过 DRMF算法完成人脸特征点定位，以及KLT(Kanade-Lucas-Tomasi Tracking Method，跟踪算法)方法结合MSAC算法完成特征点的实时跟踪。
S202、跟踪人脸中的目标位置，得到所述目标位置的图像信息。
其中，所述目标位置包括：所述脸部特征点所在位置。
其中，通过持续跟踪人脸中的目标位置一段时间后，得到所述目标位置的 连续动态变化的图像帧，所得的图像帧即作为所述目标位置的图像信息。在本 实施例中，“某一位置的图像帧”可以理解为在图像采集设备所拍摄的完整的 图像帧中，从目标位置所在的点或者进一步细化的区域中所提取的图像，这种 所提取的图像属于完整的图像帧中的一部分。
具体的，目标位置包括：所述脸部特征点所在位置。其中，脸部特征点， 指的是通过脸特征点识别算法，定位人脸的特征部位，如：眉毛、眼睛、鼻子、 嘴、脸轮廓等。可选的，所述目标位置还包括头部位置和目光位置。通过头部 识别算法和目光识别算法，分别势必得到头部位置和目光位置。
具体的，皮肤像素指的是所拍摄图像中的、人脸所在区域内的且识别为皮 肤区域的像素。
之后，利用所提取的皮肤像素，获取脉率相关特征信号，根据持续生成的 脉率相关特征信号得到脉率时间序列，并输出测量结果。
其中，脉率时间序列中记录了持续得到的脉率数值，脉率时间序列本身就 可以作为测量结果并输出。也可以对脉率时间序列进行进一步的数据加工，即 通过脉率时间序列进一步得到可视化程度更高的结果，比如：“最大脉率的X％”、 “心跳过快”等文字信息，以便于用户查看。
并且，本实施例中对输出测量结果的具体形式并不限定，可以依据具体的 应用场景而定，比如：可以直接输出至用户的智能终端的屏幕上，或者输出至 云端服务器，并作为用户本人的生理数据由云端服务器记录。
相对于现有技术中通过在被测者皮肤表面安放传感器(电极或PPG光感传感 器)，即测量仪器需要极为靠近或者解除被测者的方案。本实施例中基于摄像头 的人脸识别，通过对面部图像的像素进行分析，测得被测对象的脉率，无需其 他辅助硬件，也不需要被测者携带任何贴身传感器，实现了非接触式的人体体 征信号(脉率)的远程测量。并且进一步的，由于无需安置体表传感器，脉率 测量直接依靠摄像头作为唯一的信号采集硬件设备，本实施例的方案还适合在 多人同时进行脉率测量，可以基于目前已经建设的视频监控系统进行部署，从 而节约了硬件的建设成本。
在本实施例中，提取脸部特征点的具体方式，可以包括：
在所采集的图像信息中定位人脸位置。之后，依据所述人脸位置，获取所 述脸部特征点所在位置。例如以彩色摄像头(RGB摄像头)为例，通过RGB摄像 头进行人脸识别和脸部特征点的过程包括了：
记录摄像头拍摄到的彩色帧(RGB)。
可选的，还可以对彩色帧进行预处理提供图像质量，例如白平衡，曝光补 偿等。很多摄像头采集的图像信息已经经过硬件内部处理，所以此步骤为可选 步骤。
采用人脸识别算法，定位图像中的人脸，并标注框图(bounding box)
采用人脸特征点识别算法，定位人脸的特征部位：眉毛、眼睛、鼻子、嘴、 脸轮廓等。
动态实时跟踪人脸特征点，同时估算头部位置、目光位置。头部位置和目 光位置为可选模块。
本实施例应用在不同的摄像头硬件设备上时，可以按照摄像头类型可分解 为3类子方案：
其一、基于彩色摄像头(RGB摄像头)或近红外摄像头的脉率测量，如图3 所示的：
彩色摄像头(RGB摄像头)采集的图像信息。其中，所述彩色摄像头采集的 图像信息包括：彩色帧。
或者，获取近红外(NIR)摄像头采集的图像信息，所述近红外摄像头采集 的图像信息包括近红外帧。
所述利用所述目标位置的图像信息提取皮肤像素，包括：根据所述目标位 置的图像信息，获取感兴趣区域(ROI)。从所述ROI内的像素中，识别所述皮肤 像素。具体的，本实施例中采用的ROI处理方式，大致包括了：
根据人脸位置、人脸特征点位置以及其他辅助信息如头部位置、人脸动态 跟踪位移矩阵等，实时计算感兴趣区域(ROI)。
识别ROI内的像素是否为人体皮肤像素，剔除包括眼镜、头发等对应的非皮 肤像素。
ROI计算还包括背景的提取。背景信息有助于提升脉率特征计算信号质量。 该步骤可以根据业务场景配置，为可选的。在本实施例中，背景提取对于非深 度摄像头使用基于2维图像的算法，如Distance Regularized level Set Evolution(DRLSE)；对于深度摄像头，利用其景深帧直接剔除前景影像部分， 得到背景图像。
在本实施例中，彩色摄像头(RGB摄像头)拍摄得到的彩色帧，通常表现为 多个颜色信道的信号形式，比如：3个信道(红、绿、蓝)，每个信道是一个长* 宽的2维矩阵，就是像素矩阵，比如1920*1080，每一个像素值的范围一般来 说在0-255，通常为8比特的精确度。
而红外帧与彩色帧不同的就是：红外帧只有一个信道的像素矩阵，每个像 素值在0-255取值范围内，通常也为8比特的精确度。因此本实施例中对于彩色 摄像头(RGB摄像头)拍摄得到的彩色帧，以及近红外(NIR)摄像头采集的红 外帧处理的逻辑流程是基本一致的，区别在于彩色摄像头(RGB摄像头)与近红 外(NIR)摄像头在皮肤识别、脉率特征处理环节所使用的算法(计算模型)有 所不同。
在本实施例中，ROI的计算方式，大致包括：根据在人脸识别模块标注的人 脸矩形框，将其切割为20像素长和20像素宽一个个矩形小网格，网格大小可配 置。ROI的区域为前额和脸颊部位。当使用深度摄像头时，网格大小依据景深和 人脸矩形框的面积关系自动计算，以达到指定的网格数量。ROI网格跟踪则利用 人脸特征点跟踪的变换矩阵计算得出，即新ROI向量＝A*旧ROI向量，这里的 “*”为矩阵乘法运算，A为变换矩阵。
ROI网格计算方式为ROI1…N＝f(bbox,w,h,landmark1…Md)，其中bbox代表 人脸识别模块标注的人脸矩形框方位，w和h分别代表网格的宽度和高度，单位 为像素，d代表景深帧，landmark代表人脸特征点的位置，M和N都是大于1的正 整数。
在得到ROI网格后，系统进行皮肤识别计算，即判断对每一个网格内的像素 点是否为皮肤。对彩色摄像头，皮肤识别逻辑在RGB颜色空间和YCbCr颜色空间 实现；对近红外摄像头，皮肤识别通过Bayesian模型和距离模型 (distance-based prior probability)共同获取和计算灰度图下皮肤像素的 统计规律，进而实现皮肤识别；对于深度摄像头，皮肤识别可依据彩色帧或近 红外帧单独计算，若彩色帧和近红外帧同时存在，还可通过近红外帧几何映射 到彩色帧的方式间接得出。
其二、在基于彩色摄像头(RGB摄像头)或近红外摄像头的脉率测量的基础 上，进一步应用深度摄像头，还包括了：获取深度摄像头采集的图像信息，所 述深度摄像头采集的图像信息包括景深帧。其中，彩色摄像头和近红外摄像头 与深度摄像头，在硬件上是相互独立运作的。检测终端也可以仅基于景深帧进 行脉率测量，在优选方案中则采用基于彩色帧+景深帧，或者是基于近红外帧+ 景深帧的测量方式。
其中，可以将深度摄像头采集的结构光参数，导入ROI处理方式过程。具体 的，由于基于结构光的深度摄像头通常同时含有彩色帧、近红外帧和景深帧。因 此，参照前述的技术方案，基于结构光深度摄像头的脉率测量信号处理流程即 支持以彩色帧为主要图像信息源，近红外帧和景深帧辅助、也支持以近红外图 像为主要图像信息源，彩色帧和景深帧辅助。如图4所示的，基于结构光的技术 方案在ROI计算、皮肤识别、背景提取，以及脉率计算内核中的脉率特征处理和 信号融合这些子模块算法中，同时利用彩色帧、近红外帧和景深帧信息，输出 抗干扰性更佳的结果，从而提升最终脉率测量的准确度和鲁棒性。
所述利用所述目标位置的图像信息提取皮肤像素的过程，则包括：
根据所述目标位置的图像信息和所述深度摄像头采集的景深帧，获取感兴 趣区域(ROI)。利用所述深度摄像头采集的景深帧，从所述ROI内的像素中，识 别所述皮肤像素。
即图像采集设备采集的是彩色帧+景深帧，或者是近红外帧+景深帧。并且 在ROI计算和皮肤识别阶段加入了景深帧，也应用了彩色帧或近红外帧
其三、在基于双彩色摄像头(RGB摄像头)或双近红外摄像头的脉率测量的 基础上，进一步应用深度摄像头，包括了：
获取双彩色摄像头采集的图像信息，所述双彩色摄像头采集的图像信息包 括：第一彩色帧和第二彩色帧。
或者，获取双近红外摄像头采集的图像信息，所述双近红外摄像头采集的 图像信息包括第一近红外帧和第二近红外帧。
其中，基于双目深度摄像头或TOF深度摄像头的技术方案与单目摄像头类似， 区别在于深度摄像头提供了景深信息，如图5所示，将该信息输入到ROI计算， 以提升背景提取和皮肤识别算法的性能。
所述利用所述目标位置的图像信息提取皮肤像素的过程，则包括：
根据所述目标位置的图像信息和所述深度摄像头采集的景深帧，获取感兴 趣区域(ROI)。从所述ROI内的像素中，识别所述皮肤像素。
其中，所述目标位置的图像信息是从双彩色摄像头或者双近红外摄像头采 集的。即图像采集设备采集的是双路的彩色帧+景深帧，或者是双路的近红外帧 +景深帧。并且在ROI计算阶段加入了景深帧，也应用了彩色帧或近红外帧。
在本实施例中，所述利用持续生成的脉率相关特征信号得到脉率时间序列， 包括：
根据所提取的皮肤像素，按照时间维度提取脉率相关特征信号。具体的， 可以针对ROI中的皮肤像素，按照时间维度提取脉率相关特征信号。针对提取的 脉率特征信号进行包括重采样、降噪、滤波和信号合成等一系列信号处理。进 一步的，脉率特征信号处理可利用背景相关特征信号，有助于提高脉率特征信 号处理质量。基于背景的特征提取和处理为可选辅助模块。
从所提取的脉率相关特征信号中选取样本点，并根据所选取的样本点进行 信号融合。其中，根据各个特征的信号质量自动进行样本点选取。根据选定的 样本点进行信号融合，以提高信号质量
根据融合后的脉率相关特征信号进行脉率计算，得到持续生成的脉率时间 序列。其中，在根据融合的信号进行脉率计算，得到持续生成的脉率时间序列 后。进一步对持续生成的脉率时间序列进行平滑和噪点纠错处理。
本实施例所提供的非接触式、多人同时进行的远程脉率测量系统，基于摄像 头测量脉率，系统不仅支持传统单目摄像头(RGB和NIR)，也支持所有主流深 度摄像头结构(双目、TOF、结构光)。扩展了脉率测量的业务场景边界，应用 场景广泛，适用于医疗、安防、交通和金融等多个行业领域。
本实施例还提供一种用于无接触式测量的脉率信号处理装置，该装置具体 可以通过计算机程序编写相应的功能模块，并运行在检测终端上；也可以由摄 像头将拍摄到的图像数据传输至云端服务器，直接由云端服务器进行分析处理， 即该装置也可以实现为一种线上程序，摄像头仅作为前端的拍摄工具，本实施 例中的方法流程在云端服务器上执行，目前基于5G的技术框架下，这种前端摄 像头+云端处理的方式，已经逐渐成熟。该装置如图6所示的，包括：
图像处理模块，用于根据所提取的皮肤像素，提取脉率相关特征信号；
分析模块，用于从所提取的脉率相关特征信号中选取样本点，并根据所选 取的样本点进行信号融合；
计算模块，用于根据融合后的脉率相关特征信号进行脉率计算。
所述图像处理模块，具体用于根据目标位置的图像信息，获取感兴趣区域 (ROI)；从所述ROI内的像素中，识别所述皮肤像素。
所述图像处理模块，还用于定位每个ROI网格，并确认每个ROI网格内的皮 肤像素；获取每个ROI网格中的皮肤像素的平均像素强度和皮肤像素点个数；在 所述提取脉率相关特征信号的过程中：当所述目标位置的图像信息为近红外帧 时，对ROI网格中的皮肤像素的平均像素强度，依次进行重采样、归一化和滤波 处理；当所述目标位置的图像信息为彩色帧时，组合RGB三色信号生成色度信号， 再对所述色度信号依次进行混合、重采样、动态去势(detrending)和滤波处 理；并统计每个ROI网格中的皮肤像素的皮肤像素点个数的变化情况，得到每个 ROI网格的四分位距(interquartile range,IQR)。
所述分析模块，具体用于获取每个ROI网格的IQR和信噪比，并剔除IQR高于 最大IQR门限，且信噪比低于最小信噪比门限的ROI网格。
进一步的，如图7所示的，还包括：
预处理模块，用于从拍摄到的图像中识别人脸，并提取脸部特征点；
定位模块，用于跟踪人脸中的目标位置，得到所述目标位置的图像信息， 所述目标位置包括：所述脸部特征点所在位置。
相对于现有技术中通过在被测者皮肤表面安放传感器(电极或PPG光感传感 器)，即测量仪器需要极为靠近或者解除被测者的方案。本实施例中基于摄像头 的人脸识别，通过对面部图像的像素进行分析，测得被测对象的脉率，无需其 他辅助硬件，也不需要被测者携带任何贴身传感器，实现了非接触式的人体体 征信号(脉率)的远程测量。并且进一步的，由于无需安置体表传感器，脉率 测量直接依靠摄像头作为唯一的信号采集硬件设备，本实施例的方案还适合在 多人同时进行脉率测量，可以基于目前已经建设的视频监控系统进行部署，从 而节约了硬件的建设成本。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相 似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。 尤其，对于设备实施例而言，由于其基本相似于方法实施例，所以描述得比较 简单，相关之处参见方法实施例的部分说明即可。以上所述，仅为本发明的具 体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术 人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发 明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。
Claims (4)
1.一种用于无接触式测量的脉率信号处理方法，其特征在于，包括：
根据所提取的皮肤像素，提取脉率相关特征信号；
从所提取的脉率相关特征信号中选取样本点，并根据所选取的样本点进行信号融合；
根据融合后的脉率相关特征信号进行脉率计算还包括：根据目标位置的图像信息，获取感兴趣区域(ROI)；从所述ROI内的像素中，识别所述皮肤像素；
还包括：从拍摄到的图像中识别人脸，并提取脸部特征点；跟踪人脸中的目标位置，得到所述目标位置的图像信息，所述目标位置包括：所述脸部特征点所在位置；
所述提取脸部特征点，包括：在所采集的图像信息中定位人脸位置；依据所述人脸位置，获取所述脸部特征点所在位置；
其中，由彩色摄像头(RGB摄像头)采集的图像信息，所述彩色摄像头采集的图像信息包括：彩色帧；或者，获取近红外(NIR)摄像头采集的图像信息，所述近红外摄像头采集的图像信息包括近红外帧；
具体包括了：获取双彩色摄像头采集的图像信息，所述双彩色摄像头采集的图像信息包括：第一彩色帧和第二彩色帧， 或者，获取双近红外摄像头采集的图像信息，所述双近红外摄像头采集的图像信息包括第一近红外帧和第二近红外帧；
所述从所述ROI内的像素中，识别所述皮肤像素，包括：
定位每个ROI网格，并确认每个ROI网格内的皮肤像素；
获取每个ROI网格中的皮肤像素的平均像素强度和皮肤像素点个数，
其中，对ROI的计算方式，包括：根据在人脸识别模块标注的人脸矩形框，将其切割为20像素长和20像素宽一个个矩形小网格，小网格的计算方式为ROI1...N＝f(bbox,w,h,landmark1...Md)，其中bbox代表人脸识别模块标注的人脸矩形框方位，w和h分别代表网格的宽度和高度，单位为像素，d代表景深帧，landmark代表人脸特征点的位置，M和N都是大于1的正整数；ROI网格跟踪则利用人脸特征点跟踪的变换矩阵计算，其中，新ROI向量＝A*旧ROI向量，“*”为矩阵乘法运算，A为变换矩阵；
在得到ROI小网格后，进行皮肤识别计算，包括：判断对每一个小网格的计算内的像素点是否为皮肤。
2.根据权利要求1所述的方法，其特征在于，在所述提取脉率相关特征信号的过程中：
当所述目标位置的图像信息为近红外帧时，对ROI网格中的皮肤像素的平均像素强度，依次进行重采样、归一化和滤波处理；
当所述目标位置的图像信息为彩色帧时，组合RGB三色信号生成色度信号，再对所述色度信号依次进行混合、重采样、动态去势(detrending)和滤波处理。
3.根据权利要求2所述的方法，其特征在于，还包括：
统计每个ROI网格中的皮肤像素的皮肤像素点个数的变化情况，得到每个ROI网格的四分位距(interquartile range,IQR)；
所述从所提取的脉率相关特征信号中选取样本点，包括：
获取每个ROI网格的IQR和信噪比，并剔除IQR高于最大IQR门限，且信噪比低于最小信噪比门限的ROI网格。
4.一种用于无接触式测量的脉率信号处理装置，其特征在于，包括：
图像处理模块，用于根据所提取的皮肤像素，提取脉率相关特征信号；
分析模块，用于从所提取的脉率相关特征信号中选取样本点，并根据所选取的样本点进行信号融合；
计算模块，用于根据融合后的脉率相关特征信号进行脉率计算，
还包括：
预处理模块，用于从拍摄到的图像中识别人脸，并提取脸部特征点；
定位模块，用于跟踪人脸中的目标位置，得到所述目标位置的图像信息，所述目标位置包括：所述脸部特征点所在位置， 其中，所述提取脸部特征点，包括：
在所采集的图像信息中定位人脸位置；
依据所述人脸位置，获取所述脸部特征点所在位置；
所述图像处理模块，具体用于根据目标位置的图像信息，获取感兴趣区域(ROI)；从所述ROI内的像素中，识别所述皮肤像素；
其中，由彩色摄像头(RGB摄像头)采集的图像信息，所述彩色摄像头采集的图像信息包括：彩色帧；或者，获取近红外(NIR)摄像头采集的图像信息，所述近红外摄像头采集的图像信息包括近红外帧；
具体包括了：获取双彩色摄像头采集的图像信息，所述双彩色摄像头采集的图像信息包括：第一彩色帧和第二彩色帧， 或者，获取双近红外摄像头采集的图像信息，所述双近红外摄像头采集的图像信息包括第一近红外帧和第二近红外帧；
所述图像处理模块，还用于定位每个ROI网格，并确认每个ROI网格内的皮肤像素；获取每个ROI网格中的皮肤像素的平均像素强度和皮肤像素点个数；在所述提取脉率相关特征信号的过程中：当所述目标位置的图像信息为近红外帧时，对ROI网格中的皮肤像素的平均像素强度，依次进行重采样、归一化和滤波处理；当所述目标位置的图像信息为彩色帧时，组合RGB三色信号生成色度信号，再对所述色度信号依次进行混合、重采样、动态去势(detrending)和滤波处理；并统计每个ROI网格中的皮肤像素的皮肤像素点个数的变化情况，得到每个ROI网格的四分位距(interquartile range,IQR)；
其中，对ROI的计算方式，包括：根据在人脸识别模块标注的人脸矩形框，将其切割为20像素长和20像素宽一个个矩形小网格，小网格的计算方式为ROI1...N＝f(bbox,w,h,landmark1...Md)，其中bbox代表人脸识别模块标注的人脸矩形框方位，w和h分别代表网格的宽度和高度，单位为像素，d代表景深帧，landmark代表人脸特征点的位置，M和N都是大于1的正整数；ROI网格跟踪则利用人脸特征点跟踪的变换矩阵计算，其中，新ROI向量＝A*旧ROI向量，“*”为矩阵乘法运算，A为变换矩阵；
在得到ROI小网格后，进行皮肤识别计算，包括：判断对每一个小网格的计算内的像素点是否为皮肤， 所述分析模块，具体用于获取每个ROI网格的IQR和信噪比，并剔除IQR高于最大IQR门限，且信噪比低于最小信噪比门限的ROI网格。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910370932.8A CN110547782B (zh) | 2019-05-06 | 2019-05-06 | 一种用于无接触式测量的脉率信号处理方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910370932.8A CN110547782B (zh) | 2019-05-06 | 2019-05-06 | 一种用于无接触式测量的脉率信号处理方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110547782A CN110547782A (zh) | 2019-12-10 |
| CN110547782B true CN110547782B (zh) | 2022-12-09 |
Family
ID=68736327
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910370932.8A Active CN110547782B (zh) | 2019-05-06 | 2019-05-06 | 一种用于无接触式测量的脉率信号处理方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110547782B (zh) |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104173051A (zh) * | 2013-05-28 | 2014-12-03 | 天津点康科技有限公司 | 非接触式自动呼吸测量系统及测量方法 |
| CN104077881A (zh) * | 2014-06-30 | 2014-10-01 | 天津大学 | 一种基于机器视觉的婴幼儿监测方法及装置 |
| CN105989357A (zh) * | 2016-01-18 | 2016-10-05 | 合肥工业大学 | 一种基于人脸视频处理的心率检测方法 |
| CA2958003C (en) * | 2016-02-19 | 2022-04-05 | Paul Stanley Addison | System and methods for video-based monitoring of vital signs |
| CN107610041B (zh) * | 2017-08-16 | 2020-10-27 | 南京华捷艾米软件科技有限公司 | 基于3d体感摄像头的视频人像抠图方法及系统 |
| CN107644440A (zh) * | 2017-09-11 | 2018-01-30 | 广东欧珀移动通信有限公司 | 图像处理方法和装置、电子装置和计算机可读存储介质 |
| CN107529096A (zh) * | 2017-09-11 | 2017-12-29 | 广东欧珀移动通信有限公司 | 图像处理方法及装置 |
| CN109008964A (zh) * | 2018-06-27 | 2018-12-18 | 浏阳市安生智能科技有限公司 | 一种生理信号提取的方法及装置 |
-
2019
- 2019-05-06 CN CN201910370932.8A patent/CN110547782B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN110547782A (zh) | 2019-12-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108229369B (zh) | 图像拍摄方法、装置、存储介质及电子设备 | |
| CN105160318B (zh) | 基于面部表情的测谎方法及系统 | |
| CN106874871B (zh) | 一种活体人脸双摄像头识别方法及识别装置 | |
| US10325146B2 (en) | Hierarchical differential image filters for skin analysis | |
| CN105243371B (zh) | 一种人脸美颜程度的检测方法、系统及拍摄终端 | |
| McDuff | Deep super resolution for recovering physiological information from videos | |
| CN104680121B (zh) | 一种人脸图像的处理方法及装置 | |
| CN107169419B (zh) | 基于机器视觉的非接触式人体体征检测方法及装置 | |
| JP5072655B2 (ja) | 画像処理装置、画像処理方法、プログラム及び記憶媒体 | |
| CN109359634A (zh) | 一种基于双目摄像机的人脸活体检测方法 | |
| KR20130048076A (ko) | 얼굴 인식 장치 및 그 제어방법 | |
| Yao et al. | Improving long range and high magnification face recognition: Database acquisition, evaluation, and enhancement | |
| CN111160202A (zh) | 基于ar设备的身份核验方法、装置、设备及存储介质 | |
| US20210174067A1 (en) | Live facial recognition system and method | |
| CN109784230A (zh) | 一种人脸视频图像质量寻优方法、系统及设备 | |
| CN110321781B (zh) | 一种用于无接触式测量的信号处理方法及装置 | |
| CN110321782B (zh) | 一种检测人体特征信号的系统 | |
| KR20110129158A (ko) | 영상 처리 시스템에서의 객체 후보 영역 검출 방법 및 시스템 | |
| CN110279406B (zh) | 一种基于摄像头的无接触式的脉率测量方法及装置 | |
| CN110222647B (zh) | 一种基于卷积神经网络的人脸活体检测方法 | |
| Wei et al. | Remote photoplethysmography and heart rate estimation by dynamic region of interest tracking | |
| WO2022193516A1 (zh) | 一种基于深度相机的人流分析方法及装置 | |
| CN110547782B (zh) | 一种用于无接触式测量的脉率信号处理方法及装置 | |
| KR102468654B1 (ko) | 보정된 이미지 기반 심박 추정 방법 및 그 장치 | |
| CN115553777A (zh) | 一种非接触式精神压力检测方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CP03 | Change of name, title or address |
Address after: 210042 No.1, Suning Avenue, Xuanwu District, Nanjing City, Jiangsu Province Patentee after: Shanghai Star Map Financial Services Group Co.,Ltd. Country or region after: China Address before: 210042 No.1, Suning Avenue, Xuanwu District, Nanjing City, Jiangsu Province Patentee before: Suning Financial Services (Shanghai) Co.,Ltd. Country or region before: China |
|
| CP03 | Change of name, title or address |