CN112819790A - 一种心率检测方法及装置 - Google Patents
一种心率检测方法及装置 Download PDFInfo
- Publication number
- CN112819790A CN112819790A CN202110142340.8A CN202110142340A CN112819790A CN 112819790 A CN112819790 A CN 112819790A CN 202110142340 A CN202110142340 A CN 202110142340A CN 112819790 A CN112819790 A CN 112819790A
- Authority
- CN
- China
- Prior art keywords
- face
- heart rate
- roi area
- region
- roi
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 31
- 238000000034 method Methods 0.000 claims abstract description 31
- 238000005070 sampling Methods 0.000 claims abstract description 21
- 238000010183 spectrum analysis Methods 0.000 claims abstract description 17
- 238000012545 processing Methods 0.000 claims abstract description 10
- 230000004807 localization Effects 0.000 claims description 22
- 239000011159 matrix material Substances 0.000 claims description 19
- 230000001815 facial effect Effects 0.000 claims description 15
- 210000001061 forehead Anatomy 0.000 claims description 9
- 238000001228 spectrum Methods 0.000 claims description 8
- 230000008569 process Effects 0.000 claims description 6
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 5
- 230000003321 amplification Effects 0.000 claims description 5
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 5
- 238000012549 training Methods 0.000 claims description 5
- 230000009466 transformation Effects 0.000 claims description 5
- 108010076504 Protein Sorting Signals Proteins 0.000 claims description 4
- 238000013528 artificial neural network Methods 0.000 claims description 3
- 210000000697 sensory organ Anatomy 0.000 claims description 2
- 210000001508 eye Anatomy 0.000 description 10
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 210000004709 eyebrow Anatomy 0.000 description 3
- 238000000926 separation method Methods 0.000 description 3
- 230000007547 defect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 230000036541 health Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 239000013074 reference sample Substances 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- 206010007559 Cardiac failure congestive Diseases 0.000 description 1
- 208000024172 Cardiovascular disease Diseases 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/024—Detecting, measuring or recording pulse rate or heart rate
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/024—Detecting, measuring or recording pulse rate or heart rate
- A61B5/02416—Detecting, measuring or recording pulse rate or heart rate using photoplethysmograph signals, e.g. generated by infrared radiation
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7203—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20092—Interactive image processing based on input by user
- G06T2207/20104—Interactive definition of region of interest [ROI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
- G06T2207/20132—Image cropping
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- Veterinary Medicine (AREA)
- Biophysics (AREA)
- Pathology (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Physiology (AREA)
- Public Health (AREA)
- Surgery (AREA)
- Artificial Intelligence (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Cardiology (AREA)
- Psychiatry (AREA)
- General Physics & Mathematics (AREA)
- Quality & Reliability (AREA)
- Radiology & Medical Imaging (AREA)
- Theoretical Computer Science (AREA)
- Evolutionary Computation (AREA)
- Fuzzy Systems (AREA)
- Mathematical Physics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
Abstract
本发明公开了一种心率检测方法及装置，属于图形处理技术领域，方法包括如下步骤：获取目标追踪对象的脸部区域图像，并标定所述脸部区域图像的面部关键点；根据所述面部关键点选取所述脸部区域图像的面部定位ROI区域；对所述面部定位ROI区域的采样信号进行频谱分析获得目标追踪对象的估测心率值。本发明的心率检测方法及装置能够实现非接触式心率检测，提高心率检测的准确性和效率。
Description
技术领域
本发明涉及图像处理技术领域，尤其涉及一种心率检测方法及装置。
背景技术
随着计算机技术的发展和普及，越来越多的计算机理论涉及到医学领域，应用于医疗诊断和日常健康监测等各个环节，为医学的进步发挥了强大的辅助作用。心率是反映人体健康状况的指标之一，也是判断心血管疾病最基本的生理指标之一。
一般医院进行专业的临床心率检测手段需要利用心电图机的十二导联线接触人体的多个部位，操作繁杂，自动化程度不高，且需要相当多的专业仪器，以及对操作者有一定的要求。而在日常生活中，普通群众更关心的以及最直观的是对心率是否存在较大的波动。
发明内容
本发明的目的在于克服现有技术中的不足，提供一种心率检测方法及装置，能够实现非接触式心率检测，提高心率检测的准确性和效率。
为达到上述目的，本发明是采用下述技术方案实现的：
一方面，本发明提供了一种心率检测方法，包括如下步骤：
在获取的目标追踪对象的脸部区域图像中标定出面部关键点；
根据所述面部关键点选取所述脸部区域图像的面部定位ROI区域；
对所述面部定位ROI区域的采样信号进行频谱分析获得目标追踪对象的估测心率值。
进一步的，根据所述面部关键点选取所述脸部区域图像的面部定位ROI区域的方法包括如下步骤：
采用若干面部关键点进行人脸姿态估计获得人脸朝向角度，所述面部关键点包括下巴，鼻尖，左眼角，右眼角，左嘴角和右嘴角；
根据所述人脸朝向角度裁剪不同的面部定位区域并加以组合作为面部定位ROI区域，所述面部定位区域包括额头，左脸颊，右脸颊和鼻尖。
进一步的，对所述面部定位ROI区域的采样信号进行频谱分析前还包括如下步骤：
对所述面部定位ROI区域进行灰度化处理；
采用滑动窗口法计算不同所述面部定位ROI区域灰度图的均值以及方差并与标准场景下的灰度图均值及方差做比较，裁剪图像灰度亮度符合标准的面部定位ROI区域。
进一步的，获取所述面部定位ROI区域的采样信号时，若所述面部定位ROI区域的图像灰度亮度值均低于标准值，则在采样过程中使用欧拉视频放大算法放大所述面部定位ROI区域的采样信号序列。
进一步的，对所述面部定位ROI区域进行灰度化处理之前还包括对所述面部定位ROI区域进行进一步区域裁剪获取所述面部定位ROI区域的81％区域。
进一步的，对所述面部定位ROI区域的采样信号进行频谱分析获得目标追踪对象的估测心率值的方法包括如下步骤：
对所述面部定位ROI区域的时域信号做快速傅里叶变化获得相应的功率谱；
根据功率谱中数据上下波动的极大和极小值确定用来判断信号波峰状态的阈值；根据所述阈值确定采集信号的数帧中出现的波峰状态计算得到估测心率值。
进一步的，将估测心率值与参考心率值进行对齐线性拟合获取经验常数，并基于所述经验常数计算获得目标追踪对象的心率值。
进一步的，确定所述人脸朝向角度的方法包括如下步骤：
根据面部关键点坐标计算获得所述脸部区域图像中人脸仿射变换矩阵的旋转向量和所述旋转向量对应的旋转矩阵；
根据所述旋转矩阵计算获得用于计算人脸朝向角度的欧拉角，所述欧拉角包括俯仰角，偏航角和翻滚角。
进一步的，标定所述脸部区域图像的面部关键点的方法包括通过神经网络训练模型识别出目标追踪对象面部五官区域及轮廓的边缘区域点作为面部关键点。
另一方面，本发明提供了一种装置，包括如下模块：
图像获取模块，用于在获取的目标追踪对象的脸部区域图像中标定出面部关键点；
区域选取模块，用于根据所述面部关键点选取所述脸部区域图像的面部定位ROI区域；
心率估测模块，用于对所述面部定位ROI区域的采样信号进行频谱分析获得目标追踪对象的估测心率值
与现有技术相比，本发明所达到的有益效果：
本发明提供的心率检测方法基于计算机目标追踪技术，获取目标追踪对象的脸部区域图像，标定面部关键点，获取面部定位ROI区域，对采集信号进行频谱分析进而获取目标追踪对象的估测心率值，能够实现非接触式心率检测，提高心率检测的准确性和效率；
对面部定位ROI区域进行进一步裁剪、灰度处理获得更好亮度标准的待采集信号图像，使接下来的频谱分析更加稳定和精确；
根据人脸朝向角度裁剪不同的面部定位区域并加以组合作为面部定位ROI区域能够获得更加稳定和精确的面部定位ROI区域；
对上一步的ROI区域提取基于皮肤光学反射模型的色差信号，基于红绿通道，将此信号分解成若干本征模态函数，筛选主频率在心率范围内的函数，然后用联合盲源分离法提取筛选过的函数的最相关成分作为心率信号，可以消除环境光和运动伪迹的影响。
附图说明
图1是本发明实施例提供的一种心率检测方法的流程图；
图2是本发明实施例提供的一种确定人脸朝向角度方法的流程图；
图3是本发明实施例提供的一种装置的框图；
图4是本发明实施例提供的人脸欧拉角的示意图。
具体实施方式
下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。
在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”等的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上。
在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以通过具体情况理解上述术语在本发明中的具体含义。
如图1所示，本发明实施例提供了一种心率检测方法，包括如下步骤：
在获取的目标追踪对象的脸部区域图像中标定出面部关键点；
根据所述面部关键点选取脸部区域图像的面部定位ROI(Region of interest)区域；
对面部定位ROI区域的采样信号进行频谱分析获得目标追踪对象的估测心率值。
在本实施例中，首先获取视频流，然后对视频帧用做粗扫描，即将视频帧作为输入送入多任务卷积神经网络中，如果未扫描到人脸则重复此步骤，若扫描到人脸则记录此时人脸区域坐标，人脸区域是一个矩形框，人脸区域坐标就是四个顶点的坐标。
人脸区域坐标得到一个矩形区域，计算此区域的中心点mid，并以mid为中心，将此区域扩大2倍，得到一个新的矩形区域。
以新的矩形区域坐标裁剪视频流的当前帧以及上一帧(即在两帧中获取相同坐标的范围内的图像)，假设人脸mid点在(x,y)，大小是(w,h)，那么提取的是以(x,y)为中心，大小是(2w,2h)的图像，将裁剪后的图像分别送入各自的五层的CNN的卷积层提取特征，然后将卷积层的输出作为输入送入全连接层(三层，每层4096个节点，之后是只有四个结点的输出层)，用于回归得到当前帧目标的位置，输出的是目标追踪对象的人脸区域左上右下两个坐标点，最终获得的人脸区域图像作为需要进行面部关键点标定的脸部区域图像。
在本实施例中，标定所述脸部区域图像的面部关键点的方法包括通过神经网络训练模型识别出目标追踪对象面部五官区域及轮廓的边缘区域点作为面部关键点。
具体地，标定脸部区域图像的面部关键点的操作具体如下。
首先，采用300W数据集，考虑到实际场景，增加了数据集中非正脸数据的比例。
然后，送入GOTURN(Generic Object Tracking Using Regression Networks)网络中进行训练，网络采取漏斗形残差定义卷积层，先进行升维，再进行分组卷积提高效率，最后进行降维。
上述训练过程中，图像作为输入(获取的脸部区域图像)首先经过了两个卷积层，然后经过了若干个漏斗形残差模块，最后使用了3个特征尺度进行融合。
其中，第一个尺度为14×14，然后进行了全局平均池化，维度是16；第二个尺度为7×7，进行全局平均池化，维度是32；第三个尺度为1×1，维度是128。3个特征变量维度变换后进行了串接，得到总的特征向量维度是176，然后经过全链接层输出人脸区域的面部关键点坐标。
在本实施例中，根据面部关键点选取脸部区域图像的面部定位ROI区域的方法包括如下步骤：
采用若干面部关键点进行人脸姿态估计获得人脸朝向角度，其中，面部关键点包括下巴，鼻尖，左眼角，右眼角，左嘴角和右嘴角；
根据人脸朝向角度裁剪不同的面部定位区域并加以组合作为面部定位ROI区域，其中，面部定位区域包括额头，左脸颊，右脸颊和鼻尖。
具体地，选取脸部区域图像的面部定位ROI区域的操作具体如下。
首先，对获取的人脸区域的68个面部关键点坐标(定位点)，在多任务卷积神经网络训练得来的模型内部对每一个定位点进行数字排序。
然后，采用下巴，鼻尖，左眼角，右眼角，左嘴角，右嘴角四个点做人脸姿态估计，获得人脸朝向角度。
在本实施例中，如图2所示，确定人脸朝向角度的方法包括如下步骤：
根据面部关键点坐标计算获得脸部区域图像中人脸仿射变换矩阵的旋转向量和旋转向量对应的旋转矩阵；
根据旋转矩阵计算获得用于计算人脸朝向角度的欧拉角，其中，欧拉角包括俯仰角，偏航角和翻滚角，如图4所示。
具体地，采用solvePNP算法，以此确定从3d model到图像中人脸的仿射变换矩阵，内部包括了旋转和平移信息。我们取其中的旋转向量，该向量的方向是旋转轴，模是旋转角度。
设旋转向量的单位向量r＝[r1 r2 r3]T，旋转角度为θ，对应的旋转矩阵为R，则有：
然后，我们将旋转矩阵R的转置矩阵乘以R本身得到矩阵R’，然后求单位矩阵减去R’的矩阵的二范数，以此判断R是否正交(旋转矩阵一般是正交的)。
若是，则矩阵无错，然后求R[0,0]*R[0,0]+R[1,0]*R[1,0]的平方根，根据平方根大小判定其旋转角是否正负90°，然后根据两种情况的对应公式计算出相应的欧拉角。其中，欧拉角包括三个维度，俯仰角(物体绕x轴旋转)，偏航角(物体绕y轴旋转)，翻滚角(物体绕z轴旋转)，如图4所示。
求得欧拉角后就可以得知人脸面部的朝向，根据不同情况下，如人脸正面面对镜头，人脸向右偏转，人脸向下偏转等情况采取不同的区域定位，并加以组合。一般来说，定位区域包括额头，左右脸颊，鼻尖四个大区域。
在本实施例中，以人脸面部中心轴为中心线，偏航角为标准，当角度处于-30°～30°之间，定为面部未偏转，此时抓取额头与鼻尖区域。额头区域中心点坐标(x,y)，x为左右眼角两点的x坐标的中点，纵坐标y由眼角纵坐标与面部最高点坐标决定，与眼角垂直距离以及与最高点垂直距离之比为4:6。区域长为两个眉心之间的距离的0.8倍长，区域高为长的0.6倍。鼻尖中心点为鼻尖定位点，长宽一致，定位左右内眼角距离的0.55倍。
当偏航角大于30°，在面部往右偏转情况下，图像中大面积区域为左脸，抓取侧额头与左侧脸颊。侧额头区域左右横坐标边界点为外侧眉边点以及内部眉毛点，纵向高度为横向长度的0.4倍，则可确定侧额头区域。左侧脸颊区域中心点，横坐标为脸颊边界点与鼻尖点两点横坐标的中点，纵坐标与脸颊边界点的纵坐标一致。区域横向长度与眼睛长度一致(左右眼角距离)，纵向高度为鼻部高度(鼻尖与鼻子最上部标定点)的0.7倍。
人脸向右偏转的情况类似向左偏转。
在本实施例中，对面部定位ROI区域的采样信号进行频谱分析前还包括如下步骤：
对面部定位ROI区域进行灰度化处理；
采用滑动窗口法计算不同所述面部定位ROI区域灰度图的均值以及方差并与标准场景下的灰度图均值及方差做比较，灰度值数值从0～255，其中，灰度值数值255最亮，把平均值高于144的区域定位为符合标准，裁剪图像灰度亮度符合标准的面部定位ROI区域。
具体地，获取面部定位ROI区域的采样信号时，若面部定位ROI区域的图像灰度亮度值均低于标准值，则在采样过程中使用欧拉视频放大算法放大所述面部定位ROI区域的采样信号序列。
具体地，对面部定位ROI区域进行灰度化处理之前还包括对面部定位ROI区域进行进一步区域裁剪获取面部定位ROI区域的81％区域。
在本实施例中，对面部定位ROI区域的采样信号进行频谱分析获得目标追踪对象的估测心率值的方法包括如下步骤：
对所述面部定位ROI区域的时域信号做快速傅里叶变化获得相应的功率谱；
根据功率谱中数据上下波动的极大和极小值确定用来判断信号波峰状态的阈值；根据所述阈值确定采集信号的数帧中出现的波峰状态计算得到估测心率值。
具体地，本发明实施例中，得到了数块相对固定的面部定位ROI区域，为了检测稳定，首先，对面部定位ROI区域做一个裁剪，本实施例中只保留原ROI区域的81％，并进行信号采样。
其次，将裁剪后的ROI区域进行灰度化处理，然后采用滑动窗口法计算不同区域灰度图的均值以及方差，然后与规定的标准场景下的值做比较，裁剪亮度符合标准(灰度平均值大于144)的区域。
若区域亮度值均低于标准值，则在后续采样过程中使用欧拉视频放大算法放大信号序列。
首先，通过采样(取所有像素点像素值的平均值)得到了一组RGB三通道的信号。然后，将分量信号通过设计好的5阶的巴特沃斯带通滤波，本实施例中截止频率为24和300次/分钟，这个范围可以很好地适应大多数正常心率。
若是满足视频亮度不足的条件，则对得到的信号做欧拉视频放大算法，通过将视频图像分解成不同的空间分辨率并对不同的空间分辨率进行滤波处理，以对人脸视频中包含的微弱心率信号进行放大处理。
接着，从去噪后的信号起始阶段选取一段平稳数据作为基准样本，通过独立向量分析IVA，提取出分离矩阵中交流成分ac所对应的绿通道系数和基准样本蓝通道的直流成分dc作为基准参数，然后对时域信号做快速傅里叶变化，计算频谱，再计算其功率谱。
然后我们得到一条曲线，先找出其极大和极小值，确定数据上下波动的范围，然后，根据这个范围的一个百分比，来确定阈值。阈值是用来判断信号是否处于波峰状态，前后数帧中出现“相邻”波峰即可认为心脏跳动了一次，在通过计算出波峰的周期，则可得到一个估测心率值。
在本实施例中，方法还包括将估测心率值与参考心率值进行对齐线性拟合，获取一个经验常数，并基于所述经验常数计算获得目标追踪对象的心率值。
如图3所示，本发明实施例还提供了一种心率检测装置，包括如下模块：
图像获取模块，用于在目标追踪对象的脸部区域图像中标定出面部关键点；
区域选取模块，用于根据所述面部关键点选取所述脸部区域图像的面部定位ROI区域；
心率估测模块，用于对所述面部定位ROI区域的采样信号进行频谱分析获得目标追踪对象的估测心率值
综上，本发明提供的心率检测方法基于计算机目标追踪技术，获取目标追踪对象的脸部区域图像，标定面部关键点，获取面部定位ROI区域，对采集信号进行频谱分析进而获取目标追踪对象的估测心率值，能够实现非接触式心率检测，提高心率检测的准确性和效率；
对面部定位ROI区域进行进一步裁剪、灰度处理获得更好亮度标准的待采集信号图像，使接下来的频谱分析更加稳定和精确；
根据人脸朝向角度裁剪不同的面部定位区域并加以组合作为面部定位ROI区域能够获得更加稳定和精确的面部定位ROI区域；
对上一步的ROI区域提取基于皮肤光学反射模型的色差信号(基于红绿通道)，将此信号分解成若干本征模态函数，筛选主频率在心率范围内的函数，然后用联合盲源分离法提取筛选过的函数的最相关成分作为心率信号，可以消除环境光和运动伪迹的影响。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。
Claims (10)
1.一种心率检测方法，其特征在于，包括如下步骤：
在获取的目标追踪对象的脸部区域图像中标定出面部关键点；
根据所述面部关键点选取所述脸部区域图像的面部定位ROI区域；
对所述面部定位ROI区域的采样信号进行频谱分析获得目标追踪对象的估测心率值。
2.根据权利要求1所述的心率检测方法，其特征在于，根据所述面部关键点选取所述脸部区域图像的面部定位ROI区域的方法包括如下步骤：
采用若干面部关键点进行人脸姿态估计获得人脸朝向角度，所述面部关键点包括下巴，鼻尖，左眼角，右眼角，左嘴角和右嘴角；
根据所述人脸朝向角度裁剪不同的面部定位区域并加以组合作为面部定位ROI区域，所述面部定位区域包括额头，左脸颊，右脸颊和鼻尖。
3.根据权利要求2所述的心率检测方法，其特征在于，对所述面部定位ROI区域的采样信号进行频谱分析前还包括如下步骤：
对所述面部定位ROI区域进行灰度化处理；
采用滑动窗口法计算不同所述面部定位ROI区域灰度图的均值以及方差并与标准场景下的灰度图均值及方差做比较，裁剪图像灰度亮度符合标准的面部定位ROI区域。
4.根据权利要求3所述的心率检测方法，其特征在于，获取所述面部定位ROI区域的采样信号时，若所述面部定位ROI区域的图像灰度亮度值均低于标准值，则在采样过程中使用欧拉视频放大算法放大所述面部定位ROI区域的采样信号序列。
5.根据权利要求3或4所述的心率检测方法，其特征在于，对所述面部定位ROI区域进行灰度化处理之前还包括对所述面部定位ROI区域进行进一步区域裁剪获取所述面部定位ROI区域的81％区域。
6.根据权利要求5所述的心率检测方法，其特征在于，对所述面部定位ROI区域的采样信号进行频谱分析获得目标追踪对象的估测心率值的方法包括如下步骤：
对所述面部定位ROI区域的时域信号做快速傅里叶变化获得相应的功率谱；
根据功率谱中数据上下波动的极大和极小值确定用来判断信号波峰状态的阈值；根据所述阈值确定采集信号的数帧中出现的波峰状态计算得到估测心率值。
7.根据权利要求6所述的心率检测方法，其特征在于，将估测心率值与参考心率值进行对齐线性拟合获得经验常数，并基于所述经验常数计算获得目标追踪对象的心率值。
8.根据权利要求2所述的心率检测方法，其特征在于，确定所述人脸朝向角度的方法包括如下步骤：
根据面部关键点坐标计算获得所述脸部区域图像中人脸仿射变换矩阵的旋转向量和所述旋转向量对应的旋转矩阵；
根据所述旋转矩阵计算获得用于计算人脸朝向角度的欧拉角，所述欧拉角包括俯仰角，偏航角和翻滚角。
9.根据权利要求1所述的心率检测方法，其特征在于，标定所述脸部区域图像的面部关键点的方法包括通过神经网络训练模型识别出目标追踪对象面部五官区域及轮廓的边缘区域点作为面部关键点。
10.一种心率检测装置，其特征在于，包括如下模块：
图像获取模块，用于在获取的目标追踪对象的脸部区域图像中标定出面部关键点；
区域选取模块，用于根据所述面部关键点选取所述脸部区域图像的面部定位ROI区域；
心率估测模块，用于对所述面部定位ROI区域的采样信号进行频谱分析获得目标追踪对象的估测心率值。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110142340.8A CN112819790B (zh) | 2021-02-02 | 2021-02-02 | 一种心率检测方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110142340.8A CN112819790B (zh) | 2021-02-02 | 2021-02-02 | 一种心率检测方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112819790A true CN112819790A (zh) | 2021-05-18 |
| CN112819790B CN112819790B (zh) | 2022-09-16 |
Family
ID=75860507
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110142340.8A Active CN112819790B (zh) | 2021-02-02 | 2021-02-02 | 一种心率检测方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112819790B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20220386918A1 (en) * | 2021-06-02 | 2022-12-08 | Lenovo (Beijing) Limited | Fatigue measurement method, apparatus, and computer-readable medium |
| WO2023184832A1 (zh) * | 2022-03-31 | 2023-10-05 | 上海商汤智能科技有限公司 | 生理状态检测方法、装置、电子设备、存储介质及程序 |
| CN118411751A (zh) * | 2024-07-03 | 2024-07-30 | 宁波星巡智能科技有限公司 | 基于面部图像处理的心率测量增稳方法、装置及设备 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107529646A (zh) * | 2017-05-02 | 2018-01-02 | 广东工业大学 | 一种基于欧拉影像放大的无接触式心率测量方法及装置 |
| CN108771539A (zh) * | 2018-03-21 | 2018-11-09 | 上海师范大学 | 一种基于摄像的非接触式心率的检测方法及其装置 |
| CN110765838A (zh) * | 2019-09-02 | 2020-02-07 | 合肥工业大学 | 用于情绪状态监测的面部特征区域实时动态分析方法 |
| CN111248890A (zh) * | 2020-01-20 | 2020-06-09 | 深圳大学 | 一种基于面部视频的非接触式新生儿心率监测方法及系统 |
| CN112101247A (zh) * | 2020-09-18 | 2020-12-18 | 济南博观智能科技有限公司 | 一种人脸姿态估计方法、装置、设备及存储介质 |
-
2021
- 2021-02-02 CN CN202110142340.8A patent/CN112819790B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107529646A (zh) * | 2017-05-02 | 2018-01-02 | 广东工业大学 | 一种基于欧拉影像放大的无接触式心率测量方法及装置 |
| CN108771539A (zh) * | 2018-03-21 | 2018-11-09 | 上海师范大学 | 一种基于摄像的非接触式心率的检测方法及其装置 |
| CN110765838A (zh) * | 2019-09-02 | 2020-02-07 | 合肥工业大学 | 用于情绪状态监测的面部特征区域实时动态分析方法 |
| CN111248890A (zh) * | 2020-01-20 | 2020-06-09 | 深圳大学 | 一种基于面部视频的非接触式新生儿心率监测方法及系统 |
| CN112101247A (zh) * | 2020-09-18 | 2020-12-18 | 济南博观智能科技有限公司 | 一种人脸姿态估计方法、装置、设备及存储介质 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20220386918A1 (en) * | 2021-06-02 | 2022-12-08 | Lenovo (Beijing) Limited | Fatigue measurement method, apparatus, and computer-readable medium |
| WO2023184832A1 (zh) * | 2022-03-31 | 2023-10-05 | 上海商汤智能科技有限公司 | 生理状态检测方法、装置、电子设备、存储介质及程序 |
| CN118411751A (zh) * | 2024-07-03 | 2024-07-30 | 宁波星巡智能科技有限公司 | 基于面部图像处理的心率测量增稳方法、装置及设备 |
| CN118411751B (zh) * | 2024-07-03 | 2024-09-10 | 宁波星巡智能科技有限公司 | 基于面部图像处理的心率测量增稳方法、装置及设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112819790B (zh) | 2022-09-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112819790B (zh) | 一种心率检测方法及装置 | |
| US11229372B2 (en) | Systems and methods for computer monitoring of remote photoplethysmography based on chromaticity in a converted color space | |
| CN111839489B (zh) | 非接触式生理心理健康检测系统 | |
| CN110287790B (zh) | 一种面向静态多人场景的学习状态混合分析方法 | |
| US10799182B2 (en) | Video-based physiological measurement using neural networks | |
| TW201315438A (zh) | 非接觸式之心脈量測方法及其系統 | |
| CN107169419B (zh) | 基于机器视觉的非接触式人体体征检测方法及装置 | |
| JP7373298B2 (ja) | 生体情報検出装置、生体情報検出方法および生体情報検出プログラム | |
| JP6098304B2 (ja) | 脈波検出装置、脈波検出方法及び脈波検出プログラム | |
| CN113361480B (zh) | 基于人脸视频的人体脉搏波获取方法 | |
| CN112750531A (zh) | 一种中医自动化望诊系统、方法、设备和介质 | |
| CN112232128B (zh) | 基于视线追踪的老年残障人士照护需求识别方法 | |
| CN111248890A (zh) | 一种基于面部视频的非接触式新生儿心率监测方法及系统 | |
| CN111466878A (zh) | 基于表情识别的卧床病人疼痛症状实时监护方法及装置 | |
| CN111784686A (zh) | 一种内窥镜出血区域的动态智能检测方法、系统及可读存储介质 | |
| CN111839490B (zh) | 非接触式心率监测方法及系统 | |
| Rahman et al. | Non-contact heart rate monitoring using lab color space | |
| CN113693573A (zh) | 一种基于视频的非接触式多生理参数监测的系统及方法 | |
| Wong et al. | Optimising rPPG signal extraction by exploiting facial surface orientation | |
| Kyrollos et al. | Transfer learning approaches for neonate head localization from pressure images | |
| CN112070806A (zh) | 一种基于视频图像的实时瞳孔跟踪方法和系统 | |
| US20230082016A1 (en) | Mask for non-contact respiratory monitoring | |
| Maglogiannis et al. | Utilizing artificial intelligence for the characterization of dermatological images | |
| KR102132959B1 (ko) | 사용자의 신원 파악이 가능한 심박동수 모니터링 방법 및 시스템 | |
| US20230112712A1 (en) | Enhanced image for non-contact monitoring |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information |
Address after: No. 66, New Model Road, Gulou District, Nanjing City, Jiangsu Province, 210000 Applicant after: NANJING University OF POSTS AND TELECOMMUNICATIONS Address before: No.19, ningshuang Road, Yuhuatai District, Nanjing City, Jiangsu Province, 210003 Applicant before: NANJING University OF POSTS AND TELECOMMUNICATIONS |
|
| CB02 | Change of applicant information | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |