CN112826486A - 心率估计方法、装置及应用其的电子设备 - Google Patents
心率估计方法、装置及应用其的电子设备 Download PDFInfo
- Publication number
- CN112826486A CN112826486A CN201911166001.2A CN201911166001A CN112826486A CN 112826486 A CN112826486 A CN 112826486A CN 201911166001 A CN201911166001 A CN 201911166001A CN 112826486 A CN112826486 A CN 112826486A
- Authority
- CN
- China
- Prior art keywords
- heart rate
- rate estimation
- frequency domain
- face
- signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 91
- 238000012545 processing Methods 0.000 claims abstract description 75
- 238000001514 detection method Methods 0.000 claims abstract description 64
- 238000006243 chemical reaction Methods 0.000 claims abstract description 14
- 238000001914 filtration Methods 0.000 claims description 30
- 238000004364 calculation method Methods 0.000 claims description 21
- 230000008569 process Effects 0.000 claims description 18
- 238000010606 normalization Methods 0.000 claims description 12
- 238000012163 sequencing technique Methods 0.000 claims description 9
- 238000012935 Averaging Methods 0.000 claims description 4
- 238000013135 deep learning Methods 0.000 claims description 4
- 230000009471 action Effects 0.000 claims description 2
- 230000000694 effects Effects 0.000 description 7
- 210000004369 blood Anatomy 0.000 description 5
- 239000008280 blood Substances 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 238000003672 processing method Methods 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 210000003462 vein Anatomy 0.000 description 3
- 210000004204 blood vessel Anatomy 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000005034 decoration Methods 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 210000003205 muscle Anatomy 0.000 description 2
- 238000013186 photoplethysmography Methods 0.000 description 2
- 239000013589 supplement Substances 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 230000003313 weakening effect Effects 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000010521 absorption reaction Methods 0.000 description 1
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000017531 blood circulation Effects 0.000 description 1
- 230000036772 blood pressure Effects 0.000 description 1
- 210000000746 body region Anatomy 0.000 description 1
- 230000000747 cardiac effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000002526 effect on cardiovascular system Effects 0.000 description 1
- 238000002565 electrocardiography Methods 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 210000001061 forehead Anatomy 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 230000009191 jumping Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 229910052760 oxygen Inorganic materials 0.000 description 1
- 239000001301 oxygen Substances 0.000 description 1
- 239000000047 product Substances 0.000 description 1
- 230000010349 pulsation Effects 0.000 description 1
- 230000029058 respiratory gaseous exchange Effects 0.000 description 1
- 210000003491 skin Anatomy 0.000 description 1
- 210000001519 tissue Anatomy 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 210000000707 wrist Anatomy 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/024—Detecting, measuring or recording pulse rate or heart rate
- A61B5/0245—Detecting, measuring or recording pulse rate or heart rate by using sensing means generating electric signals, i.e. ECG signals
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/024—Detecting, measuring or recording pulse rate or heart rate
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/024—Detecting, measuring or recording pulse rate or heart rate
- A61B5/02416—Detecting, measuring or recording pulse rate or heart rate using photoplethysmograph signals, e.g. generated by infrared radiation
- A61B5/02427—Details of sensor
- A61B5/02433—Details of sensor for infrared radiation
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
- A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7203—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7253—Details of waveform analysis characterised by using transforms
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7253—Details of waveform analysis characterised by using transforms
- A61B5/7257—Details of waveform analysis characterised by using transforms using Fourier transforms
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B2576/00—Medical imaging apparatus involving image processing or analysis
- A61B2576/02—Medical imaging apparatus involving image processing or analysis specially adapted for a particular organ or body part
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Medical Informatics (AREA)
- Animal Behavior & Ethology (AREA)
- Pathology (AREA)
- Veterinary Medicine (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Public Health (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Biophysics (AREA)
- General Health & Medical Sciences (AREA)
- Physiology (AREA)
- Signal Processing (AREA)
- Cardiology (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Psychiatry (AREA)
- Mathematical Physics (AREA)
- Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)
Abstract
本发明公开了一种心率估计方法、装置及应用其的电子设备。其中，该心率估计方法包括：获取人脸视频；对所述人脸视频进行人脸检测，提取用于心率估计的人脸局部区域；对所述人脸局部区域中像素点的值进行第一处理，获得初始心率信号；对所述初始心率信号进行时频域转换，获得频域信号；在心率估计范围内，对所述频域信号进行第二处理，获得心率估计值。本发明可以解决了现有技术中需通过接触的方式才能实现心率估计的技术问题。
Description
技术领域
本发明涉及计算机视觉技术，具体而言，涉及一种心率估计方法、装置及应用其的电子设备。
背景技术
心电图是利用心电图机从体表记录心脏每一心动周期所产生的点活动变化图形的技术。该方法虽然准确度高，但是仪器贵重，并且需要专业人士操作，设备繁琐，使用场景极其有限。
光电容积脉搏波描记法(PPG)是借助光电手段在活体组织中监测血液容积变化的一种无创检测方法。当使用一定波长的光线照射到指间等皮肤表面时，光线将通过透射或者反射的方式被光电接收器捕获。在整个过程中光线由于皮肤、肌肉、血液等的吸收减弱，到达光电接收器的光强度将减小。其中皮肤、肌肉等对光强度的减弱作用是恒定的，而血管中血液对光线的减弱作用将随着心脏的搏动呈现搏动性变化。当心脏收缩时血管中血液容积增大，被吸收的光强度增加，光电接收器接收到的光强度随之减弱，当心脏舒张时则相反。将此光强度转化成电信号，便可以获得容积脉搏血流的变化。该方法需要传感器与固定人体部位有紧密接触，对于用户使用方式和场景有较多限制。
发明内容
本发明实施例提供了一种心率估计方法、装置及应用其的电子设备，以至少解决了现有技术中需通过接触的方式才能实现心率估计的技术问题。
根据本发明实施例的一个方面，提供了一种心率估计方法，包括：获取人脸视频；对所述人脸视频进行人脸检测，提取用于心率估计的人脸局部区域；对所述人脸局部区域中像素点的值进行第一处理，获得初始心率信号；对所述初始心率信号进行时频域转换，获得频域信号；在心率估计范围内，对所述频域信号进行第二处理，获得心率估计值。
可选地，使用红外摄像头采集所述人脸视频。
可选地，所述人脸局部区域包括双眼以下区域。
可选地，心率估计方法还包括：采用人脸关键点定位与所述人脸检测相结合，提取用于心率估计的所述人脸局部区域。
可选地，所述对所述人脸局部区域中像素点的值进行第一处理，获得初始心率信号包括：对所述人脸局部区域中像素点的值依照权重进行加权平均，将加权平均的值作为当前帧的亮度信号；所述当前帧的亮度信号与历史前N帧的亮度信号构成所述初始心率信号。
可选地，所述对初始心率信号进行时频域转换，获得频域信号包括：使用快速傅里叶变换将所述初始心率信号由时域转换至频率域，获得所述频域信号。
可选地，根据所述像素点在所述人脸局部区域中的位置设置所述权重，所述像素点越靠近人脸局部区域中的边缘位置，所述像素点对应的所述权重越小。
可选地，在对初始心率信号进行时频域转换之前，所述心率估计方法还可以包括：对所述初始心率信号在时域进行第一去噪处理，其中，所述第一去噪处理的方法包括以下至少一项或多项：S-G(Savitzky-Golay)滤波、去趋势(Detrend)滤波、滑动平均滤波、归一化(Normalize)处理、带通(Bandpass)滤波。
可选地，所述在心率估计范围内，对频域信号进行第二处理，获得心率估计值包括：在心率估计范围内，对所述频域信号进行峰值检测，获得波峰值；对所述波峰值进行排序，获得排序结果；根据所述排序结果，计算置信度；根据所述置信度获得所述心率估计值。
可选地，所述在心率估计范围内，对频域信号进行第二处理，获得心率估计值包括：在心率估计范围内，对频域信号进行峰值检测，获得最高波峰值；将所述最高波峰值的频率作为主频率，计算主频率对应的一阶谐波和二阶谐波的能量，获得能量计算值；将所述能量计算值除以除所述主频率以外的剩余频率的能量，获得置信度；根据所述置信度获得所述心率估计值。
可选地，所述心率估计范围为预先设置。
可选地，所述心率估计方法还包括：判断检测时间是否超过第二阈值；当所述检测时间超过所述第二阈值时，对频域信号进行第三处理获取心率估计范围。
可选地，所述对频域信号进行第三处理获取心率估计范围包括：通过滑窗不断选择连续的X帧或X秒的频域信号得到心率数值并进行缓存，再采用深度学习的方法获取心率估计范围，通过在M帧或M秒内重复该动作，并对获取的所有心率估计范围进行平均得到最终的心率估计范围。
可选地，使用遍历的方式依照波峰值从高到低的顺序对波峰值进行排，选取最高波峰值和第二波峰值作为排序结果，将最高波峰值和第二波峰值的比值作为置信度。
可选地，所述根据所述置信度获得所述心率估计值包括：将所述置信度与第一阈值进行比较，获得比较结果；当所述置信度小于所述第一阈值时，所述比较结果表征所述频域信号被噪声严重污染，抛弃当前结果进行下一帧的检测；当所述置信度不小于所述第一阈值时，所述比较结果表征所述频域信号没有被噪声污染或噪声污染较小，获取所述最高波峰值对应的频率作为所述心率估计值。
可选地，所述对所述频域信号进行第二处理之前，所述心率估计方法还可以包括：对所述频域信号进行第二去噪处理，其中，所述第二去噪处理的方法包括以下至少一项或多项：离散傅里叶变换(DFT)、带通(Bandpass)滤波。
根据本发明实施例的另一方面，还提供了一种心率估计装置，包括：摄像单元，用于获取人脸视频；检测单元，用于对所述人脸视频进行人脸检测，提取用于心率估计的人脸局部区域；第一处理单元，用于对所述人脸局部区域中像素点的值进行第一处理，获得初始心率信号；转换单元，用于对所述初始心率信号进行时频域转换，获得频域信号；第二处理单元，用于在心率估计范围内，对所述频域信号进行第二处理，获得心率估计值。根据本发明实施例的另一方面，还提供了一种存储介质，包括存储的程序，其中，在所述程序运行时控制所述存储介质所在设备执行上述任意一项所述的心率估计方法。
可选地，所述第二处理单元包括：波峰检测模块，用于在心率估计范围内，对所述频域信号进行峰值检测，获得波峰值；排序模块，用于对所述波峰值进行排序，获得排序结果；置信度计算模块，用于根据所述排序结果，获得置信度；估计模块，用于根据所述置信度获得所述心率估计值。
可选地，所述第二处理单元包括：最高波峰检测模块，用于在心率估计范围内，对频域信号进行峰值检测，获得最高波峰值；能量计算模块，用于将所述最高波峰值的频率作为主频率，计算主频率对应的一阶谐波和二阶谐波的能量，获得能量计算值；置信度计算模块，用于将所述能量计算值除以除所述主频率以外的剩余频率的能量，获得置信度；估计模块，用于根据所述置信度获得所述心率估计值。
可选地，所述心率估计装置还包括：判断模块，用于判断检测时间是否超过第二阈值；第三处理模块，用于在所述检测时间超过所述第二阈值时，对频域信号进行第三处理获取心率估计范围。
根据本发明实施例的另一方面，还提供了一种电子设备，包括：处理器；以及存储器，用于存储所述处理器的可执行指令；其中，所述处理器配置为经由执行所述可执行指令来执行上述任意一项所述的心率估计方法。
在本发明实施例中，通过执行以下步骤：获取人脸视频；对所述人脸视频进行人脸检测，提取用于心率估计的人脸局部区域；对所述人脸局部区域中像素点的值进行第一处理，获得初始心率信号；对所述初始心率信号进行时频域转换，获得频域信号；在心率估计范围内，对所述频域信号进行第二处理，获得心率估计值。解决了现有技术中需通过接触的方式才能实现心率估计的技术问题。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1是根据本发明实施例的第一种可选的心率估计方法的流程图；
图2是根据本发明实施例的一种可选的提取的人脸局部区域的示意图；
图3是根据本发明实施例的第二种可选的心率估计方法的流程图；
图4是根据本发明实施例提供的心率估计方法的应用场景图。
图5是根据本发明实施例的一种可选的心率估计装置的结构框图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的顺序在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
本发明实施例可以应用于具有至少一个摄像单元的电子设备中，电子设备可以包括：智能手机、平板电脑、电子阅读器、台式电脑、工作站、服务器、个人数字助理(PDA)、便携式多媒体播放器(PMP)、医疗设备、相机或可穿戴设备(如手表、手环、眼镜、头戴装置等附件类型的设备)、电子衣服、可植入身体的皮肤芯片、车载电子仪器等。
下面说明本发明实施例的一种可选的心率估计方法的流程图。需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
参考图1，是根据本发明实施例的第一种可选的心率估计方法的流程图。如图1所示，该心率估计方法包括如下步骤：
S100，获取人脸视频。
在一种可选的实施例中，本步骤采用摄像装置(例如，RGB摄像头、红外摄像头等)获取人脸视频，通常帧率大于25fps，以保持画面连续，有助于心率状态的捕捉。当采用红外摄像头时，由于红外光肉眼几乎不可见，因此不会对人的活动产生影响；并且，使用红外摄像头可以避免暗光及复杂光线的影响，具有一定的抗干扰和抗遮挡能力。此外，由于红外光源发射接收波段明确，能够有效去除因采用普通RGB摄像头方案而无法避免的大量噪声，以及实现主动补光。红外光源可以是红外摄像头内置的光源，也可以是外部的独立光源。摄像装置可以是独立的摄像头，或者与其它摄像头全部或部分集成为一个或多个摄像模块，可以是独立安装，也可以以嵌入式或外接的方式安装在电子设备上。
S102，对人脸视频进行人脸检测，提取用于心率估计的人脸局部区域。
在一种可选的实施例中，本步骤还可以采用人脸关键点定位与人脸检测相结合的方式，提取用于心率估计的人脸局部区域。通过引入人脸关键点，可以更准确地提取用于心率估计的人脸局部区域，使得在人脸晃动的情况下，不会因为运动模糊和面部变形而导致心率估计值偏离。
在一种可选的实施例中，本步骤提取的人脸局部区域包括双眼以下区域，由于双眼以下区域相对于脸部的其它地方有更多的静脉分布且不容易被遮挡，因此提取双眼以下区域作为人脸局部区域，能够提高心率估计方法的准确度。
例如，如图2所示，为根据本发明实施例的一种可选的提取的人脸局部区域的示意图，采用了人脸关键点定位与人脸检测相结合的方式，提取用于心率估计的人脸局部区域。图2中，矩形框20表示通过人脸检测确定的人脸区域，不规则掩膜框22表示通过人脸关键点提取的人脸局部区域。
当然，本领域技术人员可知，还可以提取人脸其它区域，例如额头、脸颊等作为人脸局部区域；或者，在不付出创造性劳动的情况下，本领域技术人员也可以提取静脉丰富的其它人体区域作为心率估计的检测区域，例如脖子、手腕等。
S104：对人脸局部区域中像素点的值进行第一处理，获得初始心率信号。
在一种可选的实施例中，本步骤包括：对人脸局部区域中像素点的值依照权重进行加权平均，将加权平均的值作为当前帧的亮度信号；当前帧的亮度信号与历史前N帧的亮度信号构成初始心率信号，N为大于等于1的整数。其中，可以根据像素点在人脸局部区域中的位置设置权重，像素点越靠近人脸局部区域中的边缘位置，该像素点对应的权重越小。权重的取值范围可以为0-1。
S106：对初始心率信号进行时频域转换，获得频域信号。
在一种可选的实施例中，对初始心率信号进行时频域转换，获得频域信号包括：使用快速傅里叶变换将初始心率信号由时域转换至频率域，获得频域信号。
在一种可选的实施例中，在对初始心率信号进行时频域转换之前，心率估计方法还可以包括：对初始心率信号在时域进行第一去噪处理。其中，第一去噪处理的方法包括以下至少一项或多项：S-G(Savitzky-Golay)滤波、去趋势(Detrend)滤波、滑动平均滤波、归一化(Normalize)处理、带通(Bandpass)滤波。S-G(Savitzky-Golay)滤波和去趋势(Detrend)滤波可以用于减少信号基线平移对信号的影响(例如，消除环境光的影响)。滑动平均滤波可以用于去除信号中的随机噪声。归一化(Normalize)处理可以方便信号处理，提高计算效率。通过带通(Bandpass)滤波可以实现对正常心率频域段的信号进行处理。通过上述第一去噪处理可以去除高频噪声、低频噪声以及其它因素(例如，运动)引入的噪声，使得心率信号更加清晰明了，周期性更加突出。
S110：在心率估计范围内，对频域信号进行第二处理，获得心率估计值。
在一种可选的实施例中，对频域信号进行第二处理，获得心率估计值包括：
S1100：在心率估计范围内，对频域信号进行峰值检测，获得波峰值；
S1102：对波峰值进行排序，获得排序结果；
S1104：根据排序结果，获得置信度；
S1106：根据置信度获得心率估计值。
在一种可选的实施例中，可以使用遍历的方式依照波峰值从高到低的顺序对波峰值进行排序，并根据需求获取排序结果，例如，选取最高波峰值和第二波峰值作为排序结果。将最高波峰值和第二波峰值的比值作为置信度，即置信度＝最高波峰值/第二波峰值。
在另一种可选的实施例中，对频域信号进行第二处理，获得心率估计值包括：
S1110：在心率估计范围内，对频域信号进行峰值检测，获得最高波峰值；
S1112：将最高波峰值的频率作为主频率，计算主频率及主频率中一阶谐波的能量，获得能量计算值；
S1114：将能量计算值除以除主频率以外的剩余频率的能量，获得置信度；
S1116：根据置信度获得心率估计值。
在一种可选的实施例中，心率估计范围可以预先设置，例如，可以根据人体的心率极限值，将心率估计范围预先设置为50次/分-180次/分。
在一种可选的实施例中，根据置信度获得心率估计值包括：将置信度与第一阈值进行比较，获得比较结果；当置信度小于第一阈值时，比较结果表征频域信号被噪声严重污染，抛弃当前频域信号进行下一帧的检测；当置信度不小于第一阈值时，比较结果表征频域信号没有被噪声污染或噪声污染较小，获取最高波峰值对应的频率作为心率估计值。
在一种可选的实施例中，在对频域信号进行第二处理之前，所述心率估计方法还可以包括：对频域信号进行第二去噪处理。其中，第二去噪处理的方法包括以下至少一项或多项：离散傅里叶变换(DFT)、带通(Bandpass)滤波。通过带通(Bandpass)滤波可以实现对正常心率频域段的信号进行处理。通过对频域信号进行第二去噪处理可以进一步突出所需的主成分信号。
在上述实施例提供的心率估计方法中，如果心率估计范围是预先设置的，那么可能会存在因范围设置不合适而导致输出数值不稳定的情况。为了实现更精确更稳定的心率估计，本发明还提供了另一种具有自动范围估计功能的心率估计方法。参考图3，是根据本发明实施例的第二种可选的心率估计方法的流程图。如图3所示，该心率估计方法包括如下步骤：
S300，获取人脸视频；
S302，对人脸视频进行人脸检测，提取用于心率估计的人脸局部区域；
S304：对人脸局部区域中像素点的值进行第一处理，获得初始心率信号；
S306：对初始心率信号进行时频域转换，获得频域信号；
S307：判断检测时间是否超过第二阈值；
S308：对频域信号进行第三处理获取心率估计范围；
S310：在心率估计范围内，对频域信号进行第二处理，获得心率估计值。
在本实施例所提供的心率估计方法中，步骤S300、S302、S304、S306、S310分别与第一种实施例中的步骤S100、S102、S104、S106、S110对应，在此不再赘述。所不同的是，本实施例所提供的心率估计方法还包括步骤S307和步骤S308,下面将进行具体说明。
在步骤S307中，第二阈值可以设定为M帧或M秒，M为大于等于1的整数，对检测时间进行计时并将计时值与第二阈值进行比较，以判断检测时间是否超过第二阈值；若检测时间超过第二阈值，步骤S307跳转至步骤S308，对频域信号进行第三处理获取心率估计范围。其中，对频域信号进行第三处理获取心率估计范围可以包括通过滑窗不断选择连续的X帧或X秒的频域信号得到心率数值并进行缓存，再采用深度学习的方法获取心率估计范围，通过在M帧或M秒内重复该动作，并对所有的心率估计范围进行平均得到最终的心率估计范围。若检测时间没有超过第二阈值，则跳转至步骤S310，在心率估计范围内，对频域信号进行第二处理，获得心率估计值。
依据本发明实施例提供的心率估计方法，除了可以用于检测心率估计，还可以用于呼吸率、血氧含量(SpO2)和血压等心血管参数的获取，实现对人的身体状况的监测。这种心率估计方法可以适用于各类移动平台、车载芯片、嵌入式芯片等，不需要大型复杂的硬件设备，检测过程简单快捷，对人体无接触无伤害，同时也具有足够的准确度，解决了传统接触式检测方法依赖于复杂的硬件设备且需要与人体接触的问题，显著提高了心率估计方法的鲁棒性和使用范围。
在本发明实施例的一种应用场景中，如图4所示，为根据本发明实施例提供的心率估计方法的应用场景图，使用该心率估计方法对驾驶员身体状况进行监测，可以避免传统的接触式心率设备需穿戴于驾驶员身上而对驾驶造成一定影响的问题，从图4所示的检测结果可以看出，使用该心率估计方法获得的估计心率值(Estimated)与实际心率值(Real)相近准确度非常高。并且在夜间、隧道、背光等暗光条件下仍然能实现准确的心率估计，持续对驾驶员身体状况进行跟踪与判断，当监测到驾驶员心率异常时，可以进行报警提示，启动辅助驾驶功能。当然，本领域技术人员可知，依据本发明实施例提供的心率估计方法还可以应用于其它场景，例如睡眠心率监测等等。
根据本发明实施例的另一方面，还提供了一种心率估计装置。参考图5，是根据本发明实施例的一种可选的心率估计装置的结构框图。如图5所示，心率估计装置50包括摄像单元500、检测单元502、第一处理单元504、转换单元506和第二处理单元510。
下面对心率估计装置50包含的各个单元进行具体描述。
摄像单元500，用于获取人脸视频。
在一种可选的实施例中，摄像单元500可以是RGB摄像头、红外摄像头等，通常帧率大于25fps，以保持画面连续，有助于心率状态的捕捉。当采用红外摄像头时，由于红外光肉眼几乎不可见，因此不会对人的活动产生影响；并且，使用红外摄像头可以避免暗光及复杂光线的影响，具有一定的抗干扰和抗遮挡能力。此外，由于红外光源发射接收波段明确，能够有效去除因采用普通RGB摄像头方案而无法避免的大量噪声，以及实现主动补光。红外光源可以是红外摄像头内置的光源，也可以是外部的独立光源。摄像单元500可以是独立的摄像头，或者与其它摄像头全部或部分集成为一个或多个摄像模块，可以是独立安装，也可以以嵌入式或外接的方式安装在电子设备上。
检测单元502，用于对人脸视频进行人脸检测，提取用于心率估计的人脸局部区域；
在一种可选的实施例中，检测单元502除了包括用于人脸检测的人脸检测模块5020，还可以人脸关键点定位模块5022，用于与人脸检测模块5020相结合，提取用于心率估计的人脸局部区域。通过引入人脸关键点定位模块5022，可以更准确地提取用于心率估计的人脸局部区域，使得在人脸晃动的情况下，不会因为运动模糊和面部变形而导致心率估计值偏离。
在一种可选的实施例中，本步骤提取的人脸局部区域包括双眼以下区域，由于双眼以下区域相对于脸部的其它地方有更多的静脉分布且不容易被遮挡，因此提取双眼以下区域作为人脸局部区域，能够提高心率估计方法的准确度。
第一处理单元504，用于对人脸局部区域中像素点的值进行第一处理，获得初始心率信号。
在一种可选的实施例中，第一处理单元504包括亮度信号获取模块5040，用于对人脸局部区域中像素点的值依照权重进行加权平均，将加权平均的值作为当前帧的亮度信号；初始心率信号获取模块5042，用于根据当前帧的亮度信号与历史前N帧的亮度信号获取初始心率信号，N为大于等于1的整数。其中，可以根据像素点在人脸局部区域中的位置设置权重，像素点越靠近人脸局部区域中的边缘位置，该像素点对应的权重越小。权重的取值范围可以为0-1。
转换单元506，用于对初始心率信号进行时频域转换，获得频域信号。
在一种可选的实施例中，转换单元506可以使用快速傅里叶变换将初始心率信号由时域转换至频率域，获得频域信号。
在一种可选的实施例中，心率估计装置50还可以包括第一去噪模块，用于在对初始心率信号进行时频域转换之前，对初始心率信号在时域进行第一去噪处理。其中，第一去噪处理的方法包括以下至少一项或多项：S-G(Savitzky-Golay)滤波、去趋势(Detrend)滤波、滑动平均滤波、归一化(Normalize)处理、带通(Bandpass)滤波。S-G(Savitzky-Golay)滤波和去趋势(Detrend)滤波可以用于减少信号基线平移对信号的影响(例如，消除环境光的影响)。滑动平均滤波可以用于去除信号中的随机噪声。归一化(Normalize)处理可以方便信号处理，提高计算效率。通过带通(Bandpass)滤波可以实现对正常心率频域段的信号进行处理。通过上述第一去噪处理可以去除高频噪声、低频噪声以及其它因素(例如，运动)引入的噪声，使得心率信号更加清晰明了，周期性更加突出。
第二处理单元510，用于在心率估计范围内，对频域信号进行第二处理，获得心率估计值。
在一种可选的实施例中，第二处理单元510包括：
波峰检测模块5100，用于在心率估计范围内，对频域信号进行峰值检测，获得波峰值；
排序模块5102，用于对波峰值进行排序，获得排序结果；
置信度计算模块5104，用于根据排序结果，计算置信度；
估计模块5106，用于根据置信度获得心率估计值。
在一种可选的实施例中，可以使用遍历的方式依照波峰值从高到低的顺序对波峰值进行排序，并根据需求获取排序结果，例如，选取最高波峰值和第二波峰值作为排序结果。将最高波峰值和第二波峰值的比值作为置信度，即置信度＝最高波峰值/第二波峰值。
在一种可选的实施例中，第二处理单元510包括：
最高波峰检测模块5110，用于在心率估计范围内，对频域信号进行峰值检测，获得最高波峰值；
能量计算模块5112，用于将最高波峰值的频率作为主频率，计算主频率对应的一阶谐波和二阶谐波的能量，获得能量计算值；
置信度计算模块5114，用于将能量计算值除以除主频率以外的剩余频率的能量，获得置信度；
估计模块5116，用于根据置信度获得心率估计值。
在一种可选的实施例中，心率估计范围可以预先设置，例如，可以根据人体的心率极限值，将心率估计范围预先设置为50次/分-240次/分。
在一种可选的实施例中，估计模块5106用于将置信度与第一阈值进行比较，获得比较结果；当置信度小于第一阈值时，比较结果表征频域信号被噪声严重污染，抛弃当前频域信号进行下一帧的检测；当置信度不小于第一阈值时，比较结果表征频域信号没有被噪声污染或噪声污染较小，获取最高波峰值对应的频率作为心率估计值。
在一种可选的实施例中，心率估计装置50还可以包括第二去噪模块，用于在对频域信号进行第二处理之前，对频域信号进行第二去噪处理。其中，第二去噪处理的方法包括以下至少一项或多项：离散傅里叶变换(DFT)、带通(Bandpass)滤波。通过带通(Bandpass)滤波可以实现对正常心率频域段的信号进行处理。通过对频域信号进行第二去噪处理可以进一步突出所需的主成分信号。
在另一种可选的实施例中，心率估计装置50还可以包括判断模块507，用于判断检测时间是否超过第二阈值；第二阈值可以设定为M帧或M秒，M为大于等于1的整数，对检测时间进行计时并将计时值与第二阈值进行比较，以判断检测时间是否超过第二阈值；第三处理模块508，用于在所述检测时间超过所述第二阈值时，对频域信号进行第三处理获取心率估计范围。其中，对频域信号进行第三处理获取心率估计范围可以包括通过滑窗不断选择连续的X帧或X秒的频域信号得到心率数值并进行缓存，再采用深度学习的方法获取心率估计范围，通过在M帧或M秒内重复该动作，并对获取的所有心率估计范围进行平均得到最终的心率估计范围。若检测时间没有超过第二阈值，则第二处理单元510，在心率估计范围内，对频域信号进行第二处理，获得心率估计值。
根据本发明实施例的另一方面，还提供了一种电子设备，包括：处理器；以及存储器，用于存储处理器的可执行指令；其中，处理器配置为经由执行可执行指令来执行上述任意一项的心率估计方法。
根据本发明实施例的另一方面，还提供了一种存储介质，存储介质包括存储的程序，其中，在程序运行时控制存储介质所在设备执行上述任意一项的心率估计方法。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
Claims (22)
1.一种心率估计方法，包括：
获取人脸视频；
对所述人脸视频进行人脸检测，提取用于心率估计的人脸局部区域；
对所述人脸局部区域中像素点的值进行第一处理，获得初始心率信号；
对所述初始心率信号进行时频域转换，获得频域信号；
在心率估计范围内，对所述频域信号进行第二处理，获得心率估计值。
2.根据权利要求1所述的心率估计方法，其特征在于，使用红外摄像头获取所述人脸视频。
3.根据权利要求1所述的心率估计方法，其特征在于，所述人脸局部区域包括双眼以下区域。
4.根据权利要求1所述的心率估计方法，还包括：采用人脸关键点定位与所述人脸检测相结合，提取用于心率估计的所述人脸局部区域。
5.根据权利要求1所述的心率估计方法，其特征在于，所述对所述人脸局部区域中像素点的值进行第一处理，获得初始心率信号包括：对所述人脸局部区域中像素点的值依照权重进行加权平均，将加权平均的值作为当前帧的亮度信号；所述当前帧的亮度信号与历史前N帧的亮度信号构成所述初始心率信号。
6.根据权利要求1所述的心率估计方法，其特征在于，所述对初始心率信号进行时频域转换，获得频域信号包括：使用快速傅里叶变换将所述初始心率信号由时域转换至频率域，获得所述频域信号。
7.根据权利要求5所述的心率估计方法，其特征在于，根据所述像素点在所述人脸局部区域中的位置设置所述权重，所述像素点越靠近人脸局部区域中的边缘位置，所述像素点对应的所述权重越小。
8.根据权利要求1所述的心率估计方法，其特征在于，在对初始心率信号进行时频域转换之前，所述心率估计方法还可以包括：对所述初始心率信号在时域进行第一去噪处理，其中，所述第一去噪处理的方法包括以下至少一项或多项：S-G(Savitzky-Golay)滤波、去趋势(Detrend)滤波、滑动平均滤波、归一化(Normalize)处理、带通(Bandpass)滤波。
9.根据权利要求1所述的心率估计方法，其特征在于，所述在心率估计范围内，对频域信号进行第二处理，获得心率估计值包括：
在心率估计范围内，对所述频域信号进行峰值检测，获得波峰值；
对所述波峰值进行排序，获得排序结果；
根据所述排序结果，获得置信度；
根据所述置信度获得所述心率估计值。
10.根据权利要求1所述的心率估计方法，其特征在于，所述在心率估计范围内，对频域信号进行第二处理，获得心率估计值包括：
在心率估计范围内，对频域信号进行峰值检测，获得最高波峰值；
将所述最高波峰值的频率作为主频率，计算主频率对应的一阶谐波和二阶谐波的能量，获得能量计算值；
将所述能量计算值除以除所述主频率以外的剩余频率的能量，获得置信度；
根据所述置信度获得所述心率估计值。
11.根据权利要求1所述的心率估计方法，其特征在于，所述心率估计范围为预先设置。
12.根据权利要求1所述的心率估计方法，其特征在于，所述心率估计方法还包括：
判断检测时间是否超过第二阈值；
当所述检测时间超过所述第二阈值时，对频域信号进行第三处理获取心率估计范围。
13.根据权利要求12所述的心率估计方法，其特征在于，所述对频域信号进行第三处理获取心率估计范围包括：通过滑窗不断选择连续的X帧或X秒的频域信号得到心率数值并进行缓存，再采用深度学习的方法获取心率估计范围，通过在M帧或M秒内重复该动作，并对获取的所有心率估计范围进行平均得到最终的心率估计范围。
14.根据权利要求9所述的心率估计方法，其特征在于，使用遍历的方式依照波峰值从高到低的顺序对波峰值进行排，选取最高波峰值和第二波峰值作为排序结果，将最高波峰值和第二波峰值的比值作为置信度。
15.根据权利要求12所述的心率估计方法，其特征在于，所述根据所述置信度获得所述心率估计值包括：
将所述置信度与第一阈值进行比较，获得比较结果；
当所述置信度小于所述第一阈值时，所述比较结果表征所述频域信号被噪声严重污染，抛弃当前结果进行下一帧的检测；
当所述置信度不小于所述第一阈值时，所述比较结果表征所述频域信号没有被噪声污染或噪声污染较小，获取所述最高波峰值对应的频率作为所述心率估计值。
16.根据权利要求1所述的心率估计方法，其特征在于，所述对所述频域信号进行第二处理之前，所述心率估计方法还可以包括：对所述频域信号进行第二去噪处理，其中，所述第二去噪处理的方法包括以下至少一项或多项：离散傅里叶变换(DFT)、带通(Bandpass)滤波。
17.一种心率估计装置，包括：
摄像单元，用于获取人脸视频；
检测单元，用于对所述人脸视频进行人脸检测，提取用于心率估计的人脸局部区域；
第一处理单元，用于对所述人脸局部区域中像素点的值进行第一处理，获得初始心率信号；
转换单元，用于对所述初始心率信号进行时频域转换，获得频域信号；
第二处理单元，用于在心率估计范围内，对所述频域信号进行第二处理，获得心率估计值。
18.根据权利要求17所述的心率估计装置，其特征在于，所述第二处理单元包括：
波峰检测模块，用于在心率估计范围内，对所述频域信号进行峰值检测，获得波峰值；
排序模块，用于对所述波峰值进行排序，获得排序结果；
置信度计算模块，用于根据所述排序结果，获得置信度；
估计模块，用于根据所述置信度获得所述心率估计值。
19.根据权利要求17所述的心率估计装置，其特征在于，所述第二处理单元包括：
最高波峰检测模块，用于在心率估计范围内，对频域信号进行峰值检测，获得最高波峰值；
能量计算模块，用于将所述最高波峰值的频率作为主频率，计算主频率对应的一阶谐波和二阶谐波的能量，获得能量计算值；
置信度计算模块，用于将所述能量计算值除以除所述主频率以外的剩余频率的能量，获得置信度；
估计模块，用于根据所述置信度获得所述心率估计值。
20.根据权利要求17所述的心率估计装置，其特征在于，所述心率估计装置还包括：
判断模块，用于判断检测时间是否超过第二阈值；
第三处理模块，用于在所述检测时间超过所述第二阈值时，对频域信号进行第三处理获取心率估计范围。
21.一种存储介质，其特征在于，所述存储介质包括存储的程序，其中，在所述程序运行时控制所述存储介质所在设备执行权利要求1至16中任意一项所述的心率估计方法。
22.一种电子设备，其特征在于，包括：
处理器；以及
存储器，用于存储所述处理器的可执行指令；
其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1至16中任意一项所述的心率估计方法。
Priority Applications (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911166001.2A CN112826486A (zh) | 2019-11-25 | 2019-11-25 | 心率估计方法、装置及应用其的电子设备 |
| EP20894523.8A EP4066736A4 (en) | 2019-11-25 | 2020-11-18 | HEART RATE CALCULATION METHOD AND DEVICE AND ELECTRONIC DEVICE THEREFOR |
| PCT/CN2020/129836 WO2021104129A1 (zh) | 2019-11-25 | 2020-11-18 | 心率估计方法、装置及应用其的电子设备 |
| JP2022530796A JP2023503174A (ja) | 2019-11-25 | 2020-11-18 | 心拍数の推定方法、装置及びそれを応用する電子機器 |
| US17/779,152 US20220409079A1 (en) | 2019-11-25 | 2020-11-18 | Heart Rate Estimation Method and Apparatus, and Electronic Device Applying Same |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911166001.2A CN112826486A (zh) | 2019-11-25 | 2019-11-25 | 心率估计方法、装置及应用其的电子设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112826486A true CN112826486A (zh) | 2021-05-25 |
Family
ID=75922253
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911166001.2A Pending CN112826486A (zh) | 2019-11-25 | 2019-11-25 | 心率估计方法、装置及应用其的电子设备 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US20220409079A1 (zh) |
| EP (1) | EP4066736A4 (zh) |
| JP (1) | JP2023503174A (zh) |
| CN (1) | CN112826486A (zh) |
| WO (1) | WO2021104129A1 (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101777116A (zh) * | 2009-12-23 | 2010-07-14 | 中国科学院自动化研究所 | 一种基于动作跟踪的脸部表情分析方法 |
| CN105877723A (zh) * | 2016-06-22 | 2016-08-24 | 中国科学院苏州生物医学工程技术研究所 | 无创连续血压测量装置 |
| CN106214143A (zh) * | 2016-10-12 | 2016-12-14 | 成都心吉康科技有限公司 | 瞬时运动干扰识别方法及心率置信度计算方法 |
| CN106264532A (zh) * | 2015-06-11 | 2017-01-04 | 原相科技股份有限公司 | 光学式呼吸率检测装置及其检测方法 |
| CN106778450A (zh) * | 2015-11-25 | 2017-05-31 | 腾讯科技（深圳）有限公司 | 一种面部识别方法和装置 |
| CN109480808A (zh) * | 2018-09-27 | 2019-03-19 | 深圳市君利信达科技有限公司 | 一种基于ppg的心率检测方法、系统、设备和存储介质 |
| CN109715062A (zh) * | 2016-09-20 | 2019-05-03 | 夏普株式会社 | 计算机、呼吸次数的获取方法以及信息处理系统 |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150302158A1 (en) * | 2014-04-21 | 2015-10-22 | Microsoft Corporation | Video-based pulse measurement |
| CN105266787B (zh) * | 2015-11-03 | 2018-07-06 | 西安中科创星科技孵化器有限公司 | 一种非接触式心率检测方法及系统 |
| CN105989357A (zh) * | 2016-01-18 | 2016-10-05 | 合肥工业大学 | 一种基于人脸视频处理的心率检测方法 |
| EP3495994A1 (en) * | 2017-12-05 | 2019-06-12 | Tata Consultancy Services Limited | Face video based heart rate monitoring using pulse signal modelling and tracking |
| CN109602412A (zh) * | 2018-12-05 | 2019-04-12 | 中国科学技术大学 | 利用面部视频实现心率检测的方法 |
| CN109977858B (zh) * | 2019-03-25 | 2020-12-01 | 北京科技大学 | 一种基于图像分析的心率检测方法及装置 |
| CN110236511A (zh) * | 2019-05-30 | 2019-09-17 | 云南东巴文健康管理有限公司 | 一种基于视频的无创心率测量方法 |
| CN110367950B (zh) * | 2019-07-22 | 2022-06-07 | 西安奇点融合信息科技有限公司 | 非接触式生理信息检测方法及系统 |
| CN110384491A (zh) * | 2019-08-21 | 2019-10-29 | 河南科技大学 | 一种基于普通摄像头的心率检测方法 |
-
2019
- 2019-11-25 CN CN201911166001.2A patent/CN112826486A/zh active Pending
-
2020
- 2020-11-18 US US17/779,152 patent/US20220409079A1/en active Pending
- 2020-11-18 WO PCT/CN2020/129836 patent/WO2021104129A1/zh unknown
- 2020-11-18 EP EP20894523.8A patent/EP4066736A4/en active Pending
- 2020-11-18 JP JP2022530796A patent/JP2023503174A/ja active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101777116A (zh) * | 2009-12-23 | 2010-07-14 | 中国科学院自动化研究所 | 一种基于动作跟踪的脸部表情分析方法 |
| CN106264532A (zh) * | 2015-06-11 | 2017-01-04 | 原相科技股份有限公司 | 光学式呼吸率检测装置及其检测方法 |
| CN106778450A (zh) * | 2015-11-25 | 2017-05-31 | 腾讯科技（深圳）有限公司 | 一种面部识别方法和装置 |
| CN105877723A (zh) * | 2016-06-22 | 2016-08-24 | 中国科学院苏州生物医学工程技术研究所 | 无创连续血压测量装置 |
| CN109715062A (zh) * | 2016-09-20 | 2019-05-03 | 夏普株式会社 | 计算机、呼吸次数的获取方法以及信息处理系统 |
| CN106214143A (zh) * | 2016-10-12 | 2016-12-14 | 成都心吉康科技有限公司 | 瞬时运动干扰识别方法及心率置信度计算方法 |
| CN109480808A (zh) * | 2018-09-27 | 2019-03-19 | 深圳市君利信达科技有限公司 | 一种基于ppg的心率检测方法、系统、设备和存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20220409079A1 (en) | 2022-12-29 |
| EP4066736A1 (en) | 2022-10-05 |
| JP2023503174A (ja) | 2023-01-26 |
| WO2021104129A1 (zh) | 2021-06-03 |
| EP4066736A4 (en) | 2023-01-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Wang et al. | A comparative survey of methods for remote heart rate detection from frontal face videos | |
| US20230284917A1 (en) | Method and apparatus for the continous estimation of human blood pressure using video images | |
| Peng et al. | Extraction of heart rate variability from smartphone photoplethysmograms | |
| Pal et al. | A robust heart rate detection using smart-phone video | |
| JP6098257B2 (ja) | 信号処理装置、信号処理方法及び信号処理プログラム | |
| Pai et al. | HRVCam: robust camera-based measurement of heart rate variability | |
| Feng et al. | Motion artifacts suppression for remote imaging photoplethysmography | |
| Bashar et al. | Developing a novel noise artifact detection algorithm for smartphone PPG signals: Preliminary results | |
| Gudi et al. | Efficient real-time camera based estimation of heart rate and its variability | |
| US20140200460A1 (en) | Real-time physiological characteristic detection based on reflected components of light | |
| US11083382B2 (en) | Method, information processing apparatus and server for determining a physiological parameter of an individual | |
| US20150342535A1 (en) | Method and associated controller for life sign monitoring | |
| Huang et al. | A motion-robust contactless photoplethysmography using chrominance and adaptive filtering | |
| Laure et al. | Improved algorithm for heart rate measurement using mobile phone camera | |
| Wu et al. | Camera-based heart rate measurement using continuous wavelet transform | |
| Li et al. | An improvement for video-based heart rate variability measurement | |
| Qiao et al. | Revise: Remote vital signs measurement using smartphone camera | |
| Abdulrahaman | Two-stage motion artifact reduction algorithm for rPPG signals obtained from facial video recordings | |
| CN114557685B (zh) | 一种非接触式运动鲁棒心率测量方法及测量装置 | |
| Pal et al. | Improved heart rate detection using smart phone | |
| Hosni et al. | Remote real-time heart rate monitoring with recursive motion artifact removal using PPG signals from a smartphone camera | |
| EP3370422B1 (en) | Image processing apparatus and pulse estimation system provided therewith, and image processing method | |
| CN114929101A (zh) | 根据光学数据进行生理测量的系统和方法 | |
| CN112826486A (zh) | 心率估计方法、装置及应用其的电子设备 | |
| Zhang et al. | Sleep/wake classification via remote PPG signals |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |