CN111938622B - 心率检测方法、装置及系统、可读存储介质 - Google Patents
心率检测方法、装置及系统、可读存储介质 Download PDFInfo
- Publication number
- CN111938622B CN111938622B CN202010687055.XA CN202010687055A CN111938622B CN 111938622 B CN111938622 B CN 111938622B CN 202010687055 A CN202010687055 A CN 202010687055A CN 111938622 B CN111938622 B CN 111938622B
- Authority
- CN
- China
- Prior art keywords
- heart rate
- interest
- region
- calculating
- rate detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 74
- 238000003860 storage Methods 0.000 title claims abstract description 13
- 238000004364 calculation method Methods 0.000 claims abstract description 32
- 238000000034 method Methods 0.000 claims description 55
- 238000012545 processing Methods 0.000 claims description 17
- 238000001914 filtration Methods 0.000 claims description 13
- 230000015654 memory Effects 0.000 claims description 12
- 238000000605 extraction Methods 0.000 claims description 7
- 238000006243 chemical reaction Methods 0.000 claims description 5
- 230000008569 process Effects 0.000 description 27
- 238000004422 calculation algorithm Methods 0.000 description 13
- 230000008859 change Effects 0.000 description 13
- 238000010586 diagram Methods 0.000 description 9
- 238000009826 distribution Methods 0.000 description 7
- 210000001061 forehead Anatomy 0.000 description 6
- 239000008280 blood Substances 0.000 description 5
- 210000004369 blood Anatomy 0.000 description 5
- 210000001519 tissue Anatomy 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 238000005286 illumination Methods 0.000 description 4
- 230000033001 locomotion Effects 0.000 description 4
- 238000005259 measurement Methods 0.000 description 4
- 238000010183 spectrum analysis Methods 0.000 description 4
- 238000010521 absorption reaction Methods 0.000 description 3
- 210000001367 artery Anatomy 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000012880 independent component analysis Methods 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000012935 Averaging Methods 0.000 description 2
- 208000024172 Cardiovascular disease Diseases 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 210000000887 face Anatomy 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000010349 pulsation Effects 0.000 description 2
- 238000007619 statistical method Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 206010003119 arrhythmia Diseases 0.000 description 1
- 230000006793 arrhythmia Effects 0.000 description 1
- 238000010009 beating Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 210000004204 blood vessel Anatomy 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 210000002808 connective tissue Anatomy 0.000 description 1
- 230000008602 contraction Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 230000037213 diet Effects 0.000 description 1
- 235000005911 diet Nutrition 0.000 description 1
- 230000006806 disease prevention Effects 0.000 description 1
- 210000004709 eyebrow Anatomy 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 239000010419 fine particle Substances 0.000 description 1
- 230000031700 light absorption Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 210000003205 muscle Anatomy 0.000 description 1
- 208000010125 myocardial infarction Diseases 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000008092 positive effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000001931 thermography Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 210000003462 vein Anatomy 0.000 description 1
- 210000000707 wrist Anatomy 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/024—Detecting, measuring or recording pulse rate or heart rate
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
- A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
- A61B5/0082—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/44—Detecting, measuring or recording for evaluating the integumentary system, e.g. skin, hair or nails
- A61B5/441—Skin evaluation, e.g. for skin disorder diagnosis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
- G06T2207/20032—Median filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Abstract
本发明实施例公开了一种心率检测方法、装置及系统、可读存储介质。所述心率检测方法包括：获取包含人脸图像的帧图像；基于哈尔特征对所述帧图像中的人脸图像区域进行划分，并且得到多个不同的感兴趣区域；提取每一个所述感兴趣区域的心率信号；对多个所述感兴趣区域分别对应的多个所述心率信号进行频域计算得到心率值。能够实时检测并获取精确度高的心率值。
Description
技术领域
本发明涉及心率检测技术领域，尤其涉及一种心率检测方法、一种心率检测装置、一种心率检测系统和一种可读存储介质。
背景技术
随着社会的发展而导致人们在作息饮食上的变化，导致近年来心血管疾病的患病人数越来越多，并且患者年龄也越来越趋向于低龄化。对人体心率有效且准确的检测，在减少心血管疾病、预防心肌梗塞以及心率不齐等疾病的诊断、治疗和预防有着重要的积极作用。
目前，心率检测的方法较多，例如根据心率检测时，心率检测设备是否需要接触人体可以将心率检测分为接触式心率检测方法和非接触式心率检测方法。而心电检测法就是典型的接触式心率检测方法，但是，由于心电图仪的价格昂贵且难以携带，并且使用时需要在被检测者的胸部粘贴电极或者佩戴胸带，而该电极或该胸带与被检测者的皮肤长时间接触时，容易引起被检测者的不适。而非接触式心率检测方法不直接接触被检测者的皮肤，因此不会引起被检测者的不适。
目前，微波多普勒、热成像、生物雷达等基于非接触式心率检测方法的心率测量装置已经可以商用，但是，上述心率检测装置造价高昂，而且不便于携带，而且在普通的医院也不会配备类似的设备。
基于人体肤色的非接触式心率检测方法的原理大致为：人体皮肤的颜色会随着心脏的跳动发生微弱的变化，通过摄像头捕捉到人体肤色的变化，并进行一定的处理后，就能够计算出心率值。由此可见，基于视频图像的心率监测相对于传统的非接触式心率监测方法能够在某些公众场景下具有独特的优势。
在基于人体肤色的非接触式心率检测方法中，通过捕捉面部视频中的面部肤色的变化来获取心率值的方法，通常受人体运动的干扰因素和环境光线变化因素而导致难以对心率值做出准确的计算。
目前，相关研究人员提出了一些基于视频的心率检测方法。例如，2010年Poh等人提出的基于盲源分离和独立成分分析(ICA)的方法；2012年Wei L等人使用普拉斯特征映射的方法实现了心率检测；2014年Kazemi V等人提出了基于欧拉放大的方法来测量心率；Dehaan等人、Li X等人、C Zhang等人分别提出的基于面部视频的心率检测方法。然而，上述方法分别以下一个或多个缺点：1.由于算法复杂度过高而不利于心率值的实时监测；2.容易受到环境光线变化影响，而产生较大的误差；3.人体运动而无法精确计算心率值。
发明内容
因此，本发明实施例提供一种心率检测方法、一种心率检测装置、一种心率检测系统和一种可读存储介质，能够实时检测并获取精确度高的心率值。
一方面，本发明实施例提供的一种心率检测方法，包括：获取包含人脸图像的帧图像；基于哈尔特征对所述帧图像中的人脸图像区域进行划分，并且得到多个不同的感兴趣区域；提取每一个所述感兴趣区域的心率信号；对多个所述感兴趣区域分别对应的多个所述心率信号进行频域计算得到心率值。
在本发明的一个实施例中，所述提取每一个所述感兴趣区域的心率信号，包括：分别提取每一个所述感兴趣区域的原始颜色信息；对每一个所述原始颜色信息分别进行中值滤波处理，分别得到相应的所述心率信号；所述心率检测方法还包括：根据每一个所述感兴趣区域分别对应的所述原始颜色信息和所述心率信号，计算每一个所述感兴趣区域相对应的权重值；所述对多个所述感兴趣区域分别对应的多个所述心率信号进行频域得到心率值，具体为：将每一个所述心率信号按照与之对应的所述权重值进行加权计算，得到所述心率值。
在本发明的一个实施例中，所述根据每一个所述感兴趣区域分别对应的所述原始颜色信息和所述心率信号，计算每一个所述感兴趣区域相对应的权重值，包括：将多个所述感兴趣区域分别对应的多个所述原始颜色信息分别进行颜色转换，得到相应的多个色彩空间信息；根据所述多个色彩空间信息计算得到色彩空间标准差；根据所述多个心率信号计算得到心率信号标准差；根据所述色彩空间标准差和所述心率信号标准差计算得到所述权重值。
在本发明的一个实施例中，所述获取包含人脸图像的帧图像，包括：接收视频流；从所述视频流中获取多张连续的且分别包含人脸图像信息的帧图像。
另一方面，本发明实施例提供的一种心率检测装置，包括：获取模块，用于获取包含人脸图像的帧图像；划分模块，用于基于哈尔特征对所述帧图像中的人脸图像区域进行划分，并且得到多个不同的感兴趣区域；提取模块，用于提取每一个所述感兴趣区域的心率信号；频域计算模块，用于对多个所述感兴趣区域分别对应的多个所述心率信号进行频域计算得到心率值。
另一方面，本发明实施例提供的一种心率检测系统，包括：处理器和电连接所述处理器的存储器，所述存储器上存储有所述处理器执行的指令，且所述指令使得所述处理器执行操作以进行如上任意一项实施例所述的心率检测方法。
再一方面，本发明实施例提供的一种可读存储介质，其为非易失性存储器且存储有程序代码，当所述程序代码被一个或多个处理器执行时，使得所述一个或多个处理器执行如上任意一项实施例所述的心率检测方法。
综上所述，本申请上述各个实施例可以具有如下一个或多个优点或有益效果：i)将人脸图像区域分割为不同的多个感兴趣区域，从而可以对多个感兴趣区域分别进行处理，从而克服检测环境以及因人体运动而导致的检测精度不高的问题；ii)该心率检测方法为矩阵的线性运算过程，因此其计算复杂度低、耗时短，能够很好的满足实时性以及对检测精度的要求。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明第一实施例提供的一种心率检测方法的流程示意图。
图2为多个不同的感兴趣区域在人脸图像区域中的分布示意图。
图3为图1所述的心率检测方法的一种具体实施流程示意图。
图4为图1所示步骤S70中采用离散频谱分析得到心率值的频谱图。
图5为图1所述心率检测方法中获取包含人脸图像的帧图像的场景示意图。
图6为本发明第二实施例提供的一种心率检测装置100的模块示意图。
图7为本发明第二实施例提供的一种心率检测装置100的另一模块示意图。
图8为本发明第三实施例提供的一种心率检测系统的结构示意图。
图9本发明第四实施例提供的一种可读存储介质的结构示意图。
主要元件符号说明：
110为第一鼻子区域；120为第二鼻子区域；130为第一额头区域；140为第二额头区域；150为第一脸部区域；160为第二脸部区域；170为第一嘴巴区域；180为第二嘴巴区域。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
【第一实施例】
参见图1，其为本发明第一实施例提供的一种心率检测方法的流程示意图，所述心率检测方法例如包括以下步骤：
步骤S10，获取包含人脸图像的帧图像；
步骤S30，基于哈尔特征对所述帧图像中的人脸图像区域进行划分，并且得到多个不同的感兴趣区域；
步骤S50，提取每一个所述感兴趣区域的心率信号；
步骤S70，对多个所述感兴趣区域分别对应的多个所述心率信号进行频域计算得到心率值。
具体的，所述步骤S10的具体实施方式可以是：通过摄像头获取包含人脸图像的视频流，然后从所述视频流中获取包含所述人脸图像的帧图像。
在所述步骤S30中，使用基于Haar特征组合成特征模板，所述Haar特征例如为边缘特征、线性特征、中心特征和对角线特征；所述特征模板例如具有白色和黑色两种矩形，并定义所述特征模板的特征值为白色矩形像素和减去黑色矩形像素。
其中，Haar特征值能够反映所述帧图像的灰度变化情况。例如：所述人脸图像中脸部的一些特征能由矩形特征简单的描述，如：眼睛的颜色比脸颊的颜色深，鼻梁两侧的颜色比鼻梁的颜色深，嘴巴的颜色比其周围的颜色深等。但矩形特征只对一些简单的图形结构进行描述，而边缘或线段则较为敏感，所以只能描述特定走向(例如水平走向、垂直走向以及对角走向)的结构。通过，
通过AdaBoost(Adaptive Boosting，自适应增强)算法和基于高斯模型的肤色模型算法获取所述帧图像中人脸图像的矩形区域。使用人脸特征点检测算法在所述矩形区域中标记出多个特征点，所述人脸特征点检测算法可以是基于回归树方法的算法；其中，所述多个特征点例如为6八个特征点，可以包括眼睛、鼻子、嘴巴、眉毛等部位的特征，以此来实现高精确度的人脸对齐，从而进行人脸跟踪检测。具体参见图2，第一鼻子区域110、第二鼻子区域120、第一额头区域130、第二额头区域140、第一脸部区域150、第二脸部区域160、第一嘴巴区域170以及第二嘴巴区域180所示的矩形框分别为通过AdaBoost算法根据所述人脸图像获取得到的不同的人脸特征区域，而图示中嘴巴区域、鼻子下发以及眼睛周围的白色点分别为通过基于回归树方法的人脸特征点检测算法标示出来的特征点。
其中，第一鼻子区域110、第二鼻子区域120、第一额头区域130、第二额头区域140、第一脸部区域150、第二脸部区域160、第一嘴巴区域170以及第二嘴巴区域180分别为不同的所述感兴趣区域。
所述步骤S50中，需要先提取每一个所述感兴趣区域的原始颜色信息例如为RGB信号或称像素值，也即获取每一个所述感兴趣区域中的每一个像素点的像素值；对于每一个所述像素点而言，将所述像素值分别R通道、G通道以及B通道上分别进行空间平均，得到三组随时间变化的通道信号；将所述三组通道信号进行基色分离，得到分离后R信号、分离后G信号以及分离后B信号；将所述分离后R信号、所述分离后G信号以及所述分离后B信号分别进行中值滤波，然后根据心率估计模型计算得到心率信号(或称脉搏波信号值)。
根据上述过程可以计算得到每一个所述感兴趣区域中的每一个像素点分别对应的心率信号。
所述步骤S70中，根据步骤S50中得到的多个所述心率信号进行频域计算(或称频域分析)得到心率值。
优选的，所述心率检测方法例如还包括：步骤S60，根据每一个所述感兴趣区域分别对应的所述原始颜色信息和所述心率信号，计算每一个所述感兴趣区域相对应的权重值。具体的，将步骤S50中提取到的每一个所述感兴趣区域中的每一个像素点的像素值的R通道、G通道以及B通道分别转换到Lab色彩空间，每一个像素点分别得到相应的色彩空间信息，所述色彩空间信息中L代表亮度值，所述L越大表示亮度越高；计算所述L的标准差，也即得到相应的色彩空间标准差；根据步骤S50中得到的心率信号计算得到心率信号标准差，也称脉搏波信号标准差；根据所述色彩空间标准差和所述心率信号标准差之间的差异确定每一个所述感兴趣区域的所述权重值，该权重值为阈值对应的感兴趣区域在整个人脸图像中所占的权重；然后根据每一个所述感兴趣区域中每一个像素点对应的心率信号以及相应的所述权重值，计算得到每一个感兴趣区域分别对应的心率信号。例如，在某一个所述感兴趣区域的所述L的变化幅度较大时，则该感兴趣区域的所述权重值就会下降，并基于此变化计算得到相应的心率信号估计值并作为该感兴趣区域的心率信号。
基于所述步骤S60，进一步的，在所述步骤S70中，具体的，根据每一个所述心率信号按照与其对应的所述权重值进行加权计算，最终得到所述心率值。
为便于更清楚地理解本实施例，下面结合图3-图5，对本实施例的心率检测方法的具体实施过程进行详细描述。
a)建立皮肤光线反射模型：
C(t)＝[I0+i(t)]·(ur·u0+s0)+I0·ur·r(t)+I0·up·p(t)；其中，C(t)代表在t时刻空间中目标像素点的R通道值、G通道值以及B通道值；I0为照射到皮肤表面的光线强度的直流分量；i(t)为照射到皮肤表面的光线强度的交流分量；ur是皮肤反射光线在RGB颜色空间的单位向量；u0代表反射光线的直流分量；s0代表经过人体组织反射或透射的光线，在RGB颜色空间的直流分量；r(t)代表反射光线的交流分量；up代表由血液容积变化引起的光线变化在RGB空间的单位向量；p(t)代表由动脉中血液容积的变化所引起的光强变化。
b)使用所述皮肤光线反射模型进行心率信号估计的过程例如为：在RGB颜色空间中，将视频流中采集到的帧图像中的所述感兴趣区域，投影到一个以被测者肤色ur为法向量的平面上，以此来消除所述感兴趣区域中皮肤表面的反射光线的变化所带来的干扰。然后，再在该平面上寻找一个单位向量，并且该单位向量与所述感兴趣区域的原始颜色信号(所述感兴趣区域内的每一个像素点的像素值)的内积能够最大化的表征被测者的心率信号。因此，定义一个向量k，即k是所述ur平面中的一个向量，使所述k满足：
则所述k为通过所述皮肤光线反射模型得到的所述感兴趣区域的心率信号，也即步骤S50中得到的一个所述心率信号。
在进行上述b)过程之前还需要将视频流中采集到的帧图像划分为多个不同的感兴趣区域，该过程包括：
c)采集包含人脸图像的视频流，可参见图6所示场景示意图；从采集到所述视频流中选取至少一个包含人脸图像的图像帧。
使用Haar特征检测算法与肤色检测算法相结合的方法从所述帧图像中选取多个不同的感兴趣区域(又称ROI区域，Region Of Interest)。
具体的，首先，基于Adaboost算法利用一种有监督的统计分析方法来寻找人脸特征与非人脸特征的统计特征，所述统计特征通过大量样本的训练学习，构建得到的能够区分人脸和非人脸的弱分类器；再把得到的若干个弱分类器组成一个级联式的强分类器，并使用该强分类器对所述帧图像进行检测，并在所述帧图像上划分得到所述感兴趣区域。举例来说，使用所述强分类器对所述帧图像进行检测，如果所述帧图像中存在人脸，则会得到一个包含所述人脸图像的矩形框(参见图2)，该矩形框即为步骤S20中所述的感兴趣区域；随后，对矩形框(也即所述感兴趣区域)内的像素进行肤色检测；由于，不同部位的肤色存在一定差异，因此，在一定的光线条件下，肤色的分布呈现出正态分布的特点，使用正态分布来拟合所述感兴趣区域中的肤色在色彩空间中的分布。
具体的，可以使用高斯模型假设肤色服从单峰的高斯分布。首先使用统计学的方法对试验集中的肤色像素进行统计，并计算出高斯分布的均值和方差，随后利用概率密度函数计算出所述感兴趣区域对应的图像中每一个像素点属于所述肤色(也即与所述肤色像素相同或相似)的概率；若某一像素点的概率值大于设定的阈值，则可以判定该像素点属于肤色，反之，则认为该像素点不属于肤色，通过这样可以保留所述感兴趣区域内的皮肤区域，并去除非皮肤区域。
d)在上述c)过程中，由于所述帧图像中的环境光线等原因，所述人脸图像中的一些阴影区域会被漏检，在结果图上看起来会有一些黑色的空洞。经过c)过程的肤色检测之后，会得到一个二值化的图像掩膜，基于上述原因所述图像掩膜会存在噪点，该噪点表现为细小颗粒或者是细长的线条。因此，需要对所述图像掩膜进行形态学处理，将其中孤立的噪声和干扰去除，在保持所述感兴趣区域的原有形状的同时使其边界平滑，从而消除人脸图像中被漏检的阴影区域，提取到更加准确的所述感兴趣区域。
e)经过上述c)过程以及d)过程之后，得到多个所述感兴趣区域，具体参见图2所示的八个感兴趣区域。对其中一个所述感兴趣区域进行心率信号提取的过程例如为：
对该感兴趣区域中的每一个像素值，分别在R通道、G通道以及B通道上分别进行空间平均，分别得到CR(t)、CG(t)、CB(t)三组随时间变化的通道信号，所述三组通道信号组成了时间域上的波形，并且对三组信号去直流以消除所述通道信号中不变的值，保留交流分量。
f)对e)过程中得到的CR(t)、CG(t)、CB(t)三组通道信号进行中值滤波处理。中值滤波是一种非线性的滤波方式，它是基于排序统计理论的信号处理技术，具有实现简单，响应速度快，耗时短等特点，因此被广泛应用于随机噪声的处理。
以CR(t)为例说明中值滤波处理的过程，具体如下：对CR(t)通道信号的邻域窗口中的数字序列进行排序，随后用中间值代替原先位置的数值，让数字序列的值接近真实值，从而消除噪声。中值滤波处理后的信号波形基本在零点附近波动，抑制了原CR(t)通道信号的波形中的脉冲噪声，同时保留了原CR(t)通道信号波形中的细节部分。
g)在f)过程的基础上，根据CR(t)、CG(t)、CB(t)三组通道信号分别进行中值滤波处理后得到的信号计算相应的所述感兴趣区域的心率信号，该计算公式为：
其中，
为去直流后的RGB通道的像素值；k是ur平面中的一个向量。
h)在e)过程中，得到每一个所述感兴趣区域的每一个像素点的像素值时，还需要将每一个像素点的R通道、G通道以及B通道转换到Lab色彩空间。
具体的，先将RGB色彩空间转换为XYZ色彩空间，再将XYZ色彩空间转到Lab色彩空间，即通过RGB—>XYZ—>LAB的转化过程，将所述感兴趣区域对应的图像从RGB颜色模型转换到Lab颜色模型，从而得到所述图像的亮度值L。
i)在一般情况下，所述图像的亮度值L的波动范围往往很小；但是，如果存在运动干扰或者光线干扰，例如在拍摄视频流时被拍摄者运动或者光照变化等情形；则所述的图像值L的亮度通常会出现较大的变化，因此，采用采用心率信号幅度(或称脉搏波动幅度)和亮度值变化幅度之间的比值定义一权重值，所述权重值用于在步骤S70中计算得到最终的心率值。
所述权重值的计算公式为：
其中，Li为所述亮度值L，当所述感兴趣区域的亮度值L的变化幅度较大时，该区域权重值就会下降。
j)根据上述c)过程和d)过程得到的八个所述感兴趣区域，分别通过上述e)-i)过程分别得到每一个所述感兴趣区域的对应的心率信号以及权重值。
k)在j)过程之后得到的所述八个感兴趣区域分别对应的心率信号可以视为脉搏波经过不同的通道后，所获得的心率信号，并且不同的心率信号具有不同的信号强度和噪声强度，将所述心率信号根据各自的权重值进行加权计算后可以得到最终的心率值，其具体计算公式为：
其中，P(t)为最终的心率值；ωi表示第i个感兴趣区域的权重值，每一个权重值与相应的心率信号的强度成正比，与噪声的强度成反比。
l)再运用离散频谱分析法，即快速傅里叶变换对k)过程得到的心率值进行频域计算，该计算公式为HR＝Fmax×60；其中，HR为频域计算后得到的心率值，Fmax为k)过程得到的心率值进行离散频谱分析后得到的信号中0.8～4Hz的频率范围最大峰值所对应的频率。
在上述具体实施过程中，a)过程建立皮肤光线反射模型可以采用PPG(PhotoPlethysmo Graph，利用光电容积描记)技术。所述PPG技术是借光电手段在活体组织中检测血液容积变化的一种无创检测方法，当一定波长的光束照射到指端皮肤表面，每次心跳时，血管的收缩和扩张都会影响光的透射(例如在透射PPG中，通过指尖的光线)或是光的反射(例如在反射PPG中，来自手腕表面附近的光线)。当光线透过皮肤组织然后再反射到光敏传感器时，光照会有一定的衰减。像肌肉、骨骼、静脉和其他连接组织对光的吸收是基本不变的(前提是测量部位没有大幅度的运动)，但是，由于动脉里有血液的脉动，那么动脉对光的吸收自然也会有所变化。当我们把光照转换成电信号时，正是由于动脉对光照的吸收能够发生变化而其他组织对光照的吸收基本不会变化，因此，得到的信号就可以分为直流DC信号和交流AC信号，并提取其中的AC信号，就能反应出血液脉动的特点。
在上述具体实施过程中，l)过程运用离散频谱分析得到的心率信号频谱图(参见图4)，可以看出图中最大峰值所对应的频率为1.183Hz，根据l)中的计算公式可以计算出对应的心率为70.98跳/分钟。
与现有的基于视频的心率检测方法相比，本方法具有以下优点：
1.现有的基于视频的心率检测方法仅仅通过信号处理方面的手段来提取心率信号，而忽视了人体皮肤本身的光学属性。而本方法建立了皮肤光线反射模型，基于该模型，充分利用了人体肤色以及皮肤对不同波长光线的吸收特性，从原始颜色信息中通过线性变化提取心率信息。
2.为了解决检测环境存在光照不均、人物晃动等存在的干扰时(也即视频流拍摄环境)，而导致的准确度难以保证的问题。本方法将人脸图像的不同区域按照一定的规则分隔成了不同的感兴趣区域，并进一步，针对不同的情况和环境，对所述感兴趣区域赋以动态的权重，从而克服了因检测环境干扰所带来的影响。
3.本方法的计算过程为矩阵的线性运算，因此计算复杂度低且耗时短；同时，因检测的准确度非常高，从而能够同时满足实时性与检测精度的要求。
下面以实验集为HCI Tagging数据集中的部分视频以及自行录制的部分视频，对本方法与现有的基于绿色分量的方法、基于ICA的方法进行对比实验，具体如下：
自行录制视频的具体过程是：参见图5，使用一个现有的摄像头，对被测者的面部录制视频以采集得到视频流。录制视频时，要求被测者面部正对所述摄像头，并与所述摄像头保持60厘米左右的距离；视频采集在室内完成，视频的分辨率为1280*720，采样频率为30fps。运行本方法的实验平台为Win10操作系统下的Python3.6和Matlab2016a，测试机器的CPU为i5-7200U。
对照值采用医用指夹式脉搏血氧仪的测量值，在视频录制的同步进行脉搏血氧仪的测量。其中，脉搏血氧仪每十秒记录一次测量值，并将在一个整段视频录制期间内的所有读数的平均值作为该整段视频的心率参考值。
为了验证本算法的有效性，对实验集中的视频进行了心率测量，并与现有的基于脸部视频的心率检测算法进行对比，部分实验结果如下表所示：
由此可知，通过本方法测得的心率值平均误差最小，相比于现有的其他的心率检测方法误差的波动范围更小。
【第二实施例】
参见图6，其为本发明第二实施例提供的一种心率检测装置，所述心率检测装置100例如包括：获取模块10，用于获取包含人脸图像的帧图像；划分模块30，用于基于哈尔特征对所述帧图像中的人脸图像区域进行划分，并且得到多个不同的感兴趣区域；提取模块50，用于提取每一个所述感兴趣区域的心率信号；频域计算模块70，用于对多个所述感兴趣区域分别对应的多个所述心率信号进行频域计算得到心率值。
参见图7，具体的，获取模块10例如包括：视频流接收单元11，用于接收视频流；帧图像生成单元13，用于从所述视频流中获取多张连续的且分别包含人脸图像信息的帧图像。
提取模块50例如包括：颜色信息提取单元51，用于分别提取每一个所述感兴趣区域的原始颜色信息；滤波处理单元53，用于对每一个所述原始颜色信息分别进行中值滤波处理，分别得到相应的所述心率信号。
优选的，心率检测装置100例如还包括：权值计算模块60，用于根据每一个所述感兴趣区域分别对应的所述原始颜色信息和所述心率信号，计算每一个所述感兴趣区域相对应的权重值。
权值计算模块60例如包括：色彩计算单元61，用于将多个所述感兴趣区域分别对应的多个所述原始颜色信息分别进行颜色转换，得到相应的多个色彩空间信息；色彩标准差计算单元63，用于根据所述多个色彩空间信息计算得到色彩空间标准差；心率标准差计算单元65，用于根据所述多个心率信号计算得到心率信号标准差；权重值计算单元67，用于根据所述色彩空间标准差和所述心率信号标准差计算得到所述权重值。
频域计算模块70例如还用于将每一个所述心率信号按照与之对应的所述权重值进行加权计算，得到所述心率值。
【第三实施例】
参见图8，其为本发明的第三实施例提供的一种心率检测系统的结构示意图，所述心率检测系统400例如包括处理器430以及电连接处理器430的存储器410，存储器410上存储有计算机程序411，处理器430加载计算机程序411以实现如第一实施例中所述的心率检测方法。
【第四实施例】
参见图9，其为本发明的第四实施例提供的一种可读存储介质的结构示意图，可读存储介质500例如为非易失性存储器，其例如为：磁介质(如硬盘、软盘和磁带)，光介质(如CDROM盘和DVD)，磁光介质(如光盘)以及专门构造为用于存储和执行计算机可执行指令的硬件装置(如只读存储器(ROM)、随机存取存储器(RAM)、闪存等)。可读存储介质500上存储有计算机可执行指令510。存储介质500可由一个或多个处理器或处理装置来执行计算机可执行指令510，以实施如第一实施例中所述的心率检测方法。
在本发明所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多路单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多路网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (6)
1.一种心率检测方法，其特征在于，包括：
获取包含人脸图像的帧图像；
基于哈尔特征对所述帧图像中的人脸图像区域进行划分，并且得到多个不同的感兴趣区域；
提取每一个所述感兴趣区域的心率信号；
对多个所述感兴趣区域分别对应的多个所述心率信号进行频域计算得到心率值；
所述提取每一个所述感兴趣区域的心率信号，包括：
分别提取每一个所述感兴趣区域的原始颜色信息；
对每一个所述原始颜色信息分别进行中值滤波处理，分别得到相应的所述心率信号；
所述心率检测方法还包括：
根据每一个所述感兴趣区域分别对应的所述原始颜色信息和所述心率信号，计算每一个所述感兴趣区域相对应的权重值；
所述对多个所述感兴趣区域分别对应的多个所述心率信号进行频域得到心率值，具体为：将每一个所述心率信号按照与之对应的所述权重值进行加权计算，得到所述心率值；
所述根据每一个所述感兴趣区域分别对应的所述原始颜色信息和所述心率信号，计算每一个所述感兴趣区域相对应的权重值，包括：
将多个所述感兴趣区域分别对应的多个所述原始颜色信息分别进行颜色转换，得到相应的多个色彩空间信息；
根据所述多个色彩空间信息计算得到色彩空间标准差；
根据所述多个心率信号计算得到心率信号标准差；
根据所述色彩空间标准差和所述心率信号标准差计算得到所述权重值。
2.根据权利要求1所述的心率检测方法，其特征在于，
所述获取包含人脸图像的帧图像，包括：
接收视频流；
从所述视频流中获取多张连续的且分别包含人脸图像信息的帧图像。
3.一种心率检测装置，其特征在于，采用如权利要求1-2任一项所述的心率检测方法，包括：
获取模块，用于获取包含人脸图像的帧图像；
划分模块，用于基于哈尔特征对所述帧图像中的人脸图像区域进行划分，并且得到多个不同的感兴趣区域；
提取模块，用于提取每一个所述感兴趣区域的心率信号；
频域计算模块，用于对多个所述感兴趣区域分别对应的多个所述心率信号进行频域计算得到心率值；
所述提取模块包括：
颜色信息提取单元，用于分别提取每一个所述感兴趣区域的原始颜色信息；
滤波处理单元，用于对每一个所述原始颜色信息分别进行中值滤波处理，分别得到相应的所述心率信号；
所述心率检测装置还包括：
权值计算模块，用于根据每一个所述感兴趣区域分别对应的所述原始颜色信息和所述心率信号，计算每一个所述感兴趣区域相对应的权重值；
所述频域计算模块，还用于将每一个所述心率信号按照与之对应的所述权重值进行加权计算，得到所述心率值；
所述权值计算模块包括：
色彩计算单元，用于将多个所述感兴趣区域分别对应的多个所述原始颜色信息分别进行颜色转换，得到相应的多个色彩空间信息；
色彩标准差计算单元，用于根据所述多个色彩空间信息计算得到色彩空间标准差；
心率标准差计算单元，用于根据所述多个心率信号计算得到心率信号标准差；
权重值计算单元，用于根据所述色彩空间标准差和所述心率信号标准差计算得到所述权重值。
4.根据权利要求3所述的心率检测装置，其特征在于，所述获取模块包括：
视频流接收单元，用于接收视频流；
帧图像生成单元，用于从所述视频流中获取多张连续的且分别包含人脸图像信息的帧图像。
5.一种心率检测系统，其特征在于，包括：处理器和电连接所述处理器的存储器，所述存储器上存储有所述处理器执行的指令，且所述指令使得所述处理器执行操作以进行如权利要求1-2任意一项所述的心率检测方法。
6.一种可读存储介质，其特征在于，所述可读存储介质为非易失性存储器且存储有程序代码，当所述程序代码被一个或多个处理器执行时，使得所述一个或多个处理器执行如权利要求1-2任意一项所述的心率检测方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010687055.XA CN111938622B (zh) | 2020-07-16 | 2020-07-16 | 心率检测方法、装置及系统、可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010687055.XA CN111938622B (zh) | 2020-07-16 | 2020-07-16 | 心率检测方法、装置及系统、可读存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111938622A CN111938622A (zh) | 2020-11-17 |
| CN111938622B true CN111938622B (zh) | 2022-08-30 |
Family
ID=73340967
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010687055.XA Active CN111938622B (zh) | 2020-07-16 | 2020-07-16 | 心率检测方法、装置及系统、可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111938622B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20220160311A1 (en) * | 2020-11-24 | 2022-05-26 | Tencent America LLC | Heart rate measurement based on remote photoplethysmography |
| CN112396011B (zh) * | 2020-11-24 | 2023-07-18 | 华南理工大学 | 一种基于视频图像心率检测及活体检测的人脸识别系统 |
| CN114469036A (zh) * | 2022-01-27 | 2022-05-13 | 无锡博奥玛雅医学科技有限公司 | 一种基于视频图像的远程心率监测方法及系统 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103054569A (zh) * | 2012-12-20 | 2013-04-24 | Tcl集团股份有限公司 | 基于可见光图像测量人体心率的方法、装置及手持设备 |
| CN109272459A (zh) * | 2018-08-20 | 2019-01-25 | Oppo广东移动通信有限公司 | 图像处理方法、装置、存储介质及电子设备 |
| CN111134650A (zh) * | 2019-12-26 | 2020-05-12 | 上海眼控科技股份有限公司 | 心率信息获取方法、装置、计算机设备和存储介质 |
| CN111275018A (zh) * | 2020-03-06 | 2020-06-12 | 华东师范大学 | 一种基于环形感兴趣区域加权的非接触式心率信号提取方法 |
| CN111310584A (zh) * | 2020-01-19 | 2020-06-19 | 上海眼控科技股份有限公司 | 心率信息获取方法、装置、计算机设备和存储介质 |
-
2020
- 2020-07-16 CN CN202010687055.XA patent/CN111938622B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103054569A (zh) * | 2012-12-20 | 2013-04-24 | Tcl集团股份有限公司 | 基于可见光图像测量人体心率的方法、装置及手持设备 |
| CN109272459A (zh) * | 2018-08-20 | 2019-01-25 | Oppo广东移动通信有限公司 | 图像处理方法、装置、存储介质及电子设备 |
| CN111134650A (zh) * | 2019-12-26 | 2020-05-12 | 上海眼控科技股份有限公司 | 心率信息获取方法、装置、计算机设备和存储介质 |
| CN111310584A (zh) * | 2020-01-19 | 2020-06-19 | 上海眼控科技股份有限公司 | 心率信息获取方法、装置、计算机设备和存储介质 |
| CN111275018A (zh) * | 2020-03-06 | 2020-06-12 | 华东师范大学 | 一种基于环形感兴趣区域加权的非接触式心率信号提取方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111938622A (zh) | 2020-11-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Bobbia et al. | Unsupervised skin tissue segmentation for remote photoplethysmography | |
| Song et al. | New insights on super-high resolution for video-based heart rate estimation with a semi-blind source separation method | |
| Wang et al. | Exploiting spatial redundancy of image sensor for motion robust rPPG | |
| CN111938622B (zh) | 心率检测方法、装置及系统、可读存储介质 | |
| Sikdar et al. | Computer-vision-guided human pulse rate estimation: a review | |
| CN110269600B (zh) | 基于多元经验模态分解与联合盲源分离的非接触式视频心率检测方法 | |
| Feng et al. | Dynamic ROI based on K-means for remote photoplethysmography | |
| Feng et al. | Motion artifacts suppression for remote imaging photoplethysmography | |
| Fouad et al. | Optimizing remote photoplethysmography using adaptive skin segmentation for real-time heart rate monitoring | |
| Casado et al. | Face2PPG: An unsupervised pipeline for blood volume pulse extraction from faces | |
| Rumiński | Reliability of pulse measurements in videoplethysmography | |
| CN111387959A (zh) | 一种基于ippg的非接触式生理参数检测方法 | |
| Ibrahim et al. | Analysis of non-invasive video based heart rate monitoring system obtained from various distances and different facial spot | |
| Wei et al. | Remote photoplethysmography and heart rate estimation by dynamic region of interest tracking | |
| Gupta et al. | A motion and illumination resistant non-contact method using undercomplete independent component analysis and Levenberg-Marquardt algorithm | |
| Cui et al. | Non-contact time varying heart rate monitoring in exercise by video camera | |
| Panigrahi et al. | Non-contact HR extraction from different color spaces using RGB camera | |
| Ibrahim et al. | Non-contact heart rate monitoring analysis from various distances with different face regions | |
| CN105046209A (zh) | 一种基于典型相关分析的非接触式心率测量方法 | |
| Mehta et al. | CPulse: heart rate estimation from RGB videos under realistic conditions | |
| CN114246570B (zh) | 峰值信噪比和皮尔森相关系数融合的近红外心率检测方法 | |
| Karmuse et al. | A robust rppg approach for continuous heart rate measurement based on face | |
| Ben Salah et al. | Contactless heart rate estimation from facial video using skin detection and multi-resolution analysis | |
| Le et al. | Heart Rate Estimation Based on Facial Image Sequence | |
| Hansen et al. | Real-time estimation of heart rate in situations characterized by dynamic illumination using remote photoplethysmography |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| PE01 | Entry into force of the registration of the contract for pledge of patent right |
Denomination of invention: Heart rate detection method, device and system, readable storage medium Effective date of registration: 20231110 Granted publication date: 20220830 Pledgee: Zhejiang Deqing rural commercial bank Limited by Share Ltd. Pledgor: QIHANG Automobile Co.,Ltd. Registration number: Y2023980064934 |
|
| PE01 | Entry into force of the registration of the contract for pledge of patent right |