CN112766094A - 一种通过视频提取ppg信号的方法及其系统 - Google Patents

Abstract

本申请公开了一种通过视频提取PPG信号的方法及其系统，其中，通过视频提取PPG信号的方法，包括如下步骤：对人脸视频进行处理，获取最终关键点位置；根据最终关键点位置动态选取感兴趣区域位置，并计算感兴趣区域位置内像素所有的通道亮度值，获得PPG信号。本申请通过视频提取PPG信号的方法及其装置相较传统的指夹手环等可穿戴设备收集而言减少了设备的特殊需求，相较传统的视频收集方法提升了准确性。

Description

一种通过视频提取PPG信号的方法及其系统

技术领域

本申请涉及计算机技术领域，尤其涉及一种通过视频提取PPG信号的方法及其系统。

背景技术

常用的PPG设备包括手环、指夹器等，可在接触被试者的条件下获得较好的信号波形。用指夹和手环等接触设备收集PPG信号时限制较多，手环目前普及程度较低，且佩戴过程需要耗费一定时间。指夹更是极少在医疗场景以外出现，且长时间佩戴会造成不适。如果想利用PPG信号实现活体检测，活体身份认证等需求时，利用手环和指夹采集PPG信号均不合适。

由于血液会吸收绿色光谱的光，所以PPG信号会导致皮肤色彩的变化，虽然难以通过人眼捕捉，但是在8位深度的标准RGB图中可以检测到。通过视频采集PPG信号时，通常选取面部的某个区域(如额头、脸颊等，称为ROI)，并用采集设备拍摄一段视频，选取ROI内的绿色通道的数值(常为区域内的均值)，并用带通滤波器选通0.5Hz～5Hz(人类脉搏频率范围)作为PPG信号。但由于人的位置不可能在一段时间内保持完全静止，所以传统方案中对ROI的选择面临较大挑战，如果被测试者的面部发生移动会导致ROI偏离，甚至完全离开面部，导致收集到的PPG信号失效。

发明内容

本申请的目的在于提供一种通过视频提取PPG信号的方法及其系统，具有在提升视频收集PPG的效率和准确性的同时，还能进一步利用PPG信号实现活体检测和活体认证的技术效果。

为达到上述目的，本申请提供一种通过视频提取PPG信号的方法，包括如下步骤：对人脸视频进行处理，获取最终关键点位置；根据最终关键点位置动态选取感兴趣区域位置，并计算感兴趣区域位置内像素所有的通道亮度值，获得PPG信号。

如上的，其中，对人脸视频进行处理，获取最终关键点位置的子步骤如下：对人脸视频进行人脸识别，确定待处理图像；对待处理图像进行检测，获取最终关键点位置。

如上的，其中，对人脸视频的当前帧图像进行人脸识别，确定待处理图像的子步骤如下：对人脸视频的当前帧图像进行人脸识别，并生成识别结果，其中，识别结果为有效或无效；根据识别结果确定待处理图像；其中，若识别结果为：有效，则确定当前帧图像为待处理图像；若识别结果为：无效，则将当前帧图像清空，获取下一帧图像，并对下一帧图像进行人脸识别。

如上的，其中，对待处理图像进行检测，获取最终关键点位置的子步骤如下：对待处理图像进行人脸区域检测，并获取人脸特征点；根据人脸特征点确定人脸区域和最终关键点位置。

如上的，其中，当待处理图像为有效图像，且待处理图像之前具有上一帧有效图像时，需要利用上一帧有效图像对待处理图像的人脸区域及关键点位置进行平滑处理，并将完成平滑处理后获得的关键点位置作为待处理图像的最终关键点位置。

如上的，其中，利用上一帧有效图像对待处理图像的人脸区域及关键点位置进行平滑处理，确定待处理图像的最终关键点位置的子步骤如下：U1：获取待处理图像的人脸区域和关键点位置，以及上一帧有效图像的人脸区域和关键点位置，执行U2；U2：对上一帧有效图像的人脸区域和待处理图像的人脸区域进行相对移动判断，并生成第一判断结果，若两帧人脸区域的相对移动较小，则生成的第一判断结果为：是，执行U3；若两帧人脸区域的相对移动较大，则生成的第一判断结果为：否，则执行U6；U3：将待处理图像的人脸区域和上一帧有效图像的人脸区域进行加权，并将加权平均结果作为最终的人脸区域，执行U4；U4：对上一帧有效图像的关键点位置和待处理图像的关键点位置进行相对移动判断，并生成第二判断结果，若两帧关键点位置的相对移动较小，则生成的第二判断结果为：是，执行U5；若两帧关键点位置的相对移动较大，则生成的第二判断结果为：否，执行U6；U5：将待处理图像的关键点位置和上一帧有效图像的关键点位置进行加权，并将加权平均结果作为新的关键点位置，执行U6；U6：根据第一判断结果、第二判断结果或者新的关键点位置确定最终关键点位置。

如上的，其中，对动态选取的感兴趣区域位置进行优化，获取待处理图像最终的感兴趣区域位置的子步骤如下：G1：确定上一帧有效图像的感兴趣区域位置，并将该感兴趣区域位置分割为n×n的m个互相重叠的子感兴趣区域；G2：检测待处理图像的人脸，匹配各子感兴趣区域，并计算子感兴趣区域外界；G3：判断子感兴趣区域外界的中心位置与上一帧有效图像的感兴趣区域的中心位置是否接近，若子感兴趣区域外界的中心位置与上一帧有效图像的感兴趣区域的中心位置较为接近，则执行G4；若子感兴趣区域外界的中心位置与上一帧有效图像的感兴趣区域中心较远，则直接调用人脸检测算法重新检测关键点并重新确定感兴趣区域，将重新确定的感兴趣区域作为待处理图像的感兴趣区域，并执行G5；G4：检查子感兴趣区域外界的大小；若子感兴趣区域外界过大或过小，则表示人脸出现了明显的偏转，应调整感兴趣区域尺寸，故以此子感兴趣区域外界作为待处理图像的感兴趣区域，执行G5；若子感兴趣区域外界大小与感兴趣区域相近，则直接以上一帧有效图像的感兴趣区域做匹配，得到新的感兴趣区域，并将新的感兴趣区域作为待处理图像的感兴趣区域，执行G5；G5：将待处理图像的感兴趣区域分割为n×n的m个互相重叠的子感兴趣区域作为待处理图像最终的感兴趣区域位置；其中，n为子感兴趣区域的边长，m为子感兴趣区域的个数。

本申请还提供一种通过视频提取PPG信号的系统，包括：拍摄单元和数据处理单元；其中，拍摄单元：用于拍摄人脸视频，并将人脸视频输入至数据处理单元进行处理；数据处理单元：用于执行上述的通过视频提取PPG信号的方法。

如上的，其中，所述数据处理单元包括：人脸检测单元和PPG信号提取单元；其中，人脸检测单元：用于接收人脸视频，并对人脸视频进行人脸检测，检测到人脸后，确定最终关键点位置；PPG信号提取单元：利用最终关键点位置获取PPG信号。

如上的，其中，所述人脸检测单元设置有人脸检测算法，通过人脸检测算法对人脸视频进行人脸检测，获取人脸特征点。

本申请通过视频提取PPG信号的方法及其装置相较传统的指夹手环等可穿戴设备收集而言减少了设备的特殊需求，相较传统的视频收集方法提升了准确性。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。

图1为通过视频提取PPG信号的系统一种实施例的结构示意图；

图2为通过视频提取PPG信号的方法一种实施例的流程图；

图3为PPG信号的未平滑波形；

图4为确定最终关键点位置一种实施例的流程图；

图5为PPG信号的平滑后波形；

图6为获取待处理图像最终的感兴趣区域位置的流程图；

图7为多区域匹配结果；

图8为除背景后的PPG信号；

图9为人脸特征点的示意图。

具体实施方式

下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本申请提供一种通过视频提取PPG信号的方法及其系统，具有在提升视频收集PPG的效率和准确性的同时，还能进一步利用PPG信号实现活体检测和活体认证的技术效果。

如图1所示，本申请提供一种通过视频提取PPG信号的系统，包括：拍摄单元1和数据处理单元2。

其中，拍摄单元1：用于拍摄人脸视频，并将人脸视频输入至数据处理单元进行处理。

数据处理单元2：用于执行下述的通过视频提取PPG信号的方法。

进一步的，数据处理单元2包括：人脸检测单元和PPG信号提取单元。

其中，人脸检测单元：用于接收人脸视频，并对人脸视频进行人脸检测，检测到人脸后，确定最终关键点位置。

PPG信号提取单元：利用最终关键点位置获取PPG信号。

进一步的，人脸检测单元设置有人脸检测算法，通过人脸检测算法对人脸视频进行人脸检测，获取人脸特征点。

如图2所示，本申请提供一种通过视频提取PPG信号的方法，包括如下步骤：

S1：对人脸视频进行处理，获取最终关键点位置。

进一步的，对人脸视频进行处理，获取最终关键点位置的子步骤如下：

R1：对人脸视频进行人脸识别，确定待处理图像。

进一步的，对人脸视频的当前帧图像进行人脸识别，确定待处理图像的子步骤如下：

R110：对人脸视频的当前帧图像进行人脸识别，并生成识别结果。

具体的，通过人脸检测单元对人脸视频的当前帧图像进行人脸识别，若能检测到人脸，则表示当前帧图像为有效图像，生成的识别结果为：有效。若无法检测出人脸，则表示当前帧图像为无效图像，生成的识别结果为：无效。

R120：根据识别结果确定待处理图像。

具体的，若识别结果为：有效，则确定当前帧图像为待处理图像。若识别结果为：无效，则将当前帧图像清空，并获取下一帧图像，执行R110。

R2：对待处理图像进行检测，获取最终关键点位置。

进一步的，对待处理图像进行检测，获取最终关键点位置的子步骤如下：

R210：对待处理图像进行人脸区域检测，并获取人脸特征点。

具体的，作为一个实施例，人脸检测单元采用人脸检测算法对待处理图像的人脸区域进行检测，由于人的脸颊通常较为平坦，且分布有大量血管，故通过dlib库中提供的类找到人脸区域并定位68个特征点作为人脸特征点。

R220：根据人脸特征点确定人脸区域和最终关键点位置。

具体的，如图9所示，关键点位置为从获取的人脸特征点中选取的多个特征点。例如，本申请优选为从定位的68个人脸特征点中选取点3，点31，点40，点13，点35和点47这几个脸部特征点作为关键点位置。当待处理图像为有效图像，且待处理图像之前不具有上一帧有效图像(即待处理图像为整个人脸视频的第一帧有效图像)时，无需对选取的关键点位置进行平滑处理，直接将选取的关键点位置作为该待处理图像的最终关键点位置。

进一步的，还需要确定参数roiRatio(此参数越大，则ROI越接近选择的关键点，即ROI面积越大)，从而定位人脸区域，其中，人脸区域至少包括：左脸颊区域和右脸颊区域。

具体的，从待处理图像的原图中直接截取右脸ROI中的像素点，对绿色通道信号强度取平均，获得的PPG信号如图3所示。

进一步的，当待处理图像为有效图像，且待处理图像之前具有上一帧有效图像时，需要利用上一帧有效图像对待处理图像的人脸区域及关键点位置进行平滑处理，并将完成平滑处理后获得的关键点位置作为待处理图像的最终关键点位置。

具体的，针对收光区域变化中的算法不稳定性问题，本申请采用RectsandLandmarkssmooth(基于矩形和关键点的平滑方法)方法，通过对待处理图像的人脸区域及关键点位置进行平滑，确定待处理图像的最终关键点位置，根据最终关键点位置选取ROI区域，从而降低检测过程引入的ROI位置的抖动。

进一步的，如图4所示，利用上一帧有效图像对待处理图像的人脸区域及关键点位置进行平滑处理，确定待处理图像的最终关键点位置的子步骤如下：

U1：获取待处理图像的人脸区域和关键点位置，以及上一帧有效图像的人脸区域和关键点位置，执行U2。

具体的，采用人脸检测算法检测上一帧有效图像，确定上一帧有效图像的人脸区域及关键点位置。采用人脸检测算法检测待处理图像，确定待处理图像的人脸区域及关键点位置，执行U2。

U2：对上一帧有效图像的人脸区域和待处理图像的人脸区域进行相对移动判断，并生成第一判断结果，若两帧人脸区域的相对移动较小，则生成的第一判断结果为：是，执行U3；若两帧人脸区域的相对移动较大，则生成的第一判断结果为：否，则执行U6。

具体的，待处理图像和上一帧有效图像为连续的两帧有效图像。对待处理图像和上一帧有效图像的人脸区域进行平滑，判断待处理图像的人脸区域和上一帧有效图像的人脸区域的相对移动，并生成第一判断结果。若两帧人脸区域的相对移动较小，则生成的第一判断结果为：是。若两帧人脸区域的相对移动较大，则生成的第一判断结果为：否。若生成的第一判断结果为：是，则执行U3；若生成的第一判断结果为：否，则表示人脸区域不变，执行U6。

U3：将待处理图像的人脸区域和上一帧有效图像的人脸区域进行加权，并将加权平均结果作为最终的人脸区域，执行U4。

U4：对上一帧有效图像的关键点位置和待处理图像的关键点位置进行相对移动判断，并生成第二判断结果，若两帧关键点位置的相对移动较小，则生成的第二判断结果为：是，执行U5；若两帧关键点位置的相对移动较大，则生成的第二判断结果为：否，执行U6。

具体的，对待处理图像和上一帧有效图像的关键点位置进行平滑，判断待处理图像的关键点位置和上一帧有效图像的关键点位置的相对移动，并生成第一判断结果。若两帧关键点位置的相对移动较小，则生成的第二判断结果为：是。若两帧关键点位置的相对移动较大，则生成的第二判断结果为：否。若生成的第二判断结果为：是，则执行U5；若生成的第二判断结果为：否，则表示关键点位置不变，执行U6。

U5：将待处理图像的关键点位置和上一帧有效图像的关键点位置进行加权，并将加权平均结果作为新的关键点位置，执行U6。

U6：根据第一判断结果、第二判断结果或者新的关键点位置确定最终关键点位置。

具体的，若生成的第一判断结果为：否，则表示人脸区域不变，关键点位置不变，即直接将待处理图像从人脸特征点中选取的关键点位置作为最终关键点位置。

若生成的第二判断结果为：否，则表示关键点位置不变，即直接将待处理图像从人脸特征点中选取的关键点位置作为最终关键点位置。

若将待处理图像的关键点位置和上一帧有效图像的关键点位置进行加权，获得了新的关键点位置，则将新的关键点位置作为最终关键点位置。

具体的，利用上一帧有效图像对待处理图像的人脸区域及关键点位置进行平滑处理后，获得的PPG信号如图5所示。基于矩形和关键点的平滑方法(RectsandLandmarkssmooth，RLSmoothDetector)给出的人脸区域与关键点位置较之人脸检测算法的结果更为稳定，PPG信号中的高频噪声明显减少，低频成分大致维持不变。

S2：根据最终关键点位置动态选取感兴趣区域位置(ROI)，并计算感兴趣区域位置内像素所有的通道亮度值，获得PPG信号。

进一步的，对动态选取的感兴趣区域位置进行优化，获取待处理图像最终的感兴趣区域位置。

具体的，采用MultiRegionMatch(多区域匹配)，将ROI分割为2x2互相重叠的sub-ROI，并根据sub-ROI的位置对动态选取的感兴趣区域位置进行调整，将完成调整后的感兴趣区域位置作为待处理图像的感兴趣区域位置，并获取PPG信号。

进一步的，如图6所示，对动态选取的感兴趣区域位置进行优化，获取待处理图像最终的感兴趣区域位置的子步骤如下：

G1：确定上一帧有效图像的感兴趣区域位置，并将该感兴趣区域位置分割为n×n的m个互相重叠的sub-ROI(子感兴趣区域)。其中，n为sub-ROI的边长，m为sub-ROI的个数，优选的，n＝2，m＝4。

具体的，调用人脸检测算法确定上一帧有效图像的ROI，并根据参数overlap(sub-ROI之间相互重叠的比例)划分各sub-ROI的区域。

G2：检测待处理图像的人脸，匹配各sub-ROI，并计算sub-ROI外界。

G3：判断sub-ROI外界的中心位置与上一帧有效图像的ROI的中心位置是否接近，若sub-ROI外界的中心位置与上一帧有效图像的ROI的中心位置较为接近，则执行G4；若sub-ROI外界的中心位置与上一帧有效图像的ROI中心较远，则直接调用人脸检测算法重新检测关键点并重新确定ROI，将重新确定的ROI作为待处理图像的ROI，并执行G5。

G4：检查sub-ROI外界的大小；若sub-ROI外界过大或过小，则表示人脸出现了明显的偏转，应调整ROI尺寸，故以此sub-ROI外界作为待处理图像的ROI，执行G5；若sub-ROI外界大小与ROI相近，则直接以上一帧有效图像的ROI做匹配，得到新的ROI，并将新的ROI作为待处理图像的ROI，执行G5。

G5：将待处理图像的ROI分割为n×n的m个互相重叠的sub-ROI作为待处理图像最终的感兴趣区域位置。其中，n为sub-ROI的边长，m为sub-ROI的个数，优选的，n＝2，m＝4。

具体的，对动态选取的感兴趣区域位置进行优化，获取待处理图像最终的感兴趣区域位置后，提取的PPG信号如图7所示。

进一步的，在提取PPG信号的过程中，还需要进行背景扣除，进行背景减除后的PPG信号如图8所示。

本申请的通过视频提取PPG信号的方法及其装置相较传统的指夹手环等可穿戴设备收集而言减少了设备的特殊需求，相较传统的视频收集方法提升了准确性。

尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，本申请的保护范围意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请保护范围及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (10)

1.一种通过视频提取PPG信号的方法，其特征在于，包括如下步骤：

对人脸视频进行处理，获取最终关键点位置；

根据最终关键点位置动态选取感兴趣区域位置，并计算感兴趣区域位置内像素所有的通道亮度值，获得PPG信号。

2.根据权利要求1所述的通过视频提取PPG信号的方法，其特征在于，对人脸视频进行处理，获取最终关键点位置的子步骤如下：

对人脸视频进行人脸识别，确定待处理图像；

对待处理图像进行检测，获取最终关键点位置。

3.根据权利要求2所述的通过视频提取PPG信号的方法，其特征在于，对人脸视频的当前帧图像进行人脸识别，确定待处理图像的子步骤如下：

对人脸视频的当前帧图像进行人脸识别，并生成识别结果，其中，识别结果为有效或无效；

根据识别结果确定待处理图像；其中，若识别结果为：有效，则确定当前帧图像为待处理图像；若识别结果为：无效，则将当前帧图像清空，获取下一帧图像，并对下一帧图像进行人脸识别。

4.根据权利要求3所述的通过视频提取PPG信号的方法，其特征在于，对待处理图像进行检测，获取最终关键点位置的子步骤如下：

对待处理图像进行人脸区域检测，并获取人脸特征点；

根据人脸特征点确定人脸区域和最终关键点位置。

5.根据权利要求4所述的通过视频提取PPG信号的方法，其特征在于，当待处理图像为有效图像，且待处理图像之前具有上一帧有效图像时，需要利用上一帧有效图像对待处理图像的人脸区域及关键点位置进行平滑处理，并将完成平滑处理后获得的关键点位置作为待处理图像的最终关键点位置。

6.根据权利要求5所述的通过视频提取PPG信号的方法，其特征在于，利用上一帧有效图像对待处理图像的人脸区域及关键点位置进行平滑处理，确定待处理图像的最终关键点位置的子步骤如下：

U1：获取待处理图像的人脸区域和关键点位置，以及上一帧有效图像的人脸区域和关键点位置，执行U2；

U2：对上一帧有效图像的人脸区域和待处理图像的人脸区域进行相对移动判断，并生成第一判断结果，若两帧人脸区域的相对移动较小，则生成的第一判断结果为：是，执行U3；若两帧人脸区域的相对移动较大，则生成的第一判断结果为：否，则执行U6；

U3：将待处理图像的人脸区域和上一帧有效图像的人脸区域进行加权，并将加权平均结果作为最终的人脸区域，执行U4；

U4：对上一帧有效图像的关键点位置和待处理图像的关键点位置进行相对移动判断，并生成第二判断结果，若两帧关键点位置的相对移动较小，则生成的第二判断结果为：是，执行U5；若两帧关键点位置的相对移动较大，则生成的第二判断结果为：否，执行U6；

U5：将待处理图像的关键点位置和上一帧有效图像的关键点位置进行加权，并将加权平均结果作为新的关键点位置，执行U6；

U6：根据第一判断结果、第二判断结果或者新的关键点位置确定最终关键点位置。

7.根据权利要求1所述的通过视频提取PPG信号的方法，其特征在于，对动态选取的感兴趣区域位置进行优化，获取待处理图像最终的感兴趣区域位置的子步骤如下：

G1：确定上一帧有效图像的感兴趣区域位置，并将该感兴趣区域位置分割为n×n的m个互相重叠的子感兴趣区域；

G2：检测待处理图像的人脸，匹配各子感兴趣区域，并计算子感兴趣区域外界；

G3：判断子感兴趣区域外界的中心位置与上一帧有效图像的感兴趣区域的中心位置是否接近，若子感兴趣区域外界的中心位置与上一帧有效图像的感兴趣区域的中心位置较为接近，则执行G4；若子感兴趣区域外界的中心位置与上一帧有效图像的感兴趣区域中心较远，则直接调用人脸检测算法重新检测关键点并重新确定感兴趣区域，将重新确定的感兴趣区域作为待处理图像的感兴趣区域，并执行G5；

G4：检查子感兴趣区域外界的大小；若子感兴趣区域外界过大或过小，则表示人脸出现了明显的偏转，应调整感兴趣区域尺寸，故以此子感兴趣区域外界作为待处理图像的感兴趣区域，执行G5；若子感兴趣区域外界大小与感兴趣区域相近，则直接以上一帧有效图像的感兴趣区域做匹配，得到新的感兴趣区域，并将新的感兴趣区域作为待处理图像的感兴趣区域，执行G5；

G5：将待处理图像的感兴趣区域分割为n×n的m个互相重叠的子感兴趣区域作为待处理图像最终的感兴趣区域位置；

其中，n为子感兴趣区域的边长，m为子感兴趣区域的个数。

8.一种通过视频提取PPG信号的系统，其特征在于，包括：拍摄单元和数据处理单元；

其中，拍摄单元：用于拍摄人脸视频，并将人脸视频输入至数据处理单元进行处理；

数据处理单元：用于执行权利要求1-7中任意一项所述的通过视频提取PPG信号的方法。

9.根据权利要求8所述的通过视频提取PPG信号的系统，其特征在于，所述数据处理单元包括：人脸检测单元和PPG信号提取单元；

其中，人脸检测单元：用于接收人脸视频，并对人脸视频进行人脸检测，检测到人脸后，确定最终关键点位置；

PPG信号提取单元：利用最终关键点位置获取PPG信号。

10.根据权利要求9所述的通过视频提取PPG信号的系统，其特征在于，所述人脸检测单元设置有人脸检测算法，通过人脸检测算法对人脸视频进行人脸检测，获取人脸特征点。

Images