CN106031631A - 一种心率检测方法、装置及系统 - Google Patents

Abstract

本申请公开了一种心率检测方法、装置及系统，包括：获取视频帧序列；确定所述视频帧序列的每一个视频帧中的待检测区域；根据所述视频帧序列的每一个视频帧中的待检测区域内的图像数据，确定所述视频帧序列的每一个视频帧的图像特征信息；将所述视频帧序列中所有视频帧的图像特征信息进行降维处理，获得光电容积描记PPG信号；根据所述PPG信号确定心率值。

Description

一种心率检测方法、装置及系统

技术领域

本申请涉及计算机技术领域，尤其涉及一种心率检测方法、装置及系统。

背景技术

面向专业竞技运动的运动医学研究成果早已证明，心率是运动量、运动强度最重要的指标。运动员可以通过心率检测，快速、清楚地了解运动时身体的信息，及时掌握运动时心律变化情况。对于老年人或有心脏、心血管疾病者也可以通过检测心率的变化，对自身健康状况有一定了解。

现有技术中，对心率进行检测时都需要固定的精密仪器支持，并且检测的方式也多为单一指标、非连续式量，如心电图、臂式血压听诊仪等。这些心率检测的方式都为接触式检测，并且需要佩戴测试器材，比如：手指夹，耳后夹等。

这些方法检测得到的心率为非连续的信号，而且由于这些心率检测方法对专业设备的依赖度很高，很难普及到普通家庭中。

申请内容

本申请实施例提供一种心率检测方法及装置，用以解决现有技术中心率检测对专业设备依赖度高的问题。

本申请实施例提供一种心率检测方法，包括：

获取视频帧序列；

确定所述视频帧序列的每一个视频帧中的待检测区域；

根据所述视频帧序列的每一个视频帧中的待检测区域内的图像数据，确定所述视频帧序列的每一个视频帧的图像特征信息；

将所述视频帧序列中所有视频帧的图像特征信息进行降维处理，获得光电容积描记PPG信号；

根据所述PPG信号确定心率值。

较佳的，所述确定所述视频帧序列的每一个视频帧中的待检测区域，包括：

对所述视频帧序列的每一个视频帧分别进行人脸区域检测，并将检测到的人脸区域中的预设区域确定为当前视频帧的待检测区域。

较佳的，所述根据所述视频帧序列的每一个视频帧中的待检测区域内的图像数据，确定所述视频帧序列的每一个视频帧的图像特征信息，包括：

针对所述视频帧序列的每一个视频帧，分别确定该视频帧中的待检测区域内所有像素点的N个通道中每个通道值的平均值，并将所述N个通道中每个通道值的平均值确定为该帧视频帧的图像特征信息，其中N的取值为大于1的整数；或者

针对所述视频帧序列的每一个视频帧，确定该视频帧中的待检测区域内所有像素点的设定通道的值的平均值，并将所述设定通道的值的平均值确定为该帧视频帧的图像特征信息。

较佳的，所述视频帧为RGB格式，所述设定通道为R通道。

较佳的，所获得到的PPG信号为离散信号；

所述将所述视频帧序列中所有视频帧的图像特征信息进行降维处理，获得PPG信号之后，还包括：

对所述PPG信号进行滤波，以消除所述PPG信号中的孤立数据点；

对滤波后的所述PPG信号进行平滑处理，以消除所述PPG信号的信号抖动；

对平滑后的所述PPG信号进行数据插值，以获得连续的PPG信号。

较佳的，所述根据所述PPG信号确定心率值，包括：

确定所述PPG信号的所有极大值点，并根据以下公式确定心率值：

$H_{\mathrm{rate}}=60\×\frac{m-l}{t_m-t_l}$

其中，H_rate表示所述PPG信号中第l个极大值点对应的时间点至第m个极大值点对应的时间点之间的心率值，t_m表示所述PPG信号中第m个极大值点对应的时间点，t_l表示所述PPG信号中第_l个极大值点对应的时间点，1≤l≤m，且l与m均为正整数。

较佳的，所述获取视频帧序列之前，还包括：

接收终端发送的生理指标检测指令，以便根据所述生理指标检测指令获取视频帧序列；

所述根据所述PPG信号确定心率值之后，还包括：

向所述终端返回生理指标回复消息，所述生理指标回复消息中携带有所述心率值。

本申请实施例提供一种心率检测装置，包括：

获取单元，用于获取视频帧序列；

待检测区域确定单元，用于确定所述视频帧序列的每一个视频帧中的待检测区域；

图像特征信息确定单元，用于根据所述视频帧序列的每一个视频帧中的待检测区域内的图像数据，确定所述视频帧序列的每一个视频帧的图像特征信息；

PPG信号确定单元，用于将所述视频帧序列中所有视频帧的图像特征信息进行降维处理，获得光电容积描记PPG信号；

心率值确定单元，用于根据所述PPG信号确定心率值。

较佳的，所述待检测区域确定单元具体用于：

对所述视频帧序列的每一个视频帧分别进行人脸区域检测，并将检测到的人脸区域中的预设区域确定为当前视频帧的待检测区域。

较佳的，所述图像特征信息确定单元具体用于：

针对所述视频帧序列的每一个视频帧，分别确定该视频帧中的待检测区域内所有像素点的N个通道中每个通道值的平均值，并将所述N个通道中每个通道值的平均值确定为该帧视频帧的图像特征信息，其中N的取值为大于1的整数；或者

针对所述视频帧序列的每一个视频帧，确定该视频帧中的待检测区域内所有像素点的设定通道的值的平均值，并将所述设定通道的值的平均值确定为该帧视频帧的图像特征信息。

较佳的，所述视频帧为RGB格式，所述设定通道为R通道。

较佳的，所获得到的PPG信号为离散信号；

所述PPG信号确定单元还用于：

对所述PPG信号进行滤波，以消除所述PPG信号中的孤立数据点；

对滤波后的所述PPG信号进行平滑处理，以消除所述PPG信号的信号抖动；

对平滑后的所述PPG信号进行数据插值，以获得连续的PPG信号。

较佳的，所述心率值确定单元具体用于：

确定所述PPG信号的所有极大值点，并根据以下公式确定心率值：

$H_{\mathrm{rate}}=60\×\frac{m-l}{t_m-t_l}$

其中，H_rate表示所述PPG信号中第l个极大值点对应的时间点至第m个极大值点对应的时间点之间的心率值，t_m表示所述PPG信号中第m个极大值点对应的时间点，t_l表示所述PPG信号中第_l个极大值点对应的时间点，1≤l≤m，且l与m均为正整数。

较佳的，所述获取单元还用于：

接收终端发送的生理指标检测指令，以便根据所述生理指标检测指令获取视频帧序列；

所述心率值确定单元还用于：

向所述终端返回生理指标回复消息，所述生理指标回复消息中携带有所述心率值。

本申请实施例提供一种心率检测系统，包括：

终端，用于发送生理指标检测指令，以便心率检测装置根据所述生理指标检测指令获取视频帧序列；

所述心率检测装置，用于接收所述生理指标检测指令；获取视频帧序列；在所述视频帧序列的每一帧视频帧中，确定待检测区域；根据所述待检测区域在所述视频帧序列的每一帧视频帧中的图像数据，确定所述待检测区域在所述视频帧序列的每一帧视频帧中的图像特征信息；将所述待检测区域在所述视频帧序列中所有的图像特征信息进行降维处理，获得光电容积描记PPG信号；根据所述PPG信号确定心率值。

根据本申请实施例提供的方法、装置及系统，在获取到视频帧序列之后，在视频帧序列的每一个视频帧中确定待检测区域，并对该待检测区域进行图像特征信息提取，从而对提取到的图像特征信息进行降维处理，确定出该视频帧序列对应的PPG信号，并根据该PPG信号获得心率值。本申请实施例中，并不需要专用的医学设备、医学传感器等，只需根据视频帧序列就能确定心率值，因此，能够普及到普通家庭中。

附图说明

图1为本申请实施例提供的一种心率检测方法流程图；

图2为本申请实施例提供的一种心率检测装置结构图；

图3为本申请实施例提供的一种心率检测系统结构图。

具体实施方式

为了使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请作进一步地详细描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。

本申请实施例提供的心率检测方法可以应用于手机、机顶盒、计算机等设备，本申请实施例对此并不限定。

如图1所示，为本申请实施例提供的一种心率检测方法流程图，包括：

步骤101：获取视频帧序列；

步骤102：确定所述视频帧序列的每一个视频帧中的待检测区域；

步骤103：根据所述视频帧序列的每一个视频帧中的待检测区域内的图像数据，确定所述视频帧序列的每一个视频帧的图像特征信息；

步骤104：将所述视频帧序列中所有视频帧的图像特征信息进行降维处理，获得光电容积描记PPG信号；

步骤105：根据所述PPG信号确定心率值。

在步骤101中，获取的视频帧序列可以是从摄像头中获取的实时的视频帧序列，也可以是从存储器中获取的非实时视频帧序列，本申请实施例对此并不限定。

同时，优选的，在获取视频帧序列之前，还会接收到终端发送才触发消息，具体的，接收终端发送的生理指标检测指令，以便根据所述生理指标检测指令获取视频帧序列。该终端可以是手机、平板电脑等。

由于检测的是心率值，涉及人的隐私问题，因此终端发送的生理指标检测指令可以是经过加密的指令。这样，即使被第三方截获该生理指标检测指令，也不会造成隐私泄露。终端可以采用多种方式实现生理指标检测指令以及其他信息的加密，例如，采用RSA加密算法等。

同时终端可以先将发送的携带有心率值的消息采用Base64编码方式进行编码，然后再对编码后的消息进行加密。

在步骤102中，根据获取到的视频帧序列，在每一个视频帧中确定待检测区域。一般情况下，只要确定出的待检测区域为位于人体皮肤裸露的区域，就能根据待检测区域获得PPG(Photolethysmography，光电容积描记)信号。由于人脸一般不会被遮挡，为了实施方便，本申请实施例中通过在人脸区域确定待检测区域，从而获得PPG信号。需要说明的是，由于本领域技术人员很容易根据本申请实施例得到启示，通过在检测到人手等区域中确定待检测区域，并根据该待检测区域获得相应的PPG信号，因此这些都是本申请实施例所保护的范围。

为了在人脸中获取待检测区域，首先要检测出人脸，然后在人脸中确定待检测区域。具体的，对视频帧序列的每一个视频帧分别进行人脸区域检测，并将检测到的人脸区域中的预设区域确定为当前视频帧的待检测区域。

在本申请实施例中，可以通过多种算法检测出人脸区域，例如，使用Haar-like、LBP(Local Binary patterm，局部二值模式)等作为特征，使用Adaboost、SVM、随机森林等分类器的方法。例如，采用基于LBP为特征的AdaBoost的人脸区域检测算法的流程如下：

1)提取训练样本的图像块的LBP特征；

2)把获得的LBP特征输入AdaBoost级联分类器，进行训练；

3)提取视频帧序列中基于图像块的LBP特征；

4)把提取的视频帧序列中的基于图像块的LBP特征送入AdaBoost级联分类器分类，检测人脸区域。

需要说明的是，还有其他检测人脸区域的方法，本申请实施例对此并不限定。

在视频帧序列中检测出的人脸区域之中可能包含头发等不包含皮肤的区域，这些区域会对提取的PPG信号产生影响，因此还需要在检测出的人脸区域中选择一个区域作为待检测区域。优选的，将检测出的人脸区域中选取中间区域作为待检测区域。当然，也可以根据实际情况选择其他区域作为待检测区域。

在视频帧序列的每一个视频帧中，确定待检测区域之后，在步骤103中，确定视频帧序列的每一个视频帧的待检测区域的图像特征信息。具体的，针对视频帧序列的每一个视频帧，分别确定该视频帧中的待检测区域内所有像素点的N个通道中每个通道值的平均值，并将所述N个通道中每个通道值的平均值确定为该帧视频帧的图像特征信息，其中N的取值为大于1的整数；或者针对所述视频帧序列的每一个视频帧，确定该视频帧中的待检测区域内所有像素点的设定通道的值的平均值，并将所述设定通道的值的平均值确定为该帧视频帧的图像特征信息。

视频帧有多种格式，例如RGB格式、YUV格式、HSV格式等，此时，获得的每一个视频帧的图像特征信息可以为待检测区域的图像数据中R通道的平均值、G通道的平均值、B通道的平均值，或者可以为Y通道的平均值、U通道的平均值、V通道的平均值等，本申请对此并不限定。

人的身体伴随每次心跳，血管中的血量会周期性的变化，血管中拥有不同血量时，对可见光或红外光的反射或投射程度不同，从而造成皮肤颜色的微弱变化，并且该变化周期与心脏跳动的周期相同步。由于血液是红色的，因此皮肤颜色的变化中红色分量变化的更明显，因此，优选的，采用的视频帧为RGB格式，或者将其他格式的视频帧转换为RGB格式后，再进行提取PPG信号。

优选的，为了减少计算复杂度，在视频帧为RGB格式时，视频帧中的待检测区域内所有像素点的设定通道为R通道。

在确定了视频帧序列中每一个视频帧的图像特征信息之后，在步骤104中，通过对获取到的三维的图像特征信息进行降维处理，获得一维的PPG信号，以便进行心率值的计算。

根据不同的分类标准，数据降维有很多不同类别：根据数据的特性可以划分为线性降维和非线性降维；根据是否考虑和利用数据的监督信息可以划分为无监督降维、有监督降维和半监督降维；根据保持数据的结构可以划分为全局保持降维、局部保持降维以及全局与局部保持一致降维等。

为了在对数据进行降维之后很好的保留原有数据的特征，在本申请实施例中使用LLE(Locally Linear Embedding，局部线性嵌)入作为数据降维的方法，LLE认为一个函数在很小的局部邻域上可以近似看成欧式的，就是局部线性的。那么，在小的局部邻域上，一个点就可以用它周围的点在最小二乘意义下最优的线性表示，LLE把这个线性拟合的系数当成这个流形局部几何性质的刻画。那么一个好的低维表示，就应该也具有同样的局部几何，所以利用同样的线性表示的表达式。

本申请实施例中，采用LLE算法对图像特征信息进行降维，可以归结为以下三个步骤：

步骤一、寻找所有图像特征信息中每个图像特征信息的k个近邻点；

k是一个预先设定的值，把相对于所求图像特征信息距离最近的k个图像特征信息规定为所求图像特征信息的k个近邻点。优选的，在本申请实施例中k的取值为15，并且两个图像特征信息之间的距离使用最简单的欧式距离。

步骤二、由每个图像特征信息的k个近邻点计算出该图像特征信息的局部重建权值矩阵；

这里定义一个误差函数，如下所示：

$\min \left(\mathrm{\ϵ}\left(W\right)\right)={\mathrm{\Σ}}_{i=1}^n{|x_i-{\mathrm{\Σ}}_{j=1}^k{w}_j^i{x}_{\mathrm{ij}}|}^2$

其中，x_i表示第i个图像特征信息，x_ij表示x_i的第j个近邻点，1≤j≤k，表示的第j个近邻点与x_i之间的权重值，且n表示获取到的图像特征信息的数量。误差函数的值越小，说明局部权重矩阵重建的越好，也就是x_i越接近于

为了求得误差函数中的引入局部协方差矩阵其中的j和m分别代表x_i的k个近邻点中不同的两个近邻点，将上式与相结合，并采用拉格朗日乘子法，即可求出局部权值重建矩阵：

$w_j^i=\frac{{\mathrm{\Σ}}_{m=1}^k{\left(Q_{\mathrm{jm}}^i\right)}^{-1}}{{\mathrm{\Σ}}_{p=1}^k{\mathrm{\Σ}}_{q=1}^k{\left(Q_{\mathrm{pq}}^i\right)}^{-1}}$

步骤三、高维到低维的数据映射；

设n个高维的图像特征信息降维后获得的PPG信号记为Y，表示为：Y＝[y₁，y₂...y_n]，则在高维空间的权重矩阵在低维空间仍可以表示数据点之间的关系，则映射条件满足如下损失函数：

$\min \left(\mathrm{\ϵ}\left(W\right)\right)={\mathrm{\Σ}}_{i=1}^n{|x_i-{\mathrm{\Σ}}_{j=1}^k{w}_j^i{x}_{\mathrm{ij}}|}^2$

其中已求得，ε(Y)为损失函数值，y_i是x_i的输出向量，y_ij是y_i的k个近邻点，且要满足以下两个条件：

${\mathrm{\Σ}}_{i=1}^n{y}_i=\mathrm{0,1}/n{\mathrm{\Σ}}_{i=1}^n{y}_i{y}_i^T=I$

其中，I是d×d的单位矩阵，d的值根据实际情况选取。

可以将上述损失函数化简为：

$\min \left(\mathrm{\ϵ}\left(Y\right)\right)={\mathrm{\Σ}}_{i=1}^n{\mathrm{\Σ}}_{j=1}^n{M}_{\mathrm{ij}}{y}_i^T{y}_i$

其中，M是一个n×n的对称矩阵，其表达式为:M＝(I-W)^T(I-W)。

要使损失函数值达到最小,则取Y为M的最小m个非零特征值所对应的特征向量。在处理过程中，将M的特征值从小到大排列，第一个特征值几乎接近于零，那么舍去第一个特征值。通常取第2个特征值至第m+1个特征值间的特征值所对应的特征向量作为输出结果。

经过LLE方法获得的PPG信号为离散信号，虽然已经大致可以表示出生理指标的一些周期性特征，但是还是存在一些孤立数据点与噪声，为了获取更准确的数据，需要对获得的PPG信号做相关的后处理，包括：

一、对PPG信号进行滤波，以消除所述PPG信号中的孤立数据点；

孤立数据点可以理解成在数据中跟其他数据差异巨大的点。很多时候是由于噪声或者其他跟真实数据不相关的数据引入的。它的存在会造成一些整体数据指标的便宜，导致最终结果不准确。所以一般情况下在数据处理前需要对孤立数据点数据进行检测并且去除。

根据检测孤立数据点方法的不同，大致可分为：基于统计的孤立数据点检测算法、基于距离的孤立数据点检测算法、基于密度的孤立数据点检测算法、基于关联的孤立数据点检测算法等。在本申请实施例中孤立数据点的计算方法如下：

1)计算所有PPG信号数据点的平均值: 为平均值，n为PPG信号中数据点个数，y_i为PPG信号中第i个数据点，i为正整数，且1≤i≤n；

2)将PPG信号中数据点的幅值是N倍平均值以上的数据点作为PPG信号中的孤立数据点，即则认为y_m为孤立数据点，m为正整数，且1≤m≤n，一般N取值范围为3≤i≤6；

3)在去除了孤立数据点的时间轴位置上，使用以下公式将孤立数据点更新为新的值：

$y_m=\frac{1}{2}\×(y_{m+1}+y_{m-1})$

二、对滤波后的PPG信号进行平滑处理，以消除所述PPG信号的信号抖动；

消除孤立数据点后的PPG信号还会在小范围内存在数据抖动，为了消除这种数据抖动，本申请实施例中使用以下公式对PPG信号进行平滑：

$y_m=\frac{1}{4}\×(y_{m+1}+y_{m-1})+\frac{1}{8}\×(y_{m+2}+y_{m-2})$

三、对平滑后的PPG信号进行数据插值，以获得连续的PPG信号。

去除了孤立数据点并且进行过平滑后的PPG信号，还是属于离散信号。为了发现血容积脉搏脉冲的连续变化状况，需要使用数据插值的方法，把离散的PPG信号，转化为连续的PPG信号。一般常用的方法有：最小二乘，拉格朗日插值法，牛顿插值法，三次样条插值等。在本申请实施例中使用三次样条插值作为离散函数连续化的具体方法，插值后的连续PPG信号关于时间t的函数为Y(t)。

最后，在步骤105中，根据获得的PPG信号确定心率值。

具体的，先确定PPG信号的所有极大值点，可以通过对PPG信号进行一阶求导，获得：Y’(t)，然后求取一阶导数中的极大值点：max(Y’(t))，并记录一阶导数中的极大值点对应的时间戳。由于极大值点之间的时间间隔可以作为心脏搏动的间隔，因此可以将计算心率值转化为计算PPG信号中极大值出现的频率。具体的，可以根据以下公式确定心率值：

$H_{\mathrm{rate}}=60\×\frac{m-l}{t_m-t_l}$

其中，H_rate表示所述PPG信号中第l个极大值点对应的时间点至第m个极大值点对应的时间点之间的心率值，t_m表示所述PPG信号中第m个极大值点对应的时间点，t_l表示所述PPG信号中第_l个极大值点对应的时间点，1≤l≤m，且l与m均为正整数。

为了使检测的结果比较稳定，先获取15秒的视频帧序列作为初始样本，即在这15秒内，只获取每一个视频帧的视频特征信息，不进行心率值的检测。从视频帧序列的第16秒开始，每次读取15秒的数据作为输入，在不同的帧率下，获取的视频帧的数量可能不同。为了获得连续的检测结果，并且每1s更新一次检测结果，确定出当前检测时间点之前15秒内，PPG信号中所包含的所有极大值点之间的平均时间间隔然后将计算出的当前检测时间点之前15秒内的心率值作为当前检测时间点的心率值。

优选的，根据获得的心率值生成携带有所述心率值的生理指标回复消息，并发送给终端。生理指标回复消息中涉及个人隐私的字段可以采用加密算法进行加密，然后采用Base64编码方式对生理指标回复消息进行编码后发送，例如，可以将包含心率值等字段进行加密。

下面通过具体的实施例来描述检测心率值的过程。

步骤一、终端发送生理指标检测指令给心率检测装置，以便心率检测装置根据所述生理指标检测指令获取视频帧序列。

该生理指标检测指令可以通过以下步骤生成：1、使用终端和心率检测装置共有的公钥对生理指标检测指令中的关键字使用RSA算法进行加密，然后添加其他字段组成完整的生理指标检测指令；2、采用Base64编码方式对生理指标检测指令进行编码。需要说明的是，加密算法可以采用其他算法，对此并不限定，同时编码方式也可以采用其他编码方式。

该终端可以是手机、平板电脑等设备，心率检测装置可以为机顶盒等设备。

步骤二、心率检测装置根据接收到的生理指标检测指令获取视频帧序列，并确定获取到的视频帧序列的每一个视频帧中的待检测区域。

具体的，心率检测装置检测视频帧序列的每一个视频帧中是否包含人脸区域，检测的算法可以采用基于LBP为特征的AdaBoost人脸区域检测算法；然后，心率检测装置将检测到的人脸区域中的预设区域作为待检测区域，优选的，为了避免人脸区域中头发等干扰，将人脸区域中的中间区域作为待检测区域。

步骤三、心率检测装置确定视频帧序列的每一个视频帧的图像特征信息。

以视频帧序列为RGB格式为例，心率检测装置根据每一个视频帧中待检测区域的图像数据，确定每一个视频帧中待检测区域的图像数据的R通道的平均值、G通道的平均值、B通道的平均值，从而确定出该视频帧的视频特征信息。例如，对于第i个视频帧，其R通道的平均值为x_i(r)、G通道的平均值为x_i(g)、B通道的平均值为x_i(b)，则将第i帧的视频特征信息记为：x_i＝[x_i(r)，x_i(g)，x_i(b)]。当然，视频序列为其他格式，例如YUV格式，可以确定第i帧的Y通道的平均值为x_i(y)、U通道的平均值为x_i(u)、V通道的平均值为x_i(v)，则第i帧的视频特征信息为：x_i＝[x_i(y),x_i(u),x_i(v)]。

步骤四、将视频帧序列中所有视频帧的图像特征信息进行降维处理，获得PPG信号。

通过LLE将所有视频帧的图像特征信息进行降维处理，获得PPG信号。为了获得较准确的心率检测结果，还需要对PPG信号进行滤波，以消除所述PPG信号中的孤立数据点；对滤波后的PPG信号进行平滑处理，以消除所述PPG信号的信号抖动；对平滑后的PPG信号进行数据插值，以获得连续的PPG信号。

步骤五、根据PPG信号确定心率值。

对PPG信号进行一阶求导，获得极大值点，并根据以下公式确定心率值：

$H_{\mathrm{rate}}=60\×\frac{m-l}{t_m-t_l}$

其中，H_rate表示所述PPG信号中第l个极大值点对应的时间点至第m个极大值点对应的时间点之间的心率值，t_m表示所述PPG信号中第m个极大值点对应的时间点，t_l表示所述PPG信号中第_l个极大值点对应的时间点，1≤l≤m，且l与m均为正整数。

步骤六、将计算出的心率值发送给终端。

具体的，向终端返回携带有心率值的生理指标回复消息。该生理指标回复消息中关于心率值等涉及个人隐私的字段采用RSA等加密算法加密，并采用Base64编码方式对生理指标回复消息进行编码。

针对上述方法流程，本申请实施例还提供一种心率检测装置，该装置的具体内容可以参照上述方法实施，在此不再赘述。

如图2所示，本申请实施例提供一种心率检测装置结构图，该装置包括：

获取单元201，用于获取视频帧序列；

待检测区域确定单元202，用于确定所述视频帧序列的每一个视频帧中的待检测区域；

图像特征信息确定单元203，用于根据所述视频帧序列的每一个视频帧中的待检测区域内的图像数据，确定所述视频帧序列的每一个视频帧的图像特征信息；

PPG信号确定单元204，用于将所述视频帧序列中所有视频帧的图像特征信息进行降维处理，获得光电容积描记PPG信号；

心率值确定单元205，用于根据所述PPG信号确定心率值。

较佳的，所述待检测区域确定单元202具体用于：

对所述视频帧序列的每一个视频帧分别进行人脸区域检测，并将检测到的人脸区域中的预设区域确定为当前视频帧的待检测区域。

较佳的，所述图像特征信息确定单元203具体用于：

针对所述视频帧序列的每一个视频帧，分别确定该视频帧中的待检测区域内所有像素点的N个通道中每个通道值的平均值，并将所述N个通道中每个通道值的平均值确定为该帧视频帧的图像特征信息，其中N的取值为大于1的整数；或者

针对所述视频帧序列的每一个视频帧，确定该视频帧中的待检测区域内所有像素点的设定通道的值的平均值，并将所述设定通道的值的平均值确定为该帧视频帧的图像特征信息。

较佳的，所述视频帧为RGB格式，所述设定通道为R通道。

较佳的，所获得到的PPG信号为离散信号；

所述PPG信号确定单元204还用于：

对所述PPG信号进行滤波，以消除所述PPG信号中的孤立数据点；

对滤波后的所述PPG信号进行平滑处理，以消除所述PPG信号的信号抖动；

对平滑后的所述PPG信号进行数据插值，以获得连续的PPG信号。

较佳的，所述心率值确定单元205具体用于：

确定所述PPG信号的所有极大值点，并根据以下公式确定心率值：

$H_{\mathrm{rate}}=60\×\frac{m-l}{t_m-t_l}$

其中，H_rate表示所述PPG信号中第l个极大值点对应的时间点至第m个极大值点对应的时间点之间的心率值，t_m表示所述PPG信号中第m个极大值点对应的时间点，t_l表示所述PPG信号中第_l个极大值点对应的时间点，1≤l≤m，且l与m均为正整数。

较佳的，所述获取单元201还用于：

接收终端发送的生理指标检测指令，以便根据所述生理指标检测指令获取视频帧序列；

所述心率值确定单元205还用于：

向所述终端返回生理指标回复消息，所述生理指标回复消息中携带有所述心率值。

针对上述方法流程，本申请实施例还提供一种心率检测系统，该系统的具体内容可以参照上述方法实施，在此不再赘述。

如图3所示，本申请实施例提供一种心率检测系统，包括：

终端301，用于发送生理指标检测指令，以便心率检测装置302根据所述生理指标检测指令获取视频帧序列；

所述心率检测装置302，用于接收所述生理指标检测指令；获取视频帧序列；在所述视频帧序列的每一帧视频帧中，确定待检测区域；根据所述待检测区域在所述视频帧序列的每一帧视频帧中的图像数据，确定所述待检测区域在所述视频帧序列的每一帧视频帧中的图像特征信息；将所述待检测区域在所述视频帧序列中所有的图像特征信息进行降维处理，获得光电容积描记PPG信号；根据所述PPG信号确定心率值。

综上所述，根据本申请实施例提供的方法、装置及系统，在获取到视频帧序列之后，在视频帧序列的每一个视频帧中确定待检测区域，并对该待检测区域进行图像特征信息提取，从而对提取到的图像特征信息进行降维处理，确定出该视频帧序列对应的PPG信号，并根据该PPG信号获得心率值。本申请实施例中，并不需要专用的医学设备、医学传感器等，只需根据视频帧序列就能确定心率值，因此，能够普及到普通家庭中。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本发

明的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (15)

1.一种心率检测方法，其特征在于，包括：

获取视频帧序列；

确定所述视频帧序列的每一个视频帧中的待检测区域；

根据所述视频帧序列的每一个视频帧中的待检测区域内的图像数据，确定所述视频帧序列的每一个视频帧的图像特征信息；

将所述视频帧序列中所有视频帧的图像特征信息进行降维处理，获得光电容积描记PPG信号；

根据所述PPG信号确定心率值。

2.如权利要求1所述的方法，其特征在于，所述确定所述视频帧序列的每一个视频帧中的待检测区域，包括：

对所述视频帧序列的每一个视频帧分别进行人脸区域检测，并将检测到的人脸区域中的预设区域确定为当前视频帧的待检测区域。

3.如权利要求1所述的方法，其特征在于，所述根据所述视频帧序列的每一个视频帧中的待检测区域内的图像数据，确定所述视频帧序列的每一个视频帧的图像特征信息，包括：

针对所述视频帧序列的每一个视频帧，分别确定该视频帧中的待检测区域内所有像素点的N个通道中每个通道值的平均值，并将所述N个通道中每个通道值的平均值确定为该帧视频帧的图像特征信息，其中N的取值为大于1的整数；或者

针对所述视频帧序列的每一个视频帧，确定该视频帧中的待检测区域内所有像素点的设定通道的值的平均值，并将所述设定通道的值的平均值确定为该帧视频帧的图像特征信息。

4.如权利要求3所述的方法，其特征在于，所述视频帧为RGB格式，所述设定通道为R通道。

5.如权利要求1所述的方法，其特征在于，所获得到的PPG信号为离散信号；

所述将所述视频帧序列中所有视频帧的图像特征信息进行降维处理，获得PPG信号之后，还包括：

对所述PPG信号进行滤波，以消除所述PPG信号中的孤立数据点；

对滤波后的所述PPG信号进行平滑处理，以消除所述PPG信号的信号抖动；

对平滑后的所述PPG信号进行数据插值，以获得连续的PPG信号。

6.如权利要求1所述的方法，其特征在于，所述根据所述PPG信号确定心率值，包括：

确定所述PPG信号的所有极大值点，并根据以下公式确定心率值：

$H_{\mathrm{rate}}=60\×\frac{m-l}{t_m-t_l}$

其中，H_rate表示所述PPG信号中第l个极大值点对应的时间点至第m个极大值点对应的时间点之间的心率值，t_m表示所述PPG信号中第m个极大值点对应的时间点，t_l表示所述PPG信号中第_l个极大值点对应的时间点，1≤l≤m，且l与m均为正整数。

7.如权利要求1至6中任一项所述的方法，其特征在于，所述获取视频帧序列之前，还包括：

接收终端发送的生理指标检测指令，以便根据所述生理指标检测指令获取视频帧序列；

所述根据所述PPG信号确定心率值之后，还包括：

向所述终端返回生理指标回复消息，所述生理指标回复消息中携带有所述心率值。

8.一种心率检测装置，其特征在于，包括：

获取单元，用于获取视频帧序列；

待检测区域确定单元，用于确定所述视频帧序列的每一个视频帧中的待检测区域；

图像特征信息确定单元，用于根据所述视频帧序列的每一个视频帧中的待检测区域内的图像数据，确定所述视频帧序列的每一个视频帧的图像特征信息；

PPG信号确定单元，用于将所述视频帧序列中所有视频帧的图像特征信息进行降维处理，获得光电容积描记PPG信号；

心率值确定单元，用于根据所述PPG信号确定心率值。

9.如权利要求8所述的装置，其特征在于，所述待检测区域确定单元具体用于：

对所述视频帧序列的每一个视频帧分别进行人脸区域检测，并将检测到的人脸区域中的预设区域确定为当前视频帧的待检测区域。

10.如权利要求8所述的装置，其特征在于，所述图像特征信息确定单元具体用于：

针对所述视频帧序列的每一个视频帧，分别确定该视频帧中的待检测区域内所有像素点的N个通道中每个通道值的平均值，并将所述N个通道中每个通道值的平均值确定为该帧视频帧的图像特征信息，其中N的取值为大于1的整数；或者

针对所述视频帧序列的每一个视频帧，确定该视频帧中的待检测区域内所有像素点的设定通道的值的平均值，并将所述设定通道的值的平均值确定为该帧视频帧的图像特征信息。

11.如权利要求10所述的装置，其特征在于，所述视频帧为RGB格式，所述设定通道为R通道。

12.如权利要求8所述的装置，其特征在于，所获得到的PPG信号为离散信号；

所述PPG信号确定单元还用于：

对所述PPG信号进行滤波，以消除所述PPG信号中的孤立数据点；

对滤波后的所述PPG信号进行平滑处理，以消除所述PPG信号的信号抖动；

对平滑后的所述PPG信号进行数据插值，以获得连续的PPG信号。

13.如权利要求8所述的装置，其特征在于，所述心率值确定单元具体用于：

确定所述PPG信号的所有极大值点，并根据以下公式确定心率值：

$H_{\mathrm{rate}}=60\×\frac{m-l}{t_m-t_l}$

其中，H_rate表示所述PPG信号中第l个极大值点对应的时间点至第m个极大值点对应的时间点之间的心率值，t_m表示所述PPG信号中第m个极大值点对应的时间点，t_l表示所述PPG信号中第_l个极大值点对应的时间点，1≤l≤m，且l与m均为正整数。

14.如权利要求8至13中任一项所述的装置，其特征在于，所述获取单元还用于：

接收终端发送的生理指标检测指令，以便根据所述生理指标检测指令获取视频帧序列；

所述心率值确定单元还用于：

向所述终端返回生理指标回复消息，所述生理指标回复消息中携带有所述心率值。

15.一种心率检测系统，其特征在于，包括：

终端，用于发送生理指标检测指令，以便心率检测装置根据所述生理指标检测指令获取视频帧序列；

所述心率检测装置，用于接收所述生理指标检测指令；获取视频帧序列；在所述视频帧序列的每一帧视频帧中，确定待检测区域；根据所述待检测区域在所述视频帧序列的每一帧视频帧中的图像数据，确定所述待检测区域在所述视频帧序列的每一帧视频帧中的图像特征信息；将所述待检测区域在所述视频帧序列中所有的图像特征信息进行降维处理，获得光电容积描记PPG信号；根据所述PPG信号确定心率值。