CN114081464B - 心率检测方法、装置和电子设备 - Google Patents

Abstract

本发明提供了一种心率检测方法、装置和电子设备，涉及电子设备应用技术领域，该方法包括：当电子设备上的心率检测功能启动时，控制显示屏上的指纹采集区域显示目标光斑；获取至少一组手指图像序列；其中，手指图像序列为指纹模组对指纹采集区域上方的手指进行图像采集，得到的多个手指图像所组成；对手指图像序列中的手指图像进行预处理，得到手指图像序列对应的心率波形信号；对心率波形信号进行自相关运算，得到手指图像序列对应的心率间隔；根据手指图像序列对应的心率间隔确定心率检测结果。通过本发明，在不增加新硬件的基础上扩展电子设备的功能，能够实现心率检测。

Description

心率检测方法、装置和电子设备

技术领域

本发明涉及电子设备应用技术领域，尤其是涉及一种心率检测方法、装置和电子设备。

背景技术

随着电子设备功能的提升和人们对健康的重视越来越高，心跳作为人体最重要的一项特征指标，其检测功能逐渐成为当下高端电子设备的必备功能。当前心率检测方案主要分为心电信号法和光电法，通常可穿戴设备和移动终端中采用反射式的光电法进行心率检测。

现有移动终端中通常需要额外增加心率检测模块或传感器，通过心率检测模块或传感器检测用户受检部位反射的光信号，通过将光信号转换为电信号进而确定用户的心率，这种实现方式，造成移动终端的成本和体积增大。

发明内容

有鉴于此，本发明的目的在于提供一种心率检测方法、装置和电子设备，以在不增加新硬件的基础上扩展电子设备的功能，实现心率检测。

第一方面，本发明实施例提供了一种心率检测方法，所述方法应用于电子设备，所述电子设备包括显示屏和设置在所述显示屏下用于识别指纹的指纹模组，所述方法包括：当所述电子设备上的心率检测功能启动时，控制所述显示屏上的指纹采集区域显示目标光斑；获取至少一组手指图像序列；其中，所述手指图像序列为所述指纹模组对所述指纹采集区域上方的手指进行图像采集，得到的多个手指图像所组成；对所述手指图像序列中的手指图像进行预处理，得到所述手指图像序列对应的心率波形信号；对所述心率波形信号进行自相关运算，得到所述手指图像序列对应的心率间隔；根据所述手指图像序列对应的心率间隔确定心率检测结果。

作为一种可能的实施方式，上述控制所述显示屏上的指纹采集区域显示目标光斑的步骤，包括：控制所述显示屏上的指纹采集区域的光斑为绿色光斑。

作为一种可能的实施方式，上述获取至少一组手指图像序列的步骤，包括：检测所述指纹采集区域是否有按压事件；如果有，通过所述指纹模组采集所述指纹采集区域的手指图像，得到至少一组手指图像序列。

作为一种可能的实施方式，上述对所述手指图像序列中的手指图像进行预处理，得到所述手指图像序列对应的心率波形信号的步骤，包括：对所述手指图像序列中的手指图像进行亮度值提取，根据提取得到的亮度值将所述手指图像序列转换为亮度值序列；根据所述亮度值序列确定所述手指图像序列对应的心率波形信号。

作为一种可能的实施方式，上述根据所述亮度值序列确定所述手指图像序列对应的心率波形信号的步骤，包括：根据目标心跳频率区间，对所述亮度值序列进行降噪滤波处理，得到亮度值优化序列；对所述亮度值优化序列进行插值处理，得到所述手指图像序列对应的心率波形图。

作为一种可能的实施方式，上述方法还包括：根据所述亮度值序列判断所述手指图像序列的图像质量是否满足预设的质量要求；如果是，执行所述对所述心率波形信号进行自相关运算的步骤；如果否，结束当前的心率检测。

作为一种可能的实施方式，上述根据所述亮度值序列判断所述手指图像序列的图像质量是否满足预设的质量要求的步骤，包括：获取所述亮度值序列对应的拟合直线；基于预设的阈值目标函数确定所述拟合直线对应的距离最小值；如果所述距离最小值大于预设阈值，确定所述手指图像序列的图像质量满足预设的质量要求。

作为一种可能的实施方式，上述基于预设的阈值目标函数确定所述拟合直线对应的距离最小值的步骤，包括：通过下述预设的阈值目标函数确定所述拟合直线对应的距离最小值：L＝a*a*E(x*x)+b*b*E(y*y)+c*c+2*a*b*E(x*y)+2*a*c*E(x)+2*b*c*E(y)；其中，x是所述拟合直线中的亮度值对应的信号序号，y所述拟合直线中的亮度值；E(x)是x对应的期望值；a、b、c为所述拟合直线对应的参数。

作为一种可能的实施方式，上述心率波形信号为心率波形图，所述心率波形图的横坐标为所述手指图像序列中的手指图像标识，纵坐标为所述手指图像标识对应的手指图像的亮度值；对所述心率波形信号进行自相关运算，得到所述手指图像序列对应的心率间隔的步骤，包括：对所述心率波形图进行自相关运算，识别出所述心率波形图中每个波峰对应的手指图像标识；根据每个波峰对应的手指图像标识确定所述心率波形图中相邻波峰间的手指图像数量；根据所述心率波形图中相邻波峰间的手指图像数量确定所述手指图像序列对应的心率间隔，其中，所述心率间隔用于表征所述心率波形图中相邻波峰间的手指图像数量。

作为一种可能的实施方式，上述手指图像序列为多个，根据所述手指图像序列对应的心率间隔确定心率检测结果的步骤，包括：根据每个所述手指图像序列的心率间隔确定该手指图像序列对应的心率值；获取每个所述手指图像序列的图像质量对应的权重；基于每个所述手指图像序列的图像质量对应的权重，对所有所述手指图像序列对应的心率值进行加权平均计算，得到心率检测结果。

作为一种可能的实施方式，上述方法还包括：在所述电子设备的显示界面上显示所述心率检测结果。

第二方面，本发明实施例还提供了一种心率检测装置，所述装置用于设置在电子设备的显示屏下方，所述装置包括：光斑控制模块，用于当所述电子设备上的心率检测功能启动时，控制所述显示屏上的指纹采集区域显示目标光斑；图像获取模块，用于获取至少一组手指图像序列；其中，所述手指图像序列为手指图像采集器对所述指纹采集区域上方的手指进行图像采集，得到的多个手指图像所组成；预处理模块，用于对所述手指图像序列中的手指图像进行预处理，得到所述手指图像序列对应的心率波形信号；心率间隔获取模块，用于对所述心率波形信号进行自相关运算，得到所述手指图像序列对应的心率间隔；检测结果确定模块，用于根据所述手指图像序列对应的心率间隔确定心率检测结果。

第三方面，本发明实施例还提供了一种电子设备，所述电子设备包括：显示屏、设置在所述显示屏下用于识别指纹的指纹模组、处理设备和存储装置；所述指纹模组，用于对所述显示屏的指纹采集区域上方的手指进行图像采集；所述存储装置上存储有计算机程序，所述计算机程序在被所述处理设备运行时执行上述心率检测方法。

第四方面，本发明实施例还提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理设备运行时执行上述心率检测方法的步骤。

本发明实施例提供的上述心率检测方法、装置和电子设备，通过获取指纹模组采集到的手指图像得到手指图像序列，并对手指图像序列进行预处理处理后得到心率波形信号，以及通过对心率波形信号的自相关运算确定出心率间隔，进而得到心率检测结果。这种方式不再需要电子设备额外布设心率检测传感器或相关部件，即无需对电子设备的硬件进行修改，可以直接利用电子设备上识别指纹的指纹模组采集的手指图像，在手指图像的基础上实现心率检测，扩展了电子设备的功能，降低了电子设备的成本。

本公开的其他特征和优点将在随后的说明书中阐述，或者，部分特征和优点可以从说明书推知或毫无疑义地确定，或者通过实施本公开的上述技术即可得知。

为使本公开的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的移动终端的外观示意图；

图2为本发明实施例提供的一种电子设备的结构示图；

图3为本发明实施例提供的一种心率检测方法的流程图；

图4为本发明实施例提供的心脏跳动与图像亮度变化关系的示意图；

图5为本发明实施例提供的另一种心率检测方法的流程图；

图6为本发明实施例提供的心率检测的方法流程示意图；

图7为本发明实施例提供的心率波形图的示意图；

图8为本发明实施例提供的一种心率检测装置的结构示意图；

图9为本发明实施例提供的另一种心率检测装置的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

目前电子设备(如手机、平板电脑、笔记本计算机、台式机、游戏终端、门禁设备等)上通常配置有指纹模组，用以解锁屏幕或者在支付等安全性要求较高的应用场景下，进行指纹识别认证等，若想通过电子设备进行心率检测，需要在电子设备上单独布设心率传感器等硬件设备，导致电子设备硬件成本增加，体积增大。基于此，本发明实施例提供的一种心率检测方法、电子设备和电子系统，可以利用电子设备上已有的指纹模组实现心率检测，扩展了电子设备的功能。

为便于对本实施例进行理解，以上述电子设备移动终端为例，参见图1所示的一种移动终端的外观示意图，其中，位于移动终端下部的方框为手指按压区域，也称为指纹采集区域，该区域位于移动终端的显示屏上，该指纹采集区域与移动终端的指纹模组相对应，指纹模组或者显示屏下的触控传感单元可以监听到手指按压事件，在有手指按压事件发生时，指纹模组可以采集手指图像。本实施例中的移动终端的屏幕通常为触摸屏，通过作用在触摸屏的手指触控操作可以实现其它功能。

参照图2所示的电子设备的结构示意图。该电子设备可以用于实现本发明实施例的心率检测方法。如图2所示，电子设备100包括一个或多个处理设备102、指纹模组103、一个或多个存储装置104、输入装置106、输出装置108以及一个或多个图像采集设备110，这些组件通过总线系统112和/或其它形式的连接机构(未示出)互连。应当注意，图2所示的电子设备100的组件和结构只是示例性的，而非限制性的，根据需要，电子系统也可以具有其他组件和结构。

处理设备102可以为智能终端，或者是包含中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元的设备，可以对电子设备100中的其它组件的数据进行处理，还可以控制电子设备100中的其它组件以执行心率检测的功能。

指纹模组103用于采集指纹采集区域的手指图像，将采集到的手指图像传输给处理设备102或存储于存储装置104中供处理设备102读取使用，以进行心率检测。

存储装置104可以包括一个或多个计算机程序产品，计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在计算机可读存储介质上可以存储一个或多个计算机程序指令，处理设备102可以运行程序指令，以实现下文的本发明实施例中(由处理设备实现)的客户端功能以及/或者其它期望的功能。在计算机可读存储介质中还可以存储各种应用程序和各种数据，例如应用程序使用和/或产生的各种数据等。

输入装置106可以是用户用来输入指令的装置，并且可以包括键盘、鼠标、麦克风和触摸屏等中的一个或多个。

输出装置108可以向外部(例如，用户)输出各种信息(例如，图像或声音)，并且可以包括显示器、扬声器等中的一个或多个。

图像采集设备110可以包括一个或多个摄像头，用于采集图像，实现拍照或者录像功能，并且可以将采集到的图像存储在存储装置104中以供其它组件使用。

示例性地，用于实现根据本发明实施例的心率检测和电子设备中的各器件可以集成设置，也可以分散设置，诸如将处理设备102、存储装置104、输入装置106和输出装置108集成设置于一体，而将图像采集设备110设置于可以采集到图像的指定位置。当上述电子设备中的各器件集成设置时，该电子设备可以被实现为诸如智能手机、平板电脑、游戏终端、车载终端等移动终端，以及诸如台式机或门禁设备等终端设备。

基于上述电子设备，本实施例提供了一种心率检测方法，该方法应用于上述电子设备，该电子设备包括显示屏和设置在所述显示屏下用于识别指纹的指纹模组，参见图3所示的心率检测方法的流程图，该方法包括以下步骤：

步骤S302，当电子设备上的心率检测功能启动时，控制显示屏上的指纹采集区域显示目标光斑。

指纹采集区域的光斑可以通过指纹模组控制，也可以在电子设备检测到用户触发电子设备上的心率检测功能按键(该按键可以是实际的功能按键，也可以是应用程序的图标对应的虚拟按键)或者检测到用户在显示屏上执行特定手势操作时，触控面板通知电子设备的控制单元，由该控制单元启动并设置指纹采集区域显示目标光斑。

上述心率检测功能可以是电子设备上独立的应用程序(APP)，也可以是某个应用中的一个子功能，例如：在电子设备上可以安装心率检测APP，当需要进行心率检测时，用户打开该APP，电子设备则可以监听到心率检测功能启动，可以通过电子设备上的控制单元或指纹模组设置上述指纹采集区域显示目标光斑。

本实施例将指纹采集区域(即指纹模组采集图像对应的区域)称为光斑，该光斑与手机背光不同。因为人体血液为红色，所以纯绿色的光斑发出的绿光更利于被血液中血红蛋白吸收，采集图像质量更好，因此上述目标光斑为绿色光斑。当然，如果对检测精度要求不高，上述目标光斑也可以为黄色光斑或者其它颜色的光斑。基于此，控制显示屏上的指纹采集区域显示目标光斑的步骤，可以包括：控制显示屏上的指纹采集区域的光斑为绿色光斑。这样在电子设备启动心率检测功能后，将该光斑设置为纯绿色，以提升心率检测的准确性。

步骤S304，获取至少一组手指图像序列；其中，该手指图像序列为指纹模组对指纹采集区域上方的手指进行图像采集，得到的多个手指图像所组成。

本实施例中，以通过指纹模组控制显示屏上的指纹采集区域显示目标光斑为例，显示屏可以按照预先设定的固定频率点亮上述光斑，以实现曝光效果，再连续采集手指图像，每采集一个手指图像，就将其添加至图像队列中，该图像队列中的手指图像可以是按照采集先后顺序排列存储，将指定个连续采集的手指图像组成手指图像序列。

本实施例中，多个手指图像序列中的手指图像可以有部分重合的图像，也可以相互独立，以连续采集到20个手指图像为例，其中，前10个手指图像可以组成第一手指图像序列，第2至11个手指图像可以组成第二手指图像序列，以此类推。或者，每五个间隔重起一组(即相邻手指图像序列的首个手指图像序号间相差5)，则前10个手指图像可以组成第一手指图像序列，第6至15个手指图像组成第二手指图像序列，以此类推。或者，前10个手指图像可以组成第一手指图像序列，后10个手指图像组成第二手指图像序列。

考虑到设备成本，本实施例的指纹模组上没有单独配置光源，上述曝光是指指纹模组通过指令点亮上述光斑达到曝光的效果。上述连续采集手指图像可以是采集完一张手指图像后，紧接着就采集下一张手指图像，采集手指图像的频率可以是固定值，也可以不是固定值。对于采集频率不是固定值的情况，可以在采集手指图像时，记录每张手指图像的采集时刻，以供计算心率数值时使用。

步骤S306，对手指图像序列中的手指图像进行预处理，得到手指图像序列对应的心率波形信号。

考虑到每次心跳带来的血液流动，在人体皮肤组织的微血管中形成周期性的变化，从而对吸收或反射光也会有一个周期性的信号，参见图4所示的心脏跳动与图像亮度变化关系的示意图，其中，心脏跳动，则血流量增多，手指对光线吸收增多，导致图像变暗。而心脏停息，血流量减少，手指对光线吸收减少，图像变亮。根据图4的分析可知，手指图像的亮度信息能够反应心脏的跳动与否，因此，上述对手指图像进行预处理的步骤，可以包括：

(1)对手指图像序列中的手指图像进行亮度值提取，根据提取得到的亮度值将手指图像序列转换为亮度值序列；

具体实现时，可以通过指纹模组内自带的光学传感器读取手指图像中每个像素点(pixel)对应的码值，这个码值大小就是每个像素点的亮度值。考虑到手指图像中心位置受干扰较少，信号比较稳定，因此可以选择手指图像中心位置的亮度值或者中心区域(如包含该中心位置的指定区域)的亮度均值代表该手指图像的亮度值，这样就可以将手指图像序列转换为亮度值序列。

(2)根据亮度值序列确定该手指图像序列对应的心率波形信号。其中，该心率波形信号为亮度值序列中能够反应心率信息的信号。

步骤S308，对上述心率波形信号进行自相关运算，得到手指图像序列对应的心率间隔。

上述自相关运算是得到一个时刻的值与另一时刻值的依赖关系(并不一定是相邻时刻)，对上述心率波形信号进行自相关运算具体指一张手指图像对应的亮度值与另一张手指图像对应的亮度值间的依赖关系。通过自相关运算想得到最相邻两次心跳之间的间隔，所以在这里使用自相关就是为了得到一次心跳与上一次心跳是不是相邻(换句话说就是找到最依赖最靠近的两个心跳)，确定出心率波形信号中的相邻心跳后，即可得到两次相邻心跳的心率间隔，该心率间隔以两次相邻心跳间的手指图像数量表示。

步骤S310，根据手指图像序列对应的心率间隔确定心率检测结果。

本实施例的心率检测结果可以是每个心率间隔对应的心率值，心率值bpm＝60/(i*t)，其中，i指两次心跳间指纹模组采集到的手指图像数量，即上述心率间隔，t为该心率间隔对应的平均采图间隔，平均采图间隔可以基于心率间隔对应的手指图像采样频率计算得到。i*t则是两次心跳间隔的时间，60除以(i*t)则是一分钟的心跳次数，即心率值。

本发明实施例提供的上述心率检测方法，通过获取指纹模组采集到的手指图像得到手指图像序列，并对手指图像序列进行预处理处理后得到心率波形信号，以及通过对心率波形信号的自相关运算确定出心率间隔，进而得到心率检测结果。这种方式不再需要电子设备额外布设心率检测传感器或相关部件，即无需对电子设备的硬件进行修改，可以直接利用电子设备上识别指纹的指纹模组采集的手指图像，在手指图像的基础上实现心率检测，扩展了电子设备的功能，降低了电子设备的成本。

作为一种可能的实施方式，上述获取至少一组手指图像序列的步骤，包括：检测指纹采集区域是否有按压事件；如果有，通过指纹模组采集指纹采集区域的手指图像，得到至少一组手指图像序列。如果没有，结束心率检测方法的流程或者继续检测指纹采集区域是否有按压事件。如果结束心率检测方法的流程，可以提示用户未检测到手指按压事件，或者提示用户将手指置于手指按压区域。该提示方式可以以语音方式提示，也可以在电子设备以文字提示框的显示方式提示。

上述检测指纹采集区域是否有按压事件的操作，可以通过指纹模组实现，也可以通过电子设备内的触控感应单元实现，本发明对此不进行限定。这种在进行手指图像采集的过程中，检测指纹采集区域是否有按压事件的处理方式，可以避免在没有按压事件发生时，采集非手指图像以及进行后续处理，一定程度上保证了电子设备的有效运行，节省了电子设备功耗。另外，上述检测指纹采集区域是否有按压事件的操作，还可以一定程度上防止因为用户误操作触发心率检测功能启动的情况发生。因此上述检测指纹采集区域是否有按压事件的操作，优化了电子设备的心率检测流程，节省了电子设备的功耗，而对电子设备的功耗的合理使用直接关系着电子设备的续航能力，因此该操作在改善电子设备性能上起到了不容忽视的作用。

在上述心率检测方法的基础上，本实施例还提供了另一种心率检测方法，参见图5所示的另一种心率检测方法的流程图，该方法包括以下步骤：

步骤S502，当电子设备上的心率检测功能启动时，控制电子设备的显示屏上的指纹采集区域显示目标光斑。

步骤S504，获取至少一组手指图像序列；其中，手指图像序列为电子设备的指纹模组对上述指纹采集区域上方的手指进行图像采集，得到的多个手指图像所组成。

步骤S506，对上述手指图像序列中的手指图像进行预处理，得到手指图像序列对应的心率波形信号。

步骤S508，检测上述手指图像序列的图像质量是否满足预设的质量要求；如果是，执行步骤S510，如果否，结束，即结束当前的心率检测。

本实施例手指图像序列的图像质量可以基于每个手指图像的图像质量确定，也可以根据该手指图像序列对应的亮度值序列(即由每个手指图像对应的亮度值组成的序列)确定。以基于每个手指图像的图像质量确定的方式为例，可以获取每个手指图像的平均亮度值或者中心位置一定范围内的平均亮度值，根据该亮度值的大小确定图像质量。或者，考虑到图像漏光的大小也能反应图像质量，而图像漏光与按压区域大小相关联，所以上述图像质量也可以根据每张手指图像对应的按压区域大小确定该手指图像的图像质量。如果手指按偏，则漏光较大，该图像漏光参数也较大，则图像质量较差；如果手指按得比较正，则漏光较小，则该图像漏光参数也较小，则图像质量较好。基于此，图像漏光参数可以根据手指图像中属于手指信号的图像区域的面积占整个手指图像面积的比例确定，该比例越大，图像漏光参数越小，相反，该比例越小，则图像漏光参数越大。

本实施例中，对于一个手指图像序列，如果其中一个手指图像的图像质量不符合预设的质量要求，则视为该手指图像序列的图像质量不符合预设的质量要求。

步骤S510，对上述心率波形信号进行自相关运算，得到上述手指图像序列对应的心率间隔。

步骤S512，根据上述手指图像序列对应的心率间隔确定心率检测结果。

上述步骤S502至步骤S506，以及步骤S510和步骤S512的具体实现过程，可以参考上述实施例中心率检测方法，本实施例对此不进行赘述。

本实施例的上述心率检测方法中，通过检测检测上述手指图像序列的图像质量是否满足预设的质量要求，能够保证仅在手指图像序列的图像质量比较好时，才执行心率检测功能，得到可靠的心率检测结果，保证了心率检测的有效性。同时，这种方式不再需要电子设备额外布设心率检测传感器或相关部件，即无需对电子设备的硬件进行修改，可以直接利用电子设备上识别指纹的指纹模组采集的手指图像，在手指图像的基础上实现心率检测，扩展了电子设备的功能，降低了电子设备的成本。

作为一种可能的实施方式，上述检测心跳图像序列的图像质量是否满足预设的质量要求的步骤，包括以下步骤：

(1)获取手指图像序列对应的图像质量参数；其中，图像质量参数包括图像亮度和/或图像漏光参数；

(2)根据图像质量参数计算手指图像序列对应的质量得分；以图像质量参数为图像漏光参数为例，则质量得分可以等于图像漏光参数的倒数，这样则可以在图像漏光参数较小时，说明图像质量较好，则手指图像对应的质量得分较高。

而手指图像序列对应的质量得分可以为该手指图像序列中各个手指图像对应的质量得分之和或者取该序列中手指图像的质量得分最小的作为该手指图像序列的质量得分。

(3)如果手指图像序列对应的质量得分大于预设分值，确定手指图像序列的图像质量满足预设的质量要求。

作为一种可能的实施方式，上述根据亮度值序列确定手指图像序列对应的心率波形信号的步骤，可以包括以下步骤：

(1)根据目标心跳频率区间，对亮度值序列进行降噪滤波处理，得到亮度值优化序列；

其中，将手指图像序列转变为亮度值序列，具体方式可以是：对于每张手指图像，均从该手指图像提取到的亮度信号中选择一个指定位置的亮度值或者指定区域的亮度均值作为该手指图像的亮度值，将每个手指图像以该手指图像的亮度值表示，就得到了手指图像序列对应的亮度值序列。其中，上述指定位置可以为该手指图像的中心位置。例如：手指图像序列：手指图像1、手指图像2、……、手指图像20；手指图像1的中心位置的亮度值用f1表示，手指图像2的中心位置的亮度值用f2表示，以此类推，手指图像20的中心位置的亮度值用f20表示，则亮度值序列为：f1、f2、……、f20。

通常人体心跳一般在40～160bmp之间，因此可以设定像素点的亮度对应的上下限阈值，基于该上下限阈值和图像亮度大小对亮度值序列进行降噪滤波处理，去除亮度值序列中的背景光和噪声等非心跳信号的信息。具体地，基于人体心跳一般在40～160bmp之间，则对应的心跳频率区间可以为(40/60,160/60)，即确定上下限阈值分别为40/60,160/60，滤除亮度值序列中频率低于40/60，和高于160/60的无用信号，得到亮度值优化序列。

(2)对该亮度值优化序列进行插值处理，得到上述手指图像序列对应的心率波形图。

考虑到亮度值序列中为离散点，可以采用插值算法对该亮度序列进行插值处理，得到心率波形信号，该心率波形信号可以以心率波形图的方式表示。

上述心率波形信号如果用心率波形图表示，该心率波形图的横坐标为手指图像序列中的手指图像标识(也可以称为索引标识)，纵坐标为手指图像标识对应的手指图像的亮度值。手指图像序列中的手指图像根据采集时间的先后顺序以序数作为其手指图像标识，而每个手指图像的采集时刻不同，因此在心率波形图中也可以反映出每个手指图像的采集时刻与其对应的亮度值的对应关系。

上述预处理操作主要包括滤波操作和插值操作两部分，其中，滤波操作就是通过测量背景噪声来设定阈值，对亮度值序列中存在的噪声进行滤除。插值操作是通过在两个数据之间补插一些函数来得到一个完整的心率波形图。

作为一种可能的实施方式，上述滤波操作可以针对手指图像仅执行一次，即仅对手指图像序列中新增的手指图像进行上述预处理操作。这样做有一个好处，当不同的手指图像序列中部分重叠的手指图像时，无需重复操作，仅对新加入到手指图像序列中的手指图像(即新增的手指图像)进行滤波操作，后续便可以对该手指图像序列整体做一次自相关计算，得到心率检测结果，有效提高了整体的检测速度。

如果根据该手指图像序列对应的亮度值序列确定手指图像序列对应的图像质量，可以先获取亮度值序列对应的拟合直线；基于预设的阈值目标函数确定拟合直线对应的距离最小值；如果上述距离最小值大于预设阈值，确定该手指图像序列的图像质量满足预设的质量要求。具体地，可以将亮度值序列拟合为直线：ax+by+c＝0；该亮度值序列为整个心率检测周期或检测窗口内的一小段时间内采集的手指图像对应的亮度值序列；而整个心率检测周期可以包含很多亮度值序列。再对该直线作归一化操作，即ax+by+c＝0除sqrt(a^2+b^2)得到：Ax+By+C＝0，A^2+B^2＝1，得到A、B、C和a、b、c的对应关系；基于此，采用以下阈值目标函数确定拟合直线对应的距离最小值：

L＝minsignal((|Ax+By+C|/sqrt(A^2+B^2+C^2))^2)

其中：

a(E(x*x)*E(y)-E(x*y)*E(x))+b(E(x*y)*E(y)-E(y*y)*E(x))＝1

p＝E(x*x)*E(y)-E(x*y)*E(x)

q＝E(x*y)*E(y)-E(y*y)*E(x)

b＝-sqrt(p*p/(p*p+q*q))

a＝-q/p*b

c＝-E(x)*a+E(y)*b

所以就有拟合直线对应的距离最小值：

L＝a*a*E(x*x)+b*b*E(y*y)+c*c+2*a*b*E(x*y)+2*a*c*E(x)+2*b*c*E(y)；其中，x是，y所述；E(x)是x对应的期望值；

这里，x是上述拟合直线中的亮度值对应的信号序号，相当于亮度值序列中的手指图像的标识，该标识通常以序号表示，y是拟合直线中的亮度值，即亮度值序列中的手指图像的亮度值；E(x)是x对应的期望值也是均值；a、b、c为拟合直线对应的参数。本实施例通过上述L对应的公式想要得到的目标是两个信号间的距离以及距离最小值，所以x只是一个坐标，距离L是通过两个信号坐标的序号值以及信号值来计算的。

本实施例中，以0.1作为L的预设阈值，也就是判定L的值大于0.1，就认为手指图像序列的图像质量是合格的，小于0.1就认为手指图像序列的图像质量不合格。

作为一种可能的实施方式，上述心率波形信号为心率波形图，则上述对心率波形信号进行自相关运算，得到手指图像序列对应的心率间隔的步骤，包括：对心率波形图进行自相关运算，识别出心率波形图中每个波峰对应的手指图像标识；根据每个波峰对应的手指图像标识确定心率波形图中相邻波峰间的手指图像数量；根据心率波形图中相邻波峰间的手指图像数量确定手指图像序列对应的心率间隔。其中，该心率间隔用于表征心率波形图中相邻波峰间的手指图像数量。具体地，根据心率波形图中相邻波峰间的手指图像数量确定手指图像序列对应的心率间隔的步骤，包括：对心率波形图中每两个相邻波峰间的手指图像数量依次求和，计算出心率波形图中相邻波峰间的平均手指图像数量，将该平均手指图像数量为手指图像序列对应的心率间隔。或者，根据每个相邻波峰间手指图像的图像质量确定该相邻波峰对应的权重，根据心率波形图中各个相邻波峰对应权重和手指图像数量，进行加权求和，得到该手指图像序列对应的心率间隔。这样，则可以根据手指图像序列中的相邻手指图像间的采集间隔时长和心率间隔确定手指图像序列对应的心率值，心率值bpm＝60/(i*t)，其中，i指两次心跳间指纹模组采集到的手指图像个数，即上述心率间隔，t为该心率间隔对应的采集间隔时长。i*t则是相邻两次心跳间隔的时间，60除以(i*t)则是一分钟的心跳次数，即心率值。

作为一种可能的实施方式，上述手指图像序列为多个，根据手指图像序列对应的心率间隔确定心率检测结果的步骤，包括：根据每个手指图像序列的心率间隔确定该手指图像序列对应的心率值；获取每个手指图像序列的图像质量对应的权重；基于每个手指图像序列的图像质量对应的权重，对所有手指图像序列对应的心率值进行加权平均计算，得到心率检测结果。其中，手指图像序列的图像质量的计算方式参考上述实施例，本实施例中，不同图像质量对应的权重不同，通常，图像质量与权重正相关，例如：图像质量越好，其手指图像序列对应的权重越大，否则，图像质量越差，其手指图像序列对应的权重越小。

为了更合理地进行心率检测，上述心率检测功能对应有一个检测窗口时长，即，如果手指按压在指纹采集区域，则该心率检测功能会持续一个检测窗口时长，例如：15s～20s，或者更长时间等。从理论来讲，该检测窗口时长越长越稳定，但由于是使用手机等电子设备进行检测，考虑到功耗和用户可接受程度，该检测窗口时长一般为15s～20s，具体检测窗口时长由具体设备厂商或者该心率检测应用的开发者确定。基于此，上述方法还包括：当心率检测功能启动时，开启计时器，当所述计时器的计时时长达到所述检测窗口时长时，结束当前心率检测。上述手指图像序列通常为该检测窗口时长内某一时间点之前一小段时间例如2s-4s采集到的手指图像，在整个检测窗口时长结束时，结束当前心率检测，再基于该检测窗口时长内各个手指图像序列确定最终的心率检测结果。本实施例中，最终的心率检测结果可以是所有的手指图像序列分别对应的检测结果或者上述所有手指图像序列对应的心率值进行加权平均计算得到的值。

上述检测窗口时长和采集时长应被解释为仅仅是示例性的，而不是作为限制，因此，示例性实施例的其他示例可以具有不同的值。

为了使用户更直观地读取到心率检测结果，上述方法还包括：在电子设备的显示界面上显示心率检测结果。作为一种可能的实施方式，本实施例显示的心率检测结果为上述所有手指图像序列对应的心率值进行加权平均计算得到的值。当然，显示的心率检测结果也可以根据手指图像序列的更新实时更新，或者，也可以是本次心率检测中所有的手指图像序列分别对应的检测结果。

参见图6所示的心率检测的方法流程图，该方法在上述实施例的基础上，以电子设备的处理器中配置有心率检测算法程序为例进行说明，该处理器与指纹模组连接，用于接收指纹模组采集到的手指图像序列，并基于手指图像序列确定心率检测结果。该方法包括以下步骤：

步骤S602，将手指图像序列输入处理器。

步骤S604，处理器对手指图像序列进行亮度信号提取，将手指图像序列转变为亮度值序列。

步骤S606，根据心跳对应的亮度值对提取得到的亮度值序列进行预处理操作，得到心率波形图。

其中，本步骤的预处理操作与上述实施例中的预处理操作类似，即对亮度值序列进行滤波和插值处理，得到心率波形图。参见图7所示的心率波形图的示意图，其中，横坐标为手指图像的索引标识，纵坐标为手指图像对应的亮度值，该亮度值可以以手指图像中心位置像素的亮度值表示，或者用手指图像中心位置预设范围内的像素的亮度均值表示。

步骤S608，根据上述亮度值序列对手指图像序列进行图像质量计算，得到手指图像序列对应的质量得分。这里的具体计算过程参考上述实施例，本实施例对此不进行赘述。

步骤S610，判断上述质量得分是否达到预设阈值，如果是，执行下述步骤S612，如果否，结束当前流程。

步骤S612，对心率波形图进行自相关矩阵计算，得到该心率波形图中的各个波峰所在位置。

步骤S614，根据心率波形图中的各个波峰所在位置计算两个波峰间的心率间隔，并获取两个波峰对应于手指图像优化序列中的图像片段的图像质量，根据该图像片段的图像质量确定该图像片段的权重。

步骤S616，根据两个波峰间的心率间隔确定两个波峰对应的心率值，根据各个图像片段对应的权重和上述心率值进行加权平均计算，输出心率检测结果。

上述心率检测的方法，通过电子设备的处理器中的心率检测算法程序，基于手指图像序列确定心率检测结果。该实现方式无需添加额外的手机模组或器件，利用现有屏下指纹模组采集的手指图像即可完成心率检测功能，因此该电子设备可以是普通型号的手机、也可以是中高端手机，即使在电子设备侧实现心率检测，也无需提升电子设备的硬件要求，能够比较便捷地随时随地实现心率检测，方便用户使用。

对应于上述心率检测方法，本发明实施例还提供了一种心率检测装置，所述装置用于设置在电子设备的显示屏下方，参见图8所示的心率检测装置的结构示意图；该装置包括：

光斑控制模块81，用于当所述电子设备上的心率检测功能启动时，控制所述显示屏上的指纹采集区域显示目标光斑；

图像获取模块82，用于获取至少一组手指图像序列；其中，所述手指图像序列为手指图像采集器对所述指纹采集区域上方的手指进行图像采集，得到的多个手指图像所组成；

预处理模块83，用于对所述手指图像序列中的手指图像进行预处理，得到所述手指图像序列对应的心率波形信号；

心率间隔获取模块84，用于对所述心率波形信号进行自相关运算，得到所述手指图像序列对应的心率间隔；

检测结果确定模块85，用于根据所述手指图像序列对应的心率间隔确定心率检测结果。

上述心率检测装置的各个模块可以集成设置在一个部件中，例如集成于带有手指图像采集器的指纹模组部件中。上述心率检测装置的各个模块根据实际需要，也可以布设在不同的部件中，本发明实施例对此不进行限定。

本发明实施例所提供的心率检测装置，其实现原理及产生的技术效果和前述方法实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述方法实施例中相应内容。

本实施例还提供了一种电子系统，该电子设备包括：显示屏和设置在显示屏下用于识别指纹的指纹模组、处理设备(也可以称为处理器)和存储装置；指纹模组，用于对所述显示屏的指纹采集区域上方的手指进行图像采集；存储装置上存储有计算机程序，计算机程序在被处理设备运行时执行上述心率检测方法。

本实施例还提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，计算机程序被处理设备运行时执行上述心率检测方法的步骤。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的电子系统和计算机可读存储介质的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

上述实施例对应的附图中的流程图和框图显示了根据本发明的多个实施例的电子系统、方法和计算机可读存储介质的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

参见图9所示的一种心率检测装置的结构示意图，本发明实施例还提供一种心率检测装置400，包括：处理器40，存储器41，总线42和通信接口43，处理器40、通信接口43和存储器41通过总线42连接；处理器40用于执行存储器41中存储的可执行模块，例如计算机程序。

其中，存储器41可能包含高速随机存取存储器(RAM，Random Access Memory)，也可能还包括非易失存储器(non-volatile memory)，例如至少一个磁盘存储器。通过至少一个通信接口43(可以是有线或者无线)实现该系统网元与至少一个其他网元之间的通信连接，可以使用互联网，广域网，本地网，城域网等。

总线42可以是ISA总线、PCI总线或EISA总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，图9中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。

其中，存储器41用于存储程序，处理器40在接收到执行指令后，执行程序，前述本发明实施例任一实施例揭示的流过程定义的装置所执行的方法可以应用于处理器40中，或者由处理器40实现。

处理器40可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器40中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器40可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital SignalProcessor，简称DSP)、专用集成电路(Application Specific Integrated Circuit，简称ASIC)、现场可编程门阵列(Field-Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器41，处理器40读取存储器41中的信息，结合其硬件完成上述方法的步骤。

另外，在本发明实施例的描述中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (14)

1.一种心率检测方法，其特征在于，所述方法应用于电子设备，所述电子设备包括显示屏和设置在所述显示屏下用于识别指纹的指纹模组，所述方法包括：

当所述电子设备上的心率检测功能启动时，控制所述显示屏上的指纹采集区域显示目标光斑；

获取至少一组手指图像序列；其中，所述手指图像序列为所述指纹模组对所述指纹采集区域上方的手指进行图像采集，得到的多个手指图像所组成；

对所述手指图像序列中的手指图像进行预处理，得到所述手指图像序列对应的心率波形信号，所述心率波形信号为心率波形图，所述心率波形图的横坐标为所述手指图像序列中的手指图像标识，纵坐标为所述手指图像标识对应的手指图像的亮度值；

对所述心率波形信号进行自相关运算，得到所述手指图像序列对应的相邻两次心跳的心率间隔，所述自相关运算指一个手指图像对应的亮度值与另一个手指图像对应的亮度值间的依赖关系，所述心率间隔以相邻两次心跳间的手指图像数量表示；

根据所述手指图像序列对应的心率间隔确定心率检测结果。

2.根据权利要求1所述的方法，其特征在于，控制所述显示屏上的指纹采集区域显示目标光斑的步骤，包括：

控制所述显示屏上的指纹采集区域的光斑为绿色光斑。

3.根据权利要求1所述的方法，其特征在于，获取至少一组手指图像序列的步骤，包括：

检测所述指纹采集区域是否有按压事件；

如果有，通过所述指纹模组采集所述指纹采集区域的手指图像，得到至少一组手指图像序列。

4.根据权利要求1所述的方法，其特征在于，对所述手指图像序列中的手指图像进行预处理，得到所述手指图像序列对应的心率波形信号的步骤，包括：

对所述手指图像序列中的手指图像进行亮度值提取，根据提取得到的亮度值将所述手指图像序列转换为亮度值序列；

根据所述亮度值序列确定所述手指图像序列对应的心率波形信号。

5.根据权利要求4所述的方法，其特征在于，根据所述亮度值序列确定所述手指图像序列对应的心率波形信号的步骤，包括：

根据目标心跳频率区间，对所述亮度值序列进行降噪滤波处理，得到亮度值优化序列；

对所述亮度值优化序列进行插值处理，得到所述手指图像序列对应的心率波形图。

6.根据权利要求4所述的方法，其特征在于，所述方法还包括：

根据所述亮度值序列判断所述手指图像序列的图像质量是否满足预设的质量要求；

如果是，执行所述对所述心率波形信号进行自相关运算的步骤；

如果否，结束当前的心率检测。

7.根据权利要求6所述的方法，其特征在于，根据所述亮度值序列判断所述手指图像序列的图像质量是否满足预设的质量要求的步骤，包括：

获取所述亮度值序列对应的拟合直线；

基于预设的阈值目标函数确定所述拟合直线对应的距离最小值；

如果所述距离最小值大于预设阈值，确定所述手指图像序列的图像质量满足预设的质量要求。

8.根据权利要求7所述的方法，其特征在于，基于预设的阈值目标函数确定所述拟合直线对应的距离最小值的步骤，包括：

通过下述预设的阈值目标函数确定所述拟合直线对应的距离最小值：

L＝a*a*E(x*x)+b*b*E(y*y)+c*c+2*a*b*E(x*y)+2*a*c*E(x)+2*b*c*E(y)；

其中，x是所述拟合直线中的亮度值对应的信号序号，y所述拟合直线中的亮度值；E(x)是x对应的期望值；a、b、c为所述拟合直线对应的参数。

9.根据权利要求1所述的方法，其特征在于，对所述心率波形信号进行自相关运算，得到所述手指图像序列对应的相邻两次心跳的心率间隔的步骤，包括：

对所述心率波形图进行自相关运算，识别出所述心率波形图中每个波峰对应的手指图像标识；

根据每个波峰对应的手指图像标识确定所述心率波形图中相邻波峰间的手指图像数量；

根据所述心率波形图中相邻波峰间的手指图像数量确定所述手指图像序列对应的心率间隔，其中，所述心率间隔用于表征所述心率波形图中相邻波峰间的手指图像数量。

10.根据权利要求1所述的方法，其特征在于，所述手指图像序列为多个，根据所述手指图像序列对应的心率间隔确定心率检测结果的步骤，包括：

根据每个所述手指图像序列的心率间隔确定该手指图像序列对应的心率值；

获取每个所述手指图像序列的图像质量对应的权重；

基于每个所述手指图像序列的图像质量对应的权重，对所有所述手指图像序列对应的心率值进行加权平均计算，得到心率检测结果。

11.根据权利要求1-10任一项所述的方法，其特征在于，所述方法还包括：在所述电子设备的显示界面上显示所述心率检测结果。

12.一种心率检测装置，其特征在于，所述装置用于设置在电子设备的显示屏下方，所述装置包括：

光斑控制模块，用于当所述电子设备上的心率检测功能启动时，控制所述显示屏上的指纹采集区域显示目标光斑；

图像获取模块，用于获取至少一组手指图像序列；其中，所述手指图像序列为手指图像采集器对所述指纹采集区域上方的手指进行图像采集，得到的多个手指图像所组成；

预处理模块，用于对所述手指图像序列中的手指图像进行预处理，得到所述手指图像序列对应的心率波形信号，所述心率波形信号为心率波形图，所述心率波形图的横坐标为所述手指图像序列中的手指图像标识，纵坐标为所述手指图像标识对应的手指图像的亮度值；

心率间隔获取模块，用于对所述心率波形信号进行自相关运算，得到所述手指图像序列对应的相邻两次心跳的心率间隔，所述自相关运算指一个手指图像对应的亮度值与另一个手指图像对应的亮度值间的依赖关系，所述心率间隔以相邻两次心跳间的手指图像数量表示；

检测结果确定模块，用于根据所述手指图像序列对应的心率间隔确定心率检测结果。

13.一种电子设备，其特征在于，所述电子设备包括：显示屏、设置在所述显示屏下用于识别指纹的指纹模组、处理设备和存储装置；

所述指纹模组，用于对所述显示屏的指纹采集区域上方的手指进行图像采集；

所述存储装置上存储有计算机程序，所述计算机程序在被所述处理设备运行时执行如权利要求1至11任一项所述的心率检测方法。

14.一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，其特征在于，所述计算机程序被处理设备运行时执行如权利要求1至11任一项所述的心率检测方法的步骤。

Images