CN114863399A - 一种生理状态检测方法、装置、电子设备及存储介质 - Google Patents

Abstract

本公开提供了一种生理状态检测方法、装置、电子设备及存储介质，其中，该方法包括：获取摄像设备采集的视频流；从视频流中的多帧图像中提取目标对象的多帧脸部图像；确定脸部图像中的至少一个平滑区域；对每一个平滑区域，根据多帧脸部图像中平滑区域的至少一个颜色通道的像素亮度信息生成平滑区域对应的时域亮度信号；基于每个平滑区域的面积，对至少一个平滑区域对应的时域亮度信号进行加权处理；基于经过面积加权的时域亮度信号进行生理状态信息提取，得到目标对象的生理状态检测结果。本公开经过面积加权的时域亮度信号可以凸显较大平滑区域对生理状态检测的影响，提升检测的准确度，还可以随时随地进行测量，实用性更佳。

Description

一种生理状态检测方法、装置、电子设备及存储介质

技术领域

本公开涉及计算机技术领域，具体而言，涉及一种生理状态检测方法、装置、电子设备及存储介质。

背景技术

准确的生理状态数据是分析人体变异性的基础，所以对生理状态的检测有着重要的意义。

以安全驾驶场景为例，有效的生理状态检测可以帮助了解车内乘员的生理状态，从而为安全驾驶提供辅助性的决策。相关技术中，主要依赖专用的检测设备，如血压仪、心率仪、血氧仪等设备进行生理状态检测，除此之外，还可以借助集成有相关感应元器件的智能手表、智能手环等穿戴设备实现生理状态的测量。

可知，上述检测方案需要借助专用的仪器进行接触式测量，这为检测带来了不便，从而不能很好地满足诸如安全驾驶场景的需要。

发明内容

本公开实施例至少提供一种生理状态检测方法、装置、电子设备及存储介质。

第一方面，本公开实施例提供了一种生理状态检测方法，包括：

获取摄像设备采集的视频流；

从所述视频流中的多帧图像中提取目标对象的多帧脸部图像；

确定所述脸部图像中的至少一个平滑区域；

对每一个所述平滑区域，根据所述多帧脸部图像中所述平滑区域的至少一个颜色通道的像素亮度信息生成所述平滑区域对应的时域亮度信号；

基于每个所述平滑区域的面积，对所述至少一个平滑区域对应的所述时域亮度信号进行加权处理，得到经过面积加权的时域亮度信号；

基于所述经过面积加权的时域亮度信号进行生理状态信息提取，得到所述目标对象的生理状态检测结果。

在一种可能的实施方式中，所述确定所述脸部图像中的至少一个平滑区域，包括：

对所述脸部图像进行脸部特征点提取，确定所述脸部图像中多个预设关键特征点的位置；

基于所述多个预设关键特征点的位置，确定与所述多个预设关键特征点对应的所述脸部图像中的至少一个平滑区域。

在一种可能的实施方式中，所述确定所述脸部图像中的至少一个平滑区域，还包括：

基于脸部图像检测目标对象的脸部姿态；

所述对所述脸部图像进行脸部特征点提取，包括：

根据所述脸部姿态对所述脸部图像进行脸部特征点提取。

在一种可能的实施方式中，所述方法还包括：

基于所述脸部姿态估计各所述平滑区域的面积。

在一种可能的实施方式中，所述方法还包括：

基于各所述平滑区域对应的预设关键特征点的位置，确定所述平滑区域的面积。

在一种可能的实施方式中，在所述基于每个所述平滑区域的面积，对所述至少一个平滑区域对应的所述时域亮度信号进行加权处理，得到经过面积加权的时域亮度信号之前，所述方法还包括：

在确定出多个平滑区域的情况下，去除面积小于阈值的平滑区域。

在一种可能的实施方式中，所述预设关键特征点包括眉毛特征点、鼻梁特征点、鼻尖特征点、脸颊特征点、嘴角特征点；所述平滑区域包括以下至少一项：

基于所述眉毛特征点确定的额头平滑区域、基于所述脸颊特征点、鼻梁特征点和鼻尖特征点确定的左侧上部脸颊平滑区域和右侧上部脸颊平滑区域、基于所述脸颊特征点、鼻尖特征点和嘴角特征点确定的左侧下部脸颊平滑区域和右侧下部脸颊平滑区域。

在一种可能的实施方式中，在每一个所述平滑区域对应于多个不同颜色通道的亮度值的情况下，所述对每一个所述平滑区域，根据所述多帧脸部图像中所述平滑区域的至少一个颜色通道的像素亮度信息生成所述平滑区域对应的时域亮度信号，包括：

基于所述多帧脸部图像中所述平滑区域对应于所述三个颜色通道的亮度值，确定所述平滑区域对应于每一个所述颜色通道的时域亮度信号；

所述基于每个所述平滑区域的面积，对所述至少一个平滑区域对应的所述时域亮度信号进行加权处理，得到经过面积加权的时域亮度信号，包括：

针对每一个颜色通道，基于每个所述平滑区域的面积，对所述至少一个平滑区域在所述颜色通道下的所述时域亮度信号进行加权处理，得到在所述颜色通道下，经过面积加权的时域亮度信号；

基于所述经过面积加权的时域亮度信号进行生理状态信息提取，得到所述目标对象的生理状态检测结果，包括：

对所述平滑区域在多个不同的颜色通道下，经过面积加权的时域亮度信号进行主成分分析，得到表征所述目标对象的生理状态的时域信号；

对表征所述目标对象的生理状态的时域信号进行频域转换，得到表征所述目标对象的生理状态的频域信号；

基于所述频域信号的峰值，确定所述目标对象的生理状态值。

在一种可能的实施方式中，所述方法还包括：

在获取到新的视频流的情况下，重复执行以下步骤，直至达到预设检测时长，得到更新后的生理状态检测结果：

从所述新的视频流中提取目标对象的多帧脸部图像；以及确定所述脸部图像中的至少一个平滑区域，并对每一个所述平滑区域，根据所述多帧脸部图像中所述平滑区域的至少一个颜色通道的像素亮度信息生成所述平滑区域对应的时域亮度信号；

基于每个所述平滑区域的面积，对所述至少一个平滑区域对应的所述时域亮度信号进行加权处理，得到经过面积加权的时域亮度信号；

基于所述经过面积加权的时域亮度信号对所述生理状态检测结果进行更新。

在一种可能的实施方式中，所述方法还包括：

根据已获取的视频流的时长和所述预设检测时长生成检测进程提醒信号，所述检测进程提醒信号用于提醒所述目标对象所需的检测时长。

第二方面，本公开实施例还提供了一种生理状态检测装置，包括：

获取模块，用于获取摄像设备采集的视频流；

提取模块，用于从所述视频流中的多帧图像中提取目标对象的多帧脸部图像；

确定模块，用于确定所述脸部图像中的至少一个平滑区域，并对每一个所述平滑区域，根据所述多帧脸部图像中所述平滑区域的至少一个颜色通道的像素亮度信息生成所述平滑区域对应的时域亮度信号；

加权模块，用于基于每个所述平滑区域的面积，对所述至少一个平滑区域对应的所述时域亮度信号进行加权处理，得到经过面积加权的时域亮度信号；

检测模块，用于基于所述经过面积加权的时域亮度信号进行生理状态信息提取，得到所述目标对象的生理状态检测结果。

第三方面，本公开实施例还提供了一种电子设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如第一方面及其各种实施方式任一项所述的生理状态检测方法的步骤。

第四方面，本公开实施例还提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如第一方面及其各种实施方式任一项所述的生理状态检测方法的步骤。

本公开实施例提供的生理状态检测方法、装置、电子设备及存储介质，在获取到视频流的情况下，可以从视频流中提取目标对象的多帧脸部图像，并确定脸部图像中的至少一个平滑区域。这样，在对每个平滑区域，确定对应的时域亮度信号的情况下，可以基于平滑区域的面积对确定的时域亮度信号进行加权处理，经过面积加权的时域亮度信号可以更大程度凸显脸部图像中较大的平滑区域对生理状态检测的影响，且能够弱化脸部图像中较小的平滑区域对生理状态检测的影响，进一步提升检测的准确度，此外，整个检测过程无需专业设备的参与，可以随时随地进行测量，实用性更佳。

为使本公开的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本公开实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，此处的附图被并入说明书中并构成本说明书中的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。应当理解，以下附图仅示出了本公开的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1示出了本公开实施例所提供的一种生理状态检测方法的流程图；

图2示出了本公开实施例所提供的生理状态检测方法中，ROI选取具体方法的流程图；

图3示出了本公开实施例所提供的一种生理状态检测装置的示意图；

图4示出了本公开实施例所提供的一种电子设备的示意图。

具体实施方式

为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本公开实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围，而是仅仅表示本公开的选定实施例。基于本公开的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

本文中术语“和/或”，仅仅是描述一种关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合，例如，包括A、B、C中的至少一种，可以表示包括从A、B和C构成的集合中选择的任意一个或多个元素。

经研究发现，相关技术中，主要依赖专用的检测设备，如血压仪、心率仪、血氧仪等设备进行生理状态检测，除此之外，还可以借助集成有相关感应元器件的智能手表、智能手环等穿戴设备实现生理状态的测量。

可知，上述检测方案需要借助专用的仪器进行接触式测量，这为检测带来了不便，从而不能很好地满足诸如安全驾驶场景的需要。

为了解决上述问题，相关技术中提供了一种无接触式检测方案，即远程光电容积脉搏波描记法(remote Photoplethysmographic，rPPG)，该方法只需要借助人们目前广泛使用的带摄像头的手机终端就可以完成检测，无需额外的硬件成本，使用上非常方便。而rPPG方法目前的瓶颈在于检测精度逊色于一些专用的检测设备，同时也容易受到外界光线的影响。另外，利用rPPG方法的生理特征检测，需要让被检测对象保持一段时间的静止，只能用于主动检测。

传统基于rPPG的生理特征监测往往需要选取一个感兴趣区域(Region ofInterest,ROI)，在实际相机成像中可能由于人脸与摄像头光轴存在夹角，不同ROI区域在摄像头成像所占的像素面积是存在差异的情况，单个ROI区域往往是固定一个人脸范围作为ROI区域，容易选取到像素占比比较小的区域进行信号提取。

基于上述研究，本公开提供了至少一种基于区域面积进行加权的生理状态检测方案，以通过不同ROI区域的面积的比重进行加权进行ppg信号提取，在此基础上提取的ppg信号包含了更多的有效像素样点，可以有效地提高检测精度。

为便于对本实施例进行理解，首先对本公开实施例所公开的一种生理状态检测方法进行详细介绍，本公开实施例所提供的生理状态检测方法的执行主体一般为具有一定计算能力的电子设备，该电子设备例如包括：终端设备或服务器或其它处理设备，终端设备可以为用户设备(User Equipment，UE)、移动设备、用户终端、蜂窝电话、无绳电话、个人数字助理(Personal Digital Assistant，PDA)、手持设备、车载设备、可穿戴设备等。在一些可能的实现方式中，该生理状态检测方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。

参见图1所示，为本公开实施例提供的生理状态检测方法的流程图，所述方法包括步骤S101～S106，其中：

S101：获取摄像设备采集的视频流；

S102：从视频流中的多帧图像中提取目标对象的多帧脸部图像；

S103：确定脸部图像中的至少一个平滑区域；

S104：对每一个平滑区域，根据多帧脸部图像中平滑区域的至少一个颜色通道的像素亮度信息生成平滑区域对应的时域亮度信号；

S105：基于每个平滑区域的面积，对至少一个平滑区域对应的时域亮度信号进行加权处理，得到经过面积加权的时域亮度信号；

S106：基于经过面积加权的时域亮度信号进行生理状态信息提取，得到目标对象的生理状态检测结果。

为了便于理解本公开实施例提供的生理状态检测方法，接下来首先对该方法的应用场景进行简单介绍。本公开实施例中的生理状态检测方法可以应用于需要进行生理状态检测的汽车领域，也即，本公开实施例可以实现针对车舱环境内的人体对象的生理状态检测，除此之外，本公开实施例还可以应用有诸如医疗、家居生活等其它任何需要进行生理状态检测的相关领域，这里不做具体的限制。考虑到汽车领域的广泛应用，接下来多以汽车领域进行示例说明。

其中，本公开实施例中的视频流可以是通过摄像设备(如汽车领域中通过搭载与车内的固定摄像头)采集得到的，还可以是用户终端自带摄像头采集得到的，还可以是其它方式采集得到的，在此不做具体的限制。

为了能实现针对特定目标对象的生理状态检测，有关摄像头的安装位置可以是基于特定的目标对象预先设置的，例如，为了实现针对车辆内的驾驶员的生理状态检测，这里的摄像头可以安装于拍摄范围覆盖驾驶区域的位置，例如车辆的A柱内侧、控制台上、或者方向盘位置；再如，为了实现针对车辆内的包括驾驶员和乘客在内的多种乘车属性的乘员的生理状态检测，这里的摄像头可以安装于车内后视镜、顶部装饰件、阅读灯等拍摄范围可覆盖车舱内多个座位区域的位置。

在汽车领域的实际应用中，还可以采用驾驶员监控系统(Driver MonitoringSystem，DMS)包含的车内图像采集装置实现有关驾驶区域的视频流的采集，或者，可以采用乘员监控系统(Occupant Monitoring System，OMS)包含的车内图像采集装置实现有关乘车区域的视频流的采集。

考虑到面部血管流过产生的皮肤色彩及亮度变化，可以反映心跳、呼吸等生理状态，这里可以首先对视频流中的多帧图像进行脸部检测，提取出车舱内的目标对象的多帧脸部图像，继而针对脸部图像实现生理状态信息的提取。

目标对象是人体生理状态检测的测量对象，其可以是特定场景中指定位置的对象，或者具有特定的身份属性的对象。例如，在汽车领域中，目标对象可以是特定乘车属性的对象，例如驾驶员、副驾座位的乘车人；或者，目标对象可以是身份标识为预先使用面部信息注册的对象，例如通过应用程序注册的车主；或者，目标对象也可以是车内的任意一个乘员，可通过对车舱内的视频流进行面部检测定位出至少一个乘员，将检测出的一个或多个乘员作为目标对象。

在进行脸部检测的过程中，在一帧图像上可能会出现多个对象的面部的情况。一些场景中，可以选择针对某一乘车位置的乘员进行生理状态检测，即将该乘车位置的乘员作为目标对象。为了实现针对车舱内的目标对象的生理状态检测，这里，可以根据多帧图像的脸部检测结果，以及指定的乘车位置，从检测出的脸部图像中确定出目标对象的多帧脸部图像，其中，指定的乘车位置用于指示被测量的目标对象的位置。

车舱内用于采集视频流的摄像头在车辆内部空间的相对位置是固定的，可以根据摄像头的位置，将其采集的图像按照座位区域划分，例如对于5座私家车可以划分为：驾驶座对应的图像区域、副驾驶座对应的图像区域、后排左侧座位对应的图像区域、后排右侧座位对应的图像区域、后排中间座位对应的图像区域。根据车内各乘员对象的面部在图像中的位置以及各图像区域的坐标范围，可以确定出各乘员对象的面部落入的图像区域，进而确定出在指定的乘车位置的乘员对象为目标对象。

在实际应用中，OMS一般会拍摄整个车内的图像，可能拍到多个人，可以手动选择“前车乘车位”、“后座乘车位”，来指定要测量的目标对象，这时本公开实施例可以对图像中相应区域的人脸进行测量。DMS针对主驾驶区域拍摄，在其拍摄到的对象仅包含司机一人的情况下，可以无需指定对象。

需要说明的是，生理状态，例如心率、呼吸频率、血氧、血压等往往需要一定时长的监测才可以进行评估，因而，本公开实施例中采用持续一段时间的视频流内的多帧脸部图像所对应的图像变化信息实现生理状态信息的提取，这样所提取出的生理状态检测结果也更为符合实际场景的需要。

在基于脸部图像进行图像变化信息分析的过程中，由于受到诸如人脸转动、遮挡或者外界光线所造成的ROI区域丢失而存在无法继续检测的问题，本公开实施例可以是利用脸部图像中的多个平滑区域进行检测，这样，即使其中一个平滑区域丢失，在其它平滑区域表现良好的情况下，也能够继续进行检测，使得使用场景更加广泛。

此外，又考虑到由于人脸与摄像头光轴存在夹角，不同平滑区域在摄像头成像所占的像素面积是存在差异的，因而这里可以通过选取的多个平滑区域并通过平滑区域在画面中的像素面积进行加权，得到更接近实际情况的信号量，提升检测精度。

其中，这里的平滑区域可以是脸部图像中的ROI区域，ROI区域内的图像信息很大程度上可以表征血流变化情况。在实际应用中，平滑区域可以是平滑的连通区域，该连通区域内部包含人脸中的眼睛、鼻子、嘴巴、眉毛等非平滑的特征，其可以被设定为呈矩形、圆形、或椭圆形等特定形状的区域。该连通区域一定程度上具有更均匀的反射率，从而可以捕捉到更为有效的面部血管流过产生的皮肤色彩及亮度变化，继而可以实现更为精准的生理状态检测。

在确定脸部图像的平滑区域的情况下，本公开实施例提供的生理状态检测方法可以首先可以确定每一个平滑区域对应的时域亮度信号，而后基于各个平滑区域的面积对各个时域亮度信号进行加权处理，从而便于基于经过面积加权的时域亮度信号进行生理状态信息提取，这里所提取的生理状态检测结果可以是包括心率、呼吸频率、血氧、血压等中的至少一个在内的检测结果。

在确定每个平滑区域对应的时域亮度信号的过程中，需要持续一段时间的视频流内的多帧脸部图像所对应的图像变化信息，这主要是考虑到诸如心率、呼吸频率、血氧、血压等生理状态信息往往需要一定时长的检测，且在确定平滑区域对应的时域亮度信号的过程中，可以利用多颜色通道的亮度值，以提升时域亮度信号提取的准确性。

这里，考虑到不同区域面积意味着对应平滑区域所包含的生理特征信息量也不同，所以这里，可以基于每个平滑区域的面积确定对应平滑区域的面积权重，并通过面积权重对至少一个平滑区域对应的时域亮度信号进行加权处理，以得到更接近实际情况的信号量，从而提升所生成生理状态检测结果的准确性。

考虑到平滑区域的确定对于实现生理状态检测的关键作用，接下来可以着重对平滑区域的确定过程进行具体说明。在一些可选的实现方式中，平滑区域可以通过如下步骤一和步骤二确定：

步骤一、对脸部图像进行脸部特征点提取，确定脸部图像中多个预设关键特征点的位置；

步骤二、基于多个预设关键特征点的位置，确定与多个预设关键特征点对应的脸部图像中的至少一个平滑区域。

其中，上述提取脸部特征点的过程可以是利用人脸关键点检测算法实现的，例如，可以预先设置有关标准人脸图像的预设关键特征点，这里的标准人脸可以是包括五官在内的正对摄像头拍摄的人脸图像，这样，在对每帧图像提取出的目标对象的脸部图像进行脸部特征点提取的过程中，可以基于提取的目标对象的脸部图像与标准人脸图像之间的比对情况来确定各个预设关键特征点。例如，可以是眉毛特征点、鼻梁特征点、鼻尖特征点、脸颊特征点、嘴角特征点等具有明显脸部特性的相关特征点。

本公开实施例中，基于确定的预设关键特征点的位置可以确定脸部图像中的一个或多个平滑区域。

这里的平滑区域可以是矩形区域，还可以是具有连通性形状的其它区域，本公开实施例对此不做具体的限制，接下来多以矩形区域为例进行说明。

在实际应用中，这里的平滑区域可以是基于眉毛特征点确定的额头平滑区域、基于脸颊特征点、鼻梁特征点和鼻尖特征点确定的左侧上部脸颊平滑区域和右侧上部脸颊平滑区域、基于脸颊特征点、鼻尖特征点和嘴角特征点确定的左侧下部脸颊平滑区域和右侧下部脸颊平滑区域。

在未出现区域遮挡的情况下，上述五个区域可以在一帧脸部图像上同时被提取到，在出现区域遮挡的情况下，一帧脸部图像实际所能够提取出的区域可以依照实际情况来确定。

如图2所示，为针对摄像头拍摄的脸部图像可以提取出的脸部特征点的示意图，共计106特征点。这里，基于预设关键特征点的坐标信息，可以筛选5个平滑区域，具体可参见图2，其中区域1可以是通过两侧眉毛的两个特征点构造的区域1的矩形ROI；区域2是左侧的一个脸颊区域，可以通过脸部左侧边缘特征点、鼻梁特征点、左眼特征点的位置构造区域2的矩形ROI；区域3是右侧的一个脸颊区域，可以通过脸部右侧边缘特征点、鼻梁特征点、右眼特征点的位置构造区域3的矩形ROI，区域4是左侧的另一个脸颊区域，可以通过脸部左侧边缘特征点、左侧鼻翼特征点、左嘴角特征点的位置构造区域4的矩形ROI，区域5是右侧的另一个脸颊区域，可以通过脸部右侧边缘特征点、右侧鼻翼特征点、右嘴角特征点的位置构造区域5的矩形ROI。

本公开实施例在进行特征点提取的过程中，还可以结合脸部姿态来实现。这里，首先可以根据脸部图像检测目标对象的脸部姿态，而后根据脸部姿态对脸部图像进行脸部特征点提取。

其中，上述脸部姿态可以是基于预先训练好的脸部姿态检测网络确定的。脸部姿态检测网络训练的可以是脸部图像样本以及对应标注的脸部姿态之间的对应关系，这里可以标注的脸部姿态包括头部相对摄像头的转动方向、转动角度等信息。这样，在将脸部图像输入到训练好的脸部姿态检测网络，即可以确定有关人脸的脸部姿态，例如，可以是脸部向左偏45°，在这种情况下，可以在左偏45°的情况下比照标准左偏人脸图像进行有关预设关键特征点的提取，操作简单。

本公开实施例中，不同的脸部姿态在图像中呈现出的不同脸部子区域的面积大小不同，所对应平滑区域的面积也不同，仍以脸部向左偏45°为例，这时左边脸颊区域在图像中几乎不可见，对应的平滑区域的面积为0。

可选地，还可以根据脸部姿态以及摄像设备的参数估计各个平滑区域的面积。例如，在通过神经网络等完成脸部姿态的检测之后，根据脸部姿态角及摄像头焦距等参数将正对摄像头的脸部模型投影至图像坐标系中，计算基于脸部关键点定位的各个平滑区域在图像坐标系中的边界点坐标，进而估算出各平滑区域在图像中的面积值。在脸部的部分区域亮度不足或部分关键点缺失的情况下，该面积值可以用于估算出图像中各个平滑区域的面积。本公开实施例中，可以基于各平滑区域对应的预设关键特征点的位置，确定平滑区域的面积。在具体应用中，可以将各个预设关键特征点的位置作为平滑区域的顶点位置，通过顶点距离确定平滑区域的长和宽，继而确定出区域面积，这样所确定出的区域面积更为准确。

对于区域面积更大的平滑区域而言，一定程度上可以承载更多的信息量，继而可以赋予更大的面积权重，反之，对于区域面积更小的平滑区域而言，一定程度上可以承载更少的信息量，继而可以赋予更小的面积权重。本公开实施例可以基于为各个区域面积所占总的区域面积的比例来确定对应各个平滑区域的面积权重，继而进行面积加权。

在进行面积加权之前，为了尽可能的确保有效信息量的提取，这里可以在确定出多个平滑区域的情况下，去除面积小于阈值的平滑区域。其中，阈值可以是预定设定的固定值，也可以是根据当前图像中整个人脸区域中各个平滑区域的面积分布情况确定的值。例如，可以将当前图像中各个平滑区域的面积的最大值的一定百分比(例如20％)作为该阈值。

在实际应用中，可以根据脸部姿态从平滑区域中去除图像中可见范围不满足预设的可见性要求的平滑区域，仍以脸部向左偏45°为例，这时右边脸颊区域面积小于预设的阈值，在图像中几乎不可见，这时可以直接去除对应的平滑区域。

在确定出信号表达能力比较强的各个平滑区域的情况下，这里可以针对每个平滑区域，基于多帧脸部图像中平滑区域对应于三个颜色通道的亮度值，确定平滑区域对应于每一个颜色通道的时域亮度信号。

这样，针对每一个颜色通道，基于每个平滑区域的面积，对至少一个平滑区域在颜色通道下的时域亮度信号进行加权处理，得到在颜色通道下，经过面积加权的时域亮度信号，也即，本公开实施例实现的是各个颜色通道下的面积加权，使得每个颜色通道都具备了较强的血流变化表达能力。在对各个颜色通道进行主成分分析之后，即可以实现有关目标对象的生理状态检测，具体可以通过如下步骤来实现：

步骤一、对平滑区域在多个不同的颜色通道下，经过面积加权的时域亮度信号进行主成分分析，得到表征目标对象的生理状态的时域信号；

步骤二、对表征目标对象的生理状态的时域信号进行频域转换，得到表征目标对象的生理状态的频域信号；

步骤三、基于频域信号的峰值，确定目标对象的生理状态值。

考虑到生理状态直接影响了目标对象的血流变化，而血流变化又可以基于图像的亮度变化来表征，因而，这里首先可以确定平滑区域对应于红、绿、蓝三个颜色通道中每一个颜色通道的时域亮度信号，形成RGB三维信号，然后对三个不同的颜色通道的时域亮度信号进行主成分分析，提取主成分(降维)后得到的一维信号作为表征目标对象的生理状态的时域信号，该时域信号可以是上述颜色通道中的其中一个通道(例如，绿色通道)的时域亮度信号确定的，且被选取的通道可以是最能表征血流变化的一个通道，除此之外，还可以是其它主成分分析方法确定的，这里不做具体的限制。

为了便于实现更为准确的主成分分析，在对三维时域亮度信号进行主成分分析之前，可以进行诸如正则化和Detrend滤波去噪等处理。除此之外，在主成分分析之后，还可以对得到的时域信号进行滑动平均滤波去噪处理，从而进一步提升时域信号的精度，提升后续进行生理状态检测的准确度。

为了便于进一步提升生理状态检测的准确度，这里，可以对时域信号进行频域转换，基于转换之后的频域信号可以分析出更多有用的信息，例如，可以确定各个频率成分的幅值分布和能量分布，从而得到主要幅度和能量分布的频率值。这里，可以基于频域信号的峰值确定目标对象的生理状态值。

以心率检测为例，这里可以确定频域信号的峰值pmax，通过pmax与心率基准值的求和结果可以得到原始心率测量值，其中，pmax表征的是心率变化量，心率基准值可以由基于经验的心率估计范围的下限来确定，还可以考虑诸如视频帧率、频域信号长度等因素的影响来调整心率基准值。

在确定心率之后，可以测算血氧饱和度和心率变异性等相关生理指标。针对血氧饱和度，这里可以利用红光(600～800nm)和近红光区域(800～1000nm)分别检测HbO2和Hb的时域信号，再计算相应的比值，就可以得到血氧饱和度；针对心率变异性，在提取到时域信号后，通过计算每两个临近波峰的间距再结合帧率得到若干个间隔时间，然后取这些间隔时间的标准差(Standard Deviation of NN Intervals，SDNN)，即得到心率变异性。

呼吸频率检测与心率检测的方法类似，主要的区别在于呼吸频率所在范围与心率所在范围不同，且对应的基准值设置不同，基于上述同样的方法可以实现呼吸频率检测。

本公开实施例实现的是多帧图像的生理状态检测，也即，多帧图像对应的图像变化信息可以表征出生理状态的变化情况。在实际应用中，有关视频流所确定的生理状态检测结果可以是随着视频流的采集的持续而进行更新。

这里，在获取到新的视频流包括的一帧或多帧图像的情况下，可以对新的视频流中的图像进行脸部检测，提取出车舱内的目标对象的脸部图像，而后确定脸部图像中的至少一个平滑区域，并对每一个平滑区域，根据多帧脸部图像中平滑区域的至少一个颜色通道的像素亮度信息生成平滑区域对应的时域亮度信号，而后基于每个平滑区域的面积，对至少一个平滑区域对应的时域亮度信号进行加权处理，得到经过面积加权的时域亮度信号，并基于经过面积加权的时域亮度信号对生理状态检测结果进行更新，若未达到预设检测时长，则再次基于获取到的新的视频流进行更新，直至达到预设检测时长，得到更新后的生理状态检测结果。

这里仍以心率检测进行示例说明。在确定预设检测时长为30s的情况下，在30s内可以持续获取视频流。在基于起始视频流(例如起始的5秒内的视频流)的多帧图像计算出心率测量值的情况下，仍在30秒内。这时，随着图像帧的采集，图像帧数量增加，每增加一帧或者每增加n帧可以计算出一个新的心率测量值，然后通过滑动平均做平滑处理，到达30s后结束测量，得到最终测量结果。

作为示例，在车舱环境下，为了帮助目标对象进行更为快速的生理状态测量，这里，可以在一次生理状态检测过程中根据已获取的视频流的时长和预设检测时长生成用于提醒目标对象所需的检测时长的检测进程提醒信号，例如，已获取视频流的时长(即当前的目标对象的生理状态检测已持续的检测时间)达到25秒，预设检测时长为30秒，则可以发出有关“请保持不动，还有5秒即可完成检测”的语音或屏幕提示；或者，在当前的目标对象的生理状态检测时长达到30秒时，发出“测量已完成”的语音或屏幕提示。

在实现生理状态检测之后，本公开实施例还可以展示生理状态检测结果以通过展示的生理状态检测为目标对象提供更好的车舱服务。

本公开实施例中，一方面可以向车舱内的显示屏传送目标对象的生理状态检测结果，以在显示屏上进行显示，这样，车舱人员可以实时监测自身的生理状态情况下，还能够在自身的生理状态存在异常的情况下，及时就医或者采取其它必要的措施；另一方面还可以向生理状态检测应用的服务端传送目标对象的生理状态检测结果，以在目标对象通过生理状态检测应用请求获取检测结果的情况下，通过服务端向目标对象使用的终端设备发送生理状态检测结果。

也即，这里可以将目标对象的生理状态检测结果记录在服务端，在服务端还可以对理状态检测结果进行统计分析，例如，可以确定历史一个月、一周的生理状态统计结果，这样，在目标对象发起生理状态检测应用请求的情况下，可以将生理状态检测结果、统计结果等发送至目标对象的终端设备，以实现更为综合性的生理状态评估。

其中，上述生理状态检测应用可以是具体的用于进行生理状态检测的应用程序(Application，APP)，利用APP可以响应目标对象有关的检测结果的获取请求，继而实现在APP上的结果呈现，更具实用性。

本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。

基于同一发明构思，本公开实施例中还提供了与生理状态检测方法对应的生理状态检测装置，由于本公开实施例中的装置解决问题的原理与本公开实施例上述生理状态检测方法相似，因此装置的实施可以参见方法的实施，重复之处不再赘述。

参照图3所示，为本公开实施例提供的一种生理状态检测装置的示意图，装置包括：获取模块301、提取模块302、确定模块303、加权模块304和检测模块305；其中，

获取模块301，用于获取摄像设备采集的视频流；

提取模块302，用于从视频流中的多帧图像中提取目标对象的多帧脸部图像；

确定模块303，用于确定脸部图像中的至少一个平滑区域，并对每一个平滑区域，根据多帧脸部图像中平滑区域的至少一个颜色通道的像素亮度信息生成平滑区域对应的时域亮度信号；

加权模块304，用于基于每个平滑区域的面积，对至少一个平滑区域对应的时域亮度信号进行加权处理，得到经过面积加权的时域亮度信号；

检测模块305，用于基于经过面积加权的时域亮度信号进行生理状态信息提取，得到目标对象的生理状态检测结果。

本公开实施例提供的生理状态检测装置，在获取到视频流的情况下，可以从视频流中提取目标对象的多帧脸部图像，并确定脸部图像中的至少一个平滑区域。这样，在对每个平滑区域，确定对应的时域亮度信号的情况下，可以基于平滑区域的面积对确定的时域亮度信号进行加权处理，经过面积加权的时域亮度信号可以更大程度凸显脸部图像中较大的平滑区域对生理状态检测的影响，且能够弱化脸部图像中较小的平滑区域对生理状态检测的影响，进一步提升检测的准确度，此外，整个检测过程无需专业设备的参与，可以随时随地进行测量，实用性更佳。

在一种可能的实施方式中，确定模块303，用于按照如下步骤确定脸部图像中的至少一个平滑区域：

对脸部图像进行脸部特征点提取，确定脸部图像中多个预设关键特征点的位置；

基于多个预设关键特征点的位置，确定与多个预设关键特征点对应的脸部图像中的至少一个平滑区域。

在一种可能的实施方式中，确定模块303，用于按照如下步骤对脸部图像进行脸部特征点提取：

基于脸部图像检测目标对象的脸部姿态；

根据脸部姿态对脸部图像进行脸部特征点提取。

在一种可能的实施方式中，确定模块303，还用于：

基于脸部姿态估计各平滑区域的面积。

在一种可能的实施方式中，确定模块303，还用于：

基于各平滑区域对应的预设关键特征点的位置，确定平滑区域的面积。

在一种可能的实施方式中，上述装置还包括：

去除模块306，用于在基于每个平滑区域的面积，对至少一个平滑区域对应的时域亮度信号进行加权处理，得到经过面积加权的时域亮度信号之前，在确定出多个平滑区域的情况下，去除面积小于阈值的平滑区域。

在一种可能的实施方式中，预设关键特征点包括眉毛特征点、鼻梁特征点、鼻尖特征点、脸颊特征点、嘴角特征点；平滑区域包括以下至少一项：

基于眉毛特征点确定的额头平滑区域、基于脸颊特征点、鼻梁特征点和鼻尖特征点确定的左侧上部脸颊平滑区域和右侧上部脸颊平滑区域、基于脸颊特征点、鼻尖特征点和嘴角特征点确定的左侧下部脸颊平滑区域和右侧下部脸颊平滑区域。

在一种可能的实施方式中，在每一个平滑区域对应于多个不同颜色通道的亮度值的情况下，确定模块303，用于按照如下步骤对每一个平滑区域，根据多帧脸部图像中平滑区域的至少一个颜色通道的像素亮度信息生成平滑区域对应的时域亮度信号：

基于多帧脸部图像中平滑区域对应于三个颜色通道的亮度值，确定平滑区域对应于每一个颜色通道的时域亮度信号；

加权模块304，用于按照如下步骤基于每个平滑区域的面积，对至少一个平滑区域对应的时域亮度信号进行加权处理，得到经过面积加权的时域亮度信号：

针对每一个颜色通道，基于每个平滑区域的面积，对至少一个平滑区域在颜色通道下的时域亮度信号进行加权处理，得到在颜色通道下，经过面积加权的时域亮度信号；

检测模块305，用于按照如下步骤基于经过面积加权的时域亮度信号进行生理状态信息提取，得到目标对象的生理状态检测结果：

对平滑区域在多个不同的颜色通道下，经过面积加权的时域亮度信号进行主成分分析，得到表征目标对象的生理状态的时域信号；

对表征目标对象的生理状态的时域信号进行频域转换，得到表征目标对象的生理状态的频域信号；

基于频域信号的峰值，确定目标对象的生理状态值。

在一种可能的实施方式中，上述检测模块305，还用于在获取到新的视频流的情况下，重复执行以下步骤，直至达到预设检测时长，得到更新后的生理状态检测结果：

从新的视频流中提取目标对象的多帧脸部图像；以及确定脸部图像中的至少一个平滑区域，并对每一个平滑区域，根据多帧脸部图像中平滑区域的至少一个颜色通道的像素亮度信息生成平滑区域对应的时域亮度信号；

基于每个平滑区域的面积，对至少一个平滑区域对应的时域亮度信号进行加权处理，得到经过面积加权的时域亮度信号；

基于经过面积加权的时域亮度信号对生理状态检测结果进行更新。

在一种可能的实施方式中，上述装置还包括：

提醒模块307，用于根据已获取的视频流的时长和预设检测时长生成检测进程提醒信号，检测进程提醒信号用于提醒目标对象所需的检测时长。

关于装置中的各模块的处理流程、以及各模块之间的交互流程的描述可以参照上述方法实施例中的相关说明，这里不再详述。

本公开实施例还提供了一种电子设备，如图4所示，为本公开实施例提供的电子设备结构示意图，包括：处理器401、存储器402、和总线403。存储器402存储有处理器401可执行的机器可读指令(比如，图3中的装置中获取模块301、提取模块302、确定模块303、加权模块304和检测模块305对应的执行指令等)，当电子设备运行时，处理器401与存储器402之间通过总线403通信，机器可读指令被处理器401执行时执行如下处理：

获取摄像设备采集的视频流；

从视频流中的多帧图像中提取目标对象的多帧脸部图像；

确定脸部图像中的至少一个平滑区域；

对每一个平滑区域，根据多帧脸部图像中平滑区域的至少一个颜色通道的像素亮度信息生成平滑区域对应的时域亮度信号；

基于每个平滑区域的面积，对至少一个平滑区域对应的时域亮度信号进行加权处理，得到经过面积加权的时域亮度信号；

基于经过面积加权的时域亮度信号进行生理状态信息提取，得到目标对象的生理状态检测结果。

本公开实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述方法实施例中所述的生理状态检测方法的步骤。其中，该存储介质可以是易失性或非易失的计算机可读取存储介质。

本公开实施例还提供一种计算机程序产品，该计算机程序产品承载有程序代码，所述程序代码包括的指令可用于执行上述方法实施例中所述的生理状态检测方法的步骤，具体可参见上述方法实施例，在此不再赘述。

其中，上述计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选实施例中，所述计算机程序产品具体体现为计算机存储介质，在另一个可选实施例中，计算机程序产品具体体现为软件产品，例如软件开发包(Software Development Kit，SDK)等等。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。在本公开所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本公开各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台电子设备(可以是个人计算机，服务器，或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上所述实施例，仅为本公开的具体实施方式，用以说明本公开的技术方案，而非对其限制，本公开的保护范围并不局限于此，尽管参照前述实施例对本公开进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本公开实施例技术方案的精神和范围，都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应所述以权利要求的保护范围为准。

Claims (13)

1.一种生理状态检测方法，其特征在于，包括：

获取摄像设备采集的视频流；

从所述视频流中的多帧图像中提取目标对象的多帧脸部图像；

确定所述脸部图像中的至少一个平滑区域；

对每一个所述平滑区域，根据所述多帧脸部图像中所述平滑区域的至少一个颜色通道的像素亮度信息生成所述平滑区域对应的时域亮度信号；

基于每个所述平滑区域的面积，对所述至少一个平滑区域对应的所述时域亮度信号进行加权处理，得到经过面积加权的时域亮度信号；

基于所述经过面积加权的时域亮度信号进行生理状态信息提取，得到所述目标对象的生理状态检测结果。

2.根据权利要求1所述的方法，其特征在于，所述确定所述脸部图像中的至少一个平滑区域，包括：

对所述脸部图像进行脸部特征点提取，确定所述脸部图像中多个预设关键特征点的位置；

基于所述多个预设关键特征点的位置，确定与所述多个预设关键特征点对应的所述脸部图像中的至少一个平滑区域。

3.根据权利要求2所述的方法，其特征在于，所述确定所述脸部图像中的至少一个平滑区域，还包括：

基于脸部图像检测目标对象的脸部姿态；

所述对所述脸部图像进行脸部特征点提取，包括：

根据所述脸部姿态对所述脸部图像进行脸部特征点提取。

4.根据权利要求3所述的方法，其特征在于，所述方法还包括：

基于所述脸部姿态估计各所述平滑区域的面积。

5.根据权利要求2至4任一项所述的方法，其特征在于，所述方法还包括：

基于各所述平滑区域对应的预设关键特征点的位置，确定所述平滑区域的面积。

6.根据权利要求1至5任一项所述的方法，其特征在于，在所述基于每个所述平滑区域的面积，对所述至少一个平滑区域对应的所述时域亮度信号进行加权处理，得到经过面积加权的时域亮度信号之前，所述方法还包括：

在确定出多个平滑区域的情况下，去除面积小于阈值的平滑区域。

7.根据区权利要求2至5任一项所述的方法，其特征在于，所述预设关键特征点包括眉毛特征点、鼻梁特征点、鼻尖特征点、脸颊特征点、嘴角特征点；所述平滑区域包括以下至少一项：

基于所述眉毛特征点确定的额头平滑区域、基于所述脸颊特征点、鼻梁特征点和鼻尖特征点确定的左侧上部脸颊平滑区域和右侧上部脸颊平滑区域、基于所述脸颊特征点、鼻尖特征点和嘴角特征点确定的左侧下部脸颊平滑区域和右侧下部脸颊平滑区域。

8.根据权利要求1至7任一项所述的方法，其特征在于，在每一个所述平滑区域对应于多个不同颜色通道的亮度值的情况下，所述对每一个所述平滑区域，根据所述多帧脸部图像中所述平滑区域的至少一个颜色通道的像素亮度信息生成所述平滑区域对应的时域亮度信号，包括：

基于所述多帧脸部图像中所述平滑区域对应于所述三个颜色通道的亮度值，确定所述平滑区域对应于每一个所述颜色通道的时域亮度信号；

所述基于每个所述平滑区域的面积，对所述至少一个平滑区域对应的所述时域亮度信号进行加权处理，得到经过面积加权的时域亮度信号，包括：

针对每一个颜色通道，基于每个所述平滑区域的面积，对所述至少一个平滑区域在所述颜色通道下的所述时域亮度信号进行加权处理，得到在所述颜色通道下，经过面积加权的时域亮度信号；

所述基于所述经过面积加权的时域亮度信号进行生理状态信息提取，得到所述目标对象的生理状态检测结果，包括：

对所述平滑区域在多个不同的颜色通道下，经过面积加权的时域亮度信号进行主成分分析，得到表征所述目标对象的生理状态的时域信号；

对表征所述目标对象的生理状态的时域信号进行频域转换，得到表征所述目标对象的生理状态的频域信号；

基于所述频域信号的峰值，确定所述目标对象的生理状态值。

9.根据权利要求1至8任一项所述的方法，其特征在于，所述方法还包括：

在获取到新的视频流的情况下，重复执行以下步骤，直至达到预设检测时长，得到更新后的生理状态检测结果：

从所述新的视频流中提取目标对象的多帧脸部图像；以及确定所述脸部图像中的至少一个平滑区域，并对每一个所述平滑区域，根据所述多帧脸部图像中所述平滑区域的至少一个颜色通道的像素亮度信息生成所述平滑区域对应的时域亮度信号；

基于每个所述平滑区域的面积，对所述至少一个平滑区域对应的所述时域亮度信号进行加权处理，得到经过面积加权的时域亮度信号；

基于所述经过面积加权的时域亮度信号对所述生理状态检测结果进行更新。

10.根据权利要求9所述的方法，其特征在于，所述方法还包括：

根据已获取的视频流的时长和所述预设检测时长生成检测进程提醒信号，所述检测进程提醒信号用于提醒所述目标对象所需的检测时长。

11.一种生理状态检测装置，其特征在于，包括：

获取模块，用于获取摄像设备采集的视频流；

提取模块，用于从所述视频流中的多帧图像中提取目标对象的多帧脸部图像；

确定模块，用于确定所述脸部图像中的至少一个平滑区域，并对每一个所述平滑区域，根据所述多帧脸部图像中所述平滑区域的至少一个颜色通道的像素亮度信息生成所述平滑区域对应的时域亮度信号；

加权模块，用于基于每个所述平滑区域的面积，对所述至少一个平滑区域对应的所述时域亮度信号进行加权处理，得到经过面积加权的时域亮度信号；

检测模块，用于基于所述经过面积加权的时域亮度信号进行生理状态信息提取，得到所述目标对象的生理状态检测结果。

12.一种电子设备，其特征在于，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如权利要求1至10任一项所述的生理状态检测方法的步骤。

13.一种计算机可读存储介质，其特征在于，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如权利要求1至10任一项所述的生理状态检测方法的步骤。

Images