CN114648749A - 一种生理状态检测方法、装置、电子设备及存储介质 - Google Patents

Abstract

本公开提供了一种生理状态检测方法、装置、电子设备及存储介质，其中，该方法包括：获取摄像设备采集的视频流；从视频流中的多帧图像中提取目标对象的多帧脸部图像；确定每帧脸部图像中的至少一个预设平滑区域作为感兴趣区域；从至少一个感兴趣区域中确定出图像亮度满足预设条件的目标感兴趣区域；基于目标感兴趣区域的图像信息进行生理状态信息提取，得到目标对象的生理状态检测结果。本公开基于图像处理方式实现生理状态检测，可随时随地进行实时地测量，实用性更佳，且能够通过预设条件的约束实现高质量的目标感兴趣区域的筛选，进而基于目标感兴趣区域的图像信息进行生理状态检测，这可以进一步提升测量的准确度。

Description

一种生理状态检测方法、装置、电子设备及存储介质

技术领域

本公开涉及计算机技术领域，具体而言，涉及一种生理状态检测方法、装置、电子设备及存储介质。

背景技术

准确的生理状态数据是分析人体变异性的基础，所以对生理状态的检测有着重要的意义。

以安全驾驶场景为例，有效的生理状态检测可以帮助了解车内乘员的生理状态，从而为安全驾驶提供辅助性的决策。相关技术中，主要依赖专用的检测设备，如血压仪、心率仪、血氧仪等设备进行生理状态检测，除此之外，还可以借助集成有相关感应元器件的智能手表、智能手环等穿戴设备实现生理状态的测量。

可知，上述检测方案需要借助专用的仪器进行接触式测量，这为检测带来了不便，从而不能很好地满足诸如安全驾驶场景的需要。

发明内容

本公开实施例至少提供一种生理状态检测方法、装置、电子设备及存储介质。

第一方面，本公开实施例提供了一种生理状态检测方法，包括：

获取摄像设备采集的视频流；

从所述视频流中的多帧图像中提取目标对象的多帧脸部图像；

确定每帧所述脸部图像中的至少一个预设平滑区域作为感兴趣区域；

从至少一个感兴趣区域中确定出图像亮度满足预设条件的目标感兴趣区域；

基于所述目标感兴趣区域的图像信息进行生理状态信息提取，得到所述目标对象的生理状态检测结果。

在一种可能的实施方式中，所述从至少一个感兴趣区域中确定出图像亮度满足预设条件的目标感兴趣区域，包括：

确定所述脸部图像对应的图像亮度阈值和每个感兴趣区域的区域图像亮度；

根据所述图像亮度阈值和所述区域图像亮度对所述至少一个感兴趣区域过滤，得到至少一个候选感兴趣区域；

基于所述至少一个候选感兴趣区域的区域亮度，确定所述目标感兴趣区域。

在一种可能的实施方式中，所述图像亮度阈值包括最大亮度；

所述根据所述图像亮度阈值和所述区域图像亮度对所述至少一个感兴趣区域过滤，得到至少一个候选感兴趣区域，包括：

将所述区域图像亮度超过所述最大亮度的第一预设比例的感兴趣区域滤除。

在一种可能的实施方式中，所述图像亮度阈值包括最小亮度；

所述根据所述图像亮度阈值和所述区域图像亮度对所述至少一个感兴趣区域过滤，得到至少一个候选感兴趣区域，包括：

将所述区域图像亮度未达到所述最小亮度的第二预设比例的感兴趣区域滤除。

在一种可能的实施方式中，所述基于所述至少一个候选感兴趣区域的区域亮度，确定所述目标感兴趣区域，包括：

将所述至少一个候选感兴趣区域中区域亮度最大的候选感兴趣区域，确定为所述目标感兴趣区域。

在一种可能的实施方式中，在从至少一个感兴趣区域中确定出图像亮度满足预设条件的至少两个目标感兴趣区域的情况下，所述基于所述目标感兴趣区域的图像信息进行生理状态信息提取，包括：

根据每个目标感兴趣区域的区域图像亮度确定每个目标感兴趣区域的亮度权重；

基于每个目标感兴趣区域的图像信息进行生理状态信息提取；

基于所述亮度权重对所述至少两个目标感兴趣区域的生理状态信息提取结果进行融合。

在一种可能的实施方式中，所述方法还包括：

对每帧所述脸部图像，进行脸部特征点提取；

基于提取出的脸部特征点，确定每帧所述脸部图像中的至少一个预设平滑区域。

在一种可能的实施方式中，所述脸部特征点包括眉毛特征点、鼻梁特征点、鼻尖特征点、脸颊特征点、嘴角特征点；所述预设平滑区域包括以下至少一项：

基于所述眉毛特征点确定的额头平滑区域、基于所述脸颊特征点、鼻梁特征点和鼻尖特征点确定的左侧上部脸颊平滑区域和右侧上部脸颊平滑区域、基于所述脸颊特征点、鼻尖特征点和嘴角特征点确定的左侧下部脸颊平滑区域和右侧下部脸颊平滑区域。

在一种可能的实施方式中，所述预设平滑区域包括预定义的多个脸部子区域，每个脸部子区域对应脸部特征点中的多个预设关键特征点；

所述基于提取出的脸部特征点，确定每帧所述脸部图像中的至少一个预设平滑区域，包括：

在提取出的脸部特征点中缺失预设关键特征点的情况下，确定缺失的预设关键特征点对应的所述脸部子区域为缺失区域，并确定所述预定义的多个脸部子区域中除所述缺失区域之外的其他脸部子区域为非缺失区域；

根据提取出的脸部特征点中所述非缺失区域对应的预设关键特征点的位置确定所述非缺失区域的边界，以确定所述至少一个预设平滑区域。

在一种可能的实施方式中，在所述目标感兴趣区域的图像信息包括对应于多个不同颜色通道的亮度值的情况下，所述基于所述目标感兴趣区域的图像信息进行生理状态信息提取，得到所述目标对象的生理状态检测结果，包括：

基于所述目标感兴趣区域对应于所述三个颜色通道的亮度值，确定所述目标感兴趣区域对应于每一个所述颜色通道的时域亮度信号；

对所述目标感兴趣区域对应于多个不同的颜色通道的时域亮度信号进行主成分分析，得到表征所述目标对象的生理状态的时域信号；

对表征所述目标对象的生理状态的时域信号进行频域转换，得到表征所述目标对象的生理状态的频域信号；

基于所述频域信号的峰值，确定所述目标对象的生理状态值。

在一种可能的实施方式中，所述方法还包括：

在获取到新的视频流的情况下，重复执行以下步骤，直至达到预设检测时长，得到更新后的生理状态检测结果：

从所述新的视频流中提取目标对象的多帧脸部图像；以及确定每帧所述脸部图像中的至少一个预设平滑区域作为感兴趣区域，并从至少一个感兴趣区域中确定出图像亮度满足预设条件的目标感兴趣区域；

基于所述目标感兴趣区域的图像信息对所述生理状态检测结果进行更新。

第二方面，本公开实施例还提供了一种生理状态检测装置，包括：

获取模块，用于获取摄像设备采集的视频流；

提取模块，用于从所述视频流中的多帧图像中提取目标对象的多帧脸部图像；

选取模块，用于确定每帧所述脸部图像中的至少一个预设平滑区域作为感兴趣区域，并从至少一个感兴趣区域中确定出图像亮度满足预设条件的目标感兴趣区域；

检测模块，用于基于所述目标感兴趣区域的图像信息进行生理状态信息提取，得到所述目标对象的生理状态检测结果。

第三方面，本公开实施例还提供了一种电子设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如第一方面及其各种实施方式任一项所述的生理状态检测方法的步骤。

第四方面，本公开实施例还提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如第一方面及其各种实施方式任一项所述的生理状态检测方法的步骤。

本公开实施例提供的生理状态检测方法、装置、电子设备及存储介质，在获取到视频流的情况下，可以从视频流中提取目标对象的多帧脸部图像，并可以确定每帧脸部图像中的至少一个预设平滑区域作为感兴趣区域。在基于对感兴趣区域进行有关图像亮度的筛选的情况下，可以基于选取出的目标感兴趣的图像信息进行生理状态信息提取，得到所述目标对象的生理状态检测结果。相比相关技术中需要借助专用的仪器进行接触式测量所带来的测量不便的问题，本公开基于图像处理方式实现生理状态检测，可随时随地进行实时地测量，实用性更佳，且能够通过预设条件的约束实现高质量的目标感兴趣区域的筛选，进而基于目标感兴趣区域的图像信息进行生理状态检测，这可以进一步提升测量的准确度。

为使本公开的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本公开实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，此处的附图被并入说明书中并构成本说明书中的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。应当理解，以下附图仅示出了本公开的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1示出了本公开实施例所提供的一种生理状态检测方法的流程图；

图2示出了本公开实施例所提供的生理状态检测方法中，ROI选取具体方法的流程图；

图3示出了本公开实施例所提供的一种生理状态检测装置的示意图；

图4示出了本公开实施例所提供的一种电子设备的示意图。

具体实施方式

为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本公开实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围，而是仅仅表示本公开的选定实施例。基于本公开的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

本文中术语“和/或”，仅仅是描述一种关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合，例如，包括A、B、C中的至少一种，可以表示包括从A、B和C构成的集合中选择的任意一个或多个元素。

经研究发现，相关技术中，主要依赖专用的检测设备，如血压仪、心率仪、血氧仪等设备进行生理状态检测，除此之外，还可以借助集成有相关感应元器件的智能手表、智能手环等穿戴设备实现生理状态的测量。

可知，上述检测方案需要借助专用的仪器进行接触式测量，这为检测带来了不便，从而不能很好地满足诸如安全驾驶场景的需要。

为了解决上述问题，相关技术中提供了一种无接触式检测方案，即远程光电容积脉搏波描记法(remote Photoplethysmographic，rPPG)，该方法只需要借助人们目前广泛使用的带摄像头的手机终端就可以完成检测，无需额外的硬件成本，使用上非常方便。而rPPG方法目前的瓶颈在于检测精度逊色于一些专用的检测设备，同时也容易受到外界光线的影响。另外，利用rPPG方法的生理特征检测，需要让被检测对象保持一段时间的静止，只能用于主动检测。

传统基于rPPG的生理特征监测往往需要选取一个感兴趣区域(Region ofInterest,ROI)，在实际相机成像中可能出现画面过暗、过亮的情况，单个ROI区域往往是固定一个人脸范围作为ROI区域，容易选取到曝光不理想的区域进行信号提取。

基于上述研究，本公开实施例提供了一种基于图像亮度选取最优ROI区域实现生理状态检测的方案，以得到更接近实际情况的信号量，提升检测精度。

为便于对本实施例进行理解，首先对本公开实施例所公开的一种生理状态检测方法进行详细介绍，本公开实施例所提供的生理状态检测方法的执行主体一般为具有一定计算能力的电子设备，该电子设备例如包括：终端设备或服务器或其它处理设备，终端设备可以为用户设备(User Equipment，UE)、移动设备、用户终端、蜂窝电话、无绳电话、个人数字助理(Personal Digital Assistant，PDA)、手持设备、车载设备、可穿戴设备等。在一些可能的实现方式中，该生理状态检测方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。

参见图1所示，为本公开实施例提供的生理状态检测方法的流程图，所述方法包括步骤S101～S105，其中：

S101：获取摄像设备采集的视频流；

S102：从视频流中的多帧图像中提取目标对象的多帧脸部图像；

S103：确定每帧脸部图像中的至少一个预设平滑区域作为感兴趣区域；

S104：从至少一个感兴趣区域中确定出图像亮度满足预设条件的目标感兴趣区域；

S105：基于目标感兴趣区域的图像信息进行生理状态信息提取，得到目标对象的生理状态检测结果。

为了便于理解本公开实施例提供的生理状态检测方法，接下来首先对该方法的应用场景进行简单介绍。本公开实施例中的生理状态检测方法可以应用于需要进行生理状态检测的汽车领域，本公开实施例可以实现针对车舱环境内人体的生理状态检测。除此之外，本公开实施例还可以应用有诸如医疗、家居生活等其它任何需要进行生理状态检测的相关领域，这里不做具体的限制。考虑到汽车驾驶领域的广泛应用，接下来多以汽车领域进行示例说明。

其中，本公开实施例中的视频流可以是通过摄像设备(如汽车场景中的车内固定摄像头)采集得到的，还可以是用户终端自带摄像头采集得到的，还可以是其它方式采集得到的，在此不做具体的限制。

为了能实现针对特定目标对象的生理状态检测，有关摄像头的安装位置可以是基于特定的目标对象预先设置的，例如，为了实现针对车辆内的驾驶员的生理状态检测，这里的摄像头可以安装于拍摄范围覆盖驾驶区域的位置，例如车辆的A柱内侧、控制台上、或者方向盘位置；再如，为了实现针对车辆内的包括驾驶员和乘客在内的多种乘车属性的乘员的生理状态检测，这里的摄像头可以安装于车内后视镜、顶部装饰件、阅读灯等拍摄范围可覆盖车舱内多个座位区域的位置。

在汽车领域的实际应用中，还可以采用驾驶员监控系统(Driver MonitoringSystem，DMS)包含的车内图像采集装置实现有关驾驶区域的视频流的采集，或者，可以采用乘员监控系统(Occupant Monitoring System，OMS)包含的车内图像采集装置实现有关乘车区域的视频流的采集。

考虑到面部血管流过产生的皮肤色彩及亮度变化，可以反映心跳、呼吸等生理状态，这里可以首先对视频流中的多帧图像进行脸部检测，提取出车舱内的目标对象的多帧脸部图像，继而针对脸部图像实现生理状态信息的提取。

目标对象可以是停留在指定位置的人员对象，或者具有特定身份属性的人员对象。例如，在汽车领域中，目标对象可以是特定乘车属性的对象，例如驾驶员、副驾座位的乘车人；或者，目标对象可以是身份标识为预先使用面部信息注册的对象，例如通过应用程序注册的车主；或者，目标对象也可以是车内的任意一个乘员，可通过对车舱内的视频流进行面部检测定位出至少一个乘员，将检测出的一个或多个乘员作为目标对象。

在进行脸部检测的过程中，在一帧图像上可能会出现多个对象的面部的情况。一些场景中，可以选择针对某一乘车位置的乘员进行生理状态检测，即将该乘车位置的乘员作为目标对象。为了实现针对车舱内的目标对象的生理状态检测，这里，可以根据多帧图像的脸部检测结果，以及指定的乘车位置，从检测出的脸部图像中确定出目标对象的多帧脸部图像，其中，指定的乘车位置用于指示被测量的目标对象的位置。

车舱内用于采集视频流的摄像头在车辆内部空间的相对位置是固定的，可以根据摄像头的位置，将其采集的图像按照座位区域划分，例如对于5座私家车可以划分为：驾驶座对应的图像区域、副驾驶座对应的图像区域、后排左侧座位对应的图像区域、后排右侧座位对应的图像区域、后排中间座位对应的图像区域。根据车内各乘员对象的面部在图像中的位置以及各图像区域的坐标范围，可以确定出各乘员对象的面部落入的图像区域，进而确定出在指定的乘车位置的乘员对象为目标对象。

在实际应用中，OMS一般会拍摄整个车内的图像，可能拍到多个人，可以手动选择“前车乘车位”、“后座乘车位”，来指定要测量的目标对象，这时本公开实施例可以对图像中相应区域的人脸进行测量。DMS针对主驾驶区域进行拍摄，在其拍摄到的对象仅包含司机一人的情况下，可以无需指定对象。

需要说明的是，生理状态，例如心率、呼吸频率、血氧、血压等往往需要一定时长的监测才可以进行评估，因而，本公开实施例中采用持续一段时间的视频流内的多帧脸部图像所对应的图像变化信息实现生理状态信息的提取，这样所提取出的生理状态检测结果也更为符合实际场景的需要。

考虑到在基于脸部图像进行图像变化信息分析的过程中，由于受到诸如光照、遮挡等各种因素的影响而使得检测精度受到一定的干扰，本公开实施例提供了一种基于面部感兴趣区域进行图像变化信息分析的方案，由于感兴趣区域内包含了更多有效的像素点，从而可以有效地提升检测精度。

其中，针对每帧脸部图像均可以确定相关的感兴趣区域，该感兴趣区域可以是对应脸部图像中的一个或多个预设平滑区域构成的。预设平滑区域可以是平滑的连通区域，并且可选地，可以要求该连通区域为可通过脸部关键点定位出的矩形、圆形、或椭圆形等指定形状，每个连通区域内不包含脸部的眼睛、鼻子、嘴巴、眉毛等非平滑特征。该连通区域一定程度上具有更均匀的反射率，从而可以捕捉到更为有效的面部血管流过产生的皮肤色彩及亮度变化，继而可以实现更为精准的生理状态检测。

在确定每帧脸部图像的感兴趣区域的情况下，本公开实施例提供的生理状态检测方法可以首先基于有关图像亮度设置的预设条件进行目标感兴趣区域的确定，继而基于目标感兴趣区域的图像信息所对应的图像变化信息进行生理状态信息的提取，这里所提取的生理状态检测结果可以是包括心率、呼吸频率、血氧、血压等中的至少一个在内的检测结果。

本公开实施例中，可以通过一个或多个感兴趣区域的图像亮度选择最优的ROI区域作为目标感兴趣区域，从而可以针对目标感兴趣区域进行PPG信号提取，从而提升rPPG方法的检测精度以及检测中抗干扰的能力。

其中，有关图像亮度所设置的预设条件可以是滤除明显过曝或者明显过暗的相关感兴趣区域的条件，这主要是考虑到明显过曝的感兴趣区域对应的图像亮度异常的高，在这种情况下所进行的PPG信号提取不够准确，进而导致最终得到的生理状态检测结果的检测精度较低，同理，对于明显过暗的感兴趣区域而言，其图像亮度异常的低，同样导致较低的检测精度。

在实际应用中，可以基于图像亮度阈值实现有关感兴趣区域的筛选，具体可以通过如下步骤来实现：

步骤一、确定脸部图像对应的图像亮度阈值和每个感兴趣区域的区域图像亮度；

步骤二、根据图像亮度阈值和区域图像亮度对至少一个感兴趣区域过滤，得到至少一个候选感兴趣区域；

步骤三、基于至少一个候选感兴趣区域的区域亮度，确定目标感兴趣区域。

这里，首先可以基于图像亮度阈值对感兴趣区域进行过滤，而后再基于过滤得到的候选感兴趣区域选取最佳的目标感兴趣区域。

为了实现有效的过滤，本公开实施例一方面可以通过最大亮度这一图像亮度阈值来进行限定，另一方面可以通过最小亮度这一图像亮度阈值来进行限定。前者可以将区域图像亮度超过最大亮度的第一预设比例的感兴趣区域滤除，例如，可以将区域图像亮度超过最大亮度的90％的感兴趣区域滤除，以滤除可能过曝的相关感兴趣区域；后者可以将区域图像亮度未达到最小亮度的第二预设比例的感兴趣区域滤除，例如，可以将区域图像亮度小于最小亮度的30％的感兴趣区域滤除，以滤除可能过暗的相关感兴趣区域。

需要说明的是，最大亮度和最小亮度可以是预设好的亮度值，而针对不同的应用场景和/或不同的图像格式可以设置不同的亮度值，在实际应用中，可以根据需要来调整。

这里，考虑到在一定的亮度范围内，亮度越高的区域具备更清晰的图像特征的可能性越大，这样所得到的生理检测结果也将更为准确，基于此，可以选取亮度最大的候选感兴趣区域作为目标感兴趣区域。

本公开实施例中，在确定出的目标感兴趣区域为多个的情况下，可以首先确定每个目标感兴趣区域的亮度权重，而后基于亮度权重对多个目标感兴趣区域的生理状态信息提取结果进行融合。其中，有关亮度权重可以是基于对应区域的区域图像亮度来确定的，例如，对于区域图像亮度更大的目标感兴趣区域可以对应更大的亮度权重，反之，对于区域图像亮度更小的目标感兴趣区域可以对应更小的亮度权重，从而可以凸显亮度较大的目标感兴趣区域对于生理状态检测的影响，而弱化亮度较小的目标感兴趣区域对于生理状态检测的影响，这样所融合得到的生理状态检测结果将更为准确。

考虑到感兴趣区域的确定对于实现生理状态检测的关键作用，接下来可以着重对确定的感兴趣区域的过程进行具体说明。在一些可选的实现方式中，感兴趣区域可以通过如下步骤一和步骤二确定：

步骤一、对每帧脸部图像，进行脸部特征点提取；

步骤二、基于提取出的脸部特征点，确定每帧脸部图像中的至少一个预设平滑区域。

其中，上述提取脸部特征点的过程可以是利用人脸关键点检测算法实现的，例如，可以预先设置有关标准人脸图像的脸部特征点，这里的标准人脸可以是包括五官在内的正对摄像头拍摄的人脸图像，这样，在对每帧图像提取出的目标对象的脸部图像进行脸部特征点提取的过程中，可以基于提取的目标对象的脸部图像与标准人脸图像之间的比对情况来确定各个脸部特征点。例如，可以是眉毛特征点、鼻梁特征点、鼻尖特征点、脸颊特征点、嘴角特征点等具有明显脸部特性的相关特征点。

本公开实施例中，基于确定的脸部特征点的坐标信息可以确定脸部图像中的一个或多个预设平滑区域。

这里的预设平滑区域可以是矩形区域，还可以是具有连通性形状的其它区域，本公开实施例对此不做具体的限制，接下来多以矩形区域为例进行说明。

在实际应用中，这里的预设平滑区域可以是基于眉毛特征点确定的额头平滑区域、基于脸颊特征点、鼻梁特征点和鼻尖特征点确定的左侧上部脸颊平滑区域和右侧上部脸颊平滑区域、基于脸颊特征点、鼻尖特征点和嘴角特征点确定的左侧下部脸颊平滑区域和右侧下部脸颊平滑区域。

在未出现区域遮挡的情况下，上述五个区域可以在一帧脸部图像上同时被提取到，在出现区域遮挡的情况下，一帧脸部图像实际所能够提取出的区域可以依照实际情况来确定。本公开实施例中可以按照如下步骤来确定被遮挡后的预设平滑区域：

步骤一、在提取出的脸部特征点中缺失预设关键特征点的情况下，确定缺失的预设关键特征点对应的脸部子区域为缺失区域，并确定预定义的多个脸部子区域中除缺失区域之外的其他脸部子区域为非缺失区域；

步骤二、根据提取出的脸部特征点中非缺失区域对应的预设关键特征点的位置确定非缺失区域的边界，以确定至少一个预设平滑区域。

这里，一旦提取出的脸部特征点中缺失预设关键特征点的情况下，可以说明对应的脸部子区域被遮挡，同时确定其它未缺失的脸部关键点对应的非缺失区域。在基于非缺失区域对应的预设关键特征点的位置确定非缺失区域的边界的情况下，可以确定出预设平滑区域。可知的是，即使发生了遮挡，本公开实施例也可以按照上述方法很好的提取出感兴趣区域。

如图2所示，为针对摄像头拍摄的脸部图像可以提取出的脸部特征点的示意图，共计106特征点。这里，基于脸部特征点的坐标信息，可以筛选5个预设平滑区域，具体可参见图2，其中区域1可以是通过两侧眉毛的两个特征点构造的区域1的矩形ROI；区域2是左侧的一个脸颊区域，可以通过脸部左侧边缘特征点、鼻梁特征点、左眼特征点的位置构造区域2的矩形ROI；区域3是右侧的一个脸颊区域，可以通过脸部右侧边缘特征点、鼻梁特征点、右眼特征点的位置构造区域3的矩形ROI，区域4是左侧的另一个脸颊区域，可以通过脸部左侧边缘特征点、左侧鼻翼特征点、左嘴角特征点的位置构造区域4的矩形ROI，区域5是右侧的另一个脸颊区域，可以通过脸部右侧边缘特征点、右侧鼻翼特征点、右嘴角特征点的位置构造区域5的矩形ROI。

考虑到不同的感兴趣区域可能会受到不同的外部因素(如光照等)的影响，而导致各自所体现的生理状态检测能力并不相同。这里，为了尽可能的捕捉到更为有效的脸部特征以实现更为准确的生理状态检测，可以在基于上述感兴趣区域确定出图像亮度满足预设条件的目标感兴趣区域的情况下，基于目标感兴趣区域的图像信息进行生理状态信息提取，具体可以通过如下步骤来实现：

步骤一、基于目标感兴趣区域对应于三个颜色通道的亮度值，确定目标感兴趣区域对应于每一个颜色通道的时域亮度信号；

步骤二、对目标感兴趣区域对应于多个不同的颜色通道的时域亮度信号进行主成分分析，得到表征目标对象的生理状态的时域信号；

步骤三、对表征目标对象的生理状态的时域信号进行频域转换，得到表征目标对象的生理状态的频域信号；

步骤四、基于频域信号的峰值，确定目标对象的生理状态值。

考虑到生理状态直接影响了目标对象的血流变化，而血流变化又可以基于图像的亮度变化来表征，因而，这里首先可以确定目标感兴趣区域对应于红、绿、蓝三个颜色通道中每一个颜色通道的时域亮度信号，形成RGB三维信号，然后对三个不同的颜色通道的时域亮度信号进行主成分分析，提取主成分(降维)后得到的一维信号作为表征目标对象的生理状态的时域信号，该时域信号可以是上述颜色通道中的其中一个通道(例如，绿色通道)的时域亮度信号确定的，且被选取的通道可以是最能表征血流变化的一个通道，除此之外，还可以是其它主成分分析方法确定的，这里不做具体的限制。

为了便于实现更为准确的主成分分析，在对三维时域亮度信号进行主成分分析之前，可以进行诸如正则化和Detrend滤波去噪等处理。除此之外，在主成分分析之后，还可以对得到的时域信号进行滑动平均滤波去噪处理，从而进一步提升时域信号的精度，提升后续处理得到生理状态检测结果的准确度。

为了便于进一步提升生理状态检测的准确度，这里，可以对时域信号进行频域转换，基于转换之后的频域信号可以分析出更多有用的信息，例如，可以确定各个频率成分的幅值分布和能量分布，从而得到主要幅度和能量分布的频率值。这里，可以基于频域信号的峰值确定目标对象的生理状态值。

以心率检测为例，这里可以确定频域信号的峰值pmax，通过pmax与心率基准值的求和结果可以得到原始心率测量值，其中，pmax表征的是心率变化量，心率基准值可以由基于经验的心率估计范围的下限来确定，还可以考虑诸如视频帧率、频域信号长度等因素的影响来调整心率基准值。

在确定心率之后，可以测算血氧饱和度和心率变异性等相关生理指标。针对血氧饱和度，这里可以利用红光(600～800nm)和近红光区域(800～1000nm)分别检测HbO2和Hb的时域信号，再计算相应的比值，就可以得到血氧饱和度；针对心率变异性，在提取到时域信号后，通过计算每两个临近波峰的间距再结合帧率得到若干个间隔时间，然后取这些间隔时间的标准差(Standard Deviation of NN Intervals，SDNN)，即得到心率变异性。

呼吸频率检测与心率检测的方法类似，主要的区别在于呼吸频率所在范围与心率所在范围不同，且对应的基准值设置不同，基于上述同样的方法可以实现呼吸频率检测。

本公开实施例实现的是多帧图像的生理状态检测，也即，多帧图像对应的图像变化信息可以表征出生理状态的变化情况。在实际应用中，有关视频流所确定的生理状态检测结果可以是随着图像帧的采集的持续而进行更新。

这里，在获取到新的视频流包括的一帧或多帧图像的情况下，可以对新的视频流中的图像进行脸部检测，提取出车舱内的目标对象的脸部图像，而后确定脸部图像中的至少一个预设平滑区域作为感兴趣区域，并从至少一个感兴趣区域中确定出图像亮度满足预设条件的目标感兴趣区域，这样即可以基于目标感兴趣区域的图像信息对生理状态检测结果进行更新，若未达到预设检测时长，则再次基于获取到的新的视频流进行更新，直至达到预设检测时长，得到更新后的生理状态检测结果。

这里仍以心率检测进行示例说明。在确定预设检测时长为30s的情况下，在30s内可以持续获取视频流。在基于起始视频流(例如起始的5秒内的视频流)的多帧图像计算出心率测量值的情况下，仍在30秒内。这时，随着图像帧的采集，图像帧数量增加，每增加一帧或者每增加n帧可以计算出一个新的心率测量值，然后通过滑动平均做平滑处理，到达30s后结束测量，得到最终测量结果。

在车舱环境下，为了帮助目标对象进行更为快速的生理状态测量，这里，可以在一次生理状态检测过程中根据已获取的视频流的时长和预设检测时长生成用于提醒目标对象所需检测时长的检测进程提醒信号，例如，已获取视频流的时长(即当前的目标对象的生理状态检测已持续的检测时间)达到25秒，预设检测时长为30秒，则可以发出有关“请保持不动，还有5秒即可完成检测”的语音或屏幕提示；或者，在当前的目标对象的生理状态检测时长达到30秒时，发出“测量已完成”的语音或屏幕提示。

在实现生理状态检测之后，本公开实施例还可以展示生理状态检测结果以通过展示的生理状态检测为目标对象提供更好的车舱服务。

本公开实施例中，一方面可以向车舱内的显示屏传送目标对象的生理状态检测结果，以在显示屏上进行显示，这样，车舱人员可以实时监测自身的生理状态情况下，还能够在自身的生理状态存在异常的情况下，及时就医或者采取其它必要的措施；另一方面还可以向生理状态检测应用的服务端传送目标对象的生理状态检测结果，以在目标对象通过生理状态检测应用请求获取检测结果的情况下，通过服务端向目标对象使用的终端设备发送生理状态检测结果。

也即，这里可以将目标对象的生理状态检测结果记录在服务端，在服务端还可以对理状态检测结果进行统计分析，例如，可以确定历史一个月、一周的生理状态统计结果，这样，在目标对象发起生理状态检测应用请求的情况下，可以将生理状态检测结果、统计结果等发送至目标对象的终端设备，以实现更为综合性的生理状态评估。

其中，上述生理状态检测应用可以是具体的用于进行生理状态检测的应用程序(Application，APP)，利用APP可以响应目标对象有关的检测结果的获取请求，继而实现在APP上的结果呈现，更具实用性。

本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。

基于同一发明构思，本公开实施例中还提供了与生理状态检测方法对应的生理状态检测装置，由于本公开实施例中的装置解决问题的原理与本公开实施例上述生理状态检测方法相似，因此装置的实施可以参见方法的实施，重复之处不再赘述。

参照图3所示，为本公开实施例提供的一种生理状态检测装置的示意图，装置包括：获取模块301、提取模块302、选取模块303和检测模块304；其中，

获取模块301，用于获取摄像设备采集的视频流；

提取模块302，用于从视频流中的多帧图像中提取目标对象的多帧脸部图像；

选取模块303，用于确定每帧脸部图像中的至少一个预设平滑区域作为感兴趣区域，并从至少一个感兴趣区域中确定出图像亮度满足预设条件的目标感兴趣区域；

检测模块304，用于基于目标感兴趣区域的图像信息进行生理状态信息提取，得到目标对象的生理状态检测结果。

本公开实施例提供的生理状态检测装置，在获取到视频流的情况下，可以从视频流中提取目标对象的多帧脸部图像，并可以确定每帧脸部图像中的至少一个预设平滑区域作为感兴趣区域。在基于对感兴趣区域进行有关图像亮度的筛选的情况下，可以基于选取出的目标感兴趣的图像信息进行生理状态信息提取，得到目标对象的生理状态检测结果。相比相关技术中需要借助专用的仪器进行接触式测量所带来的测量不便的问题，本公开基于图像处理方式实现生理状态检测，可随时随地进行实时地测量，实用性更佳，且能够通过预设条件的约束实现高质量的目标感兴趣区域的筛选，进而基于目标感兴趣区域的图像信息进行生理状态检测，这可以进一步提升测量的准确度。

在一种可能的实施方式中，选取模块303，用于按照如下步骤从至少一个感兴趣区域中确定出图像亮度满足预设条件的目标感兴趣区域：

确定脸部图像对应的图像亮度阈值和每个感兴趣区域的区域图像亮度；

根据图像亮度阈值和区域图像亮度对至少一个感兴趣区域过滤，得到至少一个候选感兴趣区域；

基于至少一个候选感兴趣区域的区域亮度，确定目标感兴趣区域。

在一种可能的实施方式中，图像亮度阈值包括最大亮度；

选取模块303，用于按照如下步骤根据图像亮度阈值和区域图像亮度对至少一个感兴趣区域过滤，得到至少一个候选感兴趣区域：

将区域图像亮度超过最大亮度的第一预设比例的感兴趣区域滤除。

在一种可能的实施方式中，图像亮度阈值包括最小亮度；

选取模块303，用于按照如下步骤根据图像亮度阈值和区域图像亮度对至少一个感兴趣区域过滤，得到至少一个候选感兴趣区域：

将区域图像亮度未达到最小亮度的第二预设比例的感兴趣区域滤除。

在一种可能的实施方式中，选取模块303，用于按照如下步骤基于至少一个候选感兴趣区域的区域亮度，确定目标感兴趣区域：

将至少一个候选感兴趣区域中区域亮度最大的候选感兴趣区域，确定为目标感兴趣区域。

在一种可能的实施方式中，在从至少一个感兴趣区域中确定出图像亮度满足预设条件的至少两个目标感兴趣区域的情况下，检测模块304，用于按照如下步骤基于目标感兴趣区域的图像信息进行生理状态信息提取：

根据每个目标感兴趣区域的区域图像亮度确定每个目标感兴趣区域的亮度权重；

基于每个目标感兴趣区域的图像信息进行生理状态信息提取；

基于亮度权重对至少两个目标感兴趣区域的生理状态信息提取结果进行融合。

在一种可能的实施方式中，选取模块303，还用于：

对每帧脸部图像，进行脸部特征点提取；

基于提取出的脸部特征点，确定每帧脸部图像中的至少一个预设平滑区域。

在一种可能的实施方式中，脸部特征点包括眉毛特征点、鼻梁特征点、鼻尖特征点、脸颊特征点、嘴角特征点；预设平滑区域包括以下至少一项：

基于眉毛特征点确定的额头平滑区域、基于脸颊特征点、鼻梁特征点和鼻尖特征点确定的左侧上部脸颊平滑区域和右侧上部脸颊平滑区域、基于脸颊特征点、鼻尖特征点和嘴角特征点确定的左侧下部脸颊平滑区域和右侧下部脸颊平滑区域。

在一种可能的实施方式中，预设平滑区域包括预定义的多个脸部子区域，每个脸部子区域对应脸部特征点中的多个预设关键特征点；

选取模块303，用于按照如下步骤基于提取出的脸部特征点，确定每帧脸部图像中的至少一个预设平滑区域：

在提取出的脸部特征点中缺失预设关键特征点的情况下，确定缺失的预设关键特征点对应的脸部子区域为缺失区域，并确定预定义的多个脸部子区域中除缺失区域之外的其他脸部子区域为非缺失区域；

根据提取出的脸部特征点中非缺失区域对应的预设关键特征点的位置确定非缺失区域的边界，以确定至少一个预设平滑区域。

在一种可能的实施方式中，在目标感兴趣区域的图像信息包括对应于多个不同颜色通道的亮度值的情况下，检测模块304，用于按照如下步骤基于目标感兴趣区域的图像信息进行生理状态信息提取，得到目标对象的生理状态检测结果：

基于目标感兴趣区域对应于三个颜色通道的亮度值，确定目标感兴趣区域对应于每一个颜色通道的时域亮度信号；

对目标感兴趣区域对应于多个不同的颜色通道的时域亮度信号进行主成分分析，得到表征目标对象的生理状态的时域信号；

对表征目标对象的生理状态的时域信号进行频域转换，得到表征目标对象的生理状态的频域信号；

基于频域信号的峰值，确定目标对象的生理状态值。

在一种可能的实施方式中，检测模块304，还用于：

在获取到新的视频流的情况下，重复执行以下步骤，直至达到预设检测时长，得到更新后的生理状态检测结果：

从新的视频流中提取目标对象的多帧脸部图像；以及确定每帧脸部图像中的至少一个预设平滑区域作为感兴趣区域，并从至少一个感兴趣区域中确定出图像亮度满足预设条件的目标感兴趣区域；

基于目标感兴趣区域的图像信息对生理状态检测结果进行更新。

关于装置中的各模块的处理流程、以及各模块之间的交互流程的描述可以参照上述方法实施例中的相关说明，这里不再详述。

本公开实施例还提供了一种电子设备，如图4所示，为本公开实施例提供的电子设备结构示意图，包括：处理器401、存储器402、和总线403。存储器402存储有处理器401可执行的机器可读指令(比如，图3中的装置中获取模块301、提取模块302、选取模块303和检测模块304对应的执行指令等)，当电子设备运行时，处理器401与存储器402之间通过总线403通信，机器可读指令被处理器401执行时执行如下处理：

获取摄像设备采集的视频流；

从视频流中的多帧图像中提取目标对象的多帧脸部图像；

确定每帧脸部图像中的至少一个预设平滑区域作为感兴趣区域；

从至少一个感兴趣区域中确定出图像亮度满足预设条件的目标感兴趣区域；

基于目标感兴趣区域的图像信息进行生理状态信息提取，得到目标对象的生理状态检测结果。

本公开实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述方法实施例中所述的生理状态检测方法的步骤。其中，该存储介质可以是易失性或非易失的计算机可读取存储介质。

本公开实施例还提供一种计算机程序产品，该计算机程序产品承载有程序代码，所述程序代码包括的指令可用于执行上述方法实施例中所述的生理状态检测方法的步骤，具体可参见上述方法实施例，在此不再赘述。

其中，上述计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选实施例中，所述计算机程序产品具体体现为计算机存储介质，在另一个可选实施例中，计算机程序产品具体体现为软件产品，例如软件开发包(Software Development Kit，SDK)等等。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。在本公开所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本公开各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台电子设备(可以是个人计算机，服务器，或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上所述实施例，仅为本公开的具体实施方式，用以说明本公开的技术方案，而非对其限制，本公开的保护范围并不局限于此，尽管参照前述实施例对本公开进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本公开实施例技术方案的精神和范围，都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应所述以权利要求的保护范围为准。

Claims (14)

1.一种生理状态检测方法，其特征在于，包括：

获取摄像设备采集的视频流；

从所述视频流中的多帧图像中提取目标对象的多帧脸部图像；

确定每帧所述脸部图像中的至少一个预设平滑区域作为感兴趣区域；

从至少一个感兴趣区域中确定出图像亮度满足预设条件的目标感兴趣区域；

基于所述目标感兴趣区域的图像信息进行生理状态信息提取，得到所述目标对象的生理状态检测结果。

2.根据权利要求1所述的方法，其特征在于，所述从至少一个感兴趣区域中确定出图像亮度满足预设条件的目标感兴趣区域，包括：

确定所述脸部图像对应的图像亮度阈值和每个感兴趣区域的区域图像亮度；

根据所述图像亮度阈值和所述区域图像亮度对所述至少一个感兴趣区域过滤，得到至少一个候选感兴趣区域；

基于所述至少一个候选感兴趣区域的区域亮度，确定所述目标感兴趣区域。

3.根据权利要求2所述的方法，其特征在于，所述图像亮度阈值包括最大亮度；所述根据所述图像亮度阈值和所述区域图像亮度对所述至少一个感兴趣区域过滤，得到至少一个候选感兴趣区域，包括：

将所述区域图像亮度超过所述最大亮度的第一预设比例的感兴趣区域滤除。

4.根据权利要求2或3所述的方法，其特征在于，所述图像亮度阈值包括最小亮度；所述根据所述图像亮度阈值和所述区域图像亮度对所述至少一个感兴趣区域过滤，得到至少一个候选感兴趣区域，包括：

将所述区域图像亮度未达到所述最小亮度的第二预设比例的感兴趣区域滤除。

5.根据权利要求2至4任一项所述的方法，其特征在于，所述基于所述至少一个候选感兴趣区域的区域亮度，确定所述目标感兴趣区域，包括：

将所述至少一个候选感兴趣区域中区域亮度最大的候选感兴趣区域，确定为所述目标感兴趣区域。

6.根据权利要求1至4任一项所述的方法，其特征在于，在从至少一个感兴趣区域中确定出图像亮度满足预设条件的至少两个目标感兴趣区域的情况下，所述基于所述目标感兴趣区域的图像信息进行生理状态信息提取，包括：

根据每个目标感兴趣区域的区域图像亮度确定每个目标感兴趣区域的亮度权重；

基于每个目标感兴趣区域的图像信息进行生理状态信息提取；

基于所述亮度权重对所述至少两个目标感兴趣区域的生理状态信息提取结果进行融合。

7.根据权利要求1至6任一项所述的方法，其特征在于，所述方法还包括：

对每帧所述脸部图像，进行脸部特征点提取；

基于提取出的脸部特征点，确定每帧所述脸部图像中的至少一个预设平滑区域。

8.根据区权利要求7所述的方法，其特征在于，所述脸部特征点包括眉毛特征点、鼻梁特征点、鼻尖特征点、脸颊特征点、嘴角特征点；所述预设平滑区域包括以下至少一项：

基于所述眉毛特征点确定的额头平滑区域、基于所述脸颊特征点、鼻梁特征点和鼻尖特征点确定的左侧上部脸颊平滑区域和右侧上部脸颊平滑区域、基于所述脸颊特征点、鼻尖特征点和嘴角特征点确定的左侧下部脸颊平滑区域和右侧下部脸颊平滑区域。

9.根据权利要求7或8所述的方法，其特征在于，所述预设平滑区域包括预定义的多个脸部子区域，每个脸部子区域对应脸部特征点中的多个预设关键特征点；

所述基于提取出的脸部特征点，确定每帧所述脸部图像中的至少一个预设平滑区域，包括：

在提取出的脸部特征点中缺失预设关键特征点的情况下，确定缺失的预设关键特征点对应的所述脸部子区域为缺失区域，并确定所述预定义的多个脸部子区域中除所述缺失区域之外的其他脸部子区域为非缺失区域；

根据提取出的脸部特征点中所述非缺失区域对应的预设关键特征点的位置确定所述非缺失区域的边界，以确定所述至少一个预设平滑区域。

10.根据权利要求1至9任一项所述的方法，其特征在于，在所述目标感兴趣区域的图像信息包括对应于多个不同颜色通道的亮度值的情况下，所述基于所述目标感兴趣区域的图像信息进行生理状态信息提取，得到所述目标对象的生理状态检测结果，包括：

基于所述目标感兴趣区域对应于所述三个颜色通道的亮度值，确定所述目标感兴趣区域对应于每一个所述颜色通道的时域亮度信号；

对所述目标感兴趣区域对应于多个不同的颜色通道的时域亮度信号进行主成分分析，得到表征所述目标对象的生理状态的时域信号；

对表征所述目标对象的生理状态的时域信号进行频域转换，得到表征所述目标对象的生理状态的频域信号；

基于所述频域信号的峰值，确定所述目标对象的生理状态值。

11.根据权利要求1至10任一项所述的方法，其特征在于，所述方法还包括：

在获取到新的视频流的情况下，重复执行以下步骤，直至达到预设检测时长，得到更新后的生理状态检测结果：

从所述新的视频流中提取目标对象的多帧脸部图像；以及确定每帧所述脸部图像中的至少一个预设平滑区域作为感兴趣区域，并从至少一个感兴趣区域中确定出图像亮度满足预设条件的目标感兴趣区域；

基于所述目标感兴趣区域的图像信息对所述生理状态检测结果进行更新。

12.一种生理状态检测装置，其特征在于，包括：

获取模块，用于获取摄像设备采集的视频流；

提取模块，用于从所述视频流中的多帧图像中提取目标对象的多帧脸部图像；

选取模块，用于确定每帧所述脸部图像中的至少一个预设平滑区域作为感兴趣区域，并从至少一个感兴趣区域中确定出图像亮度满足预设条件的目标感兴趣区域；

检测模块，用于基于所述目标感兴趣区域的图像信息进行生理状态信息提取，得到所述目标对象的生理状态检测结果。

13.一种电子设备，其特征在于，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如权利要求1至11任一项所述的生理状态检测方法的步骤。

14.一种计算机可读存储介质，其特征在于，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如权利要求1至11任一项所述的生理状态检测方法的步骤。

Images