CN116311175A - 一种生理状态检测方法、装置、电子设备及存储介质 - Google Patents

Abstract

本公开提供了一种生理状态检测方法、装置、电子设备及存储介质，其中，该方法包括：获取车舱内的视频流；对视频流中的多帧图像进行脸部检测，提取出车舱内的目标对象的多帧脸部图像；确定每帧脸部图像中的至少一个预设平滑区域作为感兴趣区域；基于多帧脸部图像中的各感兴趣区域的图像信息进行生理状态信息提取，得到目标对象的生理状态检测结果。本公开通过确定每帧脸部图像中的预设平滑区域可以查找到更为适应于进行生理状态分析的图像信息，这样所确定的生理状态检测结果也更为准确，除此之外，本公开采用的是无接触检测方式实现的生理状态检测，便于部署实施。

Description

一种生理状态检测方法、装置、电子设备及存储介质

技术领域

本公开涉及计算机技术领域，具体而言，涉及一种生理状态检测方法、装置、电子设备及存储介质。

背景技术

准确的生理状态数据是分析人体变异性的基础，所以对生理状态的检测有着重要的意义，从而被广泛应用于各个应用场景。

以安全驾驶场景为例，有效的生理状态检测可以帮助了解车内乘员的生理状态，从而为安全驾驶提供辅助性的决策。相关技术中，主要依赖专用的检测设备，如血压仪、心率仪、血氧仪等设备进行生理状态检测，除此之外，还可以借助集成有相关感应元器件的智能手表、智能手环等穿戴设备实现生理状态的测量。

可知，上述检测方案需要借助专用的仪器进行接触式测量，这为检测带来了不便，从而不能很好地满足诸如安全驾驶场景的需要。

发明内容

本公开实施例至少提供一种生理状态检测方法、装置、电子设备及存储介质。

第一方面，本公开实施例提供了一种生理状态检测方法，包括：

获取车舱内的视频流；

对所述视频流中的多帧图像进行脸部检测，提取出所述车舱内的目标对象的多帧脸部图像；

确定每帧所述脸部图像中的至少一个预设平滑区域作为感兴趣区域；

基于多帧脸部图像中的各感兴趣区域的图像信息进行生理状态信息提取，得到所述目标对象的生理状态检测结果。

采用上述生理状态检测方法，在获取到车舱内的视频流的情况下，可以首先对视频流中的多帧图像进行脸部检测以提取出车舱内的目标对象的多帧脸部图像，然后可以确定每帧脸部图像中的至少一个预设平滑区域作为感兴趣区域，并能够基于多帧脸部图像中的各感兴趣区域的图像信息进行生理状态信息提取，从而得到目标对象的生理状态检测结果。本公开在进行生理状态信息提取之前，通过确定每帧脸部图像中的预设平滑区域可以查找到更为适应于进行生理状态分析的图像信息，这样所确定的生理状态检测结果也更为准确，除此之外，本公开采用的是无接触检测方式实现车舱内对象的生理状态检测，便于操作。

在一种可能的实施方式中，所述确定每帧所述脸部图像中的至少一个预设平滑区域作为感兴趣区域，包括：

对每帧所述脸部图像，进行脸部特征点提取；

基于提取出的脸部特征点，确定每帧所述脸部图像中的至少一个预设平滑区域，作为所述脸部图像的感兴趣区域。

在一种可能的实施方式中，所述预设平滑区域包括额头区域、左侧脸颊区域、右侧脸颊区域、下巴区域中的至少一个。

在一种可能的实施方式中，在每帧所述脸部图像确定出的感兴趣区域为多个的情况下，所述基于多帧脸部图像中的各感兴趣区域的图像信息进行生理状态信息提取，包括：

确定所述脸部图像中的每个所述感兴趣区域的图像质量；

选取图像质量符合预设要求的感兴趣区域作为目标感兴趣区域；

基于多帧脸部图像中的一个或多个目标感兴趣区域的图像信息进行生理状态信息提取。

在一种可能的实施方式中，所述确定所述脸部图像中的每个所述感兴趣区域的图像质量，包括：

基于每个所述感兴趣区域的亮度、遮挡情况、面积、信噪比中的至少一项，确定每个所述感兴趣区域的图像质量。

在一种可能的实施方式中，所述方法还包括：

根据每帧所述脸部图像检测所述目标对象的脸部姿态；以及

在确定每帧所述脸部图像中的至少一个预设平滑区域作为感兴趣区域之后，根据所述脸部姿态从感兴趣区域中去除图像中可见范围不满足预设的可见性要求的感兴趣区域。

在一种可能的实施方式中，所述图像信息包括对应于多个不同颜色通道的亮度值，所述基于多帧脸部图像中的各感兴趣区域的图像信息进行生理状态信息提取，得到所述目标对象的生理状态检测结果，包括：

基于多帧脸部图像中的至少一个感兴趣区域对应于所述三个颜色通道的亮度值，确定所述至少一个感兴趣区域对应于每一个所述颜色通道的时域亮度信号；

对所述至少一个感兴趣区域对应于多个不同的颜色通道的时域亮度信号进行主成分分析，得到表征所述目标对象的生理状态的时域信号；

基于表征所述目标对象的生理状态的时域信号确定所述目标对象的生理状态信息。

在一种可能的实施方式中，所述基于表征所述目标对象的生理状态的时域信号确定所述目标对象的生理状态信息，包括：

对表征所述目标对象的生理状态的时域信号进行频域转换，得到表征所述目标对象的生理状态的频域信号；

基于所述频域信号的峰值，确定所述目标对象的生理状态值。

在一种可能的实施方式中，所述方法还包括：

在获取到新的视频流包括的一帧或多帧图像的情况下，重复执行以下步骤，直至达到预设检测时长，得到更新后的生理状态检测结果：

对所述新的视频流中的所述图像进行脸部检测，提取出所述车舱内的目标对象的脸部图像；

确定所述脸部图像中的至少一个预设平滑区域作为感兴趣区域；

基于所述脸部图像中的感兴趣区域的图像信息对所述生理状态检测结果进行更新。

在一种可能的实施方式中，所述方法还包括：

根据已获取的视频流的时长和所述预设检测时长生成用于提醒所述目标对象所需检测时长的检测进程提醒信号。

在一种可能的实施方式中，所述提取出所述车舱内的目标对象的多帧脸部图像，包括：

根据所述多帧图像的脸部检测结果，以及指定的乘车位置，从检测出的脸部图像中确定出目标对象的多帧脸部图像，其中，所述指定的乘车位置用于指示被测量的目标对象的位置。

在一种可能的实施方式中，所述方法还包括：

向所述车舱内的显示屏传送所述目标对象的生理状态检测结果，以在所述显示屏上进行显示；和/或

向生理状态检测应用的服务端传送所述目标对象的生理状态检测结果，以在所述目标对象通过所述生理状态检测应用请求获取所述检测结果的情况下，通过所述服务端向所述目标对象使用的终端设备发送所述生理状态检测结果。

在一种可能的实施方式中，在获取车舱内的视频流之后，所述方法还包括：

对所述视频流中的目标对象进行身体姿态检测，得到所述目标对象的姿态变化信息；

在得到所述目标对象的生理状态检测结果之后，所述方法还包括：

在所述姿态变化信息指示目标对象姿态异常、且所述生理状态检测结果不符合预设生理状态值的情况下，生成用于提醒所述目标对象的关联对象进行紧急救助的提醒信号。

第二方面，本公开实施例还提供了一种生理状态检测装置，包括：

获取模块，用于获取车舱内的视频流；

提取模块，用于对所述视频流中的多帧图像进行脸部检测，提取出所述车舱内的目标对象的多帧脸部图像；

确定模块，用于确定每帧所述脸部图像中的至少一个预设平滑区域作为感兴趣区域；

检测模块，用于基于多帧脸部图像中的各感兴趣区域的图像信息进行生理状态信息提取，得到所述目标对象的生理状态检测结果。

第三方面，本公开实施例还提供了一种电子设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如第一方面及其各种实施方式任一项所述的生理状态检测方法的步骤。

第四方面，本公开实施例还提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如第一方面及其各种实施方式任一项所述的生理状态检测方法的步骤。

关于上述生理状态检测装置、电子设备、及计算机可读存储介质的效果描述参见上述生理状态检测方法的说明，这里不再赘述。

为使本公开的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本公开实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，此处的附图被并入说明书中并构成本说明书中的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。应当理解，以下附图仅示出了本公开的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1示出了本公开实施例所提供的一种生理状态检测方法的流程图；

图2示出了本公开实施例所提供的生理状态检测方法中，ROI选取具体方法的流程图；

图3示出了本公开实施例所提供的一种生理状态检测装置的示意图；

图4示出了本公开实施例所提供的一种电子设备的示意图。

具体实施方式

为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本公开实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围，而是仅仅表示本公开的选定实施例。基于本公开的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

本文中术语“和/或”，仅仅是描述一种关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合，例如，包括A、B、C中的至少一种，可以表示包括从A、B和C构成的集合中选择的任意一个或多个元素。

经研究发现，相关技术中，主要依赖专用的检测设备，如血压仪、心率仪、血氧仪等设备进行生理状态检测，除此之外，还可以借助集成有相关感应元器件的智能手表、智能手环等穿戴设备实现生理状态的测量。

可知，上述检测方案需要借助专用的仪器进行接触式测量，这为检测带来了不便，从而不能很好地满足诸如安全驾驶场景的需要。

为了解决上述问题，相关技术中提供了一种无接触式检测方案，即远程光电容积脉搏波描记法(remote Photoplethysmographic，rPPG)，该方法只需要借助人们目前广泛使用的带摄像头的手机终端就可以完成检测，无需额外的硬件成本，使用上非常方便。然而，rPPG方法目前的瓶颈在于检测精度逊色于一些专用的检测设备，同时也容易受到外界光线的影响。

基于上述研究，本公开提供了一种基于面部感兴趣区域进行生理状态检测的方案，在确保了操作简单的情况下，还提升了生理状态检测的精度。

为便于对本实施例进行理解，首先对本公开实施例所公开的一种生理状态检测方法进行详细介绍，本公开实施例所提供的生理状态检测方法的执行主体一般为具有一定计算能力的电子设备，该电子设备例如包括：终端设备或服务器或其它处理设备，终端设备可以为用户设备(User Equipment，UE)、移动设备、用户终端、终端、蜂窝电话、无绳电话、个人数字助理(Personal Digital Assistant，PDA)、手持设备、计算设备、车载设备等。在一些可能的实现方式中，该生理状态检测方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。

参见图1所示，为本公开实施例提供的生理状态检测方法的流程图，方法包括步骤S101～S104，其中：

S101：获取车舱内的视频流；

S102：对视频流中的多帧图像进行脸部检测，提取出车舱内的目标对象的多帧脸部图像；

S103：确定每帧脸部图像中的至少一个预设平滑区域作为感兴趣区域；

S104：基于多帧脸部图像中的各感兴趣区域的图像信息进行生理状态信息提取，得到目标对象的生理状态检测结果。

为了便于理解本公开实施例提供的生理状态检测方法，接下来首先对该方法的应用场景进行简单介绍。本公开实施例中的生理状态检测方法主要可以应用于需要进行生理状态检测的汽车驾驶领域，也即，本公开实施例可以实现的是针对车舱环境的生理状态检测，除此之外，本公开实施例还可以应用有诸如医疗、家居生活等其它任何需要进行生理状态检测的相关领域，这里不做具体的限制。考虑到汽车驾驶领域的广泛应用，接下来多以汽车驾驶领域进行示例说明。

其中，本公开实施例中的视频流可以是通过车辆上搭载的摄像头采集得到的，还可以是用户终端自带摄像头采集得到的，还可以是其它方式采集得到的，在此不做具体的限制。

为了能实现针对特定目标对象的生理状态检测，有关摄像头的安装位置可以是基于特定的目标对象预先设置的，例如，为了实现针对车辆内的驾驶员的生理状态检测，这里的摄像头可以安装于拍摄范围覆盖驾驶区域的位置，例如车辆的A柱内侧、控制台上、或者方向盘位置；再如，为了实现针对车辆内的包括驾驶员和乘客在内的多种乘车属性的乘员的生理状态检测，这里的摄像头可以安装于车内后视镜、顶部装饰件、阅读灯等拍摄范围可覆盖车舱内多个座位区域的位置。

在实际应用中，还可以采用驾驶员监控系统(Driver Monitoring System，DMS)包含的车内图像采集装置实现有关驾驶区域的视频流的采集，或者，可以采用乘员监控系统(Occupant Monitoring System，OMS)包含的车内图像采集装置实现有关乘车区域的视频流的采集。

考虑到面部血管流过产生的皮肤色彩及亮度变化，可以反映心跳、呼吸等生理状态，这里可以首先对视频流中的多帧图像进行脸部检测，提取出车舱内的目标对象的多帧脸部图像，继而针对脸部图像实现生理状态信息的提取。

目标对象可以是特定乘车属性的对象，例如驾驶员、副驾座位的乘车人；或者，目标对象可以是身份标识为预先使用面部信息注册的对象，例如通过应用程序注册的车主；或者，目标对象也可以是车内的任意一个乘员，可通过对车舱内的视频流进行面部检测定位出至少一个乘员，将检测出的一个或多个乘员作为目标对象。

在进行脸部检测的过程中，在一帧图像上可能会出现多个对象的面部的情况。一些场景中，可以选择针对某一乘车位置的乘员进行生理状态检测，即将该乘车位置的乘员作为目标对象。为了实现针对车舱内的目标对象的生理状态检测，这里，可以根据多帧图像的脸部检测结果，以及指定的乘车位置，从检测出的脸部图像中确定出目标对象的多帧脸部图像，其中，指定的乘车位置用于指示被测量的目标对象的位置。

车舱内用于采集视频流的摄像头在车辆内部空间的相对位置是固定的，可以根据摄像头的位置，将其采集的图像按照座位区域划分，例如对于5座私家车可以划分为：驾驶座对应的图像区域、副驾驶座对应的图像区域、后排左侧座位对应的图像区域、后排右侧座位对应的图像区域、后排中间座位对应的图像区域。根据车内各乘员对象的面部在图像中的位置以及各图像区域的坐标范围，可以确定出各乘员对象的面部落入的图像区域，进而确定出在指定的乘车位置的乘员对象为目标对象。

在实际应用中，OMS一般会拍摄整个车内的图像，可能拍到多个人，可以手动选择“前车乘车位”、“后座乘车位”，来指定要测量的目标对象，这时本公开实施例可以对图像中相应区域的人脸进行测量。DMS是针对主驾驶区域的拍摄，其拍摄到的对象仅包含司机一人的情况下，可以无需指定对象。

需要说明的是，生理状态，例如心率、呼吸频率、血氧、血压等往往需要一定时长的监测才可以进行评估，因而，本公开实施例中采用持续一段时间的视频流内的多帧脸部图像所对应的图像变化信息实现生理状态信息的提取，这样所提取出的生理状态检测结果也更为符合实际场景的需要。

考虑到在基于脸部图像进行图像变化信息分析的过程中，由于受到诸如光照、遮挡等各种因素的影响而使得检测精度受到一定的干扰，本公开实施例提供了一种基于面部感兴趣区域(Region of Interest，ROI)进行图像变化信息分析的方案，由于感兴趣区域内包含了更多有效的像素点，从而可以有效地提升检测精度。

其中，针对每帧脸部图像均可以确定相关的感兴趣区域，该感兴趣区域可以是对应脸部图像中的一个或多个预设平滑区域构成的。预设平滑区域可以是平滑的连通区域，该连通区域一定程度上具有更均匀的反射率，从而可以捕捉到更为有效的面部血管流过产生的皮肤色彩及亮度变化，继而可以实现更为精准的生理状态检测。

在确定每帧脸部图像的感兴趣区域的情况下，本公开实施例提供的生理状态检测方法可以基于多帧脸部图像中的各感兴趣区域的图像信息所对应的图像变化信息进行生理状态信息的提取，这里所提取的生理状态检测结果可以是包括心率、呼吸频率、血氧、血压等中的至少一个在内的检测结果。

考虑到感兴趣区域的确定对于实现生理状态检测的关键作用，接下来可以着重对确定的感兴趣区域的过程进行具体说明。在一些可选的实现方式中，感兴趣区域可以通过如下步骤一和步骤二确定：

步骤一、对每帧脸部图像，进行脸部特征点提取；

步骤二、基于提取出的脸部特征点，确定每帧脸部图像中的至少一个预设平滑区域，作为脸部图像的感兴趣区域。

这里，首先可以对脸部图像进行脸部特征点提取，继而可以基于提取出的脸部特征点确定脸部图像中的预设平滑区域，并作为感兴趣区域。

其中，上述提取脸部特征点的过程可以是利用人脸关键点检测算法实现的，例如，可以预先设置有关标准人脸图像的脸部特征点，这里的标准人脸可以是包括五官在内的正对摄像头拍摄的人脸图像，这样，在对每帧图像提取出的目标对象的脸部图像进行脸部特征点提取的过程中，可以基于提取的目标对象的脸部图像与标准人脸图像之间的比对情况来确定各个脸部特征点。

本公开实施例中，基于确定的脸部特征点的坐标信息可以确定脸部图像中的一个或多个预设平滑区域。

这里的预设平滑区域可以是矩形区域，还可以是具有连通性形状的其它区域，本公开实施例对此不做具体的限制，接下来多以矩形区域为例进行说明。

在实际应用中，上述预设平滑区域可以是额头区域、左侧脸颊区域、右侧脸颊区域、下巴区域中的一个或多个。为了便于进一步进行生理状态分析，有关左侧脸颊区域可以是一个完整的区域，也可以是两个以上拆分的区域，同理，有关额头区域、右侧脸颊区域、下巴区域等也可以按照上述方式来设置，在此不做赘述。

在未出现区域遮挡的情况下，上述四个区域可以在一帧脸部图像上同时被提取到，在出现区域遮挡的情况下，一帧脸部图像实际所能够提取出的区域可以依照实际情况来确定。

如图2所示，为针对摄像头拍摄的脸部图像可以提取出的脸部特征点的示意图，共计106特征点。这里，基于脸部特征点的坐标信息，可以筛选5个预设平滑区域，具体可参见图2，其中区域1可以是通过两侧眉毛的两个特征点构造的区域1的矩形ROI；区域2是左侧的一个脸颊区域，可以通过脸部左侧边缘特征点、鼻梁特征点、左眼特征点的位置构造区域2的矩形ROI；区域3是右侧的一个脸颊区域，可以通过脸部右侧边缘特征点、鼻梁特征点、右眼特征点的位置构造区域3的矩形ROI，区域4是左侧的另一个脸颊区域，可以通过脸部左侧边缘特征点、左侧鼻翼特征点、左嘴角特征点的位置构造区域4的矩形ROI，区域5是右侧的另一个脸颊区域，可以通过脸部右侧边缘特征点、右侧鼻翼特征点、右嘴角特征点的位置构造区域5的矩形ROI。

考虑到不同的感兴趣区域可能会受到不同的外部因素的影响，而导致各自所具备的生理状态检测性能并不相同。这里，为了尽可能的捕捉到更为有效的脸部特征以实现更为准确的生理状态检测，可以首先对感兴趣区域进行图像质量检测，继而实现高质量感兴趣区域的选取，进而提高生理状态检测结果的准确性，具体可以通过如下步骤来实现：

步骤一、确定脸部图像中的每个感兴趣区域的图像质量；

步骤二、选取图像质量符合预设要求的感兴趣区域作为目标感兴趣区域；

步骤三、基于多帧脸部图像中的一个或多个目标感兴趣区域的图像信息进行生理状态信息提取。

这里，考虑到在实际的车舱环境内，脸部区域容易受到诸如人脸转动、墨镜遮挡或光线等外部因素的影响，这使得一些ROI非常小甚至消失或者过暗、噪点过大等等，因而，这里可以通过每个感兴趣区域的亮度、遮挡情况、面积、信噪比中的至少一项来确定每个感兴趣区域的图像质量，然后可以选取图像质量较高的感兴趣区域作为目标感兴趣区域以实现后续的生理状态信息提取。

其中，关于图像亮度，感兴趣区域的亮度不宜过高，也不宜过低，过高的亮度将导致ROI过曝，而过低的亮度将导致ROI过暗，这使得图像质量显著下降；关于遮挡情况，例如出现墨镜、口罩等的遮挡，这可能导致有些ROI区域不可见；关于区域面积，面积越大的ROI一定程度上具有更好的图像质量，反之，面积越小的ROI的图像质量较差；关于信噪比，信噪比是用于评估ROI噪声大小的指标，噪声越大，对应的信噪比一定程度上越小，反之，噪声越小，对应的信噪比越大，需要选择信噪比较大的感兴趣区域以减小噪声对检测结果的影响。

本公开实施例可以结合上述各种图像质量的评估指标中的一项或多项进行有关ROI的图像质量的评估，使得图像质量的评估结果也更为准确，除此之外，还可以结合其它评估指标进行图像质量评估，这里不做具体的限制。

本公开实施例除了可以通过综合考虑上述评估指标对每帧脸部图像的各个ROI进行评估继而实现有关感兴趣区域的筛选之外，还可以结合脸部姿态实现筛选操作。

这里，首先可以根据每帧脸部图像检测目标对象的脸部姿态，这样，在确定每帧脸部图像中的至少一个预设平滑区域作为感兴趣区域之后，可以根据脸部姿态从感兴趣区域中去除图像中可见范围不满足预设的可见性要求的感兴趣区域。

其中，上述脸部姿态可以是基于预先训练好的脸部姿态检测网络确定的。脸部姿态检测网络训练的可以是脸部图像样本以及对应标注的脸部姿态之间的对应关系，这里可以标注的脸部姿态包括头部相对摄像头的转动方向、转动角度等信息。这样，在将脸部图像输入到训练好的脸部姿态检测网络，即可以确定有关人脸的脸部姿态，例如，可以是左偏45°，在这种情况下，右边脸颊区域面积小于预设的阈值，在图像中几乎不可见，其可见范围不满足预设的可见性要求。这时，可以直接去除对应的感兴趣区域，操作过程简单。

本公开实施例提供的生理状态检测方法，是基于多帧脸部图像中的各感兴趣区域的图像信息实现的生理状态信息提取。为了实现由图像信息到生理状态信息的转换，这里需要对有关感兴趣区域的图像信息进行相关的信号处理，具体可以包括如下步骤：

步骤一、基于多帧脸部图像中的至少一个感兴趣区域对应于三个颜色通道的亮度值，确定至少一个感兴趣区域对应于每一个颜色通道的时域亮度信号；

步骤二、对至少一个感兴趣区域对应于多个不同的颜色通道的时域亮度信号进行主成分分析，得到表征目标对象的生理状态的时域信号；

步骤三、基于表征目标对象的生理状态的时域信号确定目标对象的生理状态信息。

考虑到生理状态直接影响了目标对象的血流变化，而血流变化又可以基于图像的亮度变化来表征，因而，这里首先可以确定感兴趣区域对应于红、绿、蓝三个颜色通道中每一个颜色通道的时域亮度信号，形成RGB三维信号，然后对三个不同的颜色通道的时域亮度信号进行主成分分析，提取主成分(降维)后得到的一维信号作为表征目标对象的生理状态的时域信号，该时域信号可以是上述颜色通道中的其中一个通道(例如，绿色通道)的时域亮度信号确定的，且被选取的通道可以是最能表征血流变化的一个通道，除此之外，还可以是其它主成分分析方法确定的，这里不做具体的限制。

为了便于实现更为准确的主成分分析，在对三维时域亮度信号进行主成分分析之前，可以进行诸如正则化和Detrend滤波去噪等处理。除此之外，在主成分分析之后，还可以对得到的时域信号进行滑动平均滤波去噪处理，从而进一步提升时域信号的精度，提升后续进行生理状态检测的准确度

为了便于进一步提升生理状态检测的准确度，这里，可以对时域信号进行频域转换，基于转换之后的频域信号可以分析出更多有用的信息，例如，可以确定各个频率成分的幅值分布和能量分布，从而得到主要幅度和能量分布的频率值。这里，可以基于频域信号的峰值确定目标对象的生理状态值。

以心率检测为例，这里可以确定频域信号的峰值pmax，通过pmax与心率基准值的求和结果可以得到原始心率测量值，其中，pmax表征的是心率变化量，心率基准值可以由基于经验的心率估计范围的下限来确定，还可以考虑诸如视频帧率、频域信号长度等因素的影响来调整心率基准值。

在确定心率之后，可以测算血氧饱和度和心率变异性等相关生理指标。针对血氧饱和度，这里可以利用红光(600～800nm)和近红光区域(800～1000nm)分别检测HbO2和Hb的时域信号，再计算相应的比值，就可以得到血氧饱和度；针对心率变异性，在提取到时域信号后，通过计算每两个临近波峰的间距再结合帧率得到若干个间隔时间，然后取这些间隔时间的标准差(Standard Deviation of NN Intervals，SDNN)，即得到心率变异性。

呼吸频率检测与心率检测的方法类似，主要的区别在于呼吸频率所在范围与心率所在范围不同，且对应的基准值设置不同，基于上述同样的方法可以实现呼吸频率检测。

本公开实施例实现的是多帧图像的生理状态检测，也即，多帧图像对应的图像变化信息可以表征出生理状态的变化情况。在实际应用中，有关视频流所确定的生理状态检测结果可以是随着图像帧的采集的持续而进行更新。

这里，在获取到新的视频流包括的一帧或多帧图像的情况下，可以对新的视频流中的图像进行脸部检测，提取出车舱内的目标对象的脸部图像，并确定脸部图像中的至少一个预设平滑区域作为感兴趣区域，这样即可以基于脸部图像中的感兴趣区域的图像信息对生理状态检测结果进行更新，若未达到预设检测时长，则再次基于获取到的新的视频流进行更新，直至达到预设检测时长，得到更新后的生理状态检测结果。

这里仍以心率检测进行示例说明。在确定预设检测时长为30s的情况下，在30s内可以持续获取视频流。在基于起始视频流(例如起始的5秒内的视频流)的多帧图像计算出心率测量值的情况下，仍在30秒内。这时，随着图像帧的采集，图像帧数量增加，每增加一帧或者每增加n帧可以计算出一个新的心率测量值，然后通过滑动平均做平滑处理，到达30s后结束测量，得到最终测量结果。

在车舱环境下，为了帮助目标对象进行更为快速的生理状态测量，这里，可以在一次生理状态检测过程中根据已获取的视频流的时长和预设检测时长生成用于提醒目标对象所需检测时长的检测进程提醒信号，例如，已获取视频流的时长(即当前的目标对象的生理状态检测已持续的检测时间)达到25秒，预设检测时长为30秒，则可以发出有关“请保持不动，还有5秒即可完成检测”的语音或屏幕提示；或者，在当前的目标对象的生理状态检测时长达到30秒时，发出“测量已完成”的语音或屏幕提示。

为了更好的适应于车舱环境，本公开实施例提供的生理状态检测方法，还可以结合身体姿态检测和生理状态检测进行相关的提醒，具体包括如下步骤：

步骤一、对视频流中的目标对象进行身体姿态检测，得到目标对象的姿态变化信息；

步骤二、在姿态变化信息指示目标对象姿态异常、且生理状态检测结果不符合预设生理状态值的情况下，生成用于提醒目标对象的关联对象进行紧急救助的提醒信号。

这里，有关目标对象的身体姿态检测可以参照上述脸部姿态检测的相关方法，也可以是利用训练好的身体姿态检测神经网络实现的，这里不再赘述。

本公开实施例可以基于身体检测结果和生理状态检测结果进行提醒。例如，在驾驶员身体姿势异常(例如捂住胸口或者趴倒在座位上)、且驾驶员的心率超过100次/分钟的情况下，此时可以将包括车辆位置等在内的提醒信息发送至驾驶员的亲属或者就近的医院管理人员以便于进行紧急救助。

在实现生理状态检测之后，本公开实施例还可以展示生理状态检测结果以通过展示的生理状态检测为目标对象提供更好的车舱服务。

本公开实施例中，一方面可以向车舱内的显示屏传送目标对象的生理状态检测结果，以在显示屏上进行显示，这样，车舱人员可以实时监测自身的生理状态情况下，还能够在自身的生理状态存在异常的情况下，及时就医或者采取其它必要的措施；另一方面还可以向生理状态检测应用的服务端传送目标对象的生理状态检测结果，以在目标对象通过生理状态检测应用请求获取检测结果的情况下，通过服务端向目标对象使用的终端设备发送生理状态检测结果。

也即，这里可以将目标对象的生理状态检测结果记录在服务端，在服务端还可以对理状态检测结果进行统计分析，例如，可以确定历史一个月、一周的生理状态统计结果，这样，在目标对象发起生理状态检测应用请求的情况下，可以将生理状态检测结果、统计结果等发送至目标对象的终端设备，以实现更为综合性的生理状态评估。

其中，上述生理状态检测应用可以是具体的用于进行生理状态检测的应用程序(Application，APP)，利用APP可以响应目标对象有关的检测结果的获取请求，继而实现在APP上的结果呈现，更具实用性。

本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。

基于同一发明构思，本公开实施例中还提供了与生理状态检测方法对应的生理状态检测装置，由于本公开实施例中的装置解决问题的原理与本公开实施例上述生理状态检测方法相似，因此装置的实施可以参见方法的实施，重复之处不再赘述。

参照图3所示，为本公开实施例提供的一种生理状态检测装置的示意图，装置包括：获取模块301、提取模块302、确定模块303、检测模块304；其中，

获取模块301，用于获取车舱内的视频流；

提取模块302，用于对视频流中的多帧图像进行脸部检测，提取出车舱内的目标对象的多帧脸部图像；

确定模块303，用于确定每帧脸部图像中的至少一个预设平滑区域作为感兴趣区域；

检测模块304，用于基于多帧脸部图像中的各感兴趣区域的图像信息进行生理状态信息提取，得到目标对象的生理状态检测结果。

采用上述生理状态检测装置，在获取到车舱内的视频流的情况下，可以首先对视频流中的多帧图像进行脸部检测以提取出车舱内的目标对象的多帧脸部图像，然后可以确定每帧脸部图像中的至少一个预设平滑区域作为感兴趣区域，并能够基于多帧脸部图像中的各感兴趣区域的图像信息进行生理状态信息提取，从而得到目标对象的生理状态检测结果。本公开在进行生理状态信息提取之前，通过确定每帧脸部图像中的预设平滑区域可以查找到更为适应于进行生理状态分析的图像信息，这样所确定的生理状态检测结果也更为准确，除此之外，本公开采用的是无接触检测方式实现的生理状态检测，便于操作。

在一种可能的实施方式中，确定模块303，用于按照以下步骤确定每帧脸部图像中的至少一个预设平滑区域作为感兴趣区域：

对每帧脸部图像，进行脸部特征点提取；

基于提取出的脸部特征点，确定每帧脸部图像中的至少一个预设平滑区域，作为脸部图像的感兴趣区域。

在一种可能的实施方式中，预设平滑区域包括额头区域、左侧脸颊区域、右侧脸颊区域、下巴区域中的至少一个。

在一种可能的实施方式中，在每帧脸部图像确定出的感兴趣区域为多个的情况下，检测模块304，用于按照以下步骤基于多帧脸部图像中的各感兴趣区域的图像信息进行生理状态信息提取：

确定脸部图像中的每个感兴趣区域的图像质量；

选取图像质量符合预设要求的感兴趣区域作为目标感兴趣区域；

基于多帧脸部图像中的一个或多个目标感兴趣区域的图像信息进行生理状态信息提取。

在一种可能的实施方式中，检测模块304，用于按照以下步骤确定脸部图像中的每个感兴趣区域的图像质量：

基于每个感兴趣区域的亮度、遮挡情况、面积、信噪比中的至少一项，确定每个感兴趣区域的图像质量。

在一种可能的实施方式中，上述装置还包括：

去除模块305，用于根据每帧脸部图像检测目标对象的脸部姿态；以及在确定每帧脸部图像中的至少一个预设平滑区域作为感兴趣区域之后，根据脸部姿态从感兴趣区域中去除图像中可见范围不满足预设的可见性要求的感兴趣区域。

在一种可能的实施方式中，图像信息包括对应于多个不同颜色通道的亮度值，检测模块304，用于按照以下步骤基于多帧脸部图像中的各感兴趣区域的图像信息进行生理状态信息提取，得到目标对象的生理状态检测结果：

基于多帧脸部图像中的至少一个感兴趣区域对应于三个颜色通道的亮度值，确定至少一个感兴趣区域对应于每一个颜色通道的时域亮度信号；

对至少一个感兴趣区域对应于多个不同的颜色通道的时域亮度信号进行主成分分析，得到表征目标对象的生理状态的时域信号；

基于表征目标对象的生理状态的时域信号确定目标对象的生理状态信息。

在一种可能的实施方式中，检测模块304，用于按照以下步骤基于表征目标对象的生理状态的时域信号确定目标对象的生理状态信息：

对表征目标对象的生理状态的时域信号进行频域转换，得到表征目标对象的生理状态的频域信号；

基于频域信号的峰值，确定目标对象的生理状态值。

在一种可能的实施方式中，上述检测模块304，还用于：

在获取到新的视频流包括的一帧或多帧图像的情况下，重复执行以下步骤，直至达到预设检测时长，得到更新后的生理状态检测结果：

对新的视频流中的图像进行脸部检测，提取出车舱内的目标对象的脸部图像；

确定脸部图像中的至少一个预设平滑区域作为感兴趣区域；

基于脸部图像中的感兴趣区域的图像信息对生理状态检测结果进行更新。

在一种可能的实施方式中，上述装置还包括：

第一提醒模块306，用于根据已获取的视频流的时长和预设检测时长生成用于提醒目标对象所需检测时长的检测进程提醒信号。

在一种可能的实施方式中，提取模块302，用于按照以下步骤提取出车舱内的目标对象的多帧脸部图像：

根据多帧图像的脸部检测结果，以及指定的乘车位置，从检测出的脸部图像中确定出目标对象的多帧脸部图像，其中，指定的乘车位置用于指示被测量的目标对象的位置。

在一种可能的实施方式中，上述装置还包括：

显示模块307，用于：

向车舱内的显示屏传送目标对象的生理状态检测结果，以在显示屏上进行显示；和/或

向生理状态检测应用的服务端传送目标对象的生理状态检测结果，以在目标对象通过生理状态检测应用请求获取检测结果的情况下，通过服务端向目标对象使用的终端设备发送生理状态检测结果。

在一种可能的实施方式中，上述装置还包括：

第二提醒模块308，用于：

在获取车舱内的视频流之后，对视频流中的目标对象进行身体姿态检测，得到目标对象的姿态变化信息；

在姿态变化信息指示目标对象姿态异常、且生理状态检测结果不符合预设生理状态值的情况下，生成用于提醒目标对象的关联对象进行紧急救助的提醒信号。

关于装置中的各模块的处理流程、以及各模块之间的交互流程的描述可以参照上述方法实施例中的相关说明，这里不再详述。

本公开实施例还提供了一种电子设备，如图4所示，为本公开实施例提供的电子设备结构示意图，包括：处理器401、存储器402、和总线403。存储器402存储有处理器401可执行的机器可读指令(比如，图3中的装置中获取模块301、提取模块302、确定模块303、检测模块304对应的执行指令等)，当电子设备运行时，处理器401与存储器402之间通过总线403通信，机器可读指令被处理器401执行时执行如下处理：

获取车舱内的视频流；

对视频流中的多帧图像进行脸部检测，提取出车舱内的目标对象的多帧脸部图像；

确定每帧脸部图像中的至少一个预设平滑区域作为感兴趣区域；

基于多帧脸部图像中的各感兴趣区域的图像信息进行生理状态信息提取，得到目标对象的生理状态检测结果。

本公开实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述方法实施例中所述的生理状态检测方法的步骤。其中，该存储介质可以是易失性或非易失的计算机可读取存储介质。

本公开实施例还提供一种计算机程序产品，该计算机程序产品承载有程序代码，所述程序代码包括的指令可用于执行上述方法实施例中所述的生理状态检测方法的步骤，具体可参见上述方法实施例，在此不再赘述。

其中，上述计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选实施例中，所述计算机程序产品具体体现为计算机存储介质，在另一个可选实施例中，计算机程序产品具体体现为软件产品，例如软件开发包(Software Development Kit，SDK)等等。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。在本公开所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本公开各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台电子设备(可以是个人计算机，服务器，或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上所述实施例，仅为本公开的具体实施方式，用以说明本公开的技术方案，而非对其限制，本公开的保护范围并不局限于此，尽管参照前述实施例对本公开进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本公开实施例技术方案的精神和范围，都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应所述以权利要求的保护范围为准。

Claims (16)

1.一种生理状态检测方法，其特征在于，包括：

获取车舱内的视频流；

对所述视频流中的多帧图像进行脸部检测，提取出所述车舱内的目标对象的多帧脸部图像；

确定每帧所述脸部图像中的至少一个预设平滑区域作为感兴趣区域；

基于多帧脸部图像中的各感兴趣区域的图像信息进行生理状态信息提取，得到所述目标对象的生理状态检测结果。

2.根据权利要求1所述的方法，其特征在于，所述确定每帧所述脸部图像中的至少一个预设平滑区域作为感兴趣区域，包括：

对每帧所述脸部图像，进行脸部特征点提取；

基于提取出的脸部特征点，确定每帧所述脸部图像中的至少一个预设平滑区域，作为所述脸部图像的感兴趣区域。

3.根据区权利要求1或2所述的方法，其特征在于，所述预设平滑区域包括额头区域、左侧脸颊区域、右侧脸颊区域、下巴区域中的至少一个。

4.根据权利要求1至3任一项所述的方法，其特征在于，在每帧所述脸部图像确定出的感兴趣区域为多个的情况下，所述基于多帧脸部图像中的各感兴趣区域的图像信息进行生理状态信息提取，包括：

确定所述脸部图像中的每个所述感兴趣区域的图像质量；

选取图像质量符合预设要求的感兴趣区域作为目标感兴趣区域；

基于多帧脸部图像中的一个或多个目标感兴趣区域的图像信息进行生理状态信息提取。

5.根据权利要求4所述的方法，其特征在于，所述确定所述脸部图像中的每个所述感兴趣区域的图像质量，包括：

基于每个所述感兴趣区域的亮度、遮挡情况、面积、信噪比中的至少一项，确定每个所述感兴趣区域的图像质量。

6.根据权利要求1至5任一项所述的方法，其特征在于，所述方法还包括：

根据每帧所述脸部图像检测所述目标对象的脸部姿态；以及

在确定每帧所述脸部图像中的至少一个预设平滑区域作为感兴趣区域之后，根据所述脸部姿态从感兴趣区域中去除图像中可见范围不满足预设的可见性要求的感兴趣区域。

7.根据权利要求1至6任一项所述的方法，其特征在于，所述图像信息包括对应于多个不同颜色通道的亮度值，所述基于多帧脸部图像中的各感兴趣区域的图像信息进行生理状态信息提取，得到所述目标对象的生理状态检测结果，包括：

基于多帧脸部图像中的至少一个感兴趣区域对应于所述三个颜色通道的亮度值，确定所述至少一个感兴趣区域对应于每一个所述颜色通道的时域亮度信号；

对所述至少一个感兴趣区域对应于多个不同的颜色通道的时域亮度信号进行主成分分析，得到表征所述目标对象的生理状态的时域信号；

基于表征所述目标对象的生理状态的时域信号确定所述目标对象的生理状态信息。

8.根据权利要求7所述的方法，其特征在于，所述基于表征所述目标对象的生理状态的时域信号确定所述目标对象的生理状态信息，包括：

对表征所述目标对象的生理状态的时域信号进行频域转换，得到表征所述目标对象的生理状态的频域信号；

基于所述频域信号的峰值，确定所述目标对象的生理状态值。

9.根据权利要求1至8任一项所述的方法，其特征在于，所述方法还包括：

在获取到新的视频流包括的一帧或多帧图像的情况下，重复执行以下步骤，直至达到预设检测时长，得到更新后的生理状态检测结果：

对所述新的视频流中的所述图像进行脸部检测，提取出所述车舱内的目标对象的脸部图像；

确定所述脸部图像中的至少一个预设平滑区域作为感兴趣区域；

基于所述脸部图像中的感兴趣区域的图像信息对所述生理状态检测结果进行更新。

10.根据权利要求9所述的方法，其特征在于，所述方法还包括：

根据已获取的视频流的时长和所述预设检测时长生成用于提醒所述目标对象所需检测时长的检测进程提醒信号。

11.根据权利要求1至10任一项所述的方法，其特征在于，所述提取出所述车舱内的目标对象的多帧脸部图像，包括：

根据所述多帧图像的脸部检测结果，以及指定的乘车位置，从检测出的脸部图像中确定出目标对象的多帧脸部图像，其中，所述指定的乘车位置用于指示被测量的目标对象的位置。

12.根据权利要求1至11任一项所述的方法，其特征在于，所述方法还包括：

向所述车舱内的显示屏传送所述目标对象的生理状态检测结果，以在所述显示屏上进行显示；和/或

向生理状态检测应用的服务端传送所述目标对象的生理状态检测结果，以在所述目标对象通过所述生理状态检测应用请求获取所述检测结果的情况下，通过所述服务端向所述目标对象使用的终端设备发送所述生理状态检测结果。

13.根据权利要求1至12任一项所述的方法，其特征在于，在获取车舱内的视频流之后，所述方法还包括：

对所述视频流中的目标对象进行身体姿态检测，得到所述目标对象的姿态变化信息；

在得到所述目标对象的生理状态检测结果之后，所述方法还包括：

在所述姿态变化信息指示目标对象姿态异常、且所述生理状态检测结果不符合预设生理状态值的情况下，生成用于提醒所述目标对象的关联对象进行紧急救助的提醒信号。

14.一种生理状态检测装置，其特征在于，包括：

获取模块，用于获取车舱内的视频流；

提取模块，用于对所述视频流中的多帧图像进行脸部检测，提取出所述车舱内的目标对象的多帧脸部图像；

确定模块，用于确定每帧所述脸部图像中的至少一个预设平滑区域作为感兴趣区域；

检测模块，用于基于多帧脸部图像中的各感兴趣区域的图像信息进行生理状态信息提取，得到所述目标对象的生理状态检测结果。

15.一种电子设备，其特征在于，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如权利要求1至13任一项所述的生理状态检测方法的步骤。

16.一种计算机可读存储介质，其特征在于，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如权利要求1至13任一项所述的生理状态检测方法的步骤。

Images