CN114140775A - 数据记录及生理状态检测方法、装置、设备及存储介质 - Google Patents

Abstract

本公开提供了一种数据记录及生理状态检测方法、装置、设备及存储介质，其中，该方法包括：获取目标搭载的数据采集装置采集的车内状态信息，数据采集装置包括生理状态采集装置和车内图像采集装置；在根据车内状态信息检测到车辆的乘员存在异常状态的情况下，关联地记录车内图像采集装置采集到的存在异常状态的乘员的图像数据和生理状态采集装置采集到的存在异常状态的乘员的生理状态数据。本公开在检测车内状态异常时可以自动关联记录乘员图像数据和生理状态数据，相较于手动触发记录的方式提升了数据可靠性和准确性，提升了数据收集的效率。

Description

数据记录及生理状态检测方法、装置、设备及存储介质

技术领域

本公开涉及人工智能技术领域，具体而言，涉及一种数据记录及生理状态检测方法、装置、设备及存储介质。

背景技术

准确的生理状态数据是分析人体变异性的基础，所以对生理状态的检测有着重要的意义，从而被广泛应用于各个应用场景。

以安全驾驶场景为例，有效的生理状态检测可以帮助了解车内乘员的生理状态，从而为安全驾驶提供辅助性的决策。然而，相关技术中缺乏相关的生理状态异常检测方案。

发明内容

本公开实施例至少提供一种数据记录及生理状态检测方法、装置、设备及存储介质，以通过关联地记录生理状态数据实现有效的生理状态检测。

第一方面，本公开实施例提供了一种数据记录方法，包括：

获取目标搭载的数据采集装置采集的车内状态信息，所述数据采集装置包括生理状态采集装置和车内图像采集装置；

在根据所述车内状态信息检测到所述车辆的乘员存在异常状态的情况下，关联地记录所述车内图像采集装置采集到的存在异常状态的乘员的图像数据和所述生理状态采集装置采集到的所述存在异常状态的乘员的生理状态数据。

采用上述数据记录方法，其可以获取车辆搭载的数据采集装置采集的车内状态信息，而后在确定车辆的乘员存在异常状态的情况下，可以关联地记录车内图像采集装置和生理状态采集装置分别采集到的存在异常状态的乘员的图像数据和生理状态数据，也即，本公开在检测车内状态异常时可以自动关联记录乘员图像数据和生理状态数据，相较于手动触发记录的方式提升了数据可靠性和准确性，提升了数据收集的效率。

在一种可能的实施方式中，所述根据所述车内状态信息确定所述车辆的乘员存在异常状态，包括：

根据所述生理状态采集装置采集的所述车辆的至少一个乘员的生理状态数据和/或所述车内图像采集装置采集的车辆内图像，确定所述车辆的至少一个乘员存在异常状态。

在一种可能的实施方式中，所述根据所述生理状态采集装置采集的所述车辆的至少一个乘员的生理状态数据和/或所述车内图像采集装置采集的车辆内图像，确定所述车辆的至少一个乘员存在异常状态，包括：

根据所述车内图像采集装置采集的车辆内图像，对所述车辆的至少一个乘员进行行为状态分析，得到行为状态分析结果；

根据所述行为状态分析结果确定所述至少一个乘员存在异常状态。

在一种可能的实施方式中，所述车内图像采集装置包括用于采集车内驾驶员图像的驾驶员图像采集装置；所述根据所述车内图像采集装置采集的车辆内图像，对所述车辆的至少一个乘员进行行为状态分析，包括：

根据所述驾驶员图像采集装置采集的驾驶员图像，对所述驾驶员进行行为状态分析，以确定所述驾驶员是否具有异常驾驶行为。

在一种可能的实施方式中，所述车内图像采集装置包括用于采集车内乘客图像的乘客图像采集装置；

所述根据所述车内图像采集装置采集的车辆内图像，对所述车辆的至少一个乘员进行行为状态分析，包括：

根据所述乘客图像采集装置采集的乘客图像，对所述车辆的每一个乘客进行行为状态分析，以确定所述每一个乘客是否发生异常行为。

在一种可能的实施方式中，所述根据所述生理状态采集装置采集的所述车辆的至少一个乘员的生理状态数据和/或所述车内图像采集装置采集的车辆内图像，确定所述车辆的至少一个乘员存在异常状态，包括：

根据所述生理状态采集装置采集的所述车辆的至少一个乘员的生理状态数据，确定所述车辆的至少一个乘员存在异常的生理状态。

在一种可能的实施方式中，所述根据所述生理状态采集装置采集的所述车辆的至少一个乘员的生理状态数据，确定所述车辆的至少一个乘员存在异常的生理状态，包括：

在所述车辆的至少一个乘员在连续的预定时间段内的生理状态数据的变化超过预定变化范围的情况下，确定所述至少一个乘员存在异常的生理状态。

在一种可能的实施方式中，所述车辆的至少一个乘员在连续的预定时间段内的生理状态数据的变化超过预定变化范围，包括：

所述车辆的至少一个乘员在连续的预定时间段内的生理状态数据经过平滑滤波后的变化超过预定变化范围。

在一种可能的实施方式中，所述数据采集装置还包括车内环境探测器，所述车内环境探测器包括光强探测器和/或温度探测器，所述方法还包括：

在根据所述车内状态信息确定所述车辆的乘员存在异常状态的情况下，关联地记录所述存在异常状态的所述乘员的图像数据、所述存在异常状态的所述乘员的生理状态数据、以及所述车内环境探测器探测到的车内环境数据。

在一种可能的实施方式中，所述获取车辆搭载的数据采集装置采集的车内状态信息，包括：

通过与所述车辆的至少一个乘员佩戴的生理状态采集装置之间的蓝牙连接，获取所述至少一个成员的生理状态数据；和/或

通过与所述车内图像采集装置之间的数据总线连接，获取所述车辆的至少一个乘员的图像数据。

在一种可能的实施方式中，所述方法还包括：

基于所述车内图像采集装置采集的车内图像数据，确定所述车内乘员的属性信息；以及

在根据所述车内状态信息确定所述车辆的乘员存在异常状态的情况下，记录存在异常状态的所述乘员的属性信息。

在一种可能的实施方式中，所述方法还包括：

基于记录所述存在异常状态的乘员的图像数据和生理状态数据，生成用于训练生理状态视觉检测模型的训练样本，所述生理状态视觉检测模型用于根据人的图像数据检测人的生理状态。

在一种可能的实施方式中，所述方法还包括：

获取所述存在异常状态的乘员的属性信息；

基于所述属性信息将生成的训练样本分类，得到多个不同的属性信息对应的训练样本。

在一种可能的实施方式中，所述基于记录所述存在异常状态的乘员的图像数据和生理状态数据，生成用于训练生理状态视觉检测模型的训练样本，包括：

按照时间戳信息将记录的所述存在异常状态的乘员的图像数据和生理状态数据进行对齐；

基于对齐后的所述图像数据和所述生理状态数据生成所述训练样本。

在一种可能的实施方式中，所述存在异常状态的所述乘员的图像数据包括：所述存在异常状态的所述成员的面部图像数据。

第二方面，本公开实施例还提供了一种生理状态检测方法，包括：

获取人物图像；

将获取的所述人物图像输入到经过训练的生理状态视觉检测模型中，得到生理状态检测结果，其中，所述生理状态视觉检测模型基于如下方式记录的数据训练得到：

获取车辆搭载的数据采集装置采集的车内状态信息，所述数据采集装置包括生理状态采集装置和车内图像采集装置；

在根据所述车内状态信息检测到所述车辆的乘员存在异常状态的情况下，关联地记录所述车内图像采集装置装置采集到的存在异常状态的所述乘员的图像数据和所述生理状态采集装置采集到的所述存在异常状态的乘员的生理状态数据。

本公开实施例中的训练样本是在确定存在异常状态的情况下，自动记录的图像数据和生理状态数据，无需人工参与即可获取到更为多样性的训练样本，所训练得到的生理状态视觉检测模型的鲁棒性和准确性均较好，这使得针对人物图像的生理状态检测效果更为准确、高效。

第三方面，本公开实施例还提供了一种数据记录装置，包括：

获取模块，用于获取车辆搭载的数据采集装置采集的车内状态信息，所述数据采集装置包括生理状态采集装置和车内图像采集装置；

记录模块，用于在根据所述车内状态信息检测到所述车辆的乘员存在异常状态的情况下，关联地记录所述车内图像采集装置装置采集到的存在异常状态的乘员的图像数据和所述生理状态采集装置采集到的所述存在异常状态的乘员的生理状态数据。

第四方面，本公开实施例还提供了一种生理状态检测装置，包括：

获取模块，用于获取人物图像；

检测模块，用于将获取的所述人物图像输入到经过训练的生理状态视觉检测模型中，得到生理状态检测结果，其中，所述生理状态视觉检测模型基于如下方式记录的数据训练得到：

获取车辆搭载的数据采集装置采集的车内状态信息，所述数据采集装置包括生理状态采集装置和车内图像采集装置；

在根据所述车内状态信息检测到所述车辆的乘员存在异常状态的情况下，关联地记录所述车内图像采集装置装置采集到的存在异常状态的所述乘员的图像数据和所述生理状态采集装置采集到的所述存在异常状态的乘员的生理状态数据。

第五方面，本公开实施例还提供了一种电子设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如第一方面及其各种实施方式任一所述的数据记录方法的步骤或者如第二方面所述的生理状态检测方法的步骤。

第六方面，本公开实施例还提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如第一方面及其各种实施方式任一所述的数据记录方法的步骤或者如第二方面所述的生理状态检测方法的步骤。

关于上述装置、电子设备、及计算机可读存储介质的效果描述参见上述方法的说明，这里不再赘述。

为使本公开的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本公开实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，此处的附图被并入说明书中并构成本说明书中的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。应当理解，以下附图仅示出了本公开的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1示出了本公开实施例所提供的一种数据记录方法的流程图；

图2示出了本公开实施例所提供的一种数据记录装置的示意图；

图3示出了本公开实施例所提供的一种生理状态检测的装置的示意图；

图4示出了本公开实施例所提供的一种电子设备的示意图。

具体实施方式

为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本公开实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围，而是仅仅表示本公开的选定实施例。基于本公开的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

本文中术语“和/或”，仅仅是描述一种关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合，例如，包括A、B、C中的至少一种，可以表示包括从A、B和C构成的集合中选择的任意一个或多个元素。

经研究发现，有效的生理状态检测可以帮助了解车内乘员的生理状态，从而为安全驾驶提供辅助性的决策。然而，相关技术中缺乏相关的生理状态检测方案。

基于上述研究，本公开提供了一种数据记录及生理状态检测方法、装置、设备及存储介质，以通过关联地记录生理状态数据实现有效的生理状态检测。

为便于对本实施例进行理解，首先对本公开实施例所公开的一种数据记录方法进行详细介绍，本公开实施例所提供的数据记录方法的执行主体一般为具有一定计算能力的电子设备，该电子设备例如包括：终端设备或服务器或其它处理设备，终端设备可以为用户设备(User Equipment，UE)、移动设备、蜂窝电话、无绳电话、个人数字助理(PersonalDigital Assistant，PDA)、手持设备、计算设备、车载设备、可穿戴设备等。在一些可能的实现方式中，该数据记录方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。

参见图1所示，为本公开实施例提供的数据记录方法的流程图，方法包括步骤S101～S102，其中：

S101：获取车辆搭载的数据采集装置采集的车内状态信息，数据采集装置包括生理状态采集装置和车内图像采集装置；

S102：在根据车内状态信息检测到车辆的乘员存在异常状态的情况下，关联地记录车内图像采集装置采集到的存在异常状态的乘员的图像数据和生理状态采集装置采集到的存在异常状态的乘员的生理状态数据。

为了便于理解本公开实施例提供的数据记录方法，接下来首先对该方法的应用场景进行简单说明。上述数据记录方法主要可以应用于需要进行生理状态异常检测的相关领域，例如，可以是医疗领域，也可以是汽车驾驶领域，还可以是其它任何需要进行生理状态异常检测的领域，这里不做具体的限制。考虑到汽车驾驶领域的广泛应用，接下来多以汽车驾驶领域进行示例说明。

其中，本公开实施例中的车内状态信息可以是通过车辆上搭载的数据采集装置采集得到的，这里可以是与车辆本身所处环境相关的信息，还可以是车辆内人员的生理状态相关的信息，还可以是其它与车辆相关的状态信息，本公开实施例对此不做具体的限制。

基于不同的车内状态信息，这里所采用的数据采集装置也不同。针对车辆本身所处环境的相关状态信息而言，这里可以采用驾驶员监控系统(Driver Monitoring System，DMS)、乘员监控系统(Occupant Monitoring System，OMS)等车内图像采集装置实现状态采集，针对车辆内人员的生理状态相关的信息而言，这里可以采用心跳探测仪、智能手环等生理状态采集装置实现状态采集。

在实际应用中，为了便于针对不同的车内状态信息进行分析，可以针对不同的数据采集装置设置不同的数据获取方式。例如，可以通过与车辆的至少一个乘员佩戴的生理状态采集装置之间的蓝牙连接，获取至少一个成员的生理状态数据，再如，可以通过与车内图像采集装置之间的数据总线连接，获取车辆的至少一个乘员的图像数据。。

本公开实施例提供的数据记录方法，在根据车内状态信息检测到车辆的乘员存在异常状态的情况下，可以确定当前适合进行关联地数据记录。这里所关联记录的图像数据和生理状态数据可以作为有关生理状态视觉检测模型的训练样本，除此之外，所关联记录的图像数据和生理状态数据还可以直接作为车内异常状态分析的参考数据，例如，可以分析是否出现车祸、超速行驶等不良事件。

这里，有关异常状态可以是车内环境异常、车内驾驶员行为异常、车内乘客行为异常等。在这样的异常状态下所记录的图像数据和生理状态数据，可以表征乘员的异常情况，这一定程度上使得所记录的数据具有更好的针对性。除此之外，由于这里的图像数据和生理状态数据是在异常状态的触发下，自动记录的，而非实时记录所有状态下的数据，这一定程度上可以节省存储空间，数据的可靠性和准确性均较高。

其中，上述图像数据可以是利用摄像设备这一车内图像采集装置采集的，在具体应用中，这里的摄像设备可以是具有输出RGB和/或NIR格式、分辨率1080p、帧率30fps的摄像头，这主要是考虑到诸如心跳等生理状态数据的图像特征与色度关系最大，这里所采用的摄像头需要能够保持完整的色度信息。上述生理状态数据可以是利用包含心率、呼吸、血压等感应器的手环这一生理状态采集装置采集的，在具体应用中，可以采用带蓝牙功能且具有心率或其他生理状态数据测量功能的手环，该手环可以将生理状态的数值信息通过蓝牙传输到需要对关联的图像数据和生理状态数据进行处理的主机设备。

本公开实施例中，可以基于有关生理状态采集装置采集的车辆的至少一个乘员的生理状态数据确定车辆的乘员是否存在异常状态。以心跳数据作为生理状态数据为例，在单位时间内乘员的心跳次数过多的情况下，一定程度上可以说明乘客出现异常状态的可能性较高。

在实际应用中，在车辆的至少一个乘员在连续的预定时间段内的生理状态数据的变化超过预定变化范围的情况下，确定至少一个乘员存在异常的生理状态。仍以心跳数据作为生理状态数据为例，可以基于预定时间段内的多个心跳数据之间的差值与预设阈值之间的大小比对结果来确定是否存在异常状态。例如，可以是在当前生理状态数据与之前间隔10帧的历史生理状态数据有20跳的绝对值变化的情况下确定存在异常的生理状态。

需要说明的是，为了便于实现更为有效的激活记录功能，可以先对生理状态数据进行平滑滤波以有效过滤电子噪声等引起的生理状态数据小幅度波动，而后再利用滤波后的生理状态数据进行上述判断过程。

此外，这里还可以基于车内图像采集装置采集的车辆内图像确定车辆的乘员是否存在异常状态，具体可以通过如下方式确定乘员是否存在异常状态

步骤一、根据车内图像采集装置采集的车辆内图像，对车辆的至少一个乘员进行行为状态分析，得到行为状态分析结果；

步骤二、根据行为状态分析结果确定至少一个乘员存在异常状态。

这里的车内图像采集装置可以是用于采集车内驾驶员图像的驾驶员图像采集装置，还可以是用于采集车内乘员图像的乘客图像采集装置，利用不同的车内图像采集装置可以针对驾驶员或特定的乘客进行行为状态分析，继而确定是否存在异常状态。在实际应用中，不管是针对驾驶员还是乘客，存在异常状态的乘员的图像数据均可以是存在异常状态的成员的面部图像数据，也即，这里可以对应提取的是人脸图像区域，这主要是考虑到面部血管流过产生的皮肤色彩及亮度变化，可以便于反应心跳等生理状态。

在根据驾驶员图像采集装置采集到驾驶员图像的情况下，可以对驾驶员进行行为状态分析，以确定驾驶员是否具有异常驾驶行为。本公开实施例中，可以利用DMS中的摄像头时刻进行驾驶员图像采集，保证在各种环境，全天候都能实现驾驶员面部特征和肢体图像的采集，从而达到及时性和准确性，无延迟的监控。在实际应用中，主要利用驾驶员的面部特征、眼部信号、头部运动特征等推断驾驶员的驾驶行为状态。

这里的异常驾驶行为可以是疲劳驾驶行为、出现异常情绪的驾驶行为、出现分心状态行为(如左顾右盼，聊天等行为)。

在根据乘客图像采集装置采集到包括乘客的车辆内图像的情况下，可以对每一个乘客进行行为状态分析，以确定各个乘客是否发生异常行为。

本公开实施例中，可以利用OMS实现行为状态分析，以确定乘客是否发生异常行为。这里的异常行为可以是包括与驾驶员发生肢体冲突、身体姿势异常(例如捂住胸口或者趴倒在座位上)等行为，在此不再赘述。

本公开实施例中，除了可以基于采集的车辆内图像进行异常行为分析，还可以通过车辆内图像分析乘员的情绪状态，例如，在乘员出现高度恐慌的状态下，一定程度上可以说明乘客出现异常状态的可能性较高。除此之外，还可以基于其它方式进行异常行为分析，在此不做具体的限制。

本公开实施例提供的数据记录的方法，除了可以关联地记录上述图像数据以及生理状态数据，还可以关联记录其它数据以进行更为全面性的异常状态分析。

这里的数据采集装置还可以包括车内环境探测器，车内环境探测器包括光强探测器和/或温度探测器，这样，在根据车内状态信息确定车辆的乘员存在异常状态的情况下，关联地记录存在异常状态的乘员的图像数据、存在异常状态的乘员的生理状态数据、以及车内环境探测器探测到的车内环境数据。

这里的车内环境数据可以是包括光强和/或温度在内的相关数据，可以辅助地进行异常状态分析。

本公开实施例提供的数据记录方法，可以基于车内图像采集装置采集的车内图像数据，确定车内乘员的属性信息，这样，一旦发现乘员存在异常状态，可以记录存在异常状态的乘员的属性信息。这里的属性信息可以是包括年龄、性别、职业等在内的相关信息。

考虑到相关技术中在实现通过图像检测人员的生理状态的过程中，多数利用人工干预方式来构造训练样本，这导致自动化程度较低，且所获取到的训练样本的多样性较差。基于此，本公开实施例提供了一种基于异常状态自动检测进而实现训练样本自动生成的方案，也即，可以基于记录存在异常状态的乘员的图像数据和生理状态数据，生成用于训练生理状态视觉检测模型的训练样本，生成的训练样本的多样性较佳。

这里的生理状态视觉检测模型用于根据人的图像数据检测人的生理状态。

以心跳检测作为生理状态检测为例，相关技术提供的通过人脸图像检测心跳的方法可以利用血液在面部血管流过产生的皮肤色彩及亮度变化来反应心跳。考虑到视频处理方向兴起的时间较短，截至目前为止，还没有开源的公用数据集进行心跳模型的训练。同时，目前已知的同类型数据集的采集方法均为高度人为干预的方式。比如人手动调节补光灯，构造不同光照背景的数据，或者人主动的进行一些大笑，打哈欠，交流等行为，丰富人的面部活动保持数据集的多样性，然而这样的主动行为，通常心跳变化十分微弱，无法达到心跳数据多样化的目的。

本公开实施例提供的数据记录方法则可以通过异常状态检测，自动关联地记录存在异常状态的乘员的图像数据和心跳数据，这使得所生成的训练样本更为多样性，所训练得到的生理状态视觉检测模型的鲁棒性和准确性均较高。

本公开实施例中，为了便于实现更为针对性的网络训练，还可以基于存在异常状态的乘员的属性信息进行训练样本的分类，也即，基于属性信息将生成的训练样本分类，得到多个不同的属性信息对应的训练样本，然后再基于分类后的训练样本进行网络训练。

其中，不同的属性信息所具备的生理状态范围值可能也并不相同。为了实现不同类型的生理状态视觉检测模型的训练，这里可以对生成的训练样本进行分类。

在实际应用中，对于分类后的训练样本可以单独进行训练，可以进行混合的训练，以使得适应于不同应用场景的各种类型的生理状态视觉检测模型，提升鲁棒性。

在具体应用中，为了便于更好的进行生理状态视觉检测模型的训练，在进行模型训练之前，可以按照时间戳信息将存在异常状态的乘员的图像数据和生理状态数据进行对齐，而后利用对齐的图像数据和生理状态数据生成训练样本以实现模型训练。

本公开实施例提供的数据记录方法，在将图像数据、生理状态数据作为训练样本的情况下，还可以同时将乘员的性别、年龄、行为等信息、或者环境光强度等数据进行封装。在具体应用中，可以是以结构体的形式来构建训练样本集中的每个训练样本，这里的结构体可以是包括上述RGB，YUV，或NIR等形式的视频流以及时间戳；生理状态数据以及系统时间戳；以及乘员的性别、年龄、行为等信息；环境光强度等数据。

为了便于说明上述数据记录的过程，具体的数据记录过程可以按照如下应用示例实现。

步骤一：驾驶员进入车内后，佩戴心率检测手环，开始驾驶车辆(由于不同采集车辆摄像头安装位置不同，这样还保证了不同摄像头视角下的人脸信息)；

步骤二：通过蓝牙接入程序接入生理状态数据，摄像头数据接入，DMS模块运行，检测出驾驶员的性别和年龄，作为该次训练样本共享的标签。

步骤三：测试人员开始驾驶车辆行进，当DMS系统检测到驾驶员有分心状态，疲劳，表情出现开心或者愤怒时，激活记录程序，同时，可以执行一次环境光强度计算程序，这里将记录接下来30s的视频流以及生理状态数据，该30s的数据包还可以携带有驾驶员性别、年龄、行为、环境光强度、系统时间等信息。

步骤四：与此同时，可以对实时生理状态数据进行滑动平均滤波，从而有效过滤电子噪声引起的生理状态数据小幅度波动。

基于本公开实施例提供的数据记录方法，本公开实施例还提供了一种生理状态检测方法，该方法可以通过如下步骤来实现：

步骤一、获取人物图像；

步骤二、将获取的人物图像输入到经过训练的生理状态视觉检测模型中，得到生理状态检测结果，其中，生理状态视觉检测模型基于如下方式记录的数据训练得到：

获取车辆搭载的数据采集装置采集的车内状态信息，数据采集装置包括生理状态采集装置和车内图像采集装置；在根据车内状态信息检测到车辆的乘员存在异常状态的情况下，关联地记录车内图像采集装置装置采集到的存在异常状态的乘员的图像数据和生理状态采集装置采集到的存在异常状态的乘员的生理状态数据。

这里的生理状态视觉检测模型训练的可以是图像数据与生理状态数据之间的对应关系。本公开实施例中，用于训练生理状态视觉检测模型的训练样本可以是基于记录的图像数据和生理状态数据生成的。这里的图像数据可以捕捉到相关乘员的面部血管流过产生的皮肤色彩及亮度变化，便于利用变化情况来反应心跳等生理状态情况，继而利用生成的训练样本训练生理状态视觉检测模型。

在模型训练过程中，可以将图像数据作为待训练的生理状态视觉检测模型的输入数据，将生理状态数据作为待训练的生理状态视觉检测模型的输出结果的对比监督数据，对生理状态视觉检测模型进行至少一轮网络训练，得到训练好的生理状态视觉检测模型。

在具体应用中，可以将图像数据作为待训练的生理状态视觉检测模型的输入数据输入到生理状态视觉检测模型，可以得到生理状态视觉检测模型输出的预测值，将预测值与生理状态数据进行比对，如果结果不能匹配，说明当前的生理状态视觉检测模型不能满足训练需求，继而可以调整生理状态视觉检测模型的网络参数值，并通过反向传播进行下一轮网络训练，直至达到网络收敛条件的情况下，可以得到训练好的生理状态视觉检测模型。

其中，上述网络收敛条件可以是生理状态视觉检测模型对应的网络损失值足够小，也可以是训练迭代次数足够多，还可以是图像数据被迭代循环至少一次等条件，在此不做具体的限制。

需要说明的是，针对不同的生理状态数据可以进行不同的生理状态检测，例如，基于心跳次数可以实现心跳检测。

这里，将获取的人物图像直接输入到训练好的生理状态视觉检测模型中，即可以得到生理状态检测结果。将生理状态检测结果与对应设置的预设阈值进行比较，可以确定人物图像对应的待检测人物的生理状态是否存在异常，以便及时的进行相关干预策略。

本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。

基于同一发明构思，本公开实施例中还提供了与方法对应的装置，由于本公开实施例中的装置解决问题的原理与本公开实施例上述方法相似，因此装置的实施可以参见方法的实施，重复之处不再赘述。

参照图2所示，为本公开实施例提供的一种数据记录装置的示意图，装置包括：获取模块201、记录模块202；其中，

获取模块201，用于获取车辆搭载的数据采集装置采集的车内状态信息，数据采集装置包括生理状态采集装置和车内图像采集装置；

记录模块202，用于在根据车内状态信息检测到车辆的乘员存在异常状态的情况下，关联地记录车内图像采集装置装置采集到的存在异常状态的乘员的图像数据和生理状态采集装置采集到的存在异常状态的乘员的生理状态数据。

采用上述数据记录装置，其可以获取车辆搭载的数据采集装置采集的车内状态信息，而后在确定车辆的乘员存在异常状态的情况下，可以关联地记录车内图像采集装置和生理状态采集装置分别采集到的存在异常状态的乘员的图像数据和生理状态数据，也即，本公开在检测车内状态异常时可以自动关联记录乘员图像数据和生理状态数据，相较于手动触发记录的方式提升了数据可靠性和准确性，提升了数据收集的效率。

在一种可能的实施方式中，记录模块202，用于按照以下步骤根据车内状态信息确定车辆的乘员存在异常状态：

根据生理状态采集装置采集的车辆的至少一个乘员的生理状态数据和/或车内图像采集装置采集的车辆内图像，确定车辆的至少一个乘员存在异常状态。

在一种可能的实施方式中，记录模块202，用于按照以下步骤根据生理状态采集装置采集的车辆的至少一个乘员的生理状态数据和/或车内图像采集装置采集的车辆内图像，确定车辆的至少一个乘员存在异常状态：

根据车内图像采集装置采集的车辆内图像，对车辆的至少一个乘员进行行为状态分析，得到行为状态分析结果；

根据行为状态分析结果确定至少一个乘员存在异常状态。

在一种可能的实施方式中，车内图像采集装置包括用于采集车内驾驶员图像的驾驶员图像采集装置；记录模块202，用于按照以下步骤根据车内图像采集装置采集的车辆内图像，对车辆的至少一个乘员进行行为状态分析：

根据驾驶员图像采集装置采集的驾驶员图像，对驾驶员进行行为状态分析，以确定驾驶员是否具有异常驾驶行为。

在一种可能的实施方式中，车内图像采集装置包括用于采集车内乘客图像的乘客图像采集装置；记录模块202，用于按照以下步骤根据车内图像采集装置采集的车辆内图像，对车辆的至少一个乘员进行行为状态分析：

根据乘客图像采集装置采集的乘客图像，对车辆的每一个乘客进行行为状态分析，以确定每一个乘客是否发生异常行为。

在一种可能的实施方式中，记录模块202，用于按照以下步骤根据生理状态采集装置采集的车辆的至少一个乘员的生理状态数据和/或车内图像采集装置采集的车辆内图像，确定车辆的至少一个乘员存在异常状态：

根据生理状态采集装置采集的车辆的至少一个乘员的生理状态数据，确定车辆的至少一个乘员存在异常的生理状态。

在一种可能的实施方式中，记录模块202，用于按照以下步骤根据生理状态采集装置采集的车辆的至少一个乘员的生理状态数据，确定车辆的至少一个乘员存在异常的生理状态：

在车辆的至少一个乘员在连续的预定时间段内的生理状态数据的变化超过预定变化范围的情况下，确定至少一个乘员存在异常的生理状态。

在一种可能的实施方式中，记录模块202，用于按照以下步骤车辆的至少一个乘员在连续的预定时间段内的生理状态数据的变化超过预定变化范围：

车辆的至少一个乘员在连续的预定时间段内的生理状态数据经过平滑滤波后的变化超过预定变化范围。

在一种可能的实施方式中，数据采集装置还包括车内环境探测器，车内环境探测器包括光强探测器和/或温度探测器，记录模块202，还用于：

在根据车内状态信息确定车辆的乘员存在异常状态的情况下，关联地记录存在异常状态的乘员的图像数据、存在异常状态的乘员的生理状态数据、以及车内环境探测器探测到的车内环境数据。

在一种可能的实施方式中，获取模块201，用于按照以下步骤获取车辆搭载的数据采集装置采集的车内状态信息：

通过与车辆的至少一个乘员佩戴的生理状态采集装置之间的蓝牙连接，获取至少一个成员的生理状态数据；和/或

通过与车内图像采集装置之间的数据总线连接，获取车辆的至少一个乘员的图像数据。

在一种可能的实施方式中，记录模块202，还用于：

基于车内图像采集装置采集的车内图像数据，确定车内乘员的属性信息；以及

在根据车内状态信息确定车辆的乘员存在异常状态的情况下，记录存在异常状态的乘员的属性信息。

在一种可能的实施方式中，上述装置还包括：

生成模块203，用于基于记录存在异常状态的乘员的图像数据和生理状态数据，生成用于训练生理状态视觉检测模型的训练样本，生理状态视觉检测模型用于根据人的图像数据检测人的生理状态。

在一种可能的实施方式中，生成模块203，还用于：

获取存在异常状态的乘员的属性信息；

基于属性信息将生成的训练样本分类，得到多个不同的属性信息对应的训练样本。

在一种可能的实施方式中，生成模块203，用于基于记录存在异常状态的乘员的图像数据和生理状态数据，生成用于训练生理状态视觉检测模型的训练样本：

按照时间戳信息将记录的存在异常状态的乘员的图像数据和生理状态数据进行对齐；

基于对齐后的图像数据和生理状态数据生成训练样本。

在一种可能的实施方式中，存在异常状态的乘员的图像数据包括：存在异常状态的成员的面部图像数据。

参照图3所示，为本公开实施例提供的一种生理状态检测装置的示意图，装置包括：获取模块301、检测模块302；其中，

获取模块301，用于获取人物图像；

检测模块302，用于将获取的人物图像输入到经过训练的生理状态视觉检测模型中，得到生理状态检测结果，其中，生理状态视觉检测模型基于如下方式记录的数据训练得到：

获取车辆搭载的数据采集装置采集的车内状态信息，数据采集装置包括生理状态采集装置和车内图像采集装置；在根据车内状态信息检测到车辆的乘员存在异常状态的情况下，关联地记录车内图像采集装置采集到的存在异常状态的乘员的图像数据和生理状态采集装置采集到的存在异常状态的乘员的生理状态数据。

关于装置中的各模块的处理流程、以及各模块之间的交互流程的描述可以参照上述方法实施例中的相关说明，这里不再详述。

本公开实施例还提供了一种电子设备，如图4所示，为本公开实施例提供的电子设备结构示意图，包括：处理器401、存储器402、和总线403。存储器402存储有处理器401可执行的机器可读指令(比如，图2中的装置中获取模块201、记录模块202对应的执行指令等；再如，图3中的装置中获取模块301、检测模块302对应的执行指令等)，当电子设备运行时，处理器401与存储器402之间通过总线403通信，机器可读指令被处理器401执行时执行上述数据记录方法的步骤或者生理状态检测方法的步骤。

本公开实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述方法实施例中所述的方法的步骤。其中，该存储介质可以是易失性或非易失的计算机可读取存储介质。

本公开实施例还提供一种计算机程序产品，该计算机程序产品承载有程序代码，所述程序代码包括的指令可用于执行上述方法实施例中所述的方法的步骤，具体可参见上述方法实施例，在此不再赘述。

其中，上述计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选实施例中，所述计算机程序产品具体体现为计算机存储介质，在另一个可选实施例中，计算机程序产品具体体现为软件产品，例如软件开发包(Software Development Kit，SDK)等等。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。在本公开所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本公开各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台电子设备(可以是个人计算机，服务器，或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上所述实施例，仅为本公开的具体实施方式，用以说明本公开的技术方案，而非对其限制，本公开的保护范围并不局限于此，尽管参照前述实施例对本公开进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本公开实施例技术方案的精神和范围，都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应所述以权利要求的保护范围为准。

Claims (20)

1.一种数据记录方法，其特征在于，包括：

获取车辆搭载的数据采集装置采集的车内状态信息，所述数据采集装置包括生理状态采集装置和车内图像采集装置；

在根据所述车内状态信息检测到所述车辆的乘员存在异常状态的情况下，关联地记录所述车内图像采集装置采集到的存在异常状态的乘员的图像数据和所述生理状态采集装置采集到的所述存在异常状态的乘员的生理状态数据。

2.根据权利要求1所述的方法，其特征在于，根据所述车内状态信息确定所述车辆的乘员存在异常状态，包括：

根据所述生理状态采集装置采集的所述车辆的至少一个乘员的生理状态数据和/或所述车内图像采集装置采集的车辆内图像，确定所述车辆的至少一个乘员存在异常状态。

3.根据权利要求2所述的方法，其特征在于，所述根据所述生理状态采集装置采集的所述车辆的至少一个乘员的生理状态数据和/或所述车内图像采集装置采集的车辆内图像，确定所述车辆的至少一个乘员存在异常状态，包括：

根据所述车内图像采集装置采集的车辆内图像，对所述车辆的至少一个乘员进行行为状态分析，得到行为状态分析结果；

根据所述行为状态分析结果确定所述至少一个乘员存在异常状态。

4.根据权利要求3所述的方法，其特征在于，所述车内图像采集装置包括用于采集车内驾驶员图像的驾驶员图像采集装置；

所述根据所述车内图像采集装置采集的车辆内图像，对所述车辆的至少一个乘员进行行为状态分析，包括：

根据所述驾驶员图像采集装置采集的驾驶员图像，对所述驾驶员进行行为状态分析，以确定所述驾驶员是否具有异常驾驶行为。

5.根据权利要求3所述的方法，其特征在于，所述车内图像采集装置包括用于采集车内乘客图像的乘客图像采集装置；

所述根据所述车内图像采集装置采集的车辆内图像，对所述车辆的至少一个乘员进行行为状态分析，包括：

根据所述乘客图像采集装置采集的乘客图像，对所述车辆的每一个乘客进行行为状态分析，以确定所述每一个乘客是否发生异常行为。

6.根据权利要求2至5任一项所述的方法，其特征在于，所述根据所述生理状态采集装置采集的所述车辆的至少一个乘员的生理状态数据和/或所述车内图像采集装置采集的车辆内图像，确定所述车辆的至少一个乘员存在异常状态，包括：

根据所述生理状态采集装置采集的所述车辆的至少一个乘员的生理状态数据，确定所述车辆的至少一个乘员存在异常的生理状态。

7.根据权利要求6所述的方法，其特征在于，所述根据所述生理状态采集装置采集的所述车辆的至少一个乘员的生理状态数据，确定所述车辆的至少一个乘员存在异常的生理状态，包括：

在所述车辆的至少一个乘员在连续的预定时间段内的生理状态数据的变化超过预定变化范围的情况下，确定所述至少一个乘员存在异常的生理状态。

8.根据权利要求7所述的方法，其特征在于，所述车辆的至少一个乘员在连续的预定时间段内的生理状态数据的变化超过预定变化范围，包括：

所述车辆的至少一个乘员在连续的预定时间段内的生理状态数据经过平滑滤波后的变化超过预定变化范围。

9.根据权利要求1所述的方法，其特征在于，所述数据采集装置还包括车内环境探测器，所述车内环境探测器包括光强探测器和/或温度探测器，所述方法还包括：

在根据所述车内状态信息确定所述车辆的乘员存在异常状态的情况下，关联地记录所述存在异常状态的所述乘员的图像数据、所述存在异常状态的所述乘员的生理状态数据、以及所述车内环境探测器探测到的车内环境数据。

10.根据权利要求1所述的方法，其特征在于，所述获取车辆搭载的数据采集装置采集的车内状态信息，包括：

通过与所述车辆的至少一个乘员佩戴的生理状态采集装置之间的蓝牙连接，获取所述至少一个成员的生理状态数据；和/或

通过与所述车内图像采集装置之间的数据总线连接，获取所述车辆的至少一个乘员的图像数据。

11.根据权利要求1所述的方法，其特征在于，所述方法还包括：

基于所述车内图像采集装置采集的车内图像数据，确定所述车内乘员的属性信息；以及

在根据所述车内状态信息确定所述车辆的乘员存在异常状态的情况下，记录存在异常状态的所述乘员的属性信息。

12.根据权利要求1所述的方法，其特征在于，所述方法还包括：

基于记录所述存在异常状态的乘员的图像数据和生理状态数据，生成用于训练生理状态视觉检测模型的训练样本，所述生理状态视觉检测模型用于根据人的图像数据检测人的生理状态。

13.根据权利要求12所述的方法，其特征在于，所述方法还包括：

获取所述存在异常状态的乘员的属性信息；

基于所述属性信息将生成的训练样本分类，得到多个不同的属性信息对应的训练样本。

14.根据权利要求12或13所述的方法，其特征在于，所述基于记录所述存在异常状态的乘员的图像数据和生理状态数据，生成用于训练生理状态视觉检测模型的训练样本，包括：

按照时间戳信息将记录的所述存在异常状态的乘员的图像数据和生理状态数据进行对齐；

基于对齐后的所述图像数据和所述生理状态数据生成所述训练样本。

15.根据权利要求1至14任一项所述的方法，其特征在于，所述存在异常状态的所述乘员的图像数据包括：所述存在异常状态的所述成员的面部图像数据。

16.一种生理状态检测方法，其特征在于，所述方法包括：

获取人物图像；

将获取的所述人物图像输入到经过训练的生理状态视觉检测模型中，得到生理状态检测结果，其中，所述生理状态视觉检测模型基于如下方式记录的数据训练得到：

获取车辆搭载的数据采集装置采集的车内状态信息，所述数据采集装置包括生理状态采集装置和车内图像采集装置；

在根据所述车内状态信息检测到所述车辆的乘员存在异常状态的情况下，关联地记录所述车内图像采集装置装置采集到的存在异常状态的所述乘员的图像数据和所述生理状态采集装置采集到的所述存在异常状态的乘员的生理状态数据。

17.一种数据记录装置，其特征在于，包括：

获取模块，用于获取车辆搭载的数据采集装置采集的车内状态信息，所述数据采集装置包括生理状态采集装置和车内图像采集装置；

记录模块，用于在根据所述车内状态信息检测到所述车辆的乘员存在异常状态的情况下，关联地记录所述车内图像采集装置装置采集到的存在异常状态的乘员的图像数据和所述生理状态采集装置采集到的所述存在异常状态的乘员的生理状态数据。

18.一种生理状态检测装置，其特征在于，包括：

获取模块，用于获取人物图像；

检测模块，用于将获取的所述人物图像输入到经过训练的生理状态视觉检测模型中，得到生理状态检测结果，其中，所述生理状态视觉检测模型基于如下方式记录的数据训练得到：

获取车辆搭载的数据采集装置采集的车内状态信息，所述数据采集装置包括生理状态采集装置和车内图像采集装置；

在根据所述车内状态信息检测到所述车辆的乘员存在异常状态的情况下，关联地记录所述车内图像采集装置装置采集到的存在异常状态的所述乘员的图像数据和所述生理状态采集装置采集到的所述存在异常状态的乘员的生理状态数据。

19.一种电子设备，其特征在于，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如权利要求1至15任一所述的数据记录方法的步骤或者如权利要求16任一所述的生理状态检测方法的步骤。

20.一种计算机可读存储介质，其特征在于，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如权利要求1至15任一所述的数据记录方法的步骤或者如权利要求16任一所述的生理状态检测方法的步骤。

Images