CN118107592A - 座舱后排用户行为信息的智能处理方法及装置 - Google Patents

Abstract

本申请提供了座舱后排用户行为信息的智能处理方法及装置，应用于目标车辆的车机系统，所述方法包括：获取目标车辆的车内声音数据；若根据声音数据确定出存在噪音，则获取目标车内图像；根据目标车内图像，确定目标乘客的乘客类型和当前行为；若检测到当前行为属于预设的参考干扰行为，则控制第一设备和/或第二设备执行与乘客类型适配的提醒策略。如此，本申请通过多终端设备之间的交互以执行针对目标车辆内存在参考干扰行为的目标乘客的提醒策略，提高确定目标乘客的准确性和效率，以及提高提醒策略实现方式的多样性和实用性，进而有效降低驾驶干扰行为的出现以提高行车安全。

Description

座舱后排用户行为信息的智能处理方法及装置

技术领域

本申请属于新一代信息技术产业的数据识别技术领域，具体涉及一种座舱后排用户行为信息的智能处理方式及装置。

背景技术

目前，随着汽车科技的不断发展和智能化水平的提高,车机系统所能够实现的功能也逐渐丰富。

但是，在携带乘客的车辆驾驶场景中，当座舱后排乘客在行车过程中做出发出噪声或者噪音的驾驶干扰行为时，具有语音交互功能的车机系统和驾驶人员都可能受到噪声或者噪音影响，从而影响驾驶人员驾驶。

发明内容

本申请实施例提供了一种座舱后排用户行为信息的智能处理方法及装置，通过多终端设备之间的交互以执行针对目标车辆内存在参考干扰行为的目标乘客的提醒策略，提高提醒策略实现方式的多样性和实用性，进而有效降低驾驶干扰行为的出现以提高行车安全。

第一方面，本申请实施例提供一种座舱后排用户行为信息的智能处理方法，应用于目标车辆的车机系统，所述方法包括：

获取所述目标车辆的车内声音数据；

若根据所述声音数据确定出存在噪音，则获取目标车内图像，所述目标车内图像为所述噪音对应的声源所在位置的车内图像；

根据所述目标车内图像，确定目标乘客的乘客类型和当前行为，所述目标乘客为落座于所述声源所在位置对应座位的乘客；

若检测到所述当前行为属于预设的参考干扰行为，且所述乘客类型为儿童，则控制第一设备执行第一有感提醒操作并播放第一语音提醒，直至检测到第二设备发送的关闭提醒指令，所述第一有感提醒操作包括第一震动操作和/或第一响铃操作，所述第一语音提醒用于提醒所述目标乘客请坐好，所述第一设备为所述目标乘客穿戴的设备，所述第二设备为所述目标乘客的监护人所持有的设备。

第二方面，本申请实施例提供一种座舱后排用户行为信息的智能处理装置，应用于目标车辆的车机系统，所述装置包括：

第一获取单元，用于获取所述目标车辆的车内声音数据；

第二获取单元，用于若根据所述声音数据确定出存在噪音，则获取目标车内图像，所述目标车内图像为所述噪音对应的声源所在位置的车内图像；

确定单元，用于根据所述目标车内图像，确定目标乘客的乘客类型和当前行为，所述目标乘客为落座于所述声源所在位置对应座位的乘客；

控制单元，用于若检测到所述当前行为属于预设的参考干扰行为且所述乘客类型为儿童，则控制第一设备执行第一有感提醒操作并播放第一语音提醒，直至检测到第二设备发送的关闭提醒指令，所述第一有感提醒操作包括第一震动操作和/或第一响铃操作，所述第一语音提醒用于提醒所述目标乘客请坐好，所述第一设备为所述目标乘客穿戴的设备，所述第二设备为所述目标乘客的监护人所持有的设备。

第三方面，本申请实施例提供了一种车机设备，包括处理器、存储器以及一个或多个程序，所述一个或多个程序被存储在所述存储器中，并且被配置由所述处理器执行，所述程序包括用于执行如本申请实施例第一方面中的步骤的指令。

第四方面，本申请实施例提供了一种计算机可读存储介质，其上存储有计算机程序/指令，所述计算机程序/指令被处理器执行时实现本申请实施例第一方面中的步骤。

第五方面，本申请实施例提供了一种计算机程序产品，包括计算机程序/指令，该计算机程序/指令被处理器执行时实现如本申请实施例第一方面中所描述的部分或全部步骤。

可以看出，在本申请实施例中，车机设备通过声源位置和图像确定目标乘客后，车机设备通过与目标乘客的第一设备和/或目标乘客的监护人的第二设备进行交互以执行提醒策略以提醒目标乘客停止其驾驶干扰行为，提高提醒策略实现方式的多样性和实用性，提供给驾驶员一个安静的驾驶环境，进而有效地提高行车安全。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例提供的一种行为提醒系统的结构框图；

图2是本申请实施例提供的一种座舱后排用户行为信息的智能处理方法的流程示意图；

图3是本申请实施例提供的一种车辆内部的声源定位的场景示意图；

图4是本申请实施例提供的一种第一设备执行有感提醒操作的场景示意图；

图5是本申请实施例提供的一种显示屏播放视频的场景示意图；

图6是本申请实施例提供的一种座舱后排用户行为信息的智能处理装置的功能单元组成框图；

图7是本申请实施例提供的另一种座舱后排用户行为信息的智能处理装置的功能单元组成框图；

图8是本申请实施例提供的一种车机系统的结构框图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。

在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。

请参阅图1，图1是本申请实施例提供的一种行为提醒系统的结构框图。如图1所示，行为提醒系统100包括车机系统110、第一设备120和第二设备130，第一设备120和第二设备130与目标车辆通信连接，第一设备为目标乘客穿戴的设备，第二设备为目标乘客的监护人所持有的设备。其中，车机系统110是安装在目标车辆里面的车载信息娱乐产品的简称,车机在功能上要能够实现人与车,车与外界(车与车)的信息通讯，目标车辆可以是市面上出现的任何一款车型的车辆。一个车机系统110可以用同时对应多个第一设备120和/或第二设备130，或者该行为提醒系统100中包括多个车机系统110，每一行为提醒系统100对应一个或多个第一设备120和/或第二设备130。

基于此，本申请实施例提供一种座舱后排用户行为信息的智能处理方法，下面结合附图对本申请实施例进行详细说明。

请参阅图2，图2是本申请实施例提供的一种座舱后排用户行为信息的智能处理方法的流程示意图，所述方法应用于行为提醒系统100中的车机系统110；所述方法还包括：

步骤S201，获取目标车辆的车内声音数据。

其中，根据实际情况可以设置车机系统获取目标车辆的车内声音数据的触发条件，例如当目标车辆单次持续行驶距离或持续行驶时长超过预设范围，则开始持续获取车内声音数据，原因在于当目标车辆连续开太久后，无论是驾驶员和乘客都可能会出现烦躁的情况，此时乘客有较大可能出现驾驶干扰行为而影响到驾驶员驾驶；也可以将触发条件设置为当目标车辆开始启动后，车机系统内置定时器以进行周期性的声音数据采集，可以理解的是，为及时确定乘客的驾驶干扰行为，间隔周期不易太长，此处不作限定。

步骤S202，若根据声音数据确定出存在噪音，则获取目标车内图像。

其中，所述目标车内图像为所述噪音对应的声源所在位置的车内图像。

在一个可能的实施例中，所述目标车辆包括车载摄像头和声音采集设备，所述车内声音数据包括每个所述声音采集设备采集的声音子数据；所述获取目标车内图像，包括：依次针对每个所述声音子数据执行声音识别操作，以确定声音类型为所述噪音的目标声音子数据；根据所述目标声音子数据，确定所述声源所在位置；控制与所述声源所在位置对应的至少一个所述车载摄像头，以采集预设数量的所述目标车内图像。

其中，为避免过度依赖车载摄像头等监控系统对乘客行为进行图像拍摄，以及对图像处理而导致的占用车机系统大量的计算资源，因此本示例中，先通过车辆内部的声音采集设备对声音数据进行采集后，确定出噪音对应的声源所在位置，再使用该声源所在位置对应位置的摄像头以采集目标车内图像，确保车机系统能够清楚、准确地确定发出噪音的目标乘客的动作及行为。

其中，目标声音子数据确定声源所在位置的方法为声源定位技术，由于目标车辆内存在多个声音采集设备，因此目标车辆内可用采用麦克风阵列的方式进行定位，即利用多个麦克风在测量不同位置点对声源进行测量，而由于声信号到达不同麦克风的时间有不同程度的延迟(也被称为时延)，利用算法对测量得到的声信号进行处理，由此获得声源点相对于麦克风的到达方向(包括方位角，俯仰角)和距离等，最终确定出噪音对应的声音子数据的声源位置。

示例性地，请参阅图3，图3是本申请实施例提供的一种车辆内部的声源定位的场景示意图，如图3所示，目标车辆内存在三个声音采集设备，分别为麦克风1、麦克风2和麦克风3，其中麦克风1和麦克风2，以及麦克风2和麦克风3之间相距距离为d，且位于前排座椅两侧。当确定出噪音的声音子数据时，通过声波信号到达各个麦克风的时间差以及声速可以计算出麦克风到达声源所处位置的实际距离，其中麦克风1与声源位置的距离为L1、麦克风2与声源位置的距离为L2、麦克风3与声源位置的距离为L3。在通过三个麦克风的位置和L1、L2、L3即可确定出声源所处位置，即后排最左侧的座位，之后获取能够拍摄到该位置的车载摄像头中采集的图像就能确定出目标乘客的动作。

可见，在本示例中，车机系统通过配合使用车载摄像头和声音采集设备，以使得车机系统可以先通过声音数据确定声源所处位置，再调用对应位置的摄像头以获取图像，减少了车机系统需处理的图像的数量，提高车机系统确定目标乘客的效率和准确性，提高车机系统进行数据处理的稳定性。

在一个可能的实施例中，所述依次针对每个所述声音子数据执行声音识别操作，以确定声音类型为所述噪音的目标声音子数据，包括：确定所述每个声音子数据对应的声音强度、声音频率以及持续时间；若正在处理的所述声音子数据的声音强度大于预设分贝，则确定正在处理的所述声音子数据为待辨别声音数据；若正在处理的所述声音子数据的声音强度小于或等于预设分贝，则根据所述声音频率和预设频率范围集合，确定目标频率等级；以及，若所述目标频率等级大于预设频率等级，且对应的所述持续时间大于预设秒数，则确定正在处理的所述声音子数据为所述待辨别声音数据；针对所述待辨别声音数据执行语音识别操作以得到识别文本；若所述识别文本表征为完整意图，则确定正在处理的所述声音子数据的声音类型为交谈声音，并继续处理下一个所述声音子数据，直至确定出所述目标声音子数据；若所述识别文本表征为非完整意图，则确定正在处理的所述声音子数据为所述目标声音子数据。

其中，所述预设频率范围集合中的每一所述预设频率范围对应一个频率等级。

其中，预设分贝的设置要根据车辆所处环境和驾驶员的可接收程度进行确定，当正在处理的声音子数据的声音强度超过预设分贝时，车机系统可以直接将其确认为待辨别声音数据，进行下一步的语音识别操作，因为声音强度过大时，该声音则会明显影响到驾驶员的驾驶行为。以及，还通过目标频率等级来表征声音子数据对应的声音尖锐程度，频率等级越高就说明声音越尖锐，则越应当被确定为噪音。

可见，在本示例中，通过对声音数据的各个属性进行判断，以及通过对声音数据执行语音识别以辨别声音数据是否来自乘客交谈或者车机系统的机器语音，提高了车机系统进行噪音确定的准确性和效率，以确保后续图像获取操作，以及提醒策略执行的准确性和实用性。

步骤S203，根据目标车内图像，确定目标乘客的乘客类型和当前行为。

其中，所述目标乘客为落座于所述声源所在位置对应座位的乘客。

其中，由于本申请所针对的乘客的驾驶干扰行为进行提醒，因此需要获取目标乘客制造噪音时的图像，以确认其行为以及根据乘客的类型选择执行不同的提醒策略。

在一个可能的实施例中，所述根据所述目标车内图像，确定目标乘客的乘客类型和当前行为之后，所述方法还包括：若检测到所述当前行为属于异常行为，则控制所述第一设备执行采集操作以获取所述目标乘客的当前生命体征信息；获取所述目标乘客的参考生命体征信息；根据所述参考生命体征信息和所述当前生命体征信息，确定比较结果；若所述比较结果表征为所述当前生命体征信息处于异常状态，则控制所述第二设备执行第三有感提醒操作，并播放第三语音提醒，直至接收到所述第二设备发送的确认指令。

其中，所述异常行为为所述监护人预先通过所述第二设备所设置的待监测病情的关联行为，所述参考生命体征信息为所述第一设备在所述目标乘客处于正常状态时采集的生命体征信息，所述第三有感提醒操作为第三震动操作，所述第三语音提醒用于提醒所述监护人注意查看所述目标乘客的身体状况。

其中，当目标车辆搭载了存在病情的乘客时，由于这些乘客可能会因为自身存在的病情发作而出现一些奇怪的行为，进而导致会发出噪音，例如可能出现目标乘客尖叫或者因发病抽搐而碰到车门、车窗发出噪音，此时就需要通过与第一设备和第二设备交互以保障目标乘客的生命健康。当然，也要排除目标乘客可能是不小心做出的动作而发出噪音的情况，因此具体分析过程为：车机系统先检测到目标乘客做出了监护人通过第二设备预先设置的异常行为，再控制第一设备采集目标乘客的当前生命体征信息，再根据事先采集的参考生命体征信息以确定目标乘客此时是否处于异常的身体状况，进而控制第二设备对监护人进行提醒。

示例性地，请参阅图4，图4是本申请实施例提供的一种第一设备执行有感提醒操作的场景示意图，如图4所示，当目标乘客在乘坐目标车辆时，会佩戴图4中的01，即目标乘客穿戴的第一设备，通过车机系统向第一设备下达有感提醒操作指令，第一设备则会执行有感提醒操作，即震动操作或者响铃操作。目标乘客的监护人所持有的与车机系统通信连接的电子设备，即图4中的02。在第一设备执行有感提醒操作的同时，其显示界面会显示为图4中的03，显示界面上所显示的是控制选择界面，其中的文本会告知监护人当前时刻第一设备正在执行有感提醒操作，以及是否需要停止。监护人则可以通过下面的选择控件选择是否停止第一设备执行的操作，其中左边的控件用于向车机系统发送停止指令，右边的控件用于向车机系统发送继续指令，之后车机系统会根据该指令停止或者继续第一设备执行的操作。

可见，在本示例中，车机系统通过多层次的检测过程，以确定目标乘客是否确实出现异常的身体状态，保证车机系统进行异常情况确定的准确性和效率，降低误报的情况。

在一个可能的实施例中，所述生命体征信息包括多个基础体征信息，每一所述基础体征信息对应一种体征类型；所述根据所述参考生命体征信息和所述当前生命体征信息，确定比较结果，包括：确定与所述待监测病情关联的多个异常体征信息；根据所述参考生命体征信息和所述当前生命体征信息，确定每个所述异常体征信息对应的体征变化量；获取每个所述异常体征信息对应的正常波动范围；若每个所述体征变化量均处于对应的所述正常波动范围，则确定所述当前生命体征信息处于正常状态，并生成所述比较结果；若存在所述体征变化量超出对应的所述正常波动范围，则确定所述当前生命体征信息处于所述异常状态，并生成所述比较结果。

其中，所述异常体征信息为所述待监测病情发作时病人体内异常的基础体征信息。

其中，由于每个待监测病情可能出现的异常的基础体征信息都互不相同，因此通过根据待监测病情确定出关联的异常体征信息，可以提高部分基础体征信息的优先级，进而车机系统可以仅针对异常体征信息对应的体征变化量进行与对应正常波动范围的大小比较。

示例性地，当目标乘客类型为老人和低龄儿童时，本示例可以针对该目标乘客的每个基础体征信息进行异常波动的检测，因为当目标乘客为儿童时，身体出现不舒服情况时，儿童很难准确表达自身情况，因此可能导致出现异常也不会被注意。而当目标乘客为老人时，由于老人本身身体状况就处于亚健康，因此需要额外注意其身体状况的变化，因此需要进行全方面的体征信息波动的检测。进一步地，当存在任意一个基础体征信息的体征变化量超过对应的正常波动范围时，都会车机系统控制第二设备执行第三有感提醒操作，并播放第三语音提醒，以引起监护人的关注，避免错过最佳治疗时间。

可见，在本示例中，车机系统通过待监测病情以确定出异常体征信息，并仅针对异常体征信息进行异常波动的检测，提高车机系统进行目标乘客的异常身体状况确定的效率和稳定性。

步骤S204，若检测到当前行为属于预设的参考干扰行为，且所述乘客类型为儿童，则控制第一设备执行第一有感提醒操作并播放第一语音提醒，直至检测到第二设备发送的关闭提醒指令，所述第一有感提醒操作包括第一震动操作和/或第一响铃操作，所述第一语音提醒用于提醒所述目标乘客请坐好。

其中，所述第一设备为所述目标乘客穿戴的设备，所述第二设备为所述目标乘客的监护人所持有的设备。

其中，参考干扰行为可以由驾驶员预先通过与车机系统的交互进行确定，例如拉动后排遮光帘、捶打窗户、频繁大声吵闹等等，此处不作限定。

其中，由于第二设备为监护人所持有的电子设备，因此当目标乘客的乘客类型属于不存在监护人的乘客类型时，车机系统可以仅控制第一设备即可执行适配的提醒策略以实现对目标乘客的提醒，提醒目标乘客停止其驾驶干扰行为以提供给驾驶员一个安静的驾驶环境，进而提高行车安全。

在一个可能的实施例中，所述方法还包括：持续获取所述目标车内图像以检测所述目标乘客的后续行为；当检测到所述后续行为属于所述参考干扰行为时，控制所述第一设备执行第二有感提醒操作，并播放第二语音提醒；以及，获取所述目标乘客的语音指令；在所述语音指令指示所述目标乘客想看所述视频或所述动画片时，向所述第二设备发送播放询问指令；响应于所述第二设备针对所述播放询问指令发送的同意播放指令，在所述目标乘客对应的后排显示屏上播放所述视频或所述动画片。

其中，所述第一有感提醒操作包括第一震动操作和/或第一响铃操作，所述第一语音提醒用于提醒所述目标乘客请坐好。所述第二有感提醒操作包括第二震动操作和/或第二响铃操作，所述第二语音提醒用于询问所述目标乘客想看的视频或动画片。

其中，本申请中出现了第一震动操作、第二震动操作和第三震动操作，以及出现了第一响铃操作、第二响铃操作。需要注意的是，每个震动操作对应的震动程度不同，以及每个响铃操作对应的响铃的持续时间、声音大小和频率也不相同，而且响铃操作对应的声音大小属于人体可接收的范围，并不会影响到驾驶员驾驶，仅会引起穿戴该设备的乘客的注意。可以理解的是，由于控制第一设备执行第二有感提醒操作针对的是目标乘客再一次做出的驾驶干扰行为，因此对应的第二震动操作的震动程度会明显强于第一震动操作的震动程度，以及第二响铃操作的持续时间或声音大小或频率会长于第一响铃操作的持续时间。

其中，由于乘客类型为儿童，因此播放视频是在后排显示屏上进行播放。因为，处于安全考虑，当儿童乘坐汽车时，通常儿童都安排至后排落座，汽车座椅的设计是基于成年人的身材而制定的，而儿童由于身材较小，坐在前排时无法正确地使用安全带。这意味着，即使儿童系上安全带，一旦发生紧急制动或碰撞，他们可能会从安全带下溜出来，或者被安全带勒住颈部，从而带来更大的伤害风险。后排座位更适合儿童，因为这里不仅距离碰撞点较远，也没有安全气囊的存在，能够为儿童提供更多的安全空间。而如果乘客类型为成年人的话，可以根据目标乘客的实际乘坐位置确定对应的显示屏以进行视频或动画片的播放，实现乘客无需挪动位置即可观看。

示例性地，请参阅图5，图5是本申请实施例提供的一种显示屏播放视频的场景示意图，如图5所示，当目标乘客为儿童，且目标车辆的前座(即图5中的01)后方配备有后排显示屏(即图5中的02)时，在车机系统获取到儿童指示有动画片的语音指令，以及第二设备发送的同意播放指令后，后排显示屏上则会播放动画片，此时儿童的情绪变化情况如图5中的03所示，从烦躁变为开心，儿童的注意力会被动画片所吸引，从而不会做出驾驶干扰行为，提供给驾驶员一个安静舒适的驾驶环境。

可见，在本示例中，针对乘客类型为儿童的目标乘客，提醒策略可以通过车机系统与第一设备、第二设备的交互进行灵活实现，并且在其中增加播放视频或动画片的选择，以保证可以吸引儿童注意力，从而避免儿童再次执行驾驶干扰行为而影响驾驶员驾驶车辆，提高车机系统执行提醒车辆的多样性和智能性。

在一个可能的实施例中，所述方法还包括：当接收到所述第二设备发送的停止播放指令时，根据视频播放进度保存视频播放记录；若所述播放进度小于预设进度，则根据所述视频名称，更新所述第二语音提醒；当接收到包含有所述视频名称的所述语音指令，则根据所述视频播放记录，继续播放所述视频或所述动画片。

其中，所述视频播放记录包括视频存储位置、播放进度、视频名称，所述更新后的第二语音提醒用于提醒所述目标乘客是否观看所述视频名称对应的所述视频或所述动画片。

其中，由于目标乘客的乘客类型为儿童，因此监护人可以根据实际情况确定是否要儿童继续观看视频或者动画片，进而监护人可以通过使用第二设备向车机系统发送停止播放指令以停止目标乘客对应后排显示屏的视频播放操作。为体现人性化的设计以及提高儿童的车辆乘坐体验，在第二设备发送停止播放指令后，车机系统会根据视频播放进度保存视频播放记录，并且当播放进度小于预设进度时，说明视频还存在剩余内容未播放完，车机系统则会根据视频名称更新第二语音提醒。更新后的第二语音提醒用于在目标乘客下一次需要观看视频或动画片时，提醒其可以继续观看上一次并未观看完毕的视频或动画片，之后若接收到包含有视频名称的语音指令，则会根据保存好的视频播放记录继续播放。

可见，在本示例中，通过响应停止播放指令的同时，保存视频播放记录。并在检测播放未完成时，更新第二提醒语音以便于下一次目标乘客可直接选择继续播放，提高了车机系统进行视频播放操作的智能性，提高乘客的乘坐体验。

可见，图2是本申请实施例提供的一种座舱后排用户行为信息的智能处理方法的流程示意图，车机设备通过声源位置和图像确定目标乘客后，车机设备通过与目标乘客的第一设备和/或目标乘客的监护人的第二设备进行交互以执行提醒策略以提醒目标乘客停止其驾驶干扰行为，提高提醒策略实现方式的多样性和实用性，提供给驾驶员一个安静的驾驶环境，进而有效地提高行车安全。

下面为本申请装置实施例，本申请装置实施例与本申请方法实施例属于同一构思，用于执行本申请实施例中描述的方法。为了便于说明，本申请装置实施例仅示出与本申请装置实施例相关的部分，具体技术细节未揭示的，请参照本申请方法实施例的描述，此处不再一一赘述。

本申请实施例提供的一种座舱后排用户行为信息的智能处理装置，该座舱后排用户行为信息的智能处理装置应用于图1所示的行为提醒系统100中的车机系统110，所述行为提醒系统100还包括所述第一设备120和第二设备130，第一设备120和第二设备130与车机系统110通信连接。具体的，座舱后排用户行为信息的智能处理装置用于执行以上座舱后排用户行为信息的智能处理方法中车机系统所述执行的步骤。本申请实施例提供的座舱后排用户行为信息的智能处理装置可以包括相应步骤所对应的模块。

本申请实施例可以根据上述方法示例对座舱后排用户行为信息的智能处理装置进行功能模块的划分，例如，可以对应各个功能划分各个功能模块，也可以将两个或两个以上的功能集成在一个处理模块中。上述集成的模块即可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。本申请实施例中对模块的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。

在采用对应各个功能划分各个功能模块的情况下，图6是本申请实施例提供的一种座舱后排用户行为信息的智能处理装置的功能单元组成框图；所述座舱后排用户行为信息的智能处理装置60，应用于目标车辆的车机系统，所述装置包括：第一获取单元601，用于获取所述目标车辆的车内声音数据；第二获取单元602，用于若根据所述声音数据确定出存在噪音，则获取目标车内图像，所述目标车内图像为所述噪音对应的声源所在位置的车内图像；确定单元603，用于根据所述目标车内图像，确定目标乘客的乘客类型和当前行为，所述目标乘客为落座于所述声源所在位置对应座位的乘客；控制单元604，用于若检测到所述当前行为属于预设的参考干扰行为，且所述乘客类型为儿童，则控制第一设备执行第一有感提醒操作并播放第一语音提醒，直至检测到第二设备发送的关闭提醒指令，所述第一有感提醒操作包括第一震动操作和/或第一响铃操作，所述第一语音提醒用于提醒所述目标乘客请坐好所述第二设备为所述目标乘客的监护人所持有的设备。

在一个可能的实施例中，所述控制单元604具体还用于：持续获取所述目标车内图像以检测所述目标乘客的后续行为；当检测到所述后续行为属于所述参考干扰行为时，控制所述第一设备执行第二有感提醒操作，并播放第二语音提醒，所述第二有感提醒操作包括第二震动操作和/或第二响铃操作，所述第二语音提醒用于询问所述目标乘客想看的视频或动画片；以及，获取所述目标乘客的语音指令；在所述语音指令指示所述目标乘客想看所述视频或所述动画片时，向所述第二设备发送播放询问指令；响应于所述第二设备针对所述播放询问指令发送的同意播放指令，在所述目标乘客对应的后排显示屏上播放所述视频或所述动画片。

在一个可能的实施例中，所述控制单元604具体还用于：当接收到所述第二设备发送的停止播放指令时，根据视频播放进度保存视频播放记录，所述视频播放记录包括视频存储位置、播放进度、视频名称；若所述播放进度小于预设进度，则根据所述视频名称，更新所述第二语音提醒，所述更新后的第二语音提醒用于提醒所述目标乘客是否观看所述视频名称对应的所述视频或所述动画片；当接收到包含有所述视频名称的所述语音指令，则根据所述视频播放记录，继续播放所述视频或所述动画片。

在一个可能的实施例中，所述目标车辆包括车载摄像头和声音采集设备，所述车内声音数据包括每个所述声音采集设备采集的声音子数据；在所述获取目标车内图像方面，所述第二获取单元602具体用于：依次针对每个所述声音子数据执行声音识别操作，以确定声音类型为所述噪音的目标声音子数据根据所述目标声音子数据，确定所述声源所在位置；控制与所述声源所在位置对应的至少一个所述车载摄像头，以采集预设数量的所述目标车内图像。

在一个可能的实施例中，在所述依次针对每个所述声音子数据执行声音识别操作，以确定声音类型为所述噪音的目标声音子数据方面，所述第二获取单元602具体用于：确定所述每个声音子数据对应的声音强度、声音频率以及持续时间；若正在处理的所述声音子数据的声音强度大于预设分贝，则确定正在处理的所述声音子数据为待辨别声音数据；若正在处理的所述声音子数据的声音强度小于或等于预设分贝，则根据所述声音频率和预设频率范围集合，确定目标频率等级，所述预设频率范围集合中的每一所述预设频率范围对应一个频率等级；以及，若所述目标频率等级大于预设频率等级，且对应的所述持续时间大于预设秒数，则确定正在处理的所述声音子数据为所述待辨别声音数据；针对所述待辨别声音数据执行语音识别操作以得到识别文本；若所述识别文本表征为完整意图，则确定正在处理的所述声音子数据的声音类型为交谈声音，并继续处理下一个所述声音子数据，直至确定出所述目标声音子数据；若所述识别文本表征为非完整意图，则确定正在处理的所述声音子数据为所述目标声音子数据。

在一个可能的实施例中，所述根据所述目标车内图像，确定目标乘客的乘客类型和当前行为之后，所述确定单元603具体还用于：若检测到所述当前行为属于异常行为，则控制所述第一设备执行采集操作以获取所述目标乘客的当前生命体征信息，所述异常行为为所述监护人预先通过所述第二设备所设置的待监测病情的关联行为；获取所述目标乘客的参考生命体征信息，所述参考生命体征信息为所述第一设备在所述目标乘客处于正常状态时采集的生命体征信息；根据所述参考生命体征信息和所述当前生命体征信息，确定比较结果；若所述比较结果表征为所述当前生命体征信息处于异常状态，则控制所述第二设备执行第三有感提醒操作，并播放第三语音提醒，直至接收到所述第二设备发送的确认指令，所述第三有感提醒操作为第三震动操作，所述第三语音提醒用于提醒所述监护人注意查看所述目标乘客的身体状况。

在一个可能的实施例中，所述生命体征信息包括多个基础体征信息，每一所述基础体征信息对应一种体征类型；在所述根据所述参考生命体征信息和所述当前生命体征信息，确定比较结果方面，所述确定单元603具体用于：确定与所述待监测病情关联的多个异常体征信息，所述异常体征信息为所述待监测病情发作时病人体内异常的基础体征信息；根据所述参考生命体征信息和所述当前生命体征信息，确定每个所述异常体征信息对应的体征变化量；获取每个所述异常体征信息对应的正常波动范围；若每个所述体征变化量均处于对应的所述正常波动范围，则确定所述当前生命体征信息处于正常状态，并生成所述比较结果；若存在所述体征变化量超出对应的所述正常波动范围，则确定所述当前生命体征信息处于所述异常状态，并生成所述比较结果。

在采用集成的单元的情况下，如图7所示，图7是本申请实施例提供的另一种座舱后排用户行为信息的智能处理装置的功能单元组成框图。在图7中，座舱后排用户行为信息的智能处理装置60包括：处理模块712和通信模块711。处理模块712用于对座舱后排用户行为信息的智能处理装置的动作进行控制管理，例如，第一获取单元601、第二获取单元602、确定单元603和控制单元604的步骤，和/或用于执行本文所描述的技术的其它过程。通信模块711用于支持座舱后排用户行为信息的智能处理装置与其他设备之间的交互。如图7所示，座舱后排用户行为信息的智能处理装置可以包括存储模块713，存储模块713用于存储座舱后排用户行为信息的智能处理装置的程序代码和数据。

其中，处理模块712可以是处理器或控制器，例如可以是中央处理器(CentralProcessing Unit，CPU)，通用处理器，数字信号处理器(Digital Signal Processor，DSP)，ASIC，FPGA或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框，模块和电路。所述处理器也可以是实现计算功能的组合，例如包含一个或多个微处理器组合，DSP和微处理器的组合等等。通信模块711可以是收发器、RF电路或通信接口等。存储模块713可以是存储器。

其中，上述方法实施例涉及的各场景的所有相关内容均可以援引到对应功能模块的功能描述，在此不再赘述。上述座舱后排用户行为信息的智能处理装置60均可执行上述图2所示的座舱后排用户行为信息的智能处理方法。

上述实施例，可以全部或部分地通过软件、硬件、固件或其他任意组合来实现。当使用软件实现时，上述实施例可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令或计算机程序。在计算机上加载或执行所述计算机指令或计算机程序时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以为通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线或无线方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集合的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质。半导体介质可以是固态硬盘。

图8是本申请实施例提供的一种车机系统的结构框图。如图8所示，车机系统110可以包括一个或多个如下部件：处理器810、与处理器810耦合的存储器820，其中存储器820可存储有一个或多个程序821，一个或多个程序821可以被配置为由一个或多个处理器810执行时实现如上述各实施例描述的方法。此处所述的车机系统为上述实施例中的车机系统110。

处理器810可以包括一个或者多个处理核。处理器810利用各种接口和线路连接整个车机系统110内的各个部分，通过运行或执行存储在存储器820内的指令、程序、代码集或指令集，以及调用存储在存储器820内的数据，执行车机系统110的各种功能和处理数据。可选地，处理器810可以采用数字信号处理(Digital Signal Processing，DSP)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)、可编程逻辑阵列(ProgrammableLogicArray，PLA)中的至少一种硬件形式来实现。处理器810可集成中央处理器(CentralProcessing Unit，CPU)、图像处理器(Graphics Processing Unit，GPU)和调制解调器等中的一种或几种的组合。其中，CPU主要处理操作系统、用户界面和应用程序等；GPU用于负责显示内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到处理器810中，单独通过一块通信芯片进行实现。

存储器820可以包括随机存储器(Random Access Memory，RAM)，也可以包括只读存储器(Read-Only Memory，ROM)。存储器820可用于存储指令、程序、代码、代码集或指令集。存储器820可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作系统的指令、用于实现至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现上述各个方法实施例的指令等。存储数据区还可以存储车机系统110在使用中所创建的数据等。

可以理解的是，车机系统110可包括比上述结构框图中更多或更少的结构元件，在此不进行限定。

本申请实施例还提供一种计算机存储介质，其中，其上存储有计算机程序/指令，所述计算机程序/指令被处理器执行时实现如上述方法实施例中记载的任一方法的部分或全部步骤。

本申请实施例还提供一种计算机程序产品，上述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，上述计算机程序可操作来使计算机执行如上述方法实施例中记载的任一方法的部分或全部步骤。

应理解，在本申请的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。

在本申请所提供的几个实施例中，应该理解到，所揭露的方法、装置和系统，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的；例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式；例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理包括，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。

上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、磁碟、光盘、易失性存储器或非易失性存储器。其中，非易失性存储器可以是只读存储器(read-only memory，ROM)、可编程只读存储器(programmable ROM，PROM)、可擦除可编程只读存储器(erasable PROM，EPROM)、电可擦除可编程只读存储器(electrically EPROM，EEPROM)或闪存。易失性存储器可以是随机存取存储器(random access memory，RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的随机存取存储器(random access memory，RAM)可用，例如静态随机存取存储器(static RAM，SRAM)、动态随机存取存储器(DRAM)、同步动态随机存取存储器(synchronous DRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(doubledata rateSDRAM，DDR SDRAM)、增强型同步动态随机存取存储器(enhanced SDRAM，ESDRAM)、同步连接动态随机存取存储器(synchlink DRAM，SLDRAM)和直接内存总线随机存取存储器(directrambus RAM，DR RAM)等各种可以存储程序代码的介质。

虽然本发明披露如上，但本发明并非限定于此。任何本领域技术人员，在不脱离本发明的精神和范围内，可轻易想到变化或替换，均可作各种更动与修改，包含上述不同功能、实施步骤的组合，包含软件和硬件的实施方式，均在本发明的保护范围。

Claims (10)

1.一种座舱后排用户行为信息的智能处理方法，其特征在于，应用于目标车辆的车机系统，所述方法包括：

获取所述目标车辆的车内声音数据；

若根据所述声音数据确定出存在噪音，则获取目标车内图像，所述目标车内图像为所述噪音对应的声源所在位置的车内图像；

根据所述目标车内图像，确定目标乘客的乘客类型和当前行为，所述目标乘客为落座于所述声源所在位置对应座位的乘客；

若检测到所述当前行为属于预设的参考干扰行为，且所述乘客类型为儿童，则控制第一设备执行第一有感提醒操作并播放第一语音提醒，直至检测到第二设备发送的关闭提醒指令，所述第一有感提醒操作包括第一震动操作和/或第一响铃操作，所述第一语音提醒用于提醒所述目标乘客请坐好，所述第一设备为所述目标乘客穿戴的设备，所述第二设备为所述目标乘客的监护人所持有的设备。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

持续获取所述目标车内图像以检测所述目标乘客的后续行为；

当检测到所述后续行为属于所述参考干扰行为时，控制所述第一设备执行第二有感提醒操作，并播放第二语音提醒，所述第二有感提醒操作包括第二震动操作和/或第二响铃操作，所述第二语音提醒用于询问所述目标乘客想看的视频或动画片；以及，获取所述目标乘客的语音指令；

在所述语音指令指示所述目标乘客想看所述视频或所述动画片时，向所述第二设备发送播放询问指令；

响应于所述第二设备针对所述播放询问指令发送的同意播放指令，在所述目标乘客对应的后排显示屏上播放所述视频或所述动画片。

3.根据权利要求2所述的方法，其特征在于，所述方法还包括：

当接收到所述第二设备发送的停止播放指令时，根据视频播放进度保存视频播放记录，所述视频播放记录包括视频存储位置、播放进度、视频名称；

若所述播放进度小于预设进度，则根据所述视频名称，更新所述第二语音提醒，更新后的所述第二语音提醒用于提醒所述目标乘客是否观看所述视频名称对应的所述视频或所述动画片；

当接收到包含有所述视频名称的所述语音指令，则根据所述视频播放记录，继续播放所述视频或所述动画片。

4.根据权利要求1所述的方法，其特征在于，所述目标车辆包括车载摄像头和声音采集设备，所述车内声音数据包括每个所述声音采集设备采集的声音子数据；所述获取目标车内图像，包括：

依次针对每个所述声音子数据执行声音识别操作，以确定声音类型为所述噪音的目标声音子数据；

根据所述目标声音子数据，确定所述声源所在位置；

控制与所述声源所在位置对应的至少一个所述车载摄像头，以采集预设数量的所述目标车内图像。

5.根据权利要求4所述的方法，其特征在于，所述依次针对每个所述声音子数据执行声音识别操作，以确定声音类型为所述噪音的目标声音子数据，包括：

确定所述每个声音子数据对应的声音强度、声音频率以及持续时间；

若正在处理的所述声音子数据的声音强度大于预设分贝，则确定正在处理的所述声音子数据为待辨别声音数据；

若正在处理的所述声音子数据的声音强度小于或等于预设分贝，则根据所述声音频率和预设频率范围集合，确定目标频率等级，所述预设频率范围集合中的每一所述预设频率范围对应一个频率等级；以及，若所述目标频率等级大于预设频率等级，且对应的所述持续时间大于预设秒数，则确定正在处理的所述声音子数据为所述待辨别声音数据；

针对所述待辨别声音数据执行语音识别操作以得到识别文本；

若所述识别文本表征为完整意图，则确定正在处理的所述声音子数据的声音类型为交谈声音，并继续处理下一个所述声音子数据，直至确定出所述目标声音子数据；

若所述识别文本表征为非完整意图，则确定正在处理的所述声音子数据为所述目标声音子数据。

6.根据权利要求2所述的方法，其特征在于，所述根据所述目标车内图像，确定目标乘客的乘客类型和当前行为之后，所述方法还包括：

若检测到所述当前行为属于异常行为，则控制所述第一设备执行采集操作以获取所述目标乘客的当前生命体征信息，所述异常行为为所述监护人预先通过所述第二设备所设置的待监测病情的关联行为；

获取所述目标乘客的参考生命体征信息，所述参考生命体征信息为所述第一设备在所述目标乘客处于正常状态时采集的生命体征信息；

根据所述参考生命体征信息和所述当前生命体征信息，确定比较结果；

若所述比较结果表征为所述当前生命体征信息处于异常状态，则控制所述第二设备执行第三有感提醒操作，并播放第三语音提醒，直至接收到所述第二设备发送的确认指令，所述第三有感提醒操作为第三震动操作，所述第三语音提醒用于提醒所述监护人注意查看所述目标乘客的身体状况。

7.根据权利要求6所述的方法，其特征在于，所述生命体征信息包括多个基础体征信息，每一所述基础体征信息对应一种体征类型；所述根据所述参考生命体征信息和所述当前生命体征信息，确定比较结果，包括：

确定与所述待监测病情关联的多个异常体征信息，所述异常体征信息为所述待监测病情发作时病人体内异常的基础体征信息；

根据所述参考生命体征信息和所述当前生命体征信息，确定每个所述异常体征信息对应的体征变化量；

获取每个所述异常体征信息对应的正常波动范围；

若每个所述体征变化量均处于对应的所述正常波动范围，则确定所述当前生命体征信息处于正常状态，并生成所述比较结果；

若存在所述体征变化量超出对应的所述正常波动范围，则确定所述当前生命体征信息处于所述异常状态，并生成所述比较结果。

8.一种座舱后排用户行为信息的智能处理装置，其特征在于，应用于目标车辆的车机系统，所述装置包括：

第一获取单元，用于获取所述目标车辆的车内声音数据；

第二获取单元，用于若根据所述声音数据确定出存在噪音，则获取目标车内图像，所述目标车内图像为所述噪音对应的声源所在位置的车内图像；

确定单元，用于根据所述目标车内图像，确定目标乘客的乘客类型和当前行为，所述目标乘客为落座于所述声源所在位置对应座位的乘客；

控制单元，用于若检测到所述当前行为属于预设的参考干扰行为，且所述乘客类型为儿童，则控制第一设备执行第一有感提醒操作并播放第一语音提醒，直至检测到第二设备发送的关闭提醒指令，所述第一有感提醒操作包括第一震动操作和/或第一响铃操作，所述第一语音提醒用于提醒所述目标乘客请坐好，所述第一设备为所述目标乘客穿戴的设备，所述第二设备为所述目标乘客的监护人所持有的设备。

9.一种车机系统，其特征在于，包括处理器、存储器、通信接口，以及一个或多个程序，所述一个或多个程序被存储在所述存储器中，并且被配置由所述处理器执行，所述程序包括用于执行如权利要求1-7中任一项所述的方法中的步骤的指令。

10.一种计算机可读存储介质，其特征在于，存储用于电子数据交换的计算机程序，其中，所述计算机程序使得计算机执行如权利要求1-7中任一项所述的方法。