CN115909651A - 车内人身安全保护方法、装置、设备及存储介质 - Google Patents

Abstract

本发明涉及车辆安全技术领域，公开了一种车内人身安全保护方法、装置、设备及存储介质，该方法包括：获取车内人员的图像语音数据；对图像语音数据进行异常检测，获得行为异常特征和语音异常特征；根据行为异常特征和语音异常特征构建车内人员的异常特征矩阵数据；根据车辆行驶状态数据和异常特征矩阵数据确定预警等级，并执行预警等级对应的安全预警策略。由于本发明通过获取车内人员的图像语音数据，根据图像语音数据提取对应的行为异常特征和语音异常特征，进而判断车内是否存在人身安全威胁，并根据车辆行驶状态数据进一步确定对应的预警等级，从而提前预判了危险或危害的发生，降低了人身伤害事件的发生，大幅提升了车内人员的安全性。

Description

车内人身安全保护方法、装置、设备及存储介质

技术领域

本发明涉及车辆安全技术领域，尤其涉及一种车内人身安全保护方法、装置、设备及存储介质。

背景技术

随着人工智能技术的发展，车辆智能化安全技术的应用领域越来越广泛。例如，前向碰撞预警系统、自动紧急制动系统、驾驶员疲劳监测系统等在车辆上快速推广，大幅提高了车辆行驶安全性。

但是目前这些技术是以保护车辆安全行驶为目的，即有效保证驾驶员和乘客的车辆行驶安全。当车内发生人身安全危险时，难以提前预判危险或危害的发生。

上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。

发明内容

本发明的主要目的在于提供了一种车内人身安全保护方法、装置、设备及存储介质，旨在解决现有技术当车内发生人身安全危险时，难以提前预判危险或危害的发生的技术问题。

为实现上述目的，本发明提供了一种车内人身安全保护方法，所述方法包括以下步骤:

获取车内人员的图像语音数据；

对所述图像语音数据进行异常检测，获得行为异常特征和语音异常特征；

根据所述行为异常特征和所述语音异常特征构建所述车内人员的异常特征矩阵数据；

根据车辆行驶状态数据和所述异常特征矩阵数据确定预警等级，并执行所述预警等级对应的安全预警策略。

可选地，所述对所述图像语音数据进行异常检测，获得行为异常特征和语音异常特征的步骤包括：

提取所述图像语音数据中包含的图像数据和语音数据；

分别对所述图像数据和所述语音数据进行异常检测；

在检测到所述图像数据存在肢体行动异常数据时，根据所述肢体行动异常数据确定所述行为异常特征；

在检测到所述语音数据存在语音词汇异常数据时，根据所述语音词汇异常数据确定所述语音异常特征。

可选地，所述在检测到所述图像数据存在肢体行动异常数据时，根据所述肢体行动异常数据确定所述行为异常特征的步骤包括：

在检测到所述图像数据存在肢体行动异常数据时，判断所述肢体行动异常数据对应的肢体动作是否属于预设危险动作；

若是，则判定车内存在人身安全威胁，并根据所述肢体行动异常数据提取所述行为异常特征。

可选地，所述在检测到所述语音数据存在语音词汇异常数据时，根据所述语音词汇异常数据确定所述语音异常特征的步骤包括：

在检测到所述语音数据存在语音词汇异常数据时，判断所述语音词汇异常数据中是否存在预设敏感词汇数据；

若存在，则判定车内存在人身安全威胁，并根据所述语音词汇异常数据提取所述语音异常特征。

可选地，所述提取所述图像语音数据中包含的图像数据和语音数据的步骤之后，还包括：

根据所述图像数据提取头部特征和面部特征，并基于所述头部特征和所述面部特征确定所述车内人员的人员类型；

根据所述人员类型和所述图像数据对所述车内人员进行测距，获得图像测距数据；

根据所述语音数据对所述车内人员进行声源定位，获得声源定位数据；

通过马氏距离算法对所述图像测距数据和所述声源定位数据进行关联，获得图像语音测量数据；

基于卡尔曼滤波算法对所述图像语音测量数据进行滤波，获得所述车内人员的位置数据；

所述根据车辆行驶状态数据和所述异常特征矩阵数据确定预警等级，并执行所述预警等级对应的安全预警策略，包括：

根据车辆行驶状态数据和所述异常特征矩阵数据确定预警等级，并根据所述位置数据执行所述预警等级对应的安全预警策略。

可选地，所述在检测到所述语音数据存在语音词汇异常数据时，根据所述语音词汇异常数据确定所述语音异常特征之后，还包括：

根据所述语音数据提取语音音频数据和语音共振特征数据；

基于所述语音音频数据和所述语音共振特征数据确定声纹标识数据；

根据所述声纹标识数据判断所述车内人员是否为目标人员；

若是，则更新所述目标人员的所述行为异常特征和所述语音异常特征。

可选地，所述安全预警策略包括：一级安全预警策略，二级安全预警策略和三级安全预警策略；

所述一级安全预警策略包括：向所述车内人员的紧急联系人发送报警信息，并控制车辆的行驶状态；

所述二级安全预警策略包括：向所述车内人员的紧急联系人发送报警信息；

所述三级安全预警策略包括：向所述车内人员的紧急联系人发送预警信息；

其中，所述一级安全预警策略和所述二级安全预警策略还包括：向云端服务器发送所述行为异常特征、所述语音异常特征和所述车辆行驶状态数据，以使工作人员远程控制所述车辆的行驶状态并发送报警信息。

此外，为实现上述目的，本发明还提出一种车内人身安全保护装置，所述装置包括：

信息获取模块，用于获取车内人员的图像语音数据；

异常特征模块，用于对所述图像语音数据进行异常检测，获得行为异常特征和语音异常特征；

矩阵数据模块，用于根据所述行为异常特征和所述语音异常特征构建所述车内人员的异常特征矩阵数据；

安全预警模块，用于根据车辆行驶状态数据和所述异常特征矩阵数据确定预警等级，并执行所述预警等级对应的安全预警策略。

此外，为实现上述目的，本发明还提出一种车内人身安全保护设备，所述设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的车内人身安全保护程序，所述车内人身安全保护程序配置为实现如上文所述的车内人身安全保护方法的步骤。

此外，为实现上述目的，本发明还提出一种存储介质，所述存储介质上存储有车内人身安全保护程序，所述车内人身安全保护程序被处理器执行时实现如上所述的车内人身安全保护方法的步骤。

本发明通过获取车内人员的图像语音数据；对所述图像语音数据进行异常检测，获得行为异常特征和语音异常特征；根据所述行为异常特征和所述语音异常特征构建所述车内人员的异常特征矩阵数据；根据车辆行驶状态数据和所述异常特征矩阵数据确定预警等级，并执行所述预警等级对应的安全预警策略。由于本发明是通过获取车内人员的图像语音数据，根据图像语音数据提取对应的行为异常特征和语音异常特征，进而判断车内是否存在人身安全威胁，并根据车辆行驶状态数据进一步确定对应的预警等级，从而提前预判了危险或危害的发生，降低了人身伤害事件的发生，大幅提升了车内人员的安全性。

附图说明

图1是本发明实施例方案涉及的硬件运行环境的车内人身安全保护设备的结构示意图；

图2为本发明车内人身安全保护方法第一实施例的流程示意图；

图3为本发明车内人身安全保护方法第二实施例的流程示意图；

图4为本发明车内人身安全保护方法第三实施例的流程示意图；

图5为本发明车内人身安全保护方法第三实施例的一个示意性场景图；

图6为本发明车内人身安全保护方法的流程步骤示意图；

图7为本发明车内人身安全保护装置第一实施例的结构框图；

图8为本发明人身安全保护装置的原理框图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

参照图1，图1为本发明实施例方案涉及的硬件运行环境的车内人身安全保护设备结构示意图。

如图1所示，该车内人身安全保护设备可以包括：处理器1001，例如中央处理器(Central Processing Unit，CPU)，通信总线1002、用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入模块比如键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如无线保真(Wireless-Fidelity，Wi-Fi)接口)。存储器1005可以是高速的随机存取存储器(RandomAccess Memory，RAM)，也可以是稳定的非易失性存储器(Non-Volatile Memory，NVM)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。

本领域技术人员可以理解，图1中示出的结构并不构成对车内人身安全保护设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

如图1所示，作为一种存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及车内人身安全保护程序。

在图1所示的车内人身安全保护设备中，网络接口1004主要用于与网络服务器进行数据通信；用户接口1003主要用于与用户进行数据交互；本发明车内人身安全保护设备中的处理器1001、存储器1005可以设置在车内人身安全保护设备中，所述车内人身安全保护设备通过处理器1001调用存储器1005中存储的车内人身安全保护程序，并执行本发明实施例提供的车内人身安全保护方法。

本发明实施例提供了一种车内人身安全保护方法，参照图2，图2为本发明车内人身安全保护方法第一实施例的流程示意图。

本实施例中，所述车内人身安全保护方法包括以下步骤：

步骤S10：获取车内人员的图像语音数据。

需要说明的是，本实施例方法的执行主体可以是具有数据处理、网络通信以及程序运行功能的计算服务设备，例如服务器、平板电脑、个人电脑等，还可以是能够实现相同或相似功能的其他电子设备，例如上述车内人身安全保护设备，本实施例对此不加以限制。此处以上述车内人身安全保护设备(简称安全保护设备)对本实施例和下述各实施例进行具体说明。

可理解的是，车内人员是指在车辆内的所有的人员。对于大型客运车辆，例如公交车、长途客车等，车内人员包括驾驶员、售票员以及众多的乘客；对于出租车、网约车等，车内人员包括司机以及乘客。

应理解的是，图像语音数据是安全保护设备通过设置在车内的一个或多个摄像头获取到的车内人员的图像数据，以及通过设置在车内的一个或多个麦克风阵列获取到的车内人员的语音数据。

需要说明的是，摄像头是根据车辆类型、车内空间大小以及摄像头的精度在车辆内布局的，为了保证获取到车内的全部图像，可以布置多个摄像头；特别地，为了提高图像测距精度，可采用双目摄像头。同样，麦克风也是根据据车辆类型、车内空间大小布置的，为了保证精度，可以布置多个麦克风，形成麦克风阵列。

在具体实现中，安全保护设备通过车内摄像头和麦克风获取车内人员的图像语音数据。

步骤S20：对所述图像语音数据进行异常检测，获得行为异常特征和语音异常特征。

需要说明的是，行为异常特征是指图像语音数据中对应的车内人员在车内表现出来的异常行为动作，这些异常行为动作包括：表情异常、行为动作异常，表情恐惧、害怕；肢体活动范围超出限定边界，入侵他人领域，即发生肢体接触；手持危险异物等。在具体场景中，例如出租车与网约车的乘客人身伤害、公交车内纵火、抢夺方向盘、司机有意危险驾驶等场景。

可理解的是，语音异常特征是指图像语音数据中对应的车内人员在车内表现出来的异常敏感词汇，这些异常敏感词汇包括：辱骂、威胁、哭声、求饶、求救等关键词汇。

应理解的是，在获取到图像语音数据后，可以将图像语音数据进行分类，按照图像和语音的类别来分类，也可以根据是否异常来分类，对此不加以限制。

在具体实现中，安全保护设备对图像语音数据进行异常检测，在检测到图像语音数据中存在异常数据时，提取图像语音数据中对应的行为异常特征和语音异常特征。

步骤S30：根据所述行为异常特征和所述语音异常特征构建所述车内人员的异常特征矩阵数据。

需要说明的是，异常特征矩阵数据是根据行为异常特征和语音异常特征构建的矩阵数据。在通过车内摄像头和麦克风获取到图像语音数据时，安全保护设备可以将从图像语音数据中提取的对应的行为异常特征和语音异常特征实时更新到异常特征矩阵数据中。

在具体实现中，安全保护设备根据行为异常特征和语音异常特征构建车内人员的异常特征矩阵数据。

步骤S40：根据车辆行驶状态数据和所述异常特征矩阵数据确定预警等级，并执行所述预警等级对应的安全预警策略。

需要说明的是，车辆行驶状态数据包括车辆定位数据、行驶路径识别数据和车辆状况数据。其中，车辆定位数据是通过实时测量车辆的位置和海拔高度等对应的数据；行驶路径识别数据是车辆实际行驶路线与规划路线不一致时，识别出来的数据；车辆状况数据包括车辆的行驶速度、油量等数据。

可理解的是，预警等级是在车内存在人身安全威胁时，根据威胁的严重程度预先设置的对应等级。预警等级的划分可以根据不同车辆的类型来划分，比如大型车辆和小型网约车的预警等级会有所不同，也可以根据车辆的路线划分，本实施例对此不加以限制。

应理解的是，安全预警策略是预警等级对应的执行方案策略。同样的，安全预警策略的实际执行方案也可以根据不同车辆的类型来划分，比如大型车辆和小型网约车的安全预警策略会有所不同，也可以根据车辆的路线划分，本实施例对此不加以限制。

在具体实现中，安全保护设备根据车辆行驶状态数据和异常特征矩阵数据确定预先设定的预警等级，并根据预警等级执行对应的安全预警策略。

进一步地，为了预警的有效性和实时性，保证预警安全有效，避免出现误判而造成浪费社会资源的情况，所述安全预警策略包括：一级安全预警策略，二级安全预警策略和三级安全预警策略；所述一级安全预警策略包括：向所述车内人员的紧急联系人发送报警信息，并控制车辆的行驶状态；所述二级安全预警策略包括：向所述车内人员的紧急联系人发送报警信息；所述三级安全预警策略包括：向所述车内人员的紧急联系人发送预警信息；其中，所述一级安全预警策略和所述二级安全预警策略还包括：向云端服务器发送所述行为异常特征、所述语音异常特征和所述车辆行驶状态数据，以使工作人员远程控制所述车辆的行驶状态并发送报警信息。

需要说明的是，三级安全预警策略是车内存在的人身安全威胁比较轻或者是判断即将出现威胁时执行的策略，表明车内人员有遭受侵害的风险，需要持续关注，此时安全保护设备可向云端控制服务器发送车内图像语音数据、车辆行驶状态数据等数据；同时向车内的紧急联系人发送提示关注信息，包括车辆的位置、车牌、行驶路线等。

可理解的是，二级安全预警策略是车内已经存在人身安全威胁时执行的策略，表明车内人员遭受轻度侵害，此时安全保护设备可向云端服务器发送车内的图像语音数据、车辆行驶状态数据等数据，控制中心工作人员可以拨打报警电话；并且向车内人员的紧急联系人发送报警信息，包括车辆的位置、车牌、行驶路线等；控制中心在二级报警并获得授权的条件下，可以远程控制车辆，包括车辆启停控制、限速控制等。

应理解的是此时，一级安全预警策略是车内存在严重的人身安全威胁时执行的策略，表明车内人员正在遭受严重侵害，此时安全保护设备可以向云端控制服务器发送图像语音数据、车辆行驶状态数据等数据，并且要求控制中心工作人员拨打报警电话和向车内人员的紧急联系人发送报警信息，包括车辆的位置、车牌、行驶路线等；同时安全保护设备通过车辆控制功能，进行声光警示、车辆限速行驶等主动遏制措施；控制中心在一级安全预警策略并获得授权的条件下，可远程控制车辆，包括车辆启停控制、限速控制等。

在具体实现中，安全保护设备根据预警等级执行相应的安全预警策略，保证预警安全有效，避免出现误判而造成浪费社会资源的情况，实现了预警的有效性和实时性。

在实际考虑中，当车内人员是女性或孩子时、夜间行车状态且车辆行驶在偏远地区时，安全保护设备可自动定时上传图像语音数据、车辆行驶状态数据等数据，并向车内人员的紧急联系人发送提示信息；当发生危害行为时，安全保护设备的预警等级可提高一个级别，减少漏报警，最大限度保证弱势群体的人员安全。

进一步地，对于大型客运车辆，例如公交车、长途客车等，人身安全主要有乘客危害驾驶员、乘客危害车辆、乘客与乘客冲突、驾驶员危险驾驶等场景；公共车辆涉及人员多，人员个体安全事件较少发生，大多安全事件是由于驾驶员、乘客的之间的行为危害车辆安全行驶，此类型车辆上多涉及公共安全，间接导致个人安全事件发生。另一方面，对于出租车、网约车等，人身安全主要是司机危害乘客、乘客危害司机等场景，此类型车辆上多为个体受到伤害，不涉及公共安全事件。针对这种情况，对于不同地场景可以设置不同的安全预警策略，本实施例对此不加以限制。

本实施例是安全保护设备通过车内摄像头和麦克风获取车内人员的图像语音数据，并对图像语音数据进行异常检测，在检测到图像语音数据中存在异常数据时，提取图像语音数据中对应的行为异常特征和语音异常特征，然后安全保护设备根据行为异常特征和语音异常特征构建车内人员的异常特征矩阵数据，最后根据车辆行驶状态数据和异常特征矩阵数据确定预先设定的预警等级，并根据预警等级执行对应的安全预警策略。由于本发明是通过获取车内人员的图像语音数据，根据图像语音数据提取对应的行为异常特征和语音异常特征，进而判断车内是否存在人身安全威胁，并根据车辆行驶状态数据进一步确定对应的预警等级，从而提前预判了危险或危害的发生，降低了人身伤害事件的发生，大幅提升了车内人员的安全性。

参考图3，图3为本发明车内人身安全保护方法第二实施例的流程示意图。

基于上述第一实施例，在本实施例中，在对图像数据和语音数据进行异常检测时，为了提高检测的精确度，所述步骤S20包括：

步骤S21：提取所述图像语音数据中包含的图像数据和语音数据。

步骤S22：分别对所述图像数据和所述语音数据进行异常检测。

需要说明的是，图像数据是采集车内人员的图像所转换形成的数据。图像中包括车内人员的人脸、面部轮廓、衣着服饰，嘴巴开合频率、行为动作、手持物品、表情、所处位置等。

可理解的是，语音数据采集车内人员的语音所转换形成的数据。语音中包括语音词汇、语音音频等。

在具体实现中，安全保护设备提取采集到的图像语音数据中包含的图像数据和语音数据，然后分别对图像数据和语音数据进行异常检测。

步骤S23：在检测到所述图像数据存在肢体行动异常数据时，根据所述肢体行动异常数据确定所述行为异常特征。

需要说明的是，肢体行动异常数据是指车内人员对应的异常肢体行动，例如：挥手、握拳、击打等有别于正常状态的肢体行动。

在具体实现中，在检测到图像数据存在肢体行动异常数据时，根据肢体行动异常数据确定行为异常特征。

步骤S24：在检测到所述语音数据存在语音词汇异常数据时，根据所述语音词汇异常数据确定所述语音异常特征。

需要说明的是，语音词汇异常数据是指车内人员发出的对应的异常语音词汇，例如：辱骂、脏话等有别于正常谈话状态的谈话词汇。

在具体实现中，在检测到语音数据存在语音词汇异常数据时，根据语音词汇异常数据确定语音异常特征。

进一步地，为了提取到的行为异常特征更加准确，从而使安全保护设备判断存在的人身安全威胁更加精准，本实施例中在步骤S23中还包括：在检测到所述图像数据存在肢体行动异常数据时，判断所述肢体行动异常数据对应的肢体动作是否属于预设危险动作；若是，则判定车内存在人身安全威胁，并根据所述肢体行动异常数据提取所述行为异常特征。

需要说明的是，预设危险动作是预先在安全保护设备中设定的有关对人身安全产生危险的动作。预设危险动作包括：肢体活动范围超出限定边界，入侵他人领域，即发生肢体接触；手持异物，且异物为危险器具；表情异常表现为恐惧、害怕等。

在具体实现中，在检测到图像数据存在肢体行动异常数据时，判断肢体行动异常数据对应的肢体动作是否属于预设危险动作；若是，则判定车内存在人身安全威胁，并根据肢体行动异常数据提取所述行为异常特征。从而使提取到的行为异常特征更加准确，进而使安全保护设备判断存在的人身安全威胁更加精准。

进一步地，为了提取到的语音异常特征更加准确，从而使安全保护设备判断存在的人身安全威胁更加精准，本实施例中在步骤S24中还包括：在检测到所述语音数据存在语音词汇异常数据时，判断所述语音词汇异常数据中是否存在预设敏感词汇数据；若存在，则判定车内存在人身安全威胁，并根据所述语音词汇异常数据提取所述语音异常特征。

需要说明的是，预设敏感词汇数据是预先在安全保护设备中设定的，且是在人身安全产生危险时车内人员发出的语音词汇的相关数据。预设敏感词汇数据对应的敏感词汇包括：辱骂、威胁、哭声、求饶、求救等。

在具体实现中，在检测到语音数据存在语音词汇异常数据时，判断语音词汇异常数据中是否存在预设敏感词汇数据；若存在，则判定车内存在人身安全威胁，并根据语音词汇异常数据提取所述语音异常特征。从而使提取到的语音异常特征更加准确，进而使安全保护设备判断存在的人身安全威胁更加精准。

本实施例安全保护设备提取采集到的图像语音数据中包含的图像数据和语音数据，然后分别对图像数据和语音数据进行异常检测。在检测到图像数据存在肢体行动异常数据时，根据肢体行动异常数据确定行为异常特征。在检测到语音数据存在语音词汇异常数据时，根据语音词汇异常数据确定语音异常特征，从而在对图像数据和语音数据进行异常检测时，提高检测的精确度。进一步地，在检测到图像数据存在肢体行动异常数据时，判断肢体行动异常数据对应的肢体动作是否属于预设危险动作；若是，则判定车内存在人身安全威胁，并根据肢体行动异常数据提取所述行为异常特征。从而使提取到的行为异常特征更加准确，进而使安全保护设备判断存在的人身安全威胁更加精准。更进一步地，在检测到语音数据存在语音词汇异常数据时，判断语音词汇异常数据中是否存在预设敏感词汇数据；若存在，则判定车内存在人身安全威胁，并根据语音词汇异常数据提取所述语音异常特征。从而使提取到的语音异常特征更加准确，进而使安全保护设备判断存在的人身安全威胁更加精准。

参考图4，图4为本发明车内人身安全保护方法第三实施例的流程示意图。

基于上述各实施例，在本实施例中，可以确定目标对象的位置，进而确定危害实施人与受害人的关系，从而在发生人身安全威胁时使后续精准实施保护措施提供依据，所述步骤S21之后，所述方法还包括：

步骤S211：根据所述图像数据提取头部特征和面部特征，并基于所述头部特征和所述面部特征确定所述车内人员的人员类型。

需要说明的是，头部特征是指人的头部外形表现的特征，例如：头骨大小形状、发型，耳朵轮廓等。

可理解的是，面部特征是指人的面部外形表现的特征，例如：鼻子、眼睛、眉毛、嘴巴等。

应理解的是，人员类型包括：男人、女人、孩子等，或者是，老人、小孩、青年等，对人员类型的分类本实施例对此不加以限制。

在具体实现中，安全保护设备根据图像数据提取头部特征和面部特征，并基于头部特征和所述面部特征确定车内人员的人员类型。

步骤S212：根据所述人员类型和所述图像数据对所述车内人员进行测距，获得图像测距数据。

步骤S213：根据所述语音数据对所述车内人员进行声源定位，获得声源定位数据。

需要说明的是，图像测距数据是根据图像的像素对焦点以及结合摄像头安装位置确定的测距数据，同时人员类型可以使测距更加精准。特别地，为提高图像测距精度，可采用双目摄像头获取图像数据。

可理解的是，声源定位数据是基于时间差对声源来源进行定位得到的数据。声源定位可以根据超声波定位，也可以在车内设置麦克风阵列采集语音数据从而确定声源定位数据，本实施例对此不加以限制。

在具体实现中，安全保护设备根据人员类型和图像数据对车内人员进行测距，获得图像测距数据。然后根据语音数据对所述车内人员进行声源定位，获得声源定位数据。

步骤S214：通过马氏距离算法对所述图像测距数据和所述声源定位数据进行关联，获得图像语音测量数据。

在具体实现中，马氏距离算法是一种有效的计算两个未知样本集的相似度的方法，表示点与一个分布之间的距离。根据马氏距离算法，可以考虑到图像测距数据和所述声源定位数据各种特性之间的联系，从而获得图像语音测量数据。

步骤S215：基于卡尔曼滤波算法对所述图像语音测量数据进行滤波，获得所述车内人员的位置数据。

在具体实现中，卡尔曼滤波算法是一种利用线性系统状态方程，通过系统输入输出观测数据，对系统状态进行最优估计的算法。由于图像语音测量数据中存在噪声和干扰的影响，可以利用卡尔曼滤波算法对图像语音测量数据进行滤波，得到更为准确的车内人员的位置数据。

可理解的是，对图像语音测量数据进行滤波，不仅仅可以使用卡尔曼滤波算法，还可以利用自适应滤波、小波变换等方法，本实施例对此不加以限制。

进一步地，在采集到上述语音数据时，可通过语音增强、主动噪声消减、声纹识别、声源定位等技术，实现近远场声源识别、定位，得到更为准确的位置数据，或者是其他能够实现该功能的方法，本实施例对此不加以限制。

在实际考虑中，得到的车内人员的位置数据，是需要跟车辆大小关联的，如图5所示，表示的是在车辆内车内人员的位置数据。以车辆的行驶方向为正方向，车辆在行驶状态或静止状态时，以车头驾驶室边缘位置为点建立坐标系，车身长度为y坐标系，车宽度为x坐标系，此时，车内人员所处位置表示为(x_n，y_n)，其中，x_n表示为到左侧车厢的距离；y_n表示为到车头的距离。

进一步地，所述根据车辆行驶状态数据和所述异常特征矩阵数据确定预警等级，并执行所述预警等级对应的安全预警策略，包括：根据车辆行驶状态数据和所述异常特征矩阵数据确定预警等级，并根据所述位置数据执行所述预警等级对应的安全预警策略。

在得到车内人员的位置数据时，根据目标对象的位置，可确定危害实施人与受害人的关系，然后将位置数据发送至服务器，为后续精准实施保护措施提供依据。

进一步地，为了能够精准快速更新行为异常特征和语音异常特征，本实施例中在步骤S24之后，还包括：根据所述语音数据提取语音音频数据和语音共振特征数据；基于所述语音音频数据和所述语音共振特征数据确定声纹标识数据；根据所述声纹标识数据判断所述车内人员是否为目标人员；若是，则更新所述目标人员的所述行为异常特征和所述语音异常特征。

需要说明的是，语音音频数据是指车内人员说话的声音频率的数据；语音共振特征数据是指车内人员说话时声音特征的数据，例如：音色、音调等。

可理解的是，声纹标识数据是指是用电声学仪器显示的携带言语信息的声波频谱数据。根据语音音频数据和语音共振特征数据可以确定人的声波频谱，不同的人有不同的声波频谱。

应理解的是，目标人员是指在确定声纹标识数据后，根据行为异常特征和所述语音异常特征对应的声纹标识数据，确定的行为异常特征和所述语音异常特征属于车内人员中哪个人员。

在具体实现中，根据语音数据提取语音音频数据和语音共振特征数据；基于语音音频数据和语音共振特征数据确定声纹标识数据；根据声纹标识数据判断行为异常特征和语音异常特征所述车内人员中的目标人员；然后更新目标人员的行为异常特征和语音异常特征，从而能够精准快速更新行为异常特征和语音异常特征。

本实施例安全保护设备根据图像数据提取头部特征和面部特征，并基于头部特征和所述面部特征确定车内人员的人员类型，然后根据人员类型和图像数据对车内人员进行测距，获得图像测距数据，接着根据语音数据对所述车内人员进行声源定位，获得声源定位数据。考虑到图像测距数据和所述声源定位数据各种特性之间的联系，利用马氏距离算法获得图像语音测量数据。由于图像语音测量数据中存在噪声和干扰的影响，可以利用卡尔曼滤波算法对图像语音测量数据进行滤波，得到更为准确的车内人员的位置数据。在得到车内人员的位置数据时，根据目标对象的位置，可确定危害实施人与受害人的关系，然后将位置数据发送至服务器，为后续精准实施保护措施提供依据。

进一步地，基于上述各实施例，在实际考虑中，在车内人身安全存在威胁时，为了可以快速精准的预警，提出本实施例，如图6所示为本发明车内人身安全保护方法的流程步骤示意图。

其中，在人员进入车辆开始时，可建立人员特征数据库，便于之后的数据更新；其中，位置区域同上述的位置数据，图像行为异常标识同上述的行为异常特征，语音行为异常标识同上述的语音异常特征，目标声纹标识，同上述的声纹标识数据。

1、通过摄像头采集的图像数据中对应的人脸、面部轮廓、衣着服饰等特征进行检测，获取车内人员的数量和人员类型，并对每个人员进行标记，记为人员特征矩阵F1、F2、F3…Fn，建立人员动态数据库。每一个特征矩阵由人员类型Sn、位置区域Ln、图像行为异常标识PRn、语音行为异常标识SRn、目标声纹标识VPRn、图像索引编号PNn、语音索引编号SNn、传感器有效性标识SVn等参数组成，公式如下：

Fn＝[Sn Ln PRn SRn VPRn PNn SNn]

其中，人员类型Sn分别为男人、女人、孩子等，其中M表示男人；W表示女人；孩子表示为K。图像行为异常标识PRn是经过图像行为检测后，得到的异常行为情况，异常情况标记为0-3，其中0表示无效，由于物体遮挡，导致无法有效检测；1表示无异常；2表示面部表情或行为动作异常，表情异常表现为恐惧、害怕等，动作异常表现为肢体活动范围超出限定边界，入侵他人领域，即发生肢体接触；3表示手持异物，且异物为危险器具。

语音行为异常标识SRn是经过语音识别检测后，得到的语言词汇情况，异常情况标记为0-3，其中0表示无效，由于声音干扰，导致无法有效检测；1表示无异常；2表示语音敏感词汇检测中发现辱骂、威胁等词汇；3表示语音敏感词汇检测中发现哭声、求饶、求救等词汇。目标声纹标识VPRn是目标对象声纹特征，标记为0-1，0表示无效，1表示有效获得，并记录。图像索引编号PNn是为每个目标对象建立图像存储文件编号；语音索引编号SNn是为每个目标对象建立语音存储文件编号。传感器有效性标识SVn为测量数据的传感器来源，标记为0-2，0表示图像传感器，1表示为语音传感器，2表示为由图像和语音传感器融合得出。特别地，只有当图像或语音行为异常标识＞1时，才开始记录车内视频和音频信息。

2、获取人员类型Sn，通过头部特征、面部特征识别目标对象，确定目标对象属于男人、女人或孩子，完成识别后对人员特征矩阵进行更新。特别地，识别算法采用深度学习算法，以提高识别准确度；

3、获取位置区域Ln，先由图像对车内人员进行分类、测距，得到图像测距数据，然后再经过声源定位技术对目标对象进行定位，得到声源测距数据。特别地，图像、语音数据先计算马氏距离，对两个测量数据进行关联，继而得到车内人员图像、语音测量信息。然后将图像测距、声源测距得到的数值，经过基于卡尔曼滤波算法的融合优化，得到最终高精度位置数据。特别地，根据目标对象的位置，可确定危害实施人与受害人的关系，为后续精准实施保护措施提供依据。完成识别后对人员特征矩阵进行更新。

4、获取图像行为异常标识PRn，目标对象经过图像行为检测识别后，得到的异常行为情况：包括表情异常、行为动作异常，表情恐惧、害怕；肢体活动范围超出限定边界，入侵他人领域，即发生肢体接触；手持危险异物等。完成识别后对人员特征矩阵进行更新。

特别地，异常行为识别包括基于人脸检测的表情识别、基于骨架检测的行为识别、典型危险动作特征识别等方法，实现准确识别车上人员的异常行为。

5、获取语音行为异常标识SRn，目标对象进过语音敏感词汇识别后，得到语音信息中是否包含辱骂、威胁、哭声、求饶、求救等关键词汇，完成识别后对人员特征矩阵进行更新。特别地，语音敏感词汇是人身安全的重要的判断依据，有相当一部分人身危害事件的前期都会涉及敏感词汇。

6、获取目标声纹标识VPRn，通过对语音进行采样得到目标语音频谱、声音共振特征，得到声纹标识，完成识别后将识别结果写入人员特征矩阵。特别地，得到声纹标识后，后续可通过声纹信息快速检测目标对象，提升系统监测效率。

7、获取图像索引编号PNn，当出现图像行为异常标识＞1时，系统开始记录、存储目标对象视频数据，完成识别后对人员特征矩阵进行更新。

8、获取语音索引编号SNn，当出现语音行为异常标识＞1时，系统开始记录、存储目标对象音频数据，完成识别后对人员特征矩阵进行更新。

9、获取传感器有效性标识SVn，根据图像测距、语音测距的数据关联结果，得出数据来源的传感器类型，完成识别后对人员特征矩阵进行更新。

10、完成人员特征矩阵对应数据填充后，对其进行分类预警。预警等级分为三个级别：

一级预警的判定标准为图像行为异常标识或语音行为异常标识为3的情况，表明车内人员正在遭受严重侵害，此时之执行上述的一级安全预警策略。

二级预警的判定标准为图像行为异常标识或语音行为异常标识为2的情况，表明车内人员遭受轻度侵害，此时执行上述的二级安全预警策略。

三级预警的判定标准为图像行为异常标识2且语音行为异常标识1的情况，表明车内人员有遭受侵害的风险，需要持续关注，此时执行上述的三级安全预警策略。

11、在获取到行为异常标识或语音行为异常标识时，对行为异常标识PRn或语音行为异常标识SRn进行判断，在PRn＝3或SRn＝3时，若是(Y)，则执行一级安全预警策略，并结束判断；在PRn＝2或SRn＝2时，若是(Y)，则执行二级安全预警策略，并结束判断；在PRn＝2且SRn＝1时，若是(Y)，则执行三级安全预警策略，并结束判断；若不存在(N)上述情况，则重新进行判断，实时监测，保持对车内情况的检测，实现智能、可靠、及时的为车内人员提供安全保护，减少人身伤害事件的发生，大幅提升车上人员安全性。

此外，本发明实施例还提出一种存储介质，所述存储介质上存储有车内人身安全保护程序，所述车内人身安全保护程序被处理器执行时实现如上文所述的车内人身安全保护方法的步骤。

参照图7，图7为本发明车内人身安全保护装置第一实施例的结构框图。

如图7所示，本发明实施例提出的车内人身安全保护装置包括：

信息获取模块701，用于获取车内人员的图像语音数据；

异常特征模块702，用于对所述图像语音数据进行异常检测，获得行为异常特征和语音异常特征；

矩阵数据模块703，用于根据所述行为异常特征和所述语音异常特征构建所述车内人员的异常特征矩阵数据；

安全预警模块704，用于根据车辆行驶状态数据和所述异常特征矩阵数据确定预警等级，并执行所述预警等级对应的安全预警策略。

本实施例是安全保护设备通过车内摄像头和麦克风获取车内人员的图像语音数据，并对图像语音数据进行异常检测，在检测到图像语音数据中存在异常数据时，提取图像语音数据中对应的行为异常特征和语音异常特征，然后安全保护设备根据行为异常特征和语音异常特征构建车内人员的异常特征矩阵数据，最后根据车辆行驶状态数据和异常特征矩阵数据确定预先设定的预警等级，并根据预警等级执行对应的安全预警策略。由于本发明是通过获取车内人员的图像语音数据，根据图像语音数据提取对应的行为异常特征和语音异常特征，进而判断车内是否存在人身安全威胁，并根据车辆行驶状态数据进一步确定对应的预警等级，从而提前预判了危险或危害的发生，降低了人身伤害事件的发生，大幅提升了车内人员的安全性。

进一步地，基于上述各实施例，在实际考虑中，为了提高人身安全保护装置的精确性，提出本实施例，如图8所示为本发明人身安全保护装置的原理框图。

人身安全保护装置可由图像采集模块、语音采集模块、定位模块、行驶路线识别模块、多元信息融合模块、预警判决与控制模块、多模式通信模块、输入输出信号调理模块和云端控制服务器组成。

图像采集模块具备白天、夜间、180度范围内的图像采集功能，可灵活的布置在车厢内，支持数字和模拟信号传输。特别地，为提高图像测距精度，可采用基于双目摄像头的图像采集模块。采集的图像通过同轴电缆或以太网传输至多元信息融合模块。

语音采集模块采用麦克风阵列进行车内语音采集，通过语音增强、主动噪声消减、声纹识别、声源定位等技术，实现近远场声源识别、定位。特别地，根据车辆类型、车内空间大小，可布置多个语音采集模块。特别地，声源定位需要在语音采集模块内完成，保证定位精度。语音采集模块将采集的语音信息、目标声源位置等信息，通过以太网传输至多元信息融合模块。

定位模块实时测量车辆的位置信息和海拔高度等信息。定位模块将车辆位置信息通过CAN总线传输至预警判决与控制模块。行驶路线识别模块结合车辆位置信息、车辆行驶状态等信息记录车辆行驶路线，当车辆实际行驶路线与规划路线不一致，或行驶在电子围栏设定区域内时，输出不同级别的行驶路线报警信息。行驶路线识别模块将行驶路线报警信息，通过CAN总线传输至预警判决与控制模块。

多元信息融合模块接收图像采集模块、语音采集模块的数据，并将两类数据进行关联融合，特别地，当出现图像遮挡、声音过低等特殊情况时，利用两种传感器的互补特性，提高目标检测鲁棒性、准确性。首先通过人脸识别进行人类存在检测，然后通过嘴巴开合频率、行为动作和手持异物等，进行危险行为检测。同时对目标对象进行位置测量，即通过图像测距并结合摄像头安装位置信息，计算目标对象的位置。对语音数据进行敏感词、语句的实时分析和检测，敏感词汇包括威胁、哭声、求饶、求救、辱骂等与人身安全相关词汇，敏感词汇分为轻度和严重两个等级，当发生求救、求饶、哭声时直接定为严重等级。特别地，通过数据相似度方法，例如马氏距离算法等，将图像中目标对象和语音目标进行关联。多元信息融合模块同时跟踪多个目标，输出目标对象的特征矩阵，包括目标性别、行为图像、语音、声纹、位置、危险行为等级等信息。特别地，只有当图像或语音检测异常或达到危险阈值时，才会将此时的目标特征矩阵信息传输至预警判决与控制模块。

预警判决与控制模块用于报警等级的判定、保护等级、数据云端备份和远程报警控制等。通过实时接收车辆定位信息、行驶路径识别信息、车辆状态信息等，并结合危险目标特征矩阵数据，进行综合判定。报警等级分为三个级别，每一种级别的报警对应不同的保护措施，实现合理匹配的有效性报警。预警判决域控制模块输出报警级别信号，并通过CAN总线传输至多模式通信模块和输入输出信号调理模块。

多模式通信模块通过4G/5G通信模块建立云端控制服务器和车辆之间的通信链路，用于上传报警信息和云端下发控制命令。

输入输出信号调理模块是保护装置的车端执行部分，通过接收预警判决与控制模块或云端控制服务器下发命令，实现对车辆部分功能的控制。例如车辆速度控制、危险警示灯控制、喇叭控制、车门落锁控制等，通过这些功能的组合控制，可吸引周围行人的关注，遏制或阻止嫌疑目标的危害行为。特别地，该模块也可以接收外部一键报警信号，直接出发报警功能。

云端控制服务器用于接收人身安全保护装置上传的报警信息，并对其中的视频和音频数据进行记录存储。装置根据不同的报警等级自动执行相应的保护程序，并进行声光电提示。工作人员再获得授权后可以通过云端控制服务器实时查看车内的视频、语音信息，及时了解现场情况。

本发明人身安全保护装置的其他实施例或具体实现方式可参照上述各方法实施例，此处不再赘述。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如只读存储器/随机存取存储器、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种车内人身安全保护方法，其特征在于，所述车内人身安全保护方法包括：

获取车内人员的图像语音数据；

对所述图像语音数据进行异常检测，获得行为异常特征和语音异常特征；

根据所述行为异常特征和所述语音异常特征构建所述车内人员的异常特征矩阵数据；

根据车辆行驶状态数据和所述异常特征矩阵数据确定预警等级，并执行所述预警等级对应的安全预警策略。

2.如权利要求1所述的车内人身安全保护方法，其特征在于，所述对所述图像语音数据进行异常检测，获得行为异常特征和语音异常特征的步骤包括：

提取所述图像语音数据中包含的图像数据和语音数据；

分别对所述图像数据和所述语音数据进行异常检测；

在检测到所述图像数据存在肢体行动异常数据时，根据所述肢体行动异常数据确定所述行为异常特征；

在检测到所述语音数据存在语音词汇异常数据时，根据所述语音词汇异常数据确定所述语音异常特征。

3.如权利要求2所述的车内人身安全保护方法，其特征在于，所述在检测到所述图像数据存在肢体行动异常数据时，根据所述肢体行动异常数据确定所述行为异常特征的步骤包括：

在检测到所述图像数据存在肢体行动异常数据时，判断所述肢体行动异常数据对应的肢体动作是否属于预设危险动作；

若是，则判定车内存在人身安全威胁，并根据所述肢体行动异常数据提取所述行为异常特征。

4.如权利要求2所述的车内人身安全保护方法，其特征在于，所述在检测到所述语音数据存在语音词汇异常数据时，根据所述语音词汇异常数据确定所述语音异常特征的步骤包括：

在检测到所述语音数据存在语音词汇异常数据时，判断所述语音词汇异常数据中是否存在预设敏感词汇数据；

若存在，则判定车内存在人身安全威胁，并根据所述语音词汇异常数据提取所述语音异常特征。

5.如权利要求2所述的车内人身安全保护方法，其特征在于，所述提取所述图像语音数据中包含的图像数据和语音数据的步骤之后，还包括：

根据所述图像数据提取头部特征和面部特征，并基于所述头部特征和所述面部特征确定所述车内人员的人员类型；

根据所述人员类型和所述图像数据对所述车内人员进行测距，获得图像测距数据；

根据所述语音数据对所述车内人员进行声源定位，获得声源定位数据；

通过马氏距离算法对所述图像测距数据和所述声源定位数据进行关联，获得图像语音测量数据；

基于卡尔曼滤波算法对所述图像语音测量数据进行滤波，获得所述车内人员的位置数据；

所述根据车辆行驶状态数据和所述异常特征矩阵数据确定预警等级，并执行所述预警等级对应的安全预警策略，包括：

根据车辆行驶状态数据和所述异常特征矩阵数据确定预警等级，并根据所述位置数据执行所述预警等级对应的安全预警策略。

6.如权利要求5所述的车内人身安全保护方法，其特征在于，所述在检测到所述语音数据存在语音词汇异常数据时，根据所述语音词汇异常数据确定所述语音异常特征之后，还包括：

根据所述语音数据提取语音音频数据和语音共振特征数据；

基于所述语音音频数据和所述语音共振特征数据确定声纹标识数据；

根据所述声纹标识数据判断所述车内人员是否为目标人员；

若是，则更新所述目标人员的所述行为异常特征和所述语音异常特征。

7.如权利要求1至6任一项所述的车内人身安全保护方法，其特征在于，所述安全预警策略包括：一级安全预警策略，二级安全预警策略和三级安全预警策略；

所述一级安全预警策略包括：向所述车内人员的紧急联系人发送报警信息，并控制车辆的行驶状态；

所述二级安全预警策略包括：向所述车内人员的紧急联系人发送报警信息；

所述三级安全预警策略包括：向所述车内人员的紧急联系人发送预警信息；

其中，所述一级安全预警策略和所述二级安全预警策略还包括：向云端服务器发送所述行为异常特征、所述语音异常特征和所述车辆行驶状态数据，以使工作人员远程控制所述车辆的行驶状态并发送报警信息。

8.一种车内人身安全保护装置，其特征在于，所述装置包括：

信息获取模块，用于获取车内人员的图像语音数据；

异常特征模块，用于对所述图像语音数据进行异常检测，获得行为异常特征和语音异常特征；

矩阵数据模块，用于根据所述行为异常特征和所述语音异常特征构建所述车内人员的异常特征矩阵数据；

安全预警模块，用于根据车辆行驶状态数据和所述异常特征矩阵数据确定预警等级，并执行所述预警等级对应的安全预警策略。

9.一种车内人身安全保护设备，其特征在于，所述设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的车内人身安全保护程序，所述车内人身安全保护程序配置为实现如权利要求1至7中任一项所述的车内人身安全保护方法的步骤。

10.一种存储介质，其特征在于，所述存储介质上存储有车内人身安全保护程序，所述车内人身安全保护程序被处理器执行时实现如权利要求1至7任一项所述的车内人身安全保护方法的步骤。

Images