CN111008586A - 客车冲突检测的数据处理方法、装置、设备与存储介质 - Google Patents

Abstract

本发明提供了一种客车冲突检测的数据处理方法、装置、设备与存储介质，所述的方法，包括：采集客车内驾驶员区域的第一图像信息；根据所述第一图像信息，识别第一冲突事件；若所述的方法应用于所述智能车载终端，则在识别出所述第一冲突事件之后，还包括：向服务器发送第一冲突警示信息，以使得所述服务器向相关人员反馈第一冲突警示信号；所述第一冲突警示信号用于表征所述客车内的驾驶员区域已发生所述第一冲突事件；若所述的方法应用于所述服务器，则在识别出所述冲突事件之后，还包括：向相关人员反馈第一冲突警示信号。本发明可有利于提高驾车的安全性。

Description

客车冲突检测的数据处理方法、装置、设备与存储介质

技术领域

本发明涉及车辆领域，尤其涉及一种客车冲突检测的数据处理方法、装置、设备与存储介质。

背景技术

客车，可理解为专用于载运乘客的车辆，具体为任意可载运不特定人员的车辆，例如可以是长途汽车、公交车，接驳车等，其中的乘客人员较多且人流复杂，易于发生人与人之间的冲突。在发生冲突的情况下，可能会影响本客车，以及其他客车的当前行程或行程计划，还可能会因为冲突的进一步升级而导致危险情形。

为了避免或降低冲突所带来的不良影响，需要及时将冲突的发生反馈至管理平台或警方平台的相关服务器，从而使其能够及时安排应对，现有相关技术中，只能通过司机的主动查探与上报来反馈冲突的发生。

然而，司机还需驾驶客车，主动查探和/或反馈冲突会造成司机的工作负担，还会带来安全隐患。

发明内容

本发明提供一种客车冲突检测的数据处理方法、装置、设备与存储介质，以解决主动查探和/或上报冲突会造成司机的工作负担，还会带来安全隐患的问题。

根据本发明的第一方面，提供了一种客车冲突检测的数据处理方法，应用于智能车载终端，包括：

采集客车内驾驶员区域的第一图像信息；

根据所述第一图像信息，识别第一冲突事件；

若所述的方法应用于所述智能车载终端，则在识别出所述第一冲突事件之后，还包括：向服务器发送第一冲突警示信息，以使得所述服务器向相关人员反馈第一冲突警示信号；所述第一冲突警示信号用于表征所述客车内的驾驶员区域已发生所述第一冲突事件；

若所述的方法应用于所述服务器，则在识别出所述冲突事件之后，还包括：向相关人员反馈第一冲突警示信号。

可选的，根据所述第一图像信息，识别所述第一冲突事件，包括：

根据所述第一图像信息，识别其中的人体，得到人体识别信息，所述人体识别信息用于表征其中的人体像素部分，以及针对所述人体像素部分所识别出的人体位置与人体姿态；

根据所述人体识别信息，识别所述第一冲突事件。

可选的，根据所述人体识别信息，识别所述第一冲突事件，包括：

若根据其中乘客的人体识别信息与司机的人体识别信息，检测到以下任意之一，则确定发生了所述第一冲突事件：

乘客的姿态为针对于司机方向的危险姿态；

乘客与司机发生肢体接触；

司机的位置偏离了预先定义的驾驶位置；

司机的姿态处于非驾驶姿态。

可选的，所述的方法，还包括：

采集客车内驾驶员区域的语音信息；

根据所述语音信息，识别第二冲突事件；

若所述的方法应用于所述智能车载终端，则在识别出所述第二冲突事件之后，还包括：向服务器发送第二冲突警示信息，以使得所述服务器向相关人员反馈第二冲突警示信号；所述第二冲突警示信号用于表征所述客车内的驾驶员区域已发生所述冲突事件；

若所述的方法应用于所述服务器，则在识别出所述第二冲突事件之后，还包括：向相关人员反馈第二冲突警示信号。

可选的，根据所述语音信息，识别第二冲突事件，包括：

识别所述语音信息中的韵律学特征信息；所述韵律学特征信息包括以下至少之一：时长信息，基频信息，能量信息；

根据所述韵律学特征信息，识别所述第二冲突事件。

可选的，根据所述语音信息，识别第二冲突事件，包括：

将所述语音信息转化为语义信息；

根据所述语义信息，识别所述第二冲突事件。

可选的，所述第二冲突事件能够通过冲突识别模型针对于所述语义信息进行识别而识别出；或者：所述第二冲突事件能够根据所述语义信息中所包含的冲突关键字而识别出。

可选的，根据所述语义信息，识别所述第二冲突事件之前，还包括：

根据所述语音信息中不同语音部分的音色特征，查找语句对，其中，每个语句对中具有第一语句与第二语句，每个语句对中的第一语句与第二语句为不同说话者说出的，每个语句对中的第一语句与第二语句在时间上的间隔小于的时间阈值；

根据所述语义信息，识别所述第二冲突事件，包括：

根据各语句对中第一语句与第二语句的语义信息，识别所述第二冲突事件。

可选的，根据各语句对中第一语句与第二语句的语义信息，识别出所述冲突事件，包括：

若针对任意之一语句对，检测到所述第一语句的语义信息具有第一冲突关键字，所述第二语句的语义信息具有与所述第一冲突关键字对应的第二冲突关键字，则累加一次计数信息；其中，相对应的第一冲突关键字与第二冲突关键字是预先定义的；

若所述计数信息大于计数阈值，则确定所述第二冲突事件已发生。

可选的，根据所述语音信息，识别第二冲突事件之后，和/或：根据所述第一图像信息，识别第一冲突事件之后，还包括：

根据所述客车的车外环境信息和/或所述客车的行驶信息，控制所述客车自动实施减速，直至停车。

可选的，所述的方法，还包括：

采集所述客车内的第二图像信息；

自所述第二图像信息中识别特殊人员，所述特殊人员包括以下至少之一：走丢人员和/或非法人员；

若所述的方法应用于所述智能车载终端，则在识别出所述特殊人员之后，还包括：向服务器发送特殊人员警示信息，以使得所述服务器向相关人员反馈特殊人员警示信号；所述特殊人员警示信号用于表征所述客车内乘坐有所述特殊人员；

若所述的方法应用于所述服务器，则在识别出所述特殊人员之后，还包括：向相关人员反馈特殊人员警示信号。

根据本发明的第二方面，提供了一种客车冲突检测的数据处理装置，包括：

第一图像采集模块，用于采集客车内驾驶员区域的第一图像信息；

第一冲突识别模块，用于根据所述第一图像信息，识别第一冲突事件；

冲突警示模块，用于向服务器发送第一冲突警示信息，以使得所述服务器向相关人员反馈第一冲突警示信号；或者：向相关人员反馈第一冲突警示信号，所述冲突警示信号用于表征所述客车内已发生所述冲突事件。

根据本发明的第三方面，提供了一种电子设备，包括存储器与处理器，

所述存储器，用于存储代码；

所述处理器，用于执行所述存储器中的代码用以实现第一方面及其可选方案涉及的方法。

根据本发明的第四方面，提供了一种存储介质，其上存储有程序，其特征在于，该程序被处理器执行时实现第一方面及其可选方案涉及的方法。

本发明提供的客车冲突检测的数据处理方法、装置、设备与存储介质中，能够采集客车内司机区域的第一图像信息，并根据所述第一图像信息，识别冲突事件，可见，本发明可基于司机区域的图像自动识别出冲突事件的发生，无需司机主动实施任何操作，避免了司机主动实施上报的动作，进而，本发明减轻了司机的负担，避免了其专注力被分散，同时，还可有效应对司机受干扰，无法主动上报的情形，且能够在司机受到干扰时及时进行冲突事件的识别与警示，可见，本发明可有利于提高驾车的安全性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本发明一实施例中客车冲突检测的数据处理方法应用于智能车载终端时的流程示意图一；

图2是本发明一实施例中客车冲突检测的数据处理方法应用于服务器时的流程示意图一；

图3是本发明一实施例中步骤S12的流程示意图；

图4是本发明一实施例中客车冲突检测的数据处理方法应用于智能车载终端时的流程示意图二；

图5是本发明一实施例中客车冲突检测的数据处理方法应用于服务器时的流程示意图二；

图6是本发明一实施例中步骤S22的流程示意图一；

图7是本发明一实施例中步骤S22的流程示意图二；

图8是本发明一实施例中步骤S2221的流程示意图；

图9是本发明一实施例中步骤S22的流程示意图三；

图10是本发明一实施例中客车冲突检测的数据处理方法的部分流程示意图；

图11是本发明一实施例中客车冲突检测的数据处理方法的部分流程应用于智能车载终端时的流程示意图一；

图12是本发明一实施例中客车冲突检测的数据处理方法的部分流程应用于服务器时的流程示意图二；

图13是本发明一实施例中客车冲突检测的数据处理装置的程序模块示意图一；

图14是本发明一实施例中客车冲突检测的数据处理装置的程序模块示意图二；

图15是本发明一实施例中客车冲突检测的数据处理装置的程序模块示意图三；

图16是本发明一实施例中客车冲突检测的数据处理装置的程序模块示意图四；

图17是本发明一实施例中电子设备的构造示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

下面以具体地实施例对本发明的技术方案进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例不再赘述。

图1是本发明一实施例中客车冲突检测的数据处理方法应用于智能车载终端时的流程示意图一；图2是本发明一实施例中客车冲突检测的数据处理方法应用于服务器时的流程示意图一。

其中的服务器，可理解为具有一定数据存储与数据处理能力的任意设备或设备的集合，其还配置有任意可对外通讯的通讯电路，本实施例所涉及的方法可在云端执行各处理流程。进而，不论服务器的硬件配置如何，均不脱离本实施例的描述。

该服务器可以为警方平台的服务器，也可以是车辆管理平台的服务器。

其中的车载智能设备，可以为车辆本身的车机，也可以是连接于车机的其他任意智能设备，还可以是司机的终端设备。

请参考图1和图2，客车冲突检测的数据处理方法，包括：

S11：采集客车内驾驶员区域的第一图像信息；

S12：根据所述第一图像信息，识别第一冲突事件。

其中的第一图像信息，可以为任意以图像形式被采集到的信号中所具有的信息，且该图像是针对于驾驶员区域的。例如可以是任意图像采集部件采集到的，该图像采集部件可例如是摄像头，该图像采集部件可单独设置，也可以为某终端装置的图像采集部件，例如可以为平板电脑的图像采集部件。同时，客车内的图像采集部件可以为一个，也可以是多个，该图像采集部件可设置于驾驶员附近。同时，本实施例可以采用客车内已有的图像采集部件，也可新配置图像采集部件。不论数量如何分布方式如何，均不脱离本实施例的描述。

其中的第一冲突事件，可理解为是司机区域内发生的人与人之间发生的冲突，基于对冲突的定义不同，对应的所能够识别出的冲突事件是不同的，任意的人与人之间的冲突，均不脱离本实施例的描述。由于司机的安全关系到全车的安全，故而，第一冲突事件可尤其指司机与乘客之间发生的冲突，此外，若司机附近发生乘客间冲突，其也有可能影响司机的驾驶行为，故而，第一冲突事件也可以是乘客与乘客间会影响司机的冲突。

由于图像信息可表征出人的姿态，从而反映其真实感受、想法，所以，以图像信息为依据可以使得冲突事件的检测符合人的真实感受、想法。

若所述的方法应用于所述智能车载终端，则在识别出所述第一冲突事件之后，还可包括：步骤S13：向服务器发送第一冲突警示信息，以使得所述服务器向相关人员反馈第一冲突警示信号；所述第一冲突警示信号用于表征所述客车内的驾驶员区域已发生所述第一冲突事件；

若所述的方法应用于所述服务器，则在识别出所述冲突事件之后，还包括：步骤S14：向相关人员反馈第一冲突警示信号。

其中的第一冲突警示信号，可理解为用于表征所述客车内司机区域已发生所述第一冲突事件，服务器直接或间接反馈该冲突警示信号的方式不同，对应的第一冲突警示信号也可以是不同的。

一种举例中，若服务器通过显示屏对外显示第一冲突警示信号，则可在显示屏的显示界面中显示具体的文字、二维或三维的图像等形式表征第一冲突警示信号；另一种举例中，若服务器通过播报组件对外播报第一冲突警示信号，则可播报相应的语音来表征第一冲突警示信号；再一举例中，若服务器通过指示灯对外显示第一冲突警示信号，则可通过相应指示灯是否发光、发光颜色、时间等来表征第一冲突警示信号。

其中的第一冲突警示信息，可理解为能够触发服务器反馈第一冲突警示信号的信息，进而，第一冲突警示信息所表征的内容可参照于冲突警示信号理解。

具体实施过程中，第一冲突警示信息与第一冲突警示信号中可具有客车的标识，以及冲突事件的标识，进一步的，还可具有客车的位置信息，以及司机的相关信息。

图3是本发明一实施例中步骤S12的流程示意图。

请参考图3，步骤S12具体可以包括：

S121：根据所述第一图像信息，识别其中的人体，得到人体识别信息；

S122：根据所述人体识别信息，识别所述第一冲突事件。

其中的人体识别信息，可理解为用于表征其中的人体像素部分，以及针对所述人体像素部分所识别出的人体位置与人体姿态；其中的肢体，可理解为包括多个肢体的一个整体，其中的肢体可例如头、手臂、手、躯干、腿等等，进而，人体姿态，也可理解为是指肢体间的相互关系。

具体的，在步骤S122中，可例如先提取人体像素部分，再针对于人体像素部分识别其中的肢体，，然后根据所识别出的肢体识别其人体姿态；进而，人体像素部分本身可用于识别冲突事件、所识别出的姿态与位置也可用于识别冲突事件。

在部分实施方式中，还可根据所识别出的肢体匹配与肢体的特定部位绑定的特征点，例如腿的上端、下端、膝盖位置分别可匹配一个特征点，最后根据特征点的变化，来识别人体姿态与人体位置。

在步骤S122中，可利用预先训练的模型来识别，也可预先定义部分可表征第一冲突事件已发生的条件，在检测到人体识别信息与该条件匹配时，可确定第一冲突事件已发生。

其中一种实施方式中，步骤S122可以包括：若根据其中乘客的人体识别信息与司机的人体识别信息，检测到以下任意之一，则确定发生了所述第一冲突事件：

乘客的姿态为针对于司机方向的危险姿态；

乘客与司机发生肢体接触；

司机的位置偏离了预先定义的驾驶位置；

司机的姿态处于非驾驶姿态。

其中的危险姿态，可理解为对司机造成危险的姿态，其可以通过具有危险姿态的图像训练模型后，由模型识别出来，也可预先定义部分姿态是危险姿态，例如手指向司机，向司机抬脚等等。

其中的驾驶位置，可理解为便于对车辆实施驾驶的位置，其可例如是驾驶座一定范围内的位置，同时，该驾驶位置，可以指司机整体的预设位置，也可以是针对于司机部分肢体的预设位置，例如：驾驶位置也可以指手需处于方向盘的位置，若手脱离方向盘，则认为驾驶员偏离了驾驶位置。

其中的非驾驶状态，可理解为驾驶员并非实施驾驶行为的状态，例如，在车辆行驶过程中，司机头并未朝向前方，或者司机发生了站立，又或者司机的手脱离了方向盘等等，可见，司机的位置偏离了预先定义的驾驶位置也可能是非驾驶状态的一种。

以上均可基于对肢体的识别结果来判断。

能够采集客车内司机区域的第一图像信息，并根据所述第一图像信息，识别冲突事件，可见，本发明可基于司机区域的图像自动识别出冲突事件的发生，无需司机主动实施任何操作，避免了司机主动实施上报的动作，进而，本发明减轻了司机的负担，避免了其专注力被分散，同时，还可有效应对司机受干扰，无法主动上报的情形，且能够在司机受到干扰时及时进行冲突事件的识别与警示，可见，本发明可有利于提高驾车的安全性。

图4是本发明一实施例中客车冲突检测的数据处理方法应用于智能车载终端时的流程示意图二；图5是本发明一实施例中客车冲突检测的数据处理方法应用于服务器时的流程示意图二。

请参考图4和图5，客车冲突检测的数据处理方法，还可包括：

S21：采集客车内司机区域的语音信息；

S22：根据所述语音信息，识别第二冲突事件。

其中的语音信息，可以为任意以语音形式被采集到的信号中所具有的信息，且该语音是针对于驾驶员区域的。例如可以是任意语音采集部件采集到的，该语音采集部件可例如是麦克风，该语音采集部件可单独设置，也可以为某终端装置的语音采集部件，例如可以为平板电脑的语音采集部件。同时，客车内的语音采集部件可以为一个，也可以是多个。不论数量如何分布方式如何，均不脱离本实施例的描述。

其中的第二冲突事件，可理解为是人与人之间发生的冲突，基于对冲突的定义不同，对应的所能够识别出的冲突事件是不同的，任意的人与人之间的冲突，均不脱离本实施例的描述。此外，若司机附近发生乘客间冲突，其也有可能影响司机的驾驶行为，故而，第二冲突事件也可以是乘客与乘客间会影响司机的冲突。

由于语音信息可表征出人的感受、想法，所以，以语音信息为依据可以使得冲突事件的检测符合人的真实感受、想法。

请参考图4，其中一种实施方式中，若所述的方法应用于所述智能车载终端，则：步骤S23的判断结果为是的情况下，可实施步骤S24：向服务器发送第二冲突警示信息，以使得所述服务器向相关人员反馈第二冲突警示信号；

请参考图5，另一实施方式中，若所述的方法应用于所述服务器，则：步骤S23的判断结果为是的情况下，可实施步骤S25：向相关人员反馈冲突警示信号。

其中的第二冲突警示信号，可理解为用于表征所述客车内已发生所述冲突事件，服务器直接或间接反馈该冲突警示信号的方式不同，对应的第二冲突警示信号也可以是不同的。

一种举例中，若服务器通过显示屏对外显示第二冲突警示信号，则可在显示屏的显示界面中显示具体的文字、二维或三维的图像等形式表征第二冲突警示信号；另一种举例中，若服务器通过播报组件对外显示第二冲突警示信号，则可播报相应的语音来表征冲突警示信号；再一举例中，若服务器通过指示灯对外显示第二冲突警示信号，则可通过相应指示灯是否发光、发光颜色、时间等来表征第二冲突警示信号。

其中的第二冲突警示信息，可理解为能够触发服务器反馈第二冲突警示信号的信息，进而，第二冲突警示信息所表征的内容可参照于冲突警示信号理解。

具体实施过程中，第二冲突警示信息与第二冲突警示信号中可具有客车的标识，以及冲突事件的标识，进一步的，还可具有客车的位置信息，以及司机的相关信息。

通过以上实施方式，能够采集客车内的语音信息，并根据所述语音信息，识别冲突事件，可见，以上实施方式可基于语音信息自动识别出冲突事件的发生，避免了司机主动去探查是否发生冲突事件，同时，警报信号可自动发送，无需司机主动实施任何操作，避免了司机主动实施上报的动作，进而，以上实施方式减轻了司机的负担，避免了其专注力被分散，有利于提高驾车的安全性。

图6是本发明一实施例中步骤S22的流程示意图一；图7是本发明一实施例中步骤S22的流程示意图二。

请参考图6和图7，步骤S22可以包括：

S221：将所述语音信息转化为语义信息；

S222：根据所述语义信息，识别所述第二冲突事件。

其中的语义信息，可理解为字词句等文本方式来表征语音信息中语义的信息。本领域任意基于语音识别语义的手段，不论是其已有的还是改进的，均不脱离本实施例的描述。

其中一种实施方式中，所述第二冲突事件能够通过冲突识别模型针对于所述语义信息进行识别而识别出；其中，冲突识别模型可以是用大量冲突事件中由语言而识别得到的文本信息训练确定的。进而，在训练与识别时，可以不考虑各语义信息是谁说出来的，也可以进一步考虑语义信息是谁说出来的。只要在训练时做相应的配置即可，例如：若需要考虑，则可在训练时标定出不同文本信息所对应的不同说话者，使其成为需要训练学习如何识别时的因素之一。

在另一实施方式中，所述第二冲突事件能够根据所述语义信息中所包含的冲突关键字而识别出。例如，只要语义信息中存在冲突关键字，或有一定数量的冲突关键字。同时，本实施例也可不仅仅关注是否有冲突关键字，还可进一步关注冲突关键字是谁说的，从而提高识别的准确性。

基于以上的描述，其中一种实施方式中，还进一步将说话者这一因素引入到冲突事件的识别中。

请参考图7，在步骤S222之前，还可包括：

S223：根据所述语音信息中不同语音部分的音色特征，查找语句对。

其中，每个语句对中具有第一语句与第二语句，每个语句对中的第一语句与第二语句为不同说话者说出的，每个语句对中的第一语句与第二语句在时间上的间隔小于的时间阈值。该时间上的间隔，可理解为在前的一个语句的结束时间与在后的一个语句的开始时间之间的间隔。

由于不同人的音色特征大多是不同的，所以，可以基于此区分不同人的语音信息，同时，也有可能发生部分人的音色相同或相近进而难以区分，对于该部分，本实施例可不区分说话者，进而也可通过步骤S121与步骤S122的其他实施方式来实现识别。图6与图7所示实施方式主要针对于能够区分音色的说话者而产生的手段。

为了确定语句对，可以先将语音信息划分为不同的语句，其可例如：同一个说话者的语音信息中，不具有长时间中断的连续语音信息(例如其中中断时间小于对应一个中断参考阈值的情形)，可视作一个语句。进而针对于该些语句，可查找符合以上描述的语句对。

一种举例中，说话者A说出了a1之后，说话者B说了b1，然后，说话者A又说了a2，那么，a1、a2、b1即为三个语句，若a1的结束时间与b1的开始时间之间的间隔小于时间阈值，则a1与b1为可形成语句对，同时，若b1的结束时间与a1的开始时间之间的间隔小于时间阈值，则b1与a2也可形成语句对。

另一种举例中，说话者A说出a1之后，在小于中断参考阈值的时间内又说了a2，则a1与a2的组合可作为一个语句，反之，若未小于中断参考阈值的时间内才说a2，则a1与a2可分别作为两个语句，同时，若a2之后说话者B说了b1，此时，若间隔时间满足要求，a1与a2可能分别与b1形成语句对，也可能仅a2与b1能形成语句对。

再一举例中，说话者A说出a1的时候，有可能说话者B也在说b1，也就是说，a1与b1有重叠，此时，a1与b1是不同人说出的，所以，可区别为不同的语句，同时，因为a1与b1有重叠，表示b1的开始时间在a1的结束时间之前，这表示两者未产生间隔，即时间间隔为0，此时自然小于时间阈值，因而能形成语句对。

此外，针对于部分在同一时间说话，进而难以识别出语义信息的语音，则可忽略该部分时间段内的语音信息，例如可将其视作中断，从而将前后可识别出的语音信息作为两个语句。

在以上实施方式确定了语句对的情况下，步骤S222具体可以包括：

S2221：根据各语句对中第一语句与第二语句的语义信息，识别所述第二冲突事件。

通过以上实施方式，可充分考虑说话者的信息，由于冲突是两方或多方产生的，兼顾说话者的信息，可以使得冲突的识别更为准确。

一种实施方式中，步骤S2221的识别可以采用相应的模型识别。

另一实施方式中，也可采用冲突关键字来识别，以下图8所示实施方式对其进行了具体的描述。

图8是本发明一实施例中步骤S2221的流程示意图。

请参考图8，步骤S2221可以包括：

S22211：确定一个当前的语句对；

S22212：所述第一语句的语义信息中是否具有第一冲突关键字；

若步骤S22212的判断结果为否，则可返回步骤S22211，进而，可确定下一个语句对；

若步骤S22212的判断结果为是，则可继续后续步骤S22213：所述第二语句的语义信息中是否具有对应的第二冲突关键字；

若步骤S22213的判断结果为否，则可返回步骤S22211，进而，可确定下一个语句对；

若步骤S22213的判断结果为是，则可继续后续步骤：

S22214：累加一次计数信息；

S22215：所述计数信息是否大于计数阈值；

若步骤S22215的判断结果为否，则可返回步骤S22211，进而，可确定下一个语句对；

若步骤S22215的判断结果为是，则可继续后续步骤S22216：确定所述第二冲突事件已发生。

以上过程也可描述为：若针对任意之一语句对，检测到所述第一语句的语义信息具有第一冲突关键字，所述第二语句的语义信息具有与所述第一冲突关键字对应的第二冲突关键字，则累加一次计数信息；其中，相对应的第一冲突关键字与第二冲突关键字是预先定义的；若所述计数信息大于计数阈值，则确定所述第二冲突事件已发生。

以上实施方式中，通过第一冲突关键字与第二冲突关键字，可更准确地确定冲突的发生，其可采用冲突过程中常见的上下文中的字词，其可根据经验，或者根据所收集素材中的统计结果来确定该使用哪些字词。

同时，通过计数信息的累加与技术阈值的设置，可以将非因冲突而产生而是偶然产生的冲突关键字的情形，以及很快平息的小冲突的情形均排除，从而能够更有针对性地找到值得上报的冲突事件。

在另一实施方式中，也可不对其进行累加，在步骤S22213判断结果为是的情况下直接进入步骤S22216。

此外，步骤S22212与步骤S22213的顺序可以如图8所示，也可以先实施步骤S22213，本实施例也不排除同时实施该两个步骤的手段。

图9是本发明一实施例中步骤S22的流程示意图三。

图9所示实施方式中提供了步骤S22的一种方式，具体包括：

S223：识别所述语音信息中的韵律学特征信息。

其中的韵律学特征信息，可理解为对人发出语音的韵律特征进行描述的任意信息，例如可以包括以下至少之一：时长信息，基频信息，能量信息。

S224：根据所述韵律学特征信息，识别所述第二冲突事件。

其中，由于人发出语音的韵律是与其情绪相关联的，进而，在已知其韵律的情况下，可推导出其可能的情绪，而情绪又可表征出是否发生冲突，例如在部分情绪下，发生冲突的概率较大，所以，以上实施方式可以通过韵律学特征来识别冲突事件。

以能量信息为例，语音中的情绪内容对频谱能量在各个频谱区间的分布有着明显的影响。例如，表达高兴情绪的语音在高频段表现出高能量，而表达悲伤的语音在同样的频段却表现出差别明显的低能量。相应的，愤怒、不满等情绪也会在相应频段表现出明显的能量差异，通过有限次实验、量化统计等方式均可归纳得到该种差异的具体表现，以上实施方式中，可对其进行应用，从而从中根据韵律学特征信息推导出情绪信息，再从情绪信息中识别出冲突事件。

同时，由于情绪与冲突事件的关系是确定的，情绪与韵律学特征的关系也是确定的，这表示韵律学特征与冲突之间的关系也可以是确定的，所以，本实施例也不排除直接根据韵律学特征来识别冲突的方式。具体实施方式中，可通过训练某识别模型来识别，也可先定义韵律学特征的某些数值范围与冲突的对应关系，进而根据该对应关系来识别。不论采用何种方式，均不脱离本实施例的范围。

图10是本发明一实施例中客车冲突检测的数据处理方法的部分流程示意图。

请参考图10，所述的方法还可在步骤S21之后实施以下步骤：

S26：所述语音信息的语速是否超出语速阈值；

若步骤S26的判断结果为否，则可实施步骤S27：所述语音信息的音量超出音量阈值。

若步骤S26或步骤S27的判断结果为是，则可实施步骤S21。

通过以上实施方式，可在语速较快或音量较大时认为有发生冲突的可能，进而才实施后续步骤，可避免每次都实施后续步骤而造成资源的浪费。

图11是本发明一实施例中客车冲突检测的数据处理方法的部分流程应用于智能车载终端时的流程示意图一；图12是本发明一实施例中客车冲突检测的数据处理方法的部分流程应用于服务器时的流程示意图二。

请参考图11和图12，所述的方法，还包括：

S31：采集所述客车内的第二图像信息；

其中的第二图像信息，可以为任意以图像形式被采集到的信号中所具有的信息。例如可以是任意图像采集部件采集到到的，该图像采集部件可例如是摄像头，该图像采集部件可单独设置，也可以为某终端装置的图像采集部件，例如可以为平板电脑的图像采集部件。同时，客车内的图像采集部件可以为一个，也可以是多个。不论数量如何分布方式如何，均不脱离本实施例的描述。

步骤S31之后还可包括：

S32：自所述图像信息中识别特殊人员。

其中的特殊人员可例如包括以下至少之一：走丢人员和/或非法人员；进而，步骤S32的实施，若应用于车载智能终端，则车载智能终端可以调取警方平台的相关数据来实施识别，也可预先存储走丢人员和/或非法人员的相关数据进而实施识别。

步骤S32之后，还可包括：S33：是否识别出所述特殊人员；

请参考图11，步骤S33的判断结果为是的情况下，若所述的方法应用于车载智能终端，则可实施步骤S34：向服务器发送特殊人员警示信息，以使得所述服务器向相关人员反馈特殊人员警示信号；

请参考图12，步骤S33的判断结果为是的情况下，若所述的方法应用于所述服务器，则可实施步骤S35：向相关人员反馈特殊人员警示信号。

其中的特殊人员警示信号用于表征所述客车内乘坐有所述特殊人员。具体可例如包括特殊人员的标识，客车的标识。

在识别出第一冲突事件或第二冲突事件之后，还可包括：

根据所述客车的车外环境信息和/或所述客车的行驶信息，控制所述客车自动实施减速，直至停车。

其中的自动实施减速，可区别于司机手动所控制的减速的任意手段。

其中的行驶信息，可理解为是对客车的行驶状态进行表征的信息，例如速度信息、加速度信息、位置信息等等；其中的车外环境信息可例如车外环境图像所具有的任意信息，也可例如ADAS所检测到的任意信息。

具体实施过程中，可利用例如对外图像采集部件的环境感知部件采集车外环境信息，并反馈所述车外环境信息，以使得终端或服务器能够以车外环境信息为依据接管客车的操控；例如，若所述的方法应用于终端，则终端可直接接管操控，也可将环境图像发送至服务器，以使得服务器能够接管操控，再例如，若所述的方法应用于服务器，则服务器可直接根据环境信息接管操控。可见，通过环境图像，可为客车的自动减速、停车提供依据。

该过程中，客车的行驶操控可被终端或服务器接管，避免司机在冲突事件中对车辆进行操控，从而防止其可能造成的危险与侵害。

此外，在部分举例中，本实施例也不排除非司机的其他人员在终端或服务器实施以上减速直至停车的操控。

综上，本实施例提供的客车冲突检测的数据处理方法中，能够采集客车内司机区域的第一图像信息，并根据所述第一图像信息，识别冲突事件，可见，本实施例可基于司机区域的图像自动识别出冲突事件的发生，无需司机主动实施任何操作，避免了司机主动实施上报的动作，进而，本实施例减轻了司机的负担，避免了其专注力被分散，同时，还可有效应对司机受干扰，无法主动上报的情形，且能够在司机受到干扰时及时进行冲突事件的识别与警示，可见，本实施例可有利于提高驾车的安全性。

图13是本发明一实施例中客车冲突检测的数据处理装置的程序模块示意图一。

请参考图13，客车冲突检测的数据处理装置400，包括：

第一图像采集模块401，用于采集客车内驾驶员区域的第一图像信息；

第一冲突识别模块402，用于根据所述第一图像信息，识别第一冲突事件；

第一冲突警示模块403，用于向服务器发送第一冲突警示信息，以使得所述服务器向相关人员反馈第一冲突警示信号；或者：向相关人员反馈第一冲突警示信号，所述冲突警示信号用于表征所述客车内已发生所述冲突事件。

可选的，第一冲突识别模块402，具体用于：

根据所述第一图像信息，识别其中的人体，得到人体识别信息，所述人体识别信息用于表征其中的人体像素部分，以及针对所述人体像素部分所识别出的人体位置与人体姿态；

根据所述人体识别信息，识别所述第一冲突事件。

可选的，第一冲突识别模块402，具体用于：

若根据其中乘客的人体识别信息与司机的人体识别信息，检测到以下任意之一，则确定发生了所述第一冲突事件：

乘客的姿态为针对于司机方向的危险姿态；

乘客与司机发生肢体接触；

司机的位置偏离了预先定义的驾驶位置；

司机的姿态处于非驾驶姿态。

图14是本发明一实施例中客车冲突检测的数据处理装置的程序模块示意图二。

可选的，请参考图14，所述的装置，还包括：

语音采集模块404，用于采集客车内的语音信息；

第二冲突识别模块405，用于根据所述语音信息，识别第二冲突事件；

第二冲突警示模块406，用于向服务器发送第二冲突警示信息，以使得所述服务器向相关人员反馈第二冲突警示信号；所述第二冲突警示信号用于表征所述客车内已发生所述冲突事件；或者：向相关人员反馈第二冲突警示信号。

可选的，第二冲突识别模块405，具体用于：

将所述语音信息转化为语义信息；

根据所述语义信息，识别所述冲突事件。

可选的，所述第二冲突事件能够通过冲突识别模型针对于所述语义信息进行识别而识别出；或者：所述第二冲突事件能够根据所述语义信息中所包含的冲突关键字而识别出。

可选的，所述第二冲突识别模块405，还用于：

根据所述语音信息中不同语音部分的音色特征，查找语句对，其中，每个语句对中具有第一语句与第二语句，每个语句对中的第一语句与第二语句为不同说话者说出的，每个语句对中的第一语句与第二语句在时间上的间隔小于的时间阈值；

所述第二冲突识别模块405，具体用于：

根据各语句对中第一语句与第二语句的语义信息，识别所述冲突事件。

可选的，所述第二冲突识别模块405，具体用于：

若针对任意之一语句对，检测到所述第一语句的语义信息具有第一冲突关键字，所述第二语句的语义信息具有与所述第一冲突关键字对应的第二冲突关键字，则累加一次计数信息；其中，相对应的第一冲突关键字与第二冲突关键字是预先定义的；

所述计数信息大于计数阈值，则确定所述冲突事件已发生。

图15是本发明一实施例中客车冲突检测的数据处理装置的程序模块示意图三。

请参考图15，所述的装置，还包括：

语速确定模块407，用于确定所述语音信息的语速超出语速阈值，和/或：音量确定模块408，用于确定所述语音信息的音量超出音量阈值。

图16是本发明一实施例中客车冲突检测的数据处理装置的程序模块示意图四。

请参考图16，所述的装置，还包括：

第二图像采集模块409，用于采集所述客车内的图像信息；

特殊人员识别模块410，用于自所述图像信息中识别特殊人员，所述特殊人员包括以下至少之一：走丢人员和/或非法人员；

特殊人员警示模块411，用于在识别出所述特殊人员之后，向服务器发送特殊人员警示信息，以使得所述服务器向相关人员反馈特殊人员警示信号；或者：在识别出所述特殊人员之后，向相关人员反馈特殊人员警示信号；所述特殊人员警示信号用于表征所述客车内乘坐有所述特殊人员。

综上，本实施例提供的客车冲突检测的数据处理装置中，能够采集客车内司机区域的第一图像信息，并根据所述第一图像信息，识别冲突事件，可见，本实施例可基于司机区域的图像自动识别出冲突事件的发生，无需司机主动实施任何操作，避免了司机主动实施上报的动作，进而，本实施例减轻了司机的负担，避免了其专注力被分散，同时，还可有效应对司机受干扰，无法主动上报的情形，且能够在司机受到干扰时及时进行冲突事件的识别与警示，可见，本实施例可有利于提高驾车的安全性。

图17是本发明一实施例中电子设备的结构示意图。

请参考图16，提供了一种电子设备50，包括：

处理器51；以及，

存储器52，用于存储所述处理器的可执行指令；

其中，所述处理器51配置为经由执行所述可执行指令来执行以上所涉及的方法。

处理器51能够通过总线53与存储器52通讯。

本实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现以上所涉及的方法。

本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (13)

1.一种客车冲突检测的数据处理方法，应用于智能车载终端或服务器，其特征在于，包括：

采集客车内驾驶员区域的第一图像信息；

根据所述第一图像信息，识别第一冲突事件；

若所述的方法应用于所述智能车载终端，则在识别出所述第一冲突事件之后，还包括：向服务器发送第一冲突警示信息，以使得所述服务器向相关人员反馈第一冲突警示信号；所述第一冲突警示信号用于表征所述客车内的驾驶员区域已发生所述第一冲突事件；

若所述的方法应用于所述服务器，则在识别出所述冲突事件之后，还包括：向相关人员反馈第一冲突警示信号。

2.根据权利要求1所述的方法，其特征在于，根据所述图像信息，识别所述第一冲突事件，包括：

根据所述第一图像信息，识别其中的人体，得到人体识别信息，所述人体识别信息用于表征其中的人体像素部分，以及针对所述人体像素部分所识别出的人体位置与人体姿态；

根据所述人体识别信息，识别所述第一冲突事件。

3.根据权利要求2所述的方法，其特征在于，根据所述人体识别信息，识别所述第一冲突事件，包括：

若根据其中乘客的人体识别信息与司机的人体识别信息，检测到以下任意之一，则确定发生了所述第一冲突事件：

乘客的姿态为针对于司机方向的危险姿态；

乘客与司机发生肢体接触；

司机的位置偏离了预先定义的驾驶位置；

司机的姿态处于非驾驶姿态。

4.根据权利要求1至3任一项所述的方法，其特征在于，还包括：

采集客车内驾驶员区域的语音信息；

根据所述语音信息，识别第二冲突事件；

若所述的方法应用于所述智能车载终端，则在识别出所述第二冲突事件之后，还包括：向服务器发送第二冲突警示信息，以使得所述服务器向相关人员反馈第二冲突警示信号；所述第二冲突警示信号用于表征所述客车内的驾驶员区域已发生所述第二冲突事件；

若所述的方法应用于所述服务器，则在识别出所述冲突事件之后，还包括：向相关人员反馈第二冲突警示信号。

5.根据权利要求4所述的方法，其特征在于，根据所述语音信息，识别第二冲突事件，包括：

识别所述语音信息中的韵律学特征信息；所述韵律学特征信息包括以下至少之一：时长信息，基频信息，能量信息；

根据所述韵律学特征信息，识别所述第二冲突事件。

6.根据权利要求4所述的方法，其特征在于，根据所述语音信息，识别第二冲突事件，包括：

将所述语音信息转化为语义信息；

根据所述语义信息，识别所述第二冲突事件；所述第二冲突事件能够通过冲突识别模型针对于所述语义信息进行识别而识别出；或者：所述冲突事件能够根据所述语义信息中所包含的冲突关键字而识别出。

7.根据权利要求6所述的方法，其特征在于，根据所述语义信息，识别所述第二冲突事件之前，还包括：

根据所述语音信息中不同语音部分的音色特征，查找语句对，其中，每个语句对中具有第一语句与第二语句，每个语句对中的第一语句与第二语句为不同说话者说出的，每个语句对中的第一语句与第二语句在时间上的间隔小于的时间阈值；

根据所述语义信息，识别所述第二冲突事件，包括：

根据各语句对中第一语句与第二语句的语义信息，识别所述第二冲突事件。

8.根据权利要求7所述的方法，其特征在于，根据各语句对中第一语句与第二语句的语义信息，识别出所述第二冲突事件，包括：

若针对任意之一语句对，检测到所述第一语句的语义信息具有第一冲突关键字，所述第二语句的语义信息具有与所述第一冲突关键字对应的第二冲突关键字，则累加一次计数信息；其中，相对应的第一冲突关键字与第二冲突关键字是预先定义的；

若所述计数信息大于计数阈值，则确定所述第二冲突事件已发生。

9.根据权利要求4所述的方法，其特征在于，根据所述语音信息，识别第二冲突事件之后，和/或：根据所述第一图像信息，识别第一冲突事件之后，还包括：

根据所述客车的车外环境信息和/或所述客车的行驶信息，控制所述客车自动实施减速，直至停车。

10.根据权利要求1至3任一项所述的方法，其特征在于，还包括：

采集所述客车内的第二图像信息；

自所述第二图像信息中识别特殊人员，所述特殊人员包括以下至少之一：走丢人员和/或非法人员；

若所述的方法应用于所述智能车载终端，则在识别出所述特殊人员之后，还包括：向服务器发送特殊人员警示信息，以使得所述服务器向相关人员反馈特殊人员警示信号；所述特殊人员警示信号用于表征所述客车内乘坐有所述特殊人员；

若所述的方法应用于所述服务器，则在识别出所述特殊人员之后，还包括：向相关人员反馈特殊人员警示信号。

11.一种客车冲突检测的数据处理装置，其特征在于，包括：

第一图像采集模块，用于采集客车内驾驶员区域的第一图像信息；

第一冲突识别模块，用于根据所述第一图像信息，识别第一冲突事件；

第一冲突警示模块，用于向服务器发送第一冲突警示信息，以使得所述服务器向相关人员反馈第一冲突警示信号；或者：向相关人员反馈冲突警示信号，所述第一冲突警示信号用于表征所述客车内的驾驶员区域已发生所述第一冲突事件。

12.一种电子设备，其特征在于，包括存储器与处理器，

所述存储器，用于存储代码；

所述处理器，用于执行所述存储器中的代码用以实现权利要求1至10任一项所述的方法。

13.一种存储介质，其上存储有程序，其特征在于，该程序被处理器执行时实现权利要求1至10任一项所述的方法。

Images