CN115100892B - 一种防止公交司机或乘客异常造成车辆失控的自动驾驶方法及系统 - Google Patents

Abstract

本发明公开了一种防止公交司机或乘客异常造成车辆失控的自动驾驶方法及系统，属于城市交通控制技术领域，其中，该方法包括：提取和分类公交车中的录像、音频资料，得到异常图像特征集和异常声音特征集；通过云端处理两个异常特征集以编辑报警和急救话术并进行保存；通过云端判断当前公交车是否存在异常，若异常则开启自动驾驶，并选择最佳停靠点停靠，同时匹配报警和急救话术中最佳话术，最后自动报警、呼叫急救中心以及开启区域喇叭寻求医生帮助。该方法通过车内视频和声音对比感知车内情况，判断是否出现司机突发急症或乘客抢夺方向盘等异常情况，进而由自动驾驶接手车辆控制权并及时停靠及联网报警，确保司机和乘客的安全，且成本低、易推广。

Description

一种防止公交司机或乘客异常造成车辆失控的自动驾驶方法 及系统

技术领域

本发明涉及城市交通控制技术领域，特别涉及一种防止公交司机或乘客异常造成车辆失控的自动驾驶方法及系统。

背景技术

目前，已通过对驾驶位增加安全护栏等操作防止乘客扰乱行车，但与此同时，也让司机和乘客在需要的时候不能及时地互相救助。且司机若突发急症，能做的最大努力就是停车开门，让乘客安全下车。但这对于路上其它不明真相的车辆来说，大客车突然急刹车，是很大可能引发其他交通事故的。

同时，现有技术也又提出通过交管监控平台进行监控，调度120、调节交通红绿灯等方式来将出现异常的客车及时调配到安全停靠区域，该类方案可以很好的起到预防的效果，但该类方法所需多方进行积极紧密配合，一旦发生真实的紧急的失误，一方或一处出现问题，都无法及时解决，实现难度相当大。

发明内容

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本发明的一个目的在于提出一种防止公交司机或乘客异常造成车辆失控的自动驾驶方法，该方法在行驶公交车上出现异常情况时，能够及时做出有效动作，避免大型交通事故的发生。

本发明的另一个目的在于提出一种防止公交司机或乘客异常造成车辆失控的自动驾驶系统。

为达到上述目的，本发明一方面实施例提出了防止公交司机或乘客异常造成车辆失控的自动驾驶方法，包括以下步骤：步骤S1，提取和分类公交车中的录像资料和音频资料，得到异常图像特征集和异常声音特征集；步骤S2，通过所述云端处理所述异常图像特征集和所述异常声音特征集，以编辑报警和急救话术并进行保存；步骤S3，通过所述云端判断当前公交车是否存在异常以及实际异常场景，若存在，则开启自动驾驶，并选择最佳停靠点停靠，同时根据所述实际异常场景整合所述报警和急救话术中最佳话术，并以所述最佳话术自动报警、呼叫急救中心以及开启区域喇叭寻求医生帮助。

本发明实施例的防止公交司机或乘客异常造成车辆失控的自动驾驶方法，针对公交车司机突发急症，或有乘客抢夺方向盘等情况，通过车内视频和声音对比感知车内情况，通过将公交车现有摄像/录音设备联网，判断是否发生异常情况，再通过自动驾驶接手车辆控制权考虑当前行驶状态和周边路况，找到最合适的停靠地点，避免影响交通，并及时停靠及联网报警，确保了司机和乘客的安全，同时成本低、实施简单、易推广。

另外，根据本发明上述实施例的防止公交司机或乘客异常造成车辆失控的自动驾驶方法还可以具有以下附加的技术特征：

进一步地，在本发明的一个实施例中，步骤S1具体包括：步骤S101，通过大数据收集预设数量公交车的所述录像资料和所述音频资料；步骤S102，通过深度学习将所述录像资料拆分成不同图像个数的连续图像，并对其进行场景标注，同时将其划分为不同的音频片段，同样进行场景标注；步骤S103，分别对场景标注后的连续图像和音频片段进行特征提取和分类，得到所述异常图像特征集和异常声音特征集，并将其存储至云端。

进一步地，在本发明的一个实施例中，所述公交车异常图像特征集包括公交车司机表情异常场景、动作异常场景、乘客动作异常场景，所述乘客动作异常包括病理性异常和乘客行为异常。

进一步地，在本发明的一个实施例中，所述异常声音特征集包括公交车司机语音语调异常场景和司机与乘客争吵语音语调异常场景。

进一步地，在本发明的一个实施例中，所述步骤S102还包括：将所提取到的不同音频片段进行k-means聚类，构建音频特征词汇词典；提取每一个音频片段的特征，并计算出每个特征的出现频率，再对标注同样异常场景的音频片段进行整合，得到专属某异常场景的特征集；当所述云端中上传新音配资料，在所述云端裁成同样大小的音频片段，并用现有的特征集对其进行表示，通过特征匹配，得出当前上传录音是否属于异常场景，并将结果反馈给所述云端，同时进行异常场景标注，并进行特征提取和分类，更新现有异常声音特征集。

进一步地，在本发明的一个实施例中，所述报警和急救话术包括时间、地点信息、所述异常图像特征集任一项或所述异常声音特征集任一项，其中，通过所述云端实时接收GNSS天线传输的时间和经纬度信息。

进一步地，在本发明的一个实施例中，所述步骤S3具体为：步骤S301，当当前公交车出现所述异常图像特征集任一项或所述异常声音特征集任一项时，则将当前公交车上传录音或录像进行提取特征，并其与所述异常图像特征集任一项和所述异常声音特征集任一项相匹配，匹配度超过预设阈值时，则当前公交车存在异常，且属于公交车司机表情异常场景、动作异常场景、乘客动作异常场景、公交车司机语音语调异常场景和司机和乘客争吵语音语调异常场景任一项，反之不存在；步骤S302，若存在，则开启自动驾驶，将周围路侧单元共享的V2X地图信息、周围车辆提供的V2X信息及联网所得的地图信息整合，选择地图中最佳且尽可能不影响其它车辆行驶的最佳停靠点；步骤S303，根据所述停靠点计算最佳行驶路线及所用速度，并以所述最佳行驶路线以及所用速度下发指令自动驾驶接管当前公交车，将其停靠至所述最佳停靠点

为达到上述目的，本发明另一方面实施例提出了防止公交司机或乘客异常造成车辆失控的自动驾驶系统，包括：提取和分类模块，用于提取和分类公交车中的录像资料和音频资料，得到异常图像特征集和异常声音特征集；编辑话术模块，用于通过所述云端处理所述异常图像特征集和所述异常声音特征集，以编辑报警和急救话术并进行保存；异常判断及报警模块，用于通过所述云端判断当前公交车是否存在异常以及实际异常场景，若存在，则开启自动驾驶，并选择最佳停靠点停靠，同时根据所述实际异常场景整合所述报警和急救话术中最佳话术，并以所述最佳话术自动报警、呼叫急救中心以及开启区域喇叭寻求医生帮助。

本发明实施例的防止公交司机或乘客异常造成车辆失控的自动驾驶系统，针对公交车司机突发急症，或有乘客抢夺方向盘等情况，通过车内视频和声音对比感知车内情况，通过将公交车现有摄像/录音设备联网，判断是否发生异常情况，再通过自动驾驶接手车辆控制权考虑当前行驶状态和周边路况，找到最合适的停靠地点，避免影响交通，并及时停靠及联网报警，确保了司机和乘客的安全，同时成本低、实施简单、易推广。

本发明又一方面实施例提供一种防止公交司机或乘客异常造成车辆失控的自动驾驶电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现如上述实施例所述的防止公交司机或乘客异常造成车辆失控的自动驾驶方法。

本发明还一方面实施例提供一种非临时性计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述实施例所述的防止公交司机或乘客异常造成车辆失控的自动驾驶方法。

本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1是本发明一个实施例的一种防止公交司机或乘客异常造成车辆失控的自动驾驶方法的流程图；

图2是本发明一个实施例的步骤S1中录像资料处理过程的具体流程图；

图3是本发明一个实施例的步骤S1中音频资料处理过程的具体流程图；

图4是本发明一个实施例的步骤S102中更新；

图5是本发明一个实施例的步骤S2中编辑报警和急救话术的具体流程图；

图6是本发明一个实施例的步骤S3中判断异常以及开启自动驾驶的具体流程图；

图7是本发明一个实施例的步骤S4中自动报警、呼叫急救中心以及开启区域喇叭寻求医生帮助额的具体流程图；

图8是本发明一个实施例的一种防止公交司机或乘客异常造成车辆失控的自动驾驶系统的结构示意图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

下面参照附图描述根据本发明实施例提出的防止公交司机或乘客异常造成车辆失控的自动驾驶方法及系统，首先将参照附图描述根据本发明实施例提出的防止公交司机或乘客异常造成车辆失控的自动驾驶方法。

图1是本发明一个实施例的防止公交司机或乘客异常造成车辆失控的自动驾驶方法的流程图。

如图1所示，该方法包括以下步骤：

在步骤S1中，提取和分类公交车中的录像资料和音频资料，得到异常图像特征集和异常声音特征集。

进一步地，在本发明的一个实施例中，步骤S1具体包括：

步骤S101，通过大数据收集预设数量公交车的录像资料和音频资料；

步骤S102，通过深度学习将录像资料拆分成不同图像个数的连续图像，并对其进行场景标注，同时将其划分为不同的音频片段，同样进行场景标注；

步骤S103，分别对场景标注后的连续图像和音频片段进行特征提取和分类，得到异常图像特征集和异常声音特征集，并将其存储至云端，其中，公交车异常图像特征集包括公交车司机表情异常场景、动作异常场景、乘客动作异常场景，乘客动作异常包括病理性异常和乘客行为异常，异常声音特征集包括公交车司机语音语调异常场景和司机与乘客争吵语音语调异常场景。

具体地，如图2所示，通过收集现有的公交车上的录像，先将录像拆分为不同图像个数的连续图像(例如：每10帧取1张图像，每10张图像为一组连续图像)，按照实际情况，对图集进行标注，分别为正常场景(正常行驶)和异常场景1(司机与乘客有冲突)、异常场景2(司机身体有异常)，通过深度学习对图像进行特征提取和分类，通过深度学习对图像进行特征提取和分类，得到连续图像组异常场景1和异常场景2的特征集，得到公交车司机表情异常、动作异常、乘客动作异常(包括司机本身病理性异常和乘客行为异常等不同情况)等异常情况的分类特征，进而构成出异常图像特征集，并将其存储在云端。同时，通过车载移动终端实时将公交车上的录像上传至云端，通过深度学习等方式，增加所提取特征的准确度。

如图3所示，通过收集现有的公交车上的录音，先将录像拆分为不同的音频片段(例如：每分钟为1个音频片段)通过深度学习对音频片段进行特征提取和分类，得到公交车司机语音语调异常(一般为病理性)，司机与乘客争吵的语音语调等异常情况的分类特征，进而构建出异常声音特征集，并将其存储在云端。同时，通过车载移动终端，实时将公交车上的录音上传至云端，通过深度学习等方式增加所提取特征的准确度。

进一步地，在本发明的一个实施例中，步骤S102还包括：

将所提取到的不同音频片段进行k-means聚类，构建音频特征词汇词典；

提取每一个音频片段的特征，并计算出每个特征的出现频率，再对标注同样异常场景的音频片段进行整合，得到专属某异常场景的特征集；

当云端中上传新音配资料，在云端裁成同样大小的音频片段，并用现有的特征集对其进行表示，通过特征匹配，得出当前上传录音是否属于异常场景，并将结果反馈给云端，同时进行异常场景标注，并进行特征提取和分类，更新现有异常声音特征集。

具体地，如图4所示，对于现有录音集的所有录音，将每一段录音拆分为若干音频片段，如每10秒为1段音频片段。通过深度学习得到所有音频片段的所有特征，将其作为单词，对所有提取到的音频片段特征进行k-means聚类，所得聚类中心即为音频库的音频特征词汇词典。提取每一个音频片段的特征，并计算出每个特征的出现频率，则得到表示此音频片段的一维向量。由于先前已对音频片段做了场景标注，可以再对标注同样异常场景的音频片段进行整合，得到专属某异常场景的特征集。对于新上传云端的录音，在云端裁成同样大小的音频片段，并用现有的特征集对其进行表示，通过特征匹配，得出当前上传录音是否属于异常场景，并将结果反馈给车载通信终端。车载通信终端上传至云端的录音，会同时交由后台进行是否异常场景的标注，并进行特征提取和分类，更新现有异常场景特征集。

在步骤S2中，通过云端处理异常图像特征集和异常声音特征集，以编辑报警和急救话术并进行保存。

进一步地，在本发明的一个实施例中，报警和急救话术包括时间、地点信息、异常图像特征集任一项或异常声音特征集任一项，其中，通过云端实时接收GNSS天线传输的时间和经纬度信息。

具体地，如图5所示，分类后，通过专业人员对每一类编辑报警/急救话术，能够让警察清晰了解当前车辆所发生的可能状况，使其能够做出合适的反馈，也让急救中心能够做出更适宜的应对，为受伤人员争取时间。

在步骤S3中，通过云端判断当前公交车是否存在异常以及实际异常场景，若存在，则开启自动驾驶，并选择最佳停靠点停靠，根据实际异常场景整合报警和急救话术中最佳话术，并以最佳话术自动报警、呼叫急救中心以及开启区域喇叭寻求医生帮助。

进一步地，在本发明的一个实施例中，步骤S3具体为：

步骤S301，当当前公交车出现异常图像特征集任一项或异常声音特征集任一项时，则将当前公交车上传录音或录像进行提取特征，并其与异常图像特征集任一项和异常声音特征集任一项相匹配，匹配度超过预设阈值时，则当前公交车存在异常，且属于公交车司机表情异常场景、动作异常场景、乘客动作异常场景、公交车司机语音语调异常场景和司机和乘客争吵语音语调异常场景任一项，反之不存在；

步骤S302，若存在，则开启自动驾驶，将周围路侧单元共享的V2X地图信息、周围车辆提供的V2X信息及联网所得的地图信息整合，选择地图中最佳且尽可能不影响其它车辆行驶的最佳停靠点；

步骤S303，根据停靠点计算最佳行驶路线及所用速度，并以最佳行驶路线以及所用速度下发指令自动驾驶接管当前公交车，将其停靠至最佳停靠点。

具体地，通过将车辆上传录音/录像提取特征并与云端已存储的特征集相匹配，根据匹配度来判断当前情况为异常图像特征集或异常音频特征集中的任一项异常场景。以一段录像为例，每10帧取一副图像，形成一个图集。对每一副图像提取特征，并将其与异常图像特征集中任一项异常场景相匹配，例如，第一张图像共有100个特征，其中20个与特征集中特征相匹配，则认为此图像与异常场景的匹配度为20％。若整个图集，共提取10000个特征，其中与特征集相匹配的特征有9000个，则认为此段录像与异常场景的匹配度为90％。

当某段录音或录像与异常图像特征集或异常音频特征集中任一项异常场景的匹配度为90％，或录音和录像异常图像特征集或异常音频特征集中任一项异常场景的匹配度同时超过80％，则认为当前公交车上出现异常场景。需要说明的是，每次云端都需要将录像与任一项异常场景都做匹配，不论出现哪一个都继续执行报警及自动驾驶程序。

进一步地，如图6所示，在判断车辆出现异常后，通过将周围路侧单元共享的V2X地图信息、周围车辆提供的V2X信息及联网所得的地图信息整合，选择地图中最佳且尽可能不影响其它车辆行驶的停靠点。由云端计算出最佳的行驶路线及所用速度，由云端下发指令，自动驾驶接管车辆，将公交车安全停靠在合适地点。

其中，最佳行驶路线及所用速度的具体过程为：

先通过地图找到附近最佳停靠点，选择原则：路边，不影响车辆通行通过V2V(车车)、V2I(车路)信息交互，所选停靠点没有车辆、行人停留，若200米内有专用的紧急停靠点，则在云端通过联网地图感知后，首选此地点。

所选停靠点必为当前车辆所在地近处。通过联网地图中标识，需做到：车辆不能逆行；若当前车流中车速过大，应首先开启双闪，并逐步降低车速，为其它车辆留出反应时间；若当前车流中车速小，则在开启双闪同时慢速(如20km/h)行进，避免车内二次损伤；行驶路线以直线为先，若无法直线行驶，通过自动驾驶，在满足交通法规的同时，以最段路线到达停靠点。

需要说明的是，每次云端都需要将录像与异常图像特征集、异常音频特征集都做匹配。不论出现哪一个都继续执行报警及自动驾驶程序。

进一步地，如图7所示，在启动自动驾驶的同时，由云端选择离事故发生点最近的警局电话，自动播出报警电话，将由V2X路侧传递的时间、地点信息及异常分类报警话术传达给警察，使其能够做出合适应对，需要说明的是，车载远程通信终端可以通过GNSS天线传输实时接收到的时间和经纬度信息，可将时间和经纬度信息传给云端，云端通过将经纬度信息与联网地图结合，得到距此经纬度最近的可清晰形容地标。如，以此经纬度为中心，半径10米的圆中，其中80％的地点在地图中显示为XX街道，则报警话术中，地点为XX街道。并已此圆中，据圆心最近，处于此街道的点，可以更详细地描写出，如地点为，据中心大街北起点向南200米处。

也在启动自动驾驶的同时，开启车内警报，告知乘客尽快离开此车辆。若判断为司机急症情况，且置信度高(大于90％)，同时开启区域喇叭，寻找附近医生进行急救，并拨打急救中心电话，传达特征对应话术。

举例而言，假设313路公交车有人发生冲突，对应话术的生成过程为：

云端应有保存好的音频片段，具体为“时间”“地点”“有人发生冲突，请协助解决”“车牌号为”；

车载远程通信终端中应保存本车信息“313路公交车”，车辆牌照号如“甲A31331”；

在云端下发本车发生异常场景时，由车载远程终端将GNSS天线时间及、经纬度时间、本车信息“313路公交车”和车辆牌照号“甲A 31331”上传云端，且通过一条信息发送，并带有对应标志位。若未收到云端回复，则会一直重复发送；

云端通过上述过程得到地点信息，如“据中心大街北起点向南200米处”。对于车载远程通信终端上传的GNSS时间，云端截取至分钟，如“14时32分”；

而后，云端将所有信息整合为一个音频片段“时间”“14时32分”“地点”“据中心大街北起点向南200米处”“313路公交车”“有人发生冲突，请协助解决”“车牌号为”“甲A31331”；

即形成最终话术“时间：14时32分。地点：据中心大街北起点向南200米处。313路公交车有人发生冲突，请协助解决，车牌号为甲A31331。

综上，本发明实施例提出的防止公交司机或乘客异常造成车辆失控的自动驾驶方法，具有以下有益效果：

(1)基于公交车现有的录音录像系统，不需要增加其它设备进行实时健康监测。

(2)通过图像特征提取和分类等方式，由云端进行前期的大量准备，在公交车实际实施时可以更加快速且消耗少。

(3)同时包含公交车司机因健康异常和司机与乘客冲突等多种异常场景。即所有非正常行驶，可能导致危险的场景。

(4)采用V2X技术，通过路侧单元和其它带有V2X功能车辆，可以得到更加精确的区域情况和信息，也可及时对其它带有V2X功能车辆传达车辆异常信息。

(5)采用自动驾驶技术，在发生异常时，可以智能针对当前道路状况选择合适的行驶速度和路线。避免危险的同时，还能减少道路堵塞、恐慌等情况。

其次参照附图描述根据本发明实施例提出的防止公交司机或乘客异常造成车辆失控的自动驾驶系统。

图8是本发明一个实施例的防止公交司机或乘客异常造成车辆失控的自动驾驶系统的结构示意图。

如图8所示，该系统10包括：提取和分类模块100、编辑话术模块200、异常判断及报警模块300。

其中，提取和分类模块100用于提取和分类公交车中的录像资料和音频资料，得到异常图像特征集和异常声音特征集。编辑话术模块200用于通过云端处理异常图像特征集和异常声音特征集，以编辑报警和急救话术并进行保存。异常判断及报警模块300用于通过云端判断当前公交车是否存在异常，若存在，则开启自动驾驶，并选择最佳停靠点停靠，同时，根据实际异常场景整合报警和急救话术中最佳话术，并以最佳话术自动报警、呼叫急救中心以及开启区域喇叭寻求医生帮助。

需要说明的是，前述对防止公交司机或乘客异常造成车辆失控的自动驾驶方法实施例的解释说明也适用于该实施例的系统，此处不再赘述。

综上，本发明实施例提出的防止公交司机或乘客异常造成车辆失控的自动驾驶系统，具有以下有益效果：

(1)基于公交车现有的录音录像系统，不需要增加其它设备进行实时健康监测。

(2)通过图像特征提取和分类等方式，由云端进行前期的大量准备，在公交车实际实施时可以更加快速且消耗少。

(3)同时包含公交车司机因健康异常和司机与乘客冲突等多种异常场景。即所有非正常行驶，可能导致危险的场景。

(4)采用V2X技术，通过路侧单元和其它带有V2X功能车辆，可以得到更加精确的区域情况和信息，也可及时对其它带有V2X功能车辆传达车辆异常信息。

(5)采用自动驾驶技术，在发生异常时，可以智能针对当前道路状况选择合适的行驶速度和路线。避免危险的同时，还能减少道路堵塞、恐慌等情况。

为了实现上述实施例，本发明还提出了一种防止公交司机或乘客异常造成车辆失控的自动驾驶电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现如前述实施例所述的防止公交司机或乘客异常造成车辆失控的自动驾驶方法。

为了实现上述实施例，本发明还提出了一种非临时性计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如前述实施例所述的防止公交司机或乘客异常造成车辆失控的自动驾驶方法。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或N个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“N个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更N个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。

在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或N个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。

应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，N个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。

上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (9)

1.一种防止公交司机或乘客异常造成车辆失控的自动驾驶方法，其特征在于，包括以下步骤：

步骤S1，提取和分类公交车中的录像资料和音频资料，得到异常图像特征集和异常声音特征集；

步骤S2，通过云端处理所述异常图像特征集和所述异常声音特征集，以编辑报警和急救话术并进行保存；

步骤S3，通过所述云端判断当前公交车是否存在异常以及实际异常场景，若存在，则开启自动驾驶，并选择最佳停靠点停靠，同时根据所述实际异常场景整合所述报警和急救话术中最佳话术，并以所述最佳话术自动报警、呼叫急救中心以及开启区域喇叭寻求医生帮助；

步骤S101，通过大数据收集预设数量公交车的所述录像资料和所述音频资料；

步骤S102，通过深度学习将所述录像资料拆分成不同图像个数的连续图像，并对其进行场景标注，同时将其划分为不同的音频片段，同样进行场景标注；

步骤S103，分别对场景标注后的连续图像和音频片段进行特征提取和分类，得到所述异常图像特征集和异常声音特征集，并将其存储至云端；

其中，公交车异常图像特征集包括公交车司机表情异常场景、动作异常场景、乘客动作异常场景，乘客动作异常包括病理性异常和乘客行为异常，异常声音特征集包括公交车司机语音语调异常场景和司机与乘客争吵语音语调异常场景。

2.根据权利要求1所述的防止公交司机或乘客异常造成车辆失控的自动驾驶方法，其特征在于，所述公交车异常图像特征集包括公交车司机表情异常场景、动作异常场景、乘客动作异常场景，所述乘客动作异常包括病理性异常和乘客行为异常。

3.根据权利要求1所述的防止公交司机或乘客异常造成车辆失控的自动驾驶方法，其特征在于，所述异常声音特征集包括公交车司机语音语调异常场景和司机与乘客争吵语音语调异常场景。

4.根据权利要求1所述的防止公交司机或乘客异常造成车辆失控的自动驾驶方法，其特征在于，所述步骤S102还包括：

将所提取到的不同音频片段进行k-means聚类，构建音频特征词汇词典；

提取每一个音频片段的特征，并计算出每个特征的出现频率，再对标注同样异常场景的音频片段进行整合，得到专属某异常场景的特征集；

当所述云端中上传新音配资料，在所述云端裁成同样大小的音频片段，并用现有的特征集对其进行表示，通过特征匹配，得出当前上传录音是否属于异常场景，并将结果反馈给所述云端，同时进行异常场景标注，并进行特征提取和分类，更新现有异常声音特征集。

5.根据权利要求1所述的防止公交司机或乘客异常造成车辆失控的自动驾驶方法，其特征在于，所述报警和急救话术包括时间、地点信息、所述异常图像特征集任一项或所述异常声音特征集任一项，其中，通过所述云端实时接收GNSS天线传输的时间和经纬度信息。

6.根据权利要求1所述的防止公交司机或乘客异常造成车辆失控的自动驾驶方法，其特征在于，所述步骤S3具体为：

步骤S301，当当前公交车出现所述异常图像特征集任一项或所述异常声音特征集任一项时，则将当前公交车上传录音或录像进行提取特征，并其与所述异常图像特征集任一项和所述异常声音特征集任一项相匹配，匹配度超过预设阈值时，则当前公交车存在异常且属于公交车司机表情异常场景、动作异常场景、乘客动作异常场景、公交车司机语音语调异常场景和司机和乘客争吵语音语调异常场景任一项，反之不存在；

步骤S302，若存在，则开启自动驾驶，将周围路侧单元共享的V2X地图信息、周围车辆提供的V2X信息及联网所得的地图信息整合，选择地图中最佳且尽可能不影响其它车辆行驶的最佳停靠点；

步骤S303，根据所述停靠点计算最佳行驶路线及所用速度，并以所述最佳行驶路线以及所用速度下发指令自动驾驶接管当前公交车，将其停靠至所述最佳停靠点。

7.一种防止公交司机或乘客异常造成车辆失控的自动驾驶系统，其特征在于，包括：

提取和分类模块，用于提取和分类公交车中的录像资料和音频资料，得到异常图像特征集和异常声音特征集；

编辑话术模块，用于通过云端处理所述异常图像特征集和所述异常声音特征集，以编辑报警和急救话术并进行保存；

异常判断及报警模块，用于通过所述云端判断当前公交车是否存在异常以及实际异常场景，若存在，则开启自动驾驶，并选择最佳停靠点停靠，同时根据所述实际异常场景整合所述报警和急救话术中最佳话术，并以所述最佳话术自动报警、呼叫急救中心以及开启区域喇叭寻求医生帮助；所述提取和分类模块进一步包括如下单元：

单元一，用于通过大数据收集预设数量公交车的所述录像资料和所述音频资料；

单元二，用于通过深度学习将所述录像资料拆分成不同图像个数的连续图像，并对其进行场景标注，同时将其划分为不同的音频片段，同样进行场景标注；

单元三，用于分别对场景标注后的连续图像和音频片段进行特征提取和分类，得到所述异常图像特征集和异常声音特征集，并将其存储至云端；

其中，公交车异常图像特征集包括公交车司机表情异常场景、动作异常场景、乘客动作异常场景，乘客动作异常包括病理性异常和乘客行为异常，异常声音特征集包括公交车司机语音语调异常场景和司机与乘客争吵语音语调异常场景。

8.一种防止公交司机或乘客异常造成车辆失控的自动驾驶电子设备，其特征在于，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现如权利要求1-6中任一所述的防止公交司机或乘客异常造成车辆失控的自动驾驶方法。

9.一种非临时性计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-6中任一所述的防止公交司机或乘客异常造成车辆失控的自动驾驶方法。