CN115731534A - 自主交通工具乘客的不适当行为的检测和缓解 - Google Patents

Abstract

本文所公开的是用于检测和缓解不适当行为的系统和方法。系统和方法可以包括接收数据。使用该数据可以确定行为的骚扰得分和/或分类。使用该骚扰得分和/或分类，可以确定该行为的骚扰得分和/或分类何时超过阈值。当超过阈值时，可以激活保护系统和/或动作引擎，以缓解不适当行为。

Description

自主交通工具乘客的不适当行为的检测和缓解

技术领域

本主题涉及交通工具中不适当行为的检测和缓解。具体而言，本公开涉及交通工具或类似运输模式内的骚扰和/或暴力行为以及故意破坏的检测和缓解。

背景技术

自主交通工具的使用是快速增长的技术领域。当前，自主交通工具存在于自动化的各个阶段。自动化的范围从需要人执行用于驾驶汽车的每一个动作，到交通工具能够在没有任何人类干预的情况下从点A导航到点B的完全自主。随着自动化程度的提高，由于缺乏人类驾驶员来监测和缓解乘客的不适当行为，因此监测乘客的不适当行为的必要性在增加。

附图说明

在附图中(这些附图不一定是按比例绘制的)，同样的数字可描述不同视图中的类似组件。具有不同的字母后缀的同样的数字可表示类似组件的不同实例。附图总的来说通过示例的方式而不是限制的方式来图示在本文档中所讨论的各实施例。

图1示出了根据本公开的至少一个示例的系统。

图2示出了根据本公开的至少一个示例的方法。

图3示出了根据本公开的至少一个示例的保护系统的示意图。

图4示出了根据本公开的至少一个示例的系统。

图5示出了根据本公开的至少一个示例的事件检测和分类器。

图6示出了根据本公开的至少一个示例的方法。

图7示出了根据本公开的至少一个示例的方法。

图8示出了根据本公开的至少一个示例的分类方案。

图9示出了根据本公开的至少一个示例的关联表。

图10示出了根据本公开的至少一个示例的动作引擎。

图11示出了根据本公开的至少一个示例的方法。

图12示出了根据本公开的至少一个示例的方法。

图13示出了图示出根据本公开的至少一个示例的示例机器的框图，本文中所讨论的技术(例如，方法)中的任何一项或多项可在该机器上执行。

具体实施方式

共享乘坐服务可以允许许多乘客使用同一自动交通工具，但也可能引入让一个或多个乘客感到被骚扰的机会。例如，如果骚扰者或一群骚扰者进入其中有人已乘坐的汽车，汽车中的个人可能会经历骚扰或感到被骚扰。在具有专用驾驶员的交通工具中，驾驶员可以通过监测行为来充当乘客的监督者。相比之下，在无人驾驶的自主交通工具中，乘客可能无法在各种实际或感知到的骚扰发生时受到保护。

为了克服这一挑战，本文所公开的是用于监测和限制自主交通工具中的骚扰的系统和方法。本文所公开的系统和方法可以包括若干组件，诸如但不限于，音频传感器、相机、振动传感器和用于检测和分类行为以及执行动作以缓解骚扰的软件组件。

如本文所公开的骚扰、骚扰行为、异常行为、不适当行为、危险行为、暴力行为和/或其他不期望的行为可以互换地使用，以指示使交通工具的至少一个乘客不舒服、处于危险和/或以其他方式使其担心他或她的安全的行为类型。

现在转向附图，图1示出了根据本公开的至少一个示例的用于检测和缓解骚扰的系统100。如图1中所示，系统100可以包括骚扰检测器102、关系估计器104、交互监测器106、传感器108和保护系统110。系统100的组件中的每一个组件都可以是单个系统的一部分(诸如在自主交通工具上)或多个系统的一部分。例如，关系估计器104可以是向自主交通工具的车载计算机提供数据和/或关系估计的远程系统的一部分。

如本文所公开的，在自主交通工具的行程期间，传感器108可以监测乘客之间的交互。来自传感器108的信号(例如，由传感器数据表示)可以被传送到系统100的处理器并且由其接收。可以正在执行骚扰检测器102、关系估计器104和交互监测器106的处理器)可以使用信号来确定自主交通工具内的行为是否符合骚扰行为。如果行为符合骚扰行为，则骚扰检测器102可以激活保护系统110。

骚扰行为的示例可以包括触摸另一个人、攻击性或其他威胁性的面部表情、辱骂和/或骚扰语言、打架等。例如，彼此认识的两个人可能与陌生人一起在交通工具中。这两个人可能正在讨论不适当的话题(诸如性露骨话题、极具争议的政治话题等)，陌生人认为这些话题使其感到冒犯和/或骚扰。例如，两个人可能是男性，他们在不适当地谈论女性，而陌生人(可能是男性也可能是女性)可能会将该对话视为骚扰。

如本文所公开的，由传感器108收集的环境数据可以包括声音、图像等。系统100还可以使用从外部源(诸如远程计算机)接收的乘客的关系数据。远程计算机可以是乘坐者的手机、手表或其他智能设备上的应用，以及由控制交通工具的实体或其他第三方操作的远程服务器。关系可以是交通工具的乘客彼此都认识(例如，是朋友或同事)、处于关系中(例如，结婚、订婚或约会)、具有文化相似性等。文化相似性的示例可以包括来自同一国家或同一国家的同一地区、宗教相似性等。

如本文所公开的，可以实现系统100，以监测无人驾驶汽车中乘客的交互，以便确保乘客不会感觉到或实际上受到另一个同行者的威胁。因此，系统100可以使所有乘客的旅程更安全。本文所公开，系统100可以直接与乘客交互。

关系估计器104可以用于对乘客之间的关系进行分类。因此，关系估计器104可以利用交通工具中的传感器108。传感器104可以包括相机、激光雷达(LiDAR)、麦克风等。此外，关系估计器104可以使用乘客的简档(例如，预订应用中的简档、社交网络(诸如Facebook)中的简档等)来确定关系。系统100还可以考虑乘客是否在同一时间进入交通工具。例如，他们是否一起进入交通工具、他们如何彼此问候和/或他们如何交互可以用于确定乘客之间的关系。例如，与在不同时间进入交通工具的人相比，一起进入交通工具的人彼此认识的概率更高。蓝牙和WiFi标识可以用于区分一个人是否定期与某人见面。

关系估计器104还可以考虑文化信息。例如，不同国家的问候习惯可能不同。因此，两个人握手在一个国家可能被视为习惯规范，但在另一个国家却被视为冒犯。

使用各种数据，关系估计器104可以确定关系得分，以估计乘客之间的关系。例如，关系得分可以是0和1之间的值，其中1表示类似家庭的关系，而0表示来自不同文化背景的完全陌生的人。

交互监测器106可以使用用于向关系监测器104提供信号的相同传感器或附加传感器。如本文所公开的，系统100可以监测乘客的交互。交互监测器106可以通过跟踪身体姿态的移动(诸如通过跟踪肢体、头、交通工具内的无生命对象等的移动)来寻找姿势和/或身体接触。身体姿态的各个方面可以包括移动本身、朝向其他乘客的速度和来自其他乘客的反馈。例如，如果乘客朝向另一个人移动他的手，则速度可以提供对攻击性的指示。由此，交互监测器106和系统100作为一个整体可以能够检测身体暴力。

交互监测器106还可以监测对话。例如，以及如本文所公开的，交互监测器106可以使用语音识别来确定是否说出了具有种族冒犯性或性别歧视，或者在任何意义上是潜在骚扰的一部分的词语。除了说出的词语，交互监测器106还可以监测和检测其他声音，诸如但不限于尖叫声或哭泣。通过监测声音和语音，系统100可以基于上下文来区分说出的词语和/或动作。因此，系统100不仅检测骚扰，还可以检查乘客的关系状态，以避免如本文所公开的假肯定。

交互监测器106可以记录交互，也可以不记录交互。在使用期间，音频监测和/或记录可以只在任何传感器检测到攻击性时才被激活。例如，麦克风可以在不记录的情况下监测语音。如果检测到攻击性或冒犯性词语，则系统100可以开始在预定的持续时间内记录音频，来保留证据以供以后使用和分析。

系统100可以经由传感器108和交互监测器106监测乘客的情绪状态。例如，通过监测和识别乘客的面部表情或体温变化，系统100可以确定乘客是否存在恐惧或其他增强的意识或不适感。

如本文所公开的，系统100可以基于AI/分类器模块,该AI/分类器模块输出不同交互的得分。这些类可以覆盖,但是不限于,无互动、只说话、喊叫、牵手、亲吻等。某些交互也可能是需要考虑的子类的一部分，如果交互可能是自愿的或基于强制的话。然后，可以为每一个类分配得分(例如，0和1之间)，作为如本文所公开的模块的输出。

除了交互，系统100还可以监测交通工具内部的武器，并确定它们是否可能被使用或正在被使用。监测武器可以包括分析类似武器的物品的图像或监听描述武器的词语。例如，传感器108可以包括金属探测器(诸如安装在交通工具的门框中)，其能够检测可能是枪或刀的大量金属。通过该检测，系统100可以访问图像数据库以准备好进行比较，以确定枪或刀是否从袋子或其他隐藏位置移除。

如本文所公开的，当系统100检测到骚扰情形时，系统100可以激活保护系统110。例如，系统100可以使用来自交互监测器106和关系估计器104的信息来确定乘客之间的交互是否可能是潜在的骚扰情形。如果系统100标识出此类情形，则它可能激活附加传感器108或检测系统，以用于保护乘客。例如，增强的音频分类器(其可以是交互监测器106的一部分)，以收集附加数据，从而获得对交互的更佳见解。

使用本文所公开的系统和方法，关系和文化方面(可能对系统100的判断具有重要影响)可以用于确定交互是否是骚扰。例如，朋友之间可能会容忍一些陌生人之间无法接受的交互。

骚扰检测器102的输出可以是骚扰的单个值，诸如是或否。骚扰检测器102的输出还可以是0和1，或0和100之间的得分。输出还可以包含关于检测到何种骚扰的附加信息(例如，暴力、性威胁、宗教骚扰等)。

图2示出了根据本公开的至少一个示例的用于监测交互和训练至少一个模型的方法200。方法200可以在阶段202处开始，在阶段202处，可以监测交互。例如，当自主交通工具到达接乘客的位置时，可以激活一个或多个传感器，诸如传感器108。然后，传感器可以开始收集环境数据。环境数据的非限制性示例包括声音(词语和分贝水平)、图像、温度、湿度等。

监测交互的一部分可以包括计算骚扰得分。骚扰得分可以是事件或一系列事件构成骚扰的概率。例如，等式1示出了用于计算事件或一系列事件是否构成骚扰的示例等式。

其中pi是特征i为骚扰的概率，ωi是允许给定特征对不同场景产生不同影响的所赋予概率的权重。

例如，无论每个事件的场景或其他情况如何，拥抱可以具有概率X，握手可以具有概率Y。基于关系数据，赋予拥抱的权重可以有所不同。例如，当关系估计器104提供乘客彼此认识的指示时，拥抱可以被赋予低权重，而当乘客彼此不认识时，拥抱可以被赋予更高权重(例如，0.75)。在握手是常见问候的美国，握手的权重可以较低(例如，0.1)，而在诸如日本等握手不太常见的国家，握手的权重可以较高(0.5)。

如等式1中所示，可以连续计算交通工具内发生的所有事件的加权平均，作为监测交互的一部分。

当加权平均超过预定阈值时，可以确定是否发生不适当行为(判定框204)。例如，当由系统检测到的各种事件的加权平均超过0.5或50％时，发生骚扰、冒犯或其他不适当行为的可能性更高。如果行为不是骚扰、冒犯或其他不适当的，则方法200可以继续监测行为(202)。

如果检测到骚扰、冒犯或其他不适当行为，则可以激活增强的监测(206)。增强的监测可以包括激活附加传感器和/或调整当前使用的传感器的灵敏度，以更紧密地监测情形。例如，如果乘客的面部特征指示痛苦，则可以提高监测声音水平的麦克风的灵敏度，以捕获更轻的声音。例如，潜在受害者可能会表现出指示骚扰的面部表情，但骚扰者可能会低声说话。因此，可以调整监测声音水平的麦克风的灵敏度，以拾取更柔和的声音，如骚扰者的耳语和/或受害者沉重的呼吸声音。附加传感器可以包括交通工具内或受害者的手机、手表或其他智能设备的应用上的惊慌按钮。

使用在增强的监测期间获得的附加数据，确定行为是否不适当(判定框208)。确定行为是否不适当可以包括计算骚扰得分，如上文关于阶段204所公开的。等式1中使用的概率和权重在增强的监测期间可以保持不变或可以不同。例如，在增强的监测期间，与拥抱相关联的权重可以增加，而与拥抱相关联的概率保持不变。

在增强的监测期间，触发不适当行为所需的骚扰得分可以有所不同。例如，为了触发增强的监测，需要的骚扰得分可以较低，以便抢先激活附加传感器等。一旦已经开始增强的监测，构成骚扰所需的骚扰得分可以是更高的值(诸如，0.75或75％)，以指示该行为实际上是骚扰、冒犯或其他不适当行为。如果行为不是骚扰、冒犯或其他不适当行为，则方法200可以在预定时间内继续增强监测(206)，以确保行为不是不适当的，或者在不增强的情况下监测行为(202)。

如果检测到骚扰，则可以联系受害者(210)。联系受害者可以包括激活交通工具内的双向通信。例如，交通工具的经营者可以配有监测系统的警报的安保人员，并且在检测到不适当行为时，激活交通工具内的对讲机，以询问受害者是否准备好和/或需要帮助。安保人员还可以劝告骚扰者他或她的行为是不适当的，并且如果该行为不停止，将采取如本文所公开的附加补救措施。对讲机可以包括交通工具的显示器和/或音频系统，受害者可以与之交互以向安保人员发出警报。

联系受害者还可以包括向受害者的手机、手表或其他智能设备传送消息。消息可以要求受害者确认行为是否是骚扰、冒犯或其他不期望的行为。受害者可以对消息做出响应，以确认或否认该行为是骚扰、冒犯或其他不期望的行为。

系统还可以监测潜在的攻击者是否强迫受害者给予反馈，或受害者是否自由地与系统交互。例如，如果骚扰是使用秘密代码确认的，或者受害者没有提出反对，则系统可以将受害者行动的缺乏解释为恐惧阻碍了受害者做出回应。例如，用户可以具有两个安全代码。第一安全代码可以指示乘客没有处于痛苦或其他的恐惧中，但该行为并非不适当。第二代码可以表示乘客感到痛苦或恐惧，但不希望攻击者知道。在接收到第二代码后，安保人员可以采取动作来缓解骚扰，但感谢用户确认没有发生骚扰，以免使攻击者知晓。

如果受害者确认行为不是骚扰、冒犯或其他不适当行为，则方法200可以继续监测行为(202)。如果受害者确认行为是骚扰、冒犯或其他不适当行为，则可以激活保护系统。激活保护系统可以包括记录事件，并将记录保存到本地存储介质和/或将记录传送到云以进行存储。这些记录可以用作以后可能发生的任何刑事和/或民事事项的证据。此外，这些记录可以用于训练未来的模型和/或作为用于检测不适当行为的参考点。

图3示出了根据本公开的至少一个实施例的保护系统110的示意图。保护系统110可以发起抵制措施，这可以取决于检测到的骚扰的类型和严重性和/或如本文所公开的运输模式(大众运输302或出租车式运输304)。例如，大众运输系统(例如，公共汽车、火车、飞机等)的初始对策可以是向乘客发送包括视觉和音频反馈的广播消息(306)，表明检测到违规并可能报告违规。

对于出租车式运输系统(例如，共享乘坐服务等)，主动对策可以包括系紧攻击者的安全带，以限制他或她在交通工具内移动、启用所有车内灯、在安全可行的情况下停车(308)，以让受害者从该情形中脱身、然后锁定交通工具(310)，以将攻击者锁在交通工具中。为了确定交通工具可以安全停车的位置，交通工具可以具有包含允许乘客安全离开的指定区域的地图。这些区域可以是可能有大量其他行人的公共场所、餐厅或商店、已将自身注册为安全港的公共企业(诸如加油站)等。对于这样的安全港，交通工具可以在其到达之前向商店传送消息，以通知他们车辆将放下面临危险的人或攻击者。然后，商店雇员可以等待车辆的到达，并且保证受害者是安全的。

系统还可以向服务团队发起呼叫，服务团队可以随后尝试缓解。服务团队还可以访问从车内传感器捕获的数据，以更好的评估该情形。例如，系统可以向警察或其他当局发起呼叫(312)。在此情形中，可以允许建立视频连接，并通过这种方式使得官员能够尝试缓解该情形、获得进一步的见解并实施进一步的动作。

还可以发起其他选项，以向交通工具外的其他人警告危险情形。例如，通过启用外部灯(例如，紧急闪光器、前灯等)或激活喇叭，交通工具外的人群或其他人可以受到警告。当如上所指示，紧急闪光灯也被启用时，车辆甚至可以偏离其预期目的地，并驶向拥挤的区域，诸如加油站或警察局。

在大众运输设置中，广播消息可以是给附近人的，诸如其他乘客。可以让其他乘客知晓该情形，并适当地进行干预。这通常已经足以阻止潜在的骚扰者。

当乘坐完成，但利用骚扰得分指示了类似于骚扰的行为时，可以诸如通过本文关于阶段210所公开的方法联系乘客(，以确定乘客是否感受到威胁。例如，如果骚扰得分计算为0.49，并且0.5是激活的增强监测的阈值，则可以向用户的智能设备发送消息，以询问用户是否感受到威胁。这些信息(可以是调查形式)可以用于调整系统的准确度。例如，如果用户指示他或她感受到威胁，则可以增加给定行为的权重。如果用户指示没有感到焦虑或其他恐惧，则可以降低权重，以防止在未来触发假肯定。

尽管已经关于自主交通工具描述了系统100和方法200，但系统100和方法200还可以与具有驾驶员或可以协助该情形的其他人员的交通工具一起使用。在有驾驶员的交通工具中，乘客和驾驶员的安全性都可以得到提高。例如，如果驾驶员被攻击，他或她可能不能够安全地使交通工具转向。因此，保护系统110可以接手交通工具的控制，并将其驾驶到警察局或医院。

基于无人驾驶汽车的计划服务之一是共享自主交通工具(shared autonomousvehicle，SAV)。SAV服务可以将计程车/出租车、汽车共享和骑乘共享系统合并为单一的运输模式。无人驾驶SAV中的人身安全可能是来自乘客的一种担心，因为除了使用智能监控相机作为乘员监测系统(occupant monitoring system，OMS)的一部分外，可能没有稳健的方式来检测不愉快的情形，包括暴力或尝试的暴力的事件。暴力的范围可以从实际打架到性骚扰再到虐待儿童。然而，由于没有驾驶员进行调解，在使用传统监控系统时，检测到暴力可能为时已晚。本文所公开的系统和方法使用用于检测暴力动作的可靠的智能系统从而允许在身体暴力发生之前采取早期动作。

本文所公开的系统和方法可以识别暴力周期的组成部分-平静阶段、紧张阶段和危机阶段。为了防止暴力，早期检测和预防是必要的。在危机阶段(即，身体暴力)之前，在紧张阶段可能会存在口头暴力形式的暴力，诸如责骂、不愉快的词语(争吵、口头性骚扰等)或轻度的身体冲突(诸如推搡、大喊大叫等)。使用本文所公开的系统和方法，可以在紧张阶段实时且准确地检测到暴力。一旦检测到，可以使用本文所公开的系统和方法，在情形达到可能发生暴力身体接触从而造成严重身体伤害的危机阶段之前，采取必要的动作。

本文所公开的系统和方法为具有高级驾驶员辅助系统(advanced driver-assistance system，ADAS)的SAV提供了识别交通工具中的暴力事件并采取进一步动作的能力。将创建多模态音频、语音和图像检测和融合方案来改善整体辨别能力，同时考虑处理流水线和聚合，以准确地检测暴力周期(平静阶段、静止阶段、危机阶段)、标识严重性、并将信息馈送到动作引擎(有时被称为保护系统)，从而执行动作，诸如发出警告、摇下车窗、停止交通工具、向当局发出警报、将交通工具重新路线选择到警察局或有人群的区域。

本文所公开的系统和方法提高了移动交通工具的可靠性，这可能由于照明条件的变化和室外元素或反射的不断变化而具有复杂性，从而可能导致误分类。图4示出了根据本公开的至少一个示例的用于检测和缓解交通工具402内的暴力的系统400。如图4中所示，系统400可以包括自主交通工具402(例如，汽车、公共汽车、火车、电车等)、一个或多个传感器404(单独地被标记为传感器404A和404B)和计算系统406。计算系统406可以包括事件检测和分类器408和动作引擎410。

骚扰行为412(有时被称为异常行为或暴力动作)的示例可以包括触摸另一个人、攻击性或其他威胁性面部表情、辱骂性和/或骚扰性语言、打架等。例如，彼此认识的两个人可能与陌生人一起在交通工具402中。这两个人可能正在讨论不适当的话题(诸如性露骨话题、极具争议的政治话题等)，陌生人认为这些话题使其感到被冒犯和/或骚扰。例如，两个人可能是男性，他们在不适当地谈论女性，而陌生人(可能是男性也可能是女性)可能会将该对话视为骚扰。

如本文所公开的，可以经由传感器404从自主交通工具402收集环境数据(诸如声音、图像等)，然后可以将环境数据传递到计算系统406。系统400还可以使用从外部源(诸如远程计算机414)接收的乘客的关系数据。远程计算机414可以是乘坐者的手机、手表或其他智能设备上的应用，以及由控制交通工具402的实体或其他第三方操作的远程服务器。关系可以是交通工具的乘客彼此都认识(例如，是朋友或同事)、有关系(例如，结婚、订婚或约会)、具有文化相似性等。文化相似性的示例可以包括来自同一国家或同一国家的地区、宗教相似性等。

本文所公开的系统和方法可以使用多感官(multisensory)技术与人类智能的组合来理解对话和动作的意图。使用该意图，可以检测并防止可能的暴力动作。在识别暴力的紧张阶段的开始，可以通过缓和该情形来防止暴力。可以采取适当的动作，以通过制止暴力或向有关当局报告暴力来阻止该情形升级到危机阶段。

如本文所公开的，事件检测分类器408可以从传感器404接收输入信号。输入信号可以与暴力声音、暴力语音、暴力动作相对应。使用该输入，意图和动作识别多模态可以用于对可能的暴力类型进行分类。

动作引擎410可以执行自主动作，以防止和/或报告暴力行为。如本文所公开的，动作引擎410可以向乘客传送消息、显示消息和/或将交通工具重定向到安全空间(诸如警察局)。

图5示出了根据本公开的至少一个示例的事件检测分类器408的示意图。传感器404可以包括使交通工具能够从交通工具内部和/或交通工具外部附近检测移动和音频事件的对象和设备。移动和音频事件可以是如本文所公开的异常事件。传感器404的示例可以包括但不限于标量传感器404A和向量传感器404B。标量传感器404A可以测量标量量，并可以包括振动传感器、被动红外(passive infrared，PIR)传感器、运动传感器、声学传感器等。向量传感器404A可以捕获向量量(诸如移动)，其可以具有速度、方向或声音，并且向量量可以源自交通工具内的特定位置，并以给定分贝水平沿给定方向行进。向量传感器404B的示例包括相机、麦克风阵列等。

事件检测和分类器可以包括声音分类器502。声音分类器502可以利用环境声音分类(environmental sound classification，ESC)数据集的基线分类，以标识人类非语音声音(诸如哭泣的婴儿、鼓掌、大笑、咳嗽、打鼾)中的语义类。通过建立基线，可以避免针对暴力的假肯定。例如，通过将婴儿哭泣建立为基线，如果婴儿开始在交通工具中哭泣，则声音分类器502可以确定该声音是与暴力动作无关的非语音声音。然而，通过建立基线，声音分类器502可以确定人的尖叫和/或喊叫可能是非语音并且与暴力动作有关的。

语音识别器504(有时被称为自然语言处理器(natural language processir，NLP))可以用于识别暴力短语或意图。例如，语音识别器504可以将诸如“走开”、“不要碰我”、“救命”等短语识别为暴力动作的指示或暴力动作的前兆。尽管语音识别器504可以检测词语，但语音识别器504不会将乘客的语音转成文本。在示例中，语音识别器504可以利用轻量级语言模型和词汇来检测已知与自主交通工具上的暴力相关联的各个阶段(即，没有连接到云)以进行实时反应，而不是将所有语音转成文本。

为了确定意图，音频语音可以被划分为多个类别。例如，语音可以被划分为三个类别，包括“动作”、“对象”和“位置”。可以将指示意图的各种短语存储为字典。例如，短语“不要碰我”可以被存储为字典，其键：值配对{动作:“触摸”,对象:“我”,位置:“无”}。与暴力相关联的各种已知短语可以被存储为数据集，该数据集可以用于训练，诸如使用流利语音命令数据集作为基础。可以根据需要添加特定意图的数据集。在操作期间，可以创建新数据集，可以使用如本文所公开的来自乘客的反馈来生成键：值配对，并将其添加到数据集。

动作识别器506可以用于标识可能意图暴力的动作。动作识别器506可以利用来自向量传感器404B(诸如二维相机、三维相机、激光雷达系统等)的计算机视觉。使用如本文所公开的深度学习技术的视频异常检测算法可以与融合方案(诸如预测模型或生成模型)结合使用。这些类别的非限制性示例包括变分自动编码器(variational autoencoder，VAE)和卷积长短期记忆网络。

事件检测和分类器408可以包括传感器融合引擎508，传感器融合引擎508可以组合从传感器404导出的数据。例如,传感器融合引擎508可以包括集成电路和/或软件，以产生合并的传感器数据。例如，传感器融合引擎508可以接收指示已经发生掌掴的声音数据和跟踪乘客的手撞击另一个乘客的脸的图像数据。使用这两条数据，传感器融合引擎508可以将事件分类为一个乘客掌掴另一个乘客的暴力动作。

如本文所公开的，反馈可以由乘客提供，并且反馈可以由强化学习模型510使用以便训练和细化模型。例如，如果事件检测和分类器408将行为分类为暴力动作，而实际上该行为不是暴力动作时，则强化学习模型510可以调整模型的任意数量的参数，以降低模型的灵敏度。如果事件检测和分类器408未能正确地将行为分类为暴力动作，而实际上该行为是暴力动作时，则强化学习模型510可以调整模型的任意数量的参数，以增加模型的灵敏度。

图6示出了根据本公开的至少一个示例的用于训练模型的方法600，诸如通过强化学习模型510。方法600可以在阶段604处开始，在阶段604处，可以接收结果输入。例如，来自声音分类器502的声音分类结果604、来自语音识别器504的语音分类结果606、以及来自动作分类器506和/或融合引擎508的动作分类结果608。在判定框610处，确定声音、语音和动作的分类结果是否匹配。匹配可能意味着声音和语音与动作相对应。例如，语音可以是“不要打我”，而声音可以是掌掴声。如果动作分类器结果608指示掌掴，则存在匹配。如果没有，则不存在匹配。如果存在匹配，则无需进行训练(612)，并且方法600可以返回到可以接收附加数据的阶段602。

如果结果与方法600不匹配，则可以捕获图像数据。例如，由传感器(诸如传感器404)捕获的各种图像可以在事件前后保存预定时间段。例如，可以保存事件发生前后一分钟的图像。

除了图像数据之外，还可以保存声音数据(616)。声音数据可以包括来自环境的语音和声音两者。声音数据可以以与图像数据相同的方式在事件发生前后保存预定时间段。

一旦保存，图像和声音数据可以从交通工具被传送到后端系统(618)。后端系统可以将声音和图像数据用于由如本文所公开的事件检测和分类器408使用的模型的数据集增强和重新训练。

可以从多个源收集捕获的数据，并将其添加到各种数据集(620)。例如，公共数据集和/或来自麦克风、相机等的实时记录可以用于增强数据集和/或训练/重新训练模型。每个数据都可以由事件检测和分类器处理，以用于标记和/或图像和/或音频注释。

本文所公开的系统和方法可以将深度学习和强化学习用作AI驱动的方法的一部分，以帮助系统继续学习新环境，并不断提高识别和分类能力以及准确度。换句话说，收集的数据可以用于训练和重新训练模型(622)。例如，如果暴力案件被报告而没有被任何模型识别和/或分类，则系统400可以用记录的视频/音频数据来进行训练，以允许将新的音频、语音和/或图像与暴力动作相关联。简而言之，可以创建针对不同环境的模型，并且系统400可以学习在不同环境中以最佳水平执行。

当数据指示暴力动作已经发生或可能要发生时，动作引擎410可以发起动作，以缓解情形和/或保护受害者。基于系统400的配置，动作引擎410可以采取行动，行动包括但不限于做出口头通知(例如，发出可听警告或提醒该行为不适当)、为与交通工具的引擎控制单元(engine control unit，ECU)交互的硬件传送信号(例如，关闭引擎以停止交通工具)、修改行程以重新规划路线(例如，将车辆重新规划线路到警察局)、触发远程通信等。

如本文所公开的系统400利用声音分类、暴力意图语音识别和暴力动作视觉识别来对暴力类型进行分类。本文所公开的传感器404可以作为售后零件或作为OEM零件安装在SAV中。舱内声音和语音可以由全向麦克风阵列捕获，视觉图像可以由相机和/或激光雷达系统捕获。

声音分类器502可以能够对暴力相关的声音(诸如打架声、喊叫声、尖叫声等)进行分类。在自主公共汽车、飞机或其他大型交通工具的情况下，系统400可以能够使用全向麦克风来定位暴力声音的位置。

可以使用各种NLP实现来对暴力意图语音识别进行分类，以理解对话的意图并标识触发痛苦的关键字。出于隐私目的，不需要记录乘客的对话。相反，可以仅检测在暴力事件期间要检测的特定关键字。利用多流输入和多模态，可以使用来自声音、语音和视觉数据点的各种数据集来对使用系统400开发的模型进行训练，以对暴力周期进行分类。

图7示出了根据本公开的至少一个示例的用于检测分类暴力的方法700。方法700可以在阶段702处开始，在阶段702处，可以接收环境数据。例如，可以使用传感器(诸如传感器404)来接收声音、语音和图像数据。接收到的传感器数据可以用作涉及对事件进行分类的深度学习(deep learning，DL)组件的并行化分析过程的输入(704)。如图8中所示，数据(乘客的动作)802可以关于至少包括以下类别进行分类：“平静/无”804、“紧张L1”806、“紧张L2”808、“危机L1”810、“危机L2”812和“危机L3”814。数据802可以包括各种分量，诸如声音分类816、语音分类818和图像分类820。

在分析的第一阶段，各种焦点可以是基于声音分类来避免任何假肯定，并且使用语音识别来验证由相机捕获的信息。例如，乘客可能正在膝上型计算机或手机上观看动作电影，或者在打电话时大喊大叫，因此可能检测到暴力(706)。如果基于声音分类没有检测到暴力，则方法700可以返回到可以收集环境数据的阶段702。

如果检测到暴力，诸如来自动作电影或乘客的大喊大叫，则可以确定检测到的暴力是否为假肯定(708)。例如，紧张L1 806可以是基于声音的初始分类，但语音分类818和图像分类820可以将分类恢复为平静，因为声音分类816未证实语音分类818和图像分类820。

在第二阶段，可以触发暴力检测，并使用图像、声音和语音识别融合来预测暴力类型(710)。第二阶段中的预测可以由多个传感器(声音、语音、图像传感器)完成，以提高预测的准确度。可以按预定的时间间隔(例如，每帧30秒)将各种输入分解为帧。可以使用深度学习对每一帧进行图像识别，以标识对象、执行对象跟踪等。然后，可以将每一帧的结果关联在一起，以确定是否存在暴力(712)。多个事件关联可以由深度学习(例如，在ANN模型中实现)或简单的决策树/真值表来完成。如果没有检测到暴力，则方法700可以返回到收集环境数据的阶段702。如果检测到暴力，则确定暴力是否处于紧张阶段(714)。如果暴力不处于紧张阶段，并且不存在升级的危机，那么行程可以按计划继续直到行程结束(718)。

如果分类不指示暴力的紧张阶段(714)并且存在升级的危机水平(716)，则方法700可以前进到动作引擎718的激活。可能不存在紧张阶段、但可能存在危机的示例将包括突然出现武器或攻击者在没有给出任何警告的情况下突然攻击乘客。换句话说，在该情形下，暴力的紧张阶段被绕过，从平静状态直接进入危机。

如果暴力处于紧张阶段(714)，则方法700可以前进以确定紧张水平。可以使用如本文所公开的公式或表格来确定紧张水平。图9示出了根据本公开的至少一个示例的用于各种关联的示例表900。图9中的前三列902、904和906可以表示三种分类。表900的各个列可以用于将数据映射到暴力阶段和/或给定阶段的暴力水平。例如，列902可以表示声音分类，列904可以表示语音分类，列906可以表示图像分类。列908可以基于列902、904和906的分类来表示暴力阶段的阶段和水平。例如，如果在阶段702中接收到的数据指示交通工具是安静的，然后在没有任何图像数据来证实暴力动作的情况下，语音数据突然指示乘客喊“救命！”，则暴力阶段和类别可以是平静804。如果在图像中检测到武器，则无论声音和语音分类如何，暴力阶段可以被分类为危机L3 814。自主交通工具制造商或运营商可以根据特定州或国家法规或其他偏好，基于暴力动作/声音/短语的类型来定制表900中的暴力类别。

判定框706和712可以利用如本文所公开的乘客反馈来确定是否正在发生暴力。例如，并且如本文所公开的，经由智能设备、交通工具内的触摸屏和/或在乘客和安保人员之间交换的消息(语音或文本)的乘客反馈可以与环境数据一起被接收(702)，或在对事件阶段进行分类期间被接收(704)。此外，判定框706和712可以访问其他方法或子例程，这些方法或子例程可以传送消息并接收来自乘客的输入。

图10示出了根据本公开的至少一个示例的动作引擎410的示意图。在阶段720处，当动作引擎410被激活时，可以采取任意数量的动作。动作引擎410可以基于暴力的类型及其水平采取动作，以防止暴力升级并在需要时通知当局。

动作引擎410可以包括行程修改器1002。在紧张L2以上的暴力情况下，可以如图11所示重新规划交通工具的路线。如图11中所示，方法1100可以包括按照最初计划执行行程(1102)。如果没有检测到关于紧张L2的暴力，则交通工具可以按照最初计划继续行程(802)。如果检测到紧张L2以上的暴力(1104)，则可以激活行程修改器1002，以将交通工具拉到路边，或将交通工具重新规划路线到警察局、加油站或其他安全区域(1106)，行程可以在此结束(1108)。

动作引擎410还可以包括ECU/致动器1004。ECU/致动器1004可以与交通工具中的相关辅助系统对接。例如，当检测到暴力事件时，ECU/致动器1004可以与车窗对接，以用于自动降低车窗。ECU/致动器1004还可以激活喇叭以反复鸣笛来警告交通工具外部的人，或解锁交通工具的至少一扇门以便于受害者离开。例如，离受害者最近的门可以被解锁，而靠近攻击者的门被动作引擎410锁定。此外，还可以锁定攻击者的安全带，以将攻击者限制在交通工具内部。

动作引擎410可以包括远程信息处理箱1006，或与远程信息处理器箱1006对接。远程信息处理箱1006可以允许发送、接收和存储遥测数据，诸如位置、速度等。远程信息处理箱1006可以经由交通工具自己的车载诊断器(ODBII)或CAN-BUS端口与SIM卡连接，车载调制解调器可以通过无线网络进行通信。惊慌按钮可以是交通工具的一部分或在用户的智能设备上。惊慌按钮可以允许用户激活eCall系统，该系统可以与通知警察的连接集成。

动作引擎410可以包括预先录制的公告1008。预先录制的公告1008可以通过交通工具中的一个或多个扬声器播放。预先录制的公告1008可以是预先录制的警告公告。例如，当检测到特定暴力事件时，预先录制的公告1008可以指示乘客软化他们的声音或以其他方式保持冷静。动作引擎410可以包括视频码流器(video streamer)1010。如果暴力事件升级，从车载相机捕获的视频可以实时流式传输到当局，从而允许系统400利用交通工具中可用的连接。

动作引擎410可以包括辅助设备1012。可以安装辅助设备1012，以便在汽车中发生暴力事件时实时采取进一步动作。例如，利用用于检测暴力事件的相机跟踪，可以向目标人触发胡椒喷雾，以防止暴力升级到危及生命的情形。可以安装警报器来向交通工具外部的人发出附加警报，以吓跑攻击者。

公共交通中的故意破坏行为每年花费数百万的清洁和维修费用。很多时候，违法者无法被标识和追究责任。未来的机器人出租车可能更容易受到这种威胁，因为没有驾驶员来阻止它。本文所公开的系统和方法试图经由驾驶员/乘客监测系统(driver/passengermonitor system，DMS)来检测甚至预测故意破坏行为。在招手(hail)请求之前，乘客可以通过登记个人信息链接到特定乘坐设施，因此可能很容易标识违法者。如本文所公开的，故意破坏可以包括但不限于，诸如涂鸦、刮伤表面、打碎零件、打碎玻璃或显示器、切割或扯掉室内装饰或通常用例如食物污染内部的活动。所有这些活动都具有可以通过如本文所公开的多模态感测和机器学习算法来标识的特征。乘客的隐私可以得到保护，因为只有在检测到故意破坏的情况下，才会进行标识，而不是永久存储。

故意破坏活动具有机器学习算法可以检测到的特征。例如，当乘客从像进食之类的细微移动(可能导致内部的污染)到涉及违法者全身移动的极端身体攻击时，甚至可能影响交通工具车主体的移动。如本文所公开的，多模态舱监测系统，其不仅包括相机和/或红外传感器，而且例如还包括麦克风和/或嗅觉传感器。本文所公开的系统和方法可以检测气味、声音(动作和语音两者，后者与语音识别相组合)、情绪状态、手、脚和身体移动的组合，以标识故意破坏行为。故意破坏也可能针对传感器本身。在这种情况下，传感器数据的缺失可以与来自剩余传感器的数据相结合用于标识故意破坏。

本文所公开的系统和方法可以实现预测阶段和记录阶段。在预测阶段中，系统假设故意破坏不是从一秒开始到下一秒，而是随着时间的推移而累积。使用用于声音活动和语音识别两者的音频传感器可以检测到即将发生的暴力的标志。如果检测到潜在的暴力，则系统可以使用心理和/或精神病学技术来应对乘客，使他们意识到他们的意图被检测到并将被记录下来，或指示他们冷静下来。系统可以由心理学和其他行为科学的专家进行参数化，以开发正确的要被传递的响应。

如果无法防止故意破坏，则系统可以应用记录阶段。如果系统标识出潜在的故意破坏行为，它们可以将传感器证据和检测到的动作本地存储在安全存储中，以供以后用作可以映射到预订该行程的乘客数据的证据。还可以将数据传送到远程存储，以用于映射和/或分析。在记录和保存数据之后，交通工具可以向乘客发出警告，以通知他们潜在的故意破坏被检测到，并将对其进行调查，并可能产生法律后果。

图12示出了根据本公开的至少一个示例的用于检测和缓解故意破坏的方法1200。方法1200可以开始于阶段1202，在阶段1202处，可以激活交通工具的传感器。传感器可以是声音、振动、嗅觉或如本文所公开的其他标量传感器。换句话说，传感器可以收集要由处理器接收的非图像数据。可以使用来自传感器的数据来预测暴力动作(1204)。例如，麦克风可能检测到类似于交通工具上脱离的零件的声音。例如，声音可能类似于塑料断裂的声音。声音也可以是违法者表示他或她有盗窃或以其他方式损坏交通工具部件的意图的语音。此时传感器可以不包括相机。传感器的其他示例可以包括陀螺仪和加速度计，它们可以确定交通工具是否正在经受突然回转或通常与故意破坏相关联的其他移动。

可以以分层方式应用各种传感器。为了保护乘员的隐私，在正常操作期间可以保持相机关闭。其他类型的传感器可以用于首先预测，然后标识和记录疏忽或暴力动作的标志：麦克风可以用于检测物理损坏的声音(破裂、刮坏或撕裂声音)或乘客的攻击性的声音。当乘客的情绪状态发展出潜在的攻击性并且仍然可以预防时，麦克风在预测阶段可能特别有用。嗅觉传感器可以检测可能导致内部污染或损坏的食物或化学制品。此外，嗅觉传感器可以检测由乘客留在交通工具内部的腐烂或其他变质食物的气味。移动传感器可以检测由乘客不寻常和有力的移动引起的暴力移动。

基于该数据可以确定暴力行为并非即将发生(1206)。如果暴力行为并非即将发生，则方法1200可以返回到阶段1202，在阶段1202处，可以使用传感器收集附加数据以预测未来的暴力动作。

如果确定暴力行为即将发生(即，可能发生故意破坏)，则可以激活相机(1208)。可以使用经由相机捕获的图像执行附加分析(1210)。基于相机的分析可以包括与乘客通信(1212)。例如，可以将消息传送到智能设备或在交通工具内可听地播放，以通知乘客相机已经被激活，并且已经检测到潜在的暴力行为或故意破坏。

可以使用图像和与乘客的可能通信确认暴力和/或故意破坏行为。例如，图像可以包括乘客吃东西和将食物或饮料洒在卡内的照片。图像可以显示乘客行为不稳定，可能会对交通工具造成损坏。

如果没有检测到暴力或故意破坏，则方法1200可以前进到阶段1216，在阶段1216处，相机被关闭。在关闭相机之后，方法1200可以返回到阶段1202，在阶段1202处，可以记录附加传感器数据以再次开始方法1200。

如果检测到暴力或故意破坏，则相机和传感器可以记录暴力动作和乘客的身份(1218)。例如，可以保存与预定乘坐的乘客相关联的用户简档，以供当局参考。此外，由传感器和相机收集的数据可以本地保存和/或传送到交通工具外存储，以供以后由当局使用和/或在交通工具损坏的民事事项中使用。

如本文所公开的，缓解故意破坏的一部分可以包括将交通工具导航到安全地点(1220)或警察局(1222)。在到达安全地点或警察局之后，方法1200可以终止(1224)。

本文公开的各实施例可在硬件、固件和软件中的一者或组合中实现。各实施例也可被实现为存储在机器可读存储设备上的指令，这些指令可由至少一个处理器读取并执行，以执行本文中所描述的操作。机器可读存储设备可包括用于以可由机器(例如，计算机)读取的形式存储信息的任何非瞬态机制。例如，机器可读存储设备可包括只读存储器(read-only memory，ROM)、随机存取存储器(random-access memory，RAM)、磁盘存储介质、光存储介质、闪存设备、以及其他存储设备和介质。

处理器子系统可用于执行机器可读介质上的指令。处理器子系统可以包括一个或多个处理器，每一个处理器具有一个或多个核。另外，处理器子系统可被设置在一个或多个物理设备上。处理器子系统可包括一个或多个专用处理器，诸如图形处理单元(graphicprocessing unit，GPU)、数字信号处理器(digital signal processor,DSP)、现场可编程门阵列(field programmable gate array，FPGA)或固定功能处理器。

如本文中所描述的示例可包括逻辑或者数个组件、模块或机制，或可在逻辑或者数个组件、模块或机制上进行操作。各模块可以是通信地耦合到一个或多个处理器以实现本文中所描述的操作的硬件、软件或固件。各模块可以是硬件模块，并且由此，模块可被认为是能够执行指定操作的有形实体且可按某种方式来配置或布置。在示例中，能以指定的方式将电路(例如，内部地或者相对于诸如其他电路之类的外部实体)布置为模块。在示例中，一个或多个计算机系统(例如，独立的客户端或服务器计算机系统)或一个或多个硬件处理器的全部或部分可由固件或软件(例如，指令、应用部分、或者应用)配置为操作用于执行指定的操作的模块。在示例中，软件可驻留在机器可读介质上。在示例中，软件在由模块的底层硬件执行时，使得该硬件执行指定的操作。因此，术语硬件模块被理解为涵盖有形实体，该有形实体是被物理地构造、具体地配置(例如，硬连线)、或者临时地(例如，瞬态地)配置(例如，编程)为以指定的方式操作或者执行本文中所描述的任何操作的部分或全部的实体。考虑到其中临时配置模块的示例，这些模块中的每一个不需要在任何一个时刻进行实例化。例如，在模块包括使用软件而配置的通用硬件处理器的情况下，该通用硬件处理器可以在不同时间被配置为相应的不同模块。软件可相应地配置硬件处理器，例如以便在一个时间实例处构造特定的模块，并且在不同的时间实例处构造不同的模块。模块也可以各是软件或固件模块，这些模块操作以执行本文中所描述的方法。

如在本文档中所使用的，电路系统或电路可单独或以任何组合方式包括例如：硬连线电路系统；可编程电路系统，诸如包括一个或多个单独指令处理核的计算机处理器；状态机电路系统；和/或存储由可编程电路系统执行的指令的固件。电路、电路系统或模块可共同或单独地被具体化为形成较大系统的一部分的电路系统，该较大系统例如，集成电路(integrated circuit，IC)、片上系统(system on-chip，SoC)、桌面型电脑、膝上型电脑、平板计算机、服务器、智能电话等。

如本文中任何实施例中所使用的，术语“逻辑”可以指被配置为用于执行前述操作中的任何操作的固件和/或电路系统。固件可被具体化为被硬编码(例如，非易失性)在存储器设备和/或电路系统中的代码、指令或指令集和/或数据。

如在本文中的任何实施例中所使用的，“电路系统”例如可以单独地或以任何组合包括硬连线电路系统、可编程电路系统、状态机电路系统、逻辑和/或存储由可编程电路系统执行的指令的固件。该电路系统可被具体化为集成电路(诸如集成电路芯片)。在一些实施例中，电路系统可以至少部分地由处理器电路系统形成，该处理器电路系统执行与本文描述的功能相对应的代码和/或指令集(例如，软件、固件等)，从而将通用处理器转换为专用处理环境以执行本文中所描述的操作中的一个或多个操作。在一些实施例中，处理器电路系统可以被具体化为独立的集成电路，或者可以作为若干组件中的一个组件并入集成电路。在一些实施例中，节点或其他系统的各种组件和电路系统可以组合在片上系统(SoC)体系结构中。

图13是以计算机系统1300(诸如计算机系统202)的示例形式示出根据实施例的机器的框图，该机器中有指令集或指令序列，这些指令集或序列能被执行以使该机器执行本文中讨论的方法中的任意一个方法。在替代实施例中，该机器作为独立设备进行操作，或可被连接(例如，联网)到其他机器。在联网的部署中，该机器可在服务器-客户端网络环境中作为服务器或客户端机器来进行操作，或者其可在对等(或分布式)网络环境中充当对等机。该机器可以是交通工具子系统、个人计算机(personal computer，PC)、平板PC、混合平板、个人数字助理(personal digital assistant，PDA)、移动电话、或能够执行指定要由该机器采取的动作的指令(顺序地或以其他方式)的任何机器。进一步地，虽然仅图示出单个机器，但是，术语“机器”也应当被认为包括单独地或联合地执行一组(或多组)指令以执行本文中所讨论的方法中的任何一种或多种方法的机器的任何集合。类似地，术语“基于处理器的系统”应当认为包括由处理器(例如，计算机)控制或操作以单独地或联合地执行指令来执行本文中所讨论的方法中的任何一种或多种方法的一个或多个机器的任何集合。

示例计算机系统1300包括至少一个处理器1302(例如，中央处理单元(centralprocessing unit，CPU)、图形处理单元(graphics processing unit，GPU)或这两者、处理器核、计算节点等)、主存储器1304和静态存储器1306，这些组件经由链路1308(例如，总线)彼此通信。计算机系统1300可进一步包括视频显示单元1310、字母数字输入设备1312(例如，键盘)、以及用户界面(user interface，UI)导航设备1314(例如，鼠标)。在一个实施例中，视频显示单元1310、输入设备1312和UI导航设备1314被并入到触屏显示器中。计算机系统1300可以附加地包括存储设备1316(例如，驱动器单元)、信号生成设备1318(例如，扬声器)、网络接口设备1320以及一个或多个传感器(未示出)，该一个或多个传感器诸如全球定位系统(global positioning system，GPS)传感器、罗盘、加速度计、陀螺仪、磁力计、或其他传感器。

存储设备1316包括机器可读介质1322，其上存储有一组或多组数据结构和指令1324(例如，软件)，这些数据结构和指令1324具体化本文中所描述的方法或功能中的任何一者或多者，或者由本文中所描述的方法或功能中的任何一者或多者利用。在由计算机系统1300执行指令1324期间，这些指令1324也可完全地或至少部分地驻留在主存储器1304、静态存储器1306内，和/或驻留在处理器1302内，其中，主存储器1304、静态存储器1306和处理器1302也构成机器可读介质。

虽然机器可读介质1322在示例实施例中被图示为单个介质，但术语“机器可读介质”可包括存储一条或多条指令1324的单个介质或多个介质(例如，集中式或分布式数据库和/或相关联的高速缓存和服务器)。术语“机器可读介质”也应当被认为包括任何有形介质，该有形介质能够存储、编码或携载供机器执行并且使机器执行本公开的方法中的任何一种或多种方法的指令，或者该有形介质能够存储、编码或携载由此类指令利用或与此类指令相关联的数据结构。术语“机器可读介质”应当相应地被认为包括但不限于固态存储器以及光和磁介质。机器可读介质的特定示例包括非易失性存储器，作为示例，包括但不限于：半导体存储器设备(例如，电可编程只读存储器(electrically programmable read-only memory，EPROM)、电可擦除可编程只读存储器(electrically erasableprogrammable read-only memory，EEPROM)和闪存存储器设备)；诸如内部硬盘及可移除盘之类的磁盘；磁光盘；以及CD-ROM和DVD-ROM盘。

可以使用传输介质，经由网络接口设备1320，利用数个公知的传输协议中的任何一种协议(例如，HTTP)，进一步在通信网络1326上传送或接收指令1324。通信网络的示例包括：局域网(local area network，LAN)、广域网(wide area network，WAN)、互联网、移动电话网络、普通老式电话(plain old telephone，POTS)网络、以及无线数据网络(例如，蓝牙、Wi-Fi、3G、以及4G LTE/LTE-A、5G、DSRC或卫星(例如，近地轨道)网络)。术语“传输介质”应当被认为包括能够存储、编码或携带由机器执行的指令的任何无形的介质，并且包括用于促进此类软件的通信的数字或模拟通信信号或者其他无形的介质。

附加注释

以下非限制性示例，详细说明了本主题的某些方面，以解决挑战并提供本文讨论的益处，等等。

示例1是一种用于检测和缓解交通工具内骚扰的系统，系统包括：至少一个处理器；以及存储指令的存储器，当该指令由至少一个处理器执行时，使得至少一个处理器执行包括以下各项的动作：接收环境数据，环境数据捕获交通工具内一个或多个乘客的行为，基于环境数据来计算骚扰得分，确定骚扰得分超过预定阈值，以及激活交通工具的保护系统以缓解骚扰。

在示例2中，示例1的主题任选地包括，其中计算骚扰得分包括：确定至少一个乘客的行为构成骚扰的概率；以及确定乘客中的该至少一个乘客的行为的加权因子。

在示例3中，示例1-2中任一项或多项的主题任选地包括，其中计算骚扰得分包括确定乘客中的至少一个乘客的行为的加权平均。

在示例4中，示例1-3中任一项或多项的主题任选地包括，其中动作进一步包括在骚扰得分超过预定阈值时激活交通工具的增强的监测系统。

在示例5中，示例1-4中任何一项或多项的主题任选地包括，其中动作进一步包括：响应于确定骚扰得分超过预定阈值，向乘客中的一个乘客的设备传送消息；以及从乘客中的一个乘客接收另一个乘客的行为是骚扰的确认。

在示例6中，示例1-5中任何一项或多项的主题任选地包括从位于交通工具内的至少一个传感器接收环境。

在示例7中，示例1-6中的任何一项或多项的主题任选地包括，其中激活保护系统包括将交通工具导航到以下位置中的一个：警察局、营业地点或公共场所。

在示例8中，示例1-7中的任何一项或多项的主题任选地包括，其中激活保护系统包括使安全带控制系统致动，以锁定乘客中的至少一个乘客的安全带。

示例9是一种用于检测和缓解交通工具内的破坏性行为的系统，系统包括：至少一个处理器；以及存储指令的存储器，当该指令由至少一个处理器执行时，使得至少一个处理器执行包括以下各项的动作：接收环境数据，环境数据与交通工具内的一个或多个乘客的行为相关联，并且包括声音数据、语音数据和图像数据；将声音数据、语音数据和图像数据中的每一个数据分类为暴力阶段，暴力阶段包括平静阶段、紧张阶段和危机阶段中的至少一个阶段；确定声音数据、语音数据和图像数据中的至少一个数据的暴力阶段是紧张阶段和危机阶段中的至少一个阶段；以及在交通工具中使得动作被激活，以缓解破坏性行为。

在示例10中，示例9的主题任选地包括，其中动作进一步包括确定与暴力阶段相关联的有害行为的水平。

在示例11中，示例9-10中的任何一项或多项的主题任选地包括，其中动作进一步包括基于由乘客中的至少一个乘客接收到的输入来确定环境数据何时导致假肯定。

在示例12中，示例11的主题任选地包括，其中动作进一步包括响应于假肯定，将环境数据添加到与用于对声音数据、语音数据和图像数据中的至少一个数据进行分类的模型相关联的数据集，以创建经更新的数据集。

在示例13中，示例12的主题任选地包括，其中动作进一步包括使用经更新的数据集重新训练模型。

在示例14中，示例9-13中的任何一项或多项的主题任选地包括，其中对声音数据、语音数据和图像数据中的每一个数据进行分类包括将声音数据、语音数据和图像数据中的至少一个数据映射到表。

在示例15中，示例9-14中的任何一项或多项的主题任选地包括，其中激活动作引擎包括向乘客中的至少一个乘客传送消息。

在示例16中，示例9-15中的任何一项或多项的主题任选地包括，其中激活动作引擎包括将交通工具导航到以下位置中的一个：警察局、营业地点或公共场所。

在示例17中，示例9-16中的任何一项或多项的主题任选地包括，其中激活动作引擎包括解锁交通工具的至少一个门。

在示例18中，示例9-17中的任何一项或多项的主题任选地包括，其中激活动作引擎包括使得交通工具的组件激活以限制交通工具内部的乘客。

示例19是一种用于检测和缓解对交通工具的损坏的系统，系统包括：至少一个处理器；以及存储指令的存储器，当该指令由至少一个处理器执行时，使得至少一个处理器执行包括以下各项的动作：从与交通工具相关联的至少一个标量传感器接收非图像数据；基于非图像数据预测有害行为；确定有害行为是否即将发生；响应于确定有害行为即将发生，激活交通工具的一个或多个相机；从一个或多个相机接收图像数据；以及基于图像数据确认有害行为即将发生。

在示例20中，示例19的主题任选地包括，其中动作进一步包括对接收到的图像数据执行分析。

在示例21中，示例19-20中任何一项或多项的主题任选地包括，其中动作进一步包括确认有害行为。

在示例22中，示例21的主题任选地包括，其中动作进一步包括响应于确认有害行为，激活一个或多个缓解策略。

在示例23中，示例19-22中任何一项或多项的主题任选地包括，其中动作进一步包括：使用一个或多个相机来记录有害行为；以及向远程计算机传送非图像数据、图像数据和用户简档。

在示例24中，示例19-23中任何一项或多项的主题任选地包括，其中动作进一步包括向警察传送通知；以及激活交通工具的喇叭或外部灯。

在示例25中，示例19-24中任何一项或多项的主题任选地包括，其中动作进一步包括将交通工具导航到安全场所或警察局。

示例26是一种用于检测和缓解交通工具内的骚扰的方法，方法包括：接收环境数据，环境数据捕获交通工具内一个或多个乘客的行为；基于环境数据来计算骚扰得分；确定骚扰得分超过预定阈值；以及激活交通工具的保护系统以缓解骚扰。

在示例27中，示例26的主题可任选地包括：其中计算骚扰得分包括：确定乘客中的至少一个乘客的行为构成骚扰的概率；以及确定乘客中的该至少一个乘客的行为的加权因子。

在示例28中，示例26-27中任一项或多项的主题任选地包括：其中计算骚扰得分包括确定乘客中的至少一个乘客的行为的加权平均。

在示例29中，示例26-28中任一项或多项的主题任选地包括，在骚扰得分超过预定阈值时激活交通工具的增强的监测系统。

在示例30中，示例26-29中任一项或多项的主题任选地包括，响应于确定骚扰得分超过预定阈值，向乘客中的一个乘客的设备传送消息；以及从乘客中的一个乘客接收另一个乘客的行为是骚扰的确认。

在示例31中，示例26-30中任何一项或多项的主题任选地包括从位于交通工具内的至少一个传感器接收环境。

在示例32中，示例26-31中的任何一个或多个的主题任选地包括，其中激活保护系统包括将交通工具导航到以下位置中的一个：警察局、营业地点或公共场所。

在示例33中，示例26-32中的任何一项或多项的主题任选地包括，其中激活保护系统包括使安全带控制系统致动，以锁定乘客中的至少一个乘客的安全带。

示例34是至少一种计算机可读介质，包括用于执行示例26-33的方法中的任一项的指令。

示例35是一种包括用于执行如示例26-33的方法中的任一项的装置的设备。

示例36是一种用于检测和缓解交通工具内的破坏性行为的方法，方法包括：接收环境数据，环境数据与交通工具内的一个或多个乘客的行为相关联，并且包括声音数据、语音数据和图像数据；将声音数据、语音数据和图像数据中的每一个数据分类为暴力阶段，暴力阶段包括平静阶段、紧张阶段和危机阶段中的至少一个阶段；确定声音数据、语音数据和图像数据中的至少一个数据的暴力阶段是紧张阶段和危机阶段中的至少一个阶段；以及在交通工具中使得动作被激活，以缓解破坏性行为。

在示例37中，示例36的主题任选地包括，其中动作进一步包括确定与暴力阶段相关联的有害行为的水平。

在示例38中，示例36-37中的任何一项或多项的主题任选地包括，其中动作进一步包括基于由乘客中的至少一个乘客接收到的输入来确定环境数据何时导致假肯定。

在示例39中，示例38的主题任选地包括，其中动作进一步包括响应于假肯定，将环境数据添加到与用于对声音数据、语音数据和图像数据中的至少一个数据进行分类的模型相关联的数据集，以创建经更新的数据集。

在示例40中，示例39的主题任选地包括，其中动作进一步包括使用经更新的数据集重新训练模型。

在示例41中，示例36-40中的任何一项或多项的主题任选地包括，其中对声音数据、语音数据和图像数据中的每一个数据进行分类包括将声音数据、语音数据和图像数据中的至少一个数据映射到表。

在示例42中，示例36-41中的任何一项或多项的主题任选地包括，其中激活动作引擎包括向乘客中的至少一个乘客传送消息。

在示例43中，示例36-42中的任何一项或多项的主题任选地包括，其中激活动作引擎包括将交通工具导航到以下位置中的一个：警察局、营业地点或公共场所。

在示例44中，示例36-43中的任何一项或多项的主题任选地包括，其中激活动作引擎包括解锁交通工具的至少一个门。

在示例45中，示例36-44中的任何一项或多项的主题任选地包括，其中激活动作引擎包括使得交通工具的组件激活以限制交通工具内部的乘客。

示例46是至少一种计算机可读介质，包括用于执行示例36-45的方法中的任一项的指令。

示例47是一种包括用于执行如示例36-45的方法中的任一项的装置的设备。

示例48是一种用于检测和缓解对交通工具的损坏的方法，方法包括：从与交通工具相关联的至少一个标量传感器接收非图像数据；基于非图像数据预测有害行为；确定有害行为是否即将发生；响应于确定有害行为即将发生，激活交通工具的一个或多个相机；从一个或多个相机接收图像数据；以及基于图像数据确认有害行为即将发生。

在示例49中，示例48的主题任选地包括，对接收到的图像数据执行分析。

在示例50中，示例48-49中任何一项或多项的主题任选地包括，确认有害行为。

在示例51中，示例50的主题任选地包括，响应于确认有害行为，激活一个或多个缓解策略。

在示例52中，示例48-51中任何一项或多项的主题任选地包括，使用一个或多个相机来记录有害行为；以及向远程计算机传送非图像数据、图像数据和用户简档。

在示例53中，示例48-52中任何一项或多项的主题任选地包括，向警察传送通知，以及激活交通工具的喇叭或外部灯。

在示例54中，示例48-53中任何一项或多项的主题任选地包括，将交通工具导航到安全场所或警察局。

示例55是至少一种计算机可读介质，包括用于执行示例48-54的方法中的任一项的指令。

示例56是一种包括用于执行如示例48-54的方法中的任一项的装置的设备。

在示例57中，示例1-56中的任一项或任何组合的装置或方法可以任选地被配置成使得所叙述的所有要素或选项都可用于使用或从中选择。

以上具体实施方式包括对附图的引用，附图形成具体实施方式的部分。附图通过示例示出可实现本发明的具体实施例。这些实施例在本文中也被称为“示例”。这些示例可包括除了所示或所描述的那些要素以外的要素。然而，本申请发明人还构想了其中只提供所示出或所描述的那些要素的示例。另外，本申请发明人还构想了相对于本文中所示出或所描述的特定示例(或者其一个或多个方面)或者相对于本文中所示出或所描述的其他示例(或者其一个或多个方面)使用所示出或所描述的那些要素(或者其一个或多个方面)的任何组合或排列的示例。

在本文档与通过引用所结合的任何文档之间的不一致的使用的情况下，以本文档的使用为准。

在此文档中，如在专利文档中常见的那样，使用术语“一(a或an)”以包括一个或多于一个，这独立于“至少一个”或“一个或多个”的任何其他实例或用法。在此文档中，除非另外指示，否则使用术语“或”来指非排他性的或，使得“A或B”包括“A但非B”、“B但非A”、以及“A和B”。在本文中，术语“包括(including)”和“其中(in which)”被用作相应的术语“包含(comprising)”和“其特征在于(wherein)”的普通英语等价词。并且，在所附权利要求书中，术语“包括”和“包含”是开放式的，即，包括除在权利要求中在这种术语之后列出的那些元素之外的元素的系统、设备、制品、构成、形成或过程仍然被视为落在该权利要求的范围之内。此外，在所附权利要求书中，术语“第一”、“第二”、“第三”等仅用作标记，而不旨在对其对象施加数值要求。

以上描述旨在是说明性而非限制性的。例如，以上所描述的示例(或者其一个或多个方面)可彼此组合使用。可使用诸如本领域普通技术人员在审阅以上描述之后的其他实施例。提供摘要以符合37 C.F.R.§1.72(b)，从而允许读者快速地确定本技术公开的性质。提交该摘要，并且理解该摘要将不用于解释或限制权利要求书的范围或含义。而且，在以上具体实施方式中，各种特征可编组在一起以使本公开精简。但这不应被解释为意指未要求保护的所公开特征对任何权利要求而言都是必要的。相反，发明性主题可在于少于特定的所公开实施例的所有特征。因此，所附权利要求由此作为示例或实施例被结合到详细描述中，其中每一权利要求作为单独的实施例独立存在，并且构想这些实施例可在各种组合或置换中相互组合。本发明的范围应当参考所附权利要求连同这些权利要求赋予的等同物的全部范围而确定。

Claims (25)

1.一种用于检测和缓解交通工具内的骚扰的系统，所述系统包括：

至少一个处理器；以及

存储器，所述存储器存储有指令，所述指令在被所述至少一个处理器执行时，使所述至少一个处理器执行包括以下各项的动作：

接收环境数据，所述环境数据捕获所述交通工具内一个或多个乘客的行为，

基于所述环境数据来计算骚扰得分，

确定所述骚扰得分超过预定阈值，以及

激活所述交通工具的保护系统，以缓解所述骚扰。

2.如权利要求1所述的系统，其特征在于，计算所述骚扰得分包括：

确定所述乘客中的至少一个乘客的行为构成骚扰的概率；以及

确定所述乘客中的所述至少一个乘客的行为的加权因子。

3.如权利要求1所述的系统，其特征在于，计算所述骚扰得分包括确定所述乘客中的所述至少一个乘客的行为的加权平均。

4.如权利要求1所述的系统，其特征在于，所述动作进一步包括在所述骚扰得分超过所述预定阈值时，激活所述交通工具的增强的监测系统。

5.如权利要求1所述的系统，其特征在于，所述动作进一步包括：

响应于确定所述骚扰得分超过所述预定阈值，向所述乘客中的一个乘客的设备传送消息；以及

从所述乘客中的一个乘客接收对另一个乘客的所述行为是骚扰的确认。

6.如权利要求1所述的系统，其特征在于，接收所述环境数据包括从位于所述交通工具内的至少一个传感器接收所述环境。

7.如权利要求1所述的系统，其特征在于，激活所述保护系统包括将所述交通工具导航到以下位置中的一个：警察局、营业地点或公共场所。

8.如权利要求1所述的系统，其特征在于，激活所述保护系统包括使安全带控制系统致动，以锁定所述乘客中的至少一个乘客的安全带。

9.一种用于检测和缓解交通工具内的骚扰的方法，所述方法包括：

接收环境数据，所述环境数据捕获所述交通工具内一个或多个乘客的行为；

基于所述环境数据来计算骚扰得分；

确定所述骚扰得分超过预定阈值；以及

激活所述交通工具的保护系统，以缓解所述骚扰。

10.如权利要求9所述的方法，其特征在于，计算所述骚扰得分包括：

确定所述乘客中的至少一个乘客的行为构成骚扰的概率；以及

确定所述乘客中的所述至少一个乘客的行为的加权因子。

11.如权利要求9所述的方法，其特征在于，计算所述骚扰得分包括确定所述乘客中的至少一个乘客的行为的加权平均。

12.如权利要求9所述的方法，其特征在于，进一步包括在所述骚扰得分超过所述预定阈值时，激活所述交通工具的增强的监测系统。

13.如权利要求9所述的方法，进一步包括：

响应于确定所述骚扰得分超过所述预定阈值，向所述乘客中的一个乘客的设备传送消息；以及

从所述乘客中的一个乘客接收对另一个乘客的所述行为是骚扰的确认。

14.如权利要求9所述的方法，其特征在于，接收所述环境数据包括从位于所述交通工具内的至少一个传感器接收所述环境。

15.如权利要求9所述的方法，其特征在于，激活所述保护系统包括将所述交通工具导航到以下位置中的一个：警察局、营业地点或公共场所。

16.如权利要求9所述的方法，其特征在于，激活所述保护系统包括使安全带控制系统致动，以锁定所述乘客中的至少一个乘客的安全带。

17.至少一种计算机可读介质，包括用于执行如权利要求9-16所述的方法中的任一项的指令。

18.一种用于检测和缓解交通工具内的破坏性行为的方法，所述方法包括：

接收环境数据，所述环境数据与所述交通工具内的一个或多个乘客的行为相关联，并且包括声音数据、语音数据和图像数据；

将所述声音数据、语音数据和图像数据中的每一个数据分类为暴力阶段，所述暴力阶段包括平静阶段、紧张阶段和危机阶段中的至少一个阶段；

确定所述声音数据、语音数据和图像数据中的至少一个数据的所述暴力阶段是所述紧张阶段和所述危机阶段中的至少一个阶段；以及

在所述交通工具中使动作被激活，以缓解所述破坏性行为。

19.如权利要求18所述的方法，其特征在于，所述动作进一步包括确定与所述暴力阶段相关联的有害行为的水平。

20.如权利要求18所述的方法，其特征在于，所述动作进一步包括基于由所述乘客中的至少一个乘客接收到的输入来确定所述环境数据何时导致假肯定。

21.如权利要求20所述的方法，其特征在于，所述动作进一步包括响应于所述假肯定，将所述环境数据添加到与用于对所述声音数据、语音数据和图像数据中的至少一个数据进行分类的模型相关联的数据集，以创建经更新的数据集。

22.如权利要求21所述的方法，其特征在于，所述动作进一步包括使用所述经更新的数据集来重新训练所述模型。

23.如权利要求18所述的方法，其特征在于，对所述声音数据、语音数据和图像数据中的每一个数据进行分类包括将所述声音数据、语音数据和图像数据中的至少一个数据映射到表。

24.如权利要求18所述的方法，其特征在于，激活所述动作引擎包括向所述乘客中的至少一个乘客传送消息。

25.至少一种计算机可读介质，包括用于执行如权利要求18-24所述的方法中的任一项的指令。

Images