CN113022574A - 用于检测交通工具中乘客异常安定的系统和方法 - Google Patents

Abstract

用于检测交通工具中乘客异常安定的系统和方法。用于检测和解决车辆中异常安定事件的系统包括图像传感器和处理系统。处理系统被配置为在乘客开始进入车辆时，从图像传感器接收图像数据；处理图像数据以确定至少一个乘客在舱室中的位置；在从乘客开始进入车辆起经过第一预定时间段之后，基于所确定的所述至少一个乘客在舱室中的位置，检测到所述至少一个乘客位于车辆的所述一个或多个座椅外部；以及响应于在经过第一预定时间段之后检测到所述至少一个乘客位于所述一个或多个座椅外部，以预定义方式操作车辆的至少一个部件。

Description

用于检测交通工具中乘客异常安定的系统和方法

相关应用的交叉引用

本申请与题为“System and Method for Detecting and Mitigating an UnsafeCondition in a Vehicle”的与本申请在同一天提交的美国申请no.16/705,961相关，该美国申请的内容通过引用以其整体并入本文中。

技术领域

本公开总体上涉及交通工具的舱室系统，并且更特别地涉及用于检测乘客何时已经安定（settle）在交通工具中的系统。

背景技术

随着技术朝向自主驾驶发展，在未来汽车中将不存在人类驾驶员。然而，缺少人类驾驶员呈现了一系列新的挑战。特别地，在没有人类驾驶员的情况下，汽车本身可能需要承担理解汽车内部状态的任务。

更具体地，当乘客具有进入交通工具或者安定入他或她的座椅中的困难时，可能出现问题。在常规交通工具中，驾驶员可以识别乘客在装载到交通工具中时可能具有的问题，并且采取必要的动作来协助乘客装载到交通工具中。然而，在自主交通工具中，不存在驾驶员来识别和补救该问题。照此，对用于标识和减轻其中乘客具有安定到交通工具中他们的相应座椅中的问题的情形的系统和方法的改进将是有益的。

发明内容

在一个实施例中，一种用于检测和解决交通工具中异常安定事件的系统包括图像传感器和处理系统，该图像传感器被配置为生成并且输出交通工具舱室中的一个或多个座椅的图像数据，该处理系统可操作地连接到图像传感器并且包括至少一个处理器。处理系统被配置为：在乘客开始进入交通工具时，从图像传感器接收图像数据；处理图像数据以确定至少一个乘客在舱室中的位置；在从乘客开始进入交通工具起经过第一预定时间段之后，基于所确定的所述至少一个乘客在舱室中的位置，检测到所述至少一个乘客位于交通工具的所述一个或多个座椅外部；并且响应于在经过第一预定时间段之后检测到所述至少一个乘客位于所述一个或多个座椅外部，以预定义方式操作交通工具的至少一个部件。

在另一个实施例中，交通工具的所述至少一个部件包括交通工具的驱动系统，并且以预定义方式操作所述至少一个部件包括操作驱动系统以防止交通工具移动。

在一些实施例中，交通工具的所述至少一个部件包括布置在交通工具舱室中的显示屏，并且以预定义方式操作所述至少一个部件包括操作显示屏来播放视频。

附加地，在一个实施例中，交通工具的所述至少一个部件包括一个或多个扬声器，并且以预定义方式操作所述至少一个部件包括操作所述一个或多个扬声器以在交通工具舱室中生成听觉警报。

在另一个实施例中，交通工具的所述至少一个部件包括收发器，并且以预定义方式操作所述至少一个部件包括操作收发器以向远程服务器传送信号。

在一些实施例中，处理系统进一步被配置为在图像数据的处理中，估计所述至少一个乘客的姿势，以确定所述至少一个乘客中的每个乘客的相应乘客位置点。

在一些实施例中，检测到所述至少一个乘客位于交通工具的所述一个或多个座椅外部包括在经过第一预定时间段之前的第二预定时间段内检测到乘客位置点没有位于座椅的座椅边界内。

在一个实施例中，处理系统进一步被配置为在姿势的估计中，估计每个乘客的髋部位置，并且将相应的乘客位置点确定为估计的髋部位置之间的中点。

在另一个实施例中，处理系统进一步被配置为在姿势的估计中，估计每个乘客的肩部位置，并且将相应的乘客位置点确定为估计的肩部位置之间的中点。

附加地，一种检测和减轻交通工具中异常安定事件的方法包括：利用处理系统从图像传感器接收交通工具舱室中一个或多个座椅的图像数据；利用处理系统处理图像数据以确定至少一个乘客在舱室中的位置；利用处理系统，在从乘客开始进入交通工具起经过第一预定时间段之后，基于所确定的所述至少一个乘客在舱室中的位置，检测到所述至少一个乘客位于交通工具的所述一个或多个座椅外部；以及利用处理系统，响应于在经过第一预定时间段之后检测到所述至少一个乘客位于所述一个或多个座椅外部，以预定义方式操作交通工具的至少一个部件。

附图说明

图1是具有舱室监视系统的交通工具的示意性俯视图，该舱室监视系统具有乘客安定监视系统和离开座椅检测系统。

图2是图1的交通工具和乘客安定监视系统的部件的示意图。

图3是操作图1的乘客安定监视系统以在乘客正以异常方式安定到交通工具中的情况下生成警报的方法的流程图。

图4是操作图1的交通工具以减轻检测到的异常安定事件的方法的流程图。

图5是图1的交通工具和乘客离开座椅检测系统的部件的示意图。

图6是操作图1的乘客离开座椅检测系统以在乘客离开他或她的相应座椅的情况下生成警报的方法的流程图。

图7是操作图1的交通工具以减轻检测到的乘客离开座椅事件的方法的流程图。

图8a是图1的交通工具座椅上的乘客的图像。

图8b是图8a的乘客的图像，图8b图示乘客位置点和座椅边界。

图9a是两个乘客在图1的交通工具的相应座椅上的图像，图9a图示乘客的肩部位置、髋部位置和乘客位置点。

图9b是两个乘客在他们相应座椅上的部分的图像，图9b图示乘客髋部位置和座椅边界。

图10a是坐在座椅边界之间的乘客的图像。

图10b是两个乘客的图像，他们中的一个在座椅边界内，并且他们中的另一个在座椅边界外部。

具体实施方式

出于促进对本文中描述的实施例原理的理解的目的，现在对以下书面说明书中的附图和描述进行参考。参考文献不意图对本主题范围的任何限制。如本文中档所属领域中的技术人员通常将想到的，本公开还包括对图示实施例的任何变更和修改，并且包括所描述实施例的原理的另外应用。

可以用最有助于理解所要求保护的主题的方式将各种操作依次描述为多个离散的动作或操作。然而，描述的次序不应被解释为暗示这些操作必定依赖于次序。特别地，这些操作可能不按展示的次序执行。所描述的操作可以以不同于所描述实施例的次序来执行。在附加实施例中，可以执行各种附加操作和/或可以省略所描述的操作。

如关于本公开的实施例所使用的术语“包括”、“包含”、“具有”等是同义的。如本文中所使用的，术语“近似”是指在参考值的±10%以内的值。

图1示出了交通工具100的简化框图，交通工具100具有舱室104、舱室监视系统108、交通工具电子控制单元（“ECU”）112和驱动系统116。如下面详细讨论的，舱室监视系统108被配置为监视交通工具100中乘客的位置，并且确定乘客是否被正确地安定到交通工具中，以及乘客是否离开他或她的相应座椅。舱室监视系统108通过有利地使用交通工具乘客的关键点来确定乘客是否在交通工具中的一个座椅上，从而改进了常规的交通工具监视系统。附加地，舱室监视系统108使能基于乘客的位置生成对应于乘客未能在预定时间段内正确地安定到交通工具中的信号，从而使得交通工具ECU 112能够有利地采取行动来减轻由乘客未能安定到交通工具座椅上引起的问题。特别地，交通工具ECU 112可以通过例如防止交通工具移动、操作扬声器、灯或显示屏来向乘客警告他们没有正确地安定到座椅上、指令乘客如何正确地坐在交通工具中、向乘客通知交通工具在乘客正确地就座之前不能移动、和/或与远程服务器通信以允许人类干预，来减轻由乘客未能安定到交通工具座椅上引起的问题。

附加地，舱室监视系统108是对常规交通工具监视系统的改进，其通过有利地提供一种确定乘客是否已经离开他们相应座椅的准确方式，而没有重复警报或假阳性警报。此外，舱室监视系统108有利地提供生成对应于乘客离开他或她的相应座椅的信号，并且将该信号传达给交通工具ECU 112，使得交通工具ECU 112能够采取行动来减轻由乘客离开他或她的相应座椅引起的不安全状况。如本文中所使用的，短语“不安全状况”指代其中乘客位于交通工具中的某位置（例如在交通工具座椅外部）中的情形，在该位置（例如在交通工具座椅外部），在交通工具突然机动或事故的情况下，乘客处于增加的受伤风险。交通工具ECU112可以通过例如操作灯、扬声器和/或显示器来指令乘客返回到他或她的座椅，并且通过操作驱动系统116来使交通工具100减慢并转向到安全位置以使交通工具100停止来减轻不安全状况，以降低当乘客在他或她的座椅外部时可能引起受伤的突然机动或事故的可能性。因而，舱室监视系统108通过增加交通工具的安全性并且降低对交通工具100中的乘客引起受伤的可能性来改进常规的交通工具监视系统。

图1中描绘的交通工具100是汽车，并且舱室104包括乘客可以坐在其中的四个座椅120、122、124、126。读者应该领会，取决于交通工具100的配置和类型，舱室104可以包括更多或更少的座椅。交通工具100的驱动系统116包括例如内燃机和/或一个或多个电动机之类的驱动交通工具100的车轮的驱动马达，以及使得交通工具100能够以受控方式移动的转向和制动部件。

在其他实施例中，交通工具100可以包括具有用于移动人或货物的一个或多个舱室104的任何数量类型的船舶，诸如火车、公共汽车、地铁、飞行器、直升机、无人驾驶飞机、潜水艇、电梯和乘客移动吊舱。舱室104（其在本文中也可以称为隔间）是用于容纳乘客或货物的典型封闭的空间。尽管交通工具100被图示为具有单个舱室104，但是读者应该领会，交通工具100可以包括任何数量的单独且分离的舱室104（例如，火车车厢内部的多个隔间或空间）。

在该示例性实施例中，交通工具100是共享的自主交通工具，其被配置为自主驾驶到乘客的位置，然后在乘客进入交通工具100时，使用公共道路网络自主将乘客运送到期望的位置。例如，乘客可以使用智能电话或智能设备应用（即“app”）来接合交通工具100的服务。乘客在本文中也被称为占用者、用户、操作员或人员。在其他实施例中，交通工具100是如上所述的任何类型的乘客交通工具，并且在一些实施例中，可以是占用者控制的或远程控制的。

交通工具100还包括多个门132，使得乘客能够进入舱室104和座椅120-126。此外，交通工具100可以包括后舱136，使得用户能够进入交通工具的货物存储区域，例如在后排座椅后面的行李箱或存储空间。

舱室监视系统108被配置为估计舱室104中乘客的位置，并且确定乘客是否在他们相应的座椅120-126上。舱室监视系统108包括乘客安定监视系统138和离开座椅检测系统140，其中每个系统通信地耦合到一个或多个图像传感器142、144、146、148。交通工具ECU112、乘客安定监视系统138和离开座椅检测系统140在本文中可以共同称为交通工具100的处理系统150，并且在一些实施例中，可以集成到单个控制单元中。特别地，乘客安定监视系统138、离开座椅检测系统140和/或交通工具ECU 112可以集成到负责交通工具100的自主导航和交通工具100中其他部件的操作的交通工具的计算机中。在另一个实施例中，处理系统可以部分或全部在“云”中。例如，交通工具ECU 112可以被配置为经由因特网（例如在“云”中）将数据传送到远程存储器，并且本文中描述的交通工具ECU 112、乘客安定监视系统138和/或离开座椅检测系统140的过程和功能可以由与交通工具远程定位（例如在“云”中）的一个或多个处理器执行。

交通工具舱室104中的图像传感器142、144各自被配置为生成舱室104的一部分的图像，而一个或多个图像传感器146、148可以被布置以便生成交通工具100的外部的一部分的图像。图像传感器142-148可以是视频或静止图像相机，其中每个相机具有例如电荷耦合器件（CCD）或用于生成数字图像数据的有源像素传感器。在其他实施例中，图像传感器142-148可以包括热或红外传感器、雷达成像系统、LIDAR成像系统或其他合适的成像系统。

在图示的实施例中，舱室监视系统108包括舱室104中的两个图像传感器142、144。前图像传感器142生成包括前排座椅120、122的舱室前部的数字图像数据，并且后图像传感器144生成包括后排座椅124、126的舱室104后部的数字图像数据。在其他实施例中，舱室监视系统108可以包括：单个图像传感器，该单个图像传感器捕获包括所有座椅120-126的整个舱室104的图像；指向座椅120-126中每个的单独的图像传感器；或者用于生成交通工具中每个座椅的数字图像的任何期望的图像传感器配置。

在一个实施例中，图像传感器142、144被布置在交通工具100的顶板中或顶板上，并且朝向相应的一个或多个座椅120-126被向下引导到舱室104中用于成像。在其他实施例中，图像传感器可以布置在交通工具100的座椅中或仪表板中。例如，在一个特定实施例中，用于对前排座椅120、122成像的图像传感器布置在交通工具100的仪表板中，而用于对后排座椅124、126成像的图像传感器布置在前排座椅120、122中，前排座椅120、122直接位于相应后排座椅124、126的前面。

一个或多个外部图像传感器146、148被配置为生成立即在交通工具100周围的区域的图像。例如，在图示的实施例中，外部图像传感器146、148可以安装在交通工具的后视镜上或代替后视镜，并且指向门132的外部。

交通工具ECU 112经由通信总线152通信地耦合到离开座椅检测系统140和驱动系统116。交通工具ECU 112也可以连接到交通工具100中的各种附加部件。例如，如在图2和图5中所图示的，交通工具ECU 112可以通信地耦合到一个或多个灯180、一个或多个扬声器184和/或一个或多个显示屏188，一个或多个显示屏188定位在舱室104中或者被配置为将光或声音投射到舱室104中。

此外，交通工具ECU 112可以通信地耦合到收发器196，收发器196也被称为无线传送器和接收器，并且例如被配置为经由因特网将数据从交通工具ECU 112无线传送到另一个电子设备（未示出）并从另一个电子设备无线接收数据。因此，收发器196可操作地将交通工具100连接到因特网和其他电子设备。在其他实施例中，收发器196使用蜂窝网络、无线局域网（“Wi-Fi”）、个域网和/或任何其他无线网络发送和接收数据。因而，收发器196与任何期望的无线通信标准或协议兼容，所述任何期望的无线通信标准或协议包括但不限于近场通信（“NFC”）、IEEE 802.11、IEEE 802.15.1（“蓝牙®”）、全球移动通信系统（“GSM”）和码分多址（“CDMA”）。

例如，交通工具ECU 112可以包括一个或多个通用或专用可编程处理器和/或控制器。本领域普通技术人员将认识到，“控制器”或“处理器”包括处理数据、信号或其他信息的任何硬件系统、硬件机构或硬件部件。交通工具ECU 112的至少一个处理器和/或控制器被配置为执行存储在其相关联存储器上的程序指令，以操纵数据或者操作例如驱动系统116、灯180、扬声器184、显示器188和收发器196之类的交通工具100中的一个或多个部件来执行所记载的任务或功能。

乘客安定监视系统

现在参考图2，舱室监视系统108的乘客安定监视系统138被配置为基于接收到的传感器信号来确定乘客当装载到交通工具100中时是否已经安定到他或她的相应座椅上，如果乘客没有正确地安定到交通工具中，则生成表示异常装载事件的信号，并且将该信号传达到交通工具ECU 112。乘客安定监视系统138经由通信总线152通信地耦合到图像传感器142、144，并且被配置为从图像传感器142、144中的每个接收传感器信号，该传感器信号可以是模拟或数字信号。

乘客安定监视系统138包括可操作地连接到相关联的存储器204的至少一个处理器和/或控制器，其以下简称为处理器200。处理器200被配置为执行存储在存储器204上的程序指令208来操纵数据（例如数据220-240）或者操作乘客安定监视系统138或交通工具100中的一个或多个部件来执行所记载的任务或功能。

存储器204是电子存储设备，其被配置为存储数据和程序指令，所述数据和程序指令至少包括图像数据220、乘客位置数据224、配置数据228、安定计时器数据232、就座计时器数据236、异常安定事件数据240以及用于操作离开座椅检测系统140的程序指令208。存储器204可以包括非暂时性计算机可读存储介质和/或通信介质，诸如易失性和非易失性的介质二者、有写能力和只读的介质二者、以任何介质或技术实现的可移除和不可移除的介质二者，其包括CD-ROM、DVD、光盘存储装置、盒式磁带、磁带、磁盘存储装置或其他已知的存储介质技术。

图像数据220是表示由图像传感器142、144以及在一些实施例中由外部图像传感器146、148捕获的一个或多个图像的电子数据。如下面详细讨论的，乘客位置数据224表示对应于乘客位置和/或乘客相关身体部位的一个或多个点。所述点可以被存储为例如与相关联图像中的像素位置相对应的x-y坐标。

配置数据228包括座椅的边界，在一个实施例中，座椅的边界也可以是与相关联图像中的像素位置相对应的x-y坐标。配置数据228可以包括例如对于座椅120-126中每个的髋部区和/或肩部区的边界。所述边界可以是矩形、梯形、圆形、三角形、另一个多边形、以上形状的组合或任何其他合适的形状。在一些实施例中，座椅边界可以是不规则形状的，以便遵循表示乘客安全位置的座椅区的期望轮廓。此外，配置数据228包括对于安定计时器和就座计时器的预定默认值。配置数据228可以预先编程到存储器204中，或者它可以是用户可配置的或远程可配置的，这取决于交通工具100的期望用途和配置。

在一些实施例中，用于安定计时器和就座计时器的默认值中的一个或二者可能取决于特定的乘客或用户。例如，在一个实施例中，对于例如是老年人或具有引起乘客以比典型乘客更慢的速率装载交通工具的残疾的乘客，用于安定计时器的默认值可以是更长的时间或更大的帧计数。在另一个实施例中，用于安定计时器的默认值可以基于从该特定用户或乘客的先前安定时间收集的数据，使得仅当对于特定乘客的安定时间异常长时才生成异常安定事件。乘客特定的默认值可以例如通过收发器196经由已知的方法从远程服务器传送到交通工具。

安定计时器数据232包括安定计时器变量，该安定计时器变量对应于在生成异常安定事件之前，乘客没有正确地处于他们相应座椅上而必须经过的帧数或时间长度的递减计数器或计时器。就座计时器数据236包括就座计时器变量，该就座计时器变量对应于在乘客被确定为已经完成装载交通工具之前乘客必须处于他们相应座椅上的连续帧数或时间长度的递减计时器或计数器。异常安定事件数据240是当已经将乘客检测为以异常方式进行安定时由乘客安定监视系统138输出的警报数据，使得交通工具ECU 112能够实现动作来减轻异常装载事件。

在一些实施例中，乘客安定监视系统138进一步包括通信接口组装件212，该通信接口组装件212具有被配置为将乘客安定监视系统138与图像传感器142-148和交通工具ECU 112耦合的一个或多个接口。通信接口组装件212被配置为使得传感器数据、控制信号、软件或其他信息能够以信号的形式在乘客安定监视系统138与图像传感器142-148或交通工具ECU 112之间传递，所述信号可以例如是电子、电磁、光学或能够由通信接口组装件212接收或传送的其他信号。在一些实施例中，通信接口组装件212可以包括用于连接到诸如有线网络或直接有线通信（例如，通信总线152）之类的有线介质的物理终端。在另外的实施例中，通信接口组装件212可以包括被配置为使能与图像传感器142-148和交通工具ECU 112通信的一个或多个调制解调器、总线控制器等。在一些实施例中，通信接口组装件212可以包括被配置为使能无线通信的一个或多个无线收发器，所述无线通信诸如是声学、RF、红外（IR）、Wi-Fi、蓝牙和其他无线通信方法。

异常乘客安定检测过程

在操作中，乘客安定监视系统138被配置为实现由图3的流程图所图示的方法300，该方法300用于确定乘客是否已经安定到座椅120-126上并完成交通工具装载，并且在乘客在预定时间段内没有正确地安定到交通工具中的情况下生成异常安定事件的警报。在方法300的描述中，方法、过程、模块、处理器、系统等正在执行一些任务或功能的陈述是指控制器或处理器（例如，处理器200）执行存储在可操作地连接到控制器或处理器的非暂时性计算机可读存储介质（例如，存储器204）中的编程指令（例如，程序指令208），以操纵数据或者操作舱室监视系统108和/或交通工具100中的一个或多个部件来执行任务或功能。附加地，方法的步骤可以以任何可行的时间次序来执行，而不管各图中所示的次序或其中描述步骤所用的次序。将领会，在一些实施例中，本文中描述的处理器200的操作可以由处理系统150和/或舱室监视系统108的其他部件——诸如交通工具ECU 112或传感器142、144的集成图像处理器等——来执行，或者所述操作可以由远离交通工具（例如在“云”中）的一个或多个处理器来执行。

图3的方法300开始于处理器200启动乘客进入事件（框302）。在一些实施例中，处理器200可以响应于从交通工具ECU 112接收到的指示交通工具100已经达到乘客上车位置的命令，启动乘客进入事件。在另一个实施例中，交通工具ECU 112或处理器200与感测门的打开或关闭状态的外部图像传感器146、148和/或门传感器（未示出）通信，并且处理器200响应于检测到乘客正在装载到交通工具中而启动乘客装载事件。

一旦在框302中乘客装载事件已经启动，方法300就以如下继续：内部图像传感器142、144捕获舱室104内部的图像，特别是座椅120-126的图像（框304）。附加地，在一些实施例中，外部图像传感器146、148也在框304中操作，以捕获交通工具外部的图像。

图像可以是舱室104的一个或多个RGB图像，包括座椅120-126，或者图像可以是红外图像、三维雷达或LIDAR图像或其他期望的图像。离开座椅检测系统140的处理器200经由例如通信接口组装件212和通信总线152从图像传感器142、144接收图像。在一些实施例中，图像可以由图像传感器142、144或处理器200调整大小，并且存储在存储器204的图像数据220中。示例图像600、610在图8a和图9a中描绘，其中图8a描绘了由后部图像传感器144捕获的示例图像660，其图示了坐在座椅124上的乘客620，而图9a图示了由后部图像传感器144捕获的示例图像610，其图示了坐在后排座椅124、126上的两个乘客624、626。

参照回到图3，过程300通过如下来继续：处理图像数据，以确定舱室104中的乘客的关键点，并且在一些实施例中，确定位于交通工具外部并且在由外部图像传感器146-148捕获的图像中检测到的人员的关键点（框308）。特别地，处理器200被配置为确定图像数据中的多个关键点，以估计乘客的姿势。如本文中所使用的，乘客的“姿势”是指乘客的一个或多个关节、四肢或其他身体部位的相对和/或绝对位置和/或取向。例如，在至少一个实施例中，乘客的姿势包括对应于乘客的特定关节、特别是髋关节和/或肩关节的位置的多个点。更特别地，处理器200基于图像数据220处理图像数据以近似乘客的某些关节的位置，并且将位置作为图像中的x-y坐标返回。处理器200可以被配置为以本领域通常已知的方式执行任何合适的姿势估计技术。

在一个实施例中，关键点是乘客左髋部和右髋部的位置（例如，图8b中乘客620的髋部位置620a和620b，以及图9a中乘客624、626的髋部位置624a-b和626a-b）。在另一实施例中，关键点可以是乘客的左肩部和右肩部的位置（例如，图8b中乘客620的肩部位置621a-b，以及图9a中乘客624、626的肩部位置625a-b和627a-b）。关键点存储在存储器204的乘客位置数据224中。

在一个实施例中，如果处理器200不能确定所述关键点位置中的一个或二者，则处理器200从乘客位置数据224中读取先前图像的（一个或多个）关键点位置。然而，如果不存在先前的关键点数据或者关键点数据在预定数量的帧（例如，大约3帧、大约5帧或大约10帧）或预定时间段（例如，大约0.1秒、大约0.5秒或大约1秒）内已经不可用，则处理器200可以替代地确定不同的关键点。例如，其中处理器被配置为使用髋部位置作为关键点的系统可以替代地将肩部位置确定为关键点，如果髋部位置在预定数量的帧或时间段内不可用的话。预定数量的帧或时间段可以例如存储在配置数据228中。

在一些实施例中，处理器200使用一般化对象跟踪技术而不是人类姿势估计技术来确定乘客的位置和边界。处理器200可以例如使用对象跟踪技术，以本领域通常已知的方式基于图像数据220估计乘客的单个中心点，并且将估计的关键点存储在乘客位置数据224中。处理器200还可以被配置为使用对象跟踪技术来跟踪舱室104中的非人类对象，并且在确定关键点之前或之后，将非人类对象与舱室104中的乘客区分开。

根据关键点，方法300以针对每个乘客确定单个乘客位置点（框312）来继续。特别地，处理器200将每个乘客的多个关键点转换成每个乘客的单个乘客位置点，并且将乘客位置点存储在存储器204的乘客位置数据224中。在一个特定实施例中，每个乘客的乘客位置点对应于关键点的x方向和y方向上的中点。

例如，在图8b的实施例中，乘客位置点620c是两个髋部位置620a、620b之间的中点。替代地，如果肩部位置替代地用作关键点，则乘客位置点621c是两个肩部位置621a、621b之间的中点。同样，如图9a中所描绘的，乘客位置点624c和626c分别对应于乘客624、626的髋部位置624a-b和626a-b的中点，或者替代地，乘客位置点625c、627c对应于乘客624、626的肩部位置625a-b和627a-b的中点。如图9b中所图示的，乘客位置点624c、626c可以存储为图像内的x-y坐标。例如，在图9b中，乘客位置点624c和626c的x-y坐标分别为[290，80]和[140，85]。

过程300继续确定是否有乘客存在于舱室中（框320）。特别地，处理器200被配置为如果乘客关键点和/或至少一个乘客位置点可用，或者替代地如果关键点不可用，但是可以使用先前关键点的预定数量的帧或时间段尚未从关键点的最近可用性过去，则检测到有乘客存在。

如果处理器200在框320中确定没有乘客存在（即没有乘客位置点数据可用），则乘客尚未正确地进入交通工具100。照此，方法300行进到框324，其中处理器200将就座计时器数据236中的就座计时器重置为其默认值，其默认值是从配置数据228中检索的。替代地，因为当前没有检测到乘客装载到交通工具100的舱室104中，所以处理器200将安定计时器重置为其默认值，其默认值也从配置数据228中检索，以允许乘客在交通工具外部执行必要的动作，例如将行李装载到交通工具100中，而不启动用于触发异常安定事件的计时器。方法300然后继续到框304，其中处理器200继续安定检测循环。

返回到框320，如果存在检测到的乘客，则方法300继续确定乘客是否在座椅边界内（框332）。特别地，处理器200从乘客位置数据224中检索乘客位置点，并且将乘客位置点与从配置数据228中检索的座椅边界进行比较。

在一些实施例中，相关联的座椅边界取决于乘客位置是基于乘客的髋部点还是基于乘客的肩部点。例如，座椅上乘客肩部的座椅边界高于乘客髋部的座椅边界，以反映乘客肩部的安全位置自然地高于乘客髋部的安全位置。在图8b中描绘的示例中，乘客位置点620c位于座椅边界640a、640b内部（出于所述方法300的目的，仅使用座椅边界640a、640b中的一个，尽管读者应该领会到，内部和外部座椅边界可以以类似于下面参考过程500讨论的方式使用）。同样，在图9b中，乘客的相应位置624c、626c二者都在相关联的座椅边界644、646内。

如果在框332中一个或多个乘客不在一个座椅边界内，则方法300继续将就座计时器数据236中的就座计时器重置为其默认值（框336）。特别地，处理器200从配置数据228中调用就座计时器的默认值，并且将该默认值作为就座计时器值存储在就座计时器数据236中。

方法300通过递减在安定计时器数据232中的安定计时器来继续（框340）。特别地，处理器200从安定计时器数据232中调用安定计时器值，将其递减例如一或经过的时间，并且将递减的值作为新的安定计时器值存储在安定计时器数据232中。

方法300然后检查安定计时器是否已经达到零（框344）。特别地，处理器200确定安定计时器是否为零。如果安定计时器尚未达到零，则分配给乘客安定到交通工具100中的时间还没有过去，并且因此方法300继续到框304，以供处理器200重复安定检测循环而不生成警报。

替代地，如果在框344中，安定计时器为零，则乘客尚未在分配以供安定的时间内正确地安定到交通工具中。因此，处理器200生成异常安定事件警报，该异常安定事件警报存储在异常安定事件数据240中和/或经由通信接口组装件212作为电子信号传送到交通工具ECU 112（框348）。

然后，方法300通过将安定计时器数据232重置为其默认值（框352）来继续，并且在框304处继续乘客安定循环。更特别地，处理器200从配置数据228中调用安定计时器的默认值，并且将该默认值作为安定计时器值存储在安定计时器数据232中。由于安定计时器被重置为预定的默认值，并且乘客安定循环继续，因此，如果在安定计时器再次到达零之前乘客仍然未安定，则乘客安定监视系统138的处理器200可以生成另一个异常安定警报。照此，乘客安定监视系统138被配置为生成重复的异常安定警报，直到所有乘客都正确地安定到交通工具中。

现在返回到框332，如果处理器200确定乘客的位置都在允许的座椅区域内部，则方法300通过递减就座计时器变量（框356）来继续。特别地，处理器200从就座计时器数据236中调用就座计时器变量，将其递减一或经过的时间，并且将递减的就座计时器变量存储在存储器204的就座计时器数据236中。

然后，方法300确定就座计时器变量是否已经达到零（框360）。更具体地，处理器200确定就座计时器变量是否已经达到零。如果就座计时器变量尚未为零，则乘客尚未在要求的时间长度内就座。照此，如上面讨论的，方法300通过递减安定计时器变量行进到框340。

然而，如果在框360中就座计时器变量已经达到零，则所有乘客已经在他们相应的座椅上停留了所需的时间长度，并且因此正确地安定。因而，过程300终止。在一些实施例中，过程300在框364处通过开始下面参考图6讨论的离开座椅检测循环而终止。

异常安定事件的减轻

图4图示了操作交通工具100的方法380，该方法380通过以预定义方式操作交通工具100的至少一个部件，响应于异常安定事件的检测，来减轻不安全状况或协助乘客正确地安定。在方法380的描述中，方法、过程、模块、处理器、系统等正在执行一些任务或功能的陈述是指控制器或处理器（例如，交通工具ECU 12）执行存储在可操作地连接到控制器或处理器的非暂时性计算机可读存储介质中的编程指令，以操纵数据或者操作舱室监视系统108和/或交通工具100中的一个或多个部件来执行任务或功能。附加地，方法的步骤可以以任何可行的时间次序来执行，而不管各图中所示的次序或描述步骤所用的次序。将领会，在一些实施例中，本文中描述的交通工具ECU 112的操作可以由处理系统150和/或舱室监视系统108的其他部件来执行，和/或可以由远离交通工具100（例如在“云”中）的处理系统150的处理器来执行。

方法380通过接收异常安定事件（框384）而开始。特别地，交通工具ECU 112经由例如通信总线154接收由乘客安定监视系统138生成的对应于异常安定事件警报的信号。

方法380通过防止交通工具移动（框388）来继续。更具体地，在异常安定事件为活跃时，交通工具ECU 112防止驱动系统116操作以开始交通工具的移动。例如，交通工具ECU112通过激活制动器和禁用驱动系统116的马达来防止交通工具100移动，直到乘客被正确地安定到他们相应的座椅上并且处于由交通工具100运送的安全位置中。

附加地，方法380还包括操作交通工具中的灯、显示器和/或扬声器，以生成视觉和/或听觉警报（框392）。特别地，响应于接收到异常安定事件警报，交通工具ECU 112操作灯180、扬声器184和/或显示器188，以在交通工具100的舱室104中生成视觉和/或听觉警报。例如，交通工具ECU 112可以操作扬声器184来发出听觉警报音调或预先记录的消息，其向乘客通知交通工具100中的一个或多个乘客没有安定到座椅上。附加地或替代地，交通工具ECU 112可以操作灯180照亮和/或闪烁，以向乘客警报直到所有乘客都安定到座椅上之前不能启动乘坐。在一些实施例中，交通工具ECU 112操作显示器188闪烁，向乘客显示文本警告和/或显示指令乘客如何安全地坐在交通工具100中的视频或动画。

在一些实施例中，方法380通过传送异常安定警报（框396）来行进。特别地，交通工具ECU 112可以被配置为经由收发器196向远程服务器传送对应于检测到的异常安定事件的信号。例如，对应于异常安定事件的信号可以被传送到中央控制服务器，以使能人类干预，例如，远程操作员可以通过取得对交通工具100的远程控制或者经由扬声器184和显示器188与乘客通信以指令乘客如何正确地装载到交通工具100中来解决异常安定事件。

在一个实施例中，交通工具ECU 112可以被配置为基于预定义的升级方法触发校正动作。例如，在框388中，交通工具ECU 112可以首先操作显示器188，以播放如何正确地坐在交通工具中的视频。如果异常安定警报持续存在，则交通工具ECU 112可以被配置为然后在框388中操作扬声器184，以产生听觉警报，该听觉警报向乘客警告直到所有乘客都正确地就座之前不能启动乘坐。如果在生成听觉警报之后异常安定事件仍然活跃，则交通工具ECU 112可以经由收发器196将警报传达到远程服务器（框392），使得远程操作员可以干预并且确定乘客为什么没有正确地安定到交通工具100中，并且指令乘客如何装载到交通工具中。

乘客安定监视系统138因此被配置为检测过程300中的异常乘客安定事件，并且过程380减轻由异常安定事件引起的不安全状况，并且协助乘客正确地安定到交通工具中。例如，如果乘客带着异常数量的行李或物品进入交通工具100，则乘客可能花费异常数量的时间（即长于安定计时器默认值），以便为物品找到空间并且在就座之前对物品进行布置。乘客安定监视系统138有利地被配置为检测该异常安定事件，并且视频或动画可以显示在显示器188上，以指令乘客如何正确地装载行李并安定到交通工具中。如果乘客仍然不能正确地安定到座椅上，则交通工具ECU 112向乘客可听见地警报乘坐不能开始，并且然后，如果乘客仍然未安定，则经由收发器196与远程服务器通信以使能人类干预。

作为另一个示例，乘客安定监视系统138检测到其中乘客由于乘客的身体残疾而进入较慢或处于异常模式的情形。处理系统150对异常安定事件的检测有利地使得人类干预能够协助残疾乘客进入交通工具中，例如，通过在乘客的位置呼叫帮助或操作交通工具中的部件来协助，例如通过降低坡道或降低交通工具座椅以便更容易接近。

乘客设置检测系统还可以检测到从侧面进入的乘客、移动越过另一个乘客的乘客、频繁改变位置的乘客以及以其他方式在安定到交通工具中时展现异常移动的乘客。异常安定事件的检测有利地使得处理系统150能够提供正确安定的自动化指令，并且使得处理系统150能够与远程服务器通信，以使得人类干预能够协助乘客正确地安定到交通工具中。

在另一个实施例中，响应于异常安定警报，交通工具ECU 112可以被配置为分析图像数据以确定座椅是否存在防止乘客正确地安定到座椅上的问题。例如，交通工具ECU 112可以检测到座椅损坏或者座椅上有物体或覆盖物防止乘客正确地使用座椅，并且基于对座椅问题的检测来操作扬声器184、显示器188或收发器196。

在另一个实施例中，交通工具ECU 112可以被配置为确定是否存在防止乘客正确地安定到他或她的座椅上的紧急情形。例如，响应于异常安定事件警报，交通工具ECU 112可以分析图像数据以确定乘客是否由于例如医疗问题或犯罪活动——这防止了乘客安定到他或她的座椅上——而处于困境中。

离开座椅检测系统

如上面简要讨论的，舱室监视系统108还包括乘客离开座椅检测系统140，该乘客离开座椅检测系统140在乘客安定之后操作，以检测在交通工具100运动中时乘客移动离开其相应座椅所导致的潜在不安全状况。现在参考图5，舱室监视系统108的离开座椅检测系统140被配置为监视交通工具的舱室104，并且基于接收到的传感器信号确定用户是否离开他或她的相应座椅，生成代表离开座椅确定的信号，并且将该信号传达给交通工具ECU112。离开座椅检测系统140经由通信总线152通信地耦合到图像传感器142、144，并且被配置为从图像传感器142、144中的每一个接收传感器信号，该传感器信号可以是模拟或数字信号。

离开座椅检测系统140包括可操作地连接到相关联的存储器404的至少一个处理器和/或控制器400，其以下简称为处理器400。离开座椅检测系统140的处理器400被配置为执行存储在其相关联的存储器404上的程序指令408，以操纵数据（例如数据420-444）或者操作离开座椅检测系统140或交通工具100中的一个或多个部件来执行所记载的任务或功能。

存储器404是被配置为存储数据和程序指令的电子存储设备，所述数据和程序指令至少包括图像数据420、乘客位置数据424、配置数据428、警报等待时间数据432、重置计数器数据436、内部状态数据440、离开座椅事件数据444以及用于操作离开座椅检测系统140的程序指令408。存储器404可以包括非暂时性计算机可读存储介质和/或通信介质，诸如易失性和非易失性的介质二者、有写能力和只读的介质二者、以任何介质或技术实现的可移除和不可移除的介质二者，包括CD-ROM、DVD、光盘存储装置、盒式磁带、磁带、磁盘存储装置或其他已知的存储介质技术。

如上面指出的，在一些实施例中，离开座椅检测系统140可以与交通工具ECU 112和乘客安定检测系统138中的一个或二者集成。例如，处理器400和存储器404可以是上面关于乘客安定监视系统138讨论的相同的处理器200和存储器204，和/或处理器400和存储器404可以是与交通工具ECU 112中相同的处理器和存储器。

图像数据420是代表由图像传感器142、144捕获的一个或多个图像的电子数据。如下面详细讨论的，乘客位置数据424表示代表乘客和/或乘客的相关身体部位的位置的一个或多个点。所述点可以被存储为例如与相关联图像中的像素位置相对应的x-y坐标。

配置数据428包括来自图像传感器视图的座椅的边界，在一个实施例中，该座椅的边界也可以是与相关联图像中的像素位置相对应的x-y坐标。配置数据428可以包括例如对于座椅120-126中每个的乘客髋部和/或肩部的内边界和外边界。所述边界可以是矩形、梯形、圆形、三角形、另一个多边形、以上形状的组合或任何其他合适的形状。替代地，座椅边界可以是不规则形状的，以便遵循座椅区的期望轮廓。此外，配置数据428包括对于内部状态变量、重置计数器变量和警报计数器变量的预定默认值。配置数据428可以预先编程到存储器404中，或者它可以是用户可配置的或远程可配置的，这取决于交通工具100的期望用途或配置。

警报等待时间数据432包括警报等待时间变量，该警报等待时间变量对应于在生成警报之前乘客必须离开他或她相应座椅边界的帧数或时间长度的递减计时器。重置计数器数据436包括重置计时器变量，该重置计时器变量对应于在警报状态重置之前已经生成警报之后并且可以再次生成另一个离开座椅事件警报，乘客必须返回到其相应座椅边界内的帧数或时间长度的递减计数器。

内部状态数据440包括内部状态变量，该内部状态变量对应于在警报状态没有被重置的情况下，乘客离开座椅事件是否先前已经被生成的指示。离开座椅事件数据444是当已经检测到乘客离开座椅事件时由离开座椅检测系统140输出的警报数据，以便使得交通工具ECU 112能够实现动作来减轻由于乘客在他或她的相应座椅外部而引起的潜在不安全状况。

在一些实施例中，离开座椅检测系统140进一步包括通信接口组装件412，该通信接口组装件412具有被配置为将离开座椅检测系统140与图像传感器142、144和交通工具ECU 112耦合的一个或多个接口。通信接口组装件412被配置为使得传感器数据、控制信号、软件或其他信息能够以信号的形式在离开座椅检测系统140与图像传感器142、144或交通工具ECU 112之间传递，所述信号可以例如是电子、电磁、光学或能够由通信接口组装件412接收或传送的其他信号。在一些实施例中，通信接口组装件412可以包括用于连接到诸如有线网络或直接有线通信（例如，通信总线152）之类的有线介质的物理终端。在另外的实施例中，通信接口组装件412可以包括被配置为使能与图像传感器142、144和交通工具ECU 112通信的一个或多个调制解调器、总线控制器等。在一些实施例中，通信接口组装件412可以包括被配置为使能无线通信的一个或多个无线收发器，所述无线通信诸如是声学、RF、红外（IR）、Wi-Fi、蓝牙和其他无线通信方法。

离开座椅检测过程

在操作中，离开座椅检测系统140被配置为实现由图6的流程图所图示的方法500，以确定一个或多个乘客是否离开他们相应的座椅120-126。在方法500的描述中，方法、过程、模块、处理器、系统等正在执行一些任务或功能的陈述是指控制器或处理器（例如，处理器400）执行存储在可操作地连接到控制器或处理器的非暂时性计算机可读存储介质中的编程指令（例如，程序指令408），以操纵数据或者操作舱室监视系统108和/或交通工具100中的一个或多个部件来执行任务或功能。附加地，方法的步骤可以以任何可行的时间次序来执行，而不管各图中所示的次序或描述步骤所用的次序。将领会，在一些实施例中，本文中描述的处理器400的操作可以由处理系统150和/或舱室监视系统108的其他部件——诸如交通工具ECU 112或传感器142、144的集成图像处理器等——来执行，或者所述操作可以由远离交通工具（例如在“云”中）的一个或多个处理器来执行。

图6的方法500开始于图像传感器142、144捕获座椅120-126的图像（框504）。图像可以是座椅120-126的RGB图像，或者图像可以是红外图像、三维雷达或LIDAR图像或其他期望的图像。图像传感器142、144经由例如通信接口组装件412将图像传送到离开座椅检测系统140的处理器400。在一些实施例中，图像可以由图像传感器142、144或处理器400调整大小，并且作为图像数据420存储在存储器404中。示例图像600、610在图8a和图9a中描绘，其中图8a描绘了由后部图像传感器144捕获的示例图像600，其图示了坐在座椅124上的乘客620，而图9a图示了由后部图像传感器144捕获的示例图像610，其图示了坐在后排座椅124、126上的两个乘客624、626。

参照返回到图6，方法500通过处理图像数据以确定舱室104中乘客的关键点（框508）来继续。特别地，处理器400被配置为确定图像数据中的多个关键点，以估计乘客的姿势。更特别地，处理器400处理图像数据以基于图像数据420近似乘客的某些关节的位置，并且将所述位置作为图像中的x-y坐标返回。处理器400可以被配置为以本领域通常已知的方式执行任何合适的姿势估计技术。

在一个实施例中，关键点是乘客的左髋部和右髋部的位置（例如，图8b中乘客620的髋部位置620a和620b，以及图9a中乘客624、626的髋部位置624a-b和626a-b）。在另一个实施例中，关键点可以是乘客的左肩部和右肩部的位置（例如，图8b中乘客620的肩部位置621a-b，以及图9a中乘客624、626的肩部位置625a-b和627a-b）。关键点存储在存储器404的乘客位置数据424中。

在一个实施例中，如果处理器400不能确定所述关键点位置中的一个或二者，则处理器从乘客位置数据424中读取先前图像的（一个或多个）关键点位置，并且再次使用先前的关键点位置。然而，如果不存在先前的关键点数据或者关键点数据在预定数量的帧（例如，大约3帧、大约5帧或大约10帧或大约20帧）或预定时间段（例如，大约1秒、大约2秒、大约3秒或大约5秒）内已经不可用，则处理器400可以替代地确定不同的关键点。例如，其中处理器被配置为使用髋部位置作为关键点的系统可以替代地将肩部位置确定为关键点，如果髋部位置在预定数量的帧或时间段内不可用的话。预定数量的帧或时间段可以例如存储在配置数据428中。

在一些实施例中，处理器400使用一般化对象跟踪技术而不是人类姿势估计技术来确定乘客的位置和边界。处理器400可以例如使用对象跟踪技术，以本领域通常已知的方式基于图像数据420估计乘客的单个中心点，并且将估计的关键点存储在乘客位置数据424中。处理器400还可以被配置为使用对象跟踪技术来跟踪舱室104中的非人类对象，并且在确定关键点之前或之后，将非人类对象与舱室104中的乘客区分开。

根据关键点，方法500通过针对每个乘客确定单个乘客位置点（框512）来继续。特别地，处理器400将每个乘客的多个关键点转换成每个乘客的单个乘客位置点，并且将乘客位置点存储在存储器404的乘客位置数据424中。在一个特定实施例中，每个乘客的乘客位置点对应于关键点的x方向和y方向上的中点。

例如，在图8b的实施例中，乘客位置点620c是两个髋部位置620a、620b之间的中点。替代地，如果肩部位置替代地用作关键点，则乘客位置点621c是两个肩部位置621a、621b之间的中点。同样，如图9a中所描绘的，乘客位置点624c和626c分别对应于乘客624、626的髋部位置624a-b和626a-b的中点，或者替代地，乘客位置点625c、627c对应于乘客624、626的肩部位置625a-b和627a-b的中点。如图9b中所图示的，乘客位置点624c、626c可以存储为图像内的x-y坐标。例如，在图9b中，基于在图9b中描绘的图像的坐标系，乘客位置点624c和626c的x-y坐标分别为[290，80]和[140，85]。

过程500通过确定是否有乘客存在于舱室中（框520）来继续。特别地，处理器400被配置为如果乘客关键点和/或至少一个乘客位置点可用，或者替代地如果关键点不可用，但是可以使用先前关键点的预定数量的帧或时间段尚未从关键点的最近可用性过去，则检测到有乘客存在。

如果处理器400在框320中确定没有乘客存在（即没有乘客位置点数据可用），则过程500行进到检查内部状态变量是否为零（框524）。具体地，处理器400从存储器404中的内部状态数据440中调用内部状态变量，并且确定该变量是为零还是不为零（即为一）。如上面指出的，内部状态变量指示先前的离开座椅事件警报是否已经生成并且未重置。例如，如果内部状态变量为零，则尚未生成警报或者先前的警报已被重置。如果内部状态变量为一，则警报先前已被生成并且尚未被重置。

如果在没有乘客存在的情况下在框524处的内部状态变量为零（即，没有先前警报或先前警报已经被重置），则不存在被检测到的乘客，并且没有乘客离开座椅事件是活跃的。结果，不存在被离开座椅检测系统400检测到的潜在不安全状况。结果，方法500行进到将警报等待时间变量重置为其默认值（框528）。更特别地，处理器400从配置数据428中调用警报等待时间变量的默认值，并且将该默认值作为警报等待时间变量存储在警报等待时间数据432中。方法500然后在框504处继续。

替代地，如果在框524中内部状态变量不为零（即，离开座椅事件先前已被激活并且未被重置），则没有乘客存在，但是存在尚未被重置的活跃的离开座椅事件。结果，方法500通过递减警报重置计时器（框532）来继续。更特别地，处理器400从配置数据428中调用警报重置计时器的默认值，并且将该默认值作为警报重置变量存储在存储器404的重置计时器数据436中。

方法500然后通过检查警报重置计数器是否为零（框536）来继续。特别地，处理器400从重置计时器数据436中调用警报重置变量，并且确定重置计时器是否已经达到零。

如果，在递减警报重置计时器之后，警报重置计时器为零（框536），则自从检测到离开座椅事件以来已经过去了足够的时间，并且如果存在另一个不安全状况，则现在可以生成另一个警报。过程500因此通过将内部状态数据440中的内部状态变量设置为零并且将相应的警报等待时间数据432和警报重置数据436中的警报等待时间和警报重置计时器变量重置为它们相应的默认值（框540）来行进。特别地，处理器400将内部状态数据440中的内部状态变量设置为零，从配置数据428中调用警报等待时间和重置计时器的默认值，并且将相应的默认值分别作为警报等待时间和重置计时器变量存储在警报等待时间数据432和重置计时器数据436中。方法500然后返回到框504。

替代地，如果重置计数器变量在被递减之后在框536中不为零，则自从检测到离开座椅事件以来没有经过足够的时间。过程500因此返回到框504，其中递减的重置计时器变量在警报重置计时器数据436中被更新。

现在返回到框520，如果处理器400确定至少一个乘客存在，则方法500通过确定乘客是否在座椅边界内（框544）来继续。处理器400从乘客位置数据424中检索乘客位置点，并且从配置数据428中检索相关联的座椅边界，并且将乘客位置点与相关联的座椅边界进行比较，以确定乘客位置点是否在座椅边界内部。

在一些实施例中，相关联的座椅边界取决于乘客位置是基于乘客的髋部位置还是基于乘客的肩部位置，以及内部状态是零还是一（即，离开座椅事件是否已被激活并且未被重置）。例如，乘客肩部中点的座椅边界在座椅上高于乘客髋部中点的座椅边界，以反映乘客的肩部在座椅上自然地位于高于乘客的髋部。

此外，当内部状态为零时，被称为外部座椅边界的更大座椅边界（例如图8b中的640a）被处理器400用来确定是否为离开座椅并且引起潜在不安全状况的乘客生成警报。替代地，当内部状态为一时，被称为内部座椅边界的较小座椅边界（例如图8b中的640b）被处理器400用来确定是否重置内部状态，因为乘客已经返回到他或她的座椅，并且因此已经补救了潜在不安全状况。由于用于重置内部状态的区域比用于激活警报的区域小，因此在其中乘客位置正在稍微移动越过任一座椅边界的情形中，处理器400将不生成重复的离开座椅事件警报。换言之，由于乘客必须在外部座椅边界640a外部以便处理器400触发离开座椅事件警报，并且必须返回到内部座椅边界640b之内以便处理器400重置警报，因此仅跨越外部座椅边界640a之上的重复移动将导致处理器400仅触发单个警报，而处理器400将不由于跨越内部座椅边界640b之上的重复移动而生成警报。

如果在框544中处理器400确定乘客位置在允许区域的内部，则在没有乘客存在的情况下该过程以如上所讨论的类似方式继续到框524。例如，8b描绘了乘客620，其乘客位置点620c在内部和外部边界640b、640a二者的内部。同样，图9b描绘了乘客624、626，其相应的位置624c、626c在相关联的座椅边界644、646内。

当处理器400确定乘客在他们相应的座椅边界内时，如上所述，如果处理器400在框524中确定内部状态为零（即，自从上次重置以来没有离开座椅警报被发送），则处理器400行进到将警报等待时间数据432重置为其默认值（框528），因为处理器400目前没有检测到潜在不安全状况。替代地，如上所述，如果处理器400在框524中确定内部状态为一（即，乘客在尚未被重置的离开座椅事件之后已经返回到他或她的座椅），则处理器400递减重置计时器数据436（框532），并且如果处理器400确定警报重置变量为零（框536），则处理器400将所有变量重置为它们的预定默认值（框540），使得如果发生不安全状况，则可以生成另一个离开座椅事件。过程500然后返回到框504。

返回到框544，如果处理器400确定一个或多个乘客位置在相关联的座椅边界外部（例如，如在图10a和图10b中所图示），则方法500通过检查内部状态变量是否为一（框548）来继续。更特别地，处理器400从存储器中调用内部状态数据440的内部状态变量，并且确定内部状态变量是否为一。

如果内部状态为一，则在先前已经生成离开座椅警报之后，乘客仍然位于座椅边界外部。照此，方法500通过将警报重置计时器重置为其默认值而继续，使得直到乘客返回到他或她的座椅达预定义的帧数或时间段之前不能产生离开座椅警报（框552）。特别地，处理器400从配置数据428中调用警报重置计时器的预定默认值，并且将该默认值作为重置计时器变量存储在存储器404的重置计时器数据436中。过程500然后在框504处继续。

如果在框548中处理器400确定内部状态为零，则乘客离开他或她的相应座椅，但是目前没有离开座椅事件活跃。方法500通过递减警报等待时间计时器（框552）来继续。具体地，处理器400从警报等待时间数据432中调用警报等待时间变量，将其递减一帧或经过的时间，并且将递减的警报等待时间变量存储在警报等待时间数据432中。

方法500通过改变警报等待时间计时器是否为零（框556）来继续。更具体地，处理器400确定警报等待时间计时器是否为零。如果在框556中递减的警报等待时间尚未为零，则等待时间段还没有到期。处理器400因此不生成离开座椅事件警报，从而允许乘客在生成警报之前有时间返回到他或她的座椅。此外，警报等待时间减少了假阳性的发生率（incidence）（即，当乘客没有离开他或她的相应座椅时，生成警报），所述假阳性可能是由错误的图像分析、受阻视线等引起的，因为乘客必须在离开他或她相应的座椅达多个帧以便生成警报才被检测到。在一个实施例中，默认的警报等待时间计时器值可以在两秒与五秒之间。在另一个实施例中，默认警报等待时间计时器值可以是大约3.5秒。

然而，如果在框556中处理器400确定警报等待时间为零，则将内部状态数据440中的内部状态变量设置为一，并且将警报等待时间和警报重置计时器设置为它们的默认值（框560）。特别地，处理器400将内部状态数据440中的内部状态变量设置为一，从配置数据428中调用警报等待时间和重置计时器的默认值，并且将相应的默认值分别作为警报等待时间和重置计时器变量存储在警报等待时间数据432和重置计时器数据436中。

过程500还生成离开座椅事件警报（框564）。处理器400将对应于离开座椅事件警报的数据存储在存储器404中的离开座椅事件数据444中，和/或生成经由通信接口组装件412和通信总线154传送到交通工具ECU 112的电子信号。方法500然后在框504处继续离开座椅检测循环。

图10a图示了已经在交通工具100的两个座椅124、126之间移动的乘客704的图像700。因为乘客髋部位置的中点720位于两个座椅区域724、726的外部（图10a中图示的座椅区域对应于上述的外部座椅区域），如果乘客704没有在警报等待时间计时器到期之前返回到座椅区域724、726之一，则实现过程500的离开座椅检测系统140的处理器400将生成离开座椅事件警报。

图10b图示了两个乘客804、808的图像800，其中一个已经在交通工具100的座椅124、126之间移动。因为乘客髋部的中点820已经移动到座椅区域826外部，所以如果乘客804在警报等待时间计时器到期之前没有返回到座椅区域826，则离开座椅检测系统140的处理器400将为乘客804生成离开座椅事件警报。另一方面，乘客808就座使得乘客髋部的中点822位于座椅区域828内。照此，离开座椅检测系统140的处理器400不为乘客808生成离开座椅事件警报。

在上面的描述中，方法500由处理器400针对舱室104中的所有座椅120-126和乘客同时执行。在其他实施例中，方法500可以由处理器400为每个单独的座椅或者为每个单独的乘客单独地执行。例如，如果处理器400在框544中检测到在已经移动离开左前座椅120时的乘客，并且在处理器400将警报等待时间计数器递减为零（框552-556）之前，在框544中处理器400在右前座椅122中的后续循环中检测到乘客，则处理器400不生成离开座椅事件警报（框564），因为乘客被确定在座椅中并且不存在不安全状况。

虽然图示的实施例包括在与交通工具ECU 112分离的逻辑单元中实现的离开座椅检测系统140，但是读者应该领会，在一些实施例中，离开座椅检测系统140可以在交通工具ECU 112中实现。例如，交通工具ECU 112可以包括处理器400和存储器404作为交通工具ECU112内的单独部件，或者处理器400的功能可以由交通工具ECU 112的处理器和/或控制器执行，并且数据420-444和指令408可以存储在与交通工具ECU 112相关联的存储器中。

离开座椅不安全状况的减轻

图7图示了操作交通工具100的方法580，该方法580用于通过响应于检测到至少一个乘客位于他或她的座椅外部，以预定义方式操作交通工具的至少一个部件来减轻由乘客离开他或她的相应座椅所致的不安全状况。在方法580的描述中，方法、过程、模块、处理器、系统等正在执行一些任务或功能的陈述是指控制器或处理器（例如，交通工具ECU 112）执行存储在可操作地连接到控制器或处理器的非暂时性计算机可读存储介质中的编程指令，以操纵数据或者操作舱室监视系统108和/或交通工具100中的一个或多个部件来执行任务或功能。附加地，方法的步骤可以以任何可行的时间次序来执行，而不管各图中所示的次序或描述步骤所用的次序。将领会，在一些实施例中，本文中描述的交通工具ECU 112的操作可以由处理系统150和/或舱室监视系统108的其他部件来执行，和/或可以由远离交通工具100（例如在“云”中）的处理系统150的处理器来执行。

过程580以接收离开座椅事件警报（框584）开始。特别地，交通工具ECU 112经由例如通信总线154接收由离开座椅检测系统140生成的对应于离开座椅事件警报的电子信号（框584）。

方法580以交通工具ECU 112操作灯180、扬声器184和/或显示器188以在交通工具100的舱室104中生成视觉和/或听觉警报（框588）来行进。交通工具ECU 112可以例如操作扬声器184来发出警报音调或预先记录的消息，其向乘客通知交通工具100中的一个或多个乘客已经被检测到离开他或她的相应座椅，从而向乘客警报潜在的不安全状况。附加地或替代地，交通工具ECU 112可以操作灯180来照亮和/或闪烁，以向乘客警报潜在的不安全状况。在一些实施例中，交通工具ECU 112操作显示器188闪烁、向乘客显示文本警告和/或显示视频或动画，从而指示用户潜在的不安全状况以及如何安全地坐在交通工具100中。

方法580还包括使交通工具减慢和/或停止或者防止交通工具启动（框592）。特别地，交通工具ECU 112操作驱动系统116以使交通工具减慢或停止，或者取决于交通工具100的当前驱动状态，防止交通工具开始移动。例如，如果交通工具100在道路上行驶，则交通工具ECU 112可以操作驱动系统116的马达和制动器以降低交通工具100速度，标识停止交通工具100的安全位置，并且操作转向以将交通工具100转向到对于使交通工具100停止而言安全的标识位置。一旦交通工具100停止，或者如果当在框584中接收到离开座椅事件警报时交通工具100已经停止，则交通工具ECU 112通过激活制动器和禁用马达来防止交通工具100移动，直到乘客返回到他们相应的座椅并且不安全状况已经得到补救。

在一些实施例中，交通工具ECU 112可以被配置为在框588中操作灯、显示器和/或扬声器之后，在框592中使交通工具减慢或停止之前，延迟达预定的时间段，以允许乘客有时间返回到他或她的座椅，并且从而补救不安全的状况。预定时间段可以例如是在大约5秒与大约15秒之间。

在一些实施例中，交通工具ECU 112可以被配置为经由收发器196向远程服务器传送对应于检测到的离开座椅事件的电子信号。例如，交通工具ECU 112可以将离开座椅事件信号传送到中央控制服务器，以使能人类干预，例如远程操作员通过取得对交通工具的远程控制或经由扬声器184和/或显示器188向乘客警告来减轻不安全状况，以补救潜在的不安全状况。在另一个实施例中，传送的信号可以由远程服务器结合乘客的用户账户来存储，以将乘客标识为引起潜在的不安全状况。远程服务器可以使用存储的信息向乘客的账户收取罚款和/或暂停或停用乘客的账户。

在另一个实施例中，响应于检测到的离开座椅事件，交通工具ECU 112可以被配置为分析图像数据以确定是否存在引起乘客从他或她的座椅移动的座椅的问题。例如，交通工具ECU 112可以检测到座椅被损坏或座椅上具有物体或覆盖物防止乘客正确地使用座椅，并且基于对座椅的问题的检测来操作扬声器184、显示器188或收发器196。

在另一个实施例中，交通工具ECU 112可以被配置为确定交通工具100的舱室104中是否存在引起乘客移动离开座椅的紧急情形。例如，响应于检测到的离开座椅事件，交通工具ECU 112可以分析图像数据以确定乘客是否由于例如引起乘客移动离开他或她的座椅的医疗问题或犯罪活动而处于困境中。

将领会，上述和其他特征和功能的变型或其替代物可以被合期望地组合到许多其他不同的系统、应用或方法中。本领域技术人员随后可以做出也旨在被前述公开所包含的各种目前未预见或未预料到的替代、修改、变型或改进。

Claims (18)

1.一种用于检测和解决交通工具中异常安定事件的系统，包括：

图像传感器，被配置为生成并且输出交通工具舱室中的一个或多个座椅的图像数据；

处理系统，可操作地连接到图像传感器，并且包括至少一个处理器，处理系统被配置为在乘客开始进入交通工具时：

从图像传感器接收图像数据；

处理图像数据以确定舱室中至少一个乘客的位置；

在从乘客开始进入交通工具起经过第一预定时间段之后，基于所确定的所述至少一个乘客在舱室中的位置，检测到所述至少一个乘客位于交通工具的所述一个或多个座椅外部；和

响应于在经过第一预定时间段之后检测到所述至少一个乘客位于所述一个或多个座椅外部，以预定义方式操作交通工具的至少一个部件。

2.根据权利要求1所述的系统，其中，交通工具的所述至少一个部件包括交通工具的驱动系统，并且以预定义方式操作所述至少一个部件包括操作驱动系统以防止交通工具移动。

3.根据权利要求1所述的系统，其中，交通工具的所述至少一个部件包括布置在交通工具舱室中的显示屏，并且以预定义方式操作所述至少一个部件包括操作显示屏来播放视频。

4.根据权利要求1所述的系统，其中交通工具的所述至少一个部件包括一个或多个扬声器，并且以预定义方式操作所述至少一个部件包括操作所述一个或多个扬声器以在交通工具舱室中生成听觉警报。

5.根据权利要求1所述的系统，其中，交通工具的所述至少一个部件包括收发器，并且以预定义方式操作所述至少一个部件包括操作收发器以向远程服务器传送信号。

6.根据权利要求1所述的系统，其中处理系统进一步被配置为在图像数据的处理中，估计所述至少一个乘客的姿势，以确定所述至少一个乘客中的每个乘客的相应乘客位置点。

7.根据权利要求6所述的系统，其中检测到所述至少一个乘客位于交通工具的所述一个或多个座椅外部包括在经过第一预定时间段之前的第二预定时间段内检测到乘客位置点没有位于座椅的座椅边界内。

8.根据权利要求6所述的系统，其中，处理系统进一步被配置为在姿势的估计中，估计每个乘客的髋部位置，并且将相应的乘客位置点确定为估计的髋部位置之间的中点。

9.根据权利要求6所述的系统，其中处理系统进一步被配置为在姿势的估计中，估计每个乘客的肩部位置，并且将相应的乘客位置点确定为估计的肩部位置之间的中点。

10.一种用于检测和减轻交通工具中异常安定事件的方法，包括：

利用处理系统从图像传感器接收交通工具舱室中一个或多个座椅的图像数据；

利用处理系统处理图像数据以确定舱室中至少一个乘客的位置；

利用处理系统，在从乘客开始进入交通工具起经过第一预定时间段之后，基于所确定的所述至少一个乘客在舱室中的位置，检测到所述至少一个乘客位于交通工具的所述一个或多个座椅外部；和

利用处理系统，响应于在经过第一预定时间段之后检测到所述至少一个乘客位于所述一个或多个座椅外部，以预定义方式操作交通工具的至少一个部件。

11.根据权利要求10所述的方法，其中以预定义方式操作交通工具的所述至少一个部件包括操作交通工具的驱动系统以防止交通工具移动。

12.根据权利要求10所述的方法，其中以预定义方式操作交通工具的所述至少一个部件包括操作布置在舱室中的显示屏来播放视频。

13.根据权利要求10所述的方法，其中以预定义方式操作交通工具的所述至少一个部件包括操作一个或多个扬声器以在交通工具舱室中生成听觉警报。

14.根据权利要求10所述的方法，其中，以预定义方式操作交通工具的所述至少一个部件包括操作收发器以向远程服务器传送信号。

15.根据权利要求9所述的方法，其中图像数据的处理包括利用处理系统估计乘客的姿势，以确定所述至少一个乘客中的每个乘客的乘客位置点。

16.根据权利要求15所述的方法，其中检测到所述至少一个乘客位于交通工具的所述一个或多个座椅外部包括在经过第一预定时间段之前的第二预定时间段内检测到乘客位置点未能位于座椅的座椅边界内。

17.根据权利要求15所述的方法，其中图像数据的处理进一步包括利用处理系统估计每个乘客的髋部位置，并且将乘客位置点确定为估计的髋部位置之间的中点。

18.根据权利要求15所述的方法，其中图像数据的处理进一步包括利用处理系统估计每个乘客的肩部位置，并且将乘客位置点确定为估计的肩部位置之间的中点。

Images