CN115923808A - 交通工具乘员监测 - Google Patents

交通工具乘员监测 Download PDF

Info

Publication number
CN115923808A
CN115923808A CN202211012574.1A CN202211012574A CN115923808A CN 115923808 A CN115923808 A CN 115923808A CN 202211012574 A CN202211012574 A CN 202211012574A CN 115923808 A CN115923808 A CN 115923808A
Authority
CN
China
Prior art keywords
vehicle
event
processing circuitry
safety
operational element
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211012574.1A
Other languages
English (en)
Inventor
F·欧博利尔
C·比尔克勒
F·帕施
B·加斯曼
J·图雷克
M·S·埃利
J·费利普里昂
D·冈萨雷斯阿圭里
I·J·阿尔瓦雷兹马丁内兹
J·F·贾昆阿罗约
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intel Corp
Original Assignee
Intel Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intel Corp filed Critical Intel Corp
Publication of CN115923808A publication Critical patent/CN115923808A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0015—Planning or execution of driving tasks specially adapted for safety
    • B60W60/0016—Planning or execution of driving tasks specially adapted for safety of the vehicle or its occupants
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K28/00—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions
    • B60K28/02—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R22/00—Safety belts or body harnesses in vehicles
    • B60R22/48—Control systems, alarms, or interlock systems, for the correct application of the belt or harness
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/09—Taking automatic action to avoid collision, e.g. braking and steering
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/12—Limiting control by the driver depending on vehicle state, e.g. interlocking means for the control input for preventing unsafe operation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R22/00—Safety belts or body harnesses in vehicles
    • B60R22/48—Control systems, alarms, or interlock systems, for the correct application of the belt or harness
    • B60R2022/4808—Sensing means arrangements therefor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R22/00—Safety belts or body harnesses in vehicles
    • B60R22/48—Control systems, alarms, or interlock systems, for the correct application of the belt or harness
    • B60R2022/4883—Interlock systems
    • B60R2022/4891—Interlock systems preventing use of the vehicle when the seatbelt is not fastened
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/54—Audio sensitive means, e.g. ultrasound
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/229—Attention level, e.g. attentive to driving, reading or sleeping
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2720/00—Output or target parameters relating to overall vehicle dynamics
    • B60W2720/10—Longitudinal speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2720/00—Output or target parameters relating to overall vehicle dynamics
    • B60W2720/12—Lateral speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2754/00—Output or target parameters relating to objects
    • B60W2754/10—Spatial relation or speed relative to objects
    • B60W2754/20—Lateral distance
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2754/00—Output or target parameters relating to objects
    • B60W2754/10—Spatial relation or speed relative to objects
    • B60W2754/30—Longitudinal distance

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Transportation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Psychiatry (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Traffic Control Systems (AREA)

Abstract

本文描述了用于交通工具乘员监测的系统和技术。包括视觉图像数据的传感器数据从交通工具的传感器阵列被获得。交通工具承载的对象从视觉图像数据检测。针对交通工具的安全性事件可以基于对象检测被标识，并且交通工具的操作元件响应于检测到该安全性事件被更改。

Description

交通工具乘员监测
技术领域
本文描述的实施例大体上涉及汽车中的计算机视觉技术，并且更具体地，涉及交通工具乘员监测。
背景技术
交通工具传感器系统正变得更复杂。这一趋势已伴随着高级驾驶员辅助系统(advanced driver-assistance system,ADAS)和自主驾驶交通工具增长。通常，这些系统包括一系列传感器(诸如，相机、RADAR、LIDAR或超声波)，以感测交通工具行驶通过的环境。传感器使交通工具能够确定如何避开障碍物或从一个点导航到另一个点。通常，传感器以交通工具周围的不同视场(field-of-view,FOV)布置，从而提供交通工具周围的纵向(例如，前和后)和横向(例如，侧到侧)覆盖。
交通工具乘员监测通常不如上述ADAS和自主驾驶设施复杂。乘员监测可以包括诸如以下事项：安全带检测(乘员是否系了安全带)、分心驾驶员检测、或由相机或镜子向驾驶员提供的后座乘员视图等。
附图说明
在附图中(这些附图不一定是按比例绘制的)，同样的数字可描述不同视图中的类似组件。具有不同的字母后缀的同样的数字可表示类似组件的不同实例。附图总的来说通过示例的方式而不是限制的方式来图示在本文档中所讨论的各实施例。
图1是根据实施例的环境的示例的框图，该环境包括用于交通工具乘员监测的系统。
图2图示出根据实施例的由于对象从交通工具延伸而添加到交通工具导航的安全性裕度的示例。
图3图示出根据实施例的用于观察延伸超出交通工具的对象的示例传感器位置。
图4图示出根据实施例的用于风险等级评估的示例流程。
图5图示出根据实施例的用于跟踪横向裕度和控制驾驶策略的体系结构的示例。
图6图示出根据实施例的交通工具中的示例传感器放置。
图7图示出根据实施例的用于组合视觉和音频数据以观察交通工具的乘员的系统的示例。
图8图示出根据实施例的音频处理管线的示例。
图9图示出根据实施例的视觉分类系统的示例。
图10图示出根据实施例的组合式音频和视觉处理管线的示例。
图11图示出根据实施例的音频分类系统的示例。
图12图示出根据实施例的驾驶员监测系统的示例。
图13图示出根据实施例的用于交通工具乘员监测的方法的示例的流程图。
图14是图示出可在其上实现一个或多个实施例的机器的示例的框图。
具体实施方式
在大多数管辖区，交通工具驾驶员(例如，操作员)负责交通工具的安全操作。安全操作包括确保外部实体(例如，其他交通工具、行人、骑自行车者、动物、财产等)的安全以及交通工具的乘员的安全。确保交通工具乘员安全可以包括监测和纠正乘员的行为，诸如，确保安全带被正确使用，如果乘员将肢体伸出窗户则调整驾驶裕度，或者甚至监测自己是否分心(例如，在进食或在手机上交谈)。因此，驾驶员通常负责持续观察所有乘客(包括后座上的那些乘客)的行为。
为了促进监测，已在各种配置中使用了镜子。例如，补充标准后视镜的镜子可以被引导用于观察儿童座位中的儿童。然而，当儿童位于后座上，或甚至婴儿向后移动时，镜子往往无法很好地起作用。此外，儿童和婴儿经常掉落物品(例如，奶嘴、玩具等)，这些物品可导致分心(例如，儿童突然爆发或发脾气)(这种分心只有在物品被返回时才结束)，以安全带不再正确定位的方式移动，或开始哭泣或在不健康的位置入睡。
现有监测技术的问题通常包括驾驶员的额外分心(例如，必须查看附加的镜子组)和不完整的信息(例如，缺乏情况检测和提供纠正措施)。
为了解决这些问题，可将传感器系统集成到交通工具中，其输出可用于检测和分类与交通工具所承载的对象相关的事件。一旦检测到安全性事件，可以更改交通工具的操作元件以帮助缓解该安全性事件。例如，仪表板内显示器可显示乘客不恰当地佩戴安全带的图片或符号、以及对驾驶员的警告。如果安全性事件被归类为特别危险(例如，超过阈值)，则被更改的交通工具的操作元件可导致交通工具减速，或甚至将交通工具拉到路边以解决问题。此外，在各种实施例中，系统可以以取决于情况的方式突出显示掉落的物品以供更快地发现和拾取，或者向驾驶员通知(例如，警告)不适当的行为或身体位置。在各种实施例中，系统在驾驶员仪表板中提供直接视频连接以避免镜子或零部件市场解决方案，分析乘客行为，并且可以在仪表板中向驾驶员警告不适当的行为(诸如，不健康的睡眠位置、不正确的安全带定位等)，(诸如，当系统检测到非常关键的情况(如安全带被移除)时)，可以实施交通工具风险降低机动，或者可以标记乘客掉落的物品以便于它们的取回，并从而最小化驾驶员分心时间。
除了发生在交通工具内部的乘客行为外，乘客行为还可以涉及交通工具外部的安全性事件。例如，如果乘客将手臂或腿伸出车窗，则环境中的交通工具占用空间的这种附加的延伸可能意味着需要更改自主驾驶安全性裕度，以保持交通工具与其他对象之间的安全横向距离。例如，如果将尺寸过大的负载固定到交通工具上，可能会出现相同的情况，从而再次延伸交通工具的占用空间。在这些情况下，可以作出关于延伸的可能持续多久(例如，持续整个行程或持续几分钟)的评估。安全性裕度参数可以响应于该评估而被更改。一般来说，延伸越是临时性的，安全性裕度的变化就越小。
捕获静态和视频图像的相机通常提供良好的传感器平台，用于实现上述技术。麦克风可以被添加，用于为安全性事件的检测和分类提供甚至更多情境。此外，麦克风可以用于对情况(例如，有人在免提电话上讲话)进行消歧，或者可以用作附加感测(例如，定位事件正发生的位置或标识物品掉落的位置等)。
本文所述的设备、系统和技术的使用提供了对安全性事件的更复杂和准确的检测和分类。此外，可以在不在与之前技术相比的那么大程度上干扰驾驶员的情况下减轻安全性事件。因此，驾驶员可以更好地实现安全地操作交通工具的责任。以下提供了附加的细节和示例。
图1是根据实施例的环境的示例的框图，该环境包括用于交通工具乘员监测的系统。该系统可以包括容纳在交通工具105中的处理电路系统110、相机115和仪表板内显示器125。
如图所示，处理电路系统110被布置成用于实现三个元件：感测(例如，监测)；分析(例如，用于检测不适当的行为、评估危险性等)和致动(例如，通知或警告驾驶员、强制执行安全性交通工具反应(诸如，减速或停车)等)。为此，处理电路系统110包括传感器接口130，用于接纳来自一个或多个传感器(诸如，捕获乘客120的视图的相机115)的传感器数据。除了覆盖交通工具舱的各种视图的一个或多个相机之外，传感器还可以包括运动传感器(例如，超声波、红外等)、压力传感器或麦克风。在所示的示例中，传感器还可以包括定位系统(例如，全球定位系统(global positioning system,GPS))、加速度计或提供交通信息、天气或交通工具105正在其中运行的其他条件的设备(诸如，交通工具电子控制单元(electronic control unit,ECU))。
传感器接口130将传感器数据提供给对传感器数据执行分析的各种组件。在处理电路系统110中实施以执行分析的分立硬件可以包括：单指令多数据(single-instruction-multiple data,SIMD)单元(如图形处理单元(graphical processing unit,GPU))、神经形态处理器、现场可编程门阵列(field-programmable gate array,FPGA)或用于实现分析的其他元件。
该硬件与运行在其上运行或由硬件直接实现的对象检测器和分类器协同工作。此类检测器和分类器可以是经训练以执行相应任务的人工神经网络(artificial neuralnetwork,ANN)。因此，例如，卷积神经网络(convolutional neural network,CNN)可以被训练用于安全带位置检测140，另一CNN用于对象检测或跟踪145，并且另一CNN用于身体姿势检测或跟踪150。其他类型的检测器或分类器可以用于调整传感器数据或基于各种情况(诸如，对哭泣的儿童或呼喊的乘客的识别)提供附加分类。通常，ANN训练是使用这些情况的现有样本离线执行的。
检测和分类可被视为传感器数据的第一级评估。附加级别可以执行附加分类，诸如将多个检测组合成组合行为。例如，乘客已移除安全带(例如，一次检测)并且处于不正确的姿势(例如，另一次检测)可被归类为“乘客正试图伸出窗外”。
第一级检测器的输出可以变化。例如，安全带检测140可以提供指示安全带有多大可能正确定位的输出概率。如果存在高怀疑(例如，概率输出低)，则安全带检测140可以标记图像内的区域。对象检测或跟踪145可以将被突出显示的对象提供给输出图像，或者姿势检测或跟踪可以提供姿势的健康性或安全性得分。附加示例输出可以包括下表中的输出。
Figure BDA0003811489640000051
这些第一级组件的输出提供了危险性评估电路系统155，该危险性评估电路系统155估计不适当行为的危险性。如图所示，危险性评估电路系统155还可以接纳附加信息(诸如，交通工具速度、道路类型(例如，来自地图信息)、交通工具105外部的对象检测或其他情境数据)，并将其融合(例如，组合)以计算危险性得分：
Figure BDA0003811489640000061
危险性评估电路系统155还可以实现为ANN、支持向量机(support vectormachine,SVM)或其他分类器。此外，所图示的基于类的危险性得分(例如，安全、不安全、高度不安全)是表示分析的输出的一种方式。在示例中，例如，输出可以是表示0和100之间的安全性得分的浮点数。
危险性评估电路系统155的输出用于确定是否存在安全性事件，并通知处理电路系统110将如何对该安全性事件采取动作。在示例中，即使检测到安全性事件，低危险性得分也可阻止采取任何动作。处理电路系统110通过致动器接口135对安全性事件采取动作，以驱动显示器125、扬声器或甚至改变交通工具105的移动。这些输出可分为两个阶段：通知和动作。
通知阶段接收来自分析阶段的聚合输出，该聚合输出可以是带注释的视频流和所估计的危险性。处理电路系统110被布置成用于基于分析输出在仪表板显示器125(或抬头显示器)上向驾驶员提供直接反馈。例如，可以显示包含可能错误的安全带位置、检测到的玩具或哭泣的儿童的突出显示注释的聚合的或带注释的视频流。在示例中，为了避免驾驶员的过多分心，仅当对象超出乘客触及的范围(例如，因为，对象掉落)时才会出现对象突出显示。
在示例中，向驾驶员显示危险性输出。在示例中，可以基于危险性得分提供通知的升级(例如，警报、闪烁图形等)，以提高驾驶员意识。以这种方式，驾驶员注意力的逐步侵扰与安全性事件和不安全状况已经持续的时间成比例地发送。
在一些情况下，例如，如果安全性事件的危险性非常高(例如，高于预定义阈值)，则处理电路系统110被布置成用于采取行动来缓解安全性事件。通常，处理电路系统110被布置成通知驾驶员，请求驾驶员例如在足够的时间量内缓解安全性事件。这类似于ADAS制动辅助系统，该系统首先请求驾驶员在执行交通工具减速之前做出反应。如果人(例如，驾驶员)的动作没有缓解安全性事件，则处理电路系统110被布置成用于激活交通工具105中的可用ADAS或自主驾驶功能，以缓解安全性事件。此类动作的示例可以包括交通工具105的合理减速，以保持针对给定安全性事件被认为安全的速度，限制加速度，限制转弯程度等。可能存在其他对策更合适的情况，诸如将交通工具105拉到路边或驶出高速公路。在示例中，在这些更复杂的机动过程期间，驾驶员可以被通知即将到来的机动，以便在机动由交通工具105执行时不会意外。在示例中，提供用户界面以使驾驶员能够超控所计划的机动。
在前面的示例中改变的操作参数主要处理交通工具105的驾驶参数，诸如，加速、制动和转向。然而，交通工具105的其他操作参数(诸如，气囊展开)可以被修改。例如，如果不健康的睡眠位置被检测到，则处理电路系统110可以被布置成用于通过座椅调节(例如，调节座椅内的气囊、升高或降低座椅等)移动乘客。在示例中，气囊可能由于具有不正确姿势的安全性问题而被停用，以在发生碰撞时进一步确保乘员安全。
上述示例中的许多示例讨论了监测后排座椅乘客。然而，系统可应用于包括驾驶员的前排座椅乘客。因此，如果驾驶员行为不当，则系统可以通知驾驶员，并可能使交通工具减速或停下。在示例中，宠物、行李、携带的物品或其他货物也可以被监测以用于安全性事件。这可以在许多情况下有用，诸如，配送车操作，或用于防止狗从窗户逃出。
图2-5图示出上述概念向增加交通工具105的占用空间的元件的扩展。此类事物可以包括伸出窗户的肢体、或从交通工具的顶部、行李箱或车厢延伸的货物。以下示例包括关于传感器放置、安全性事件评估和缓解(包括在ADAS和自主驾驶系统中改变横向安全距离)的附加细节。
图2图示出根据实施例的由于对象从交通工具延伸而添加到交通工具导航的安全性裕度的示例。如图所示，两个交通工具(交通工具215和交通工具205)隔开安全性裕度。传统的安全性裕度包括特定于交通工具215的裕度225、共享波动裕度230和针对交通工具205的裕度220。驾驶安全系统(driving safety system，DSS)通常描述类似的裕度。在DSS中，取决于相应交通工具正加速还是制动，裕度225和裕度220可通过β横向，min或α横向，max来指称。裕度230是在DSS中通常找不到的范围。如下文所解释，裕度230是交通工具205的操作参数的改变，用于解决驾驶员将肢体210伸出窗户从而增加交通工具在环境中的占用面积的安全性事件。
当行驶的交通工具205内的乘员决定将身体部位210放置在交通工具外部(例如，窗户外)时，乘员可能正在危及自己或周围的其他交通参与者。这种行为可以出于乐趣、个人需要(例如，吸烟)或当地文化的共同性，诸如，驾驶员的手伸出窗户来发出意图信号(例如，转弯、停车等)。然而，这种行为可以对自动化水平为1-5的任何交通工具以及周围交通工具中的乘客安全性构成挑战。例如，将手臂伸出窗外可能影响并修改描述交通工具的宽度的参数。这样的附加宽度应被考虑并通知安全系统(诸如，实现DSS的那些系统)，以保持与其他交通工具和对象的适当安全横向距离。例如，在低自动化水平的情况下，附加宽度对于驾驶员监测系统向驾驶员警示危害行为可以是有用的。
在许多情况下，这种危害行为是暂时和动态的。例如，当发出转弯信号时，肢体210可以伸出窗户达几秒钟。此外，延伸的性质可以基于肢体的移动或交通工具的移动而变化。因此，延伸的动态监测提供了对操作参数(例如，安全性裕度230)的有效调整，该有效调整通常不能在开始行程之前通过简单配置实现。
通常，系统检测并测量交通工具205的横向范围内的动态移动。系统评估针对该范围的风险水平，并基于风险水平调整操作参数。在示例中，如果需要，则系统可以通知现有的DSS等以启用安全性回退措施。因此，系统连续测量交通工具的宽度的动态变化，并向驾驶员或自主交通工具系统通知安全风险水平的增加或减小，以实现对交通工具操作的动态变化。在示例中，监测可以检测用于机动的外部驾驶员手势，并将意图传输给ADAS或DSS系统。在示例中，系统可以与周围的交通工具传输信息。
当考虑横向距离时，交通工具中的安全系统通常包括假设。这有助于自动化交通工具与其他对象或驾驶员保持安全距离，以获得及时的警告。然而，如上所述，当乘客将不同对象210放在交通工具205的窗户或侧面之外时，这些横向距离可以动态地变化。例如，像DSS这样的安全模型定义了自我交通工具(例如，交通工具205)和其他道路使用者(例如，交通工具215)之间要保持的安全距离，但是交通工具205的侧面之外的对象210可能损害这种安全距离(例如，裕度220-230)，并危害交通工具205、周围的其他道路使用者(例如，交通工具215)或对象210本身。这里，对象210可以是乘客肢体或身体、动物、旗帜、装饰品、行李等。在许多情况下，这些对象从几秒钟到整个乘坐过程暂时处于交通工具205的横向范围之外。此外，对象可以正在动态地移出窗户。
在以下等式中示出了DSS横向安全距离d横向min，这是在两个交通工具i，i＝[1,2]之间的定义，其中交通工具1在交通工具2的左侧，两个交通工具分别以横向速度v1和v2行驶，具有假设的最大横向加速度α横向，max和最小横向减速度βi，横向，min：
Figure BDA0003811489640000101
其中v1,ρ＝v1+ρ1α横向,max,v2,ρ＝v2-ρ2α横向,max
但等式EQ(1)在自动化交通工具上或在ADAS中的适用性高度依赖于交通工具的横向范围。在实现安全模型(如DSS)的交通工具中，在交通工具205和另一道路使用者之间测得的横向安全距离d横向(例如，裕度220)应当始终大于或等于等式EQ(1)所要求的横向安全距离，即d横向≥d横向min。但在其中临时和动态对象210在交通工具205的横向范围上扩展的情况下，应建立额外的裕度(例如，裕度230)，并将其并入安全模型，即：
Figure BDA0003811489640000102
为了解决这个问题，本文描述的系统解决了临时和动态对象的组合，以实现横向范围监测系统(Lateral Extent Monitoring System,LEMS)。LEMS体系结构包括三个组件。第一组件检测并测量在交通工具205的横向占用面积上延伸的临时和动态对象210。第二组件对检测到的对象210执行风险评估，并将风险水平传输到第三组件，该第三组件采取动作或向其他系统或交通工具传送信息。
图3图示出根据实施例的用于观察延伸超出交通工具的对象的示例传感器位置。这些传感器位置可以统称为横向环境感知。一般来说，横向环境感知包括捕捉对象的存在及其大小的传感器。在示例中，传感器通常位于交通工具的两侧，从而捕获横向区域，通常是窗户区域。如图所示，传感器305位于交通工具的左侧，其FOV 315向后看以覆盖窗户，并且传感器310位于交通工具的右侧，其FOV 320向前和向下看以捕获交通工具的窗户和门。
传感器可以是一种或多种类型，诸如，相机(例如，二维可见光或红外相机)、深度相机(例如，RGB-D)、LIDAR、RADAR或超声传感器等。在示例中，横向环境感知可以包括用于接收或控制用于ADAS特征的现有传感器的接口，ADAS特征诸如，在有用的FOV可用于感兴趣区域的情况下的自动停车或车道保持辅助。
横向环境和感知被布置成用于检测在交通工具的深度内影响交通工具的横向范围的对象。除了检测对象的存在之外，还可以布置横向环境和感知来测量对象的大小。在示例中，可以通过各种图像识别和操纵技术来执行大小测量。
在示例中，横向环境感知被布置成用于检测驾驶员手势并通知交通工具的其他组件。这可以通过例如在做出信号手势时致动交通工具信号灯来实现驾驶意图的形式化。在示例中，当例如窗户关闭时，横向周围感知可以进入低功率状态。
如上所述，当对象被横向环境感知组件检测到时，可将输出传输至风险评估电路系统，以确立是否存在安全性事件。在安全性事件的情况下，可以通过改变交通工具的一个或多个操作参数来尝试缓解。
图4图示出根据实施例的用于风险等级评估的示例流程。在该实施例中，风险等级电路系统接收检测到的对象的测量结果并分配风险等级。在示例中，风险等级状态可以包括图示的安全状态410、谨慎状态415、危险状态420或非常危险状态425，尽管也可以使用其他划分或表示。状态定义了风险等级，并且可由系统以不同的方式进行评估。
系统开始于初始化状态405。该初始化状态405使其他组件或系统能够建立连接以支持交通工具安全。一旦初始化状态405完成，风险等级电路系统就移动到安全状态410。在安全状态410中，风险等级电路系统假设没有对象在交通工具外部或在距侧面的可接受距离内。这里，可接受的距离意指对象不影响交通工具的宽度，并且因此不影响距其他交通工具的横向距离(例如，裕度对象≈0).当针对安全系统的默认宽度被定义为宽于实际交通工具大小时，或者仅因为交通工具特征(诸如，侧镜)，可能会出现这种情况。
当对象跨越横向距离的预定义阈值时，状态从安全状态410变为谨慎状态415。谨慎状态415可以将信息和基本变化传输给其他组件，诸如用于更新ADAS中的横向宽度。一旦处于谨慎状态415，如果对象保持稳定，则风险等级电路系统就保持在谨慎状态415中，并继续跟踪对象。如果宽度缩小(例如，对象移回交通工具内部)，并且没有其他东西跨越阈值，则风险等级电路系统返回到安全状态410。
然而，当对象移动时(例如，手臂来回移动或行李在风中摇摆)，状态变为危险状态420。危险状态420增加传感器采样率，以启用更快的对象跟踪。危险状态420还可以使附加的安全措施能够由交通工具中的其他系统采取或指令附加的安全措施由交通工具中的其他系统采取。在示例中，危险状态420定义附加的宽度缓冲区(例如，图2中的裕度230)。
如果动态行为继续，并且附加的安全缓冲区被跨越，则风险等级电路系统可继续到非常危险状态425。在非常危险状态425处，安全措施(例如，增加横向裕度或警示驾驶员)可能不够，并且预防性机动可以被采用。然而，当对象在横向阈值后往回跨越并保持在安全缓冲区中达一时段(例如，设定的秒数)时，状态往回转变到危险状态420，然后转变到谨慎状态415，并最终转变到安全状态410，从而阻止增加风险水平状态的任何附加对象行为。
图5图示出根据实施例的用于跟踪横向裕度和控制驾驶策略的体系结构的示例。图1的处理电路系统110可以被布置成用于实现LEMS 505中的以下组件。LEMS 505与交通工具规划系统510(例如，自主驾驶电子控制单元(ECU))交互，该交通工具规划系统510继而经由交通工具致动电路系统545致动对交通工具的控制。
LEMS 505包括横向环境感知电路系统520，该横向环境感知电路系统520向风险水平电路系统525提供对象检测、测量或跟踪，该风险水平电路系统525继而又向传输和致动电路系统530提供风险状态。
传输和致动电路系统530被布置成用于从风险等级电路系统525接收关于风险等级(例如，状态)的信息，并基于风险等级将预定义的动作应用于交通工具的操作参数。例如，当风险进入谨慎状态时，传输和致动电路系统530可以(例如，向规划系统510的安全组件535或驾驶策略540)致动警告或提示信号。当风险处于谨慎水平时，传输和致动电路系统530可以持续地更新交通工具的宽度，并将其传送到交通工具中的安全组件535(例如，用于DSS安全检查的动态横向参数的更新)。在示例中，传输和致动电路系统530被布置成用于通过例如可用的交通工具对交通工具(Vehicle-to-Vehicle,V2V)通信将安全性事件传送到附近的交通工具。
在示例中，当风险水平上升到危险时，谨慎水平措施被采取，并且可以触发附加的安全信号(例如，警报)，以向乘客警示由系统标识的危险。在示例中，自主交通工具可以将驾驶行为改变为预防模式，以避免任何可能的横向碰撞。例如，对于更高级别的自动化，驾驶策略540可以被配置成用于改变到最右侧车道，从而在必要时能够从主道路退出或停车。
在示例中，当风险达到非常危险状态时，传输和致动电路系统530可以直接指令规划系统510，或者甚至直接指令交通工具控制545执行最小风险机动或紧急机动，该紧急机动例如可以安全地停下车辆(例如，向驾驶员发出适当警告)。在具有ADAS特征的交通工具中，这些机动可以包括向驾驶员生成警告或限制交通工具的横向运动，直到危险解除或直到危险(例如，风险等级状态)降低到危险等级为止。这使得乘客或驾驶员能够相应地处理这种情况。
LEMS在各种用例(诸如，机器人出租车产业)中是有用的。常见的意外事件可以包括对伸出交通工具窗外的对象或身体部位的识别。LEMS实现针对交通工具内的对象或人以及附近交通参与者的风险降低。因此，LEMS有助于降低因粗心乘客导致的事故或财产损失的风险。类似地，当与ADAS系统结合使用时，LEMS使驾驶员能够专注于道路，从而在必要时给出警告。在高的交通工具自动化级别下，LEMS可以降低风险，并请求乘客解决安全问题。在从乘坐开始就存在安全危险(例如，乘客运输大型对象，诸如高大的植物)的情况下，LEMS可在开始旅行前通知乘客缓解危险。在诸如叉车等交通工具中也可以享受相同的益处，其中横向范围基于当前负载向驾驶员或交通工具通知安全性裕度。此外，由于LEMS跟踪对象，因此可以进行动态改变以解决这些情况。
图6-12图示出对上述概念的扩展，用于组合音频和图像分析，以例如增强乘员监测。组合式分析能够更好地检测和分类对象和行为。
图6图示出根据实施例的交通工具中的示例传感器放置。如图所示，看向交通工具舱的相机605，以及被示出为包括麦克风610A、麦克风610B和麦克风610C的麦克风阵列610。一般而言，驾驶员监测系统(Driver Monitoring systems,DMS)(可以包括乘员监测)改善安全性和用户体验。DMS通常使用各种传感器来分析乘员状态和行为。这里，麦克风阵列610提供附加的意识水平以增强乘员监测。例如，麦克风阵列可以用于对驾驶员的动作进行分类，通过使用声源定位来提供关注区域，或者通过基于音频数据描述当前场景来充当冗余信息源。
麦克风阵列610可与相机605(诸如，二维视觉或红外相机，或三维(例如，飞行时间)相机)组合成音频-视觉管线，用于准确且可靠地例如感知驾驶员的状态、行为或与其他乘客之间的交互。该系统还可用于监测和记录异常事件(诸如碰撞、紧急制动机动、窗户碰撞等)，这些事件可随后用于基于异常事件之前的事件调整交通工具的操作参数。
在示例中，音频数据作为视觉数据的附加通道被提供。音频数据与视觉数据组合，以生成对乘员状态或行为的更准确的描述。例如，驾驶员状态通常根据注意力、疲劳、压力、困倦和参与度来衡量。这里，驾驶员注意力的传统测量可以被增强，从而包括搜索对象、在电话上交谈、与其他乘客交谈、喊叫、打哈欠等。
如图所示，相机605和麦克风阵列610生成视频数据和音频数据的流。这两个数据流都可以由处理电路系统(例如，图1中的处理电路系统110)使用CNN推理框架来联合或独立地处理。例如，在示例中，由CNN生成的音频特征和视觉特征两者可用于对乘员状态或行为进行更准确的分类。在示例中，音频通道可以独立地用于生成场景的描述。这些描述以事件的形式被存储，这些事件稍后可结合可用于交通工具的其他传感器被处理。
图7图示出根据实施例的用于组合视觉和音频数据以观察交通工具的乘员的系统的示例。如图所示，音频流首先由音频子系统705处理以产生音频特征。类似地，视频流由视觉子系统710处理以产生视觉特征。视频特征和音频特征由聚合器715聚合并被提供给分类器725。在示例中，聚合的特征可以被提供给定位器730以例如对对象进行定位。在示例中，音频特征可以被提供给音频分类器720，以例如提供事件的转录或描述。
图8图示出根据实施例的音频处理管线的示例。声音在麦克风阵列805处被捕获以产生原始音频数据810。采样设备815在触发对原始音频数据810的处理之前在时间窗上收集原始音频数据810。当原始音频数据810准备好被处理时(例如，在触发时)，原始音频数据810被聚合，然后用短时傅立叶变换器(Short Time Fourier Transformer,STFT)820转换为其频谱表示(例如，频谱图825)，然后将该频谱图825作为输入提供给CNN 830。在示例中，CNN 830包括生成音频特征835的一系列一维卷积(例如，链)。然后，音频特征835可以被用作音频-视觉网络的输入或音频网络的输入，诸如，分别在图10和图11中示出的那些。
图9图示出根据实施例的视觉分类系统的示例。视觉分类包括用于从图像或视频数据提取低级特征的视觉CNN 905。这些特征被提供给视觉网络910。视觉网络包括提取更高级别的特征的CNN 915，然后这些特征可以被馈送到人体姿势分类器920、眼睛跟踪分类器925、或对象检测器和分类器930等。在示例中，所生成的输出与由其他传感器提供的所有信息聚合，并且检测组件记录事件。在示例中，输出用于通过视觉、听觉或触觉地反馈信息来影响驾驶员的状态。
图10图示出根据实施例的组合式音频和视觉处理管线的示例。音频-视觉管线，或音频-视觉网络1005融合音频1010和视觉1015特征集两者，并将它们提供给CNN 1020以产生单个特征集。然后，该特征集可以被提供给活动分类器1030或定位器1025。活动分类的示例可以包括在电话上交谈、与另一乘客交谈、与交通工具控制交互、拾取物体、打哈欠、呼吸频率或驾驶员疲劳。
来自活动分类器1030或定位器1025的输出可以被提供给存储在数据库1040中的其他组件(诸如，上文描述的用于改变交通工具的操作参数的组件)。在示例中，数据库存储是事件1035的形式，事件1035之后可以被取回以用于报告、训练，或者将它们与来自安装在交通工具中的其他传感器的附加信息组合。
图11图示出根据实施例的音频分类系统的示例。这里，音频网络1120利用长短时记忆(Long Short-Term Memory,LSTM)ANN 1125以将过去的信息考虑在内。输出以事件1135的形式保存在数据库1140中，该数据库1140之后可用于生成正在交通工具中发生的事情的准确描述。
如图所示，音频特征由音频处理管线1110提供给音频网络1120。使用时间性神经网络(诸如，LSTM ANN 1125)处理音频特征，以产生更高级别的特征集。然后，由分类器1130处理该更高级别的特征集，以计算针对每个音频样本的类概率。因此，为音频分配了最能描述其内容的分类。针对音频数据的分类的示例可包括人说话、人打哈欠、门打开、门关闭、发动机点火、制动、紧急制动、狗吠或婴儿哭闹等。
图12图示出根据实施例的驾驶员监测系统1205的示例。上述元件可以集成到驾驶员监测系统1205中，该驾驶员监测系统1205包括音频-视觉管线1225、音频管线1220、视觉管线1215和如上所述的其他传感器1210。这些管线馈送驾驶员状态和行为电路系统1230，该驾驶员状态和行为电路系统1230集成驾驶员1245或其他乘员行为的分类。然后，反馈可以被提供给驾驶员1245，被记录在存储在数据库1240中的事件1235中，或既被提供给驾驶员1245，又被记录在存储在数据库1240中的事件1235中。
图13图示出根据实施例的用于交通工具乘员监测的方法1300的示例的流程图。方法1300的操作由计算机硬件(诸如，上文或下文描述的计算机硬件(例如，处理电路系统))执行。
在操作1305处，传感器数据从交通工具的传感器阵列被获取。这里，传感器数据包括视觉图像数据。在示例中，传感器阵列包括多于一个相机，用于产生视觉图像数据。在示例中，相机具有交通工具外部的视场(FOV)。
在示例中，传感器阵列包括多于一个麦克风。
在操作1310处，交通工具承载的对象从视觉图像数据被检测。因此，交通工具内的对象(例如，人或行李)、从交通工具延伸的对象(例如，延伸出窗户的手臂)或固定到交通工具外部的对象(例如，卡车车厢中的家具或系到车辆的车顶的家具)被交通工具承载。在示例中，对象是由乘客掉落的对象。在示例中，该对象是安全带。在示例中，该对象是交通工具的乘员。在示例中，该对象从交通工具突出。
在示例中，检测盖对象包括将来自多于一个麦克风的音频数据和来自多于一个相机的视觉数据进行组合，以产生组合的音频-视觉输入。然后，音频-视觉输入可以在卷积神经网络中被评估，以定位交通工具中的检测到的对象。
在操作1315处，针对交通工具的安全性事件基于对象检测被检测到。在示例中，检测安全性事件包括获取交通工具的操作条件，并基于操作条件和事件的组合将包括对象的事件分类为安全性事件。在示例中，在对象是安全带的情况下，安全性事件是安全带的误用。在示例中，在对象是交通工具的乘客(例如，任何乘员)的情况下，安全性事件是危险的乘客姿势。
在操作1320处，交通工具的操作元件响应于检测到该安全性事件被更改。在示例中，更改交通工具的操作元件包括使交通工具减速。在示例中，更改交通工具的操作元件包括将交通工具导航至安全位置并停下该交通工具。
在示例中，在对象是由乘客掉落的一个对象的情况下，更改交通工具的操作元件包括提供掉落的对象的位置。
在示例中，在对象从交通工具突出的情况下，更改交通工具的操作元件包括基于对象从交通工具突出的程度修改由交通工具的自动化驾驶系统保持的最小距离。在示例中，检测安全性事件(操作1315)包括预测对象的瞬态，并且最小距离通过对象的所预测的瞬态被修改。
图14图示出可在其上执行本文中所讨论的技术(例如，方法)中的任何一项或多项的示例机器1400的框图。如本文中所述的示例可包括机器1400中的逻辑或者多个组件或机制，或可由机器1400中的逻辑或者多个组件或机制操作。电路系统(例如，处理电路系统)是在机器1400的有形实体中实现的、包括硬件(例如，简单电路、门、逻辑等)的电路的集合。电路系统成员关系可以是随时间而灵活的。电路系统包括在操作时可单独地或组合地执行所指定操作的成员。在示例中，电路系统的硬件可被不可改变地设计为执行特定操作(例如，硬连线式)。在示例中，电路系统的硬件可包括可变连接的物理组件(例如，执行单元、晶体管、简单电路等)，这些物理组件包括在物理上被修改(例如，对不变的聚集粒子磁性地、电气地、可移动地布置等)以对特定操作的指令进行编码的机器可读介质。在连接物理组件时，硬件组成部分的底层电气属性例如从绝缘体改变为导体，或反过来从导体变成绝缘体。这些指令使嵌入式硬件(例如，执行单元或加载机构)能够经由可变连接而在硬件中创建电路系统的成员，以在操作时执行特定操作的部分。相应地，在示例中，机器可读介质元件是电路系统的部分，或者在设备正在操作时通信地耦合至电路系统的其他组件。在示例中，物理组件中的任一个可在多于一个电路系统的多于一个成员中使用。例如，在操作下，执行单元可在一个时刻在第一电路系统的第一电路中被使用，并且在不同的时间由第一电路系统中的第二电路重新使用或由第二电路系统中的第三电路重新使用。下面是关于机器1400的这些组件的附加示例。
在替代实施例中，机器1400可作为独立式设备操作，或可被连接(例如，联网)到其他机器。在联网的部署中，机器1400可以在服务器-客户端网络环境中以服务器机器、客户端机器或这两者的身份来操作。在示例中，机器1400可充当对等(peer-to-peer,P2P)(或其他分布式)网络环境中的对等机器。机器1400可以是个人计算机(personal computer,PC)、平板PC、机顶盒(set-top box,STB)、个人数字助理(personal digital assistant,PDA)、移动电话、web装置、网络路由器、交换机或桥、或者能够执行指定要由该机器采取的动作的指令(顺序的或以其他方式的)的任何机器。进一步地，虽然仅图示出单个机器，但是术语“机器”也应当被认为包括单独或联合地执行一组(或多组)指令以便执行本文中所讨论的方法中的任何一种或多种方法的机器的任何集合，该方法诸如，云计算、软件即服务(software as a service,SaaS)、其他计算机集群配置。
机器(例如，计算机系统)1400可包括硬件处理器1402(例如，中央处理单元(central processing unit,CPU)、图形处理单元(graphics processing unit,GPU)、硬件处理器核心、或其任何组合)、主存储器1404、静态存储器(例如，用于固件、微代码、基本输入输出(basic-input-output,BIOS)、统一可扩展固件接口(unified extensiblefirmware interface,UEFI)的存储器或存储装置等)1406和大容量存储装置1408(例如，硬驱动器、磁带驱动器、闪存存储或其他块设备)，其中的一些或全部可以经由互链路(例如，总线)1430彼此通信。机器1400可进一步包括显示单元1410、字母数字输入设备1412(例如，键盘)以及用户界面(user interface,UI)导航设备1414(例如，鼠标)。在示例中，显示单元1410、输入设备1412以及UI导航设备1414可以是触摸屏显示器。机器1400可附加地包括存储设备(例如，驱动单元)1408、信号生成设备1418(例如，扬声器)、网络接口设备1420以及一个或多个传感器1416(诸如，全球定位系统(GPS)传感器、罗盘、加速度计或其他传感器)。机器1400可包括用于连通或者控制一个或多个外围设备(例如，打印机、读卡器等)的输出控制器1428，诸如,串行(例如，通用串行总线(universal serial bus，USB))、并行、或者其他有线或无线(例如，红外(infrared，IR)、近场通信(near field communication，NFC)等)连接。
处理器1402的寄存器、主存储器1404、静态存储器1406或大容量存储装置1408可以是或者可包括机器可读介质1422，在该机器可读介质1422上存储有一组或多组数据结构或指令1424(例如，软件)，该数据结构或指令1424具体化本文中描述的技术或功能中的任何一种或多种或由本文中描述的技术或功能中的任何一种或多种利用。指令1424还可以在由机器1400对其执行期间完全或至少部分地驻留在处理器1402的寄存器、主存储器1404、静态存储器1406或大容量存储装置1408中的任一者内。在示例中，硬件处理器1402、主存储器1404、静态存储器1406、或大容量存储装置1408中的一者或任何组合都可以构成机器可读介质1422。尽管机器可读介质1422被图示为单个介质，但是术语“机器可读介质”可包括被配置成用于存储一个或多个指令1424的单个介质或多个介质(例如，集中式或分布式数据库、和/或相关联的高速缓存和服务器)。
术语“机器可读介质”可包括能够存储、编码或承载供机器1400执行并且使机器1400执行本公开的技术中的任何一项或多项技术的指令、或者能够存储、编码或承载由此类指令使用或与此类指令相关联的数据结构的任何介质。非限制性机器可读介质示例可包括固态存储器、光学介质、磁介质和信号(例如，射频信号、其他基于光子的信号、声音信号等)。在示例中，非瞬态机器可读介质包括具有多个粒子的机器可读介质，这些粒子具有不变(例如，静止)质量，并且因此是物质的组合物。相应地，非瞬态机器可读介质是不包括瞬态传播信号的机器可读介质。非瞬态机器可读介质的特定示例可包括：非易失性存储器，诸如，半导体存储器设备(例如，电可编程只读存储器(Electrically Programmable Read-Only Memory,EPROM)、电可擦除可编程只读存储器(Electrically ErasableProgrammable Read-Only Memory,EEPROM))以及闪存设备；磁盘，诸如，内部硬盘和可移除盘；磁光盘；以及CD-ROM和DVD-ROM盘。
在示例中，存储在机器可读介质1422上或以其他方式提供在机器可读介质1422上的信息可以表示指令1424，诸如，指令1424本身或者可以从中导出指令1424的格式。可以从中导出指令1424的该格式可以包括源代码、经编码的指令(例如，以经压缩或经加密的形式)、经封装的指令(例如，拆分成多个封装)等。表示机器可读介质1422中的指令1424的信息可以由处理电路系统处理成指令以实现本文所讨论的操作中的任何操作。例如，从(例如，由处理电路系统进行的处理的)信息导出指令1424可以包括：(例如，从源代码、目标代码等)编译、解释、加载、组织(例如，动态地或静态地进行链接)、编码、解码、加密、解密、打包、拆包，或者以其他方式将信息操纵为指令1424。
在示例中，指令1424的推导可以包括(例如，通过处理电路系统)对信息进行汇编、编译、或解释，以从机器可读介质1422提供的某个中间或预处理的格式创建指令1424。当信息以多个部分提供时，可以对其进行组合、拆包和修改以创建指令1424。例如，信息可以处于一个或若干远程服务器上的多个经压缩的源代码封装(或目标代码、或二进制可执行代码等)中。源代码封装可以在通过网络传输时被加密，并且可以在本地机器处被解密、被解压缩、(如果必要的话)被汇编(例如，被链接)，并且被编译或被解释(例如，被编译或被解释成库、独立式可执行文件等)，并且由本地机器执行。
可以利用多种传输协议(例如，帧中继、网际协议(internet protocol,IP)、传输控制协议(transmission control protocol,TCP)、用户数据报协议(user datagramprotocol,UDP)、超文本传输协议(hypertext transfer protocol,HTTP)等等)中的任何一种协议，经由网络接口设备1420，使用传输介质，通过通信网络1426来进一步传送或接收指令1424。示例通信网络可包括局域网(local area network,LAN)、广域网(wide areanetwork,WAN)、分组数据网络(例如，因特网)、LoRa/LoRaWAN、或卫星通信网络、移动电话网络(例如，蜂窝网络，诸如，符合3G、4G LTE/LTE-A、或5G标准的蜂窝网络)、普通老式电话(Plain Old Telephone,POTS)网络、以及无线数据网络(例如，称为
Figure BDA0003811489640000211
的电气与电子工程师协会(Institute of Electrical and Electronics Engineers,IEEE)802.11标准族、称为
Figure BDA0003811489640000212
的IEEE 802.16标准族)、IEEE 802.15.4标准族、对等(P2P)网络，等等。在示例中，网络接口设备1420可包括用于连接到通信网络1426的一个或多个物理插口(jack)(例如，以太网插口、同轴插口、或电话插口)或者一根或多根天线。在示例中，网络接口设备1420可包括使用单输入多输出(single-input multiple-output,SIMO)、多输入多输出(multiple-input multiple-output,MIMO)、或多输入单输出(multiple-inputsingle-output,MISO)技术中的至少一种技术无线地进行通信的多根天线。术语“传输介质”应当被认为包括能够存储、编码或承载供机器1400执行的指令的任何无形介质，并且“传输介质”包括数字或模拟通信信号或者用于促进此类软件的通信的其他无形介质。传输介质是机器可读介质。
附加注释和示例
示例1是一种用于交通工具乘员监测的设备，该设备包括：接口，用于从交通工具的传感器阵列获取传感器数据，该传感器数据包括视觉图像数据；存储器，包括指令；以及处理电路系统，当在操作中时，该处理电路系统被指令配置用于：从视觉图像数据检测交通工具承载的对象；基于对象检测来标识针对交通工具的安全性事件；以及响应于检测到安全性事件，更改交通工具的操作元件。
在示例2中，如示例1的主题，其中为了检测该安全性事件，处理电路系统：获取交通工具的操作条件；以及基于操作条件和事件的组合，将包括该对象的事件分类为安全性事件。
在示例3中，如示例1-2中的任一项的主题，其中，为了更改交通工具的操作元件，处理电路系统使交通工具减速。
在示例4中，如示例3的主题，其中，为了更改交通工具的操作元件，处理电路系统使交通工具：将该交通工具导航至安全位置；以及使交通工具停下。
在示例5中，如示例1-4中的任一项的主题，其中，该对象是由乘客掉落的对象。
在示例6中，如示例5的主题，其中，为了更改交通工具的操作元件，处理电路系统提供所掉落的对象的位置。
在示例7中，如示例1-6中的任一项的主题，其中对象是安全带。
在示例8中，如示例7的主题，其中安全性事件是该安全带的误用。
在示例9中，如示例1-8中的任一项的主题，其中对象是乘客。
在示例10中，如示例9的主题，其中安全性事件是危险的乘客姿势。
在示例11中，如示例1-10中的任一项的主题，其中传感器阵列包括用于生成视觉图像数据的多个相机。
在示例12中，如示例11的主题，其中多个相机具有交通工具外部的视场(FOV)，并且其中对象从交通工具突出。
在示例13中，如示例12的主题，其中，为了更改交通工具的操作元件，处理电路系统基于对象从交通工具突出的程度修改由交通工具的自动化驾驶系统维持的最小距离。
在示例14中，如示例13的主题，其中为了检测安全性事件，处理电路系统预测对象的瞬态，并且其中最小距离也通过该对象的被预测的瞬态来修改。
在示例15中，如示例1-14中的任一项的主题，其中传感器阵列包括多于一个麦克风。
在示例16中，如示例15的主题，其中为了检测对象，处理电路系统：组合来自多于一个麦克风的音频数据和来自相机的视觉数据，以产生组合的音频-视觉输入；以及在卷积神经网络中评估该音频-视觉输入以定位所检测的对象。
示例17是一种用于交通工具乘员监测的方法，该方法包括：从交通工具的传感器阵列获取传感器数据，该传感器数据包括视觉图像数据；从视觉图像数据中检测交通工具承载的对象；基于对象检测来标识针对交通工具的安全性事件；以及响应于检测到安全性事件，更改交通工具的操作元件。
在示例18中，如示例17的主题，其中检测该安全性事件包括：获取交通工具的操作条件；以及基于操作条件和事件的组合，将包括该对象的事件分类为安全性事件。
在示例19中，如示例17-18中的任一项的主题，其中更改交通工具的操作元件包括使交通工具减速。
示例20中，如示例19的主题，其中，更改交通工具的操作元件包括：将该交通工具导航至安全位置；以及使交通工具停下。
在示例21中，如示例17-20中的任一项的主题，其中，该对象是由乘客掉落的对象。
在示例22中，如示例21的主题，其中更改交通工具的操作元件包括提供所掉落的对象的位置。
在示例23中，如示例17-22中的任一项的主题，其中对象是安全带。
在示例24中，如示例23的主题，其中安全性事件是该安全带的误用。
在示例25中，如示例17-24中的任一项的主题，其中对象是乘客。
在示例26中，如示例25的主题，其中安全性事件是危险的乘客姿势。
在示例27中，如示例17-26中的任一项的主题，其中传感器阵列包括用于产生视觉图像数据的多个相机。
在示例28中，如示例27的主题，其中多个相机具有交通工具外部的视场(FOV)，并且其中对象从交通工具突出。
在示例29中，如示例28的主题，其中更改交通工具的操作元件包括：基于对象从交通工具突出的程度修改由交通工具的自动化驾驶系统维持的最小距离。
在示例30中，如示例29的主题，其中检测安全性事件包括预测对象的瞬态，并且其中最小距离也通过该对象的被预测的瞬态来修改。
在示例31中，如示例17-30中的任一项的主题，其中传感器阵列包括多于一个麦克风。
在示例32中，如示例31的主题，其中检测该对象包括：组合来自多于一个麦克风的音频数据和来自相机的视觉数据，以产生组合的音频-视觉输入；以及在卷积神经网络中评估该音频-视觉输入以定位所检测的对象。
示例33是包括用于交通工具乘员监测的指令的至少一种机器可读介质，该指令当由处理电路系统执行时使处理电路系统执行包括以下步骤的操作：从交通工具的传感器阵列获取传感器数据，该传感器数据包括视觉图像数据；从视觉图像数据检测交通工具承载的对象；基于对象检测来标识针对交通工具的安全性事件；以及响应于检测到安全性事件，更改交通工具的操作元件。
在示例34中，如示例33的主题，其中检测该安全性事件包括：获取交通工具的操作条件；以及基于操作条件和事件的组合，将包括该对象的事件分类为安全性事件。
在示例35中，如示例33-34中的任一项的主题，其中更改交通工具的操作元件包括使交通工具减速。
示例36中，如示例35的主题，其中，更改交通工具的操作元件包括：将该交通工具导航至安全位置；以及使交通工具停下。
在示例37中，如示例33-36中的任一项的主题，其中，该对象是由乘客掉落的对象。
在示例38中，如示例37的主题，其中更改交通工具的操作元件包括提供所掉落的对象的位置。
在示例39中，如示例33-38中的任一项的主题，其中对象是安全带。
在示例40中，如示例39的主题，其中安全性事件是该安全带的误用。
在示例41中，如示例33-40中的任一项的主题，其中对象是乘客。
在示例42中，如示例41的主题，其中安全性事件是危险的乘客姿势。
在示例43中，如示例33-42中的任一项的主题，其中传感器阵列包括用于产生视觉图像数据的多个相机。
在示例44中，如示例43的主题，其中多个相机具有交通工具外部的视场(FOV)，并且其中对象从交通工具突出。
在示例45中，如示例44的主题，其中更改交通工具的操作元件包括：基于对象从交通工具突出的程度修改由交通工具的自动化驾驶系统维持的最小距离。
在示例46中，如示例45的主题，其中检测安全性事件包括预测对象的瞬态，并且其中最小距离也通过该对象的被预测的瞬态来修改。
在示例47中，如示例33-46中的任一项的主题，其中传感器阵列包括多于一个麦克风。
在示例48中，如示例47的主题，其中检测该对象包括：组合来自多于一个麦克风的音频数据和来自相机的视觉数据，以产生组合的音频-视觉输入；以及在卷积神经网络中评估该音频-视觉输入以定位所检测的对象。
示例49是一种用于交通工具乘员监测的系统，该系统包括：用于从交通工具的传感器阵列获取传感器数据的装置，该传感器数据包括视觉图像数据；用于从视觉图像数据检测交通工具承载的对象的装置；用于基于对象检测来标识针对交通工具的安全性事件的装置；以及用于响应于检测到安全性事件而更改交通工具的操作元件的装置。
在示例50中，如示例49的主题，其中检测该安全性事件包括：用于获取交通工具的操作条件的装置；以及用于基于操作条件和事件的组合而将包括该对象的事件分类为安全性事件的装置。
在示例51中，如示例49-50中的任一项的主题，其中用于更改交通工具的操作元件的装置包括用于使交通工具减速的装置。
示例52中，如示例51的主题，其中，用于更改交通工具的操作元件的装置包括：用于将该交通工具导航至安全位置的装置；以及用于使交通工具停下的装置。
在示例53中，如示例49-52中的任一项的主题，其中，该对象是由乘客掉落的对象。
在示例54中，如示例53的主题，其中用于更改交通工具的操作元件的装置包括用于提供所掉落的对象的位置的装置。
在示例55中，如示例49-54中的任一项的主题，其中对象是安全带。
在示例56中，如示例55的主题，其中安全性事件是该安全带的误用。
在示例57中，如示例49-56中的任一项的主题，其中对象是乘客。
在示例58中，如示例57的主题，其中安全性事件是危险的乘客姿势。
在示例59中，如示例49-58中的任一项的主题，其中传感器阵列包括用于产生视觉图像数据的多个相机。
在示例60中，如示例59的主题，其中多个相机具有交通工具外部的视场(FOV)，并且其中对象从交通工具突出。
在示例61中，如示例60的主题，其中用于更改交通工具的操作元件的装置包括：用于基于对象从交通工具突出的程度修改由交通工具的自动化驾驶系统维持的最小距离的装置。
在示例62中，如示例61的主题，其中用于检测安全性事件的装置包括用于预测对象的瞬态的装置，并且其中最小距离也通过该对象的被预测的瞬态来修改。
在示例63中，如示例49-62中的任一项的主题，其中传感器阵列包括多于一个麦克风。
在示例64中，如示例63的主题，其中用于检测该对象的装置包括：用于组合来自多于一个麦克风的音频数据和来自相机的视觉数据以产生组合的音频-视觉输入的装置；以及用于在卷积神经网络中评估该音频-视觉输入以定位所检测的对象的装置。
示例65是包括指令的至少一种机器可读介质，该指令当由处理电路系统执行时，使得该处理电路系统执行操作以实现示例1-64中的任一项。
示例66是一种设备，包括用于实现示例1-64中的任一项的装置。
示例67是一种用于实现示例1-64中的任一项的系统。
示例68是一种用于实现示例1-64中的任一项的方法。
以上具体实施方式包括对附图的引用，附图形成具体实施方式的部分。附图通过图示方式示出可被实施的具体实施例。这些实施例在本文中也被称为“示例”。此类示例可包括除所示出或所描述的那些要素以外的要素。然而，本申请发明人还构想了其中只提供所示出或所描述的那些要素的示例。另外，本申请发明人还构想了相对于本文中所示出或所描述的特定示例(或者其一个或多个方面)或者相对于本文中所示出或所描述的其他示例(或者其一个或多个方面)使用所示出或所描述的那些要素(或者其一个或多个方面)的任何组合或排列的示例。
本文档中所涉及的所有公开、专利和专利文档通过引用整体结合于此，如通过引用单独地结合。在本文档和通过引用所结合的那些文档之间的不一致的用法的情况下，在结合的(一个或多个)引用中的用法应当被认为是对本文档的用法的补充；对于不可调和的不一致，以本文档中的用法为准。
在此文档中，如在专利文档中常见的那样，使用术语“一(a或an)”以包括一个或多于一个，这独立于“至少一个”或“一个或多个”的任何其他实例或用法。在此文档中，除非另外指示，否则使用术语“或”来指非排他性的或，使得“A或B”包括“A但非B”、“B但非A”、以及“A和B”。在所附权利要求书中，术语“包括(including)”和“其中(in which)”被用作相应的术语“包含(comprising)”和“其特征在于(wherein)”的普通英语等价词。此外，在所附权利要求书中，术语“包括(including)”和“包含(comprising)”是开放式的，也就是说，在权利要求中包括除此类术语之后列举的那些要素之外的要素的系统、设备、制品或过程仍被视为落在那项权利要求的范围内。此外，在所附权利要求书中，术语“第一”、“第二”、“第三”等仅用作标记，而不旨在对其对象施加数值要求。
以上描述旨在是说明性而非限制性的。例如，以上所描述的示例(或者其一个或多个方面)可彼此组合使用。诸如可由本领域普通技术人员在仔细阅读以上描述之后使用其他实施例。摘要用于允许读者快速地确认本技术公开的性质，并且提交此摘要需理解：它将不被用于解释或限制权利要求书的范围或含义。而且，在以上具体实施方式中，各种特征可编组在一起以使本公开精简。但这不应被解释为意指未要求保护的所公开特征对任何权利要求而言都是必要的。相反，发明性主题可在于少于特定的所公开实施例的所有特征。因此，所附权利要求由此被并入具体实施方式中，其中每项权利要求独立成为单独实施例。各实施例的范围应当参考所附权利要求连同这些权利要求赋予的等效方案的全部范围而确定。

Claims (25)

1.一种用于交通工具乘员监测的设备，所述设备包括：
接口，所述接口用于从交通工具的传感器阵列获取传感器数据，所述传感器数据包括视觉图像数据；
存储器，所述存储器包括指令；以及
处理电路系统，所述处理电路系统在操作时由所述指令配置成用于：
从所述视觉图像数据检测所述交通工具承载的对象；
基于对象检测来标识针对所述交通工具的安全性事件；以及
响应于检测到所述安全性事件，更改所述交通工具的操作元件。
2.如权利要求1所述的设备，其特征在于，为了检测所述安全性事件，所述处理电路系统：
获取所述交通工具的操作条件；以及
基于所述操作条件和所述事件的组合，将包括所述对象的事件分类为所述安全性事件。
3.如权利要求1所述的设备，其特征在于，为了更改所述交通工具的所述操作元件，所述处理电路系统使所述交通工具减速。
4.如权利要求3所述的设备，其特征在于，为了更改所述交通工具的所述操作元件，所述处理电路系统使所述交通工具：
将所述交通工具导航至安全位置；以及
使所述交通工具停下。
5.如权利要求1所述的设备，其特征在于，所述对象是由乘客掉落的对象。
6.如权利要求5所述的设备，其特征在于，为了更改所述交通工具的所述操作元件，所述处理电路系统提供所掉落的对象的位置。
7.如权利要求1所述的设备，其特征在于，所述对象是安全带。
8.一种用于交通工具乘员监测的方法，所述方法包括：
从交通工具的传感器阵列获取传感器数据，所述传感器数据包括视觉图像数据；
从所述视觉图像数据检测所述交通工具承载的对象；
基于所述对象检测来标识针对所述交通工具的安全性事件；以及
响应于检测到所述安全性事件，更改所述交通工具的操作元件。
9.如权利要求8所述的方法，其特征在于，检测所述安全性事件包括：
获取所述交通工具的操作条件；以及
基于所述操作条件和所述事件的组合，将包括所述对象的事件分类为所述安全性事件。
10.如权利要求8所述的方法，其特征在于，更改所述交通工具的所述操作元件包括使所述交通工具减速。
11.如权利要求10所述的方法，其特征在于，更改所述交通工具的所述操作元件包括：
将所述交通工具导航至安全位置；以及
使所述交通工具停下。
12.如权利要求8所述的方法，其特征在于，所述对象是由乘客掉落的对象。
13.如权利要求12所述的方法，其特征在于，更改所述交通工具的所述操作元件包括提供所掉落的对象的位置。
14.如权利要求8所述的方法，其特征在于，所述对象是安全带。
15.如权利要求14所述的方法，其特征在于，所述安全性事件是所述安全带的误用。
16.如权利要求8所述的方法，其特征在于，所述对象是乘客。
17.如权利要求16所述的方法，其特征在于，所述安全性事件是危险的乘客姿势。
18.如权利要求8所述的方法，其特征在于，所述传感器阵列包括用于产生所述视觉图像数据的多个相机。
19.如权利要求18所述的方法，其特征在于，所述多个相机具有所述交通工具外部的视场(FOV)，并且其中所述对象从所述交通工具突出。
20.如权利要求19所述的方法，其特征在于，更改所述交通工具的所述操作元件包括：基于所述对象从所述交通工具突出的程度来修改由所述交通工具的自动化驾驶系统维持的最小距离。
21.如权利要求20所述的方法，其特征在于，检测所述安全性事件包括预测所述对象的瞬态，并且其中所述最小距离也通过所述对象的所预测的瞬态来修改。
22.如权利要求8所述的方法，其特征在于，所述传感器阵列包括多于一个麦克风。
23.如权利要求22所述的方法，其特征在于，检测所述对象包括：
组合来自所述多于一个麦克风的音频数据和来自相机的视觉数据，以产生组合的音频-视觉输入；以及
在卷积神经网络中评估所述音频-视觉输入，以定位所检测的对象。
24.至少一种机器可读介质，包括指令，所述指令在由处理电路系统执行时，使所述处理电路系统执行如权利要求8-23中任一项所述的方法。
25.一种系统，包括用于执行如权利要求8-23中任一项所述的方法的装置。
CN202211012574.1A 2021-09-23 2022-08-23 交通工具乘员监测 Pending CN115923808A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US17/482,824 US20220242452A1 (en) 2021-09-23 2021-09-23 Vehicle occupant monitoring
US17/482,824 2021-09-23

Publications (1)

Publication Number Publication Date
CN115923808A true CN115923808A (zh) 2023-04-07

Family

ID=82612228

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211012574.1A Pending CN115923808A (zh) 2021-09-23 2022-08-23 交通工具乘员监测

Country Status (3)

Country Link
US (1) US20220242452A1 (zh)
EP (1) EP4156128A1 (zh)
CN (1) CN115923808A (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022119498A (ja) * 2021-02-04 2022-08-17 本田技研工業株式会社 車両用シートベルト装置
US12103547B2 (en) * 2021-05-04 2024-10-01 Ford Global Technologies, Llc Vehicle having user inputs controlled based on monitored pet location

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021530069A (ja) * 2018-06-26 2021-11-04 カッツ，イテイ 状況的ドライバ監視システム

Also Published As

Publication number Publication date
US20220242452A1 (en) 2022-08-04
EP4156128A1 (en) 2023-03-29

Similar Documents

Publication Publication Date Title
US11993277B2 (en) Inward/outward vehicle monitoring for remote reporting and in-cab warning enhancements
US11485284B2 (en) System and method for driver distraction determination
CN108269424B (zh) 用于车辆拥堵估计的系统和方法
CN108205731B (zh) 情境评估车辆系统
US10991181B1 (en) Systems and method for providing awareness of emergency vehicles
US10173625B2 (en) Detecting hazards in anticipation of opening vehicle doors
CN115923808A (zh) 交通工具乘员监测
US20180215395A1 (en) Context derived driver assistance
US11055605B2 (en) Detecting dangerous driving situations by parsing a scene graph of radar detections
US20160147233A1 (en) System and method for remote virtual reality control of movable vehicle partitions
US12072678B2 (en) Systems and methods for providing future object localization
US20230182759A1 (en) Methods and systems for imporiving user alertness in an autonomous vehicle
CN103569084B (zh) 驾驶侦测装置及其方法
US20230153424A1 (en) Systems and methods for an automous security system
WO2022269697A1 (ja) 異常検知システム、異常検知方法及びプログラム記録媒体
US12128881B1 (en) Vehicle-event application notifications
US20240101059A1 (en) System and method for campsite monitoring using vehicle sensors
US20240116439A1 (en) Vehicle Exit Assistance
CN118810608A (zh) 领导者和跟随者队列之间的车辆切入威胁检测和减轻

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination