CN117593728A - 车辆乘员风险行为识别与风险缓解 - Google Patents

车辆乘员风险行为识别与风险缓解 Download PDF

Info

Publication number
CN117593728A
CN117593728A CN202310048850.8A CN202310048850A CN117593728A CN 117593728 A CN117593728 A CN 117593728A CN 202310048850 A CN202310048850 A CN 202310048850A CN 117593728 A CN117593728 A CN 117593728A
Authority
CN
China
Prior art keywords
risk
occupant
vehicle
detected
window
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310048850.8A
Other languages
English (en)
Inventor
A·M·哈米斯
A·B·科斯德维迪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GM Global Technology Operations LLC
Original Assignee
GM Global Technology Operations LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GM Global Technology Operations LLC filed Critical GM Global Technology Operations LLC
Publication of CN117593728A publication Critical patent/CN117593728A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/62—Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G06V10/765—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects using rules for classification or partitioning the feature space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/593—Recognising seat occupancy
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/01—Occupants other than the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/223—Posture, e.g. hand, foot, or seat position, turned or inclined

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Automation & Control Theory (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Traffic Control Systems (AREA)
  • Emergency Alarm Devices (AREA)

Abstract

提供了一种车辆，该车辆包括：一个或多个内部图像传感器；一个或多个外部图像传感器；以及控制器，该控制器被配置为自动地检测乘员风险行为。该控制器被配置为：检测是否存在可能构成风险的车辆乘员；基于来自一个或多个内部图像传感器或一个或多个外部图像传感器的图像数据来确定检测到的车辆乘员是否在感兴趣区域(AoI)中从事潜在风险行为；确定潜在风险行为是否构成实际风险；当潜在风险行为构成实际风险时，对风险水平进行分类；以及基于风险分类执行风险缓解动作。

Description

车辆乘员风险行为识别与风险缓解
技术领域
技术领域总体上涉及用于在车辆操作期间提供风险评估的系统、方法和装置，并且更具体地涉及用于评估由于风险乘员行为引起的风险的系统、方法和装置。
背景技术
将诸如手/肘部/手臂/腿或头的肢体伸出车窗之外是一种可能造成事故的风险行为。此外，若干国家禁止乘客将四肢和其它肢体置于车窗之外，并且这种违法行为可能会被处以高额罚款。此外，这种风险行为可能导致肢体与对象碰撞，眼睛暴露于污垢、岩石、灰尘和其它碎屑，乘客(成人、儿童或宠物)的耳朵因高速风而受损，以及特别是在行驶期间摔倒在崎岖不平的地形上。
因此，需要用于检测与将乘员肢体伸出车窗之外相关联的威胁并警告乘员或驾驶员的方法、系统和装置。另外，结合附图和前面的技术领域及背景技术，根据随后的详细描述和所附的权利要求，本公开的其它期望的特征和特性将变得显而易见。
本引言中公开的信息仅用于加强对本公开的背景的理解，因此它可能包含不构成本领域普通技术人员在本国已知的现有技术的信息。
发明内容
本文公开了一种用于自动地检测乘员风险行为的车辆、方法和系统。在一个实施例中，提供了一种在车辆中用于自动地检测乘员风险行为的风险行为检测系统。该风险行为检测系统包括控制器。该控制器被配置为：检测是否存在可能构成风险的车辆乘员；确定检测到的车辆乘员是否在感兴趣区域(AoI)中从事潜在风险行为；确定潜在风险行为是否构成实际风险；当潜在风险行为构成实际风险时，对风险水平进行分类；以及基于风险分类执行风险缓解动作。
在风险行为检测系统的一个实施例中，为了检测是否存在可能构成风险的车辆乘员，控制器被配置为确定车辆乘员是否位于车窗附近并且确定位于车辆乘员附近的车窗是打开的还是关闭的。
在风险行为检测系统的一个实施例中，为了确定检测到的车辆乘员是否在AoI中从事潜在风险行为，控制器被配置为：从车辆在窗户附近的内部视图的接收到的图像确定检测到的车辆乘员的乘员类别；当检测到的车辆乘员是人或宠物时，生成具有一个或多个肢体的身体骨架；从身体骨架跟踪一个或多个肢体；以及检测一个或多个肢体是否位于AoI内。
在风险行为检测系统的一个实施例中，AoI包括从内部车辆传感器确定的内部窗户边界多边形。
在风险行为检测系统的一个实施例中，AoI包括从外部车辆传感器确定的外部边界框。
在风险行为检测系统的一个实施例中，AoI包括从内部车辆传感器确定的内部窗户边界多边形和从外部车辆传感器确定的外部边界框。
在风险行为检测系统的一个实施例中，为了确定潜在风险行为是否构成实际风险，控制器被配置为：确定检测到肢体伸出车窗之外的最大持续时间；将最大持续时间与可校准威胁阈值进行比较；以及基于最大持续时间与可校准威胁阈值的比较来确定风险水平。
在风险行为检测系统的一个实施例中，为了基于最大持续时间与可校准威胁阈值的比较来确定风险水平，控制器被配置为：当最大持续时间小于可校准威胁阈值时，将威胁水平标识为未处于风险中；以及当最大持续时间大于可校准威胁阈值时，将威胁水平标识为处于风险中。
在风险行为检测系统的一个实施例中，为了当潜在风险行为构成实际风险时对风险水平进行分类，控制器被配置为基于肢体类型来确定风险水平。
在风险行为检测系统的一个实施例中，为了基于肢体类型来确定风险水平，控制器被配置为：当肢体类型包括头、腿或下臂时确定风险水平为高；以及当肢体类型包括手指或前臂而非头、腿或下臂时确定风险水平为低。
在风险行为检测系统的一个实施例中，为了基于肢体类型来确定风险水平，控制器被配置为当乘员是儿童或宠物并且乘员的座椅安全带没有系上时确定风险水平为高。
在风险行为检测系统的一个实施例中，为了基于风险分类执行风险缓解动作，控制器被配置为：当检测到高风险时，向车辆驾驶员提供警报和靠边停车的建议；当检测到低风险并且乘员是系上座椅安全带的儿童或宠物时，向驾驶员提供警报；当检测到低风险并且乘员是成人时，向乘员提供警报以避免风险行为；以及当检测到风险行为时停用窗户向上运动。
在另一个实施例中，提供了一种车辆。该车辆包括一个或多个内部图像传感器、一个或多个外部图像传感器、以及控制器。该控制器被配置为：检测是否存在可能构成风险的车辆乘员；基于来自一个或多个内部图像传感器或一个或多个外部图像传感器的图像数据来确定检测到的车辆乘员是否在感兴趣区域(AoI)中从事潜在风险行为；确定潜在风险行为是否构成实际风险；当潜在风险行为构成实际风险时，对风险水平进行分类；以及基于风险分类执行风险缓解动作。
在车辆的一个实施例中，为了检测是否存在可能构成风险的车辆乘员，控制器被配置为确定车辆乘员是否位于车窗附近并且确定位于车辆乘员附近的车窗是打开的还是关闭的。
在车辆的一个实施例中，为了确定检测到的车辆乘员是否在AoI中从事潜在风险行为，控制器被配置为：从车辆在窗户附近的内部视图的接收到的图像确定检测到的车辆乘员的乘员类别；当检测到的车辆乘员是人或宠物时，生成具有一个或多个肢体的身体骨架；从身体骨架跟踪一个或多个肢体；以及检测一个或多个肢体是否位于AoI内。
在车辆的一个实施例中，AoI包括从内部车辆传感器确定的内部窗户边界多边形。
在车辆的一个实施例中，AoI包括从外部车辆传感器确定的外部边界框。
在车辆的一个实施例中，AoI包括从内部车辆传感器确定的内部窗户边界多边形和从外部车辆传感器确定的外部边界框。
在车辆的一个实施例中，为了确定潜在风险行为是否构成实际风险，控制器被配置为：确定检测到肢体伸出车窗之外的最大持续时间；将最大持续时间与可校准威胁阈值进行比较；以及基于最大持续时间与可校准威胁阈值的比较来确定风险水平。
在车辆的一个实施例中，为了基于最大持续时间与可校准威胁阈值的比较来确定风险水平，控制器被配置为：当最大持续时间小于可校准威胁阈值时，将威胁水平标识为未处于风险中；以及当最大持续时间大于可校准威胁阈值时，将威胁水平标识为处于风险中。
在车辆的一个实施例中，为了当潜在风险行为构成实际风险时对风险水平进行分类，控制器被配置为基于肢体类型来确定风险水平。
在车辆的一个实施例中，为了基于肢体类型来确定风险水平，控制器被配置为：当肢体类型包括头、腿或下臂时确定风险水平为高；以及当肢体类型包括手指或前臂而非头、腿或下臂时确定风险水平为低。
在车辆的一个实施例中，为了基于肢体类型来确定风险水平，控制器被配置为当乘员是儿童或宠物并且乘员的座椅安全带没有系上时确定风险水平为高。
在车辆的一个实施例中，为了基于风险分类执行风险缓解动作，控制器被配置为：当检测到高风险时，向车辆驾驶员提供警报和靠边停车的建议；当检测到低风险并且乘员是系上座椅安全带的儿童或宠物时，向驾驶员提供警报；当检测到低风险并且乘员是成人时，向乘员提供警报以避免风险行为；以及当检测到风险行为时停用窗户向上运动。
在另一个实施例中，提供了一种用于车辆的方法。该方法包括：提供一个或多个内部图像传感器；提供一个或多个外部图像传感器；检测是否存在可能构成风险的车辆乘员；基于来自一个或多个内部图像传感器或一个或多个外部图像传感器的图像数据来确定检测到的车辆乘员是否在感兴趣区域(AoI)中从事潜在风险行为；确定潜在风险行为是否构成实际风险；当潜在风险行为构成实际风险时，对风险水平进行分类；以及基于风险分类执行风险缓解动作。
在方法的一个实施例中，确定检测到的车辆乘员是否在AoI中从事潜在风险行为包括：从车辆在窗户附近的内部视图的接收到的图像确定检测到的车辆乘员的乘员类别；当检测到的车辆乘员是人或宠物时，生成具有一个或多个肢体的身体骨架；从身体骨架跟踪一个或多个肢体；以及检测一个或多个肢体是否位于AoI内。
在方法的一个实施例中，AoI包括从内部车辆传感器确定的内部窗户边界多边形和从外部车辆传感器确定的外部边界框。
在方法的一个实施例中，确定潜在风险行为是否构成实际风险包括：确定检测到肢体伸出车窗之外的最大持续时间；将最大持续时间与可校准威胁阈值进行比较；以及基于最大持续时间与可校准威胁阈值的比较来确定风险水平。
在方法的一个实施例中，基于最大持续时间与可校准威胁阈值的比较来确定风险水平包括：当最大持续时间小于可校准威胁阈值时，将威胁水平标识为未处于风险中；以及当最大持续时间大于可校准威胁阈值时，将威胁水平标识为处于风险中。
在方法的一个实施例中，当潜在风险行为构成实际风险时对风险水平进行分类包括基于肢体类型来确定风险水平，并且基于肢体类型来确定风险水平包括：当肢体类型包括头、腿或下臂时确定风险水平为高；以及当肢体类型包括手指或前臂而非头、腿或下臂时确定风险水平为低。
在方法的一个实施例中，基于风险分类执行风险缓解动作包括：当检测到高风险时，向车辆驾驶员提供警报和靠边停车的建议；当检测到低风险并且乘员是系上座椅安全带的儿童或宠物时，向驾驶员提供警报；当检测到低风险并且乘员是成人时，向乘员提供警报以避免风险行为；以及当检测到风险行为时停用窗户向上运动。
附图说明
下文将结合以下附图描述示例性实施例，其中相同的附图标记表示相同元件，并且其中：
图1是描绘根据实施例的包括用于自动检测乘员风险行为的风险行为检测系统的示例车辆的图式；
图2是描绘根据实施例的在车辆中用于自动检测乘员风险行为并提供关于乘员风险行为的警报的示例风险行为检测系统的框图；
图3A是描绘根据实施例的用于内部风险评估模块的示例操作场景的图式；
图3B是描绘根据实施例的用于外部风险评估模块的示例操作场景的图式；
图4是描述根据实施例的在车辆中用于自动检测乘员风险行为并采取缓解动作的示例过程的过程流程图；
图5是描绘根据实施例的用于使用内部车辆传感器来确定车辆乘员是否潜在地构成风险的示例过程的过程流程图；
图6是描绘根据实施例的用于使用外部车辆传感器来确定车辆乘员是否潜在地构成风险的示例过程的过程流程图；
图7是描述根据实施例的用于确定检测到的潜在风险的风险水平的示例过程的过程流程图；以及
图8是描绘根据实施例的用于基于由检测到的潜在风险构成的所确定的风险水平来确定要采取的风险缓解努力的类型的示例过程的过程流程图。
具体实施方式
以下详细描述本质上仅仅是示例性的，并且不旨在限制应用和用途。另外，不旨在受到在前述技术领域、背景技术、发明内容或以下详细描述中提出的任何明示或暗示的理论的约束。如本文所使用，术语“模块”是指单独地或呈任何组合的任何硬件、软件、固件、电子控制组件、处理逻辑和/或处理器设备，包括但不限于：专用集成电路(ASIC)、现场可编程门阵列(FPGA)、电子电路、执行一个或多个软件或固件程序的处理器(共享的、专用的或成组的)以及存储器、组合逻辑电路和/或提供所描述的功能的其它合适组件。
本公开的实施例在本文可以依据功能和/或逻辑块组件和各种处理步骤来描述。应当理解，此类块组件可以由被配置为执行指定功能的任何数量的硬件、软件和/或固件组件来实施。例如，本公开的实施例可以采用各种集成电路组件，例如，存储器元件、数字信号处理元件、逻辑元件、查找表等，这些组件可以在一个或多个微处理器或其它控制设备的控制下执行各种功能。另外，本领域技术人员将理解，本公开的实施例可以结合任何数量的系统来实践，并且本文描述的系统仅仅是本公开的示例性实施例。
为了简明起见，本文可能不详细描述与信号处理、数据发送、信令、控制以及系统(和系统的各个操作组件)的其它功能方面有关的常规技术。另外，本文所包含的各种附图中所示的连接线旨在表示各种元件之间的示例功能关系和/或物理联接。应当注意，在本公开的实施例中可能存在许多替代或附加的功能关系或物理连接。
在各种实施例中，公开了用于自动检测乘员风险行为(诸如乘员将身体肢体伸出车窗之外)并用于就乘员风险行为警告乘员和/或车辆驾驶员使得可以终止风险行为的装置、系统、技术和制品。
在各种实施例中，内部车厢相机和/或乘员监控系统(OMS)相机用于使用身体骨架检测和跟踪算法来检测和跟踪乘员肢体。在各种实施例中，当在车辆内部的窗户边界多边形内检测到乘员的肢体(例如，前臂(forearm)、手指、下臂(lower arm)、头或腿)达特定持续时间时，将确定已检测到风险行为，该特定持续时间在可校准时间窗口内超过可校准风险阈值。在各种实施例中，窗户边界多边形是基于来自内部车厢相机数据的窗户区域检测或基于车辆的预定义3D几何模型来估计的。
在各种实施例中，外部环视相机用于检测车窗之外的肢体及其范围身体骨架检测和跟踪算法。在各种实施例中，当在车辆外部的特定感兴趣区域内检测到乘员的肢体(例如，前臂、手指、下臂、头或腿)达特定持续时间时，将确定已检测到风险行为，该特定持续时间在可校准时间窗口内超过可校准风险阈值。
在各种实施例中，跟踪检测到肢体伸出车窗之外的持续时间。在各种实施例中，最大持续时间是从被跟踪的持续时间确定的。在各种实施例中，将最大持续时间与可校准威胁阈值进行比较，并且当最大持续时间小于威胁阈值时，确定威胁水平应当指示“无风险”。当最大持续时间大于或等于威胁阈值时，确定威胁水平应当指示风险-例如，高风险或低风险。
在各种实施例中，风险水平是基于伸出窗户之外的检测到且持续的肢体的类型来确定的。在各种实施例中，当检测到头、腿或下臂伸出窗户之外时，风险被确定为高。在各种实施例中，当检测到手指和/或前臂伸出窗户之外时，风险被确定为低。
在各种实施例中，向乘员和/或驾驶员提供警报的确定是基于乘员类别和座椅安全带状态。在各种实施例中，当乘员是儿童或宠物并且未系上座椅安全带时，在检测到风险时向驾驶员提供警报并向驾驶员提供靠边停车的建议。在各种实施例中，当乘员是儿童或宠物并且系上座椅安全带时，在检测到风险时向驾驶员提供警报。在各种实施例中，当乘员是成人时，向乘员提供警报以避免风险行为。在各种实施例中，当检测到风险行为时停用窗户向上运动。
在各种实施例中，本文公开的装置、系统、技术和制品可以在非自动和自动车辆中提供增强的安全性。在各种实施例中，本文公开的装置、系统、技术和制品可以允许车辆操作员和/或拥有者避免因交通违章引起的高额罚款。
图1是描绘示例车辆10的图式，该车辆包括用于自动检测乘员风险行为(诸如乘员将身体肢体伸出车窗之外)并用于就乘员风险行为警告乘员和/或车辆驾驶员使得可以终止风险行为的风险行为检测系统100。如图1中所描绘，示例车辆10通常包括底盘12、车身14、前轮16和后轮18。车身14被布置在底盘12上并且基本包围车辆10的组件。车身14和底盘12可以共同形成框架。车轮16至18各自在车身14的相应拐角附近可旋转地联接到底盘12。在所示实施例中，车辆10被描绘为乘用车，但是也可以使用包括卡车、运动型多功能车(SUV)、休闲车(RV)等的其它车辆类型。车辆10可能能够被手动、自主和/或半自主地驾驶。
车辆10还包括推进系统20、用于将动力从推进系统20传送到车轮16至18的传动系统22、用于影响车轮16至18的位置的转向系统24、用于向车轮16至18提供制动扭矩的制动系统26、传感器系统28、致动器系统30、至少一个数据存储设备32、至少一个控制器34、以及通信系统36，该通信系统被配置为无线地传送信息进出其它实体48。
传感器系统28包括感测自主车辆10的外部环境和/或内部环境的可观察状况的一个或多个感测设备40a至40r。感测设备40a至40r可以包括但不限于雷达、激光雷达、全球定位系统、光学相机、热像仪、超声波传感器、惯性测量单元、超宽带传感器和/或其它传感器。致动器系统30包括一个或多个致动器设备42a至42n，其控制一个或多个车辆特征，诸如但不限于推进系统20、传动系统22、转向系统24以及制动系统26。
数据存储设备32存储用于自动控制车辆10的数据。数据存储设备32可以是控制器34的一部分，与控制器34分开，或作为控制器34的一部分以及单独系统的一部分。控制器34包括至少一个处理器44和计算机可读存储设备或介质46。虽然图1中仅示出了一个控制器34，但是车辆10的实施例可以包括通过任何合适的通信介质或通信介质的组合进行通信并且协作以处理传感器信号、执行逻辑、计算、方法和/或算法且生成控制信号以自动控制车辆10的特征的任何数量的控制器34。
处理器44可以为任何定制的或市售的处理器、中央处理单元(CPU)、图形处理单元(GPU)、与控制器34相关联的若干处理器中的辅助处理器、基于半导体的微处理器(呈微芯片或芯片集的形式)、宏处理器、它们的任何组合或通常用于执行指令的任何设备。计算机可读存储设备或介质46可以包括例如只读存储器(ROM)、随机存取存储器(RAM)和保活存储器(KAM)中的易失性和非易失性存储器。KAM是一种持久或非易失性存储器，其可以在处理器44断电时用于存储各种操作变量。计算机可读存储设备或介质46可以使用若干已知存储器设备中的任何一种来实现，诸如PROM(可编程只读存储器)、EPROM(电PROM)、EEPROM(电可擦除PROM)、闪速存储器或能够存储数据的任何其它电、磁、光或组合存储器设备，其中的一些数据表示由控制器34使用的可执行指令。
编程指令可以包括一个或多个单独的程序，每个程序包括用于实施逻辑功能的可执行指令的有序列表。控制器34的一个或多个指令在由处理器44执行时可以将车辆10配置为连续地计算可控转向角以引导铰接式运输系统将最终拖车引导到期望方向上并控制铰接式运输系统以使用计算出的可控转向角将最终拖车引导到期望方向上。
风险行为检测系统100可以包括嵌入在控制器34内的任何数量的子模块，其可以被组合和/或进一步划分以类似地实施本文描述的系统和方法。另外，风险行为检测系统100的输入可以从传感器系统28接收，从与车辆10相关联的其它控制模块(未示出)接收，和/或由图1的控制器34内的其它子模块(未示出)确定/建模。另外，输入还可以经受预处理，诸如子采样、降噪、归一化、特征提取、丢失数据还原等。
图2是描绘在车辆中用于自动检测乘员风险行为并提供关于乘员风险行为的警报的示例风险行为检测系统100的框图。示例风险行为检测系统100包括乘员标识模块202、内部风险评估模块204、外部风险评估模块206以及警报和风险缓解模块208。乘员标识模块202被配置为确定是否存在可能构成风险的车辆乘员。内部风险评估模块204被配置为使用内部车辆传感器来确定车辆乘员是否潜在地构成风险。外部风险评估模块206被配置为使用内部车辆传感器来确定车辆乘员是否潜在地构成风险。警报和风险缓解模块208被配置为确定由车辆乘员构成的潜在风险是否是实际风险，对风险水平进行分类，并采取风险缓解动作。包括乘员标识模块202、内部风险评估模块204、外部风险评估模块206以及警报和风险缓解模块208的示例风险行为检测系统100各自由控制器(例如，相同的、单独的或多个控制器)实施。
乘员标识模块202被配置为基于来自一个或多个车辆占用传感器201的输入来标识是否存在可能构成风险的车辆乘员。车辆占用传感器可以采用本领域已知的形式，诸如基于RF-CMOS技术的传感器，或其它形式。示例乘员标识模块202可以确定是否存在位于车窗附近的标识的车辆乘员。如果确定标识的车辆乘员位于车窗附近，则示例乘员标识模块202还可以确定与标识的车辆乘员相邻的车窗是打开的还是关闭的。位于打开的窗户附近的标识的车辆乘员可以作为受监控车辆乘员被指定用于监控。
内部风险评估模块204被配置为使用一个或多个内部车辆传感器203来确定受监控车辆乘员是否潜在地构成风险。一个或多个内部车辆传感器203可以包括内部车厢传感器(例如，光学传感器、相机或红外(IR)传感器)和/或乘员监控系统(OMS)传感器(例如，OMS光学传感器、相机、或IR传感器)。内部风险评估模块204被配置为接收车辆在窗户附近的内部视图的图像，确定乘员的类别(例如，货物、宠物、成人、儿童)，基于图像生成与窗户相邻的人或宠物乘员的身体骨架并检测乘员肢体(例如，前臂、手指、下臂、头或腿)，生成窗户开口周围的内部窗户边界多边形，并检测乘员肢体是否伸入窗户边界多边形中。跟踪在内部窗户边界多边形中检测到的乘员肢体以检查风险行为的持续性和水平。身体骨架生成和乘员肢体跟踪可以使用本领域已知的算法(诸如PoseNet、DeepPose、OpenPose或其它算法)来执行。
图3A是描绘用于内部风险评估模块204的示例操作场景的图式。在该示例中，从一个或多个内部车辆传感器203生成的车辆在窗户302附近的内部视图的图像300由内部风险评估模块204接收。示例内部风险评估模块204生成窗户开口周围的内部窗户边界多边形306，基于图像300生成与窗户302相邻的车辆乘员的身体骨架，检测乘员肢体304(例如，前臂、手指、下臂)，并检测到乘员肢体304伸入窗户边界多边形306中。
返回参考图2，外部风险评估模块206被配置为使用一个或多个外部车辆传感器205(诸如侧视相机)来确定受监控车辆乘员是否潜在地构成风险。外部风险评估模块206被配置为接收车辆在窗户附近的外部的图像，确定乘员的类别(例如，货物、宠物、成人、儿童)，基于图像生成与窗户相邻的人或宠物乘员的身体骨架并检测乘员肢体(例如，前臂、手指、下臂、头或腿)，生成窗户开口附近的外部边界框，并检测乘员肢体是否伸入外部边界框中。跟踪在外部边界框中检测到的乘员肢体以检查风险行为的持续性和水平。身体骨架生成和乘员肢体跟踪可以使用本领域已知的算法(诸如PoseNet、DeepPose、OpenPose或其它算法)来执行。
图3B是描绘用于外部风险评估模块206的示例操作场景的图式。在该示例中，从一个或多个外部车辆传感器205生成的车辆在窗户322附近的外部的图像320由外部风险评估模块206接收。示例外部风险评估模块206生成窗户开口附近的外部边界框326，基于图像320生成与窗户322相邻的车辆乘员的身体骨架，检测乘员肢体324(例如，下臂324a、前臂324b、手指324c)，并检测到乘员肢体324伸入外部边界框326中。
返回参考图2，警报和风险缓解模块208被配置为确定由车辆乘员构成的潜在风险是否是实际风险，对风险水平进行分类，并采取风险缓解动作。乘员/驾驶员将被警告，并且将基于乘员类别(成人/儿童/宠物)和风险水平建议风险缓解动作。
图4是描绘在车辆中(例如，在风险行为检测系统100中)用于自动检测乘员风险行为并采取缓解动作的示例过程400的过程流程图。过程400内的操作顺序不限于如图4中所示的顺序执行，而是可以在适用时并根据本公开以一个或多个不同的顺序执行。
在操作402处，示例过程400包括检查车厢内车辆占用状态。检查车厢内车辆占用状态可以包括基于来自一个或多个车辆占用传感器的输入来标识是否存在可能构成风险的车辆乘员。车辆占用传感器可以采用本领域已知的形式，诸如基于RF-CMOS技术的传感器，或其它形式。检查车厢内车辆占用状态可以包括确定是否存在位于车窗附近的标识的车辆乘员。
在操作404处，示例过程400包括检查窗户状态。当确定标识的车辆乘员位于车窗附近时，可以执行检查窗户状态。检查窗户状态还可以包括确定与标识的车辆乘员相邻的车窗是打开的还是关闭的。位于打开的窗户附近的标识的车辆乘员可以作为受监控车辆乘员被指定用于监控。
在操作406处，示例过程400包括确定受监控车辆乘员的乘员类别标识。可以基于对来自内部图像传感器403(诸如车辆占用传感器201和/或内部车辆传感器203)的图像数据的分析来进行乘员类别标识。确定受监控车辆乘员的乘员类别标识可以包括确定受监控车辆乘员是生物(例如，人或宠物)还是货物。当受监控车辆乘员是生物时，确定乘员类别标识可以包括确定生物是宠物、成人还是儿童。在其它示例中可以进行其它乘员类别标识。可以使用人工智能(AI)对象识别和/或分类技术、机器学习技术、计算机视觉技术和其它技术来确定受监控车辆乘员的乘员类别标识。
在操作408处，示例过程400包括身体骨架检测和跟踪。身体骨架检测和跟踪可以包括基于来自内部图像传感器403的图像数据来生成与窗户相邻的人或宠物乘员的身体骨架并检测乘员肢体(例如，前臂、手指、下臂、头、或腿)。身体骨架检测和跟踪还可以包括生成窗户开口周围的内部窗户边界多边形并检测乘员肢体是否伸入窗户边界多边形中。身体骨架检测和跟踪还可以包括跟踪在内部窗户边界多边形中检测到的乘员肢体以获得风险行为的持续性和水平。身体骨架检测和跟踪可以使用本领域已知的算法(诸如PoseNet、DeepPose、OpenPose或其它算法)来执行。
在操作410处，示例过程400包括内部风险评估。内部风险评估可以包括跟踪检测到肢体伸出车窗之外的持续时间。内部风险评估可以包括确定检测到肢体伸出车窗之外的最大持续时间；将最大持续时间与可校准威胁阈值进行比较；以及基于最大持续时间与可校准威胁阈值的比较来确定风险水平。当最大持续时间小于威胁阈值时，内部风险评估可以包括确定威胁水平是“无风险”。当最大持续时间大于威胁阈值时，内部风险评估可以包括确定威胁水平是“处于风险中”。
在操作412处，示例过程400包括当已经确定“处于风险中”状态时的警报和风险缓解。警报和风险缓解可以包括基于伸出窗户之外的检测到且持续的肢体的类型来确定风险水平。警报和风险缓解可以包括当检测到头、腿或下臂伸出窗户之外时确定风险水平为高。警报和风险缓解可以包括当乘员是儿童或宠物并且乘员的座椅安全带没有系上时确定风险水平为高。警报和风险缓解可以包括当检测到手指和/或前臂伸出窗户之外时确定风险水平为低。
警报和风险缓解还可以包括确定要采取的风险缓解动作的类型。警报和风险缓解可以包括当检测到高风险时向驾驶员提供警报和靠边停车的建议。警报和风险缓解可以包括当检测到低风险并且乘员是系上座椅安全带的儿童或宠物时向驾驶员提供警报。警报和风险缓解可以包括当检测到低风险并且乘员是成人时，向乘员提供警报以避免风险行为。警报和风险缓解可以包括当检测到风险行为时停用窗户向上运动。
在操作414处，示例过程400包括基于来自外侧图像传感器405的图像数据进行身体骨架检测和跟踪。身体骨架检测和跟踪可以包括从外侧图像传感器405接收车辆在窗户附近的外部的图像数据，基于图像数据生成与窗户相邻的人或宠物乘员的身体骨架，从身体骨架检测乘员肢体(例如，前臂、手指、下臂、头或腿)，生成窗户开口附近的外部边界框，以及检测乘员肢体是否伸入外部边界框中。身体骨架检测和跟踪还可以包括跟踪在外部边界框中检测到的乘员肢体以获得风险行为的持续性和水平。身体骨架检测和跟踪可以使用本领域已知的算法(诸如PoseNet、DeepPose、OpenPose或其它算法)来执行。
在操作416处，示例过程400包括外部风险评估。外部风险评估可以包括跟踪检测到肢体伸入外部边界框中的持续时间。外部风险评估可以包括确定检测到肢体伸入外部边界框中的最大持续时间；将最大持续时间与可校准威胁阈值进行比较；以及基于最大持续时间与可校准威胁阈值的比较来确定风险水平。当最大持续时间小于威胁阈值时，外部风险评估可以包括确定威胁水平是“无风险”。当最大持续时间大于威胁阈值时，外部风险评估可以包括确定威胁水平是“处于风险中”。在外部风险评估之后，采取警报和风险缓解操作412。
图5是描绘用于使用内部车辆传感器来确定车辆乘员是否潜在地构成风险的示例过程500(例如，结合内部风险评估模块204)的过程流程图。过程500内的操作顺序不限于如图5中所示的顺序执行，而是可以在适用时并根据本公开以一个或多个不同的顺序执行。
在决策502处，示例过程500包括确定是否存在可能构成风险的车辆乘员。该确定可以基于来自一个或多个车辆占用传感器501的输入来执行。该确定可以包括确定是否存在位于车窗附近的标识的车辆乘员。当确定不存在可能构成风险的车辆乘员时(在决策502处为否)，示例过程500包括不进行任何操作(操作504)。
当确定存在可能构成风险的车辆乘员时(在决策502处为是)，示例过程500包括在决策506处确定标识的车辆乘员附近的车窗的状态(例如，打开的或关闭的)。当(在决策506处)确定标识的车辆乘员附近的车窗完全关闭时，示例过程500包括不进行任何操作(操作504)。
当(在决策506处)确定标识的车辆乘员附近的车窗完全或部分打开时，示例过程500包括在操作508处基于来自内部图像传感器503(诸如车辆占用传感器201和/或内部车辆传感器203)的传感器数据来标识所标识的车辆乘员的乘员类别。可以使用人工智能(AI)对象识别和/或分类技术、机器学习技术、计算机视觉技术和其它技术来标识所标识的车辆乘员的乘员类别标识。
在决策510处，示例过程500包括基于标识的乘员类别来确定是否需要进一步的动作。当标识的乘员类别是货物时，示例过程500包括不进行任何操作(操作504)。
当标识的乘员类别是人或宠物时，示例过程500包括在操作512处使用来自内部图像传感器503的图像数据(例如，K图像序列数据)来执行身体骨架检测和跟踪。执行身体骨架检测和跟踪可以包括基于来自内部图像传感器503的图像数据来生成与窗户相邻的人或宠物乘员的身体骨架并检测乘员肢体(例如，前臂、手指、下臂、头、或腿)。执行身体骨架检测和跟踪可以使用本领域已知的算法(诸如PoseNet、DeepPose、OpenPose或其它算法)来执行。
在操作514处，示例过程500包括根据图像数据在窗户开口周围执行窗户区域检测操作以标识窗户区域内的对象(诸如乘员肢体)。执行窗户区域检测操作可以包括使用基于光流、分割或边缘检测的图像处理技术。
在操作516处，示例过程500包括根据图像数据生成窗户开口周围的内部窗户边界多边形。窗户开口周围的内部窗户边界多边形可以从车辆内部505的三维(3D)几何模型而生成，例如从来自内部图像传感器503的拼接在一起的图像而生成。
在操作518处，示例过程500包括检测乘员肢体是否伸入窗户边界多边形中。可以通过将窗户边界多边形输出与来自窗户区域检测操作的输出进行比较以确定交集，来执行检测乘员肢体是否伸入窗户边界多边形中。重叠输出标识伸出车辆之外的检测到的乘员肢体520。
在决策522处，示例过程500包括基于可校准阈值507来确定是否存在由于检测到的肢体伸出车窗之外而导致的风险。确定是否存在由于检测到的肢体伸出车窗之外而导致的风险可以包括执行内部风险评估。执行内部风险评估可以包括跟踪检测到肢体伸出车窗之外的持续时间。内部风险评估可以包括确定检测到肢体伸出车窗之外的最大持续时间；将最大持续时间与可校准威胁阈值进行比较；以及基于最大持续时间与可校准威胁阈值的比较来确定风险水平。当最大持续时间小于威胁阈值时，内部风险评估可以包括确定威胁水平是“无风险”。当最大持续时间大于威胁阈值时，内部风险评估可以包括确定威胁水平是“处于风险中”。
当确定不存在风险时(在决策522处为否)，示例过程包括不进行任何操作(操作504)。当确定确实存在风险时(在决策522处为是)，示例过程包括执行警报和风险缓解操作(操作524)。执行警报和风险缓解可以包括基于伸出窗户之外的检测到且持续的肢体的类型来确定风险水平。执行警报和风险缓解以及风险缓解可以包括当检测到头、腿或下臂伸出窗户之外时确定风险水平为高。执行警报和风险缓解以及风险缓解可以包括当乘员是儿童或宠物并且乘员的座椅安全带没有系上时确定风险水平为高。执行警报和风险缓解以及风险缓解可以包括当检测到手指和/或前臂伸出窗户之外时确定风险水平为低。
执行警报和风险缓解以及风险缓解还可以包括确定要采取的风险缓解动作的类型。执行警报和风险缓解以及风险缓解可以包括当检测到高风险时向驾驶员提供警报和靠边停车的建议。执行警报和风险缓解以及风险缓解可以包括当检测到低风险并且乘员是系上座椅安全带的儿童或宠物时向驾驶员提供警报。执行警报和风险缓解以及风险缓解可以包括当检测到低风险并且乘员是成人时，向乘员提供警报以避免风险行为。执行警报和风险缓解以及风险缓解可以包括当检测到风险行为时停用窗户向上运动。
图6是描绘用于使用外部车辆传感器来确定车辆乘员是否潜在地构成风险的示例过程600(例如，结合外部风险评估模块206)的过程流程图。过程600内的操作顺序不限于如图6中所示的顺序执行，而是可以在适用时并根据本公开以一个或多个不同的顺序执行。
在决策602处，示例过程600包括确定是否存在可能构成风险的车辆乘员。该确定可以基于来自一个或多个车辆占用传感器601的输入来执行。该确定可以包括确定是否存在位于车窗附近的标识的车辆乘员。当确定不存在可能构成风险的车辆乘员时(在决策602处为否)，示例过程600包括不进行任何操作(操作604)。
当确定存在可能构成风险的车辆乘员时(在决策602处为是)，示例过程600包括在决策606处确定标识的车辆乘员附近的车窗的状态(例如，打开的或关闭的)。当(在决策606处)确定标识的车辆乘员附近的车窗完全关闭时，示例过程600包括不进行任何操作(操作604)。
当(在决策606处)确定标识的车辆乘员附近的车窗完全或部分打开时，示例过程600包括在操作608处基于来自外侧图像传感器603(诸如外侧图像传感器405)的传感器数据来标识所标识的车辆乘员的乘员类别。可以使用人工智能(AI)对象识别和/或分类技术、机器学习技术、计算机视觉技术和其它技术来标识所标识的车辆乘员的乘员类别标识。
在决策610处，示例过程600包括基于标识的乘员类别来确定是否需要进一步的动作。当标识的乘员类别是货物时，示例过程600包括不进行任何操作(操作604)。
当标识的乘员类别是人或宠物时，示例过程600包括在操作612处使用来自外侧图像传感器603的图像数据(例如，K图像序列数据)来执行身体骨架检测和跟踪。执行身体骨架检测和跟踪可以包括从外侧图像传感器603接收车辆在窗户附近的外部的图像数据，基于图像数据生成与窗户相邻的人或宠物乘员的身体骨架，从身体骨架检测乘员肢体(例如，前臂、手指、下臂、头或腿)，生成窗户开口附近的外部边界框，以及检测乘员肢体是否伸入外部边界框中。身体骨架检测和跟踪还可以包括跟踪在外部边界框中检测到的乘员肢体以获得风险行为的持续性和水平。执行身体骨架检测和跟踪可以使用本领域已知的算法(诸如PoseNet、DeepPose、OpenPose或其它算法)来执行。
在决策614处，示例过程600包括基于可校准阈值607来确定是否存在由于检测到的肢体613伸出车窗之外而导致的风险。确定是否存在由于检测到的肢体伸出车窗之外而导致的风险可以包括执行外部风险评估。外部风险评估可以包括跟踪检测到肢体伸入外部边界框中的持续时间。外部风险评估可以包括确定检测到肢体伸入外部边界框中的最大持续时间；将最大持续时间与可校准威胁阈值进行比较；以及基于最大持续时间与可校准威胁阈值的比较来确定风险水平。当最大持续时间小于威胁阈值时，外部风险评估可以包括确定威胁水平是“无风险”。当最大持续时间大于威胁阈值时，外部风险评估可以包括确定威胁水平是“处于风险中”。
当确定不存在风险时(在决策614处为否)，示例过程包括不进行任何操作(操作604)。当确定确实存在风险时(在决策614处为是)，示例过程包括执行警报和风险缓解操作(操作616)。执行警报和风险缓解可以包括基于伸出窗户之外的检测到且持续的肢体的类型来确定风险水平。执行警报和风险缓解以及风险缓解可以包括当检测到头、腿或下臂伸出窗户之外时确定风险水平为高。执行警报和风险缓解以及风险缓解可以包括当乘员是儿童或宠物并且乘员的座椅安全带没有系上时确定风险水平为高。执行警报和风险缓解以及风险缓解可以包括当检测到手指和/或前臂伸出窗户之外时确定风险水平为低。
执行警报和风险缓解以及风险缓解还可以包括确定要采取的风险缓解动作的类型。执行警报和风险缓解以及风险缓解可以包括当检测到高风险时向驾驶员提供警报和靠边停车的建议。执行警报和风险缓解以及风险缓解可以包括当检测到低风险并且乘员是系上座椅安全带的儿童或宠物时向驾驶员提供警报。执行警报和风险缓解以及风险缓解可以包括当检测到低风险并且乘员是成人时，向乘员提供警报以避免风险行为。执行警报和风险缓解以及风险缓解可以包括当检测到风险行为时停用窗户向上运动。
图7是描绘用于确定检测到的潜在风险的风险水平的示例过程700(例如，结合警报和风险缓解模块208)的过程流程图。过程700内的操作顺序不限于如图7中所示的顺序执行，而是可以在适用时并根据本公开以一个或多个不同的顺序执行。
在操作702处，示例过程700包括使用图像数据701(例如，来自车辆侧视相机和/或内部车厢相机的K图像序列)执行身体骨架检测和跟踪。执行身体骨架检测和跟踪可以包括基于图像数据生成与窗户相邻的人或宠物乘员的身体骨架(例如，2-D骨架)，从身体骨架检测乘员肢体(例如，前臂、手指、下臂、头、或腿)，并检测乘员肢体是否伸出车辆之外。执行身体骨架检测和跟踪可以使用本领域已知的算法(诸如PoseNet、DeepPose、OpenPose或其它算法)来执行。执行身体骨架检测和跟踪可能会导致生成二维(2D)骨架。
在操作704处，示例过程700包括检测到的肢体跟踪。执行检测到的肢体跟踪可以包括在感兴趣区域(AoI)703(诸如外部边界框326和/或内部窗户边界多边形306)内跟踪乘员肢体。执行检测到的肢体跟踪还可以包括在AoI中跟踪检测到的乘员肢体以获得持续性。
在操作706处，示例过程700包括执行持续性检查。执行持续性检查包括在可校准时间窗口ω705内确定AoI内的检测到的肢体的持续性持续时间t。
在决策708处，示例过程700包括确定被跟踪肢体(例如，跟踪ρ)的最大持续性时间持续时间tmax是否大于可校准风险阈值TT 707。当被跟踪肢体的最大持续性持续时间tmax不大于可校准风险阈值TT 707(tmax <TT)时(在决策708处为否)，示例过程700包括确定不存在风险711。当被跟踪肢体的最大持续性持续时间tmax大于可校准风险阈值TT 707(tmax>TT)时(在决策708处为是)，示例过程700包括前进到决策710。
在决策710处，示例过程700包括确定AoI内的检测到的肢体是否是较高风险肢体。较高风险肢体可以包括在AoI内检测到的头、腿或下臂。当AoI内的检测到的肢体不是较高风险肢体时(在决策710中为否)，示例过程700包括确定存在低风险713。当AoI内的检测到的肢体是较高风险肢体时(在决策710中为是)，示例过程700包括确定存在高风险715。
图8是描绘用于基于由检测到的潜在风险构成的所确定的风险水平来确定要采取的风险缓解努力的类型的示例过程800(例如，结合警报和风险缓解模块208)的过程流程图。过程800内的操作顺序不限于如图8中所示的顺序执行，而是可以在适用时并根据本公开以一个或多个不同的顺序执行。
在决策802处，示例过程800包括确定检测到的风险是涉及高风险还是低风险。当检测到的风险涉及低风险时，示例过程800包括在操作804处提供用于将低风险活动通知乘员或驾驶员的警报。警报可以是经由车辆中的人机界面(HMI)的视觉警报。警报可以是经由HMI的声音警报。其它形式的警报也是可能的。
当检测到的风险被分类为高风险时，示例过程800包括在操作806处标识从事高风险活动的乘员的乘员类别。在决策808处，示例过程800包括确定乘员类别是成人还是儿童/宠物。
当乘员类别是成人时，示例过程包括在操作810处向乘员提供警报以终止风险行为，以及在操作812处停用窗户向上运动能力。
当乘员类别是儿童或宠物时，示例过程包括在决策814处确定乘员的座椅安全带是否系好。如果乘员的座椅安全带没有系上，则示例过程800涉及在操作816处向驾驶员提供关于风险行为的警报并建议驾驶员靠边停车直到风险行为停止。在操作816之后，示例过程800还包括在操作812处停用窗户向上运动能力。
当乘客类别是儿童或宠物并且乘客的座椅安全带系上时，示例过程800涉及在操作818处向驾驶员提供风险行为的警报，以及在操作812处停用窗户向上运动能力。
前文概述了若干实施例的特征使得本领域技术人员可以更好地理解本公开的各方面。本领域技术人员应当理解，他们可以容易地使用本公开作为用于设计或修改其它过程及结构的基础以用于执行相同目的和/或实现本文介绍的实施例的相同优点。本领域技术人员还认识到，此类等效结构并未脱离本公开的精神及范围，且在不脱离本公开的精神及范围的情况下，他们可以在本文中做出各种改变、替代及更改。

Claims (10)

1.一种在车辆中用于自动地检测乘员风险行为的风险行为检测系统，所述风险行为检测系统包括控制器，所述控制器被配置为：
检测是否存在可能构成风险的车辆乘员；
确定检测到的车辆乘员是否在感兴趣区域AoI中从事潜在风险行为；
确定所述潜在风险行为是否构成实际风险；
当所述潜在风险行为构成实际风险时，对风险水平进行分类；以及
基于风险分类执行风险缓解动作。
2.根据权利要求1所述的风险行为检测系统，其中为了检测是否存在可能构成风险的车辆乘员，所述控制器被配置为确定车辆乘员是否位于车窗附近并且确定位于所述车辆乘员附近的所述车窗是打开的还是关闭的。
3.根据权利要求1所述的风险行为检测系统，其中为了确定检测到的车辆乘员是否在AoI中从事潜在风险行为，所述控制器被配置为：
从所述车辆在窗户附近的内部视图的接收到的图像确定所述检测到的车辆乘员的乘员类别；
当所述检测到的车辆乘员是人或宠物时，生成具有一个或多个肢体的身体骨架；
从所述身体骨架跟踪所述一个或多个肢体；以及
检测所述一个或多个肢体是否位于所述AoI内。
4.根据权利要求3所述的风险行为检测系统，其中所述AoI包括从内部车辆传感器确定的内部窗户边界多边形或从外部车辆传感器确定的外部边界框。
5.根据权利要求1所述的风险行为检测系统，其中为了确定所述潜在风险行为是否构成实际风险，所述控制器被配置为：
确定检测到肢体伸出车窗之外的最大持续时间；
将所述最大持续时间与可校准威胁阈值进行比较；以及
基于所述最大持续时间与所述可校准威胁阈值的比较来确定风险水平。
6.根据权利要求1所述的风险行为检测系统，其中为了当所述潜在风险行为构成实际风险时对风险水平进行分类，所述控制器被配置为基于肢体类型来确定所述风险水平。
7.根据权利要求1所述的风险行为检测系统，其中为了基于风险分类执行风险缓解动作，所述控制器被配置为：
当检测到高风险时，向车辆驾驶员提供警报和靠边停车的建议；
当检测到低风险并且所述乘员是系上座椅安全带的儿童或宠物时，向所述驾驶员提供警报；
当检测到低风险并且所述乘员是成人时，向所述乘员提供警报以避免风险行为；以及
当检测到风险行为时停用窗户向上运动。
8.一种用于车辆的方法，包括：
提供一个或多个内部图像传感器；
提供一个或多个外部图像传感器；
检测是否存在可能构成风险的车辆乘员；
基于来自所述一个或多个内部图像传感器或所述一个或多个外部图像传感器的图像数据来确定检测到的车辆乘员是否在感兴趣区域AoI中从事潜在风险行为；
确定所述潜在风险行为是否构成实际风险；
当所述潜在风险行为构成实际风险时，对风险水平进行分类；以及
基于风险分类执行风险缓解动作。
9.根据权利要求8所述的方法，其中确定检测到的车辆乘员是否在AoI中从事潜在风险行为包括：
从所述车辆在窗户附近的内部视图的接收到的图像确定所述检测到的车辆乘员的乘员类别；
当所述检测到的车辆乘员是人或宠物时，生成具有一个或多个肢体的身体骨架；
从所述身体骨架跟踪所述一个或多个肢体；以及
检测所述一个或多个肢体是否位于所述AoI内。
10.根据权利要求8所述的方法，其中确定所述潜在风险行为是否构成实际风险包括：
确定检测到肢体伸出车窗之外的最大持续时间；
将所述最大持续时间与可校准威胁阈值进行比较；以及
基于所述最大持续时间与所述可校准威胁阈值的比较来确定风险水平。
CN202310048850.8A 2022-08-12 2023-02-01 车辆乘员风险行为识别与风险缓解 Pending CN117593728A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US17/819,615 2022-08-12
US17/819,615 US20240051560A1 (en) 2022-08-12 2022-08-12 Vehicle occupant risky behavior recognition and risk mitigation

Publications (1)

Publication Number Publication Date
CN117593728A true CN117593728A (zh) 2024-02-23

Family

ID=89809422

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310048850.8A Pending CN117593728A (zh) 2022-08-12 2023-02-01 车辆乘员风险行为识别与风险缓解

Country Status (3)

Country Link
US (1) US20240051560A1 (zh)
CN (1) CN117593728A (zh)
DE (1) DE102023100667A1 (zh)

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8847770B2 (en) * 2009-08-05 2014-09-30 Ford Global Technologies, Llc System and method for alcohol monitor based on driver status
US20200302187A1 (en) * 2015-07-17 2020-09-24 Origin Wireless, Inc. Method, apparatus, and system for people counting and recognition based on rhythmic motion monitoring
US10747234B1 (en) * 2016-01-22 2020-08-18 State Farm Mutual Automobile Insurance Company Method and system for enhancing the functionality of a vehicle
US11441916B1 (en) * 2016-01-22 2022-09-13 State Farm Mutual Automobile Insurance Company Autonomous vehicle trip routing
JP6534103B2 (ja) * 2016-03-18 2019-06-26 パナソニックＩｐマネジメント株式会社 記録装置および画像再生方法
US9919648B1 (en) * 2016-09-27 2018-03-20 Robert D. Pedersen Motor vehicle artificial intelligence expert system dangerous driving warning and control system and method
US11027686B2 (en) * 2018-09-07 2021-06-08 International Business Machines Corporation Vehicle-associated control system to safeguard an occupant to depart the vehicle
US11193312B1 (en) * 2019-09-30 2021-12-07 Ambarella International Lp Child safety lock
WO2022144839A1 (en) * 2020-12-31 2022-07-07 Cipia Vision Ltd. Systems and methods for determining driver control over a vehicle
US11820387B2 (en) * 2021-05-10 2023-11-21 Qualcomm Incorporated Detecting driving behavior of vehicles
WO2023079319A1 (en) * 2021-11-05 2023-05-11 Citrix Systems, Inc. System and method for deriving network address spaces affected by security threats to apply mitigations

Also Published As

Publication number Publication date
US20240051560A1 (en) 2024-02-15
DE102023100667A1 (de) 2024-02-15

Similar Documents

Publication Publication Date Title
KR102098140B1 (ko) 자동차의 블라인드 스팟 모니터링 방법 및 이를 이용한 블라인드 스팟 모니터
US10614326B2 (en) System and method for vehicle control based on object and color detection
US10339391B2 (en) Fusion-based wet road surface detection
US11495028B2 (en) Obstacle analyzer, vehicle control system, and methods thereof
US7702425B2 (en) Object classification system for a vehicle
CN106537180A (zh) 用于用针对行人的主动制动的摄影机输入缓解雷达传感器限制的方法
CN108604405A (zh) 利用环境和深度次序探测局部被遮挡的物体
JP2021089732A (ja) 衝突回避のために周囲の車両に対して警告を提供するためのシステムおよび方法
US8140226B2 (en) Security system and a method to derive a security signal
JP6271212B2 (ja) 自律走行車両
CN102265288B (zh) 用于机动车的安全系统
US11807257B2 (en) Sensing interactions with unpermitted components within a vehicle
CN112649809A (zh) 在车辆中融合传感器数据的系统和方法
US11598870B2 (en) Methods, systems, and apparatuses to estimate hitch articulation angle (HAA) using ultra-sonic sensors (USS) and fusion with other sensors
US11673586B2 (en) Failure detection in an autonomous vehicle
CN110472470A (zh) 用于确定车辆的周围环境状态的方法和系统
US11594017B1 (en) Sensor fusion for precipitation detection and control of vehicles
CN112989915A (zh) 用于检测自主载具中的异常乘客行为的系统和方法
KR20210008260A (ko) 자율주행차량의 거동 제어 장치 및 그 방법
CN117593728A (zh) 车辆乘员风险行为识别与风险缓解
Nyamati et al. Intelligent collision avoidance and safety warning system for car driving
US20230007914A1 (en) Safety device and method for avoidance of dooring injuries
CN108859950A (zh) 车辆下钻碰撞检测系统和方法
WO2018068919A1 (en) Method for detecting objects in an environmental region of a motor vehicle considering sensor data in the infrared wavelength range, object detection apparatus, driver assistance system as well as motor vehicle
US11488461B1 (en) Identifying smoke within a vehicle and generating a response thereto

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination