CN111319628A - 用于评估错误威胁检测的方法和系统 - Google Patents

用于评估错误威胁检测的方法和系统 Download PDF

Info

Publication number
CN111319628A
CN111319628A CN201910687771.5A CN201910687771A CN111319628A CN 111319628 A CN111319628 A CN 111319628A CN 201910687771 A CN201910687771 A CN 201910687771A CN 111319628 A CN111319628 A CN 111319628A
Authority
CN
China
Prior art keywords
vehicle
distribution
sensor
saliency
glance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910687771.5A
Other languages
English (en)
Inventor
L·A·布什
Z·E·泰里
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GM Global Technology Operations LLC
Original Assignee
GM Global Technology Operations LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GM Global Technology Operations LLC filed Critical GM Global Technology Operations LLC
Publication of CN111319628A publication Critical patent/CN111319628A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/04—Traffic conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/04—Systems determining presence of a target
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/2163—Partitioning the feature space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/29—Graphical models, e.g. Bayesian networks
    • G06F18/295—Markov models or related models, e.g. semi-Markov models; Markov random fields; Networks embedding Markov models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/84—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using probabilistic graphical models from image or video features, e.g. Markov models or Bayesian networks
    • G06V10/85—Markov-related models; Markov random fields
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/40—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/408—Radar; Laser, e.g. lidar
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/225—Direction of gaze
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/80—Spatial relation or speed relative to objects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9322—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles using additional data, e.g. driver condition, road state or weather data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9323—Alternative operation using light waves

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Automation & Control Theory (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Mechanical Engineering (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Transportation (AREA)
  • Human Computer Interaction (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Electromagnetism (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明题为“用于评估错误威胁检测的方法和系统。”本发明提供了一种评估错误威胁检测的威胁评估系统和方法。在一个具体实施中，该方法涉及：接收来自车辆的驾驶员或车辆的对象检测传感器的检测估计；获取来自车辆上的相机的分析环境相机图像；基于分析环境相机图像来生成预测显著性分布；将接收自车辆的驾驶员或车辆的对象检测传感器的检测估计与预测显著性分布进行比较；以及确定检测估计和预测显著性分布之间的偏差。

Description

用于评估错误威胁检测的方法和系统
背景技术
本发明的技术领域涉及车辆威胁检测，更具体地涉及评估错误威胁检测。
促进驾驶员的注意力和聚焦是可取的，然而，误报和过度报告威胁或潜在威胁可能干扰驾驶员。提醒驾驶员潜在威胁是有利的；然而，更有利的是提醒驾驶员他们未意识到或未通过其它方式获得提醒的潜在威胁。这涉及通过评估车辆上的驾驶员或一个或多个对象检测传感器是否感知到威胁来协调威胁检测方法。
发明内容
根据一个实施方案，提供了一种评估车辆的错误威胁检测的方法，该方法包括以下步骤：接收来自车辆的驾驶员或车辆的对象检测传感器的检测估计；获取来自车辆上的相机的分析环境相机图像；基于分析环境相机图像来生成预测显著性分布；将接收自车辆的驾驶员或车辆的对象检测传感器的检测估计与预测显著性分布进行比较；以及确定检测估计和预测显著性分布之间的偏差。
根据各种实施方案，该方法还可包括以下特征中的任何一个或这些特征中的一些或全部的任何在技术上可行的组合：
·预测显著性分布为基于时空相机的威胁的预测分布，并且涉及其他驾驶员可能在视觉上注意到的威胁；
·在分析环境相机图像之前获取多个初始环境相机图像；
·对多个初始环境图像执行光流分析，并且使用光流分析的结果生成预测显著性分布；
·对分析环境相机图像执行语义分割，并且同时使用光流分析和语义分割的结果生成预测显著性分布；
·检测估计是接收自车辆的驾驶员的扫视瞄准点估计；
·扫视瞄准点估计包括确定扫视踪迹概率分布；
·利用二维隐马尔可夫模型(HMM)确定扫视踪迹概率分布；
·创建单应投影以协调扫视踪迹概率分布和分析环境相机图像；
·散度为扫视踪迹概率分布和预测显著性分布之间的扫视-显著性散度；
·比较扫视-显著性散度与扫视-显著性散度阈值并且在扫视-显著性散度大于扫视-显著性散度阈值的情况下提醒驾驶员；
·检测估计为来自车辆的对象检测传感器的一个或多个传感器读数的威胁加权占有概率分布；
·对象检测传感器为雷达传感器或LIDAR传感器；
·使用马尔可夫随机场模型估计占有网格以开发威胁加权占有概率分布；
·创建单应投影以协调威胁加权占有概率分布和分析环境相机图像；
·散度为威胁加权占有概率分布和预测显著性分布之间的传感器-显著性散度；和/或
·将传感器-显著性散度与传感器-显著性散度阈值进行比较以及在传感器-显著性散度大于传感器-显著性散度阈值的情况下提醒驾驶员。
根据另一个实施方案，提供了一种评估车辆的错误威胁检测的方法，该方法包括以下步骤：确定扫视踪迹概率分布以估计车辆的驾驶员的扫视瞄准点；获取来自车辆上的相机的分析环境相机图像；确定预测显著性分布和扫视踪迹概率分布之间的扫视-显著性散度，该预测显著性分布对应于分析环境相机图像；将扫视-显著性散度与扫视-显著性散度阈值进行比较；并且在扫视-显著性散度大于扫视-显著性散度阈值的情况下提醒驾驶员。
根据另一个实施方案，提供了一种威胁评估系统，该威胁评估系统包括：相机模块；对象检测传感器；以及电子控制单元(ECU)，该ECU能够操作地耦合到相机模块和对象检测传感器，其中ECU被配置为接收来自车辆的驾驶员或对象检测传感器的检测估计，获取来自相机模块的分析环境相机图像，基于分析环境相机图像来生成预测显著性分布；将接收自车辆的驾驶员或对象检测传感器的检测估计与预测显著性分布进行比较，并且确定检测估计和预测显著性分布之间的偏差。
根据该系统的各种实施方案，相机模块包括面向驾驶员的相机和环境相机。
附图说明
下文将结合附图描述一个或多个实施方案，其中类似的标号表示类似的元件，并且其中：
图1为描绘能够利用本文所公开的方法的威胁检测系统的实施方案的框图；
图2为根据一个实施方案的预测显著性分布的固定镜头；
图3为根据一个实施方案的预测显著性分布的另一个固定镜头；
图4为在图1的威胁检测系统的上下文内描述的评估错误威胁检测的方法的一个实施方案的流程图；并且
图5为在图1的威胁检测系统的上下文内描述的评估错误威胁检测的方法的一个更具体的实施方案的流程图；并且
图6为在图1的威胁检测系统的上下文内描述的评估错误威胁检测的另一个更具体的实施方案的流程图。
具体实施方式
下文所述的系统和方法涉及通知精神不集中的驾驶员行为并且帮助集中注意力。为实现这一点，可使用预测显著性分布来估计或评估对车辆的潜在威胁。预测显著性分布为基于时空相机的威胁的预测分布，并且涉及其他驾驶员可能在视觉上注意到的威胁。预测显著性分布为动态的，并且随着车辆运动和/或遇到各种对象而变化。可将预测的显著性分布与驾驶员的扫视模式和/或来自车辆上的一个或多个对象检测传感器的传感器读数进行比较。扫视模式与显著性分布相混合，可用于辅助驾驶员集中注意力，因为如果扫视模式和显著性分布之间存在特定散度，则可以将提醒提供给驾驶员。另外，传感器检测与显著性分布相混合，也可有助于辅助驾驶员集中注意力以避免事件。
参考图1，示出了包括威胁评估系统10的操作环境，该威胁评估系统可用于实现本文公开的方法。威胁评估系统10通常包括传感器22-32、前向相机34、面向驾驶员的相机36、GNSS接收机38、无线通信设备40、其它车辆系统模块(VSM)50-58和电子控制单元(ECU)60。威胁评估系统10还包括全球导航卫星系统(GNSS)卫星68星群、一个或多个无线载波系统70、陆地通信网络76、计算机或服务器78和后端设施80。应当理解，所公开的方法可与任何数量的不同系统一起使用，并且不具体地限于本文所示的操作环境。以下段落提供了一种此类威胁评估系统10的简要概述；然而，本文未示出的其它系统也可采用本发明所公开的方法。另外，应当理解，威胁评估系统10和方法可以与任何类型的车辆一起使用，这些车辆包括传统客运车辆、运动型多用途车辆(SUV)、跨界车、卡车、货车、公共汽车、休闲车(RV)、摩托车等。这些仅仅是可能的应用中的一些可能的应用，因为本文所述的威胁评估系统和方法不限于图1中所示的示例性实施方案，并且可以用任意数量的不同车辆来实现。
任意数量的不同传感器、部件、设备、模块、系统等可以为威胁评估系统10提供信息、数据和/或其它输入。这些包括，例如，图1中所示的部件，以及本领域已知但未在此示出的其它部件。应当理解，主车辆传感器、相机、对象检测传感器、GNSS接收器、ECU、HMI、以及作为威胁评估系统10的一部分和/或由该威胁评估系统使用的任何其它部件可以体现为硬件、软件、固件或它们的某种组合。这些部件可以直接感测或测量这些部件所提供的条件，或者这些部件可以基于其它传感器、部件、装置、模块、系统等提供的信息间接评估此类条件。此外，这些组件可以直接耦合到控制器或ECU 60，经由其它电子设备、车辆通信总线、网络等间接耦合到该控制器或ECU、或根据本领域已知的一些其它布置耦合到该控制器或ECU。这些部件可以集成在另一个车辆部件、设备、模块、系统等(例如，已经是主动安全系统、牵引力控制系统(TCS)、电子稳定性控制(ESC)系统、防抱死制动系统(ABS)等的一部分的传感器)内，它们可以是独立的部件(如图1中示意性地示出的)，或者它们可以根据一些其它布置来提供。在一些情况下，可以采用多个传感器来感测单个参数(例如，用于提供冗余)。应当理解，前述场景仅表示一些可能性，因为可以使用任何类型的合适布置或架构来执行本文所述的方法。
主车辆传感器22-30可以包括任何类型的感测或其它部件，其为本系统和方法提供关于车辆12的性能、状态和/或状况的数据或信息。来自机车辆传感器22-30的信息可用于推断关于即将到来的对象或威胁的信息(例如，主车辆12是否正在加速走向潜在的威胁、路况等)。根据图1示出的非限制性示例，主车辆传感器包括主车辆速度传感器22-28和动态传感器单元30。
主车辆速度传感器22-28向系统10提供速度读数，该速度读数指示车轮的旋转速度，并因此指示车辆的总速度或速度。在一个实施方案中，各个车轮速度传感器22-28耦合到车辆的四个车轮中的每一个，并且分别提供指示对应车轮的旋转速度的速度读数(例如，通过对一个或多个旋转车轮上的脉冲进行计数)。技术人员将理解，这些传感器可以根据光学、电磁或其它技术操作，并且速度传感器22-28不限于任何特定的速度传感器类型。在另一个实施方案中，速度传感器可以耦合到车辆的某些部分，诸如传动装置的输出转轴或速度计的后面，并且从这些测量结果中产生速度读数。还可以从加速度读数中导出或计算速度读数(技术人员理解速度与加速度读数之间的关系)。在另一个实施方案中，速度传感器22-28通过将雷达、激光和/或其它信号指向地面并分析反射信号来确定相对于地面的车辆速度，或者通过采用来自具有全球定位系统(GPS)能力的导航单元的反馈(例如，GNSS接收器38)。速度读数可以通过一些其它模块、子系统、系统等提供给系统10，如动力总成或引擎控制模块或制动控制模块。可以替代地使用任何其它已知的速度感测技术。
动态传感器单元30向系统提供动态读数，该动态读数有关车辆内发生的各种动态状况，诸如加速度和偏航率。单元30可以包括检测或测量车辆动态的传感器或感测元件的任何组合，并且它可以单独封装或者在单个单元中封装。根据一个示例性实施方案，动态传感器单元30为集成惯性测量单元(IMU)，其包括偏航率传感器、侧向加速度传感器和纵向加速度传感器。合适的加速度传感器类型的一些示例包括微机电系统(MEMS)型传感器和音叉型传感器，但是可以使用任何类型的加速度传感器。根据系统的特定需要，加速度传感器可以是单轴传感器或多轴传感器，可以检测加速度和/或减速度，可以将加速度的量值和/或方向检测为矢量，可以直接感测或测量加速度，可以从其它读数(如车速读数)重计算或推断加速度，并且/或者可以提供重力加速度，以引用一些可能性。虽然动态传感器单元30被示为单独的单元，但是该单元或其元件可以集成到一些其它单元、设备、模块、系统等中。
对象检测传感器32向系统10提供传感器读数以及与附近车辆、行人或车辆12周围的其它对象或威胁有关的对象数据。对象传感器读数可以代表附近车辆以及附近行人和其它对象的存在、位置、速度和/或加速度。该数据本质上可以是绝对的(例如，相对于地面的对象速度或加速度或一些其它参考系)或者数据本质上可以是相对的(例如，相对于主车辆的对象速度或加速度)。虽然仅示意性地示出了一个对象检测传感器32，但是在一些实施方案中，包括多个对象检测传感器以监测车辆12周围的各种位置。每个对象检测传感器可以是单个传感器或传感器的组合，并且可以包括一个或多个雷达设备、激光设备、LIDAR设备、超声设备、视觉设备、其它已知的设备或其组合。在一个有利的实施方案中，对象检测传感器32为雷达传感器或LIDAR传感器。在另一个有利的实施方案中，对象检测传感器32为探地雷达传感器。
当然，除了上述那些之外或代替上述那些，可以使用提供关于车辆12的状态的信息的其它车辆传感器。一些潜在的示例包括V2X通信单元以提供与其它车辆、基础设施或行人相关的信息(例如，V2V、V2I或V2P)；环境传感器，以提供与外部天气事件或其它环境事件相关的读数；转向角传感器；加速器和制动踏板传感器；稳定性传感器；和齿轮选择传感器，以上仅举出几个示例。此外，本系统和方法的一些具体实施可以不具有本文所述的所有车辆传感器或其它部件。
环境相机34和面向驾驶员的相机36可用于分别提供环境相机图像以及与车辆12的驾驶员的扫描模式相关的信息。在一个有利的实施方案中，环境相机34是获取车辆12前方的环境的相机图像的前向相机。然而，相机34面向其它方向并且用于评估车辆的其它周围区域中的错误威胁的方法是可能的(例如，当车辆12倒车时，使用备用相机)。环境相机34和/或面向驾驶员的相机36可直接或间接地连接到ECU 60以处理来自相机的输入。照相机34、36可以为任何合适的相机类型(例如，电荷耦合器件(CCD)、互补金属氧化物半导体(CMOS)等)，并且可具有本领域中已知的任何合适的镜头，使其不限于任何特定类型、品牌或型号。在一个具体实施方案中，照相机34、36均安装到由车辆12的驾驶员佩戴的一对眼镜上。在另一个实施方案中，相机34、36集成在安装于车辆12的挡风玻璃或后视镜附近或之上的单个相机模块中。在一些实施方案中，可以仅使用一个相机同时获取环境相机图像和驾驶员扫视图像。其它相机配置当然是可能的，诸如将环境相机34安装在车辆12的外部，以及将面向驾驶员的相机36安装在后视镜附近，以上仅举出几个示例。可与相机34、36一起使用的潜在实施方案或特征的一些非限制性示例包括：用于夜视的红外LED；广角或鱼眼镜头；表面安装、齐平安装、牌照安装或侧面安装相机；具有多个相机的立体布置；集成到车辆后端的尾灯、制动灯或其它部件内的相机；以及有线或无线相机，以上仅列出几种可能的情况。在实时或几乎实时地运行该方法之前，可离线实现针对相机34、36的各种相机类型和/或位置来调整本文所述的方法。
相机34、36可以将多个图像(例如，来源于流视频或其它捕获的视频)提供给ECU60，该ECU然后可以处理图像以开发预测显著性分布和扫视踪迹概率分布，如下文所详述。在一个实施方案中，当车辆的点火或主推进系统打开或启动时，相机34、36将视频数据连续传输到ECU 60。视频数据可以是与ECU 60交错或渐进式扫描类型的视频数据或交错扫描类型的视频数据。然后，ECU 60可解码、转换或以其它方式处理视频数据，使得数据中编码的视频可通过本文所述的各种方法进行充分处理和使用。其它图像处理可由ECU 60的处理器或车辆12中的其它处理设备来执行。
如下文所详述，通过使用图像处理技术，处理器可识别某些对象，诸如驾驶员可能未注意到的对车辆12的即将到来的威胁。在一个实施方案中，ECU 60可使用图像处理软件，该图像处理软件可区分捕获图像中的某些对象，并且通过分析一系列图像(可能与来自一个或多个车辆传感器诸如传感器32的信息相结合)可确定此类识别的威胁或对象相对于车辆12的位置、距离、速度和/或加速度。
设备22-36中的任一个可以为独立的，如图1所示，或者它们可结合或包括在一些其它设备、单元或模块内(例如，传感器22-28中的一些可被封装在惯性测量单元(IMU)中，相机34可与主动安全系统集成等)。此外，设备22-36中的任一个可为专用的，如图1所示，或者它们可为车辆中的其它系统或子系统的一部分或与其共享(例如，相机34和/或传感器22-30中的一些可为半自主驱动系统的一部分)。视频输入和/或传感器输入设备22-36可直接提供给ECU 60，或通过一些其它设备、模块和/或系统间接地提供，如本领域公知的。因此，设备22-36不限于图1或以上示例性描述中的示意图，也不限于任何具体实施方案或布置，只要它们能够与本文所述的方法一起使用即可。
全球导航卫星系统(GNSS)接收器38从GNSS卫星群68接收无线电信号。GNSS接收器38可以被配置为符合给定地缘政治区域(例如，国家)的特定规则或法律和/或根据所述特定规则或法律进行操作。GNSS接收器38可被配置用于各种GNSS实施方式，包括美国的全球定位系统(GPS)、中国的北斗导航卫星系统(BDS)、俄罗斯的全球导航卫星系统(GLONASS)、欧盟的伽利略、以及各种其它导航卫星系统。例如，GNSS接收器38可为GPS接收器，其可从GPS卫星群68接收GPS信号。并且，在另一示例中，GNSS接收器38可以是BDS接收器，其从GNSS(或BDS)卫星群68接收多个GNSS(或BDS)信号。在任一实施方式中，GNSS接收器38可以包括至少一个处理器和存储器，该存储器包括存储指令(软件)的非暂态计算机可读存储器，所述指令可由处理器访问以执行由接收器38执行的处理。
GNSS接收器38可用于将导航和其它位置相关的服务提供给车辆驾驶员。导航信息，诸如关于可能影响旅行的即将发生的事件的信息，可以在显示器50上呈现，或者可以口头呈现，诸如在提供逐向导航时所做的那样。导航服务可使用专用车载导航模块(其可以是GNSS接收器38的一部分和/或作为无线通信设备40或其它VSM的一部分并入)来提供，或者一些或所有导航服务可经由安装在车辆中的车辆通信设备40(或其它支持远程信息处理的设备)来完成，其中位置或定位信息被发送到远程位置，以便为车辆提供导航地图、地图注释(兴趣点、餐馆等)、路线计算等。可以将位置信息提供给车辆后端设施80或其它远程计算机系统诸如计算机78，用于其它目的，诸如车队管理和/或下文讨论的用于开发预测显著性分布的训练目的。
无线通信设备40能够通过使用蜂窝芯片组44而经由短程无线通信(SRWC)和/或经由蜂窝网络通信来传送数据，如所示实施方案中所描绘。在一个实施方案中，无线通信设备40为用于执行下文讨论的方法的至少一部分的中央车辆计算机。在所示实施方案中，无线通信设备40包括SRWC电路42、蜂窝芯片组44、处理器46、存储器48以及天线43和45。在一个实施方案中，无线通信设备40可以是独立模块，或者在其它实施方案中，设备40可作为一个或多个其它车辆系统模块(诸如中心堆栈模块(CSM)、车身控制模块(BCM)、信息娱乐模块、头部单元和/或网关模块)的一部分并入或包括在内。在一些实施方案中，设备40可以实现为安装在车辆中的OEM安装的(嵌入的)或售后市场设备。在一些实施方案中，无线通信设备40为能够使用一个或多个蜂窝载波系统70执行蜂窝通信的远程信息处理单元(或远程信息处理控制单元)。远程信息处理单元可以与GNSS接收器38集成，使得例如GNSS接收器38和无线通信设备(或远程信息处理单元)40彼此直接连接，而不是经由通信总线59连接。
在一些实施方案中，无线通信设备40可被配置为根据一个或多个短程无线通信(SRWC)诸如Wi FiTM、WiMAXTM、Wi-Fi DirectTM、其它IEEE 802.11协议、ZigBeeTM、BluetoothTM、BluetoothTMLow Energy(BLE)或近场通信(NFC)中的任一者进行无线通信。如本文所用，BluetoothTM是指BluetoothTM技术诸如BluetoothTM低功耗(BLE)、BluetoothTM4.1、BluetoothTM4.2、BluetoothTM5.0以及可能开发的其它BluetoothTM技术中的任一个。如本文所用，Wi-FiTM或Wi-FiTM技术是指Wi-FiTM技术诸如IEEE 802.11b/g/n/ac或任何其它IEEE 802.11技术中的任一个。短程无线通信(SRWC)电路42使得无线通信设备40能够发射和接收信号SRWC，诸如BLE信号。SRWC电路可允许设备40连接到另一个SRWC设备。另外，在一些实施方案中，无线通信设备可包含蜂窝芯片组44，从而允许设备经由一个或多个蜂窝协议，诸如由蜂窝载波系统70使用的那些蜂窝协议进行通信。在此类情况下，无线通信设备变为可用于经由蜂窝载波系统70执行蜂窝通信的用户设备(UE)。
无线通信设备40可使车辆12能够经由分组交换数据通信与一个或多个远程网络(例如，后备设施80或计算机78处的一个或多个网络)通信。可通过使用经由路由器或调制解调器连接到陆地网络的非车辆无线接入点来执行该分组交换数据通信。当用于诸如TCP/IP的分组交换数据通信时，通信设备40可以配置有静态IP地址，或者可以被设置为从网络上的另一设备诸如路由器或从网络地址服务器自动接收分配的IP地址。还可经由使用可由设备40访问的蜂窝网络来执行分组交换数据通信。通信设备40可经由蜂窝芯片组44通过无线载波系统70传送数据。在此实施方案中，无线电传输可用于与无线载波系统70建立通信信道诸如语音信道和/或数据信道，使得可以通过信道发送和接收语音传输和/或数据传输。
处理器46可以是能够处理电子指令的任何类型的设备，包括微处理器、微控制器、主机处理器、控制器、车辆通信处理器和专用集成电路(ASIC)。它可以是仅用于通信设备40的专用处理器，或者可以与其它车辆系统共享。处理器46执行各种类型的数字存储指令，诸如存储在存储器48中的软件或固件程序，这使得设备40能够提供各种各样的服务。例如，处理器46可以执行程序或处理数据以执行本文所讨论的方法的至少一部分。存储器48可以是临时通电的存储器、任何非暂态计算机可读介质或其它类型的存储器。例如，该存储器可包括任何数量的不同类型的RAM(随机存取存储器，包括各种类型的动态RAM(DRAM)和静态RAM(SRAM))、ROM(只读存储器)、固态驱动器(SSD)(包括其它固态存储装置，诸如固态混合驱动器(SSHD))、硬盘驱动器(HDD)、磁盘或光盘驱动器。与先前描述的那些类似的部件(处理器46和/或存储器48，以及SRWC电路42和蜂窝芯片组44)可以包括在另一个控制模块和/或通常包括此类处理/存储能力的各种其它VSM诸如ECU 60中。
无线通信设备40连接到总线59，并且可以从一个或多个车辆传感器22-32和/或相机34、36处接收传感器数据，并且此后，车辆12可以将该数据(或从该数据导出或基于该数据的其它数据)发送到包括车辆后端设施80的其它设备或网络。然而，在一些实施方案中，全部或一些数据由ECU60或另一模块处理。在一个有利的实施方案中，实时或几乎实时的处理均通过ECU 60完成，以避免处理延迟。然而，可以使用计算机78和/或后端设施(包括服务器82和数据库84)完全或部分地处理对方法的训练。
车辆电子器件20还包括多个车辆用户界面，该多个车辆用户界面为车辆占有者提供一种装置，该装置提供并且/或者接收信息，包括视觉显示器50、一个或多个按钮52、麦克风54、音频系统56和/或触觉反馈设备58。如本文所用，术语“车辆用户界面”广义地包括任何适当形式的电子设备，包括硬件和软件部件两者，其位于车辆12上并使车辆用户能够与车辆部件通信或通过车辆部件通信。车辆-用户界面50-54也是车载车辆传感器，它们可以接收来自用户的输入或其它传感信息。一个或多个按钮52允许手动用户输入通信设备40中以提供其它数据、响应或控制输入。音频系统56向车辆占用者提供音频输出，并且可为专用的独立系统或主要车辆音频系统的一部分。根据本文所示的具体实施方案，音频系统56能够操作地耦合到车辆总线59和娱乐总线(未示出)两者，并且可提供AM、FM以及卫星无线电、CD、DVD和其它多媒体功能。该功能性可以与信息娱乐模块一起提供或独立于信息娱乐模块提供。音频系统56可用于在应当向车辆12的驾驶员提醒潜在威胁时提供定向音频感知。麦克风54向无线通信设备40提供音频输入，以使得驾驶员或其他乘员能够提供语音命令和/或经由无线载波系统70执行免提呼叫。为此，可利用本领域已知的人机界面(HMI)技术将其连接到车载自动语音处理单元。视觉显示器或触摸屏50优选为图形显示器并且可以用于提供多种输入和输出功能。显示器50可以是仪表板上的触摸屏、从挡风玻璃反射的抬头显示器、或者可以投影图形以供车辆乘员观看的投影仪。例如，在一个实施方案中，显示器50为通过车辆12的挡风玻璃示出的增强现实显示器。触觉反馈设备58可用于向车辆12的驾驶员提供触感。在该实施方案中，触觉反馈设备58为座椅90。区域92、94可被激活，例如，以提醒车辆12的驾驶员存在对车辆相应一侧的潜在威胁。还可以使用各种其它车辆-用户界面，因为图1的界面仅是一个具体实施方式的示例。因此，可使用一个或多个车辆-用户界面提醒车辆12的驾驶员各种潜在的威胁，如下文所详述。
ECU 60控制威胁评估系统10的各种部件，并且处理执行本文所述的方法所需的许多(如果不是全部)实时或几乎实时处理的基于车辆的处理。因此，ECU 60可获取来自多个来源诸如传感器22-32和相机34、36的反馈或信息，然后使用此类反馈或信息以评估错误威胁检测。ECU 60可以被认为是控制器、控制模块等，并且可以包括任何种类的电子处理设备、存储器设备、输入/输出(I/O)设备和/或其它已知部件，并且可以执行各种控制和/或通信相关功能。在一个示例性实施方案中，ECU 60包括存储传感器读数(例如，来自传感器22-32的传感器读数)、图像或视频信息(例如，来自相机34、36的图像或视频馈送)、查找表或其它数据结构(例如，与下文所述的可校准权重或阈值相关的查找表)、算法(例如，下文所述方法中体现的算法)等的电子存储器装置62。存储器设备62可以保持由在预定时间段内或在预定实例期间收集的数据(例如，驾驶员的扫视瞄准点、传感器读数等)组成的缓冲区。如本领域所理解的，存储器设备62或其仅一部分可以以电子数据结构的形式实现或维持。ECU60还包括电子处理装置64(例如，微处理器、微控制器、专用集成电路(ASIC)等)，其执行存储在存储装置62中的用于软件、固件、程序、算法、脚本等的指令，并且可以部分地管理本文所述的过程和方法。
根据具体实施方案，ECU 60可以是独立的车辆电子模块(例如，特殊或专用威胁评估控制器)，它可以结合或包括在另一个车辆电子模块(例如，视频控制器)内，或者它可以是更大的网络或系统(例如，主动安全系统)的一部分，或者它可以是基于监督车辆控制单元实现低级控制的从属控制单元，这里仅列举了几种可能性。因此，ECU 60不限于任一具体实施方案或布置，并且可以由本方法用于控制威胁评估系统10操作的一个或多个方面。威胁评估系统10和/或ECU 60还可以包括校准文件，该校准文件是定义向致动部件诸如诸如显示器50、音频系统56和/或触觉反馈设备58赋予的命令的设置文件。
无线载波系统70可为任何合适的蜂窝电话系统。载波系统70被示为包括蜂窝塔72；然而，载波系统70可包括以下部件中的一者或多者(例如，取决于蜂窝技术)：蜂窝塔、基站收发信台、移动交换中心、基站控制器、演进节点(例如，eNodeB)、移动性管理实体(MME)、服务和PGN网关等，以及将无线载波系统70与陆地网络76连接或将无线载波系统与用户设备(UE，例如，其可包括车辆12中的远程信息处理设备)连接所需的任何其它联网部件。载波系统70可以实现任何合适的通信技术，包括GSM/GPRS技术、CDMA或CDMA2000技术、LTE技术等。
除了使用无线载波系统70之外，还可使用卫星通信形式的不同无线载波系统来提供与车辆的单向或双向通信。这可使用一个或多个通信卫星(未示出)和上行链路发射站(未示出)来进行。单向通信可以是例如卫星无线电服务，其中节目内容(新闻、音乐等)由上行链路传输站接收、打包上传、然后发送到卫星，该卫星将节目广播给用户。双向通信可以是例如使用一个或多个通信卫星来在车辆12和上行链路传输站之间中继电话通信的卫星电话服务。如果使用的话，则可以使用该卫星电话作为对无线载波系统70的补充或替代。
陆地网络76可以是连接到一个或多个陆线电话并将无线载波系统70连接到车辆后端设施80的常规陆基远程通信网络。例如，陆地网络76可包括公共交换电话网络(PSTN)，诸如用于提供硬连线电话、分组交换数据通信和互联网基础结构的网络。陆地网络76的一个或多个部分可通过使用标准有线网络、光纤或其它光网络、电缆网络、电力线、其它无线网络(诸如无线局域网(WLAN))或提供宽带无线接入(BWA)的网络或其任何组合来实现。
计算机78(仅示出一台)可以是经由诸如互联网的私有或公共网络访问的多台计算机中的一些。在一个实施方案中，每种此类计算机78可用于一个或多个目的，诸如用于预测显著性分布的训练和初始开发。其它此类可访问计算机78可以为例如：车辆所有者或其他用户用于访问或接收车辆数据或设置或配置用户偏好或控制车辆功能等目的的客户端计算机；或通过与车辆12、后端设施80或两者通信向其提供车辆数据或其它信息或从其中提供车辆数据或其它信息的第三方存储库。计算机78还可以用于提供诸如DNS服务的因特网连接，或者作为使用DHCP或其它合适协议来向车辆12分配IP地址的网络地址服务器。
车辆后端设施80远离车辆12定位。后端设施80可被设计成通过使用一个或多个电子服务器82来为车辆电子器件20提供多个不同的系统后端功能，并且在许多情况下，可为本文所述的模型的初始训练提供处理能力，而大多数实时或几乎实时的处理在车辆12处诸如通过ECU 60来完成。后端设施80可以是物理呼叫中心，或者它可以是基于云的服务器等。后端设施80包括车辆后端服务器82和数据库84，其可存储在多个存储器设备上。车辆后端设施80可包括这些各种部件中的任一个或全部，并且优选地，各种部件中的每一个经由有线或无线局域网彼此耦接。后端设施80可经由连接至陆地网络76的调制解调器接收和传输数据。数据传输也可由无线系统诸如IEEE 802.11x、GPRS等进行。本领域的技术人员将理解，尽管在例示的实施方案中仅描绘了一个后端设施80和一台计算机78，但可使用许多远程设施80和/或计算机78。此外，多个后端设施80和/或计算机78可以在地理上分布，并且每个可以彼此协调信息和服务。
服务器82可以是包括至少一个处理器并且包括存储器的计算机或其它计算设备。处理器可以是能够处理电子指令的任何类型的设备，包括微处理器、微控制器、主机处理器、控制器、车辆通信处理器和专用集成电路(ASIC)。处理器可以是仅用于服务器82的专用处理器，或者可以与其它系统共享。这些至少一个处理器可执行各种类型的数字存储指令诸如软件或固件，这些指令使得服务器82能够提供各种各样的服务。该软件可以存储在计算机可读存储器中，并且可以是任何合适的非暂态计算机可读介质。例如，该存储器可包括任何数量的不同类型的RAM(随机存取存储器，包括各种类型的动态RAM(DRAM)和静态RAM(SRAM))、ROM(只读存储器)、固态驱动器(SSD)(包括其它固态存储装置，诸如固态混合驱动器(SSHD))、硬盘驱动器(HDD)、磁盘或光盘驱动器。对于网络通信(例如，网络内通信、包括互联网连接的网络间通信)，服务器可包括可用于向计算机传送数据和从计算机传送数据的一个或多个网络接口卡(NIC)(包括无线NIC(WNIC))。这些NIC可允许一个或多个服务器82彼此连接，与数据库84或其它联网设备，包括路由器、调制解调器和/或交换机连接。在一个特定实施方案中，服务器82的NIC(包括WNIC)可允许建立SRWC连接和/或可包括以太网(IEEE 802.3)端口，可提供两个或更多个设备之间数据连接的以太网电缆可连接到以太网端口。后端设施80可包括多个路由器、调制解调器、交换机或其它网络设备，这些网络设备可用于提供联网能力，诸如与陆地网络76和/或蜂窝载波系统70连接。
数据库84可以存储在多个存储器设备上，诸如通电临时存储器或任何合适的非暂态计算机可读介质。例如，该存储器可包括任何数量的不同类型的RAM(随机存取存储器，包括各种类型的动态RAM(DRAM)和静态RAM(SRAM))、ROM(只读存储器)、固态驱动器(SSD)(包括其它固态存储装置，诸如固态混合驱动器(SSHD))、硬盘驱动器(HDD)、磁盘或光盘驱动器，其存储执行本文所讨论的各种外部设备功能所需的一些或全部软件。后端设施84处的一个或多个数据库80可存储各种信息，并且可包括用于存储与预测显著性分布的开发相关的信息的数据库。
图2和图3示意性地示出了可与本发明的系统和方法一起使用的威胁检测分布100、102、104的各种实施方案。图2示出了来自图1的威胁评估系统10的车辆12的挡风玻璃106的视图。威胁检测分布100为叠加在车辆12外部的环境的分析图像112诸如由环境相机34拍摄的图像上的预测显著性分布110。预测显著性分布110为基于时空相机的威胁的预测分布，并且涉及其他驾驶员可能在视觉上注意到的威胁。在该实例中突出显示了预测显著性分布110，因为扫视瞄准点估计114背向潜在威胁(即，对象车辆116)。鉴于预测显著性分布110和扫视瞄准点估计114诸如由面向驾驶员的相机36获取的扫视踪迹概率分布之间的散度，该系统和方法可提醒车辆116的驾驶员有关潜在威胁或对象车辆12。预测显著性分布110具有高警告区118、中度警告区120和低警告区122。在一些实施方案中，高警告区118可为红色等以表示最高估计风险半径，中度警告区120可以从红色转变为橙色或黄色以表示适度估计风险半径，并且低警告区122可以转变为绿色或蓝色以表示低估计风险半径。
预测显著性分布110类似于动态热图等，其根据车辆12的运动和/或环境中对象或威胁的移动而改变。预测显著性分布的开发如下文进一步详述。在图2和图3中的图示中，预测显著性分布110包括第一威胁116，然后每个分布100、102、104中的每个区域118-122随着车辆朝向交叉路口124运动而改变，如图3中更详细地所述。图3具有新的分析图像126，其在比图2的分析图像112更晚的时间拍摄。在图3中，给定扫视瞄准点估计114，威胁检测分布102、104可指示车辆12的驾驶员应当注意的区域(例如，预测显著性分布110)。下文所述的方法更详细地介绍了图2和图3中示意性示出的各种分布的发展。
图4示出了方法400，而图5和图6分别示出了方法400的更具体的实施方案500、600。方法400、500、600可用于上文相对于图1至图3所述的系统来评估错误威胁检测。应当理解，每个方法400、500、600的步骤并非必须以任何特定顺序呈现，并且以另选顺序或同时执行一些或所有步骤是可能的并且是可以设想的。此外，方法400、500、600可能能够在与图1中所示的威胁评估系统10不同的其它系统中实现，并且在系统10的上下文内对方法400、500、600的描述可能仅仅是示例。另外，预期方法500、600同时运行，其中方法500专注于扫视-显著性散度，并且方法600专注于传感器-显著性散度。
图4示出了评估错误威胁检测400的更一般的方法。方法400的步骤402包括接收来自车辆12的驾驶员或对象检测传感器32的检测估计。对于检测估计，方法500使用扫视瞄准点估计，诸如图2和图3中示意性示出的扫视瞄准点估计114；而方法600使用来自对象检测传感器32的读数作为检测估计。下文将进一步依次详细描述这些方法。方法400的步骤404涉及获取来自相机诸如车辆12的环境相机34的分析环境相机图像。步骤406涉及基于分析环境相机图像生成预测显著性分布，诸如图2和图3所示，并且如下文进一步详述。步骤408涉及对接收自车辆的驾驶员(例如，通过面向驾驶员的相机36)或对象检测传感器32的检测估计与步骤406中生成的预测显著性分布进行比较。步骤410涉及确定检测估计和预测显著性分布之间的偏差。如上文结合图2和图3所述以及如下文进一步详述，该偏差可提供驾驶员或传感器未适当评估威胁的指示，并且可生成提醒。下面的描述专注于方法400的更具体的具体实施，其中方法500更专注于驾驶员的扫视模式，并且方法600更专注于来自对象检测传感器的输入。例如，方法400、500、600的大部分实时和/或几乎实时处理在车辆12处本地发生，例如使用ECU 60发生。然而，一些方面可远程发生，诸如使用计算机78和/或后端设施80。例如，用于生成分布的模型的一些初始训练可远离车辆12来实现。
在两种方法500、600中，涉及生成每个方法中所用的预测显著性分布的类似步骤。如上所述，预测显著性分布为基于时空相机的威胁的预测分布，并且涉及其他驾驶员可能在视觉上注意到的威胁。在一些实施方案中，使用计算机78和后端设施80至少部分地实现用于初始开发预测显著性分布的一个或多个方面的训练，然后有关驾驶员可能注意到的威胁的信息被本地发送到车辆12进行实时或几乎实时的处理。因此，可使用查找表、图像匹配算法或特定威胁的一些其它编译来开发预测显著性分布，并且可以对这些威胁进行加权或以其它方式排序(例如，在存在图2中的威胁车辆116的情况下车辆倒车离开停车位，如图2和图3所示的即将到来的车辆或交叉路口124，或其它潜在威胁，包括但不限于道路上的对象或行人、碰撞风险、道路特征诸如急转弯等)。模型训练可用于开发威胁的编译，例如，通过观看驾驶员并且记录驾驶过程中发生的特定对象的扫视模式。例如，如果大多数驾驶员在视觉上注意到对象或威胁类型，则编译中可包括该对象或威胁类型。可使用各种技术来实现加权和/或排序，包括通过接近度、速度、加速度等进行加权，使用获取自传感器22-32、相机34或一些其它来源的数据。
为开发预测显著性分布，步骤502、602涉及在获取分析环境相机图像之前获取多个初始环境相机图像。多个初始环境相机图像和分析环境相机图像优选地是从环境相机34获取或以其它方式从视频馈源提取的连续图像。初始环境相机图像的数量可取决于要在神经网络中传递的批量大小，如将在下文进一步详述。在一个有利的实施方案中，初始环境相机图像的数量为十五张，其中第十六张图像为分析环境相机图像，诸如图2所示的图像112。一旦获取所述多张初始环境相机图像，每张分析图像可在初始批次之后按顺序继续获取。例如，延迟不受图3所示的分析图像126的影响，因为已经获取了足够的批量大小，并且可在初始环境相机图像得到处理之后对每个单独的分析环境图像进行后续处理。
在一个具体实施方案中，步骤504、604涉及对初始环境相机图像执行光流分析。在一个实施方案中，光流分析涉及与每个初始环境相机图像的图像匹配。光流分析有助于编码与车辆12前方区域或与方法500、600一起监测和采用的另一区域的相对运动相关的信息。在一个具体示例中，在步骤504、604中使用OpenCV Deepflow。在其它实施方案中，采用变分能量最小化或另一种类型的图像匹配光流分析。
在一个具体实施方案中，步骤506、606涉及分析环境相机图像的语义分割。语义分割分析可提供风景信息，并且可输出用于生成预测显著性分布的各种区域、结构、片段、形状等。语义分割可使用任何可操作的算法或分割技术，并且将可能取决于所需的分割输出结构。在一些实施方案中，还使用语义分割分析来分析每个单独的初始环境图像。在此类实施方案中，将16个分段帧的聚集序列输入到步骤508、608中。然而，另选地，编号序列当然是可能的(例如，初始批次可具有更多或更少的顺序图像帧)。
步骤508、608涉及生成预测显著性分布。步骤508、608获取来自分析环境相机图像的输入、来自步骤504、604的光流分析结果以及来自步骤506、606的语义分割分析结果。在一个实施方案中，使用神经网络生成预测显著性分布，并且预测显著性分布为指示分析环境图像中其他驾驶员可能注意到的潜在威胁区域的概率分布函数。在一个示例中，如图2和图3所示，预测显著性分布110为动态突出显示顺序图像中的各个区域的热图，其中分布110随着图像中各种威胁的相对位置的变化而改变或变形。预测显著性分布110也可以其它各种形式表示，诸如数字、图形或使用另一种分布函数模型。
两种方法500、600分别使用步骤502-508和步骤602-608中生成的预测显著性分布作为输入。方法500、600的不同之处在于，除预测显著性分布之外，利用扫视瞄准点估计(方法500：步骤510-512)和威胁加权占有概率分布(方法600：步骤610-612)作为输入。因此，方法500更专注于扫视-显著性，而方法600更专注于传感器-显著性。
方法500的步骤510涉及接收车辆的驾驶员的眼睛跟踪数据。这可以使用面向驾驶员的相机36来实现。在一些实施方案中，眼睛跟踪数据可表示若干X、Y坐标。该数据可以被估算或投影到车辆12前方的场景，如图2和图3中的点130示意性地示出。通过分析来自面向驾驶员的相机视频的若干帧，可获取扫视瞄准点估计。在一些实施方案中，面向驾驶员的相机36的帧速率(例如，约每1/10秒一秒)高于环境相机34的帧速率，使得可获取用于扫视瞄准点估计的更多数据。
方法500的步骤512涉及使用来自步骤510的眼睛跟踪数据来确定扫视踪迹概率分布。扫视踪迹概率分布为扫视瞄准点估计，其可表示协调的眼睛运动的簇或组(例如，场景上的模型分布)。在一个实施方案中，使用二维隐马尔可夫模型(HMM)确定来自所接收的眼睛跟踪数据的扫视踪迹概率分布。给定基于序列的图像分析，二维HMM可以为有利的模型。
方法500的步骤514涉及创建单应投影以协调扫视踪迹概率分布和分析环境相机图像。因此，单应投影协调来自环境相机34和面向驾驶员的相机36的输入。在创建单应投影中涉及的处理属性和算法将取决于各种因素，诸如相机34、36中的每一个的安装布置、相机类型、图像大小等。在步骤514中创建单应投影能够与步骤508中所计算的预测显著性分布进行更高效而准确的比较。
步骤516涉及确定步骤502-508中确定的预测显著性分布和步骤510-514中确定的扫视踪迹概率分布之间的扫视-显著性散度。散度越大，驾驶员就越可能不注意对车辆12的显著威胁。在一个有利的实施方案中，步骤516涉及计算预测显著性分布和扫视踪迹概率分布之间的Klback Leibler(KL)散度。将KL散度(扫视-显著性散度)与预测显著性分布的神经网络相结合，可允许更复杂地近似并且更准确地确定错误威胁检测。在步骤516中确定散度的其它方法包括但不限于扫描显著性、直方图分析、像素线性、ROC(接收机操作特性)曲线下面积分析或一些其它可操作的方法。
方法500的步骤518涉及比较步骤516中确定的扫视-显著性散度与扫视-显著性散度阈值。在一个实施方案中，步骤518询问扫视-显著性散度是否大于扫视-显著性散度阈值。应当理解，比较步骤中的叙述诸如“小于”或“大于”是开放式的，使得其可以分别包括“小于或等于”或“大于或等于”，并且这将取决于期望具体实施中已建立的参数评估。扫视-显著性散度阈值可为至少部分地从先前数据中获悉或基于先前数据的动态阈值。在一个更具体的实施方案中，扫视-显著性散度阈值为至少部分地基于当前显著性和/或扫视模式的启发式获悉阈值。例如，如果预测显著性分布指示对周边可能存在威胁(例如，接近小巷的车流)，但驾驶员正在寻找中心，则该阈值可能较低。相比之下，驾驶员盯着地平线时存在中心偏差。如果预测显著性分布指示在驾驶员正注视周边区域时车辆前方的公路上存在潜在的威胁，则阈值可能更高。因此，给定驾驶环境，扫视-显著性阈值可根据威胁类型、驾驶员扫视的位置或其它因素而变化。有利地，扫视-显著性阈值被开发为使得具有低概率扫视瞄准点估计的高概率显著性预测(例如，预测显著性分布110中的区域118、120)将触发系统10提醒车辆12的驾驶员。
方法500的步骤520涉及在扫视-显著性散度大于扫视-显著性散度阈值的情况下提醒车辆12的驾驶员。在这种情况下，驾驶员可能分心、感到疲劳或注意力不集中。可提供各种警报，诸如利用显示器50。在一个有利的实施方案中，显示器50是增强现实显示器，其为注意力集中在其它位置的驾驶员突出显示或提供某种视觉指示(例如，在车辆12中的增强现实显示器或另一个显示器上突出显示潜在威胁)。在另一个实施方案中，使用音频系统56提供定向音频提示。例如，可提供用于定向音频感知的声学提示以帮助指示驾驶员应注意的位置。在另一个实施方案中，利用触觉反馈设备58提醒驾驶员。例如，座椅90中的区域92、94可被激活，以提醒车辆12的驾驶员存在对车辆相应一侧的潜在威胁。其它基于HMI的警报以及各种其它警报当然是可能的。例如，可执行自主驾驶动作等以帮助避免该威胁。
如上文所述，两种方法500、600分别使用步骤502-508和步骤602-608中生成的预测显著性分布作为输入。图6中的方法600与图5中的方法500不同，因为方法600使用威胁加权占有概率分布(方法600：步骤610-612)代替扫视瞄准点估计(方法500：步骤510-512)作为输入。
方法600的步骤610涉及接收外部传感器读数。这可以使用对象检测传感器32来实现，该对象检测传感器有利地为雷达传感器或LIDAR传感器。在一个更具体的实施方案中，在步骤610中接收的传感器读数为来自探地雷达传感器的对象检测读数。来自传感器读数的信息的表示可以多种不同的可操作形式提供。例如，可利用马尔可夫随机场(MRF)模型，借助来自对象检测传感器32的传感器读数来估计占有网格，该传感器读数可经过过滤和/或平滑。
方法600的步骤612涉及确定来自步骤610中获取的一个或多个传感器读数的威胁加权占有概率分布。继续上文提供的示例，占有网格可用于至少部分地确定威胁加权占有概率分布。占有网格可使用MRF模型来开发，其中每个网格单元通常表示威胁的位置，其中一个或多个方面诸如惯性、相对速度等以不同维度来表示(例如，沿Z轴，其中位置经由X、Y坐标来指定，一些实施方案可能具有三个或更多个维度)。因此，在该实施方案中，占有网格为威胁加权占有概率分布；然而，用于生成威胁加权占有概率分布的其它方法当然是可行的。例如，传感器数据可以不同的坐标方案或更适用于不同分布类型的其它格式提供。另外，步骤612可使用诸如由速度传感器22-28的读数指示的主机车辆速度的信息或来自其它系统部件的信息，以帮助生成威胁加权占有概率分布。
方法600的步骤614涉及创建对准投影以协调在步骤602中获取的威胁加权占有概率分布和分析环境相机图像。在一个实施方案中，对准投影为单应投影，但其它对准技术也是可行的，并且可取决于传感器32的类型。因此，对准投影协调来自环境相机34和对象检测传感器32的输入。在创建投影中涉及的处理属性和算法将取决于各种因素，诸如相机34的安装布置、传感器32的类型、图像大小、传感器32的范围等。在步骤614中创建对准投影能够与步骤608中所计算的预测显著性分布进行更高效而准确的比较。
步骤616涉及确定步骤602-608中确定的预测显著性分布和步骤610-614中确定的威胁加权占有概率分布之间的传感器-显著性散度。散度越大，则存在异常环境传感器指示的可能性越高。在一些情况下，对象检测传感器32可以用预测显著性分布表示未触发或具有风险的特殊对象或动作。这些异常可有助于训练或开发预测显著性分布，提醒驾驶员失调的传感器(例如，具有高概率显著性预测和低概率威胁加权占有检测)，和/或提醒驾驶员关于低概率显著性威胁(例如，大多数驾驶员将不评估的威胁)仍然存在风险，如高概率威胁加权占有检测所示。在一个有利的实施方案中，步骤616涉及计算预测显著性分布和威胁加权占有概率分布之间的Klback Leibler(KL)散度。将KL散度(传感器-显著性散度)与预测显著性分布的神经网络相结合，可允许更复杂地近似并且更准确地确定错误威胁检测。在步骤616中确定散度的其它方法包括但不限于扫描显著性、直方图分析、像素线性、ROC(接收机操作特性)曲线下面积分析或一些其它可操作的方法。
方法600的步骤618包括比较步骤616中确定的传感器-显著性散度与传感器-显著性散度阈值。在一个实施方案中，步骤618询问传感器-显著性散度是否大于传感器-显著性散度阈值。同样，应当理解，比较步骤中的叙述诸如“小于”或“大于”是开放式的，使得其可以分别包括“小于或等于”或“大于或等于”，并且这将取决于期望具体实施中已建立的参数评估。与扫视-显著性散度阈值一样，传感器-显著性散度阈值可为至少部分地从先前数据中获悉或基于先前数据的动态阈值。在一个更具体的实施方案中，传感器-显著性散度阈值为至少部分地基于当前显著性和/或传感器读数的启发式获悉阈值。例如，如果探地雷达对象检测传感器32指示车手从车辆12的一侧上的树篱后面接近车辆，然而预测显著性分布指示无风险，则阈值可能较低。对于直接在车辆前面的更显著的威胁，阈值可能更高。因此，传感器-显著性阈值可根据威胁类型、传感器类型或其它因素而变化。有利地，传感器-显著性阈值被开发为使得具有高概率威胁加权占用估计的低概率显著性预测(例如，预测显著性分布122中的区域110或无区域)将触发系统10提醒车辆12的驾驶员。
方法600的步骤620涉及在传感器-显著性散度大于传感器-显著性散度阈值的情况下提醒车辆12的驾驶员。在此类情况下，驾驶员可能面临不易突出的风险。可提供各种警报，诸如利用显示器50。在一个有利的实施方案中，显示器50是增强现实显示器，其为注意力应集中于由对象检测传感器32检测到的威胁的驾驶员突出显示或提供某种视觉指示(例如，在车辆12中的增强现实显示器或另一个显示器上突出显示潜在威胁)。在另一个实施方案中，使用音频系统56提供定向音频提示。例如，可提供用于定向音频感知的声学提示以帮助指示所检测到的威胁大致所处的位置。在另一个实施方案中，利用触觉反馈设备58提醒驾驶员。例如，座椅90中的区域92、94可被激活，以提醒车辆12的驾驶员存在对车辆相应一侧的潜在威胁。其它基于HMI的警报以及各种其它警报当然是可能的。例如，可执行自主驾驶动作等以帮助避免该威胁。
应当理解，以上是对本发明的一个或多个实施方案的描述。本发明不限于本文所公开的一个或多个具体实施方案，而是仅由以下权利要求书限定。此外，前述描述中所包含的说明涉及特定的实施方案，并且不应理解为是对本发明范围或权利要求书中使用的术语的定义的限制，除非在上文明确定义了术语或短语。各种其它实施方案以及对所公开的一个或多个实施方案的各种改变和修改对于本领域技术人员而言将是显而易见的。所有此类其它实施方案、改变和修改旨在落入所附权利要求的范围内。
如在本说明书和权利要求中所使用的，术语“例如”、“诸如”和“等”，以及动词“包括”、“具有”、“含有”和它们的其它动词形式，当与一个或多个部件或其它项目的列表结合使用时，每个都被视为开放式的，这意味着该列表不应被看作排除了其它附加部件或项目。就其它术语而言，除非这些术语在需要不同解释的上下文中使用，否则应该使用其最广泛的合理含义来解释这些术语。另外，术语“和/或”应被解释为包含的或。因此，例如，短语“A、B和/或C”应被解释为涵盖以下中的任一者或多者：“A”；“B”；“C”；“A和B”；“A和C”；“B和C”；以及“A、B和C”。

Claims (11)

1.一种评估车辆的错误威胁检测的方法，包括以下步骤：
接收来自所述车辆的驾驶员或所述车辆的对象检测传感器的检测估计；
获取来自所述车辆上的相机的分析环境相机图像；
基于所述分析环境相机图像来生成预测显著性分布；
将接收自所述车辆的所述驾驶员或所述车辆的所述对象检测传感器的所述检测估计与所述预测显著性分布进行比较；以及
确定所述检测估计和所述预测显著性分布之间的偏差。
2.根据权利要求1所述的方法，其中所述预测显著性分布为基于时空相机的威胁的预测分布，并且涉及其他驾驶员可能在视觉上注意到的威胁，并且所述方法还包括在所述分析环境相机图像之前获取多个初始环境相机图像的步骤。
3.根据权利要求2所述的方法，还包括以下步骤：
对所述多个初始环境图像执行光流分析；
对所述分析环境相机图像执行语义分割；以及
使用所述光流分析和所述语义分割两者的所述结果生成所述预测显著性分布。
4.根据权利要求1所述的方法，其中所述检测估计是接收自所述车辆的驾驶员的扫视瞄准点估计，并且所述扫视瞄准点估计涉及确定扫视踪迹概率分布。
5.根据权利要求4所述的方法，还包括创建单应投影以协调所述扫视踪迹概率分布和所述分析环境相机图像的步骤。
6.根据权利要求4所述的方法，其中所述散度为所述扫视踪迹概率分布和所述预测显著性分布之间的扫视-显著性散度，并且所述方法还包括以下步骤：将所述扫视-显著性散度与扫视-显著性散度阈值进行比较，以及在所述扫视-显著性散度大于所述扫视-显著性散度阈值的情况下提醒所述驾驶员。
7.根据权利要求1所述的方法，其中所述检测估计为来自所述车辆的所述对象检测传感器的一个或多个传感器读数的威胁加权占有概率分布。
8.根据权利要求7所述的方法，还包括使用马尔可夫随机场模型来估计占有网格以开发所述威胁加权占有概率分布的步骤。
9.根据权利要求7所述的方法，还包括创建单应投影以协调所述威胁加权占有概率分布和所述分析环境相机图像的步骤。
10.根据权利要求9所述的方法，其中所述散度为所述威胁加权占有概率分布和所述预测显著性分布之间的传感器-显著性散度，并且还包括以下步骤：将所述传感器-显著性散度与传感器-显著性散度阈值进行比较，以及在所述传感器-显著性散度大于所述传感器-显著性散度阈值的情况下提醒所述驾驶员。
11.一种用于车辆的威胁评估系统，包括：
相机模块；
对象检测传感器；和
电子控制单元(ECU)，所述ECU能够操作地耦合到所述相机模块和所述对象检测传感器，其中所述ECU被配置为接收来自所述车辆的驾驶员或所述对象检测传感器的检测估计，获取来自所述相机模块的分析环境相机图像，基于所述分析环境相机图像生成预测显著性分布；将接收自所述车辆的所述驾驶员或所述对象检测传感器的所述检测估计与所述预测显著性分布进行比较，并且确定所述检测估计和所述预测显著性分布之间的偏差。
CN201910687771.5A 2018-12-13 2019-07-29 用于评估错误威胁检测的方法和系统 Pending CN111319628A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/219439 2018-12-13
US16/219,439 US20200189459A1 (en) 2018-12-13 2018-12-13 Method and system for assessing errant threat detection

Publications (1)

Publication Number Publication Date
CN111319628A true CN111319628A (zh) 2020-06-23

Family

ID=70859490

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910687771.5A Pending CN111319628A (zh) 2018-12-13 2019-07-29 用于评估错误威胁检测的方法和系统

Country Status (3)

Country Link
US (1) US20200189459A1 (zh)
CN (1) CN111319628A (zh)
DE (1) DE102019120461A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111815904A (zh) * 2020-08-28 2020-10-23 宁波均联智行科技有限公司 V2x预警信息的推送方法及系统
CN113283527A (zh) * 2021-06-07 2021-08-20 哈尔滨工程大学 一种基于层级指标的雷达威胁评估方法

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3345184A1 (en) * 2015-09-02 2018-07-11 THOMSON Licensing Method, apparatus and system for facilitating navigation in an extended scene
US11558584B2 (en) * 2019-07-11 2023-01-17 Chris Pritchard Systems and methods for providing real-time surveillance in automobiles
US11593597B2 (en) 2020-11-16 2023-02-28 GM Global Technology Operations LLC Object detection in vehicles using cross-modality sensors
US11532221B1 (en) * 2021-08-05 2022-12-20 Ford Global Technologies, Llc System and method for vehicle security monitoring
US11794766B2 (en) * 2021-10-14 2023-10-24 Huawei Technologies Co., Ltd. Systems and methods for prediction-based driver assistance
US11527085B1 (en) * 2021-12-16 2022-12-13 Motional Ad Llc Multi-modal segmentation network for enhanced semantic labeling in mapping
US20230264697A1 (en) * 2022-02-22 2023-08-24 Toyota Research Institute, Inc. Varying extended reality content based on driver attentiveness

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102712317A (zh) * 2010-01-14 2012-10-03 丰田自动车工程及制造北美公司 使驾驶员与环境感测结合的车辆安全性系统
CN102792314A (zh) * 2009-12-03 2012-11-21 通用汽车环球科技运作有限责任公司 交叉通行碰撞警报系统
CN103110400A (zh) * 2011-09-02 2013-05-22 沃尔沃汽车公司 车辆驾驶员的视觉输入
CN104773177A (zh) * 2014-01-09 2015-07-15 株式会社理光 辅助驾驶方法和装置
CN107042824A (zh) * 2015-10-23 2017-08-15 哈曼国际工业有限公司 用于检测车辆中的意外事件的系统和方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9648211B2 (en) * 2015-05-14 2017-05-09 Xerox Corporation Automatic video synchronization via analysis in the spatiotemporal domain
WO2018027210A1 (en) * 2016-08-05 2018-02-08 Neu Robotics, Inc, Mobile platform eg drone / uav performing localization and mapping using video
KR102421855B1 (ko) * 2017-09-28 2022-07-18 삼성전자주식회사 주행 차로를 식별하는 방법 및 장치
US10746987B2 (en) * 2018-07-12 2020-08-18 Toyota Research Institute, Inc. Vehicle systems and methods for redirecting a driver's gaze towards an object of interest

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102792314A (zh) * 2009-12-03 2012-11-21 通用汽车环球科技运作有限责任公司 交叉通行碰撞警报系统
CN102712317A (zh) * 2010-01-14 2012-10-03 丰田自动车工程及制造北美公司 使驾驶员与环境感测结合的车辆安全性系统
CN103110400A (zh) * 2011-09-02 2013-05-22 沃尔沃汽车公司 车辆驾驶员的视觉输入
CN104773177A (zh) * 2014-01-09 2015-07-15 株式会社理光 辅助驾驶方法和装置
CN107042824A (zh) * 2015-10-23 2017-08-15 哈曼国际工业有限公司 用于检测车辆中的意外事件的系统和方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111815904A (zh) * 2020-08-28 2020-10-23 宁波均联智行科技有限公司 V2x预警信息的推送方法及系统
CN113283527A (zh) * 2021-06-07 2021-08-20 哈尔滨工程大学 一种基于层级指标的雷达威胁评估方法
CN113283527B (zh) * 2021-06-07 2022-04-29 哈尔滨工程大学 一种基于层级指标的雷达威胁评估方法

Also Published As

Publication number Publication date
US20200189459A1 (en) 2020-06-18
DE102019120461A1 (de) 2020-06-18

Similar Documents

Publication Publication Date Title
US10552695B1 (en) Driver monitoring system and method of operating the same
CN111319628A (zh) 用于评估错误威胁检测的方法和系统
US11295143B2 (en) Information processing apparatus, information processing method, and program
CN108628301B (zh) 用于操作自动驾驶车辆的时间数据关联
CN109215433B (zh) 用于自动驾驶仿真的基于视觉的驾驶场景生成器
US11155268B2 (en) Utilizing passenger attention data captured in vehicles for localization and location-based services
US20200293041A1 (en) Method and system for executing a composite behavior policy for an autonomous vehicle
US9653001B2 (en) Vehicle driving aids
CN110103852B (zh) 用于自主车辆中的碰撞检测的系统和方法
JP7027737B2 (ja) 画像処理装置、および画像処理方法、並びにプログラム
JP2016048552A (ja) 外部情報のドライバへの提供
CN109196557A (zh) 图像处理装置、图像处理方法和车辆
CN112534487B (zh) 信息处理设备、移动体、信息处理方法和程序
WO2019188391A1 (ja) 制御装置、制御方法、並びにプログラム
US11377114B2 (en) Configuration of in-vehicle entertainment based on driver attention
JPWO2019082669A1 (ja) 情報処理装置、情報処理方法、プログラム、及び、移動体
US11195292B2 (en) Information processing apparatus and method, vehicle, and information processing system
US20220292296A1 (en) Information processing device, information processing method, and program
CN116128053A (zh) 用于自主运载工具的方法和系统以及计算机可读介质
WO2020090320A1 (ja) 情報処理装置、情報処理方法及び情報処理プログラム
US20230159063A1 (en) Autonomous Driving Mode Engagement
US11417023B2 (en) Image processing device, image processing method, and program
CN113424243B (zh) 信息处理装置、信息处理方法和信息处理程序
JPWO2020116204A1 (ja) 情報処理装置、情報処理方法、プログラム、移動体制御装置、及び、移動体

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20200623