CN115690718A - 基于注意力感知的感兴趣区域窗口生成的系统和方法 - Google Patents

基于注意力感知的感兴趣区域窗口生成的系统和方法 Download PDF

Info

Publication number
CN115690718A
CN115690718A CN202210576525.4A CN202210576525A CN115690718A CN 115690718 A CN115690718 A CN 115690718A CN 202210576525 A CN202210576525 A CN 202210576525A CN 115690718 A CN115690718 A CN 115690718A
Authority
CN
China
Prior art keywords
vehicle
interest
image
data
candidate regions
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210576525.4A
Other languages
English (en)
Inventor
佟维
S·王
曾树青
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GM Global Technology Operations LLC
Original Assignee
GM Global Technology Operations LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GM Global Technology Operations LLC filed Critical GM Global Technology Operations LLC
Publication of CN115690718A publication Critical patent/CN115690718A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0011—Planning or execution of driving tasks involving control alternatives for a single driving scenario, e.g. planning several paths to avoid obstacles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/06—Road conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143—Alarm means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404—Characteristics
    • B60W2554/4041—Position
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404—Characteristics
    • B60W2554/4046—Behavior, e.g. aggressive or erratic
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/40—High definition maps

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Mathematical Physics (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

一种用于基于注意力感知的系统包括相机设备，所述相机设备被配置成提供车辆的操作环境的图像。所述系统进一步包括计算机化设备，所述计算机化设备监视所述图像，分析传感器数据以将所述图像中的特征识别为对应于所述操作环境中的对象并基于所述对象的识别、位置或行为为所述特征指派得分。所述计算机化设备可进一步操作成在所述图像上限定候选感兴趣区域，使所述特征的得分与所述候选感兴趣区域相关以累积总区域得分，基于所述总区域得分选择所述候选区域中的一些进行分析，并且分析所述候选区域的所述部分以生成行进路径输出。所述系统进一步包括基于所述输出控制车辆的设备。

Description

基于注意力感知的感兴趣区域窗口生成的系统和方法
技术领域
本公开通常涉及一种基于注意力感知的感兴趣区域窗口生成的系统和方法。所公开的系统可以用于自主和半自主车辆系统中。
背景技术
车辆可以利用计算机化处理器来操作编程，所述编程可操作成分析传感器数据并进行关于车辆的操作环境内的对象的确定。这种编程可以被描述为计算机化感知。计算机化感知的效能是计算机化处理器的处理能力以及有多少计算资源可以专用于分析传感器数据的函数。
发明内容
提供一种用于车辆中的基于注意力感知的系统。所述系统包括相机设备，所述相机设备被配置成提供所述车辆的操作环境的图像。所述系统进一步包括计算机化感知设备，所述计算机化感知设备可操作成监视来自所述相机设备的所述图像并且分析传感器数据以将所述图像中的至少一个特征识别为对应于所述车辆的所述操作环境中的对象并基于对所述对象的识别、所述对象的位置或所述对象的行为中的一者为所述至少一个特征指派得分。所述计算机化感知设备可进一步操作成在所述图像上限定多个候选感兴趣区域，其中所述多个候选感兴趣区域中的每一者包括所述图像的一部分，并且针对所述多个候选感兴趣区域中的每一者，使所述至少一个特征的所述得分与所述多个候选感兴趣区域相关以累积总区域得分。所述计算机化感知设备可进一步操作成基于所述多个候选感兴趣区域中的每一者的所述总区域得分选择所述多个候选感兴趣区域的一部分进行分析并且分析所述多个候选感兴趣区域的所述部分以生成行进路径输出。所述系统进一步包括车辆控制设备，所述车辆控制设备接收所述行进路径输出并基于所述行进路径输出控制所述车辆。
在一些实施例中，分析传感器数据包括分析来自多个源的数据。指派得分包括对通过分析来自所述多个源的所述数据生成的得分求和。
在一些实施例中，分析传感器数据包括通过多个过程分析数据。指派得分包括对通过所述多个过程分析所述数据生成的得分求和。
在一些实施例中，所述多个过程包括以下中的至少一者：机动分析过程，其中利用车辆的输入导航路线来识别操作环境中的路面；地图分析过程，所述地图分析过程包括利用车辆的位置和三维地图数据来确定所述操作环境中的所述路面的几何形状；或对象识别过程。在一些实施例中，所述多个过程包括以下中的至少一者：突显特征过程；或深度变化过程，所述深度变化过程可操作成确定第一识别对象与第二识别对象的相对位置。
在一些实施例中，传感器数据是来自相机设备的图像。
在一些实施例中，传感器数据是由光检测和测距设备提供的光检测和测距数据地图。
在一些实施例中，分析传感器数据包括利用机动分析过程，其中利用车辆的输入导航路线来识别路面。
在一些实施例中，分析传感器数据包括利用地图分析过程，所述地图分析过程包括利用车辆的位置和三维地图数据来确定所述操作环境中的路面的几何形状。
在一些实施例中，分析传感器数据包括利用对象识别过程。
在一些实施例中，分析传感器数据包括利用场景解析模糊过程，所述场景解析模糊过程应用上下文来识别操作环境中的对象。
在一些实施例中，分析传感器数据包括利用突显特征过程来确定所述至少一个特征的得分。
在一些实施例中，分析传感器数据包括深度变化过程，所述深度变化过程可操作成确定第一识别对象与第二识别对象的相对位置。
在一些实施例中，所述对象的行为包括所述对象的轨迹或与所述对象相关的上下文风险中的一者。
在一些实施例中，所述车辆控制设备包括可操作成基于行进路径输出来控制车辆的导航的自主导航设备。
在一些实施例中，所述车辆控制设备包括可操作成警告车辆的乘员在操作环境中存在所述对象的对象警告设备。
根据一个替代实施例，提供一种车辆中的基于注意力感知的系统。所述系统包括相机设备，所述相机设备被配置成提供所述车辆的操作环境的图像。所述系统进一步包括计算机化感知设备，所述计算机化感知设备可操作成监视来自所述相机设备的所述图像并且通过多个过程分析传感器数据以将所述图像中的至少一个特征识别为对应于所述车辆的所述操作环境中的对象并基于对所述对象的识别、所述对象的位置或所述对象的行为中的一者为所述至少一个特征指派得分。指派得分包括对通过所述多个过程分析所述数据生成的得分求和。所述多个过程可以包括以下中的至少一者：机动分析过程，其中利用车辆的输入导航路线来识别所述操作环境中的路面；地图分析过程，所述地图分析过程包括利用车辆的位置和三维地图数据来确定所述操作环境中的所述路面的几何形状；或对象识别过程。另外或可替代地，所述多个过程可以包括：突显特征过程；或深度变化过程，所述深度变化过程可操作成确定第一识别对象与第二识别对象的相对位置。所述计算机化感知设备可进一步操作成在所述图像上限定多个候选感兴趣区域，其中所述多个感兴趣区域中的每一者包括所述图像的一部分，并且针对所述多个候选感兴趣区域中的每一者，使所述至少一个特征的所述得分与所述多个候选感兴趣区域相关以累积总区域得分。所述计算机化感知设备可进一步操作成基于所述多个候选感兴趣区域中的每一者的所述总区域得分来选择所述多个候选感兴趣区域的一部分进行分析并且分析所述多个候选感兴趣区域的所述部分以生成行进路径输出。所述系统进一步包括自主导航设备，所述自主导航设备接收所述行进路径输出并基于所述行进路径输出控制所述车辆的导航。
在一些实施例中，分析传感器数据包括分析来自多个源的数据。
根据一个替代实施例，提供一种车辆中的基于注意力感知的方法。所述方法包括利用被配置成提供所述车辆的操作环境的图像的相机设备来提供所述图像。所述方法进一步包括，在所述计算机化感知设备内，监视所述图像，分析传感器数据以将所述图像中的至少一个特征识别为对应于所述车辆的所述操作环境中的对象并基于对所述对象的识别、所述对象的位置或所述对象的行为中的一者为所述至少一个特征指派得分，并且在所述图像上限定多个候选感兴趣区域，其中所述多个感兴趣区域中的每一者包括所述图像的一部分。所述方法进一步包括，在所述计算机化感知设备内，针对所述多个候选区域中的每一者，使所述至少一个特征的所述得分与所述多个候选感兴趣区域相关以累积总区域得分并基于所述多个候选区域中的每一者的总区域得分选择所述多个候选区域的一部分进行分析。所述方法进一步包括，在所述计算机化感知设备内，分析所述多个候选区域的所述部分以生成行进路径输出。所述方法进一步包括操作车辆控制设备，所述车辆控制设备接收所述行进路径输出并基于所述行进路径输出控制车辆。
在一些实施例中，分析传感器数据包括分析来自多个源的传感器数据。指派得分包括对通过分析来自所述多个源的所述数据生成的多个得分求和。
在一些实施例中，分析传感器数据包括通过多个过程分析数据。指派得分包括对通过所述多个过程分析所述数据生成的多个得分求和。
当结合附图考虑时，根据用于执行本公开的最佳模式的以下具体实施方式容易显而易见到本公开的以上特征和优点以及其它特征和优点。
本发明还包括如下技术方案。
技术方案1. 一种用于车辆中的基于注意力感知的系统，其包括：
相机设备，所述相机设备被配置成提供所述车辆的操作环境的图像；
计算机化感知设备，所述计算机化感知设备能够操作成：
监视来自所述相机设备的图像；
分析传感器数据以将所述图像中的至少一个特征识别为对应于所述车辆的操作环境中的对象并基于对所述对象的识别、所述对象的位置或所述对象的行为中的一者为至少一个特征指派得分；
在所述图像上限定多个候选感兴趣区域，其中，所述多个候选感兴趣区域中的每一者包括所述图像的一部分；
针对所述多个候选感兴趣区域中的每一者，使至少一个特征的得分与所述多个候选感兴趣区域相关以累积总区域得分；
基于所述多个候选感兴趣区域中的每一者的总区域得分选择所述多个候选感兴趣区域的一部分进行分析；以及
分析所述多个候选感兴趣区域的所述部分以生成行进路径输出；以及
车辆控制设备，所述车辆控制设备接收所述行进路径输出并基于所述行进路径输出控制所述车辆。
技术方案2. 根据技术方案1所述的系统，其中，分析传感器数据包括分析来自多个源的数据；并且
其中，指派得分包括对分析来自所述多个源的数据生成的多个得分求和。
技术方案3. 根据技术方案1所述的系统，其中，分析传感器数据包括通过多个过程分析数据；并且
其中，指派得分包括对通过多个过程分析数据生成的多个得分求和。
技术方案4. 根据技术方案3所述的系统，其中，所述多个过程包括以下中的至少一者：机动分析过程，其中，利用所述车辆的输入导航路线来识别操作环境中的路面；地图分析过程，所述地图分析过程包括利用所述车辆的位置和三维地图数据来确定操作环境中的路面的几何形状；对象识别过程；突显特征过程；或深度变化过程，所述深度变化过程能够操作成确定第一识别对象与第二识别对象的相对位置。
技术方案5. 根据技术方案1所述的系统，其中，所述传感器数据是来自相机设备的图像。
技术方案6. 根据技术方案1所述的系统，其中，所述传感器数据是由光检测和测距设备提供的光检测和测距数据地图。
技术方案7. 根据技术方案1所述的系统，其中，分析传感器数据包括利用机动分析过程，其中，利用所述车辆的输入导航路线来识别路面。
技术方案8. 根据技术方案1所述的系统，其中，分析传感器数据包括利用地图分析过程，所述地图分析过程包括利用所述车辆的位置和三维地图数据来确定操作环境中的路面的几何形状。
技术方案9. 根据技术方案1所述的系统，其中，分析传感器数据包括利用对象识别过程。
技术方案10. 根据技术方案9所述的系统，其中，分析传感器数据包括利用场景解析模糊过程，所述场景解析模糊过程应用上下文来识别操作环境中的对象。
技术方案11. 根据技术方案1所述的系统，其中，分析传感器数据包括利用突显特征过程来确定至少一个特征的得分。
技术方案12. 根据技术方案1所述的系统，其中，分析传感器数据包括深度变化过程，所述深度变化过程能够操作成确定第一识别对象与第二识别对象的相对位置。
技术方案13. 根据技术方案1所述的系统，其中，对象的行为包括所述对象的轨迹或与所述对象相关的上下文风险中的一者。
技术方案14. 根据技术方案1所述的系统，其中，所述车辆控制设备包括能够操作成基于行进路径输出控制车辆的导航的自主导航设备。
技术方案15. 根据技术方案1所述的系统，其中，所述车辆控制设备包括能够操作成警告车辆的乘员在操作环境中存在对象的对象警告设备。
技术方案16. 一种用于车辆中的基于注意力感知的系统，其包括：
相机设备，所述相机设备被配置成提供所述车辆的操作环境的图像；
计算机化感知设备，所述计算机化感知设备能够操作成：
监视来自所述相机设备的图像；
通过多个过程分析传感器数据以将所述图像中的至少一个特征识别为对应于车辆的操作环境中的对象并基于对所述对象的识别、所述对象的位置或所述对象的行为中的一者为至少一个特征指派得分，其中，指派得分包括对通过多个过程分析传感器数据生成的多个得分求和，并且其中，所述多个过程包括以下中的至少一者：
机动分析过程，其中，利用车辆的输入导航路线来识别操作环境中的路面，
地图分析过程，所述地图分析过程包括利用车辆的位置和三维地图数据来确定操作环境中的路面的几何形状，
对象识别过程，
突显特征过程，或
深度变化过程，所述深度变化过程能够操作成确定第一识别对象与第二识别对象的相对位置；
在所述图像上限定多个候选感兴趣区域，其中，所述多个候选感兴趣区域中的每一者包括所述图像的一部分；
针对所述多个候选感兴趣区域中的每一者，使至少一个特征的得分与所述多个候选感兴趣区域相关以累积总区域得分；
基于所述多个候选感兴趣区域中的每一者的总区域得分选择所述多个候选感兴趣区域的一部分进行分析；以及
分析所述多个候选感兴趣区域的所述部分以生成行进路径输出；以及
自主导航设备，所述自主导航设备接收所述行进路径输出并基于所述行进路径输出控制车辆的导航。
技术方案17. 根据技术方案16所述的系统，其中，分析传感器数据包括分析来自多个源的数据。
技术方案18. 一种用于车辆中的基于注意力感知的方法，其包括：
利用被配置成提供所述车辆的操作环境的图像的相机设备来提供所述图像；
在计算机化感知设备内，
监视所述图像；
分析传感器数据以将所述图像中的至少一个特征识别为对应于所述车辆的操作环境中的对象并基于对所述对象的识别、所述对象的位置或所述对象的行为中的一者为至少一个特征指派得分；
在所述图像上限定多个候选感兴趣区域，其中，所述多个候选感兴趣区域中的每一者包括所述图像的一部分；
针对所述多个候选感兴趣区域中的每一者，使至少一个特征的得分与所述多个候选感兴趣区域相关以累积总区域得分；
基于所述多个候选感兴趣区域中的每一者的总区域得分选择所述多个候选感兴趣区域的一部分进行分析；以及
分析所述多个候选感兴趣区域的所述部分以生成行进路径输出；以及
操作车辆控制设备，所述车辆控制设备接收所述行进路径输出并基于所述行进路径输出控制所述车辆。
技术方案19. 根据技术方案18所述的方法，其中，分析传感器数据包括分析来自多个源的传感器数据；并且
其中，指派得分包括对分析来自所述多个源的数据生成的多个得分求和。
技术方案20. 根据技术方案18所述的方法，其中，分析传感器数据包括通过多个过程分析数据；并且
其中，指派得分包括对通过多个过程分析数据生成的多个得分求和。
附图说明
图1根据本公开示意性地图示由操作计算机化感知设备的车辆捕获的示例性图像；
图2根据本公开示意性地图示图1的图像，其中利用所述图像中的多个限定感兴趣区域来使计算资源集中于图像的特定区；
图3根据本公开示意性地图示包括计算机化感知设备、六个示例性输入分析方法模块、自主导航设备和对象警告设备的系统；
图4根据本公开示意性地图示包括计算机化感知设备、光检测和测距(LIDAR)设备和相机设备的示例性车辆；
图5根据本公开示意性地图示计算机化感知设备；
图6根据本公开示意性地图示图像由一系列候选感兴趣区域分析，每一候选感兴趣区域可操作成检查所述图像的一部分；
图7根据本公开示意性地图示图6的图像继续借助跨越所述图像生成的候选感兴趣区域被分析；并且
图8是根据本公开的流程图，其图示使用多个候选感兴趣区域来分析图像的方法。
具体实施方式
提供一种用于基于注意力感知的感兴趣区域窗口生成的系统和方法。在计算机化系统中，计算资源或者一个或多个计算机化处理器进行确定的能力可能是稀缺资源。计算资源的分配可以确定系统感知车辆的环境中的对象的准确程度。如果系统不加选择地使用资源来分析图像流中的像素，则系统感知对象的准确度可能低于系统可以集中于图像中的一个或多个感兴趣区域的情况。通过使计算资源集中于图像中的一个或多个感兴趣区域，可以对感兴趣区域实施深入和/或迭代分析以提供对图像中的每一对象的位置、轨迹和识别的极佳估计。
车辆可以包括提供多种数据流和格式的多个传感器。例如，相机设备可以提供多个图像，每一图像包括可以用于识别对象的像素。可以使用通过多个图像的所述对象的估计识别和所述对象的行为来分析所述对象。在另一示例中，LIDAR传感器可以提供LIDAR数据地图或车辆周围的环境的数据地图，包括关于对象的数据。可以使用通过LIDAR设备的多个数据循环的所述对象的估计识别和所述对象的行为来分析所述对象。对象的行为可以包括对象的位置、对象的轨迹和与对象相关的上下文风险。
除诸如相机设备和LIDAR设备等不同物理数据源以外，数据流还可以经受多个计算机化过程以从所述数据实现识别和估计。一个示例性计算机化过程是机动分析。机动分析可以用于在图像或LIDAR数据地图内识别车辆可以在其上行进或很可能在其上行进的路面。例如，如果规划导航路线，并且车辆根据所述导航路线被设置成在即将到来的十字路口处右转，则可以识别和利用图像或数据地图内对应于与右转对应的路面的数据。可以使用对预期路面特征的确认来分析数据流。
在另一示例性计算机化过程中，可以利用三维(3D)地图数据来在图像或LIDAR数据地图内识别车辆可以在其上行进或很可能在其上行进的路面。例如由蜂窝塔三角测量数据提供的位置数据可以与数字地图数据库组合以提供车辆的位置，从而使得系统能够存取与车辆周围的环境相关的3D地图数据。可以利用此3D地图数据来在图像或LIDAR数据地图内识别对应于路面或路面特征的数据。可以利用对预期路面特征的确认来分析数据流。
在另一示例性计算机化过程中，可以使用在LIDAR数据地图内提供的数据来识别LIDAR数据地图内的特征或对象。例如，对LIDAR数据地图的分析可以利用从一个顺序数据地图到下一个数据地图的比较来识别数据内的移动对象。在另一示例中，对LIDAR数据地图的分析可以利用多普勒效应分析来识别移动对象。类似地，可以利用来自超声波传感器、雷达传感器设备以及本领域中的其它类似检测方法的数据。
在另一示例性计算机化过程中，由相机设备捕获的图像内的像素可以借助滤波器并通过图像辨识软件进行处理以识别和分类图像内的对象。对象分类可以进一步将图像分割成不同区，诸如路面、车辆、建筑物、行人。这样的对象分类过程可以或可以不进一步包括后续场景解析模糊过程。在许多情况下，对象检测结果可以包括不一致并且无法将经分割的图像矫正为一致场景，并且此不一致可以通过分析额外细节来解决。可以使用场景解析模糊信息来识别图像中的对象或感兴趣区域。场景解析可以利用诸如3D地图数据、逻辑规则和其它信息等额外信息来估计场景内的对象的位置和行为。
在另一示例性计算机化过程中，可以利用突显模型或突显特征模型来识别图像或LIDAR数据地图内的特征。例如，可以认为被估计为所估计车行道上的车辆的对象比被估计为位于所估计车行道一侧的固定位置的消防栓的对象具有更高的重要性。可以认为被估计为横穿所估计车行道的行人的对象比被估计为在所估计人行道上沿着所估计车行道的一侧行走的行人的对象具有更高的重要性。可以认为被估计为在与操作感知系统的车辆相同的所估计车行道上沿与操作感知系统的车辆相反的方向在所估计车行道上行进的车辆的对象比被估计为在表示未连接到操作感知系统的车辆在其上行进的车行道的立交桥的所估计车行道上行驶的车辆的对象具有更高的重要性。可以认为被估计为停车标志或电子交通信号的对象比被估计为禁止停车标志的对象具有更高的重要性。可以认为被估计为位于所估计车行道上的施工锥体的对象比位于所估计车行道的一侧的类似施工锥体具有更高的重要性。
在另一示例性计算机化过程中，可以分析图像和/或LIDAR数据地图以确定数据的估计深度变化。例如，LIDAR数据可以提供对象的形状和范围，可以使用这些来比较一个或多个对象距LIDAR设备的距离。在另一示例中，可以将数据中的第一对象和第二对象分别识别为第一车辆和第二车辆。通过比较数据中的对象的大小信息，可以作出第一对象比第二对象更靠近于操作感知系统的车辆的估计。在另一分析中，在多个数据循环中，可以观察到第一对象在第二对象前面通过，从而实现第一对象比第二对象更靠近于操作感知系统的车辆的估计。在另一示例中，可以利用数据中的上下文和透视提示来估计图像或LIDAR数据地图中的深度，例如，其中由于透视可用于估计遥远车行道表面上的估计车辆的深度，因此车行道表面在距离上变窄。
以上计算机化过程可用于分析与操作感知系统的车辆的操作环境相关的所提供数据。这些计算机化过程的每一者的输出可以单独用于确定被分析的相机设备的图像的哪一区域或部分具有增加的重要性。在一个实施例中，所述计算机化过程的多个输出可以一起用于对被分析的相机设备的图像中的候选感兴趣区域评分。这些输出中的每一者可以被描述为注意力信号。
注意力信号可以由具有不同格式和重要性的多个信号源提供。所公开的系统和方法利用图像的多个候选感兴趣区域和所述多个候选感兴趣区域中的每一者的所确定重要性得分来使计算资源集中于图像的若干部分。
所述多个候选感兴趣区域中的每一者可以包括由多个重要性信号提供的得分或重要性得分的总和。在一个示例中，图像中的表示道路一侧的静止车辆的特征可能因所述车辆被停放且静止而从多普勒分析接收低得分。表示同一车辆的特征可能从突显特征分析获得高得分，从而抵消来自多普勒分析的低得分。在另一示例中，图像中的表示走向车行道的行人的特征可能因表示尚未在车行道中的对象的特征而获得低得分，而相同特征可能从确定行人正朝向车行道移动的场景解析模糊分析而获得高得分。根据所公开的系统和方法的一个实施例，可以利用以下表达式来对候选感兴趣区域的评分数据求和，所述表达式利用每一候选感兴趣区域与权重的卷积。
Figure DEST_PATH_IMAGE002
（1）
其中：
-
Figure DEST_PATH_IMAGE004
是每一通道的权重
-
Figure DEST_PATH_IMAGE006
是候选感兴趣区域中的每一者的核权重
-
Figure DEST_PATH_IMAGE008
是窗口大小的权重
-
Figure DEST_PATH_IMAGE010
-
Figure DEST_PATH_IMAGE012
是具有分辨率 𝑟×𝑐 和 l 个通道的感兴趣区域掩码，每一通道 l 表示感兴趣区域候选源
- 𝑓𝑤 (𝑥)是 𝑥 基于窗口 𝑤 的裁剪函数
- 𝜅 (⋅)是核函数，例如径向基函数核，并且𝑝𝑤是窗口的中心
- 𝑤𝑚和𝑤n分别是候选窗口的宽度和高度，
- 𝑆𝑤是窗口𝑤的面积，𝑆𝑚𝑖𝑛和𝑆𝑚𝑎𝑥分别是最小和最大感兴趣区域窗口面积。
所述系统和方法的效率可能受到许多简化或估计的影响。在一个实施例中，
Figure 793545DEST_PATH_IMAGE012
可以被简化为
Figure DEST_PATH_IMAGE014
，即，其中在表达式1中，X被定义为0和1之间的实数，简化可以包括X被假定为0或1。另外，可以借助分段线性权重逼近
Figure DEST_PATH_IMAGE016
。另外，可以针对所述通道使用相同核函数。另外，可以使用更大步幅进行卷积。另外，可以使用具有特定纵横比或大小的窗口。在一个实施例中，所公开的方法和效率措施的使用导致从0.2-0.5帧/秒下的100%中央处理单元使用率（先前方法分析图像的整个幅度和高度）提高至30帧/秒下的2%中央处理单元使用率（所公开的方法利用所描述的效率措施）。
图1示意性地图示由操作计算机化感知设备的车辆捕获的示例性图像10。图像10可以是由车辆的相机设备捕获的图像序列中的一者，其中所述图像序列可用于识别、定位和估计车辆的操作环境中的对象的行为。图像10包括位于车行道20上的第一车辆30、位于车行道20上的第二车辆40、位于车行道20附近的第三车辆50以及车行道20上的标记22和标记24。
对整个图像10的分析或对图像10的全部像素的分析将使计算资源花费在评估不太可能用于导航操作感知系统的车辆的特征。与分析图像10的全部像素的系统相比，如果所述感知系统使计算资源集中于图像10的一部分或特定区域，则其可以更高效或更准确。图2示意性地图示图像10，其中利用图像中的多个限定感兴趣区域来使计算资源集中于图像10的特定区。第一感兴趣区域60被限定为包括第一车辆30。第二感兴趣区域61被限定为包括第二车辆40。第三感兴趣区域62被限定为包括第三车辆50。第四感兴趣区域63被限定为包括车行道上的标记22。通过限定感兴趣区域，感知系统可以使计算资源集中于感兴趣区域中的像素。
图3示意性地图示包括计算机化感知设备110、六个示例性输入分析方法模块、自主导航设备130和对象警告设备140的系统。自主导航设备130和对象警告设备140被提供为可用于控制车辆的示例性车辆控制设备，其可以接收来自计算机化感知设备110的行进路径输出并基于其作用。计算机化感知设备110是包括处理器、随机存取存储器(RAM)和耐用存储器存储设备的计算机化设备。计算机化感知设备110可操作成执行可用于分析由相机设备捕获的图像序列中的每一者并另外识别所述图像序列中的每一者中的感兴趣区域的编程，从而使得分析能够集中于图像的若干部分或图像中的感兴趣区域，所述部分或感兴趣区域被识别为包括对导航车辆和/或向车辆中的乘员提供警告指示的具有增加的重要性的信息。
模块121、模块122、模块123、模块124、模块125和模块126可以表示可用数据的计算机化分析，并且可以各自提供注意力信号。模块121、模块122、模块123、模块124、模块125和模块126是示例性的，其操作对应过程，可以作为单独物理计算机化设备存在，可以表示在单独计算机化设备内实施的计算或进行的确定，或者可以表示在计算机化感知设备110内实施的计算或进行的确定。模块121包括机动分析模块，其利用输入导航路线来识别图像中的对应于与输入导航路线相关的预期细节的特征。模块122包括地图分析模块，其利用操作计算机化感知设备110的车辆的位置数据和3D地图数据库来识别车辆的操作环境中的地理细节并识别图像中的对应于由3D地图数据库提供或从3D地图数据库检索的预期细节的特征。模块123包括对象识别模块，其利用来自传感器设备的数据（诸如在LIDAR数据地图中识别的细节）来识别图像中表示的对应对象。模块124包括场景解析模糊模块，其利用操作环境中的识别对象来建立识别对象的估计行为并识别图像中的对应特征。模块125包括突显特征模块，其利用来自一个或多个传感器的数据来识别操作环境中具有增加的重要性的一个或多个突显特征并识别图像中的对应特征。模块126包括深度变化模块，其利用来自一个或多个传感器的数据来估计操作环境中的识别对象或特征以及图像中的对应特征的深度或相对距离。模块121、模块122、模块123、模块124、模块125和模块126可以各自提供与由相机设备210提供的图像内可见的特征相关的数据以便由计算机化感知设备分析，并且可以使用由所述模块提供的数据来为由相机设备210提供的图像上的多个候选感兴趣区域中的每一者指派得分。基于所提供得分的总和或汇编，可以选择候选感兴趣区域的选定部分进行分析。
基于对由相机设备210提供的图像中的感兴趣区域的分析，可以向自主导航设备130和/或对象警告设备140提供行进路径输出。这种行进路径输出可以包括可用于警告关于影响车辆的规划路径的对象的数据，可以包括可用于确定车辆的规划路径的数据，可以包括可用于使车辆停止或在对象周围导航车辆的数据。
图4示意性地图示包括计算机化感知设备110、LIDAR设备220和相机设备210的示例性车辆200。LIDAR设备220包括视场222，并且相机设备210包括视场212，其中视场222和视场212可以覆盖车辆200前方的相同区。计算机化感知设备110被图示成与自主导航设备130和对象警告设备140电子通信。计算机化感知设备110可以通过通信总线设备与车辆200内的电子设备（包括自主导航设备130、对象警告设备140、相机设备210和LIDAR设备220）电子通信。车辆可以包括通过无线通信网络和远程计算机化服务器设备另外提供数据和远程计算支持的无线通信设备。
图5示意性地图示计算机化感知设备110。计算机化感知设备110包括处理设备310、通信设备320、数据输入输出设备330和存储器存储设备340。应注意，计算机化感知设备110可以包括其它部件，并且在一些实施例中不存在一些所述部件。
处理设备310可以包括存储处理器可执行指令的存储器（例如，只读存储器(ROM)和随机存取存储器(RAM)）以及执行处理器可执行指令的一个或多个处理器。在处理设备310包括两个或更多个处理器的实施例中，所述处理器可以以并行或分布式方式操作。处理设备310可以执行计算机化感知设备110的操作系统。处理设备310可以包括执行包括若干可执行步骤的经编程代码或计算机化过程或方法的一个或多个模块。所图示的模块可以包括单个物理设备或功能横跨的多个物理设备。在说明性实施例中，处理设备310还包括注意力信号评分模块312、感兴趣区域候选和选择模块314、以及识别特征和对象分析和输出模块316，下文更详细描述这些模块。
数据输入输出设备330是可操作成获取从整个车辆的传感器和设备收集的数据并将所述数据处理成可由处理设备310容易使用的格式的设备。数据输入输出设备330可进一步操作成处理来自处理设备310的输出并使得整个车辆的其它设备或控制模块能够使用所述输出。
通信设备320可以包括借助总线设备的通信/数据连接，所述总线设备被配置成将数据传送到系统的不同部件，并且可以包括用于实施无线通信的一个或多个无线收发器。
存储器存储设备340是存储由计算机化感知设备110生成或接收的数据的设备。存储器存储设备340可以包括但不限于硬盘驱动器、光盘驱动器和/或闪速存储器驱动器。
注意力信号评分模块312可以从提供注意力信号的模块收集数据并利用与注意力信号相关的评分数据来针对被分析的图像为多个候选感兴趣区域中的每一者提供得分。根据一个实施例，得分可以指派给被分析图像上的像素或特征，并且包括所述像素或特征的感兴趣区域从那些像素或特征累积总区域得分。
感兴趣区域候选和选择模块314从注意力信号评分模块312接收评分数据。感兴趣区域候选和选择模块314可以在被分析图像上识别或限定多个候选感兴趣区域。这些候选感兴趣区域与在被分析图像上图示的像素或特征的得分相关或相关联，并针对所述多个候选感兴趣区域中的每一者累积总区域得分。可以选择具有更高总区域得分的感兴趣区域进行分析。根据一个实施例，可以从被分析的图像选择选定数量的感兴趣区域，例如，基于所累积总区域得分的前三分之一选择候选感兴趣区域的三分之一。根据另一实施例，可以限定阈值区域得分，并且可以选择具有超过所述阈值区域得分的总区域得分的感兴趣区域进行分析。
识别特征和对象分析和输出模块316可以利用选定感兴趣区域来分析图像并确定关于选定感兴趣区域中的特征和对象的信息。所确定的信息可以包括移动对象（诸如其它车辆和行人）的识别和追踪信息。所确定的信息可以包括对车道标记和交通标志或信号的分析。所确定的信息可以包括道路几何形状，诸如车道位置、道路曲率、十字路口几何形状、施工区细节以及其它类似信息。识别特征和对象分析和输出模块316可以向图3和图4的自主导航设备130和/或对象警告设备140提供电子行进路径输出。
计算机化感知设备110被提供为能够执行经编程代码以完成本文中描述的方法和过程的示例性计算机化设备。能够想到计算机化感知设备110、附接到其的设备以及可在其中操作的模块的许多不同实施例，并且本公开并不旨在限于本文中提供的示例。
候选感兴趣区域可以具有不同形状和大小。在一个实施例中，可以利用在操作环境中估计的路面的几何形状来将候选感兴趣区域修整为特定路面和最可能在路面上检测到对象的地方。在另一实施例中，为了节省计算资源，候选感兴趣区域可以设置有统一形状和大小，其中所述候选感兴趣区域均匀地分散在被分析的图像上方。图6示意性地图示图像10由一系列候选感兴趣区域分析，每一候选感兴趣区域可操作成检查图像10的一部分。图示最近限定的候选感兴趣区域400，其中先前限定的候选感兴趣区域402A、402B和402C用虚线图示。所述候选感兴趣区域中的每一者具有相同大小和形状。在图像10上图示箭头，其示出将如何沿着图像10水平地限定后续候选感兴趣区域。图7示意性地图示图6的图像10继续借助跨越图像10生成的候选感兴趣区域被分析。整个水平行的均匀成形和设定大小的矩形候选感兴趣区域404A、404B、404C、404D、404E、404F、404G、404H、404I和404J被限定成沿着图像10水平地前进，使得所述候选感兴趣区域覆盖图像10的整个宽度。提供箭头，其图示包括最近限定的感兴趣区域400以及先前限定的感兴趣区域406A和406B的第二水平行的限定。可以重复此过程，直到候选感兴趣区域覆盖整个图像10。
图8是图示使用多个候选感兴趣区域分析图像的计算机方法500的流程图。方法500开始于步骤502。在步骤504，收集与操作方法500的车辆的操作环境相关的数据。所述数据可以包括由相机设备收集的图像、由LIDAR设备收集的数据地图或其它类似传感器数据。所述数据可以包括待分析图像。在步骤506，分析所述数据，并且生成一个或多个注意力信号。所述注意力信号可以包括由机动分析过程、地图分析过程和/或对象识别过程提供的评分数据。另外或可替代地，所述注意力信号可以包括由场景解析模糊过程、突显特征过程和/或深度变化过程提供的评分数据。在步骤508，针对待分析图像限定多个候选感兴趣区域，使与一个或多个注意力信号相关的评分数据与所述多个候选感兴趣区域相关，并且选择所述候选感兴趣区域的一些部分进行分析。在步骤510，分析选定感兴趣区域，并且生成与在车辆的操作环境中检测到的至少一个特征或对象相关的输出。在步骤512，利用步骤510的输出来控制车辆。在步骤514，进行关于对额外图像的分析是否对操作车辆有用的确定。如果确定对额外图像的分析有用，则方法返回到步骤504以在新图像上重复所述分析。如果确定对额外图像的分析无用，则方法前进到步骤516，在步骤516，方法500终止。所图示的方法500被提供为示例性方法。能够想到许多额外和/或替代方法步骤，并且本公开并不旨在限于本文中提供的具体示例。
虽然已经详细描述用于执行本公开的最佳模式，但是熟悉本公开所涉及领域的技术人员将认识到用于在所附权利要求的范围内实践本公开的各种替代设计和实施例。

Claims (10)

1.一种用于车辆中的基于注意力感知的系统，其包括：
相机设备，所述相机设备被配置成提供所述车辆的操作环境的图像；
计算机化感知设备，所述计算机化感知设备能够操作成：
监视来自所述相机设备的图像；
分析传感器数据以将所述图像中的至少一个特征识别为对应于所述车辆的操作环境中的对象并基于对所述对象的识别、所述对象的位置或所述对象的行为中的一者为至少一个特征指派得分；
在所述图像上限定多个候选感兴趣区域，其中，所述多个候选感兴趣区域中的每一者包括所述图像的一部分；
针对所述多个候选感兴趣区域中的每一者，使至少一个特征的得分与所述多个候选感兴趣区域相关以累积总区域得分；
基于所述多个候选感兴趣区域中的每一者的总区域得分选择所述多个候选感兴趣区域的一部分进行分析；以及
分析所述多个候选感兴趣区域的所述部分以生成行进路径输出；以及
车辆控制设备，所述车辆控制设备接收所述行进路径输出并基于所述行进路径输出控制所述车辆。
2.根据权利要求1所述的系统，其中，分析传感器数据包括分析来自多个源的数据；并且
其中，指派得分包括对分析来自所述多个源的数据生成的多个得分求和。
3.根据权利要求1所述的系统，其中，分析传感器数据包括通过多个过程分析数据；并且
其中，指派得分包括对通过多个过程分析数据生成的多个得分求和。
4.根据权利要求3所述的系统，其中，所述多个过程包括以下中的至少一者：机动分析过程，其中，利用所述车辆的输入导航路线来识别操作环境中的路面；地图分析过程，所述地图分析过程包括利用所述车辆的位置和三维地图数据来确定操作环境中的路面的几何形状；对象识别过程；突显特征过程；或深度变化过程，所述深度变化过程能够操作成确定第一识别对象与第二识别对象的相对位置。
5.根据权利要求1所述的系统，其中，所述传感器数据是来自相机设备的图像。
6.根据权利要求1所述的系统，其中，所述传感器数据是由光检测和测距设备提供的光检测和测距数据地图。
7.根据权利要求1所述的系统，其中，分析传感器数据包括利用机动分析过程，其中，利用所述车辆的输入导航路线来识别路面。
8.根据权利要求1所述的系统，其中，分析传感器数据包括利用地图分析过程，所述地图分析过程包括利用所述车辆的位置和三维地图数据来确定操作环境中的路面的几何形状。
9.根据权利要求1所述的系统，其中，分析传感器数据包括利用对象识别过程。
10.根据权利要求9所述的系统，其中，分析传感器数据包括利用场景解析模糊过程，所述场景解析模糊过程应用上下文来识别操作环境中的对象。
CN202210576525.4A 2021-07-22 2022-05-25 基于注意力感知的感兴趣区域窗口生成的系统和方法 Pending CN115690718A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US17/382459 2021-07-22
US17/382,459 US11875548B2 (en) 2021-07-22 2021-07-22 System and method for region of interest window generation for attention based perception

Publications (1)

Publication Number Publication Date
CN115690718A true CN115690718A (zh) 2023-02-03

Family

ID=84784493

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210576525.4A Pending CN115690718A (zh) 2021-07-22 2022-05-25 基于注意力感知的感兴趣区域窗口生成的系统和方法

Country Status (3)

Country Link
US (1) US11875548B2 (zh)
CN (1) CN115690718A (zh)
DE (1) DE102022110895A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230103368A (ko) * 2021-12-31 2023-07-07 삼성전자주식회사 주행 제어 방법 및 장치
US20230281871A1 (en) * 2022-03-01 2023-09-07 GM Global Technology Operations LLC Fusion of imaging data and lidar data for improved object recognition

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8126642B2 (en) * 2008-10-24 2012-02-28 Gray & Company, Inc. Control and systems for autonomously driven vehicles
US9963145B2 (en) * 2012-04-22 2018-05-08 Emerging Automotive, Llc Connected vehicle communication with processing alerts related to traffic lights and cloud systems
KR102534792B1 (ko) * 2015-02-10 2023-05-19 모빌아이 비젼 테크놀로지스 엘티디. 자율 주행을 위한 약도
US11069082B1 (en) * 2015-08-23 2021-07-20 AI Incorporated Remote distance estimation system and method
US10324463B1 (en) * 2016-01-22 2019-06-18 State Farm Mutual Automobile Insurance Company Autonomous vehicle operation adjustment based upon route
KR20180037414A (ko) * 2016-10-04 2018-04-12 엘지전자 주식회사 자동주차 보조장치 및 이를 포함하는 차량
KR102502094B1 (ko) * 2016-11-17 2023-02-21 트리나미엑스 게엠베하 적어도 하나의 피사체를 광학적으로 검출하기 위한 검출기
US10515390B2 (en) * 2016-11-21 2019-12-24 Nio Usa, Inc. Method and system for data optimization
CN110291477B (zh) * 2016-12-02 2022-08-16 嘉蒂克人工智能公司 车辆控制系统及使用方法
US10471829B2 (en) * 2017-01-16 2019-11-12 Nio Usa, Inc. Self-destruct zone and autonomous vehicle navigation
US10479376B2 (en) * 2017-03-23 2019-11-19 Uatc, Llc Dynamic sensor selection for self-driving vehicles
US10007269B1 (en) * 2017-06-23 2018-06-26 Uber Technologies, Inc. Collision-avoidance system for autonomous-capable vehicle
US10635109B2 (en) * 2017-10-17 2020-04-28 Nio Usa, Inc. Vehicle path-planner monitor and controller
US10768304B2 (en) * 2017-12-13 2020-09-08 Luminar Technologies, Inc. Processing point clouds of vehicle sensors having variable scan line distributions using interpolation functions
WO2019157193A1 (en) * 2018-02-09 2019-08-15 Nvidia Corporation Controlling autonomous vehicles using safe arrival times
US10997433B2 (en) * 2018-02-27 2021-05-04 Nvidia Corporation Real-time detection of lanes and boundaries by autonomous vehicles
IL308640B1 (en) * 2018-03-18 2024-09-01 Driveu Tech Ltd Device, system and method for autonomous driving and remotely controlled vehicles
CN112204349B (zh) * 2018-04-03 2024-10-18 御眼视觉技术有限公司 用于车辆导航的系统和方法
US10836346B2 (en) * 2018-04-27 2020-11-17 Nio Usa, Inc. Methods and systems for providing a protect occupants mode with an autonomous vehicle
US10816939B1 (en) * 2018-05-07 2020-10-27 Zane Coleman Method of illuminating an environment using an angularly varying light emitting device and an imager
US10551207B2 (en) * 2018-06-18 2020-02-04 Nio Usa, Inc. Autonomous vehicle sensor data and map integration
US11613261B2 (en) * 2018-09-05 2023-03-28 Autobrains Technologies Ltd Generating a database and alerting about improperly driven vehicles
US11403857B2 (en) * 2018-11-19 2022-08-02 Nauto, Inc. System and method for vehicle localization
US11537811B2 (en) * 2018-12-04 2022-12-27 Tesla, Inc. Enhanced object detection for autonomous vehicles based on field view
WO2020182591A1 (en) * 2019-03-08 2020-09-17 Osram Gmbh Component for a lidar sensor system, lidar sensor system, lidar sensor device, method for a lidar sensor system and method for a lidar sensor device
CN110427797B (zh) * 2019-05-28 2023-09-15 东南大学 一种基于几何条件限制的三维车辆检测方法
EP3988407A4 (en) * 2019-06-21 2023-06-14 Hitachi Astemo, Ltd. VEHICLE CONTROL DEVICE
US11745654B2 (en) * 2019-11-22 2023-09-05 Metawave Corporation Method and apparatus for object alert for rear vehicle sensing
WO2021115609A1 (en) * 2019-12-12 2021-06-17 Ejzenberg Geoffrey A situational awareness system of a cyber-physical hybrid electric autonomous or semi-autonomous off-highway dump truck for surface mining industry
JP2023509468A (ja) * 2020-01-03 2023-03-08 モービルアイ ビジョン テクノロジーズ リミテッド 車両ナビゲーション用のシステムおよび方法
US11645779B1 (en) * 2020-09-21 2023-05-09 Ambarella International Lp Using vehicle cameras for automatically determining approach angles onto driveways

Also Published As

Publication number Publication date
US20230027275A1 (en) 2023-01-26
DE102022110895A1 (de) 2023-01-26
US11875548B2 (en) 2024-01-16

Similar Documents

Publication Publication Date Title
US9767368B2 (en) Method and system for adaptive ray based scene analysis of semantic traffic spaces and vehicle equipped with such system
US8634593B2 (en) Pixel-based texture-less clear path detection
US8670592B2 (en) Clear path detection using segmentation-based method
US8452053B2 (en) Pixel-based texture-rich clear path detection
US8917904B2 (en) Vehicle clear path detection
US8611585B2 (en) Clear path detection using patch approach
US9852357B2 (en) Clear path detection using an example-based approach
US8890951B2 (en) Clear path detection with patch smoothing approach
US8421859B2 (en) Clear path detection using a hierachical approach
EP2372611A2 (en) Scene matching reference data generation system and position measurement system
US11371851B2 (en) Method and system for determining landmarks in an environment of a vehicle
CN115690718A (zh) 基于注意力感知的感兴趣区域窗口生成的系统和方法
KR102031503B1 (ko) 다중 객체 검출 시스템 및 방법
CN110576847A (zh) 基于焦点的对传感器数据的标记
JP2023059927A (ja) 情報処理装置、情報処理方法及びプログラム
Kühnl et al. Visual ego-vehicle lane assignment using spatial ray features
JP2024019629A (ja) 予測装置、予測方法、プログラムおよび車両制御システム
US20230068848A1 (en) Systems and methods for vehicle camera obstruction detection
CN103577790B (zh) 道路转弯类型检测方法和装置
CN117130010B (zh) 用于无人驾驶的障碍物感知方法、系统及无人驾驶汽车
KR20230102871A (ko) 다중객체추적 알고리즘을 활용한 드론 항공영상 기반 미시적 교통데이터 추출을 위한 장치 및 방법
Dekkiche et al. Vehicles detection in stereo vision based on disparity map segmentation and objects classification
CN116518989B (zh) 一种基于声音与热成像进行车辆导航的方法
US11592565B2 (en) Flexible multi-channel fusion perception
CN117095338B (zh) 基于道路视频识别的无线停车方法及相关装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination