CN111753626B - 用于增强车辆中基于传感器的检测的注意区域识别 - Google Patents

用于增强车辆中基于传感器的检测的注意区域识别 Download PDF

Info

Publication number
CN111753626B
CN111753626B CN202010200569.8A CN202010200569A CN111753626B CN 111753626 B CN111753626 B CN 111753626B CN 202010200569 A CN202010200569 A CN 202010200569A CN 111753626 B CN111753626 B CN 111753626B
Authority
CN
China
Prior art keywords
detection
sensor
detection result
data
obtaining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010200569.8A
Other languages
English (en)
Other versions
CN111753626A (zh
Inventor
W.童
S.曾
U.P.穆达利格
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GM Global Technology Operations LLC
Original Assignee
GM Global Technology Operations LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GM Global Technology Operations LLC filed Critical GM Global Technology Operations LLC
Publication of CN111753626A publication Critical patent/CN111753626A/zh
Application granted granted Critical
Publication of CN111753626B publication Critical patent/CN111753626B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/174—Segmentation; Edge detection involving the use of two or more images
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/809—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/24—Character recognition characterised by the processing or recognition method
    • G06V30/248—Character recognition characterised by the processing or recognition method involving plural approaches, e.g. verification by template match; Resolving confusion among similar patterns, e.g. "O" versus "Q"
    • G06V30/2504—Coarse or fine approaches, e.g. resolution of ambiguities or multiscale approaches
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8033—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for pedestrian protection
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8093—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for obstacle warning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Mechanical Engineering (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

在基于传感器的检测中识别注意区域的系统和方法包括获得检测结果，该检测结果表示检测到一个或多个感兴趣对象的一个或多个检测区域。检测结果基于使用第一检测算法。该方法包括获得参考检测结果，该参考检测结果表示检测到一个或多个感兴趣对象的一个或多个参考检测区域。参考检测结果基于使用第二检测算法。该方法还包括将所述注意区域识别为所述一个或多个参考检测区域中不具有对应的一个或多个检测区域的那个参考检测区域。第一检测算法用于在注意区域中执行检测。

Description

用于增强车辆中基于传感器的检测的注意区域识别
技术领域
本发明涉及用于增强车辆中基于传感器的检测的注意区域识别。
背景技术
车辆(例如，汽车、卡车、建筑设备、农场设备、自动化工厂设备)越来越多地配备有传感器，这些传感器提供关于车辆和车辆附近物体的信息。该信息可用于增强或自动化车辆操作的各个方面(例如，避免碰撞、自适应巡航控制、自动驾驶)。传感器(例如，照相机、无线电检测和测距(雷达)系统、光检测和测距(激光雷达)系统)获得数据，然后可以使用各种算法对这些数据进行处理以执行物体检测。虽然高分辨率传感器越来越多，但实时处理所有可用数据的机载处理能力可能不可用。此外，并非所有数据(例如，显示天空的图像区域与显示道路表面的图像区域)对于自动或半自动驾驶的任务同样重要。因此，希望提供对注意区域的识别，以增强车辆中基于传感器的检测。
发明内容
在一个示例性实施例中，一种在基于传感器的检测中识别注意区域的方法包括获得检测结果，该检测结果表示检测到一个或多个感兴趣对象的一个或多个检测区域。检测结果基于使用第一检测算法。该方法还包括获得参考检测结果，该参考检测结果表示检测到一个或多个感兴趣对象的一个或多个参考检测区域。参考检测结果基于使用第二检测算法。将所述注意区域识别为所述一个或多个参考检测区域中不具有对应的一个或多个检测区域的那个参考检测区域。第一检测算法用于在注意区域中执行检测。
除了本文描述的一个或多个特征之外，该方法还包括以第一分辨率从第一传感器获得数据。
除了本文描述的一个或多个特征之外，该方法还包括将数据的分辨率降低到第二分辨率。
除了本文描述的一个或多个特征之外，获得检测结果包括对第二分辨率的数据使用第一检测算法。
除了本文描述的一个或多个特征之外，获得参考检测结果包括对第二分辨率的数据使用第二检测算法。
除了本文描述的一个或多个特征之外，获得参考检测结果包括对来自另一个传感器的其他数据使用第二检测算法。
除了本文描述的一个或多个特征之外，获得检测结果和获得参考检测结果包括第一传感器和另一传感器具有共同视场。
除了本文描述的一个或多个特征之外，从第一传感器获得数据包括从照相机获得数据。
除了本文描述的一个或多个特征之外，获得检测结果包括获得围绕被检测对象的一个或多个边界框。
除了在此描述的一个或多个特征之外，获得参考检测结果包括获得通过分割而产生的一个或多个分类区域，每个分类区域表示照相机视场的一区域中的对象分类。
在另一个示例性实施例中，在基于传感器的检测中识别注意区域的系统包括获得数据的传感器。该系统还包括处理器，用于获得检测结果，该检测结果表示从数据中检测到一个或多个感兴趣对象的一个或多个检测区域。检测结果基于使用第一检测算法。处理器还获得参考检测结果，该参考检测结果表示检测到一个或多个感兴趣对象的一个或多个参考检测区域。参考检测结果基于使用第二检测算法。处理器另外将所述注意区域识别为所述一个或多个参考检测区域中不具有对应的一个或多个检测区域的那个参考检测区域，并使用第一检测算法在注意区域中执行检测。
除了本文描述的一个或多个特征之外，来自传感器的数据处于第一分辨率。
除了本文描述的一个或多个特征之外，处理器还被配置为将数据的分辨率降低到第二分辨率。
除了本文描述的一个或多个特征之外，处理器对第二分辨率的数据使用第一检测算法来获得检测结果。
除了本文描述的一个或多个特征之外，处理器对第二分辨率的数据使用第二检测算法在来获得参考检测结果。
除了本文描述的一个或多个特征之外，处理器使用对来自另一传感器的其他数据使用第二检测算法来获得参考检测结果。
除了本文描述的一个或多个特征之外，传感器和另一个传感器具有共同视场。
除了本文描述的一个或多个特征之外，传感器和另一个传感器在车辆中。
除了本文描述的一个或多个特征之外，第一传感器是照相机。
除了本文描述的一个或多个特征之外，检测结果包括围绕被检测对象的一个或多个边界框，并且参考检测结果包括通过分割而产生的一个或多个分类区域，每个分类区域表示照相机视场的一区域中的对象分类。
当结合附图时，根据以下详细描述，本公开的上述特征和优点以及其他特征和优点将变得显而易见。
附图说明
其他特征、优点和细节仅作为示例出现在以下详细描述中，详细描述参考附图，其中:
图1是车辆的框图，其包括用于增强基于传感器的检测的注意区域识别；
图2是根据一个或多个实施例的用于增强基于传感器的检测的注意区域识别的方法的过程流程；和
图3是根据一个或多个实施例的用于增强基于传感器的检测的注意区域识别的示例性方法的过程流程。
具体实施方式
以下描述本质上仅是示例性的，并不旨在限制本公开、其应用或用途。应当理解，在所有附图中，相应的附图标记表示相似或相应的部件和特征。
如前所述，利用传感器获得的数据可以被处理以获得信息，例如关于车辆周围物体的信息。当简单地(naively)处理高分辨率传感器数据时(即，没有任何额外获知)，所得到的检测可能不仅不准确，而且会消耗资源，而不会产生有用的结果。本文详述的系统和方法的实施例涉及识别车辆中用于检测增强的注意区域(attention region)。注意区域是一个用来表示需要进一步分析的区域的术语。具体而言，低分辨率数据用于识别注意区域，然后使用高分辨率数据进一步分析该注意区域。以这种方式，资源仅花费在已知的感兴趣区域，以用于高分辨率处理。
根据示例性实施例，图1是车辆100的框图，其包括对注意区域的识别，以用于增强基于传感器的检测。图1中的示例性车辆100是汽车101。车辆100包括照相机110和一个或多个其他传感器130，如雷达系统133或激光雷达(lidar)系统135。控制器120可以与照相机110和其他传感器130通信，以确定注意区域。虽然在图1中示出了照相机110、其他传感器130和控制器120的一个示例性布置，但是这些部件可以位于车辆100中或上的其他地方。此外，还可以包括额外的摄像机110、控制器120或其他传感器130。
控制器120还可以用其他控制器实施或与之通信，该其他控制器基于由摄像机110或其他传感器130获得的信息实现自主或半自主车辆功能(例如，自主制动、碰撞避免、自适应巡航控制、自主驾驶)。该信息可以包括对象140的相对位置，例如图1所示的行人150。控制器120可以包括处理电路，该处理电路可以包括专用集成电路(ASIC)、电子电路、执行一个或多个软件或固件程序的处理器(共享的、专用的或成组的)和存储器、组合逻辑电路和/或提供所述功能的其他合适的组件。
图2是根据一个或多个实施例的识别注意区域以用于增强基于传感器的检测的方法的过程流程200。根据示例性实施例，可以通过从一个或多个传感器130获得数据的车辆100中的控制器120来执行该方法。为了说明的目的，根据一个或多个实施例，照相机110被讨论为传感器130，其检测通过识别注意区域而被增强。在框210，从传感器130获得数据包括例如从照相机110获得高分辨率图像(例如，1280像素×800像素)。在框220，从传感器130获得分辨率降低的数据指的是从原始数据生成分辨率降低的数据(在框210)。因此，对于涉及相机110的示例，可以从初始高分辨率图像(在框210)获得(在框220)低分辨率图像(例如，320像素×200像素)。
在框230，可以以不同的方式获得参考检测结果。在低分辨率图像的情况下(在块220)，参考检测结果可以是被称为分割(segmentation)的像素级分类。也就是说，低分辨率图像可以被划分(即，分割)，并且每个片段(即，像素区域)可以基于该片段中的像素值来分类。分类对应于图像中感兴趣的对象，并且分割产生一组像素区域S＝{si},i＝1,…,m，并且m是像素区域的总数。因此，每个si提供与像素区域相关联的分类。根据替代实施例，参考检测结果可以是在框230使用不同的传感器130(例如，雷达系统133、激光雷达系统135)获得的检测结果。因此，参考检测结果可以基于对来自同一传感器130的分辨率降低的数据(在框220)使用不同类型的检测(例如，分割)，或者基于使用不同的传感器130。当使用不同的传感器130获得参考检测结果时，第一传感器和不同传感器130的视场必须至少重叠，以便于识别注意区域。
在框240，获得检测结果是指使用分辨率降低的数据(在框220)来执行对象检测。这指的是实现与传感器130相关联的典型对象检测算法。在传感器130是照相机110的示例性情况下，对象检测的结果(在框240)可以是一组边界框(bounding box)B＝{bj},j＝1,…,n，其中是边n界框的总数。每个边界框bj是界定低分辨率图像的区域并示出该区域的对象类别的形状(例如，矩形)。在具有不同传感器130的实施例中，获得检测(在块240)将是基于用于传感器130的典型检测模态(typical detection modality)。例如，包括波束成形的处理可以用作通过雷达系统133获得的数据的检测过程的一部分。
在框250，确定参考检测结果(在框230)和检测结果(在框240)之间的差异可以导致识别至少一个注意区域。参考图3详细描述了识别注意区域所涉及的步骤。实质上，参考检测结果的区域(在框230)——该区域被识别为包括对象140但与被识别为包括对象140的检测结果(在框240)的区域不一致(coincide)——被识别为注意区域。也就是说，基于框230处的参考检测，识别框240处的对象检测可能遗漏了对象的区域。在框260，使用来自传感器的原始数据获得注意区域的检测结果是指使用在框210获得的数据的分辨率。根据一个或多个实施例，识别注意区域有助于基于参考检测结果(在框230)改进初始检测(在块240)。根据这些实施例，使用分辨率降低的数据来执行初始检测(在框240处)，并且仅花费资源来处理具有潜在目标的区域(即，注意区域)中的更高分辨率的数据(在框210处获得)。
图3是根据一个或多个实施例的识别注意区域以用于增强基于传感器的检测(图2的框250)的示例性方法的过程流程300。图3所示的示例性过程涉及传感器130，其是照相机110，参考检测结果(在块230)是像素区域S＝{si},i＝1,…,m的分割结果，并且m是像素区域的总数，检测结果(在块240)是一组边界框B＝{bj},j＝1,…,n，其中n是边界框的总数。在框250识别一个或多个注意区域的处理开始于在框310找到像素区域S和边界框B之间的并集(IOUij)的交集。具体而言，移除与边界框B共有的所有像素区域S，以确定什么像素区域S仍然剩余(即，没有对应的边界框B)。去除S和B之间的重叠的结果可以是像素区域si中的一些像素或者像素区域S的集合中的一些完整像素区域si。
在框320和330的处理是针对框310之后的S中的每个剩余si部分执行的。框320和330处的处理可以仅针对具有超过阈值数量像素的剩余si部分来执行。在框320，在示例性情况下，映射到原始分辨率数据指的是将像素区域si映射到原始图像中(在图2的框210)的s′i。在框330，该过程包括识别输入数据区域并可选地设定其尺寸(size)，以作为注意区域ri。在示例性情况下，识别作为与传感器130相关联的对象检测算法的输入的输入数据区域(即，注意区域ri)是指，识别处一矩形，该矩形包围s′i并对应于框240处使用的对象检测算法的输入数据的尺寸。例如，如果对象检测算法所需的输入尺寸是320×240像素，但是s′i的像素区域大于320×240像素，则ri可以设置为与s′i相同。然后可以使用已知的方法将ri的尺寸减小到320×240像素，以匹配目标检测算法所需的输入尺寸。或者，如果s′i的像素区域小于对象检测算法所需的输入尺寸(例如320×240像素)，则可以包括s′i附近的像素，使得注意区域ri的尺寸是对象检测算法所需的必要尺寸。在有或没有可选的尺寸调整的情况下，与每个s′i相对应的注意区域ri被输出，以供使用传感器130(例如，示例中的照相机110)的对象检测算法进行进一步处理。
尽管已经参考示例性实施例描述了上述公开，但是本领域技术人员将理解，在不脱离其范围的情况下，可以进行各种改变，并且可以用等同物替代其元件。此外，在不脱离本公开的实质范围的情况下，可以进行许多修改以使特定的情况或材料适应本公开的教导。因此，意图是本公开不限于所公开的特定实施例，而是将包括落入其范围内的所有实施例。

Claims (10)

1.一种在基于传感器的检测中识别注意区域的方法，该方法包括:
获得检测结果，该检测结果表示检测到一个或多个感兴趣对象的一个或多个检测区域，其中所述检测结果基于使用第一检测算法；
获得参考检测结果，该参考检测结果表示检测到一个或多个感兴趣对象的一个或多个参考检测区域，其中所述参考检测结果基于使用第二检测算法；
将所述注意区域识别为所述一个或多个参考检测区域中不具有对应的一个或多个检测区域的那个参考检测区域；和
使用第一检测算法在注意区域中执行检测。
2.根据权利要求1所述的方法，还包括以第一分辨率从第一传感器获得数据。
3.根据权利要求2所述的方法，还包括将数据的分辨率降低到第二分辨率，其中获得检测结果包括对第二分辨率的数据使用第一检测算法，并且获得参考检测结果包括对第二分辨率的数据使用第二检测算法。
4.根据权利要求2所述的方法，其中，获得参考检测结果包括对来自另一传感器的其他数据使用第二检测算法，并且获得检测结果和获得参考检测结果包括第一传感器和另一传感器具有共同视场。
5.根据权利要求2所述的方法，其中从所述第一传感器获得数据包括从照相机获得数据，获得检测结果包括获得围绕被检测对象的一个或多个边界框，并且获得参考检测结果包括获得通过分割而产生的一个或多个分类区域，每个分类区域表示照相机视场的一区域中的对象分类。
6.一种在基于传感器的检测中识别注意区域的系统，该系统包括:
传感器，被配置为获得数据；和
处理器，被配置为获得检测结果，该检测结果表示从所述数据中检测到一个或多个感兴趣对象的一个或多个检测区域，其中所述检测结果基于使用第一检测算法；被配置为获得参考检测结果，该参考检测结果表示检测到一个或多个感兴趣对象的一个或多个参考检测区域，其中所述参考检测结果基于使用第二检测算法，将所述注意区域识别为所述一个或多个参考检测区域中不具有对应的一个或多个检测区域的那个参考检测区域，并且使用所述第一检测算法在所述注意区域中执行检测。
7.根据权利要求6所述的系统，其中来自传感器的数据处于第一分辨率。
8.根据权利要求7所述的系统，其中，所述处理器还被配置为，将所述数据的分辨率降低到第二分辨率，所述处理器对第二分辨率的数据使用第一检测算法来获得检测结果，并且所述处理器对第二分辨率的数据使用第二检测算法在来获得参考检测结果。
9.根据权利要求7所述的系统，其中所述处理器对来自另一传感器的其他数据使用第二检测算法来获得参考检测结果，所述传感器和所述另一个传感器具有共同视场，并且所述传感器和所述另一个传感器在车辆中。
10.根据权利要求7所述的系统，其中所述传感器是照相机，并且所述检测结果包括围绕被检测对象的一个或多个边界框，并且所述参考检测结果包括通过分割而产生的一个或多个分类区域，每个分类区域表示所述照相机视场的一区域中的对象分类。
CN202010200569.8A 2019-03-28 2020-03-20 用于增强车辆中基于传感器的检测的注意区域识别 Active CN111753626B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/367,579 2019-03-28
US16/367,579 US10984534B2 (en) 2019-03-28 2019-03-28 Identification of attention region for enhancement of sensor-based detection in a vehicle

Publications (2)

Publication Number Publication Date
CN111753626A CN111753626A (zh) 2020-10-09
CN111753626B true CN111753626B (zh) 2023-09-19

Family

ID=72606162

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010200569.8A Active CN111753626B (zh) 2019-03-28 2020-03-20 用于增强车辆中基于传感器的检测的注意区域识别

Country Status (3)

Country Link
US (1) US10984534B2 (zh)
CN (1) CN111753626B (zh)
DE (1) DE102020103770B4 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11593597B2 (en) 2020-11-16 2023-02-28 GM Global Technology Operations LLC Object detection in vehicles using cross-modality sensors
CN113095208B (zh) * 2021-04-08 2024-01-26 吉林工商学院 应用于大学英语教学课堂的注意力观测与提醒系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104969262A (zh) * 2013-03-08 2015-10-07 英特尔公司 用于基于感兴趣的区域的图像编码的技术
CN105391970A (zh) * 2014-08-27 2016-03-09 Metaio有限公司 提供由车辆的场景相机捕获的至少一个图像的方法和系统
CN106295459A (zh) * 2015-05-11 2017-01-04 青岛若贝电子有限公司 基于机器视觉和级联分类器的车辆检测和预警方法
CN107103276A (zh) * 2016-02-19 2017-08-29 德尔福技术有限公司 使用低层传感器融合的视觉算法执行
CN107211096A (zh) * 2015-01-22 2017-09-26 三菱电机株式会社 摄像装置和方法以及程序和记录介质
CN109409186A (zh) * 2017-08-17 2019-03-01 哈曼国际工业有限公司 用于对象检测和通知的驾驶员辅助系统和方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7609898B2 (en) * 2004-10-01 2009-10-27 Microsoft Corporation Method and system for progressive image transmission
US8789095B2 (en) * 2012-05-15 2014-07-22 At&T Intellectual Property I, Lp Apparatus and method for providing media content
DE102012009703A1 (de) 2012-05-16 2013-11-21 Volkswagen Ag Verfahren und Vorrichtung zur Personenerkennung im Umfeld eines Kraftfahrzeugs
US9495602B2 (en) * 2013-10-23 2016-11-15 Toyota Motor Engineering & Manufacturing North America, Inc. Image and map-based detection of vehicles at intersections
US10531048B2 (en) * 2016-12-15 2020-01-07 Motorola Solutions, Inc. System and method for identifying a person, object, or entity (POE) of interest outside of a moving vehicle
US10452926B2 (en) * 2016-12-29 2019-10-22 Uber Technologies, Inc. Image capture device with customizable regions of interest
KR102541559B1 (ko) * 2017-08-04 2023-06-08 삼성전자주식회사 관심 객체를 검출하는 방법 및 장치
JP6606312B2 (ja) * 2017-11-20 2019-11-13 楽天株式会社 情報処理装置、情報処理方法、および情報処理プログラム
US10338223B1 (en) * 2017-12-13 2019-07-02 Luminar Technologies, Inc. Processing point clouds of vehicle sensors having variable scan line distributions using two-dimensional interpolation and distance thresholding
US11032607B2 (en) * 2018-12-07 2021-06-08 At&T Intellectual Property I, L.P. Methods, devices, and systems for embedding visual advertisements in video content

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104969262A (zh) * 2013-03-08 2015-10-07 英特尔公司 用于基于感兴趣的区域的图像编码的技术
CN105391970A (zh) * 2014-08-27 2016-03-09 Metaio有限公司 提供由车辆的场景相机捕获的至少一个图像的方法和系统
CN107211096A (zh) * 2015-01-22 2017-09-26 三菱电机株式会社 摄像装置和方法以及程序和记录介质
CN106295459A (zh) * 2015-05-11 2017-01-04 青岛若贝电子有限公司 基于机器视觉和级联分类器的车辆检测和预警方法
CN107103276A (zh) * 2016-02-19 2017-08-29 德尔福技术有限公司 使用低层传感器融合的视觉算法执行
CN109409186A (zh) * 2017-08-17 2019-03-01 哈曼国际工业有限公司 用于对象检测和通知的驾驶员辅助系统和方法

Also Published As

Publication number Publication date
US20200311942A1 (en) 2020-10-01
DE102020103770A1 (de) 2020-10-01
CN111753626A (zh) 2020-10-09
DE102020103770B4 (de) 2024-10-10
US10984534B2 (en) 2021-04-20

Similar Documents

Publication Publication Date Title
US10043090B2 (en) Information processing device, information processing method, computer-readable recording medium, and inspection system
KR101848019B1 (ko) 차량 영역 검출을 통한 차량 번호판 검출 방법 및 장치
US10983215B2 (en) Tracking objects in LIDAR point clouds with enhanced template matching
JP5223675B2 (ja) 車両検知装置，車両検知方法並びに車両検知プログラム
US20160217335A1 (en) Stixel estimation and road scene segmentation using deep learning
EP3690847B1 (en) Lift-up determining device and lift-up determining method
Gluhaković et al. Vehicle detection in the autonomous vehicle environment for potential collision warning
CN113723170B (zh) 危险检测整合架构系统和方法
US12243321B2 (en) Method for determining a semantic free space
US20230260132A1 (en) Detection method for detecting static objects
US10261515B2 (en) System and method for controlling navigation of a vehicle
CN105549013A (zh) 用于汽车雷达成像的物体边界检测
CN111753626B (zh) 用于增强车辆中基于传感器的检测的注意区域识别
US12372660B2 (en) Identification of planar points in lidar point cloud obtained with vehicle lidar system
CN115345978A (zh) 用于车辆中一般障碍检测的基于传感器融合的俯视三维纹理表示
US12354369B2 (en) Method for automatically executing a vehicle function, method for evaluating a computer vision method and evaluation circuit for a vehicle
CN115214570B (zh) 一种结合距离和时间因素的车辆分级制动控制方法及系统
US11881028B2 (en) Vehicle lidar system with neural network-based dual density point cloud generator
CN110116731A (zh) 传感器间学习
US20230267749A1 (en) System and method of segmenting free space based on electromagnetic waves
CN118262322A (zh) 车辆环境目标检测方法、装置、系统、车辆和存储介质
US11836933B2 (en) Method for calculating information relative to a relative speed between an object and a camera
US20200089975A1 (en) Method and device for analyzing an image and providing the analysis for a driving assistance system of a vehicle
JP6134693B2 (ja) 物体検出装置
CN120035851A (zh) 基于视觉的感知系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant