CN116888630A - 检测对象和确定对象高度的方法和装置 - Google Patents

检测对象和确定对象高度的方法和装置 Download PDF

Info

Publication number
CN116888630A
CN116888630A CN202280013045.5A CN202280013045A CN116888630A CN 116888630 A CN116888630 A CN 116888630A CN 202280013045 A CN202280013045 A CN 202280013045A CN 116888630 A CN116888630 A CN 116888630A
Authority
CN
China
Prior art keywords
detection sensor
surroundings
ambient
detection
method comprises
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202280013045.5A
Other languages
English (en)
Inventor
D·科雷克尔
J·瓦赫
S·海因里希
M·普菲泽
T·费希纳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Continental Zhixing Germany Co ltd
Original Assignee
Continental Zhixing Germany Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Continental Zhixing Germany Co ltd filed Critical Continental Zhixing Germany Co ltd
Publication of CN116888630A publication Critical patent/CN116888630A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Geometry (AREA)
  • Electromagnetism (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Measurement Of Optical Distance (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种借助周围环境检测系统(1)检测对象和确定对象高度的方法，所述周围环境检测系统包括车辆的第一周围环境检测传感器(2a)和第二周围环境检测传感器(2b)，其中，至少一个周围环境检测传感器是单目摄像装置，所述方法包括以下步骤：用摄像装置(2a)拍摄(S1)单目图像(M)；用第二周围环境检测传感器(2b)拍摄(S2)周围环境表征；执行(S3)单目图像中的对象检测；执行(S4)第二周围环境检测传感器(2b)的周围环境表征中的对象检测；执行(S5)第二周围环境检测传感器(2b)的周围环境表征中与对象(O1、O2、O3)的距离确定；执行(S6)被检测的对象(O1、O2、O3)的高度确定。

Description

检测对象和确定对象高度的方法和装置
技术领域
本发明涉及在车辆周围环境中检测对象和确定对象高度的一种方法和一种装置。
背景技术
对高度自动化驾驶而言，传感器系统必须能够可靠检测到远距离的即使小的障碍物。目前，正为这类任务研发激光雷达系统和立体摄像系统，因为它们可提供周围环境的三维立体(3D)成像。由此可同时检测自由空间和障碍物的大小和距离。立体摄像系统提供比激光雷达系统明显更高的横向分辨率，而激光雷达系统可提供非常准确的距离确定。然而，目前的解决方案不能检测到远距离的小对象。
发明内容
因此，本发明的任务是提供一种方法和系统，借助该方法和系统能可靠检测到小对象，并可靠确定对象高度。
该任务由独立权利要求1和6的标的解决。有益的设计方案和实施方式是从属权利要求的标的。
首先的考虑是，为能评估小障碍物的危险，需准确估计对象高度。
迄今为止的立体方法主要基于半全局匹配(SGM)方法。最近，基于深度神经网络的机器学习方法应用得越来越多，这些方法是用激光雷达测量的真值数据/地面实况数据训练出来的。
要检测在100米距离处的10厘米高的小对象，需要至少0.03度的角度分辨率。高分辨率的激光雷达系统超过该数值的3倍到6倍，因此不能充分适用于该任务。带有8兆象素图像传感器和30度孔径角镜头的高分辨率摄像系统提供130像素/每度的角度分辨率，对在100米的距离处的10厘米高的对象进行8像素成像。
2个高分辨率的摄像装置组成的立体摄像系统理论上可在100米距离检测到这样一个小对象。然而，从立体图像中获取的深度图信噪比通常太差，无法明确检测到对象，并同时确定对象高度。
因此，根据本发明所述，提出一种借助周围环境检测系统检测对象和确定对象高度的方法，所述周围环境检测系统包括车辆的第一周围环境检测传感器和第二周围环境检测传感器，其中，至少有一个周围环境检测传感器是摄像装置，所述方法操作步骤如下：
-用所述摄像装置拍摄单目图像，
-用第二周围环境检测传感器拍摄周围环境表征-在单目图像中进行对象检测，
-在第二周围环境检测传感器的周围环境表征中进行对象检测，
-在第二周围环境检测传感器的周围环境表征中确定与对象的距离，
-确定检测到的对象的高度。
所述摄像装置优选是高分辨率的长焦摄像装置。该摄像装置的分辨率例如为8兆象素，孔径角度为30度，角度分辨率为130像素/每度。第二周围环境检测传感器例如是立体摄像装置。在此情况下，周围环境检测系统则可设置为立体摄像装置，而单目摄像装置则可在该设计方案中是该立体系统的组成部分。也可设想使用一个单个的单目摄像装置和单独的立体摄像装置。在该设计方案中，第二周围环境检测传感器的周围环境表征则是深度图像。
也可设想使用雷达传感器或激光雷达传感器作为第二周围环境检测传感器。在雷达传感器情况下，则周围环境表征是对象列表或雷达信号特征列表，其中记录了所检测到的对象或雷达特征以及它们与车辆的距离。这些数据于是可与单目图像相融合。在第二周围环境检测传感器是激光雷达传感器情况下，则周围环境表征是点云。在权利要求中，为方便阅读，对象使用的是单数。当然也可检测到多个对象。还须指出的是，对象检测的这两个步骤可同时实施或按任意顺序先后进行。例如，可先在第二周围环境检测传感器的周围环境表征中进行对象检测，然后才在单目图像中检测对象。如上所述，也可设想以相反顺序或同时实施相关操作步骤。
在单目图像中的对象检测以象素为单位给出对象尺寸。借助第二周围环境检测传感器，尤其当第二周围环境检测传感器是雷达传感器或激光雷达传感器时，优选测量与该对象的距离。
在一特别优选的设计方案中，基于单目图像中以象素为单位的对象高度、所确定的对象距离和周围环境检测传感器的已知的角度分辨率确定对象高度。各相应传感器的角度分辨率从具体的传感器数据中获取。
在另一优选的设计方案中，借助基于经训练的卷积神经网络(CNN)的语义分割进行单目图像中的对象检测。这是有益的，因为借助语义分割可高效检测对象，借助经相应训练的卷积神经网络(CNN)不仅可改善对象检测，还可确定对象形状。该信息可有助于确定，必要时是否能够在车辆不受损情况下驶过对象。
在一优选设计方案中，在检测对象后，通过比较单目图像和第二周围环境表征来确认对象。在该设计方案中比较检测的位置是否一致。如果在比较中存在一致性，则该对象毫无疑问地得到确认。
此外，在一特别优选的实施方式中，周围环境检测传感器之一的对象检测为其他周围环境检测传感器确定了关注区域/感兴趣区域。这意味着，例如第二周围环境检测传感器的例如借助雷达传感器的对象检测为摄像装置确定了关注区域(ROI)或者说感兴趣区域或搜索区域。由此实现仅在单目图像中的该特定区域寻找对象。这导致了效率更高的对象检测。还可设想的是，在单目图像中的对象检测可提高雷达搜索区域中的灵敏度。由此例如可将诸如极弱的雷达检测目标识别为对象。这也导致更有效的、尤其是更安全可靠的对象检测。
此外，根据本发明提出一种用于车辆的周围环境检测系统，它包括具有特定角度分辨率的第一周围环境检测传感器和第二周围环境检测传感器以及计算单元，其中，至少第一周围环境检测传感器设置为摄像装置，其中，用摄像装置拍摄单目图像，用第二周围环境检测传感器拍摄另一周围环境表征，其中，计算单元设置用于，在单目图像和第二周围环境检测传感器的周围环境表征中检测对象，其中，计算单元还设置用于，进行对象距离的确定和对象高度的确定。
在一优选设计方案中，第一周围环境检测传感器是长焦摄像装置，第二周围环境检测传感器是立体摄像装置、雷达传感器或激光雷达传感器。
进一步优选的是，如果第二周围环境检测传感器设置为立体摄像装置，那么所述长焦摄像装置是该立体摄像装置的组成部分。因此，第二周围环境检测传感器是立体摄像装置，而第一周围环境检测传感器仍是单目摄像装置。在此，该立体摄像装置通过确定深度图像中的高度，被用作高度确定传感器。
附图说明
其他有益的设计方案和实施方式是附图的标的。其中：
图1：该图是所述方法一实施方式的流程示意图；
图2：该图是根据本发明一实施方式的周围环境检测系统的示意图；
图3：该图是一示例场景图；
图4：该图是在图3所示场景下的深度图像的示例图。
具体实施方式
图1展示借助立体检测系统检测对象和确定对象高度的方法的一优选实施方式的流程示意图，所述立体检测系统包括车辆的第一周围环境检测传感器和第二周围环境检测传感器，其中，至少一个周围环境检测传感器是单目摄像装置。在步骤S1中，借助该摄像装置拍摄单目图像。在步骤S2中，用第二周围环境检测传感器拍摄周围环境表征。在随后的步骤S3中，在单目图像中进行对象检测。在步骤S4中，在第二周围环境检测传感器的周围环境表征中进行对象检测。步骤S3和S4可以任意顺序先后进行，即先S4再S3或先S3再S4，或同时进行。在步骤S5中，进行第二周围环境检测传感器周围环境表征中与对象距离的确定。最后，在步骤S6中进行所检测的对象的高度确定。
图2展示根据本发明一实施方式所述周围环境检测系统1的示意图。周围环境检测系统1包括优选设置为摄像装置的第一周围环境检测传感器2a以及包括第二周围环境检测传感器2b。这两个周围环境检测传感器2a、2b通过数据连接D与计算单元3相连接。该计算单元3设置用于在单目图像中检测对象，其中，所述计算单元还设置用于，在单目图像和第二周围环境检测传感器的周围环境表征中进行对象检测，其中，所述计算单元还设置用于，进行对象的距离确定和高度确定。在此，数据连接D可设置为电缆连接，也可设置为无线连接。
图3展示一示例场景图。在该图中，展示了车道部分。三个对象O1、O2、O3处于该车道上。这里的图是单目图像M。在单目图像M中例如借助语义分割检测对象O1、O2、O3。
图4展示借助立体摄像装置从图3所示场景中拍摄的深度图像示例图。为此，第二周围环境检测传感器设置成立体摄像装置。在深度图像T中可看见作为突起物的对象O1、O2和O3。在深度图像T中也可测定与对象O1、O2、O3的距离。
附图标记列表
1 周围环境检测系统
2a 第一周围环境检测传感器
2b 第二周围环境检测传感器
3 计算单元
D 数据连接
M 单目图像
O1至O3 对象
S1至S6 方法步骤
T 深度图像

Claims (8)

1.一种借助周围环境检测系统(1)检测对象和确定对象高度的方法，所述周围环境检测系统包括车辆的第一周围环境检测传感器(2a)和第二周围环境检测传感器(2b)，其中，至少一个周围环境检测传感器是单目摄像装置，所述方法包括以下步骤：
-用摄像装置(2a)拍摄(S1)单目图像(M)，
-用第二周围环境检测传感器(2b)拍摄(S2)周围环境表征，
-执行(S3)单目图像中的对象检测，
-执行(S4)第二周围环境检测传感器(2b)的周围环境表征中的对象检测，-执行(S5)第二周围环境检测传感器(2b)的周围环境表征中与对象(O1、O2、O3)的距离确定，
-执行(S6)被检测的对象(O1、O2、O3)的高度确定。
2.根据权利要求1所述方法，
其特征在于，
对象(O1、O2、O3)的高度是基于对象(O1、O2、O3)在单目图像(M)中以象素为单位的高度、对象(O1、O2、O3)所确定的距离以及周围环境检测传感器(2a、2b)的已知的角度分辨率确定的。
3.根据权利要求1所述方法，
其特征在于，
单目图像(M)中对象的检测是借助基于经训练的卷积神经网络的语义分割进行的。
4.根据权利要求1所述方法，
其特征在于，
在进行对象的检测(S3、S4)后，借助比较单目图像(M)和第二周围环境表征来对对象(O1、O2、O3)加以确认。
5.根据权利要求1所述方法，
其特征在于，
周围环境检测传感器(2a、2b)之一的对象检测为其他周围环境检测传感器(2、2b)确定了关注区域。
6.一种用于车辆的周围环境检测系统(1)，包括具有特定角度分辨率的第一周围环境检测传感器(2a)和第二周围环境检测传感器(2b)以及计算单元(3)，其中，至少所述第一周围环境检测传感器(2a)设置为摄像装置，其中，用摄像装置拍摄单目图像(M)，用第二周围环境检测传感器(2b)拍摄另一周围环境表征，其中，计算单元(3)设置用于，在单目图像(M)和第二周围环境检测传感器(2b)的周围环境表征中检测对象(O1、O2、O3)，其中，计算单元(3)还设置用于，进行对象(O1、O2、O3)的距离确定和高度确定。
7.根据权利要求6所述周围环境检测系统(1)，
其特征在于，
第一周围环境检测传感器(2a)是长焦摄像装置，第二周围环境检测传感器(2b)是立体摄像装置、雷达传感器或激光雷达传感器。
8.根据权利要求7所述周围环境检测系统(1)，
其特征在于，
如果所述第二周围环境检测传感器(2b)设置为立体摄像装置，则所述长焦摄像装置是该立体摄像装置的组成部分。
CN202280013045.5A 2021-02-24 2022-01-27 检测对象和确定对象高度的方法和装置 Pending CN116888630A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102021201713.4A DE102021201713A1 (de) 2021-02-24 2021-02-24 Verfahren und Vorrichtung zur Detektion und Höhenbestimmung von Objekten
DE102021201713.4 2021-02-24
PCT/DE2022/200009 WO2022179669A1 (de) 2021-02-24 2022-01-27 Verfahren und vorrichtung zur detektion und höhenbestimmung von objekten

Publications (1)

Publication Number Publication Date
CN116888630A true CN116888630A (zh) 2023-10-13

Family

ID=80684868

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202280013045.5A Pending CN116888630A (zh) 2021-02-24 2022-01-27 检测对象和确定对象高度的方法和装置

Country Status (7)

Country Link
US (1) US20240135720A1 (zh)
EP (1) EP4298600A1 (zh)
JP (1) JP2024505422A (zh)
KR (1) KR20230118974A (zh)
CN (1) CN116888630A (zh)
DE (1) DE102021201713A1 (zh)
WO (1) WO2022179669A1 (zh)

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7356408B2 (en) 2003-10-17 2008-04-08 Fuji Jukogyo Kabushiki Kaisha Information display apparatus and information display method
US8605947B2 (en) * 2008-04-24 2013-12-10 GM Global Technology Operations LLC Method for detecting a clear path of travel for a vehicle enhanced by object detection
DE102011054852B4 (de) * 2011-07-30 2024-05-16 Götting KG Verfahren zur Erfassung und Bewertung einer Ebene
CN107563256A (zh) 2016-06-30 2018-01-09 北京旷视科技有限公司 辅助驾驶信息产生方法及装置、辅助驾驶系统
WO2021016596A1 (en) 2019-07-25 2021-01-28 Nvidia Corporation Deep neural network for segmentation of road scenes and animate object instances for autonomous driving applications
DE102020007057A1 (de) * 2020-11-19 2021-01-14 Daimler Ag Fahrzeug und Verfahren zur Bestimmung einer Durchfahrtshöhe

Also Published As

Publication number Publication date
DE102021201713A1 (de) 2022-08-25
US20240135720A1 (en) 2024-04-25
WO2022179669A1 (de) 2022-09-01
KR20230118974A (ko) 2023-08-14
JP2024505422A (ja) 2024-02-06
EP4298600A1 (de) 2024-01-03

Similar Documents

Publication Publication Date Title
CN109271944B (zh) 障碍物检测方法、装置、电子设备、车辆及存储介质
US10909395B2 (en) Object detection apparatus
CN111045000A (zh) 监测系统和方法
WO2014084181A1 (ja) 画像計測装置
CN114089329A (zh) 一种基于长短焦相机与毫米波雷达融合的目标检测方法
JP2017181476A (ja) 車両位置検出装置、車両位置検出方法及び車両位置検出用コンピュータプログラム
JP4361913B2 (ja) 動き量計算装置
KR101612822B1 (ko) 차선 인식 장치 및 그 방법
JP2018073275A (ja) 画像認識装置
KR20160125803A (ko) 영역 추출 장치, 물체 탐지 장치 및 영역 추출 방법
CN114556449A (zh) 障碍物检测及重识别方法、装置、可移动平台及存储介质
KR102195040B1 (ko) 이동식 도면화 시스템 및 모노카메라를 이용한 도로 표지 정보 수집 방법
CN115661453B (zh) 一种基于下视角相机的塔吊吊物检测分割方法及系统
CN116888630A (zh) 检测对象和确定对象高度的方法和装置
CN110660113A (zh) 特征地图的建立方法、装置、采集设备和存储介质
CN115790568A (zh) 基于语义信息的地图生成方法及相关设备
KR102210571B1 (ko) Gps 좌표와 이동통신시스템을 이용한 교량과 터널의 안전진단 원격감시 경보방법
CN113792645A (zh) 一种融合图像和激光雷达的ai眼球
CN110726407A (zh) 一种定位监控方法及装置
CN114762019A (zh) 摄像机系统
KR101578434B1 (ko) 차선 인식 장치 및 그 방법
KR101091564B1 (ko) 전방향 카메라
CN113378606A (zh) 一种标注信息确定方法、装置及系统
KR101719127B1 (ko) 장애물 식별 장치 및 방법
CN113326715A (zh) 一种目标关联方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination