CN112651359A - 障碍物检测方法、装置、电子设备和存储介质 - Google Patents
障碍物检测方法、装置、电子设备和存储介质 Download PDFInfo
- Publication number
- CN112651359A CN112651359A CN202011615468.3A CN202011615468A CN112651359A CN 112651359 A CN112651359 A CN 112651359A CN 202011615468 A CN202011615468 A CN 202011615468A CN 112651359 A CN112651359 A CN 112651359A
- Authority
- CN
- China
- Prior art keywords
- obstacle
- radar
- target area
- visual
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 164
- 230000004888 barrier function Effects 0.000 claims abstract description 146
- 230000000007 visual effect Effects 0.000 claims abstract description 142
- 238000000034 method Methods 0.000 claims abstract description 25
- 238000004590 computer program Methods 0.000 claims description 14
- 230000004927 fusion Effects 0.000 claims description 13
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 13
- 238000004891 communication Methods 0.000 description 5
- 230000009286 beneficial effect Effects 0.000 description 4
- 238000009434 installation Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000007500 overflow downdraw method Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
- G06T2207/10044—Radar image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Radar Systems Or Details Thereof (AREA)
- Image Analysis (AREA)
- Traffic Control Systems (AREA)
Abstract
本申请实施例涉及障碍物检测技术领域，提供了一种障碍物检测方法、装置、电子设备和存储介质，方法包括：基于第一摄像头和第二摄像头分别采集的图像数据进行障碍物检测，得到目标区域内的视觉障碍物的类别信息以及参考坐标系下的视觉障碍物位置；基于雷达采集的雷达数据进行障碍物检测，得到目标区域内的雷达障碍物在参考坐标系下的雷达障碍物位置；基于视觉障碍物位置和雷达障碍物位置，对视觉障碍物和雷达障碍物进行融合，得到目标区域内障碍物的类别信息以及障碍物位置。本申请综合了多种传感器的优势，能够实现更全面、更准确的障碍物检测，且该障碍物检测方法的适用范围也更广。
Description
技术领域
本申请涉及障碍物检测技术领域，尤其涉及一种障碍物检测方法、装置、电子设备和存储介质。
背景技术
在进行目标区域的障碍物检测时，通常需要部署若干个传感器对该目标区域进行障碍物检测，在检测到障碍物时获取障碍物的相关信息并告警。
目前的障碍物检测方式多采用单一类型的传感器进行障碍物检测，例如通过车身周围遍布超声波雷达探测车辆盲区内的障碍物及其与车辆之间的距离，或者通过摄像头判断探测车辆盲区内的障碍物，从而达到障碍物检测的目的。然而，上述单一传感器的障碍物检测方案给出的障碍物信息较为单一，全面性不足，且障碍物的距离测算准确性也相对欠佳。
发明内容
本申请提供一种障碍物检测方法、装置、电子设备和存储介质，以实现全面、准确的障碍物检测。
本申请提供一种障碍物检测方法，包括：
基于第一摄像头和第二摄像头分别采集的图像数据进行障碍物检测，得到目标区域内的视觉障碍物的类别信息以及参考坐标系下的视觉障碍物位置；
基于雷达采集的雷达数据进行障碍物检测，得到所述目标区域内的雷达障碍物在所述参考坐标系下的雷达障碍物位置；
基于所述视觉障碍物位置和所述雷达障碍物位置，对所述视觉障碍物和所述雷达障碍物进行融合，得到所述目标区域内障碍物的类别信息以及障碍物位置；
其中，所述第一摄像头和所述第二摄像头的可视化区域存在重叠区域，且所述目标区域位于所述重叠区域内；所述雷达的有效区域覆盖所述目标区域。
根据本申请提供的一种障碍物检测方法，所述基于第一摄像头和第二摄像头分别采集的图像数据进行障碍物检测，得到目标区域内的视觉障碍物的类别信息以及参考坐标系下的视觉障碍物位置，具体包括：
分别基于所述第一摄像头采集的第一图像数据和所述第二摄像头采集的第二图像数据进行障碍物检测，得到所述目标区域内的第一障碍物的类别信息和第一感兴趣区域，以及第二障碍物的类别信息和第二感兴趣区域；
基于所述第一感兴趣区域和所述第二感兴趣区域，将所述第一障碍物与所述第二障碍物进行匹配；
基于匹配的第一障碍物和第二障碍物的类别信息，确定所述目标区域内的视觉障碍物的类别信息；
基于匹配的第一障碍物和第二障碍物分别在所述第一图像数据和所述第二图像数据中的位置，以及所述第一摄像头和所述第二摄像头在所述参考坐标系下的位置，确定所述目标区域内的视觉障碍物在所述参考坐标系下的视觉障碍物位置。
根据本申请提供的一种障碍物检测方法，所述分别基于所述第一摄像头采集的第一图像数据和所述第二摄像头采集的第二图像数据进行障碍物检测，得到所述目标区域内的第一障碍物的类别信息和第一感兴趣区域，以及第二障碍物的类别信息和第二感兴趣区域，具体包括：
基于对应图像数据进行障碍物检测，得到障碍物的类别信息及其在对应摄像头的图像坐标系下的图像检测框；
基于所述目标区域的各角点在所述图像坐标系下的坐标，以及所述图像检测框的中心点坐标，确定所述对应图像数据中处于目标区域内的对应障碍物及其类别信息；
基于所述对应障碍物的图像检测框，确定所述对应障碍物在所述对应图像数据中的对应感兴趣区域。
根据本申请提供的一种障碍物检测方法，所述基于雷达采集的雷达数据进行障碍物检测，得到所述目标区域内的雷达障碍物在所述参考坐标系下的雷达障碍物位置，具体包括：
基于所述雷达采集的雷达数据进行障碍物检测，得到雷达障碍物在所述雷达对应的雷达坐标系下的坐标；
基于预先获得的所述雷达在所述参考坐标系下的坐标，以及所述雷达障碍物在所述雷达对应的雷达坐标系下的坐标，确定所述目标区域内的雷达障碍物在所述参考坐标系下的雷达障碍物位置。
根据本申请提供的一种障碍物检测方法，所述基于所述视觉障碍物位置和所述雷达障碍物位置，对所述视觉障碍物和所述雷达障碍物进行融合，得到所述目标区域内障碍物的类别信息以及障碍物位置，具体包括：
将所述视觉障碍物的视觉障碍物位置和所述雷达障碍物的雷达障碍物位置进行匹配；
将视觉障碍物的类别信息作为所述目标区域内障碍物的类别信息，并将与所述视觉障碍物匹配的雷达障碍物的雷达障碍物位置作为所述目标区域内障碍物的障碍物位置。
本申请还提供一种障碍物检测装置，包括：
图像障碍物检测单元，用于基于第一摄像头和第二摄像头分别采集的图像数据进行障碍物检测，得到目标区域内的视觉障碍物的类别信息以及参考坐标系下的视觉障碍物位置；
雷达障碍物检测单元，用于基于雷达采集的雷达数据进行障碍物检测，得到所述目标区域内的雷达障碍物在所述参考坐标系下的雷达障碍物位置；
障碍物融合单元，用于基于所述视觉障碍物位置和所述雷达障碍物位置，，对所述视觉障碍物和所述雷达障碍物进行融合，得到所述目标区域内障碍物的类别信息以及障碍物位置；
其中，所述第一摄像头和所述第二摄像头的可视化区域存在重叠区域，且所述目标区域位于所述重叠区域内；所述雷达的有效区域覆盖所述目标区域。
根据本申请提供的一种障碍物检测装置，所述图像障碍物检测单元，具体包括：
障碍物检测子单元，用于分别基于所述第一摄像头采集的第一图像数据和所述第二摄像头采集的第二图像数据进行障碍物检测，得到所述目标区域内的第一障碍物的类别信息和第一感兴趣区域，以及第二障碍物的类别信息和第二感兴趣区域；
匹配单元，用于基于所述第一感兴趣区域和所述第二感兴趣区域，将所述第一障碍物与所述第二障碍物进行匹配；
类别确定单元，用于基于匹配的第一障碍物和第二障碍物的类别信息，确定所述目标区域内的视觉障碍物的类别信息；
位置确定单元，用于基于匹配的第一障碍物和第二障碍物分别在所述第一图像数据和所述第二图像数据中的位置，以及所述第一摄像头和所述第二摄像头在所述参考坐标系下的位置，确定所述目标区域内的视觉障碍物在所述参考坐标系下的视觉障碍物位置。
根据本申请提供的一种障碍物检测装置，所述障碍物检测子单元，具体包括：
目标检测模块，用于基于对应图像数据进行障碍物检测，得到障碍物的类别信息及其在对应摄像头的图像坐标系下的图像检测框；
目标区域障碍物获取模块，用于基于所述目标区域的各角点在所述图像坐标系下的坐标，以及所述图像检测框的中心点坐标，确定所述对应图像数据中处于目标区域内的对应障碍物及其类别信息；
感兴趣区域确定模块，用于基于所述对应障碍物的图像检测框，确定所述对应障碍物在所述对应图像数据中的对应感兴趣区域。
根据本申请提供的一种障碍物检测装置，所述雷达障碍物检测单元，具体包括：
雷达检测子单元，用于基于所述雷达采集的雷达数据进行障碍物检测，得到雷达障碍物在所述雷达对应的雷达坐标系下的坐标；
坐标转换单元，用于基于预先获得的所述雷达在所述参考坐标系下的坐标，以及所述雷达障碍物在所述雷达对应的雷达坐标系下的坐标，确定所述目标区域内的雷达障碍物在所述参考坐标系下的雷达障碍物位置。
根据本申请提供的一种障碍物检测装置，所述障碍物融合单元，具体包括：
跨传感器匹配单元，用于将所述视觉障碍物的视觉障碍物位置和所述雷达障碍物的雷达障碍物位置进行匹配；
信息融合单元，用于将视觉障碍物的类别信息作为所述目标区域内障碍物的类别信息，并将与所述视觉障碍物匹配的雷达障碍物的雷达障碍物位置作为所述目标区域内障碍物的障碍物位置。
本申请还提供一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述任一种所述障碍物检测方法的步骤。
本申请还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述障碍物检测方法的步骤。
本申请提供的障碍物检测方法、装置、电子设备和存储介质，通过设置第一摄像头、第二摄像头和雷达进行障碍物检测，其中，第一摄像头和第二摄像头的可视化区域存在重叠区域，且目标区域位于重叠区域内，雷达的有效区域覆盖目标区域，从而将视觉障碍物的障碍物信息和雷达障碍物的障碍物信息进行融合，综合了多种传感器的优势，能够实现更全面、更准确的障碍物检测，且该障碍物检测方法的适用范围也更广。
附图说明
为了更清楚地说明本申请或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请提供的障碍物检测方法的流程示意图之一；
图2为本申请提供的传感器安装位置的示意图；
图3为本申请提供的图像目标检测方法的流程示意图；
图4为本申请提供的感兴趣区域获取方法的流程示意图；
图5为本申请提供的雷达目标检测方法的流程示意图；
图6为本申请提供的障碍物融合方法的流程示意图；
图7为本申请提供的障碍物检测方法的流程示意图之二；
图8为本申请提供的障碍物检测装置的结构示意图；
图9为本申请提供的图像障碍物检测单元的结构示意图；
图10为本申请提供的障碍物检测子单元的结构示意图；
图11为本申请提供的雷达障碍物检测单元的结构示意图；
图12为本申请提供的障碍物融合单元的结构示意图；
图13为本申请提供的电子设备的结构示意图；
附图标记：
101：第一摄像头； 102：第二摄像头；
103：雷达； 104：目标区域。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请中的附图，对本申请中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
图1为本申请实施例提供的障碍物检测方法的流程示意图之一，如图1所示，该方法包括：
步骤110，基于第一摄像头和第二摄像头分别采集的图像数据进行障碍物检测，得到目标区域内的视觉障碍物的类别信息以及参考坐标系下的视觉障碍物位置；
步骤120，基于雷达采集的雷达数据进行障碍物检测，得到目标区域内的雷达障碍物在参考坐标系下的雷达障碍物位置；
步骤130，基于视觉障碍物位置和雷达障碍物位置，对视觉障碍物和雷达障碍物进行融合，得到目标区域内障碍物的类别信息以及障碍物位置；
其中，第一摄像头和第二摄像头的可视化区域存在重叠区域，且目标区域位于重叠区域内；雷达的有效区域覆盖目标区域。
此处，目标区域为需要进行障碍物检测和告警的区域。目标区域可以根据实际应用场景进行设定，例如自动驾驶场景下，目标区域可以为车辆车身附近的区域，如盲区，在安保系统中，目标区域可以是关键设施周边的区域，如电力设备周围等，本发明实施例对此不作具体限定。
为了提高障碍物检测方法的适用范围，本申请实施例设置了两个摄像头，即第一摄像头和第二摄像头，与雷达传感器共同进行障碍物检测。此处，摄像头和雷达的安装位置仅需满足可视化区域或有效区域覆盖目标区域的条件即可，因此可以适用于多种障碍物检测的场景。图2为本申请实施例提供的传感器安装位置的示意图，如图2所示，以自动驾驶场景为例，将车身旁边的盲区作为目标区域104，第一摄像头101和第二摄像头102的可视化区域存在重叠区域，且目标区域104位于重叠区域内，雷达103的有效区域覆盖目标区域104，以探测目标区域104内的障碍物。此处，第一摄像头和第二摄像头可以由两个单目相机提供，雷达可以为雷达阵列，例如超声波雷达阵列、激光雷达阵列等。需要说明的是，此处“第一”和“第二”仅用于对两个摄像头进行区分。两个摄像头中的任一摄像头为第一摄像头，另一摄像头为第二摄像头。
进行障碍物检测时，一方面利用第一摄像头和第二摄像头分别进行目标区域的图像采集，并基于采集的图像数据进行障碍物检测，得到目标区域内的视觉障碍物的类别信息和参考坐标系下的视觉障碍物位置；另一方面利用雷达采集的雷达数据进行障碍物检测，得到目标区域内的雷达障碍物在参考坐标系下的雷达障碍物位置。其中，视觉障碍物为利用摄像头采集的图像中的视觉信息进行目标检测后获得的障碍物，雷达障碍物为利用雷达采集的雷达数据进行目标检测后获得的障碍物。此处，可以采用深度学习的方式实现障碍物检测，以提高障碍物检测的准确性。
基于图像数据检测到视觉障碍物后，获取视觉障碍物在参考坐标系下的视觉障碍物位置。此处，可以依据视觉障碍物分别在第一摄像头和第二摄像头采集的图像数据中的位置进行障碍物测距，得到视觉障碍物在参考坐标系下的视觉障碍物位置。另外，获取基于雷达数据检测到的雷达障碍物在参考坐标系下的雷达障碍物位置。此处，参考坐标系用于将视觉障碍物与雷达探测的障碍物建立关联。将视觉障碍物和雷达障碍物的位置统一转换到同一参考坐标系下，可以将对应同一目标的视觉障碍物和雷达障碍物关联起来，以进行后续的障碍物信息融合。由于摄像头和雷达在安装完毕后即固定不动，因此可以选择与摄像头和雷达相对静止的对象建立参考坐标系，例如，如图2所示，可以以车身后轴中点为原点构建车体坐标系，作为参考坐标系。
根据视觉障碍物的视觉障碍物位置和雷达障碍物的雷达障碍物位置，将对应同一障碍物目标的视觉障碍物和雷达障碍物的障碍物信息融合，综合了图像目标检测可以获取障碍物类别信息，以及雷达目标检测可以获取更准确的障碍物位置信息的优势，从而得到目标区域内障碍物准确的类别信息以及障碍物位置。此处，障碍物位置可以是目标区域内的障碍物在参考坐标系下的相对位置，也可以是目标区域内的障碍物在世界坐标系下的绝对位置，本申请实施例对此不作具体限定。
本申请实施例提供的方法，通过设置第一摄像头、第二摄像头和雷达进行障碍物检测，其中，第一摄像头和第二摄像头的可视化区域存在重叠区域，且目标区域位于重叠区域内，雷达的有效区域覆盖目标区域，从而将视觉障碍物的障碍物信息和雷达障碍物的障碍物信息进行融合，综合了多种传感器的优势，能够实现更全面、更准确的障碍物检测，且该障碍物检测方法的适用范围也更广。
基于上述实施例，图3为本申请实施例提供的图像目标检测方法的流程示意图，如图3所示，步骤110具体包括：
步骤111，分别基于第一摄像头采集的第一图像数据和第二摄像头采集的第二图像数据进行障碍物检测，得到目标区域内的第一障碍物的类别信息和第一感兴趣区域，以及第二障碍物的类别信息和第二感兴趣区域；
步骤112，基于第一感兴趣区域和第二感兴趣区域，将第一障碍物与第二障碍物进行匹配；
步骤113，基于匹配的第一障碍物和第二障碍物的类别信息，确定目标区域内的视觉障碍物的类别信息；
步骤114，基于匹配的第一障碍物和第二障碍物分别在第一图像数据和第二图像数据中的位置，以及第一摄像头和第二摄像头在参考坐标系下的位置，确定目标区域内的视觉障碍物在参考坐标系下的视觉障碍物位置。
具体地，基于第一摄像头采集的第一图像数据和第二摄像头采集的第二图像数据，分别进行障碍物检测，得到目标区域内的第一障碍物的类别信息和第一感兴趣区域，以及第二障碍物的类别信息和第二感兴趣区域。其中，第一障碍物为基于第一图像数据进行障碍物检测后得到的目标区域内的障碍物，第二障碍物为基于第二图像数据进行障碍物检测后得到的目标区域内的障碍物。
基于第一障碍物的第一感兴趣区域和第二障碍物的第二感兴趣区域，将第一障碍物与第二障碍物进行匹配。此处，可以利用图像匹配方式，分别提取第一感兴趣区域的图像特征和第二感兴趣区域的图像特征。此处，特征的维度可以根据摄像头实际采集的图像确定，通常可以设置为2的n次方。然后，计算第一感兴趣区域的图像特征和第二感兴趣区域的图像特征之间的距离，例如欧氏距离。当第一感兴趣区域的图像特征和第二感兴趣区域的图像特征之间的距离小于预设距离阈值时，即匹配成功。
若第一障碍物与第二障碍物匹配成功，即表明第一障碍物和第二障碍物实际对应同一个视觉障碍物。此时，可以基于匹配的第一障碍物和第二障碍物的类别信息，确定目标区域内的视觉障碍物的类别信息。此处，由于第一障碍物和第二障碍物实际对应同一视觉障碍物，因此第一障碍物和第二障碍物的类别信息通常是相同的，故可以任意选择第一障碍物或第二障碍物的类别信息作为目标区域内的该视觉障碍物的类别信息。若第一障碍物和第二障碍物的类别信息不同，还可以根据第一障碍物的类别信息对应的得分，以及第二障碍物的类别信息对应的得分，选择得分较高的类别信息作为该视觉障碍物的类别信息。
此外，还可以基于双目测距算法计算该视觉障碍物在参考坐标系下的视觉障碍物位置。具体而言，可以基于匹配的第一障碍物和第二障碍物分别在第一图像数据和第二图像数据中的位置，以及第一摄像头和第二摄像头的标定参数，利用双目测距原理获取第一障碍物和第二障碍物共同对应的视觉障碍物在相机坐标系下的坐标。再结合第一摄像头和第二摄像头在参考坐标系下的安装位置，即可将目标区域内的视觉障碍物在相机坐标下的坐标转换到参考坐标系下，得到该视觉障碍物的视觉障碍物位置。
需要说明的是，本发明实施例不对步骤113和步骤114的执行顺序做具体限定，步骤113可以在步骤114之前或之后执行，也可以与步骤114同步执行。
本申请实施例提供的方法，通过将第一障碍物与第二障碍物进行匹配，并基于匹配的第一障碍物和第二障碍物的类别信息以及在第一图像数据和第二图像数据中的位置，可以提高目标区域内视觉障碍物的类别信息和障碍物位置的准确性。
基于上述任一实施例，图4为本申请实施例提供的感兴趣区域获取方法的流程示意图，如图4所示，步骤111具体包括：
步骤1111，基于对应图像数据进行障碍物检测，得到障碍物的类别信息及其在对应摄像头的图像坐标系下的图像检测框；
步骤1112，基于目标区域的各角点在该图像坐标系下的坐标，以及图像检测框的中心点坐标，确定对应图像数据中处于目标区域内的对应障碍物及其类别信息；
步骤1113，基于对应障碍物的图像检测框，确定对应障碍物在对应图像数据中的对应感兴趣区域。
具体地，首先利用基于图像的目标检测方法对对应图像数据进行障碍物检测，得到障碍物的类别信息及其在对应摄像头的图像坐标系下的图像检测框。此处，对应图像数据为第一图像数据或第二图像数据，相应地，对应摄像头为第一摄像头或第二摄像头。图像检测框为包含障碍物的二维目标检测框。
基于目标区域的各角点在该图像坐标系下的坐标，以及图像检测框的中心点坐标，可以确定对应图像数据中处于目标区域内的对应障碍物及其类别信息。此处，目标区域的各角点在对应摄像头的图像坐标系下的坐标可以预先标定得到，也可以手动通过鼠标从图像数据中选取得到，还可以利用图像处理算法识别出对应摄像头采集的图像数据中目标区域轮廓，从而得到各角点在该图像坐标系下的坐标，本申请实施例对此不作具体限定。根据目标区域的各角点以及各障碍物的图像检测框中心点在同一图像坐标系下的坐标，即可判定各个障碍物是否处于目标区域内，从而可以得到对应图像数据中处于目标区域内的对应障碍物及其类别信息。基于对应障碍物的图像检测框在对应图像数据中的位置，即可圈定出对应障碍物在对应图像数据中的对应感兴趣区域。此处，对应障碍物为第一障碍物或第二障碍物。相应地，对应感兴趣区域为第一感兴趣区域或第二感兴趣区域。
基于上述任一实施例，图5为本申请实施例提供的雷达目标检测方法的流程示意图，如图5所示，步骤120具体包括：
步骤121，基于雷达采集的雷达数据进行障碍物检测，得到雷达障碍物在雷达对应的雷达坐标系下的坐标；
步骤122，基于预先获得的雷达在参考坐标系下的坐标，以及雷达障碍物在雷达对应的雷达坐标系下的坐标，确定目标区域内的雷达障碍物在参考坐标系下的雷达障碍物位置。
具体地，根据雷达采集的雷达数据进行目标区域的障碍物检测，可以得到目标区域内各雷达障碍物在雷达对应的雷达坐标系下的坐标。此处，若存在多个雷达组成的雷达阵列，则可以获取每个雷达探测得到的雷达障碍物在对应雷达的雷达坐标系下的坐标。由于雷达安装完毕后即固定不动，因此可以预先获得各个雷达在参考坐标系下的坐标，从而建立各个雷达的雷达坐标系与参考坐标系的坐标转换关系，进而将各个雷达障碍物在对应雷达坐标下的坐标转换到参考坐标系下，得到目标区域内的雷达障碍物在参考坐标系下的雷达障碍物位置。此时，若多个雷达探测到同一障碍物，还可以基于各个雷达探测的雷达障碍物的雷达障碍物位置，将各雷达探测的对应同一真实障碍物的雷达障碍物的雷达障碍物位置融合。
基于上述任一实施例，图6为本申请实施例提供的障碍物融合方法的流程示意图，如图6所示，步骤130具体包括：
步骤131，将视觉障碍物的视觉障碍物位置和雷达障碍物的雷达障碍物位置进行匹配；
步骤132，将视觉障碍物的类别信息作为目标区域内障碍物的类别信息，并将与视觉障碍物匹配的雷达障碍物的雷达障碍物位置作为目标区域内障碍物的障碍物位置。
具体地，为了将对应同一障碍物目标的视觉障碍物和雷达障碍物的障碍物信息融合，考虑到利用不同方式获取的同一障碍目标的位置信息之间差异较小，因此可以将视觉障碍物的视觉障碍物位置和雷达障碍物的雷达障碍物位置进行匹配。若视觉障碍物位置和雷达障碍物位置间的差异处于预设的误差区间内，即匹配成功，表明视觉障碍物位置对应的视觉障碍物与雷达障碍物位置对应的雷达障碍物实质上对应同一真实障碍物目标。
此时，可以将视觉障碍物的类别信息作为目标区域内障碍物的类别信息，以丰富目标区域内的障碍物信息。另外，由于利用第一摄像头和第二摄像头的图像数据进行双目测距的方式，容易受到摄像头标定误差的影响，故障碍物位置获取的准确性相对于雷达的障碍物位置获取的准确性较低，因此可以选取与视觉障碍物匹配的雷达障碍物的雷达障碍物位置，作为目标区域内障碍物的障碍物位置，以提高障碍物位置的准确性。
基于上述任一实施例，图7为本申请实施例提供的障碍物检测方法的流程示意图之二，如图7所示，该方法包括：
第一摄像头和第二摄像头分别采集图像数据，并基于深度学习分别进行障碍物目标检测，得到第一摄像头的图像坐标系下各个障碍物的图像检测框及类别信息，以及第二摄像头的图像坐标系下各个障碍物的图像检测框及类别信息。
基于第一摄像头的图像坐标系下各个障碍物的图像检测框，计算各个障碍物在该图像坐标系下的中心点；基于第二摄像头的图像坐标系下各个障碍物的图像检测框，计算各个障碍物在该图像坐标系下的中心点。
基于目标区域各角点在对应图像坐标系下的图像坐标，利用图像处理算法判断障碍物中心点是否在目标区域中。
然后，获取目标区域中的第一障碍物的ROI图像，以及第二障碍物的ROI图像。
通过特征提取网络提取第一障碍物的ROI图像以及第二障碍物的ROI图像的图像特征，并基于L2范数计算第一障碍物的图像特征和第二障碍物的图像特征的距离。
若上述距离小于预设的距离阈值，则判断第一障碍物和第二障碍物是同一目标。随即，基于双目测距算法计算目标区域内各个视觉障碍物在参考坐标系下的坐标。
另外，利用多组超声波雷达获取雷达数据并进行障碍物检测，得到目标区域内各雷达障碍物在每个雷达坐标系下的位置。
获取每个超声波雷达在参考坐标系下的位置。其中，该位置可在安装超声波雷达时获知。
基于目标区域内各雷达障碍物在每个雷达坐标系下的位置，以及每个超声波雷达在参考坐标系下的位置，确定各个雷达障碍物在参考坐标系下的坐标。
将各个视觉障碍物在参考坐标系下的坐标和各个雷达障碍物在参考坐标系下的坐标进行融合，获得目标区域内障碍物的类别信息以及世界坐标系下的障碍物位置。
下面对本申请提供的障碍物检测装置进行描述，下文描述的障碍物检测装置与上文描述的障碍物检测方法可相互对应参照。
基于上述任一实施例，图8为本申请实施例提供的障碍物检测装置的结构示意图，如图8所示，该装置包括：图像障碍物检测单元810、雷达障碍物检测单元820和障碍物融合单元830。
其中，图像障碍物检测单元810用于基于第一摄像头和第二摄像头分别采集的图像数据进行障碍物检测，得到目标区域内的视觉障碍物的类别信息以及参考坐标系下的视觉障碍物位置；
雷达障碍物检测单元820用于基于雷达采集的雷达数据进行障碍物检测，得到目标区域内的雷达障碍物在参考坐标系下的雷达障碍物位置；
障碍物融合单元830用于基于视觉障碍物位置和雷达障碍物位置，对视觉障碍物和雷达障碍物进行融合，得到目标区域内障碍物的类别信息以及障碍物位置；
其中，第一摄像头和第二摄像头的可视化区域存在重叠区域，且目标区域位于重叠区域内；雷达的有效区域覆盖目标区域。
本申请实施例提供的装置，通过设置第一摄像头、第二摄像头和雷达进行障碍物检测，其中，第一摄像头和第二摄像头的可视化区域存在重叠区域，且目标区域位于重叠区域内，雷达的有效区域覆盖目标区域，从而将视觉障碍物的障碍物信息和雷达障碍物的障碍物信息进行融合，综合了多种传感器的优势，能够实现更全面、更准确的障碍物检测，且该障碍物检测方法的适用范围也更广。
基于上述任一实施例，图9为本申请实施例提供的图像障碍物检测单元的结构示意图，如图9所示，图像障碍物检测单元810具体包括：
障碍物检测子单元811，用于分别基于第一摄像头采集的第一图像数据和第二摄像头采集的第二图像数据进行障碍物检测，得到目标区域内的第一障碍物的类别信息和第一感兴趣区域，以及第二障碍物的类别信息和第二感兴趣区域；
匹配单元812，用于基于第一感兴趣区域和第二感兴趣区域，将第一障碍物与第二障碍物进行匹配；
类别确定单元813，用于基于匹配的第一障碍物和第二障碍物的类别信息，确定目标区域内的视觉障碍物的类别信息；
位置确定单元814，用于基于匹配的第一障碍物和第二障碍物分别在第一图像数据和第二图像数据中的位置，以及第一摄像头和第二摄像头在参考坐标系下的位置，确定目标区域内的视觉障碍物在参考坐标系下的视觉障碍物位置。
本申请实施例提供的装置，通过将第一障碍物与第二障碍物进行匹配，并基于匹配的第一障碍物和第二障碍物的类别信息以及在第一图像数据和第二图像数据中的位置，可以提高目标区域内视觉障碍物的类别信息和障碍物位置的准确性。
基于上述任一实施例，图10为本申请实施例提供的障碍物检测子单元的结构示意图，如图10所示，障碍物检测子单元811具体包括：
目标检测模块8111，用于基于对应图像数据进行障碍物检测，得到障碍物的类别信息及其在对应摄像头的图像坐标系下的图像检测框；
目标区域障碍物获取模块8112，用于基于目标区域的各角点在图像坐标系下的坐标，以及图像检测框的中心点坐标，确定对应图像数据中处于目标区域内的对应障碍物及其类别信息；
感兴趣区域确定模块8113，用于基于对应障碍物的图像检测框，确定对应障碍物在对应图像数据中的对应感兴趣区域。
基于上述任一实施例，图11为本申请实施例提供的雷达障碍物检测单元的结构示意图，如图11所示，雷达障碍物检测单元820具体包括：
雷达检测子单元821，用于基于雷达采集的雷达数据进行障碍物检测，得到雷达障碍物在雷达对应的雷达坐标系下的坐标；
坐标转换单元822，用于基于预先获得的雷达在参考坐标系下的坐标，以及雷达障碍物在雷达对应的雷达坐标系下的坐标，确定目标区域内的雷达障碍物在参考坐标系下的雷达障碍物位置。
基于上述任一实施例，图12为本申请实施例提供的障碍物融合单元的结构示意图，如图12所示，障碍物融合单元830具体包括：
跨传感器匹配单元831，用于将视觉障碍物的视觉障碍物位置和雷达障碍物的雷达障碍物位置进行匹配；
信息融合单元832，用于将视觉障碍物的类别信息作为目标区域内障碍物的类别信息，并将与视觉障碍物匹配的雷达障碍物的雷达障碍物位置作为目标区域内障碍物的障碍物位置。
本申请实施例提供的障碍物检测装置用于执行上述障碍物检测方法，其实施方式与本申请提供的障碍物检测方法的实施方式一致，且可以达到相同的有益效果，此处不再赘述。
图13示例了一种电子设备的实体结构示意图，如图13所示，该电子设备可以包括：处理器(processor)1310、通信接口(Communications Interface)1320、存储器(memory)1330和通信总线1340，其中，处理器1310，通信接口1320，存储器1330通过通信总线1340完成相互间的通信。处理器1310可以调用存储器1330中的逻辑指令，以执行障碍物检测方法，该方法包括：基于第一摄像头和第二摄像头分别采集的图像数据进行障碍物检测，得到目标区域内的视觉障碍物的类别信息以及参考坐标系下的视觉障碍物位置；基于雷达采集的雷达数据进行障碍物检测，得到所述目标区域内的雷达障碍物在所述参考坐标系下的雷达障碍物位置；基于所述视觉障碍物位置和所述雷达障碍物位置，对所述视觉障碍物和所述雷达障碍物进行融合，得到所述目标区域内障碍物的类别信息以及障碍物位置；其中，所述第一摄像头和所述第二摄像头的可视化区域存在重叠区域，且所述目标区域位于所述重叠区域内；所述雷达的有效区域覆盖所述目标区域。
此外，上述的存储器1330中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
本申请实施例提供的电子设备中的处理器1310可以调用存储器1330中的逻辑指令，实现上述障碍物检测方法，其实施方式与本申请提供的障碍物检测方法的实施方式一致，且可以达到相同的有益效果，此处不再赘述。
另一方面，本申请还提供一种计算机程序产品，下面对本申请提供的计算机程序产品进行描述，下文描述的计算机程序产品与上文描述的障碍物检测方法可相互对应参照。
所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法所提供的障碍物检测方法，该方法包括：基于第一摄像头和第二摄像头分别采集的图像数据进行障碍物检测，得到目标区域内的视觉障碍物的类别信息以及参考坐标系下的视觉障碍物位置；基于雷达采集的雷达数据进行障碍物检测，得到所述目标区域内的雷达障碍物在所述参考坐标系下的雷达障碍物位置；基于所述视觉障碍物位置和所述雷达障碍物位置，对所述视觉障碍物和所述雷达障碍物进行融合，得到所述目标区域内障碍物的类别信息以及障碍物位置；其中，所述第一摄像头和所述第二摄像头的可视化区域存在重叠区域，且所述目标区域位于所述重叠区域内；所述雷达的有效区域覆盖所述目标区域。
本申请实施例提供的计算机程序产品被执行时，实现上述障碍物检测方法，其实施方式与本申请提供的障碍物检测方法的实施方式一致，且可以达到相同的有益效果，此处不再赘述。
又一方面，本申请还提供一种非暂态计算机可读存储介质，下面对本申请提供的非暂态计算机可读存储介质进行描述，下文描述的非暂态计算机可读存储介质与上文描述的障碍物检测方法可相互对应参照。
本申请还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各提供的障碍物检测方法，该方法包括：基于第一摄像头和第二摄像头分别采集的图像数据进行障碍物检测，得到目标区域内的视觉障碍物的类别信息以及参考坐标系下的视觉障碍物位置；基于雷达采集的雷达数据进行障碍物检测，得到所述目标区域内的雷达障碍物在所述参考坐标系下的雷达障碍物位置；基于所述视觉障碍物位置和所述雷达障碍物位置，对所述视觉障碍物和所述雷达障碍物进行融合，得到所述目标区域内障碍物的类别信息以及障碍物位置；其中，所述第一摄像头和所述第二摄像头的可视化区域存在重叠区域，且所述目标区域位于所述重叠区域内；所述雷达的有效区域覆盖所述目标区域。
本申请实施例提供的非暂态计算机可读存储介质上存储的计算机程序被执行时，实现上述障碍物检测方法，其实施方式与本申请提供的障碍物检测方法的实施方式一致，且可以达到相同的有益效果，此处不再赘述。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。
Claims (12)
1.一种障碍物检测方法，其特征在于，包括：
基于第一摄像头和第二摄像头分别采集的图像数据进行障碍物检测，得到目标区域内的视觉障碍物的类别信息以及参考坐标系下的视觉障碍物位置；
基于雷达采集的雷达数据进行障碍物检测，得到所述目标区域内的雷达障碍物在所述参考坐标系下的雷达障碍物位置；
基于所述视觉障碍物位置和所述雷达障碍物位置，对所述视觉障碍物和所述雷达障碍物进行融合，得到所述目标区域内障碍物的类别信息以及障碍物位置；
其中，所述第一摄像头和所述第二摄像头的可视化区域存在重叠区域，且所述目标区域位于所述重叠区域内；所述雷达的有效区域覆盖所述目标区域。
2.根据权利要求1所述的障碍物检测方法，其特征在于，所述基于第一摄像头和第二摄像头分别采集的图像数据进行障碍物检测，得到目标区域内的视觉障碍物的类别信息以及参考坐标系下的视觉障碍物位置，具体包括：
分别基于所述第一摄像头采集的第一图像数据和所述第二摄像头采集的第二图像数据进行障碍物检测，得到所述目标区域内的第一障碍物的类别信息和第一感兴趣区域，以及第二障碍物的类别信息和第二感兴趣区域；
基于所述第一感兴趣区域和所述第二感兴趣区域，将所述第一障碍物与所述第二障碍物进行匹配；
基于匹配的第一障碍物和第二障碍物的类别信息，确定所述目标区域内的视觉障碍物的类别信息；
基于匹配的第一障碍物和第二障碍物分别在所述第一图像数据和所述第二图像数据中的位置，以及所述第一摄像头和所述第二摄像头在所述参考坐标系下的位置，确定所述目标区域内的视觉障碍物在所述参考坐标系下的视觉障碍物位置。
3.根据权利要求2所述的障碍物检测方法，其特征在于，所述分别基于所述第一摄像头采集的第一图像数据和所述第二摄像头采集的第二图像数据进行障碍物检测，得到所述目标区域内的第一障碍物的类别信息和第一感兴趣区域，以及第二障碍物的类别信息和第二感兴趣区域，具体包括：
基于对应图像数据进行障碍物检测，得到障碍物的类别信息及其在对应摄像头的图像坐标系下的图像检测框；
基于所述目标区域的各角点在所述图像坐标系下的坐标，以及所述图像检测框的中心点坐标，确定所述对应图像数据中处于目标区域内的对应障碍物及其类别信息；
基于所述对应障碍物的图像检测框，确定所述对应障碍物在所述对应图像数据中的对应感兴趣区域。
4.根据权利要求1所述的障碍物检测方法，其特征在于，所述基于雷达采集的雷达数据进行障碍物检测，得到所述目标区域内的雷达障碍物在所述参考坐标系下的雷达障碍物位置，具体包括：
基于所述雷达采集的雷达数据进行障碍物检测，得到雷达障碍物在所述雷达对应的雷达坐标系下的坐标；
基于预先获得的所述雷达在所述参考坐标系下的坐标，以及所述雷达障碍物在所述雷达对应的雷达坐标系下的坐标，确定所述目标区域内的雷达障碍物在所述参考坐标系下的雷达障碍物位置。
5.根据权利要求1至4任一项所述的障碍物检测方法，其特征在于，所述基于所述视觉障碍物位置和所述雷达障碍物位置，对所述视觉障碍物和所述雷达障碍物进行融合，得到所述目标区域内障碍物的类别信息以及障碍物位置，具体包括：
将所述视觉障碍物的视觉障碍物位置和所述雷达障碍物的雷达障碍物位置进行匹配；
将视觉障碍物的类别信息作为所述目标区域内障碍物的类别信息，并将与所述视觉障碍物匹配的雷达障碍物的雷达障碍物位置作为所述目标区域内障碍物的障碍物位置。
6.一种障碍物检测装置，其特征在于，包括：
图像障碍物检测单元，用于基于第一摄像头和第二摄像头分别采集的图像数据进行障碍物检测，得到目标区域内的视觉障碍物的类别信息以及参考坐标系下的视觉障碍物位置；
雷达障碍物检测单元，用于基于雷达采集的雷达数据进行障碍物检测，得到所述目标区域内的雷达障碍物在所述参考坐标系下的雷达障碍物位置；
障碍物融合单元，用于基于所述视觉障碍物位置和所述雷达障碍物位置，对所述视觉障碍物和所述雷达障碍物进行融合，得到所述目标区域内障碍物的类别信息以及障碍物位置；
其中，所述第一摄像头和所述第二摄像头的可视化区域存在重叠区域，且所述目标区域位于所述重叠区域内；所述雷达的有效区域覆盖所述目标区域。
7.根据权利要求6所述的障碍物检测装置，其特征在于，所述图像障碍物检测单元，具体包括：
障碍物检测子单元，用于分别基于所述第一摄像头采集的第一图像数据和所述第二摄像头采集的第二图像数据进行障碍物检测，得到所述目标区域内的第一障碍物的类别信息和第一感兴趣区域，以及第二障碍物的类别信息和第二感兴趣区域；
匹配单元，用于基于所述第一感兴趣区域和所述第二感兴趣区域，将所述第一障碍物与所述第二障碍物进行匹配；
类别确定单元，用于基于匹配的第一障碍物和第二障碍物的类别信息，确定所述目标区域内的视觉障碍物的类别信息；
位置确定单元，用于基于匹配的第一障碍物和第二障碍物分别在所述第一图像数据和所述第二图像数据中的位置，以及所述第一摄像头和所述第二摄像头在所述参考坐标系下的位置，确定所述目标区域内的视觉障碍物在所述参考坐标系下的视觉障碍物位置。
8.根据权利要求7所述的障碍物检测装置，其特征在于，所述障碍物检测子单元，具体包括：
目标检测模块，用于基于对应图像数据进行障碍物检测，得到障碍物的类别信息及其在对应摄像头的图像坐标系下的图像检测框；
目标区域障碍物获取模块，用于基于所述目标区域的各角点在所述图像坐标系下的坐标，以及所述图像检测框的中心点坐标，确定所述对应图像数据中处于目标区域内的对应障碍物及其类别信息；
感兴趣区域确定模块，用于基于所述对应障碍物的图像检测框，确定所述对应障碍物在所述对应图像数据中的对应感兴趣区域。
9.根据权利要求6所述的障碍物检测装置，其特征在于，所述雷达障碍物检测单元，具体包括：
雷达检测子单元，用于基于所述雷达采集的雷达数据进行障碍物检测，得到雷达障碍物在所述雷达对应的雷达坐标系下的坐标；
坐标转换单元，用于基于预先获得的所述雷达在所述参考坐标系下的坐标，以及所述雷达障碍物在所述雷达对应的雷达坐标系下的坐标，确定所述目标区域内的雷达障碍物在所述参考坐标系下的雷达障碍物位置。
10.根据权利要求6至9任一项所述的障碍物检测装置，其特征在于，所述障碍物融合单元，具体包括：
跨传感器匹配单元，用于将所述视觉障碍物的视觉障碍物位置和所述雷达障碍物的雷达障碍物位置进行匹配；
信息融合单元，用于将视觉障碍物的类别信息作为所述目标区域内障碍物的类别信息，并将与所述视觉障碍物匹配的雷达障碍物的雷达障碍物位置作为所述目标区域内障碍物的障碍物位置。
11.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至5任一项所述障碍物检测方法的步骤。
12.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至5任一项所述障碍物检测方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011615468.3A CN112651359A (zh) | 2020-12-30 | 2020-12-30 | 障碍物检测方法、装置、电子设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011615468.3A CN112651359A (zh) | 2020-12-30 | 2020-12-30 | 障碍物检测方法、装置、电子设备和存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112651359A true CN112651359A (zh) | 2021-04-13 |
Family
ID=75364364
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011615468.3A Pending CN112651359A (zh) | 2020-12-30 | 2020-12-30 | 障碍物检测方法、装置、电子设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112651359A (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113469130A (zh) * | 2021-07-23 | 2021-10-01 | 浙江大华技术股份有限公司 | 一种遮挡目标检测方法、装置、存储介质及电子装置 |
| CN113537047A (zh) * | 2021-07-14 | 2021-10-22 | 广东汇天航空航天科技有限公司 | 障碍物检测方法、装置、交通工具及存储介质 |
| CN113673569A (zh) * | 2021-07-21 | 2021-11-19 | 浙江大华技术股份有限公司 | 目标检测方法、装置、电子设备、存储介质 |
| CN113963327A (zh) * | 2021-09-06 | 2022-01-21 | 阿波罗智能技术(北京)有限公司 | 障碍物检测方法、装置、自动驾驶车辆、设备和存储介质 |
| CN114386481A (zh) * | 2021-12-14 | 2022-04-22 | 京东鲲鹏(江苏)科技有限公司 | 一种车辆感知信息融合方法、装置、设备及存储介质 |
| CN115223133A (zh) * | 2022-02-14 | 2022-10-21 | 广州汽车集团股份有限公司 | 泊车障碍物检测方法、检测装置、车辆及存储介质 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103487034A (zh) * | 2013-09-26 | 2014-01-01 | 北京航空航天大学 | 一种基于立式标靶的车载单目摄像头测距测高方法 |
| CN107966700A (zh) * | 2017-11-20 | 2018-04-27 | 天津大学 | 一种用于无人驾驶汽车的前方障碍物检测系统及方法 |
| CN109460709A (zh) * | 2018-10-12 | 2019-03-12 | 南京大学 | 基于rgb和d信息融合的rtg视觉障碍物检测的方法 |
| CN109583384A (zh) * | 2018-11-30 | 2019-04-05 | 百度在线网络技术（北京）有限公司 | 用于无人驾驶车的避障方法和装置 |
| CN110765922A (zh) * | 2019-10-18 | 2020-02-07 | 华南理工大学 | 一种agv用双目视觉物体检测障碍物系统 |
| CN111723723A (zh) * | 2020-06-16 | 2020-09-29 | 东软睿驰汽车技术（沈阳）有限公司 | 一种图像检测方法及装置 |
| CN111856448A (zh) * | 2020-07-02 | 2020-10-30 | 山东省科学院海洋仪器仪表研究所 | 基于双目视觉和雷达的海上障碍物识别方法及系统 |
-
2020
- 2020-12-30 CN CN202011615468.3A patent/CN112651359A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103487034A (zh) * | 2013-09-26 | 2014-01-01 | 北京航空航天大学 | 一种基于立式标靶的车载单目摄像头测距测高方法 |
| CN107966700A (zh) * | 2017-11-20 | 2018-04-27 | 天津大学 | 一种用于无人驾驶汽车的前方障碍物检测系统及方法 |
| CN109460709A (zh) * | 2018-10-12 | 2019-03-12 | 南京大学 | 基于rgb和d信息融合的rtg视觉障碍物检测的方法 |
| CN109583384A (zh) * | 2018-11-30 | 2019-04-05 | 百度在线网络技术（北京）有限公司 | 用于无人驾驶车的避障方法和装置 |
| CN110765922A (zh) * | 2019-10-18 | 2020-02-07 | 华南理工大学 | 一种agv用双目视觉物体检测障碍物系统 |
| CN111723723A (zh) * | 2020-06-16 | 2020-09-29 | 东软睿驰汽车技术（沈阳）有限公司 | 一种图像检测方法及装置 |
| CN111856448A (zh) * | 2020-07-02 | 2020-10-30 | 山东省科学院海洋仪器仪表研究所 | 基于双目视觉和雷达的海上障碍物识别方法及系统 |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113537047A (zh) * | 2021-07-14 | 2021-10-22 | 广东汇天航空航天科技有限公司 | 障碍物检测方法、装置、交通工具及存储介质 |
| CN113673569A (zh) * | 2021-07-21 | 2021-11-19 | 浙江大华技术股份有限公司 | 目标检测方法、装置、电子设备、存储介质 |
| CN113469130A (zh) * | 2021-07-23 | 2021-10-01 | 浙江大华技术股份有限公司 | 一种遮挡目标检测方法、装置、存储介质及电子装置 |
| CN113963327A (zh) * | 2021-09-06 | 2022-01-21 | 阿波罗智能技术(北京)有限公司 | 障碍物检测方法、装置、自动驾驶车辆、设备和存储介质 |
| CN113963327B (zh) * | 2021-09-06 | 2023-09-08 | 阿波罗智能技术(北京)有限公司 | 障碍物检测方法、装置、自动驾驶车辆、设备和存储介质 |
| CN114386481A (zh) * | 2021-12-14 | 2022-04-22 | 京东鲲鹏(江苏)科技有限公司 | 一种车辆感知信息融合方法、装置、设备及存储介质 |
| CN115223133A (zh) * | 2022-02-14 | 2022-10-21 | 广州汽车集团股份有限公司 | 泊车障碍物检测方法、检测装置、车辆及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112651359A (zh) | 障碍物检测方法、装置、电子设备和存储介质 | |
| CN107738612B (zh) | 基于全景视觉辅助系统的自动泊车停车位检测与识别系统 | |
| US10217007B2 (en) | Detecting method and device of obstacles based on disparity map and automobile driving assistance system | |
| EP3007099B1 (en) | Image recognition system for a vehicle and corresponding method | |
| EP3528209A1 (en) | Method and device for determining external parameter of stereoscopic camera | |
| CN111753609B (zh) | 一种目标识别的方法、装置及摄像机 | |
| EP2150053B1 (en) | Vehicle periphery monitoring system, vehicle periphery monitoring program and vehicle periphery monitoring method | |
| CN108028023A (zh) | 信息处理装置、信息处理方法和程序 | |
| CN112528773B (zh) | 障碍物信息融合方法、装置、电子设备和存储介质 | |
| CN104902246A (zh) | 视频监视方法和装置 | |
| CN112528771A (zh) | 障碍物检测方法、装置、电子设备及存储介质 | |
| CN112541416B (zh) | 跨雷达障碍物跟踪方法、装置、电子设备和存储介质 | |
| CN107885224A (zh) | 基于三目立体视觉的无人机避障方法 | |
| JP4102885B2 (ja) | 駐車車両検知方法及び駐車車両検知システム | |
| CN112802092B (zh) | 一种障碍物感知方法、装置以及电子设备 | |
| CN111680574B (zh) | 一种人脸检测方法、装置、电子设备和存储介质 | |
| CN113869268A (zh) | 障碍物测距方法、装置、电子设备及可读介质 | |
| CN107886544A (zh) | 用于车辆标定的图像采集控制方法和装置 | |
| CN108399360B (zh) | 一种连续型障碍物检测方法、装置及终端 | |
| CN114821497A (zh) | 目标物位置的确定方法、装置、设备及存储介质 | |
| CN116778262B (zh) | 一种基于虚拟点云的三维目标检测方法和系统 | |
| CN113569812A (zh) | 未知障碍物的识别方法、装置和电子设备 | |
| CN112837404B (zh) | 一种平面对象的三维信息的构建方法及装置 | |
| CN117423087A (zh) | 三维目标检测方法、装置、终端及计算机可读存储介质 | |
| CN116692690A (zh) | 一种吊车防撞预警方法、装置、设备及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210413 |