CN113920487A - 障碍物探测处理方法、装置及系统 - Google Patents

障碍物探测处理方法、装置及系统 Download PDF

Info

Publication number
CN113920487A
CN113920487A CN202111175684.5A CN202111175684A CN113920487A CN 113920487 A CN113920487 A CN 113920487A CN 202111175684 A CN202111175684 A CN 202111175684A CN 113920487 A CN113920487 A CN 113920487A
Authority
CN
China
Prior art keywords
obstacle
image data
point cloud
initial
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111175684.5A
Other languages
English (en)
Inventor
赵德力
郭均浩
姚绍威
陈君毅
谷靖
陶永康
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Huitian Aerospace Technology Co Ltd
Original Assignee
Guangdong Huitian Aerospace Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Huitian Aerospace Technology Co Ltd filed Critical Guangdong Huitian Aerospace Technology Co Ltd
Priority to CN202111175684.5A priority Critical patent/CN113920487A/zh
Publication of CN113920487A publication Critical patent/CN113920487A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/933—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of aircraft or spacecraft
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Data Mining & Analysis (AREA)
  • Electromagnetism (AREA)
  • Theoretical Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

本申请涉及一种障碍物探测处理方法、装置及系统。该障碍物探测处理方法，包括：获取雷达探测的初始点云数据和相机探测的初始图像数据；对所述初始点云数据进行聚类处理，获得待补充障碍物点云数据；将所述待补充障碍物点云数据转换为待补充障碍物图像数据；将所述待补充障碍物图像数据与所述初始图像数据进行匹配，得到完整障碍物图像数据；将所述完整障碍物图像数据转换为完整障碍物点云数据，根据所述完整障碍物点云数据确定障碍物轮廓。本申请提供的方案，能够更准确探测出障碍物的轮廓。

Description

障碍物探测处理方法、装置及系统
技术领域
本申请涉及传感器处理技术领域，尤其涉及一种障碍物探测处理方法、装置及系统。
背景技术
目前，在飞行器或汽车等领域，都会采用传感器探测障碍物。其中，可以利用单目相机与激光雷达进行探测。
传统的单目相机与激光雷达主要是用于探测小型障碍物。路径规划只需要知道障碍物与车体或飞行器的相对位姿，并不需要获取障碍物的轮廓信息。相关技术中，一般会先联合标定好激光雷达以及相机，然后让激光雷达以及相机同时获取障碍物信息。其中，相机分辨率高，但无障碍物深度信息；激光雷达能获得障碍物三维信息，但分辨率没相机高，另外激光雷达在探测中远距离的大型障碍物时会出现点云不够密集或部分点丢失等情况。
但是，相关技术中激光雷达以及相机各自探测障碍物获得的数据都有不足，特别是遇到大型障碍物难以探测障碍物轮廓，无法获取准确的障碍物信息。
发明内容
为解决或部分解决相关技术中存在的问题，本申请提供一种障碍物探测处理方法、装置及系统，能够更准确探测出障碍物的轮廓。
本申请第一方面提供一种障碍物探测处理方法，包括：
获取雷达探测的初始点云数据和相机探测的初始图像数据；
对所述初始点云数据进行聚类处理，获得待补充障碍物点云数据；
将所述待补充障碍物点云数据转换为待补充障碍物图像数据；
将所述待补充障碍物图像数据与所述初始图像数据进行匹配，得到完整障碍物图像数据；
将所述完整障碍物图像数据转换为完整障碍物点云数据，根据所述完整障碍物点云数据确定障碍物轮廓。
在一种实施方式中，所述将所述待补充障碍物点云数据转换为待补充障碍物图像数据，包括：
根据所述雷达与所述相机的外参转换关系，将所述待补充障碍物点云数据转换为待补充障碍物图像数据。
在一种实施方式中，所述将所述完整障碍物图像数据转换为完整障碍物点云数据，包括：
根据所述相机与所述雷达的外参转换关系，将所述完整障碍物图像数据转换为完整障碍物点云数据。
在一种实施方式中，所述将所述待补充障碍物图像数据与所述初始图像数据进行匹配，得到完整障碍物图像数据，包括：
将所述初始图像数据进行视觉分割处理，确定所述初始图像数据中障碍物的边界；
将所述待补充障碍物图像数据与所述初始图像数据中障碍物的边界进行匹配，得到完整障碍物图像数据。
在一种实施方式中，所述外参转换关系根据所述雷达与所述相机的联合标定得到。
在一种实施方式中，所述雷达为激光雷达，所述相机为单目相机。
本申请第二方面提供一种障碍物探测处理装置，包括：
初始数据获取模块，用于获取雷达探测的初始点云数据和相机探测的初始图像数据；
聚类处理模块，用于对所述初始数据获取模块获取的初始点云数据进行聚类处理，获得待补充障碍物点云数据；
第一转换模块，用于将所述聚类处理模块得到的待补充障碍物点云数据转换为待补充障碍物图像数据；
图像匹配模块，将所述第一转换模块得到的待补充障碍物图像数据与所述初始数据获取模块获取的初始图像数据进行匹配，得到完整障碍物图像数据；
第二转换模块，用于将所述图像匹配模块得到的完整障碍物图像数据转换为完整障碍物点云数据，根据所述完整障碍物点云数据确定障碍物轮廓。
本申请第三方面提供一种障碍物探测处理系统，包括：
障碍物探测处理装置，用于获取雷达探测的初始点云数据和相机探测的初始图像数据；对所述初始点云数据进行聚类处理，获得待补充障碍物点云数据；将所述待补充障碍物点云数据转换为待补充障碍物图像数据；将所述待补充障碍物图像数据与所述初始图像数据进行匹配，得到完整障碍物图像数据；将所述完整障碍物图像数据转换为完整障碍物点云数据，根据所述完整障碍物点云数据确定障碍物轮廓；
雷达，用于向所述障碍物探测处理装置发送探测的初始点云数据；
相机，用于向所述障碍物探测处理装置发送探测的初始图像数据。
在一种实施方式中，所述障碍物探测处理装置将所述初始图像数据进行视觉分割处理，确定所述初始图像数据中障碍物的边界；
将所述待补充障碍物图像数据与所述初始图像数据中障碍物的边界进行匹配，得到完整障碍物图像数据。
本申请第四方面提供一种计算机可读存储介质，其上存储有可执行代码，当所述可执行代码被电子设备的处理器执行时，使所述处理器执行如上所述的方法。
本申请提供的技术方案可以包括以下有益效果：
本申请的方案，对雷达探测的初始点云数据进行聚类处理后，先获得待补充障碍物点云数据；将所述待补充障碍物点云数据转换为待补充障碍物图像数据；将所述待补充障碍物图像数据与相机探测的初始图像数据进行匹配，得到完整障碍物图像数据；然后将所述完整障碍物图像数据转换为完整障碍物点云数据，根据所述完整障碍物点云数据确定障碍物轮廓。通过上述处理，可以有效弥补大障碍物的点云信息不完整所带来的影响，并综合利用了相机的高分辨率特性和雷达的三维深度信息，两者优势可以互补，可以获取准确的障碍物信息，确定障碍物轮廓，使得障碍物信息的完整性得到保证，从而有利于路径规划模块根据障碍物轮廓规设计障路线，提高路径规划的有效性。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。
附图说明
通过结合附图对本申请示例性实施方式进行更详细地描述，本申请的上述以及其它目的、特征和优势将变得更加明显，其中，在本申请示例性实施方式中，相同的参考标号通常代表相同部件。
图1是本申请实施例示出的障碍物探测处理方法的流程示意图；
图2是本申请实施例示出的障碍物探测处理方法的另一流程示意图；
图3是本申请实施例示出的障碍物探测处理方法的应用流程示意图；
图4是本申请实施例示出的障碍物探测处理装置的结构示意图；
图5是本申请实施例示出的障碍物探测处理系统的结构示意图；
图6是本申请实施例示出的电子设备的结构示意图。
具体实施方式
下面将参照附图更详细地描述本申请的实施方式。虽然附图中显示了本申请的实施方式，然而应该理解，可以以各种形式实现本申请而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了使本申请更加透彻和完整，并且能够将本申请的范围完整地传达给本领域的技术人员。
在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解，尽管在本申请可能采用术语“第一”、“第二”、“第三”等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本申请的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
相关技术中，遇到大型障碍物难以探测障碍物轮廓，无法获取准确的障碍物信息。针对上述问题，本申请提供一种障碍物探测处理方法，能够更准确探测出障碍物的轮廓。
以下结合附图详细描述本申请实施例的技术方案。
图1是本申请实施例示出的障碍物探测处理方法的流程示意图。
参见图1，该方法包括：
在S101中，获取雷达探测的初始点云数据和相机探测的初始图像数据。
本申请的雷达可以是激光雷达，相机可以是单目相机。激光雷达可以获取三维点云信息，单目相机可以获取二维图像信息。
在S102中，对初始点云数据进行聚类处理，获得待补充障碍物点云数据。
该步骤可以利用聚类算法对初始点云数据进行聚类处理，遍历点云当中每一个点。对于远距离的障碍物，因为激光雷达分辨率有限，打在障碍物上的点云并不均匀密，不能准确还原障碍物轮廓。此时，可以标识这些障碍物信息为“待补充障碍物点云数据”(也可以称为“待补充障碍物点云信息”)。
在S103中，将待补充障碍物点云数据转换为待补充障碍物图像数据。
该步骤可以根据雷达与相机的外参转换关系，将待补充障碍物点云数据转换为待补充障碍物图像数据。其中外参转换关系可以根据雷达与相机的联合标定得到。
在S104中，将待补充障碍物图像数据与初始图像数据进行匹配，得到完整障碍物图像数据。
该步骤可以将初始图像数据进行视觉分割处理，确定初始图像数据中障碍物的边界；将待补充障碍物图像数据与初始图像数据中障碍物的边界进行匹配，得到完整障碍物图像数据。
在S105中，将完整障碍物图像数据转换为完整障碍物点云数据，根据完整障碍物点云数据确定障碍物轮廓。
该步骤中，可以根据相机与雷达的外参转换关系，将完整障碍物图像数据转换为完整障碍物点云数据。
对于远距离的障碍物，虽然初始打在障碍物上的点云并不均匀密，不能准确还原障碍物轮廓，但是经过处理得到完整障碍物点云数据后，这些点云可以均匀密布，就能比较准确还原障碍物轮廓。因此，可以根据完整障碍物点云数据确定障碍物轮廓，以供进行路径规划避障。
从该实施例可以看出，本申请的方案，可以有效弥补大障碍物的点云信息不完整所带来的影响，并综合利用了相机的高分辨率特性和雷达的三维深度信息，两者优势可以互补，可以获取准确的障碍物信息，确定障碍物轮廓，使得障碍物信息的完整性得到保证，从而有利于路径规划模块根据障碍物轮廓规设计障路线，提高路径规划的有效性。
以下进一步详细描述本申请方案，以下内容中以雷达为激光雷达，相机为单目相机举例说明但不局限于此。
图2是本申请实施例示出的障碍物探测处理方法的另一流程示意图，图3是本申请实施例示出的障碍物探测处理方法的应用流程示意图。
参见图2和图3，该方法包括：
在S201中，在激光雷达和单目相机进行联合标定后，获取激光雷达探测的初始点云数据和单目相机探测的初始图像数据。
单一传感器不可避免的存在局限性，为了提高系统的稳健性，一般可以采取多传感器融合的方案，融合又包含不同传感器的时间同步和空间同步。激光雷达和单目相机的联合标定属于空间同步。
该步骤对激光雷达和单目相机进行联合标定，可以得到单目相机与激光雷达之间的外参关系，从而使得后续补正能够用激光点云信息换算出其对应的视觉信息。需说明的是，可以采用相关技术方法对激光雷达和单目相机进行联合标定，本申请不加以限定。
该步骤通过对激光雷达和单目相机进行联合标定，并保证两者同步执行，分别采集获得大型障碍物的激光点云数据(称为初始点云数据)和序列图像(称为初始图像数据)。
在S202中，将激光雷达探测的初始点云数据和单目相机探测的初始图像数据进行融合，得到多传感器融合数据。
当通过联合标定确定外参关系后，对于激光雷达探测的初始点云数据和单目相机探测的初始图像数据，则可以进行信息融合，得到多传感器融合数据。信息融合可以包括点云到图像的融合和图像到点云的融合。
在S203中，对初始点云数据进行聚类处理，获得待补充障碍物点云数据。
对于激光点云，可以采用传统点云聚类算法找出障碍物。利用聚类算法遍历点云当中每一个点，并搜索其相邻的点；若它们之间的距离在一定阈值以内，可以认为这些点属于同一类障碍物。对于近距离的障碍物，激光点云能较为密集的打在上面，因此作聚类处理后的点云信息能准确的还原障碍物轮廓；但对于远距离的障碍物，因为激光雷达分辨率有限，打在障碍物上的点云并不均匀密，不能准确还原障碍物轮廓。此时，可以标识这些障碍物信息为“待补充障碍物点云数据”(也可以称为“待补充障碍物点云信息”)。
在S204中，根据激光雷达与单目相机的外参转换关系，将待补充障碍物点云数据转换为待补充障碍物图像数据。
该步骤中，将“待补充障碍物点云数据”经过外参转换，可以获得对应的“待补充障碍物图像数据”(也可以称为“待补充障碍物视觉信息”)。
其中，外参关系通过激光雷达与单目相机的联合标定过程可以得到，外参转换关系可以如下：
Figure BDA0003294979850000071
其中，xc、yc为视觉数据中角点的坐标，xl、yl、zl为激光点云中角点的坐标。zc为视觉数据归一化的参数，fx、yx为单目相机焦距，cx、cy为单目相机主点偏移。R为多传感器标定过程中确定的旋转矩阵R，t为多传感器标定过程中确定的平移矩阵T。R和t都是多传感器标定过程中确定的外参。
该步骤根据激光雷达与单目相机的外参转换关系，可以将待补充障碍物点云数据转换为待补充障碍物图像数据。
在S205中，将单目相机探测的初始图像数据进行视觉分割处理，确定初始图像数据中障碍物的边界。
对于单目相机视觉信息，可以进行基于边框的视觉分割处理，找取图像中区域(也就是障碍物)的边界。
视觉图像处理包括多种方式，例如可以包括语义分割。通过语义分割，能够将图像中的物体进行分类。语义分割的方法有多种，其中一种称为基于边框的视觉分割，它能通过找出物体的边框来实现语义分割。例如，假设某张图片，里面有一栋建筑物，建筑物与它的背景形成鲜明对比，而这种特征会重点体现在建筑物的边框上，通过找取边框，则可以将建筑物与背景区分开来。
该步骤，通过将单目相机探测的初始图像数据进行视觉分割处理，则可以确定初始图像数据中障碍物的边界。
需说明的是，步骤S203和S205可以同时分别执行。
在S206中，将待补充障碍物图像数据与初始图像数据中障碍物的边界进行匹配，得到完整障碍物图像数据。
通过上述的“待补充障碍物图像数据”与初始图像数据进行对比，可以知道该障碍物在视觉图像所处的区域，再根据该区域对应的边界则可以确定边界内的部分即为完整的障碍物视觉信息，从而得到完整障碍物图像数据。
在S207中，根据单目相机与激光雷达的外参转换关系，将完整障碍物图像数据转换为完整障碍物点云数据。
该步骤中，可以根据单目相机与激光雷达的外参转换关系，将完整障碍物图像数据转换为完整障碍物点云数据，也即将完整的障碍物视觉信息通过外参转换找到其对应的激光点云信息。
在S208中，根据完整障碍物点云数据确定障碍物轮廓，以供进行路径规划避障。
此时，对于远距离的障碍物，虽然激光雷达初始打在障碍物上的点云并不均匀密，不能准确还原障碍物轮廓，但是经过处理得到完整障碍物点云数据后，这些点云可以均匀密布，就能比较准确还原障碍物轮廓。因此，可以根据完整障碍物点云数据确定障碍物轮廓，以供进行路径规划避障。
需说明的是，上述处理过程中，因为激光点云为三维信息，因此可以换算出对应的二维视觉信息；但二维视觉信息是无法升维推算出对应的三维点云信息，因此通过原本的“待补充障碍物点云数据”来推算出大概位置。此时，可以计算出“待补充障碍物点云数据”的特征，例如可以通过点云拟合出一个平面；然后将视觉转换成激光点云时尽量满足上述特征，例如让转换后的点落在拟合平面上。最终，可以获得补全后的障碍物点云信息，并可以用于后续的路径规划避障。
综上所描述，本申请方案是传统多传感器融合算法的优化，它有效地弥补了大障碍物的点云信息不完整所带来的影响。通过视觉单目相机的高分辨率特性可提供更多的细节；而激光雷达所提供的三维信息也是高质量数据，因此本申请可以充分利用单目相机与激光雷达的优势进行互补，获取准确的障碍物信息，使得障碍物信息的完整性得到保证，可以准确探测出障碍物例如大型障碍物的轮廓，从而有利于路径规划模块根据障碍物轮廓规设计障路线，提高路径规划的有效性。
与前述应用功能实现方法实施例相对应，本申请还提供了一种障碍物探测处理装置、系统、电子设备及相应的实施例。
图4是本申请实施例示出的障碍物探测处理装置的结构示意图。
参见图4，一种障碍物探测处理装置40，包括：初始数据获取模块41、聚类处理模块42、第一转换模块43、图像匹配模块44、第二转换模块45。
初始数据获取模块41，用于获取雷达探测的初始点云数据和相机探测的初始图像数据。
聚类处理模块42，用于对初始数据获取模块41获取的初始点云数据进行聚类处理，获得待补充障碍物点云数据。
第一转换模块43，用于将聚类处理模块42得到的待补充障碍物点云数据转换为待补充障碍物图像数据。第一转换模块43可以根据雷达与相机的外参转换关系，将待补充障碍物点云数据转换为待补充障碍物图像数据。其中外参转换关系可以根据雷达与相机的联合标定得到。对激光雷达和单目相机进行联合标定，可以得到单目相机与激光雷达之间的外参关系，从而使得后续补正能够用激光点云信息换算出其对应的视觉信息。需说明的是，可以采用相关技术方法对激光雷达和单目相机进行联合标定，本申请不加以限定。
图像匹配模块44，将第一转换模块43得到的待补充障碍物图像数据与初始数据获取模块41获取的初始图像数据进行匹配，得到完整障碍物图像数据。图像匹配模块44可以将初始图像数据进行视觉分割处理，确定初始图像数据中障碍物的边界；将待补充障碍物图像数据与初始图像数据中障碍物的边界进行匹配，得到完整障碍物图像数据。通过“待补充障碍物图像数据”与初始图像数据进行对比，可以知道该障碍物在视觉图像所处的区域，再根据该区域对应的边界则可以确定边界内的部分即为完整的障碍物视觉信息，从而得到完整障碍物图像数据。
第二转换模块45，用于将图像匹配模块44得到的完整障碍物图像数据转换为完整障碍物点云数据，根据完整障碍物点云数据确定障碍物轮廓。第二转换模块45可以根据相机与雷达的外参转换关系，将完整障碍物图像数据转换为完整障碍物点云数据。对于远距离的障碍物，虽然激光雷达初始打在障碍物上的点云并不均匀密，不能准确还原障碍物轮廓，但是经过处理得到完整障碍物点云数据后，这些点云可以均匀密布，就能比较准确还原障碍物轮廓。因此，可以根据完整障碍物点云数据确定障碍物轮廓，以供进行路径规划避障
从该实施例可以看出，本申请的方案，可以有效弥补大障碍物的点云信息不完整所带来的影响，并综合利用了相机的高分辨率特性和雷达的三维深度信息，两者优势可以互补，可以获取准确的障碍物信息，确定障碍物轮廓，使得障碍物信息的完整性得到保证，从而有利于路径规划模块根据障碍物轮廓规设计障路线，提高路径规划的有效性。
图5是本申请实施例示出的障碍物探测处理系统的结构示意图。参见图5，一种障碍物探测处理系统50，包括：障碍物探测处理装置51、雷达52、相机53。其中雷达52可以是激光雷达，相机53可以是单目相机。
障碍物探测处理装置51，用于获取雷达52探测的初始点云数据和相机53探测的初始图像数据；对初始点云数据进行聚类处理，获得待补充障碍物点云数据；将待补充障碍物点云数据转换为待补充障碍物图像数据；将待补充障碍物图像数据与初始图像数据进行匹配，得到完整障碍物图像数据；将完整障碍物图像数据转换为完整障碍物点云数据，根据完整障碍物点云数据确定障碍物轮廓。
雷达52，用于向障碍物探测处理装置51发送探测的初始点云数据。
相机53，用于向障碍物探测处理装置51发送探测的初始图像数据。
单一传感器不可避免的存在局限性，为了提高系统的稳健性，一般可以采取多传感器融合的方案，融合又包含不同传感器的时间同步和空间同步。激光雷达和单目相机的联合标定属于空间同步。
在障碍物探测处理处理系统50中，可以对雷达52和相机53进行联合标定，可以得到相机53与雷达52之间的外参关系，从而使得后续补正能够用激光点云信息换算出其对应的视觉信息。需说明的是，可以采用相关技术方法对雷达52和相机53进行联合标定，本申请不加以限定。
在一种实施方式中，障碍物探测处理装置51将初始图像数据进行视觉分割处理，确定初始图像数据中障碍物的边界；将待补充障碍物图像数据与初始图像数据中障碍物的边界进行匹配，得到完整障碍物图像数据。
障碍物探测处理装置51的功能和结构可以参见图4中的描述，此处不再赘述。
从该实施例可以看出，本申请的方案，可以有效弥补大障碍物的点云信息不完整所带来的影响，并综合利用了单目相机的高分辨率特性和激光雷达的三维深度信息，两者优势可以互补，可以获取准确的障碍物信息，使得障碍物信息的完整性得到保证，从而有利于路径规划模块根据障碍物轮廓规设计障路线，提高路径规划的有效性。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不再做详细阐述说明。
图6是本申请实施例示出的电子设备的结构示意图。
参见图6，电子设备1000包括存储器1010和处理器1020。
处理器1020可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器1010可以包括各种类型的存储单元，例如系统内存、只读存储器(ROM)和永久存储装置。其中，ROM可以存储处理器1020或者计算机的其他模块需要的静态数据或者指令。永久存储装置可以是可读写的存储装置。永久存储装置可以是即使计算机断电后也不会失去存储的指令和数据的非易失性存储设备。在一些实施方式中，永久性存储装置采用大容量存储装置(例如磁或光盘、闪存)作为永久存储装置。另外一些实施方式中，永久性存储装置可以是可移除的存储设备(例如软盘、光驱)。系统内存可以是可读写存储设备或者易失性可读写存储设备，例如动态随机访问内存。系统内存可以存储一些或者所有处理器在运行时需要的指令和数据。此外，存储器1010可以包括任意计算机可读存储媒介的组合，包括各种类型的半导体存储芯片(例如DRAM，SRAM，SDRAM，闪存，可编程只读存储器)，磁盘和/或光盘也可以采用。在一些实施方式中，存储器1010可以包括可读和/或写的可移除的存储设备，例如激光唱片(CD)、只读数字多功能光盘(例如DVD-ROM，双层DVD-ROM)、只读蓝光光盘、超密度光盘、闪存卡(例如SD卡、min SD卡、Micro-SD卡等)、磁性软盘等。计算机可读存储媒介不包含载波和通过无线或有线传输的瞬间电子信号。
存储器1010上存储有可执行代码，当可执行代码被处理器1020处理时，可以使处理器1020执行上文述及的方法中的部分或全部。
此外，根据本申请的方法还可以实现为一种计算机程序或计算机程序产品，该计算机程序或计算机程序产品包括用于执行本申请的上述方法中部分或全部步骤的计算机程序代码指令。
或者，本申请还可以实施为一种计算机可读存储介质(或非暂时性机器可读存储介质或机器可读存储介质)，其上存储有可执行代码(或计算机程序或计算机指令代码)，当可执行代码(或计算机程序或计算机指令代码)被电子设备(或服务器等)的处理器执行时，使处理器执行根据本申请的上述方法的各个步骤的部分或全部。
以上已经描述了本申请的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的改进，或者使本技术领域的其他普通技术人员能理解本文披露的各实施例。

Claims (10)

1.一种障碍物探测处理方法，其特征在于，包括：
获取雷达探测的初始点云数据和相机探测的初始图像数据；
对所述初始点云数据进行聚类处理，获得待补充障碍物点云数据；
将所述待补充障碍物点云数据转换为待补充障碍物图像数据；
将所述待补充障碍物图像数据与所述初始图像数据进行匹配，得到完整障碍物图像数据；
将所述完整障碍物图像数据转换为完整障碍物点云数据，根据所述完整障碍物点云数据确定障碍物轮廓。
2.根据权利要求1所述方法，其特征在于，所述将所述待补充障碍物点云数据转换为待补充障碍物图像数据，包括：
根据所述雷达与所述相机的外参转换关系，将所述待补充障碍物点云数据转换为待补充障碍物图像数据。
3.根据权利要求1所述方法，其特征在于，所述将所述完整障碍物图像数据转换为完整障碍物点云数据，包括：
根据所述相机与所述雷达的外参转换关系，将所述完整障碍物图像数据转换为完整障碍物点云数据。
4.根据权利要求1所述方法，其特征在于，所述将所述待补充障碍物图像数据与所述初始图像数据进行匹配，得到完整障碍物图像数据，包括：
将所述初始图像数据进行视觉分割处理，确定所述初始图像数据中障碍物的边界；
将所述待补充障碍物图像数据与所述初始图像数据中障碍物的边界进行匹配，得到完整障碍物图像数据。
5.根据权利要求2或3所述的方法，其特征在于：
所述外参转换关系根据所述雷达与所述相机的联合标定得到。
6.根据权利要求1至4任一项所述方法，其特征在于：
所述雷达为激光雷达，所述相机为单目相机。
7.一种障碍物探测处理装置，其特征在于，包括：
初始数据获取模块，用于获取雷达探测的初始点云数据和相机探测的初始图像数据；
聚类处理模块，用于对所述初始数据获取模块获取的初始点云数据进行聚类处理，获得待补充障碍物点云数据；
第一转换模块，用于将所述聚类处理模块得到的待补充障碍物点云数据转换为待补充障碍物图像数据；
图像匹配模块，将所述第一转换模块得到的待补充障碍物图像数据与所述初始数据获取模块获取的初始图像数据进行匹配，得到完整障碍物图像数据；
第二转换模块，用于将所述图像匹配模块得到的完整障碍物图像数据转换为完整障碍物点云数据，根据所述完整障碍物点云数据确定障碍物轮廓。
8.一种障碍物探测处理处理系统，其特征在于，包括：
障碍物探测处理装置，用于获取雷达探测的初始点云数据和相机探测的初始图像数据；对所述初始点云数据进行聚类处理，获得待补充障碍物点云数据；将所述待补充障碍物点云数据转换为待补充障碍物图像数据；将所述待补充障碍物图像数据与所述初始图像数据进行匹配，得到完整障碍物图像数据；将所述完整障碍物图像数据转换为完整障碍物点云数据，根据所述完整障碍物点云数据确定障碍物轮廓；
雷达，用于向所述障碍物探测处理装置发送探测的初始点云数据；
相机，用于向所述障碍物探测处理装置发送探测的初始图像数据。
9.根据权利要求8所述的系统，其特征在于：
所述障碍物探测处理装置将所述初始图像数据进行视觉分割处理，确定所述初始图像数据中障碍物的边界；
将所述待补充障碍物图像数据与所述初始图像数据中障碍物的边界进行匹配，得到完整障碍物图像数据。
10.一种计算机可读存储介质，其上存储有可执行代码，当所述可执行代码被电子设备的处理器执行时，使所述处理器执行如权利要求1-6中任一项所述的方法。
CN202111175684.5A 2021-10-09 2021-10-09 障碍物探测处理方法、装置及系统 Pending CN113920487A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111175684.5A CN113920487A (zh) 2021-10-09 2021-10-09 障碍物探测处理方法、装置及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111175684.5A CN113920487A (zh) 2021-10-09 2021-10-09 障碍物探测处理方法、装置及系统

Publications (1)

Publication Number Publication Date
CN113920487A true CN113920487A (zh) 2022-01-11

Family

ID=79238694

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111175684.5A Pending CN113920487A (zh) 2021-10-09 2021-10-09 障碍物探测处理方法、装置及系统

Country Status (1)

Country Link
CN (1) CN113920487A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114529884A (zh) * 2022-02-23 2022-05-24 广东汇天航空航天科技有限公司 基于双目相机的障碍物探测处理方法、装置、设备及系统
CN114842455A (zh) * 2022-06-27 2022-08-02 小米汽车科技有限公司 障碍物检测方法、装置、设备、介质、芯片及车辆
CN115063771A (zh) * 2022-02-22 2022-09-16 金龙联合汽车工业（苏州）有限公司 对障碍物的距离检测的纠错方法、系统、存储介质及设备
CN115909272A (zh) * 2022-11-09 2023-04-04 杭州枕石智能科技有限公司 障碍物位置信息的获取方法、终端设备及计算机介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190236381A1 (en) * 2018-01-30 2019-08-01 Wipro Limited. Method and system for detecting obstacles by autonomous vehicles in real-time
CN111191600A (zh) * 2019-12-30 2020-05-22 深圳元戎启行科技有限公司 障碍物检测方法、装置、计算机设备和存储介质
CN112101092A (zh) * 2020-07-31 2020-12-18 北京智行者科技有限公司 自动驾驶环境感知方法及系统
CN112419494A (zh) * 2020-10-09 2021-02-26 腾讯科技（深圳）有限公司 用于自动驾驶的障碍物检测、标记方法、设备及存储介质
CN112613424A (zh) * 2020-12-27 2021-04-06 盛视达(天津)科技有限公司 铁轨障碍物检测方法、装置、电子设备和存储介质
CN112614174A (zh) * 2020-12-07 2021-04-06 深兰人工智能(深圳)有限公司 点云补全和点云分割方法、装置、电子设备及存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190236381A1 (en) * 2018-01-30 2019-08-01 Wipro Limited. Method and system for detecting obstacles by autonomous vehicles in real-time
CN111191600A (zh) * 2019-12-30 2020-05-22 深圳元戎启行科技有限公司 障碍物检测方法、装置、计算机设备和存储介质
CN112101092A (zh) * 2020-07-31 2020-12-18 北京智行者科技有限公司 自动驾驶环境感知方法及系统
CN112419494A (zh) * 2020-10-09 2021-02-26 腾讯科技（深圳）有限公司 用于自动驾驶的障碍物检测、标记方法、设备及存储介质
CN112614174A (zh) * 2020-12-07 2021-04-06 深兰人工智能(深圳)有限公司 点云补全和点云分割方法、装置、电子设备及存储介质
CN112613424A (zh) * 2020-12-27 2021-04-06 盛视达(天津)科技有限公司 铁轨障碍物检测方法、装置、电子设备和存储介质

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115063771A (zh) * 2022-02-22 2022-09-16 金龙联合汽车工业（苏州）有限公司 对障碍物的距离检测的纠错方法、系统、存储介质及设备
CN114529884A (zh) * 2022-02-23 2022-05-24 广东汇天航空航天科技有限公司 基于双目相机的障碍物探测处理方法、装置、设备及系统
CN114842455A (zh) * 2022-06-27 2022-08-02 小米汽车科技有限公司 障碍物检测方法、装置、设备、介质、芯片及车辆
CN114842455B (zh) * 2022-06-27 2022-09-09 小米汽车科技有限公司 障碍物检测方法、装置、设备、介质、芯片及车辆
CN115909272A (zh) * 2022-11-09 2023-04-04 杭州枕石智能科技有限公司 障碍物位置信息的获取方法、终端设备及计算机介质

Similar Documents

Publication Publication Date Title
CN113920487A (zh) 障碍物探测处理方法、装置及系统
CN111222395B (zh) 目标检测方法、装置与电子设备
US10866101B2 (en) Sensor calibration and time system for ground truth static scene sparse flow generation
CN110807350B (zh) 用于面向扫描匹配的视觉slam的系统和方法
CN109961468B (zh) 基于双目视觉的体积测量方法、装置及存储介质
WO2018142900A1 (ja) 情報処理装置、データ管理装置、データ管理システム、方法、及びプログラム
US20190236381A1 (en) Method and system for detecting obstacles by autonomous vehicles in real-time
WO2018177159A1 (zh) 运动物体的位置确定方法及系统
CN110799918A (zh) 车辆用的方法、设备和计算机程序
US20150036887A1 (en) Method of determining a ground plane on the basis of a depth image
CN114529884A (zh) 基于双目相机的障碍物探测处理方法、装置、设备及系统
CN109447902B (zh) 一种图像拼接方法、装置、储存介质及设备
CN113989755A (zh) 识别目标的方法、装置和计算可读存储介质
CN114187579A (zh) 自动驾驶的目标检测方法、装置和计算机可读存储介质
WO2023207845A1 (zh) 车位检测方法、装置、电子设备及机器可读存储介质
WO2024208081A1 (zh) 目标检测方法、装置、电子设备及机器可读存储介质
KR20170106823A (ko) 부분적인 깊이 맵에 기초하여 관심 객체를 식별하는 영상 처리 장치
WO2020095549A1 (ja) 撮像装置
CN116203579A (zh) 基于点云残差的激光雷达slam退化检测方法及系统
CN113538546B (zh) 用于自动驾驶的目标检测方法、装置及设备
CN114997264A (zh) 训练数据生成、模型训练及检测方法、装置及电子设备
US12039734B2 (en) Object recognition enhancement using depth data
CN113887407A (zh) 用于无人车的3d目标检测方法、装置和计算可读存储介质
John et al. Sensor fusion and registration of lidar and stereo camera without calibration objects
Morelli et al. Orientation of Images with Low Contrast Textures and Transparent Objects

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination