CN110378360B - 目标标定方法、装置、电子设备及可读存储介质 - Google Patents

目标标定方法、装置、电子设备及可读存储介质 Download PDF

Info

Publication number
CN110378360B
CN110378360B CN201810866306.3A CN201810866306A CN110378360B CN 110378360 B CN110378360 B CN 110378360B CN 201810866306 A CN201810866306 A CN 201810866306A CN 110378360 B CN110378360 B CN 110378360B
Authority
CN
China
Prior art keywords
target
clustering
converted
module
targets
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810866306.3A
Other languages
English (en)
Other versions
CN110378360A (zh
Inventor
李政
李雨倩
刘懿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Jingdong Century Trading Co Ltd
Beijing Jingdong Shangke Information Technology Co Ltd
Original Assignee
Beijing Jingdong Century Trading Co Ltd
Beijing Jingdong Shangke Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Jingdong Century Trading Co Ltd, Beijing Jingdong Shangke Information Technology Co Ltd filed Critical Beijing Jingdong Century Trading Co Ltd
Priority to CN201810866306.3A priority Critical patent/CN110378360B/zh
Publication of CN110378360A publication Critical patent/CN110378360A/zh
Application granted granted Critical
Publication of CN110378360B publication Critical patent/CN110378360B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Multimedia (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种目标标定方法、装置、电子设备及可读存储介质，所述目标标定方法包括：通过图像采集装置获取待测环境的拍摄图像；识别拍摄图像得到多个目标及每个目标的所属类别；通过雷达传感器获取待测环境的雷达点云数据；对雷达点云数据进行聚类得到多个聚类块；预设图像采集装置与雷达传感器的转换关系；将多个目标按照转换关系转换至雷达坐标系中对应得到多个转换后目标；对每个转换后目标，将转换后目标与每个聚类块进行匹配；将与转换后目标对应的目标的所属类别标定为与转换后目标匹配成功的聚类块的类别。本发明将识别的目标转换至雷达坐标系后进行匹配，实现将已知种类的障碍物的类别标定至聚类块，实现对同一障碍物进行单一标识。

Description

目标标定方法、装置、电子设备及可读存储介质
技术领域
本发明属于数据融合领域，特别涉及一种目标标定方法、装置、电子设备及可读存储介质。
背景技术
目前无人驾驶大多采用激光雷达、双目相机或单目相机作为主要传感器使用，从而实现对目标的识别，对于室外配送车或无人驾驶汽车的，大多会同时采用两个或以上的传感器共同来实现感知的目的，这样就涉及到多个数据融合的问题，比如若采用单目相机与激光雷达的传感器数据，现有的融合算法如下：将相机与激光雷达集成为一个传感器，通过严格的装配固定，保证两者数据的对应关系是稳定的，然后将标定好的关系数据直接输出，或者，通过标定的方法对相机与激光雷达进行外参标定，将单目相机与激光雷达安装固定后，通过选定的标定方法来对相机的图像数据和激光雷达的点云数据进行标定，从而得到单目相机与激光雷达之间的外参关系，从而实现在同一坐标系内来对两个传感器得到的数据进行处理；
但是，若采用集成的方式，成本太高，且自由度也大大降低，难以适应不同的应用场景；若仅采用位置标定的方式，在车辆使用过程中传感器易出现位置偏移，导致标定参数出现较大的误差，尤其是在识别一些体积尺寸较小的目标时，精度难以得到保障。
发明内容
本发明要解决的技术问题是为了克服现有技术中相机与激光雷达的数据融合精度较差的缺陷，提供一种目标标定方法、装置、电子设备及可读存储介质。
本发明是通过下述技术方案来解决上述技术问题：
一种目标标定方法，所述目标标定方法包括：
通过图像采集装置获取待测环境的拍摄图像；
识别所述拍摄图像得到多个目标及每个目标的所属类别；
通过雷达传感器获取所述待测环境的雷达点云数据；
对所述雷达点云数据进行聚类得到多个聚类块；
预设所述图像采集装置与所述雷达传感器的转换关系，所述转换关系用于表征所述图像采集装置和所述雷达传感器的相对位置；
将所述多个目标按照所述转换关系转换至雷达坐标系中对应得到多个转换后目标；
对每个所述转换后目标，将所述转换后目标与每个聚类块进行匹配；
将与所述转换后目标对应的目标的所属类别标定为与所述转换后目标匹配成功的聚类块的类别。
较佳地，所述对每个所述转换后目标，将所述转换后目标与每个聚类块进行匹配的步骤之前，所述目标标定方法还包括：
获取每个目标的第一形状信息；
获取每个聚类块的第二形状信息；
所述将所述转换后目标与每个聚类块进行匹配的步骤具体包括：
根据所述第一形状信息和所述第二形状信息将所述转换后目标与每个聚类块进行匹配。
较佳地，所述对每个所述转换后目标，将所述转换后目标与每个聚类块进行匹配的步骤之前，所述目标标定方法还包括：
获取所述多个目标在拍摄坐标系中的第一位置信息；
获取所述多个聚类块在所述雷达坐标系中的第二位置信息；
所述根据所述第一形状信息和所述第二形状信息将所述转换后目标与每个聚类块进行匹配的步骤具体包括：
根据所述转换关系获取所述多个转换后目标在所述雷达坐标系中的第三位置信息；
根据所述第二位置信息和所述第三位置信息得到与所述转换后目标的距离最近的若干聚类块；
根据所述第一形状信息和所述第二形状信息得到所述若干聚类块中与所述转换后目标的相似度最高的目标聚类块；
所述将与所述转换后目标对应的目标的所属类别赋给与所述转换后目标匹配成功的聚类块的步骤具体包括：
将与所述转换后目标对应的目标的所属类别标定为所述目标聚类块的类别。
较佳地，所述第一形状信息包括第一长度和第一高度，所述第二形状信息包括第二长度和第二高度，所述根据所述第一形状信息和所述第二形状信息得到所述若干聚类块中与所述转换后目标的相似度最高的目标聚类块的步骤具体包括：
计算得到所述第一长度与所述第二长度的第一比值和所述第一高度与所述第二高度的第二比值；
将所述第一比值与所述第二比值的乘积作为所述相似度；
选取所述若干聚类块中与所述转换后目标的相似度最接近1的聚类块为所述目标聚类块。
较佳地，所述识别所述拍摄图像得到多个目标及每个目标的所属类别的步骤具体包括：
预设一类别库，所述类别库存储有多个已知目标及与所述已知目标对应的已知类别；
将所述类别库和所述拍摄图像输入深度学习算法模型得到所述多个目标及每个目标的所属类别。
一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述的目标标定方法。
一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现上述的目标标定方法的步骤。
一种目标标定装置，所述目标标定装置包括图像采集装置、雷达传感器、识别模块、聚类模块、预设模块、转换模块、匹配模块和标定模块；
所述图像采集装置用于获取待测环境的拍摄图像；
所述识别模块用于识别所述拍摄图像得到多个目标及每个目标的所属类别；
所述雷达传感器用于获取所述待测环境的雷达点云数据；
所述聚类模块用于对所述雷达点云数据进行聚类得到多个聚类块；
所述预设模块用于预设所述图像采集装置与所述雷达传感器的转换关系，所述转换关系用于表征所述图像采集装置和所述雷达传感器的相对位置；
所述转换模块用于将所述多个目标按照所述转换关系转换至雷达坐标系中对应得到多个转换后目标；
所述匹配模块用于对每个所述转换后目标，将所述转换后目标与每个聚类块进行匹配；
所述标定模块用于将与所述转换后目标对应的目标的所属类别标定为与所述转换后目标匹配成功的聚类块的类别。
较佳地，所述识别模块还用于获取每个目标的第一形状信息；
所述聚类模块还用于获取每个聚类块的第二形状信息；
所述匹配模块用于根据所述第一形状信息和所述第二形状信息将所述转换后目标与每个聚类块进行匹配。
较佳地，所述匹配模块包括位置匹配单元和形状匹配单元；
所述识别模块还用于获取所述多个目标在拍摄坐标系中的第一位置信息；
所述聚类模块还用于获取所述多个聚类块在所述雷达坐标系中的第二位置信息；
所述转换模块还用于根据所述转换关系获取所述多个转换后目标在所述雷达坐标系中的第三位置信息；
所述位置匹配单元用于根据所述第二位置信息和所述第三位置信息得到与所述转换后目标的距离最近的若干聚类块；
所述形状匹配单元用于根据所述第一形状信息和所述第二形状信息得到所述若干聚类块中与所述转换后目标的相似度最高的目标聚类块；
所述标定模块用于将与所述转换后目标对应的目标的所属类别标定为所述目标聚类块的类别。
较佳地，所述第一形状信息包括第一长度和第一高度，所述第二形状信息包括第二长度和第二高度，所述匹配模块还包括计算单元；
所述计算单元用于计算得到所述第一长度与所述第二长度的第一比值和所述第一高度与所述第二高度的第二比值，并将所述第一比值与所述第二比值的乘积作为所述相似度；
所述形状匹配单元用于选取所述若干聚类块中与所述转换后目标的相似度最接近1的聚类块为所述目标聚类块。
较佳地，所述目标标定装置预设一类别库，所述类别库存储有多个已知目标及与所述已知目标对应的已知类别；
所述识别模块用于将所述类别库和所述拍摄图像输入深度学习算法模型得到所述多个目标及每个目标的所属类别。
本发明的积极进步效果在于：本发明通过融合图像采集装置的图像识别方法以及雷达传感器的点云聚类方法，实现对图像采集装置与雷达传感器的器数据进行融合，其中对相机与激光雷达之间的外参关系要求不严格，不需要特别精确，将识别的目标转换至雷达坐标系后，对转换后的目标与聚类块进行匹配，从而实现将已知种类的障碍物的类别标定至聚类块，实现对同一障碍物进行单一标识。
附图说明
图1为本发明实施例1的目标标定方法的流程图。
图2为本发明实施例1的目标标定方法中步骤20的具体流程图。
图3为本发明实施例2的目标标定方法的流程图。
图4为本发明实施例2的目标标定方法中步骤70的具体流程图。
图5为本发明实施例2的目标标定方法中步骤703的具体流程图。
图6为本发明实施例3的一种电子设备的结构示意图。
图7为本发明实施例5的目标标定装置的模块示意图。
图8为本发明实施例6的目标标定装置中匹配模块的模块示意图。
具体实施方式
下面通过实施例的方式进一步说明本发明，但并不因此将本发明限制在所述的实施例范围之中。
实施例1
一种目标标定方法，如图1所示，所述目标标定方法包括：
步骤10、通过图像采集装置获取待测环境的拍摄图像；此处的图像采集装置可以为单目相机、双目相机或其他能够采集图像信息的装置；
步骤20、识别拍摄图像得到多个目标及每个目标的所属类别；
步骤30、通过雷达传感器获取待测环境的雷达点云数据；
步骤40、对雷达点云数据进行聚类得到多个聚类块；
步骤50、预设图像采集装置与雷达传感器的转换关系；转换关系用于表征图像采集装置和雷达传感器的相对位置；需要说明的是，此处预设的转换关心的精度要求不高，可以存在误差；
步骤60、将多个目标按照转换关系转换至雷达坐标系中对应得到多个转换后目标；
步骤70、对每个转换后目标，将转换后目标与每个聚类块进行匹配；
步骤80、将与转换后目标对应的目标的所属类别标定为与转换后目标匹配成功的聚类块的类别。
其中，如图2所示，步骤20具体包括：
步骤201、预设一类别库；所述类别库存储有多个已知目标及与所述已知目标对应的已知类别；
步骤202、将所述类别库和所述拍摄图像输入深度学习算法模型得到所述多个目标及每个目标的所属类别。本实施例通过融合图像采集装置的图像识别方法以及雷达传感器的点云聚类方法，实现对图像采集装置与雷达传感器的器数据进行融合，其中对相机与激光雷达之间的外参关系要求不严格，不需要特别精确，将识别的目标转换至雷达坐标系后，对转换后的目标与聚类块进行匹配，从而实现将已知种类的障碍物的类别标定至聚类块，实现对同一障碍物进行单一标识。
实施例2
本实施例的目标标定方法是在实施例1的基础上进一步改进，如图3所示，步骤50之前，所述目标标定方法还包括：
步骤21、获取每个目标的第一形状信息；
步骤22、获取每个聚类块的第二形状信息；
步骤70中，根据所述第一形状信息和所述第二形状信息将所述转换后目标与每个聚类块进行匹配。
只依靠形状信息来匹配可能精度不够高或效率不高，进一步，可以通过位置的限定来进行筛选数据，具体地，参考图3，步骤70之前，所述目标标定方法还包括：
步骤23、获取多个目标在拍摄坐标系中的第一位置信息；
步骤24、获取多个聚类块在雷达坐标系中的第二位置信息；
进一步的，如图4所示，步骤70具体包括：
步骤701、根据转换关系获取多个转换后目标在雷达坐标系中的第三位置信息；
步骤702、根据第二位置信息和第三位置信息得到与转换后目标的距离最近的若干聚类块；
步骤703、根据第一形状信息和第二形状信息得到若干聚类块中与转换后目标的相似度最高的目标聚类块；
步骤80中，将与转换后目标对应的目标的所属类别标定为目标聚类块的类别。
其中，所述第一形状信息包括第一长度和第一高度，所述第二形状信息包括第二长度和第二高度，所述根据所述第一形状信息和所述第二形状信息得到所述若干聚类块中与所述转换后目标的相似度最高的目标聚类块的步骤703具体包括：
步骤731、计算得到第一长度与第二长度的第一比值和第一高度与第二高度的第二比值；
步骤732、将第一比值与第二比值的乘积作为相似度；
步骤733、选取若干聚类块中与转换后目标的相似度最接近1的聚类块为目标聚类块。
举一具体示例进一步说明：
以单目相机为例，通过单目相机获取待测环境的拍摄图像后，对每一帧拍摄图像RGB-img，将RGB-img输入到训练好的深度学习算法模型中进行行人、车辆、垃圾箱、树木等常见障碍物的检测，并输出得到一系列障碍物{Ob-img}，每个障碍物Ob-img的信息都包括障碍物类别T、拍摄坐标系下位置信息和形状信息Limg*Himg。
以激光雷达为例，激光雷达得到与上述的一帧图像同一时间基准的一帧点云数据，对点云数据进行点云分割聚类，可以得到一块一块的障碍物聚类块{cluster}，每个聚类块cluster中都包括雷达坐标系下位置信息、形状信息Llidar*Hlidar。
将单目相机得到的{Ob-img}通过预设的转换关系换算，转换到雷达坐标系下，得到{Ob-tf-img}。
遍历{Ob-tf-img}，对每个Ob-tf-img，寻找点云聚类的{cluster}中欧式距离最近的若干个cluster-j，cluster-k，cluster-m，并且通过比较Ob-tf-im与cluster的大小差异，计算出相似度，选取相似度最高的cluster-m作为当前Ob-tf-im的匹配的聚类块，并将该Ob-img的类型T赋给选定cluster-m，遍历完所有的{Ob-tf-img}后，则实现了单目相机的可识别的障碍物结果与激光雷达的聚类结果的匹配融合。
本实施例在无需准确标定出单目相机与激光雷达之间的外参关系的情况下，通过智能学习与点云聚类分别对单目相机及激光雷达数据进行预处理之后，在转换到同一坐标系后通过提取若干个欧式最近邻，并且比较两者数据得到的物体尺寸等信息来进行交叉匹配，提高匹配精度，实现了对单目相机及激光雷达的数据准确的融合，实现准确的障碍物检测和障碍物识别。
实施例3
一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现实施例1或2所述的目标标定方法。
图6为本发明实施例3提供的一种电子设备的结构示意图。图6示出了适于用来实现本发明实施方式的示例性电子设备90的框图。图6显示的电子设备90仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图6所示，电子设备90可以以通用计算设备的形式表现，例如其可以为服务器设备。电子设备90的组件可以包括但不限于：至少一个处理器91、至少一个存储器92、连接不同系统组件(包括存储器92和处理器91)的总线93。
总线93包括数据总线、地址总线和控制总线。
存储器92可以包括易失性存储器，例如随机存取存储器(RAM)921和/或高速缓存存储器922，还可以进一步包括只读存储器(ROM)923。
存储器92还可以包括具有一组(至少一个)程序模块924的程序工具925，这样的程序模块924包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
处理器91通过运行存储在存储器92中的计算机程序，从而执行各种功能应用以及数据处理。
电子设备90也可以与一个或多个外部设备94(例如键盘、指向设备等)通信。这种通信可以通过输入/输出(I/O)接口95进行。并且，电子设备90还可以通过网络适配器96与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。网络适配器96通过总线93与电子设备90的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备90使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理器、外部磁盘驱动阵列、RAID(磁盘阵列)系统、磁带驱动器以及数据备份存储系统等。
应当注意，尽管在上文详细描述中提及了电子设备的若干单元/模块或子单元/模块，但是这种划分仅仅是示例性的并非强制性的。实际上，根据本申请的实施方式，上文描述的两个或更多单元/模块的特征和功能可以在一个单元/模块中具体化。反之，上文描述的一个单元/模块的特征和功能可以进一步划分为由多个单元/模块来具体化。
实施例4
一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现实施例1或2所述的目标标定方法的步骤。
其中，可读存储介质可以采用的更具体可以包括但不限于：便携式盘、硬盘、随机存取存储器、只读存储器、可擦拭可编程只读存储器、光存储器件、磁存储器件或上述的任意合适的组合。
在可能的实施方式中，本发明还可以实现为一种程序产品的形式，其包括程序代码，当所述程序产品在终端设备上运行时，所述程序代码用于使所述终端设备执行实现实施例1或2所述的目标标定方法的步骤。
其中，可以以一种或多种程序设计语言的任意组合来编写用于执行本发明的程序代码，所述程序代码可以完全地在用户设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户设备上部分在远程设备上执行或完全在远程设备上执行。
实施例5
一种目标标定装置，如图7所示，所述目标标定装置包括图像采集装置11、雷达传感器12、识别模块13、聚类模块14、预设模块15、转换模块16、匹配模块17和标定模块18；
所述图像采集装置11用于获取待测环境的拍摄图像；
所述识别模块13用于识别所述拍摄图像得到多个目标及每个目标的所属类别；
所述雷达传感器12用于获取所述待测环境的雷达点云数据；
所述聚类模块14用于对所述雷达点云数据进行聚类得到多个聚类块；
所述预设模块15用于预设所述图像采集装置11与所述雷达传感器12的转换关系，所述转换关系用于表征所述图像采集装置11和所述雷达传感器12的相对位置；
所述转换模块16用于将所述多个目标按照所述转换关系转换至雷达坐标系中对应得到多个转换后目标；
所述匹配模块17用于对每个所述转换后目标，将所述转换后目标与每个聚类块进行匹配；
所述标定模块18用于将与所述转换后目标对应的目标的所属类别标定为与所述转换后目标匹配成功的聚类块的类别。
另外，目标标定装置预设一类别库19，所述类别库19存储有多个已知目标及与所述已知目标对应的已知类别；
所述识别模块13用于将所述类别库19和所述拍摄图像输入深度学习算法模型得到所述多个目标及每个目标的所属类别。
本实施例通过融合图像采集装置的图像识别方法以及雷达传感器的点云聚类方法，实现对图像采集装置与雷达传感器的器数据进行融合，其中对相机与激光雷达之间的外参关系要求不严格，不需要特别精确，将识别的目标转换至雷达坐标系后，对转换后的目标与聚类块进行匹配，从而实现将已知种类的障碍物的类别标定至聚类块，实现对同一障碍物进行单一标识。
实施例6
本实施例的目标标定装置是在实施例1的基础上进一步改进，所述识别模块13还用于获取每个目标的第一形状信息；
所述聚类模块14还用于获取每个聚类块的第二形状信息；
所述匹配模块17用于根据所述第一形状信息和所述第二形状信息将所述转换后目标与每个聚类块进行匹配。
只依靠形状信息来匹配可能精度不够高或效率不高，进一步，可以通过位置的限定来进行筛选数据，具体地，如图8所示，所述匹配模块17包括位置匹配单元171和形状匹配单元172；
所述识别模块13还用于获取所述多个目标在拍摄坐标系中的第一位置信息；
所述聚类模块14还用于获取所述多个聚类块在所述雷达坐标系中的第二位置信息；
所述转换模块16还用于根据所述转换关系获取所述多个转换后目标在所述雷达坐标系中的第三位置信息；
所述位置匹配单元171用于根据所述第二位置信息和所述第三位置信息得到与所述转换后目标的距离最近的若干聚类块；
所述形状匹配单元172用于根据所述第一形状信息和所述第二形状信息得到所述若干聚类块中与所述转换后目标的相似度最高的目标聚类块；
所述标定模块18用于将与所述转换后目标对应的目标的所属类别标定为所述目标聚类块的类别。
其中，所述第一形状信息包括第一长度和第一高度，所述第二形状信息包括第二长度和第二高度，所述匹配模块17还包括计算单元173；
所述计算单元173用于计算得到所述第一长度与所述第二长度的第一比值和所述第一高度与所述第二高度的第二比值，并将所述第一比值与所述第二比值的乘积作为所述相似度；
所述形状匹配单元172用于选取所述若干聚类块中与所述转换后目标的相似度最接近1的聚类块为所述目标聚类块。
举一具体示例进一步说明：
以单目相机为例，通过单目相机获取待测环境的拍摄图像后，对每一帧拍摄图像RGB-img，将RGB-img输入到训练好的深度学习算法模型中进行行人、车辆、垃圾箱、树木等常见障碍物的检测，并输出得到一系列障碍物{Ob-img}，每个障碍物Ob-img的信息都包括障碍物类别T、拍摄坐标系下位置信息和形状信息Limg*Himg。
以激光雷达为例，激光雷达得到与上述的一帧图像同一时间基准的一帧点云数据，对点云数据进行点云分割聚类，可以得到一块一块的障碍物聚类块{cluster}，每个聚类块cluster中都包括雷达坐标系下位置信息、形状信息Llidar*Hlidar。
将单目相机得到的{Ob-img}通过预设的转换关系换算，转换到雷达坐标系下，得到{Ob-tf-img}。
遍历{Ob-tf-img}，对每个Ob-tf-img，寻找点云聚类的{cluster}中欧式距离最近的若干个cluster-j，cluster-k，cluster-m，并且通过比较Ob-tf-im与cluster的大小差异，计算出相似度，选取相似度最高的cluster-m作为当前Ob-tf-im的匹配的聚类块，并将该Ob-img的类型T赋给选定cluster-m，遍历完所有的{Ob-tf-img}后，则实现了单目相机的可识别的障碍物结果与激光雷达的聚类结果的匹配融合。
本实施例在无需准确标定出单目相机与激光雷达之间的外参关系的情况下，通过智能学习与点云聚类分别对单目相机及激光雷达数据进行预处理之后，在转换到同一坐标系后通过提取若干个欧式最近邻，并且比较两者数据得到的物体尺寸等信息来进行交叉匹配，提高匹配精度，实现了对单目相机及激光雷达的数据准确的融合，实现准确的障碍物检测和障碍物识别。
虽然以上描述了本发明的具体实施方式，但是本领域的技术人员应当理解，这仅是举例说明，本发明的保护范围是由所附权利要求书限定的。本领域的技术人员在不背离本发明的原理和实质的前提下，可以对这些实施方式做出多种变更或修改，但这些变更和修改均落入本发明的保护范围。

Claims (8)

1.一种目标标定方法，其特征在于，所述目标标定方法包括：
通过图像采集装置获取待测环境的拍摄图像；
识别所述拍摄图像得到多个目标及每个目标的所属类别；
通过雷达传感器获取所述待测环境的雷达点云数据；
对所述雷达点云数据进行聚类得到多个聚类块；
预设所述图像采集装置与所述雷达传感器的转换关系，所述转换关系用于表征所述图像采集装置和所述雷达传感器的相对位置；
将所述多个目标按照所述转换关系转换至雷达坐标系中对应得到多个转换后目标；
对每个所述转换后目标，将所述转换后目标与每个聚类块进行匹配；
将与所述转换后目标对应的目标的所属类别标定为与所述转换后目标匹配成功的聚类块的类别；
所述对每个所述转换后目标，将所述转换后目标与每个聚类块进行匹配的步骤之前，所述目标标定方法还包括：
获取每个目标的第一形状信息；
获取每个聚类块的第二形状信息；
所述将所述转换后目标与每个聚类块进行匹配的步骤具体包括：
根据所述第一形状信息和所述第二形状信息将所述转换后目标与每个聚类块进行匹配；
所述对每个所述转换后目标，将所述转换后目标与每个聚类块进行匹配的步骤之前，所述目标标定方法还包括：
获取所述多个目标在拍摄坐标系中的第一位置信息；
获取所述多个聚类块在所述雷达坐标系中的第二位置信息；
所述根据所述第一形状信息和所述第二形状信息将所述转换后目标与每个聚类块进行匹配的步骤具体包括：
根据所述转换关系获取所述多个转换后目标在所述雷达坐标系中的第三位置信息；
根据所述第二位置信息和所述第三位置信息得到与所述转换后目标的距离最近的若干聚类块；
根据所述第一形状信息和所述第二形状信息得到所述若干聚类块中与所述转换后目标的相似度最高的目标聚类块；
所述将与所述转换后目标对应的目标的所属类别赋给与所述转换后目标匹配成功的聚类块的步骤具体包括：
将与所述转换后目标对应的目标的所属类别标定为所述目标聚类块的类别。
2.如权利要求1所述的目标标定方法，其特征在于，所述第一形状信息包括第一长度和第一高度，所述第二形状信息包括第二长度和第二高度，所述根据所述第一形状信息和所述第二形状信息得到所述若干聚类块中与所述转换后目标的相似度最高的目标聚类块的步骤具体包括：
计算得到所述第一长度与所述第二长度的第一比值和所述第一高度与所述第二高度的第二比值；
将所述第一比值与所述第二比值的乘积作为所述相似度；
选取所述若干聚类块中与所述转换后目标的相似度最接近1的聚类块为所述目标聚类块。
3.如权利要求1所述的目标标定方法，其特征在于，所述识别所述拍摄图像得到多个目标及每个目标的所属类别的步骤具体包括：
预设一类别库，所述类别库存储有多个已知目标及与所述已知目标对应的已知类别；
将所述类别库和所述拍摄图像输入深度学习算法模型得到所述多个目标及每个目标的所属类别。
4.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至3任一项所述的目标标定方法。
5.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现权利要求1至3任一项所述的目标标定方法的步骤。
6.一种目标标定装置，其特征在于，所述目标标定装置包括图像采集装置、雷达传感器、识别模块、聚类模块、预设模块、转换模块、匹配模块和标定模块；
所述图像采集装置用于获取待测环境的拍摄图像；
所述识别模块用于识别所述拍摄图像得到多个目标及每个目标的所属类别；
所述雷达传感器用于获取所述待测环境的雷达点云数据；
所述聚类模块用于对所述雷达点云数据进行聚类得到多个聚类块；
所述预设模块用于预设所述图像采集装置与所述雷达传感器的转换关系，所述转换关系用于表征所述图像采集装置和所述雷达传感器的相对位置；
所述转换模块用于将所述多个目标按照所述转换关系转换至雷达坐标系中对应得到多个转换后目标；
所述匹配模块用于对每个所述转换后目标，将所述转换后目标与每个聚类块进行匹配；
所述标定模块用于将与所述转换后目标对应的目标的所属类别标定为与所述转换后目标匹配成功的聚类块的类别；
所述识别模块还用于获取每个目标的第一形状信息；
所述聚类模块还用于获取每个聚类块的第二形状信息；
所述匹配模块用于根据所述第一形状信息和所述第二形状信息将所述转换后目标与每个聚类块进行匹配；
所述匹配模块包括位置匹配单元和形状匹配单元；
所述识别模块还用于获取所述多个目标在拍摄坐标系中的第一位置信息；
所述聚类模块还用于获取所述多个聚类块在所述雷达坐标系中的第二位置信息；
所述转换模块还用于根据所述转换关系获取所述多个转换后目标在所述雷达坐标系中的第三位置信息；
所述位置匹配单元用于根据所述第二位置信息和所述第三位置信息得到与所述转换后目标的距离最近的若干聚类块；
所述形状匹配单元用于根据所述第一形状信息和所述第二形状信息得到所述若干聚类块中与所述转换后目标的相似度最高的目标聚类块；
所述标定模块用于将与所述转换后目标对应的目标的所属类别标定为所述目标聚类块的类别。
7.如权利要求6所述的目标标定装置，其特征在于，所述第一形状信息包括第一长度和第一高度，所述第二形状信息包括第二长度和第二高度，所述匹配模块还包括计算单元；
所述计算单元用于计算得到所述第一长度与所述第二长度的第一比值和所述第一高度与所述第二高度的第二比值，并将所述第一比值与所述第二比值的乘积作为所述相似度；
所述形状匹配单元用于选取所述若干聚类块中与所述转换后目标的相似度最接近1的聚类块为所述目标聚类块。
8.如权利要求6所述的目标标定装置，其特征在于，所述目标标定装置预设一类别库，所述类别库存储有多个已知目标及与所述已知目标对应的已知类别；
所述识别模块用于将所述类别库和所述拍摄图像输入深度学习算法模型得到所述多个目标及每个目标的所属类别。
CN201810866306.3A 2018-08-01 2018-08-01 目标标定方法、装置、电子设备及可读存储介质 Active CN110378360B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810866306.3A CN110378360B (zh) 2018-08-01 2018-08-01 目标标定方法、装置、电子设备及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810866306.3A CN110378360B (zh) 2018-08-01 2018-08-01 目标标定方法、装置、电子设备及可读存储介质

Publications (2)

Publication Number Publication Date
CN110378360A CN110378360A (zh) 2019-10-25
CN110378360B true CN110378360B (zh) 2021-10-15

Family

ID=68243891

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810866306.3A Active CN110378360B (zh) 2018-08-01 2018-08-01 目标标定方法、装置、电子设备及可读存储介质

Country Status (1)

Country Link
CN (1) CN110378360B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110909656B (zh) * 2019-11-18 2023-10-13 中电海康集团有限公司 一种雷达与摄像机融合的行人检测方法和系统
CN113702962A (zh) * 2020-05-22 2021-11-26 云米互联科技(广东)有限公司 实时定位方法、云端服务器、实时定位系统和存储介质
CN112381873B (zh) * 2020-10-23 2024-06-14 北京亮道智能汽车技术有限公司 一种数据标注方法及装置
CN112487919A (zh) * 2020-11-25 2021-03-12 吉林大学 一种基于相机与激光雷达的3d目标检测与跟踪方法
CN112581542A (zh) * 2020-12-24 2021-03-30 北京百度网讯科技有限公司 自动驾驶单目标定算法的评估方法、装置及设备
CN112866579B (zh) * 2021-02-08 2022-07-01 上海巡智科技有限公司 数据采集方法、装置及可读存储介质
CN113093178A (zh) * 2021-04-21 2021-07-09 中国第一汽车股份有限公司 一种障碍物目标检测方法、装置、域控制器及车辆

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105678318A (zh) * 2015-12-31 2016-06-15 百度在线网络技术（北京）有限公司 交通标牌的匹配方法及装置
CN105701479A (zh) * 2016-02-26 2016-06-22 重庆邮电大学 基于目标特征的智能车辆多激光雷达融合识别方法
CN105956527A (zh) * 2016-04-22 2016-09-21 百度在线网络技术（北京）有限公司 用于无人驾驶车的障碍物检测结果评估方法和装置
US9476983B2 (en) * 2012-03-15 2016-10-25 GM Global Technology Operations LLC System and method for fusing radar/camera object data and LiDAR scan points
CN106407947A (zh) * 2016-09-29 2017-02-15 百度在线网络技术（北京）有限公司 用于无人驾驶车辆的目标物体识别方法和装置
CN106707293A (zh) * 2016-12-01 2017-05-24 百度在线网络技术（北京）有限公司 用于车辆的障碍物识别方法和装置
CN106932780A (zh) * 2017-03-14 2017-07-07 北京京东尚科信息技术有限公司 物体定位方法、装置和系统
CN107544095A (zh) * 2017-07-28 2018-01-05 河南工程学院 一种地面三维激光点云与探地雷达图像融合的方法
CN108020825A (zh) * 2016-11-03 2018-05-11 岭纬公司 激光雷达、激光摄像头、视频摄像头的融合标定系统及方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9476983B2 (en) * 2012-03-15 2016-10-25 GM Global Technology Operations LLC System and method for fusing radar/camera object data and LiDAR scan points
CN105678318A (zh) * 2015-12-31 2016-06-15 百度在线网络技术（北京）有限公司 交通标牌的匹配方法及装置
CN105701479A (zh) * 2016-02-26 2016-06-22 重庆邮电大学 基于目标特征的智能车辆多激光雷达融合识别方法
CN105956527A (zh) * 2016-04-22 2016-09-21 百度在线网络技术（北京）有限公司 用于无人驾驶车的障碍物检测结果评估方法和装置
CN106407947A (zh) * 2016-09-29 2017-02-15 百度在线网络技术（北京）有限公司 用于无人驾驶车辆的目标物体识别方法和装置
CN108020825A (zh) * 2016-11-03 2018-05-11 岭纬公司 激光雷达、激光摄像头、视频摄像头的融合标定系统及方法
CN106707293A (zh) * 2016-12-01 2017-05-24 百度在线网络技术（北京）有限公司 用于车辆的障碍物识别方法和装置
CN106932780A (zh) * 2017-03-14 2017-07-07 北京京东尚科信息技术有限公司 物体定位方法、装置和系统
CN107544095A (zh) * 2017-07-28 2018-01-05 河南工程学院 一种地面三维激光点云与探地雷达图像融合的方法

Also Published As

Publication number Publication date
CN110378360A (zh) 2019-10-25

Similar Documents

Publication Publication Date Title
CN110378360B (zh) 目标标定方法、装置、电子设备及可读存储介质
EP3627180B1 (en) Sensor calibration method and device, computer device, medium, and vehicle
US11372101B2 (en) Method and apparatus for determining relative pose, device and medium
US11422261B2 (en) Robot relocalization method and apparatus and robot using the same
JP6842520B2 (ja) 物体検出方法、装置、機器、記憶媒体及び車両
US10229332B2 (en) Method and apparatus for recognizing obstacle of vehicle
US10373024B2 (en) Image processing device, object detection device, image processing method
CN111694903B (zh) 地图构建方法、装置、设备以及可读存储介质
CN109116374B (zh) 确定障碍物距离的方法、装置、设备及存储介质
CN108921925B (zh) 基于激光雷达和视觉融合的语义点云生成方法和装置
CN108364253B (zh) 车辆定损方法、系统以及电子设备
CN108734058B (zh) 障碍物类型识别方法、装置、设备及存储介质
CN106934347B (zh) 障碍物识别方法及装置、计算机设备及可读介质
CN113936198B (zh) 低线束激光雷达与相机融合方法、存储介质及装置
US11783602B2 (en) Object recognition system, recognition device, object recognition method, and object recognition program
CN112949366A (zh) 障碍物识别方法和装置
WO2023231991A1 (zh) 交通信号灯感知方法、装置、设备及存储介质
CN109635868B (zh) 障碍物类别的确定方法、装置、电子设备及存储介质
CN115908786A (zh) 一种基于深度学习的电气柜接地线缆异常识别方法及系统
CN115366885A (zh) 用于辅助机动车的驾驶操作的方法、辅助装置及机动车
CN111259829B (zh) 点云数据的处理方法和装置、存储介质及处理器
WO2024051344A1 (zh) 一种地图创建方法及装置
CN115908498B (zh) 一种基于类别最优匹配的多目标跟踪方法及装置
CN113469045B (zh) 无人集卡的视觉定位方法、系统、电子设备和存储介质
CN113298044B (zh) 基于定位补偿的障碍物检测方法、系统、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant