CN108921925A - 基于激光雷达和视觉融合的语义点云生成方法和装置 - Google Patents

基于激光雷达和视觉融合的语义点云生成方法和装置 Download PDF

Info

Publication number
CN108921925A
CN108921925A CN201810679760.8A CN201810679760A CN108921925A CN 108921925 A CN108921925 A CN 108921925A CN 201810679760 A CN201810679760 A CN 201810679760A CN 108921925 A CN108921925 A CN 108921925A
Authority
CN
China
Prior art keywords
laser
detection
cluster
tag along
along sort
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810679760.8A
Other languages
English (en)
Other versions
CN108921925B (zh
Inventor
谢琨
曹军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Shiyuan Electronics Thecnology Co Ltd
Original Assignee
Guangzhou Shiyuan Electronics Thecnology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Shiyuan Electronics Thecnology Co Ltd filed Critical Guangzhou Shiyuan Electronics Thecnology Co Ltd
Priority to CN201810679760.8A priority Critical patent/CN108921925B/zh
Publication of CN108921925A publication Critical patent/CN108921925A/zh
Application granted granted Critical
Publication of CN108921925B publication Critical patent/CN108921925B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/005—General purpose rendering architectures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/87—Combinations of systems using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10044—Radar image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Computer Graphics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

本发明涉及一种基于激光雷达和视觉融合的语义点云生成方法、装置、设备和计算机可读存储介质，其中方法包括：根据激光雷达的点云数据获取点云聚类图，并根据视觉传感器的图像数据获取物体检测分类图，根据物体检测分类图中检测物体的位置信息和分类标签概率信息，和点云聚类图中激光簇的位置信息，获取与检测物体的位置匹配的各个激光簇的分类标签概率。根据激光簇的分类标签概率，将检测物体的分类标签标定至激光簇上，生成语义点云数据。上述方法，根据检测物体的分类标签概率算得对应位置的各个激光簇的分类标签概率，对激光簇进行分类标签标定，实现了对点云激光簇分类标签的准确标注，提升了生成的语义点云的语义注释的准确性。

Description

基于激光雷达和视觉融合的语义点云生成方法和装置
技术领域
本发明涉及物体探测技术领域，特别是涉及一种基于激光雷达和视觉融合的语义点云生成方法、装置、设备和计算机可读存储介质。
背景技术
激光雷达，是以发射激光束探测目标物体特征量的雷达系统。在使用激光雷达探测设备，例如装载激光雷达的移动机器人进行目标探测例如目标定位时，激光雷达存在返回的点云数据稀疏，信息量少的缺陷，导致动态环境中激光雷达对目标的探测结果不佳，准确性不高。
为了解决激光雷达点云数据稀疏导致探测结果不准确的问题，出现了将激光雷达和视觉探测融合的目标物体检测技术，如何将激光雷达的点云数据和视觉探测的图像数据融合生成语义点云数据，将直接影响最终目标物体检测结果的准确性。
现有的基于激光雷达和视觉融合的语义点云生成方法，将视觉探测的物体检测结果投影到激光点云数据中，得到融合的语义点云数据，从而获取目标物体的检测结果。然而上述现有方法，由于激光雷达和视觉检测的位置差异，以及视觉探测的物体检测框包含很多背景信息，一个物体检测框可能在位置关系上对应有多个点云激光簇，往往难以将物体检测的分类标签准确标记到对应的点云激光簇中，造成较大的误差，导致生成的语义点云数据的语义标记不准确。
发明内容
基于此，有必要针对上述技术问题，提供一种能够准确高效地将激光雷达的点云数据和视觉探测的图像数据融合生成语义点云数据的基于激光雷达和视觉融合的语义点云生成方法、装置、设备和计算机可读存储介质。
一种基于激光雷达和视觉融合的语义点云生成方法，包括以下步骤：
根据激光雷达的点云数据获取点云聚类图，并根据视觉传感器的图像数据获取物体检测分类图。
根据所述物体检测分类图中检测物体的位置信息和分类标签概率信息，以及所述点云聚类图中激光簇的位置信息，计算获取与所述检测物体的位置匹配的各个激光簇的分类标签概率。
根据所述激光簇的分类标签概率，将所述检测物体的分类标签标定至对应的激光簇上，生成包括所述激光簇和对应分类标签的语义点云数据。
上述基于激光雷达和视觉融合的语义点云生成方法，分别对激光雷达的点云数据和视觉传感器的图像数据进行分析获取对应的点云聚类图和物体检测分类图，之后根据点云聚类图中检测物体和物体检测分类图中激光簇的相关参数，根据检测物体的分类标签概率计算得到对应位置上的各个激光簇的分类标签概率，从而可以得到激光簇分类的准确概率信息，根据各个激光簇的分类标签概率对激光簇进行分类标签标定，解决了传统方法直接将视觉探测的物体检测结果投影到激光点云数据中时，难以将物体检测的分类标签准确标记到对应的点云激光簇中的问题，实现了对点云激光簇分类标签的准确标注，提升了生成的语义点云的语义注释的准确性。
在一个实施例中，所述根据所述物体检测分类图中检测物体的位置信息和分类标签概率信息，以及所述点云聚类图中激光簇的位置信息，计算获取与所述检测物体的位置匹配的各个激光簇的分类标签概率之前，还包括步骤：将所述点云聚类图叠加到所述物体检测分类图中，确定所述点云聚类图的多个激光簇中与所述物体检测分类图中的检测物体的位置匹配的激光簇。
上述实施例的方案，通过将同一时刻的点云聚类图叠加到所述物体检测分类图中，可以快速确定与物体检测分类图中的检测物体在位置上匹配的激光簇的信息。
在一个实施例中，所述根据激光雷达的点云数据获取点云聚类图，并根据视觉传感器的图像数据获取物体检测分类图包括：
获取激光雷达探测的点云数据和视觉传感器拍摄的图像数据；根据所述点云数据中扫描点的位置信息，对所述点云数据中的扫描点进行聚类分析，将位置相近的扫描点标记为一类，作为一个激光簇，生成包括所述激光簇信息的点云聚类图；将所述图像数据输入预先深度学习训练得到的物体检测模型中，根据物体检测模型的输出值，获取所述图像数据中检测物体的位置信息、分类标签信息和分类标签概率信息，生成包括所述检测物体的位置信息、分类标签信息和分类标签概率信息的物体检测分类图。
上述实施例的技术方案，通过聚类分析方法，将生成包括点云分类的激光簇信息的点云聚类图，并通过深度学习训练模型对图像数据进行物体检测分类分析，实现在进行数据融合前对点云数据和图像数据的物体分类信息的初步提取。
在一个实施例中，所述将所述点云聚类图叠加到所述物体检测分类图中，确定所述点云聚类图的多个激光簇中与所述物体检测分类图中的检测物体的位置匹配的激光簇包括：
根据激光雷达和视觉传感器的相对位置参数，将所述点云聚类图叠加到所述物体检测分类图中，得到点云图像叠加图；根据所述点云图像叠加图，获取点云图像叠加图中与物体检测分类图的检测物体位置重合或部分重合的点云聚类图的激光簇，作为与所述物体检测分类图的检测物体位置匹配的激光簇。
上述实施例的技术方案，根据激光雷达和视觉传感器的相对位置参数，将所述点云聚类图叠加到所述物体检测分类图中，在得到的点云图像叠加图中，获取与物体检测分类图的检测物体位置重合或部分重合的点云聚类图的激光簇，作为与所述物体检测分类图的检测物体位置匹配的激光簇，可以快速确定与检测物体位置匹配的激光簇。
在一个实施例中，所述根据所述物体检测分类图中检测物体的位置信息和分类标签概率信息，以及所述点云聚类图中激光簇的位置信息，计算获取与所述检测物体的位置匹配的各个激光簇的分类标签概率包括：
根据所述检测物体的位置信息和视觉传感器的位置信息，以及与所述检测物体的位置匹配的各个激光簇的位置信息和激光雷达的位置信息，分别计算位置匹配的各个激光簇与所述检测物体之间的探测角度相似度值；根据所述位置匹配的各个激光簇的位置信息和激光雷达的位置信息，计算各个激光簇与激光雷达之间的距离量度值；根据所述探测角度相似度值和距离量度值，以及所述检测物体的分类标签概率，计算获取各个激光簇的分类标签概率。
上述实施例的技术方案，根据物体检测框和激光簇的位置信息，获取表示激光簇和物体检测框在探测角度上的差异的探测角度相似度值，结合激光簇与激光雷达之间的距离量度值，对各个激光簇的分类标签概率进行校准，将物体检测框的分类标签概率依照各个激光簇的角度和距离差异校准得到对应的各个激光簇的分类标签概率，可体现与同一检测框在位置关系上对应的多个激光簇之前的更精准的分类标签概率差异，根据该激光簇的分类标签概率实现对激光簇进行精准的分类标签标注，提升生成的语义点云的准确性。
在一个实施例中，所述检测物体的位置信息包括物体检测框的位置信息；所述探测角度相似度值表示如下：
上式中，h为激光簇与检测物体之间的探测角度相似度值，d为物体检测框中心点与激光聚类中心点的角度距离，σ为物体检测框在设定径向的直径。
在一个实施例中，所述距离量度值表示如下：
上式中，l为距离量度值，rc为激光聚类中心点到激光雷达的距离，rmax为激光雷达的最大有效探测距离。
在一个实施例中，所述各个激光簇的分类标签概率表示如下：
prob＝(wh×h+wl×l)×prob_obj
上式中，prob为激光簇的分类标签概率，wh和wl为h和l的归一化权值。prob_obj为检测物体的分类标签概率。
在一个实施例中，所述根据所述激光簇的分类标签概率，将所述检测物体的分类标签标定至对应的激光簇上，生成包括所述激光簇和对应分类标签的语义点云数据包括：
根据与所述检测物体的位置匹配的各个激光簇的分类标签概率，选出其中分类标签概率值最高的激光簇；将所述检测物体的分类标签标定至该分类标签概率值最高的激光簇上，生成包括所述分类标签概率值最高的激光簇和标定的分类标签的语义点云图。
上述实施例的技术方案，根据计算的与检测物体位置匹配的多个激光簇的分类标签概率，选出其中分类标签概率最高的激光簇，将所述检测物体的分类标签标定至该激光簇上，解决传统方法直接将检测物体的分类标签映射到位置匹配的多个激光簇上导致的激光簇标记不准确的问题，实现对点云激光簇的精准分类标签标定。
一种基于激光雷达和视觉融合的语义点云生成装置，包括：
数据获取模块，用于根据激光雷达的点云数据获取点云聚类图，并根据视觉传感器的图像数据获取物体检测分类图；
概率计算模块，用于根据所述物体检测分类图中检测物体的位置信息和分类标签概率信息，以及所述点云聚类图中激光簇的位置信息，计算获取与所述检测物体的位置匹配的各个激光簇的分类标签概率；
语义点云生成模块，用于根据所述激光簇的分类标签概率，将所述检测物体的分类标签标定至对应的激光簇上，生成包括所述激光簇和对应分类标签的语义点云数据。
上述基于激光雷达和视觉融合的语义点云生成装置，分别对激光雷达的点云数据和视觉传感器的图像数据进行分析获取对应的点云聚类图和物体检测分类图，之后根据点云聚类图中检测物体和物体检测分类图中激光簇的相关参数，根据检测物体的分类标签概率计算得到对应位置上的各个激光簇的分类标签概率，从而可以得到激光簇分类的准确概率信息，根据各个激光簇的分类标签概率对激光簇进行分类标签标定，解决了传统方法直接将视觉探测的物体检测结果投影到激光点云数据中时，难以将物体检测的分类标签准确标记到对应的点云激光簇中的问题，实现了对点云激光簇分类标签的准确标注，提升了生成的语义点云的语义注释的准确性。
一种物体探测设备，包括激光雷达、视觉传感器、存储器和处理器；所述存储器用于存储程序；当所述程序被所述处理器执行时，使得所述处理器实现如下操作：
根据激光雷达的点云数据获取点云聚类图，并根据视觉传感器的图像数据获取物体检测分类图；
根据所述物体检测分类图中检测物体的位置信息和分类标签概率信息，以及所述点云聚类图中激光簇的位置信息，计算获取与所述检测物体的位置匹配的各个激光簇的分类标签概率；
根据所述激光簇的分类标签概率，将所述检测物体的分类标签标定至对应的激光簇上，生成包括所述激光簇和对应分类标签的语义点云数据。
上述物体探测设备，其处理器执行程序时，通过实现如上步骤，从而可以分别对激光雷达的点云数据和视觉传感器的图像数据进行分析获取对应的点云聚类图和物体检测分类图，之后根据点云聚类图中检测物体和物体检测分类图中激光簇的相关参数，根据检测物体的分类标签概率计算得到对应位置上的各个激光簇的分类标签概率，从而可以得到激光簇分类的准确概率信息，根据各个激光簇的分类标签概率对激光簇进行分类标签标定，解决了传统方法直接将视觉探测的物体检测结果投影到激光点云数据中时，难以将物体检测的分类标签准确标记到对应的点云激光簇中的问题，实现了对点云激光簇分类标签的准确标注，提升了生成的语义点云的语义注释的准确性。
一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
根据激光雷达的点云数据获取点云聚类图，并根据视觉传感器的图像数据获取物体检测分类图；
根据所述物体检测分类图中检测物体的位置信息和分类标签概率信息，以及所述点云聚类图中激光簇的位置信息，计算获取与所述检测物体的位置匹配的各个激光簇的分类标签概率；
根据所述激光簇的分类标签概率，将所述检测物体的分类标签标定至对应的激光簇上，生成包括所述激光簇和对应分类标签的语义点云数据。
上述计算机可读存储介质，其存储的计算机程序，通过实现如上步骤，从而可以分别对激光雷达的点云数据和视觉传感器的图像数据进行分析获取对应的点云聚类图和物体检测分类图，根据点云聚类图中检测物体和物体检测分类图中激光簇的相关参数，根据检测物体的分类标签概率计算得到对应位置上的各个激光簇的分类标签概率，从而可以得到激光簇分类的准确概率信息，根据各个激光簇的分类标签概率对激光簇进行分类标签标定，解决了传统方法直接将视觉探测的物体检测结果投影到激光点云数据中时，难以将物体检测的分类标签准确标记到对应的点云激光簇中的问题，实现了对点云激光簇分类标签的准确标注，提升了生成的语义点云的语义注释的准确性。
附图说明
图1为一个实施例的物体探测装置结构示意图；
图2为一个实施例的基于激光雷达和视觉融合的语义点云生成方法的流程示意图；
图3为另一个实施例的基于激光雷达和视觉融合的语义点云生成方法的流程示意图；
图4为又一个实施例的基于激光雷达和视觉融合的语义点云生成方法的流程示意图；
图5为一个实施例的移动机器人结构示意图；
图6为一个实施例的激光雷达的原始激光点云图；
图7为一个实施例的填充聚类法生成的点云聚类图；
图8为一个实施例的dynamic means法生成的点云聚类图；
图9为一个实施例的视觉传感器的原始拍摄图像；
图10为一个实施例的拍摄图像处理生成的物体检测分类图；
图11为一个实施例的点云图像叠加示意图；
图12为一个实施例的点云图像叠加示意图；
图13为一个实施例的语义点云图；
图14为一个实施例的基于激光雷达和视觉融合的语义点云生成装置的结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明提供的基于激光雷达和视觉融合的语义点云生成方法，可以应用于如图1所示的物体探测设备中，该物体探测设备包括激光雷达110、视觉传感器120、存储器130和处理器140，激光雷达110、视觉传感器120和存储器130分别与处理器140连接，激光雷达110将探测的点云数据发送至处理器140，视觉传感器120将拍摄的图像数据发送至处理器140，处理器140执行存储器130中存储的程序，以实现对点云数据和图像数据进行融合处理，生成对应的语义点云数据，获取物体的探测结果。
在一个实施例中，如图2所示，提供了一种基于激光雷达和视觉融合的语义点云生成方法，以该方法应用于图1中的处理器为例进行说明，包括以下步骤：
S220，根据激光雷达的点云数据获取点云聚类图，并根据视觉传感器的图像数据获取物体检测分类图。
其中，点云聚类图可以为根据激光雷达的点云数据进行聚类分析获取的，包括聚类得到的激光簇信息的点云图，每个点云激光簇代表一类物体；物体检查分类图可以是对视觉传感器的图像数据进行物体检测识别等分析处理得到的，包括检测物体信息的图像。
在此步骤中，处理器可对接收的激光雷达的点云数据进行分析处理，获取包括分类激光簇信息的点云聚类图，并对接收的视觉传感器的图像数据进行分析处理，获取包括检测物体信息的物体检测分类图。
S240，根据所述物体检测分类图中检测物体的位置信息和分类标签概率信息，以及所述点云聚类图中激光簇的位置信息，计算获取与所述检测物体的位置匹配的各个激光簇的分类标签概率。
其中，检测物体的位置信息为图像数据检测的物体的位置的相关参数，例如可以是坐标等的参数数据，也可以是表示物体位置的框图例如物体检测框等等。分类标签概率可以是图像数据对物体进行分类检测得到的分类标签对应的置信概率等。
在此步骤中，处理器根据所述物体检测分类图中检测物体的位置信息和检测物体的分类标签概率信息，以及所述点云聚类图中激光簇的位置信息，分别计算获取与所述检测物体的位置匹配的各个激光簇的分类标签概率。
S260，根据所述激光簇的分类标签概率，将所述检测物体的分类标签标定至对应的激光簇上，生成包括所述激光簇和对应分类标签的语义点云数据。
其中，分类标签为物体分类的标记信息，其可以是一个标记参数，也可以是语义注释，或者物体的名称或其它可能的形式，语义点云数据可以是包含所述点云分类的激光簇信息和点云激光簇对应分类标签的数据，其可以是以参数数据的形式存在，也可以是以标记有所述分类标签信息的点云图的图像形式存在。
在此步骤中，处理器根据所述激光簇的分类标签概率，将所述检测物体的分类标签标定至对应的激光簇上，生成包括所述激光簇和对应分类标签的语义点云数据。
上述基于激光雷达和视觉融合的语义点云生成方法，分别对激光雷达的点云数据和视觉传感器的图像数据进行分析获取对应的点云聚类图和物体检测分类图，之后根据点云聚类图中检测物体和物体检测分类图中激光簇的相关参数，根据检测物体的分类标签概率计算得到对应位置上的各个激光簇的分类标签概率，从而可以得到激光簇分类的准确概率信息，根据各个激光簇的分类标签概率对激光簇进行分类标签标定，解决了传统方法直接将视觉探测的物体检测结果投影到激光点云数据中时，难以将物体检测的分类标签准确标记到对应的点云激光簇中的问题，实现了对点云激光簇分类标签的准确标注，提升了生成的语义点云的语义注释的准确性。
在步骤S240中，需要获取同一时刻检测的点云数据和图像数据对应生成的的物体检测分类图和点云聚类图中，与所述检测物体的位置匹配的各个激光簇，即需要将激光簇与检测物体在位置上形成匹配关系，在一个实施例中，如图3所示，在步骤S240所述根据所述物体检测分类图中检测物体的位置信息和分类标签概率信息，以及所述点云聚类图中激光簇的位置信息，计算获取与所述检测物体的位置匹配的各个激光簇的分类标签概率之前，还包括步骤：
S230，将所述点云聚类图叠加到所述物体检测分类图中，确定所述点云聚类图的多个激光簇中与所述物体检测分类图中的检测物体的位置匹配的激光簇。
其中，用于叠加点云聚类图和物体检测分类图对应的是同一时刻检测的点云数据和图像数据，相应的位置匹配的也是同一时刻的点云数据和图像数据生成的激光簇和检测物体。
上述实施例的方案，通过将同一时刻的点云聚类图叠加到所述物体检测分类图中，可以快速确定与物体检测分类图中的检测物体在位置上匹配的激光簇的信息。
在一个实施例中，如图4所示，步骤S220所述根据激光雷达的点云数据获取点云聚类图，并根据视觉传感器的图像数据获取物体检测分类图包括：
S221，获取激光雷达探测的点云数据和视觉传感器拍摄的图像数据；
S222，根据所述点云数据中扫描点的位置信息，对所述点云数据中的扫描点进行聚类分析，将位置相近的扫描点标记为一类，作为一个激光簇，生成包括所述激光簇信息的点云聚类图；
其中，所述聚类分析可以采用“填充聚类”、“dynamic means”或者其它可能的点云聚类分析方法实现。
在此步骤中，处理器对点云数据进行聚类分析，根据点云的物理位置信息，把相近的同一簇点云标记为一类，作为一个激光簇，生成包括所述激光簇信息的点云聚类图。
S223，将所述图像数据输入预先深度学习训练得到的物体检测模型中，根据物体检测模型的输出值，获取所述图像数据中检测物体的位置信息、分类标签信息和分类标签概率信息，生成包括所述检测物体的位置信息、分类标签信息和分类标签概率信息的物体检测分类图。
其中，物体检测模型可以是现有的物体检测模型、方法或数据库，例如可以是YOLO、YOLO V2或YOLO的其他衍生网络等物体检测方法或者其他的万物检测和分类的方法，也可以是自定义生成的物体检测模型或方法。
上述实施例的技术方案，通过聚类分析方法，将生成包括点云分类的激光簇信息的点云聚类图，并通过深度学习训练模型对图像数据进行物体检测分类分析，实现在进行数据融合前对点云数据和图像数据的物体分类信息的初步提取。
在一个实施例中，如图4所示，步骤S230所述将所述点云聚类图叠加到所述物体检测分类图中，确定所述点云聚类图的多个激光簇中与所述物体检测分类图中的检测物体的位置匹配的激光簇包括：
S231，根据激光雷达和视觉传感器的相对位置参数，将所述点云聚类图叠加到所述物体检测分类图中，得到点云图像叠加图；
其中，相对位置参数是表示激光雷达和视觉传感器的物理相对位置的参数，其可以根据激光雷达和视觉传感器的安装位置参数确定，也可以通过例如标定等其它的方式确定。
S232，根据所述点云图像叠加图，获取点云图像叠加图中与物体检测分类图的检测物体位置重合或部分重合的点云聚类图的激光簇，作为与所述物体检测分类图的检测物体位置匹配的激光簇。
上述实施例的技术方案，根据激光雷达和视觉传感器的相对位置参数，将所述点云聚类图叠加到所述物体检测分类图中，在得到的点云图像叠加图中，获取与物体检测分类图的检测物体位置重合或部分重合的点云聚类图的激光簇，作为与所述物体检测分类图的检测物体位置匹配的激光簇，可以快速确定与检测物体位置匹配的激光簇。
在一个实施例中，如图4所示，步骤S240所述根据所述物体检测分类图中检测物体的位置信息和分类标签概率信息，以及所述点云聚类图中激光簇的位置信息，计算获取与所述检测物体的位置匹配的各个激光簇的分类标签概率包括：
S241，根据所述检测物体的位置信息和视觉传感器的位置信息，以及与所述检测物体的位置匹配的各个激光簇的位置信息和激光雷达的位置信息，分别计算位置匹配的各个激光簇与所述检测物体之间的探测角度相似度值；
在一个实施例中，如图4所示，S241所述检测物体的位置信息包括物体检测框的位置信息；S241所述探测角度相似度值表示如下：
上式中，h为激光簇与检测物体之间的探测角度相似度值，d为物体检测框中心点与激光聚类中心点的角度距离，σ为物体检测框在设定径向的直径。
其中，物体检测框的形状可以根据实际需要设置，例如可以是正方形、长方形、圆形或者其它形状，物体检测框中心点可以为该物体检测框的几何中心点，激光聚类中心点可以为一类激光簇的连续索引中最中间的激光扫描点；物体检测框中心点与激光聚类中心点的角度距离为物体检测框中心点与视觉传感器的连线和激光聚类中心点与激光雷达的连线构成的夹角值；物体检测框在设定径向的直径可以根据物体检测框的形状确定，例如对于方形检测框，其设定径向的直径可以是该方形检测框的长度或者宽度，对于圆形检测框，其设定径向的直径可以是该圆形检测框的直径。
S242，根据所述位置匹配的各个激光簇的位置信息和激光雷达的位置信息，计算各个激光簇与激光雷达之间的距离量度值；
在一个实施例中，S242所述距离量度值表示如下：
上式中，l为距离量度值，rc为激光聚类中心点到激光雷达的距离，rmax为激光雷达的最大有效探测距离。
S243，根据所述探测角度相似度值和距离量度值，以及所述检测物体的分类标签概率，计算获取各个激光簇的分类标签概率。
在一个实施例中，S243所述各个激光簇的分类标签概率表示如下：
prob＝(wh×h+wl×l)×prob_obj
上式中，prob为激光簇的分类标签概率，wh和wl为h和l的归一化权值。prob_obj为检测物体的分类标签概率。
上述实施例的技术方案，根据物体检测框和激光簇的位置信息，获取表示激光簇和物体检测框在探测角度上的差异的探测角度相似度值，结合激光簇与激光雷达之间的距离量度值，对各个激光簇的分类标签概率进行校准，将物体检测框的分类标签概率依照各个激光簇的角度和距离差异校准得到对应的各个激光簇的分类标签概率，可体现与同一检测框在位置关系上对应的多个激光簇之前的更精准的分类标签概率差异，根据该激光簇的分类标签概率实现对激光簇进行精准的分类标签标注，提升生成的语义点云的准确性。
在一个实施例中，如图4所示，S260所述根据所述激光簇的分类标签概率，将所述检测物体的分类标签标定至对应的激光簇上，生成包括所述激光簇和对应分类标签的语义点云数据包括：
S261，根据与所述检测物体的位置匹配的各个激光簇的分类标签概率，选出其中分类标签概率值最高的激光簇；
S262，将所述检测物体的分类标签标定至该分类标签概率值最高的激光簇上，生成包括所述分类标签概率值最高的激光簇和标定的分类标签的语义点云图。
一般来说，图像检测出的一个检测物体位置匹配的多个激光簇中，实际只有一个是与该物体检测框的分类检测结果对应的激光簇，上述实施例的技术方案，根据计算的与检测物体位置匹配的多个激光簇的分类标签概率，选出其中分类标签概率最高的激光簇，将所述检测物体的分类标签标定至该激光簇上，解决传统方法直接将检测物体的分类标签映射到位置匹配的多个激光簇上导致的激光簇标记不准确的问题，实现对点云激光簇的精准分类标签标定。
应该理解的是，虽然图2-4的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2-4中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
为了使本发明的技术方案更加清晰，下面以一个具体的应用实例对本发明实施例的基于激光雷达和视觉融合的语义点云生成方法进行阐述说明。
该应用实例的语义点云生成方法应用于如图5所示的移动机器人中，该移动机器人面向移动方向的前方安装有一个激光雷达和一个视觉探测器，该视觉探测器的视野(FOV)设置为在激光雷达的测量范围内。设置视觉探测器和激光雷达有尽可能大的共同测量范围。该应用实例的基于激光雷达和视觉融合的语义点云生成方法包括如下步骤：
A、获取激光雷达探测的点云数据；
参见图6所示，图6是对激光雷达输出的点云数据的一种可视化的表达。可以看出，原始的点云数据图中是无法区分出这些点云数据对应的物体的，例如无法区分哪些数据是来自桌子的，哪些数据是来自墙面的，哪些数据是来自于行人的。
B、对点云数据进行聚类分析处理，得到点云聚类图；
在此步骤中，对步骤A获取的点云数据进行聚类分析。通过物理位置信息，把相近的同一簇点云标记为一类。
其中，聚类分析可以用“填充聚类”、“dynamic means”或者其它不同的算法实现。其中，“填充聚类”只使用了静态一帧中的数据，把距离较近的数据归为一类。而“dynamicmeans”方法，可以根据帧与帧之间的特点，让聚类更为准确。本应用实例以“填充聚类”和“dynamic means”为例做了相应的实验，参见图7和图8所示，其中，图7和图8中距离相近的同一色度的一簇点云代表一类，图7中标示出激光簇a、激光簇b和激光簇c为示例，图8中激光簇A、激光簇B和激光簇C为示例，实验结果显示在本发明的技术方案中，“dynamic means”的聚类效果更好，后续步骤以dynamic means”检测的聚类分析结果为例。
在此步骤中，虽然经过点云数据的聚类分析可以根据点云数据的位置不同，将点云分为很多类的激光簇，但是还无法得知每一类具体是什么物体。因此需要根据视觉传感器的数据，来判定物体的种类。
C、获取同一时刻视觉探测器探测的图像数据；
在此步骤中，获取同一时刻视觉探测器探测的图像数据，参见图9所示。
D、对图像数据进行物体检测分类，得到物体检测分类图；
在此步骤中，使用基于深度学习的检测、分类器对视觉探测器探测的图像数据进行物体检测分析，得到分析识别出的物体检测框图、物体分类标签和对应的置信概率。
在视觉探测中检测(detection)和分类(classifier)的方法有很多，本应用实例采用YOLO的网络做万物检测和分类，获取的物体检测分类图参见图10所示，获取的检测分类结果可以包括检测物体的位置信息例如物体检测框信息、分类信息例如物体分类标签和物体分类概率信息例如置信概率等。这是综合考虑了主运算单元的运算性能、帧率以及可以感知的物体的种类选择的，其它的可以适用于本发明技术方案的物体检测方法同样可以适用。
E、将点云聚类图和物体检测分类图进行重叠对齐；
在此步骤中，根据事先测定好的激光雷达和相机的安装位置的相对关系(外参)。就可以把激光数据和相机采集到的图片进行对齐，对齐得到的图像参见图11和图12所示。
F、计算与物体检测框位置匹配的多个激光簇的分类标签概率，根据分类标签概率，将检测物体的分类标签标定到概率最高的激光簇上，生成对应的语义点云图。
参见图13所示，最终得到的语义点云图中，标记有与该检测物体在位置上匹配的激光簇，以落于该物体检测框内的各个激光簇的聚类中心点(参见图13中的空心圆点)，物体检测框中心点在激光雷达坐标系下的角度方向投影(参见图13中的虚线)，标记为该物体检测框对应的物体分类标签的激光簇(参见图13中的虚线圈中的激光簇)，以及该激光簇的中心点的角度方向(参见图13中的实线)等等。
在一个实施例中，如图14所示，提供了一种基于激光雷达和视觉融合的语义点云生成装置，包括：
数据获取模块1420，用于根据激光雷达的点云数据获取点云聚类图，并根据视觉传感器的图像数据获取物体检测分类图；
概率计算模块1440，用于根据所述物体检测分类图中检测物体的位置信息和分类标签概率信息，以及所述点云聚类图中激光簇的位置信息，计算获取与所述检测物体的位置匹配的各个激光簇的分类标签概率；
语义点云生成模块1460，用于根据所述激光簇的分类标签概率，将所述检测物体的分类标签标定至对应的激光簇上，生成包括所述激光簇和对应分类标签的语义点云数据。
上述基于激光雷达和视觉融合的语义点云生成装置，分别对激光雷达的点云数据和视觉传感器的图像数据进行分析获取对应的点云聚类图和物体检测分类图，之后根据点云聚类图中检测物体和物体检测分类图中激光簇的相关参数，根据检测物体的分类标签概率计算得到对应位置上的各个激光簇的分类标签概率，从而可以得到激光簇分类的准确概率信息，根据各个激光簇的分类标签概率对激光簇进行分类标签标定，解决了传统方法直接将视觉探测的物体检测结果投影到激光点云数据中时，难以将物体检测的分类标签准确标记到对应的点云激光簇中的问题，实现了对点云激光簇分类标签的准确标注，提升了生成的语义点云的语义注释的准确性。
在一个实施例中，本发明实施例的基于激光雷达和视觉融合的语义点云生成装置还包括：
数据匹配模块1430，用于将所述点云聚类图叠加到所述物体检测分类图中，确定所述点云聚类图的多个激光簇中与所述物体检测分类图中的检测物体的位置匹配的激光簇。
在一个实施例中，所述数据获取模块1420包括：
探测数据获取模块1421，用于获取激光雷达探测的点云数据和视觉传感器拍摄的图像数据；
点云数据分析模块1422，用于根据所述点云数据中扫描点的位置信息，对所述点云数据中的扫描点进行聚类分析，将位置相近的扫描点标记为一类，作为一个激光簇，生成包括所述激光簇信息的点云聚类图；
图像数据分析模块1423，用于将所述图像数据输入预先深度学习训练得到的物体检测模型中，根据物体检测模型的输出值，获取所述图像数据中检测物体的位置信息、分类标签信息和分类标签概率信息，生成包括所述检测物体的位置信息、分类标签信息和分类标签概率信息的物体检测分类图。
在一个实施例中，所述数据匹配模块1430包括：
图像叠加模块1431，用于根据激光雷达和视觉传感器的相对位置参数，将所述点云聚类图叠加到所述物体检测分类图中，得到点云图像叠加图；
激光簇匹配模块1432，用于根据所述点云图像叠加图，获取点云图像叠加图中与物体检测分类图的检测物体位置重合或部分重合的点云聚类图的激光簇，作为与所述物体检测分类图的检测物体位置匹配的激光簇。
在一个实施例中，所述概率计算模块1440包括：
角度相似度计算模块1441，用于根据所述检测物体的位置信息和视觉传感器的位置信息，以及与所述检测物体的位置匹配的各个激光簇的位置信息和激光雷达的位置信息，分别计算位置匹配的各个激光簇与所述检测物体之间的探测角度相似度值；
距离量度计算模块1442，用于根据所述位置匹配的各个激光簇的位置信息和激光雷达的位置信息，计算各个激光簇与激光雷达之间的距离量度值；
分类标签概率计算模块1443，用于根据所述探测角度相似度值和距离量度值，以及所述检测物体的分类标签概率，计算获取各个激光簇的分类标签概率。
在一个实施例中，所述角度相似度计算模块1441在用于根据所述检测物体的位置信息和视觉传感器的位置信息，以及与所述检测物体的位置匹配的各个激光簇的位置信息和激光雷达的位置信息，分别计算位置匹配的各个激光簇与所述检测物体之间的探测角度相似度值的所述检测物体的位置信息包括物体检测框的位置信息时，所述检测物体的位置信息包括物体检测框的位置信息；所述探测角度相似度值表示如下：
上式中，h为激光簇与检测物体之间的探测角度相似度值，d为物体检测框中心点与激光聚类中心点的角度距离，σ为物体检测框在设定径向的直径。
在一个实施例中，所述距离量度计算模块1442在用于根据所述位置匹配的各个激光簇的位置信息和激光雷达的位置信息，计算各个激光簇与激光雷达之间的距离量度值时，所述距离量度值表示如下：
上式中，l为距离量度值，rc为激光聚类中心点到激光雷达的距离，rmax为激光雷达的最大有效探测距离。
在一个实施例中，所述分类标签概率计算模块1443在用于根据所述探测角度相似度值和距离量度值，以及所述检测物体的分类标签概率，计算获取各个激光簇的分类标签概率时，所述各个激光簇的分类标签概率表示如下：
prob＝(wh×h+wl×l)×prob_obj
上式中，prob为激光簇的分类标签概率，wh和wl为h和l的归一化权值。prob_obj为检测物体的分类标签概率。
在一个实施例中，所述语义点云生成模块1460包括：
激光簇选择模块1461，用于根据与所述检测物体的位置匹配的各个激光簇的分类标签概率，选出其中分类标签概率值最高的激光簇；
标签标定模块1462，用于将所述检测物体的分类标签标定至该分类标签概率值最高的激光簇上，生成包括所述分类标签概率值最高的激光簇和标定的分类标签的语义点云图。
关于基于激光雷达和视觉融合的语义点云生成装置的具体限定可以参见上文中对于基于激光雷达和视觉融合的语义点云生成方法的限定，在此不再赘述。上述基于激光雷达和视觉融合的语义点云生成装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于物体探测设备中的处理器中，也可以以软件形式存储于物体探测设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
本发明的基于激光雷达和视觉融合的语义点云生成系统与本发明的基于激光雷达和视觉融合的语义点云生成方法一一对应，在上述基于激光雷达和视觉融合的语义点云生成方法的实施例阐述的技术特征及其有益效果均适用于基于激光雷达和视觉融合的语义点云生成系统的实施例中，特此声明。
在一个实施例中，参见图1所示，提供了一种物体探测设备，包括激光雷达、视觉传感器、存储器和处理器；其中，激光雷达、视觉传感器和存储器分别与处理器连接，所述存储器用于存储程序；当所述程序被所述处理器执行时，使得所述处理器实现如下操作：
根据激光雷达的点云数据获取点云聚类图，并根据视觉传感器的图像数据获取物体检测分类图；
根据所述物体检测分类图中检测物体的位置信息和分类标签概率信息，以及所述点云聚类图中激光簇的位置信息，计算获取与所述检测物体的位置匹配的各个激光簇的分类标签概率；
根据所述激光簇的分类标签概率，将所述检测物体的分类标签标定至对应的激光簇上，生成包括所述激光簇和对应分类标签的语义点云数据。
上述物体探测设备，其处理器执行程序时，通过实现如上步骤，从而可以分别对激光雷达的点云数据和视觉传感器的图像数据进行分析获取对应的点云聚类图和物体检测分类图，之后根据点云聚类图中检测物体和物体检测分类图中激光簇的相关参数，根据检测物体的分类标签概率计算得到对应位置上的各个激光簇的分类标签概率，从而可以得到激光簇分类的准确概率信息，根据各个激光簇的分类标签概率对激光簇进行分类标签标定，解决了传统方法直接将视觉探测的物体检测结果投影到激光点云数据中时，难以将物体检测的分类标签准确标记到对应的点云激光簇中的问题，实现了对点云激光簇分类标签的准确标注，提升了生成的语义点云的语义注释的准确性。
在一个实施例中，所述处理器执行程序时还实现以下步骤：
将所述点云聚类图叠加到所述物体检测分类图中，确定所述点云聚类图的多个激光簇中与所述物体检测分类图中的检测物体的位置匹配的激光簇。
在一个实施例中，处理器执行程序时还实现以下步骤：
根据所述检测物体的位置信息和视觉传感器的位置信息，以及与所述检测物体的位置匹配的各个激光簇的位置信息和激光雷达的位置信息，分别计算位置匹配的各个激光簇与所述检测物体之间的探测角度相似度值；根据所述位置匹配的各个激光簇的位置信息和激光雷达的位置信息，计算各个激光簇与激光雷达之间的距离量度值；根据所述探测角度相似度值和距离量度值，以及所述检测物体的分类标签概率，计算获取各个激光簇的分类标签概率。
在一个实施例中，处理器执行程序时，所述检测物体的位置信息包括物体检测框的位置信息：所述探测角度相似度值表示如下：
上式中，h为激光簇与检测物体之间的探测角度相似度值，d为物体检测框中心点与激光聚类中心点的角度距离，σ为物体检测框在设定径向的直径。
在一个实施例中，处理器执行程序时，所述距离量度值表示如下：
上式中，l为距离量度值，rc为激光聚类中心点到激光雷达的距离，rmax为激光雷达的最大有效探测距离。
在一个实施例中，处理器执行程序时，所述各个激光簇的分类标签概率表示如下：
prob＝(wh×h+wl×l)×prob_obj
上式中，prob为激光簇的分类标签概率，wh和wl为h和l的归一化权值。prob_obj为检测物体的分类标签概率。
在一个实施例中，处理器执行程序时还实现以下步骤：
根据激光雷达和视觉传感器的相对位置参数，将所述点云聚类图叠加到所述物体检测分类图中，得到点云图像叠加图；根据所述点云图像叠加图，获取点云图像叠加图中与物体检测分类图的检测物体位置重合或部分重合的点云聚类图的激光簇，作为与所述物体检测分类图的检测物体位置匹配的激光簇。
在一个实施例中，处理器执行程序时还实现以下步骤：
根据与所述检测物体的位置匹配的各个激光簇的分类标签概率，选出其中分类标签概率值最高的激光簇；将所述检测物体的分类标签标定至该分类标签概率值最高的激光簇上，生成包括所述分类标签概率值最高的激光簇和标定的分类标签的语义点云图。
在一个实施例中，处理器执行程序时还实现以下步骤：
获取激光雷达探测的点云数据和视觉传感器拍摄的图像数据；根据所述点云数据中扫描点的位置信息，对所述点云数据中的扫描点进行聚类分析，将位置相近的扫描点标记为一类，作为一个激光簇，生成包括所述激光簇信息的点云聚类图；将所述图像数据输入预先深度学习训练得到的物体检测模型中，根据物体检测模型的输出值，获取所述图像数据中检测物体的位置信息、分类标签信息和分类标签概率信息，生成包括所述检测物体的位置信息、分类标签信息和分类标签概率信息的物体检测分类图。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
根据激光雷达的点云数据获取点云聚类图，并根据视觉传感器的图像数据获取物体检测分类图；
根据所述物体检测分类图中检测物体的位置信息和分类标签概率信息，以及所述点云聚类图中激光簇的位置信息，计算获取与所述检测物体的位置匹配的各个激光簇的分类标签概率；
根据所述激光簇的分类标签概率，将所述检测物体的分类标签标定至对应的激光簇上，生成包括所述激光簇和对应分类标签的语义点云数据。
上述计算机可读存储介质，其存储的计算机程序，通过实现如上步骤，从而可以分别对激光雷达的点云数据和视觉传感器的图像数据进行分析获取对应的点云聚类图和物体检测分类图，根据点云聚类图中检测物体和物体检测分类图中激光簇的相关参数，根据检测物体的分类标签概率计算得到对应位置上的各个激光簇的分类标签概率，从而可以得到激光簇分类的准确概率信息，根据各个激光簇的分类标签概率对激光簇进行分类标签标定，解决了传统方法直接将视觉探测的物体检测结果投影到激光点云数据中时，难以将物体检测的分类标签准确标记到对应的点云激光簇中的问题，实现了对点云激光簇分类标签的准确标注，提升了生成的语义点云的语义注释的准确性。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
将所述点云聚类图叠加到所述物体检测分类图中，确定所述点云聚类图的多个激光簇中与所述物体检测分类图中的检测物体的位置匹配的激光簇。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
根据所述检测物体的位置信息和视觉传感器的位置信息，以及与所述检测物体的位置匹配的各个激光簇的位置信息和激光雷达的位置信息，分别计算位置匹配的各个激光簇与所述检测物体之间的探测角度相似度值；根据所述位置匹配的各个激光簇的位置信息和激光雷达的位置信息，计算各个激光簇与激光雷达之间的距离量度值；根据所述探测角度相似度值和距离量度值，以及所述检测物体的分类标签概率，计算获取各个激光簇的分类标签概率。
在一个实施例中，计算机程序被处理器执行时，所述检测物体的位置信息包括物体检测框的位置信息：所述探测角度相似度值表示如下：
上式中，h为激光簇与检测物体之间的探测角度相似度值，d为物体检测框中心点与激光聚类中心点的角度距离，σ为物体检测框在设定径向的直径。
在一个实施例中，计算机程序被处理器执行时，所述距离量度值表示如下：
上式中，l为距离量度值，rc为激光聚类中心点到激光雷达的距离，rmax为激光雷达的最大有效探测距离。
在一个实施例中，计算机程序被处理器执行时，所述各个激光簇的分类标签概率表示如下：
prob＝(wh×h+wl×l)×prob_obj
上式中，prob为激光簇的分类标签概率，wh和wl为h和l的归一化权值。prob_obj为检测物体的分类标签概率。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
根据激光雷达和视觉传感器的相对位置参数，将所述点云聚类图叠加到所述物体检测分类图中，得到点云图像叠加图；根据所述点云图像叠加图，获取点云图像叠加图中与物体检测分类图的检测物体位置重合或部分重合的点云聚类图的激光簇，作为与所述物体检测分类图的检测物体位置匹配的激光簇。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
根据与所述检测物体的位置匹配的各个激光簇的分类标签概率，选出其中分类标签概率值最高的激光簇；将所述检测物体的分类标签标定至该分类标签概率值最高的激光簇上，生成包括所述分类标签概率值最高的激光簇和标定的分类标签的语义点云图。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
获取激光雷达探测的点云数据和视觉传感器拍摄的图像数据；根据所述点云数据中扫描点的位置信息，对所述点云数据中的扫描点进行聚类分析，将位置相近的扫描点标记为一类，作为一个激光簇，生成包括所述激光簇信息的点云聚类图；将所述图像数据输入预先深度学习训练得到的物体检测模型中，根据物体检测模型的输出值，获取所述图像数据中检测物体的位置信息、分类标签信息和分类标签概率信息，生成包括所述检测物体的位置信息、分类标签信息和分类标签概率信息的物体检测分类图。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本发明所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (14)

1.一种基于激光雷达和视觉融合的语义点云生成方法，其特征在于，所述方法包括：
根据激光雷达的点云数据获取点云聚类图，并根据视觉传感器的图像数据获取物体检测分类图；
根据所述物体检测分类图中检测物体的位置信息和分类标签概率信息，以及所述点云聚类图中激光簇的位置信息，计算获取与所述检测物体的位置匹配的各个激光簇的分类标签概率；
根据所述激光簇的分类标签概率，将所述检测物体的分类标签标定至对应的激光簇上，生成包括所述激光簇和对应分类标签的语义点云数据。
2.根据权利要求1所述的基于激光雷达和视觉融合的语义点云生成方法，其特征在于，所述根据所述物体检测分类图中检测物体的位置信息和分类标签概率信息，以及所述点云聚类图中激光簇的位置信息，计算获取与所述检测物体的位置匹配的各个激光簇的分类标签概率包括：
根据所述检测物体的位置信息和视觉传感器的位置信息，以及与所述检测物体的位置匹配的各个激光簇的位置信息和激光雷达的位置信息，分别计算位置匹配的各个激光簇与所述检测物体之间的探测角度相似度值；
根据所述位置匹配的各个激光簇的位置信息和激光雷达的位置信息，计算各个激光簇与激光雷达之间的距离量度值；
根据所述探测角度相似度值和距离量度值，以及所述检测物体的分类标签概率，计算获取各个激光簇的分类标签概率。
3.根据权利要求2所述的基于激光雷达和视觉融合的语义点云生成方法，其特征在于，所述检测物体的位置信息包括物体检测框的位置信息；
所述探测角度相似度值表示如下：
上式中，h为激光簇与检测物体之间的探测角度相似度值，d为物体检测框中心点与激光聚类中心点的角度距离，σ为物体检测框在设定径向的直径。
4.根据权利要求2所述的基于激光雷达和视觉融合的语义点云生成方法，其特征在于，所述距离量度值表示如下：
上式中，l为距离量度值，rc为激光聚类中心点到激光雷达的距离，rmax为激光雷达的最大有效探测距离。
5.根据权利要求2所述的基于激光雷达和视觉融合的语义点云生成方法，其特征在于，所述各个激光簇的分类标签概率表示如下：
prob＝(wh×h+wl×l)×prob_obj
上式中，prob为激光簇的分类标签概率，wh和wl为h和l的归一化权值。prob_obj为检测物体的分类标签概率。
6.根据权利要求1至5任一项所述的基于激光雷达和视觉融合的语义点云生成方法，其特征在于，在所述根据所述物体检测分类图中检测物体的位置信息和分类标签概率信息，以及所述点云聚类图中激光簇的位置信息，计算获取与所述检测物体的位置匹配的各个激光簇的分类标签概率的步骤之前，还包括：
将所述点云聚类图叠加到所述物体检测分类图中，确定所述点云聚类图的多个激光簇中与所述物体检测分类图中的检测物体的位置匹配的激光簇。
7.根据权利要求6所述的基于激光雷达和视觉融合的语义点云生成方法，其特征在于，所述将所述点云聚类图叠加到所述物体检测分类图中，确定所述点云聚类图的多个激光簇中与所述物体检测分类图中的检测物体的位置匹配的激光簇包括：
根据激光雷达和视觉传感器的相对位置参数，将所述点云聚类图叠加到所述物体检测分类图中，得到点云图像叠加图；
根据所述点云图像叠加图，获取点云图像叠加图中与物体检测分类图的检测物体位置重合或部分重合的点云聚类图的激光簇，作为与所述物体检测分类图的检测物体位置匹配的激光簇。
8.根据权利要求1至5任一项所述的基于激光雷达和视觉融合的语义点云生成方法，其特征在于，所述根据所述激光簇的分类标签概率，将所述检测物体的分类标签标定至对应的激光簇上，生成包括所述激光簇和对应分类标签的语义点云数据包括：
根据与所述检测物体的位置匹配的各个激光簇的分类标签概率，选出其中分类标签概率值最高的激光簇；
将所述检测物体的分类标签标定至该分类标签概率值最高的激光簇上，生成包括所述分类标签概率值最高的激光簇和标定的分类标签的语义点云图。
9.根据权利要求1至5任一项所述的基于激光雷达和视觉融合的语义点云生成方法，其特征在于，所述根据激光雷达的点云数据获取点云聚类图，并根据视觉传感器的图像数据获取物体检测分类图包括：
获取激光雷达探测的点云数据和视觉传感器拍摄的图像数据；
根据所述点云数据中扫描点的位置信息，对所述点云数据中的扫描点进行聚类分析，将位置相近的扫描点标记为一类，作为一个激光簇，生成包括所述激光簇信息的点云聚类图；
将所述图像数据输入预先深度学习训练得到的物体检测模型中，根据物体检测模型的输出值，获取所述图像数据中检测物体的位置信息、分类标签信息和分类标签概率信息，生成包括所述检测物体的位置信息、分类标签信息和分类标签概率信息的物体检测分类图。
10.一种基于激光雷达和视觉融合的语义点云生成装置，其特征在于，所述装置包括：
数据获取模块，用于根据激光雷达的点云数据获取点云聚类图，并根据视觉传感器的图像数据获取物体检测分类图；
概率计算模块，用于根据所述物体检测分类图中检测物体的位置信息和分类标签概率信息，以及所述点云聚类图中激光簇的位置信息，计算获取与所述检测物体的位置匹配的各个激光簇的分类标签概率；
语义点云生成模块，用于根据所述激光簇的分类标签概率，将所述检测物体的分类标签标定至对应的激光簇上，生成包括所述激光簇和对应分类标签的语义点云数据。
11.根据权利要求10所述的基于激光雷达和视觉融合的语义点云生成装置，其特征在于，所述概率计算模块包括：
角度相似度计算模块，用于根据所述检测物体的位置信息和视觉传感器的位置信息，以及与所述检测物体的位置匹配的各个激光簇的位置信息和激光雷达的位置信息，分别计算位置匹配的各个激光簇与所述检测物体之间的探测角度相似度值；
距离量度计算模块，用于根据所述位置匹配的各个激光簇的位置信息和激光雷达的位置信息，计算各个激光簇与激光雷达之间的距离量度值；
分类标签概率计算模块，用于根据所述探测角度相似度值和距离量度值，以及所述检测物体的分类标签概率，计算获取各个激光簇的分类标签概率。
12.一种物体探测设备，其特征在于，包括激光雷达、视觉传感器、存储器和处理器；
所述存储器用于存储程序；
当所述程序被所述处理器执行时，使得所述处理器实现如下操作：
根据激光雷达的点云数据获取点云聚类图，并根据视觉传感器的图像数据获取物体检测分类图；
根据所述物体检测分类图中检测物体的位置信息和分类标签概率信息，以及所述点云聚类图中激光簇的位置信息，计算获取与所述检测物体的位置匹配的各个激光簇的分类标签概率；
根据所述激光簇的分类标签概率，将所述检测物体的分类标签标定至对应的激光簇上，生成包括所述激光簇和对应分类标签的语义点云数据。
13.根据权利要求12所述的物体探测设备，其特征在于，所述处理器在实现所述根据所述物体检测分类图中检测物体的位置信息和分类标签概率信息，以及所述点云聚类图中激光簇的位置信息，计算获取与所述检测物体的位置匹配的各个激光簇的分类标签概率时，进一步实现如下操作：
根据所述检测物体的位置信息和视觉传感器的位置信息，以及与所述检测物体的位置匹配的各个激光簇的位置信息和激光雷达的位置信息，分别计算位置匹配的各个激光簇与所述检测物体之间的探测角度相似度值；
根据所述位置匹配的各个激光簇的位置信息和激光雷达的位置信息，计算各个激光簇与激光雷达之间的距离量度值；
根据所述探测角度相似度值和距离量度值，以及所述检测物体的分类标签概率，计算获取各个激光簇的分类标签概率。
14.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至9中任一项所述的基于激光雷达和视觉融合的语义点云生成方法的步骤。
CN201810679760.8A 2018-06-27 2018-06-27 基于激光雷达和视觉融合的语义点云生成方法和装置 Active CN108921925B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810679760.8A CN108921925B (zh) 2018-06-27 2018-06-27 基于激光雷达和视觉融合的语义点云生成方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810679760.8A CN108921925B (zh) 2018-06-27 2018-06-27 基于激光雷达和视觉融合的语义点云生成方法和装置

Publications (2)

Publication Number Publication Date
CN108921925A true CN108921925A (zh) 2018-11-30
CN108921925B CN108921925B (zh) 2022-12-09

Family

ID=64423996

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810679760.8A Active CN108921925B (zh) 2018-06-27 2018-06-27 基于激光雷达和视觉融合的语义点云生成方法和装置

Country Status (1)

Country Link
CN (1) CN108921925B (zh)

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109740487A (zh) * 2018-12-27 2019-05-10 广州文远知行科技有限公司 点云标注方法、装置、计算机设备和存储介质
CN109978955A (zh) * 2019-03-11 2019-07-05 武汉环宇智行科技有限公司 一种联合激光点云与图像的高效标注方法
CN110533923A (zh) * 2019-08-29 2019-12-03 北京精英路通科技有限公司 停车管理方法、装置、计算机设备及存储介质
CN111105495A (zh) * 2019-11-26 2020-05-05 四川阿泰因机器人智能装备有限公司 一种融合视觉语义信息的激光雷达建图方法及系统
CN111323027A (zh) * 2018-12-17 2020-06-23 兰州大学 一种基于激光雷达与环视相机融合制作高精度地图方法及装置
CN111338742A (zh) * 2020-05-19 2020-06-26 北京数字绿土科技有限公司 一种点云数据的批处理方法及处理装置
CN111652174A (zh) * 2020-06-10 2020-09-11 北京云迹科技有限公司 一种基于激光数据的语义化标定方法及装置
CN111984812A (zh) * 2020-08-05 2020-11-24 沈阳东软智能医疗科技研究院有限公司 一种特征提取模型生成方法、图像检索方法、装置及设备
CN112102375A (zh) * 2020-07-22 2020-12-18 广州视源电子科技股份有限公司 一种点云配准可靠性检测的方法、装置、移动智慧设备
CN112526520A (zh) * 2019-08-29 2021-03-19 中车株洲电力机车研究所有限公司 一种行人及障碍物提示系统
WO2021109033A1 (en) 2019-12-04 2021-06-10 Huawei Technologies Co., Ltd. Apparatus and method for collecting and auto-labelling measurement data in traffic scenario
CN112991455A (zh) * 2021-02-01 2021-06-18 武汉光庭信息技术股份有限公司 一种点云与图片融合标注的方法及系统
CN113496160A (zh) * 2020-03-20 2021-10-12 百度在线网络技术（北京）有限公司 三维物体检测方法、装置、电子设备和存储介质
CN114485607A (zh) * 2021-12-02 2022-05-13 陕西欧卡电子智能科技有限公司 一种运动轨迹的确定方法、作业设备、装置、存储介质
CN114526720A (zh) * 2020-11-02 2022-05-24 北京四维图新科技股份有限公司 定位的处理方法、装置、设备及存储介质
CN115512147A (zh) * 2022-11-16 2022-12-23 北京亮道智能汽车技术有限公司 基于语义信息的聚类方法、装置、电子设备及存储介质
CN116184427A (zh) * 2022-12-21 2023-05-30 湖南迈克森伟电子科技有限公司 基于激光距离传感技术的距离探测系统

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100157280A1 (en) * 2008-12-19 2010-06-24 Ambercore Software Inc. Method and system for aligning a line scan camera with a lidar scanner for real time data fusion in three dimensions
US20100207936A1 (en) * 2009-02-13 2010-08-19 Harris Corporation Fusion of a 2d electro-optical image and 3d point cloud data for scene interpretation and registration performance assessment
US20100235129A1 (en) * 2009-03-10 2010-09-16 Honeywell International Inc. Calibration of multi-sensor system
CN102096072A (zh) * 2011-01-06 2011-06-15 天津市星际空间地理信息工程有限公司 一种城市部件自动化测量方法
CN106646504A (zh) * 2016-12-25 2017-05-10 湖南晖龙股份有限公司 激光雷达导航方法及装置
US20170206436A1 (en) * 2016-01-19 2017-07-20 Delphi Technologies, Inc. Object Tracking System With Radar/Vision Fusion For Automated Vehicles
US20170236055A1 (en) * 2016-02-12 2017-08-17 Adobe Systems Incorporated Accurate tag relevance prediction for image search
US20170254895A1 (en) * 2016-03-01 2017-09-07 GM Global Technology Operations LLC Detecting long objects by sensor fusion
CN107945198A (zh) * 2016-10-13 2018-04-20 北京百度网讯科技有限公司 用于标注点云数据的方法和装置

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100157280A1 (en) * 2008-12-19 2010-06-24 Ambercore Software Inc. Method and system for aligning a line scan camera with a lidar scanner for real time data fusion in three dimensions
US20100207936A1 (en) * 2009-02-13 2010-08-19 Harris Corporation Fusion of a 2d electro-optical image and 3d point cloud data for scene interpretation and registration performance assessment
US20100235129A1 (en) * 2009-03-10 2010-09-16 Honeywell International Inc. Calibration of multi-sensor system
CN102096072A (zh) * 2011-01-06 2011-06-15 天津市星际空间地理信息工程有限公司 一种城市部件自动化测量方法
US20170206436A1 (en) * 2016-01-19 2017-07-20 Delphi Technologies, Inc. Object Tracking System With Radar/Vision Fusion For Automated Vehicles
US20170236055A1 (en) * 2016-02-12 2017-08-17 Adobe Systems Incorporated Accurate tag relevance prediction for image search
US20170254895A1 (en) * 2016-03-01 2017-09-07 GM Global Technology Operations LLC Detecting long objects by sensor fusion
CN107945198A (zh) * 2016-10-13 2018-04-20 北京百度网讯科技有限公司 用于标注点云数据的方法和装置
CN106646504A (zh) * 2016-12-25 2017-05-10 湖南晖龙股份有限公司 激光雷达导航方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
TAI-EN WU等: "Vehicle Detection Based on LiDAR and Camera Fusion", 《PROCEEDINGS OF APSIPA ANNUAL SUMMIT AND CONFERENCE 2017》 *
陈晓伟等: "汽车前方车辆识别的雷达和视觉信息融合算法开发", 《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑》 *

Cited By (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111323027A (zh) * 2018-12-17 2020-06-23 兰州大学 一种基于激光雷达与环视相机融合制作高精度地图方法及装置
CN109740487A (zh) * 2018-12-27 2019-05-10 广州文远知行科技有限公司 点云标注方法、装置、计算机设备和存储介质
CN109978955A (zh) * 2019-03-11 2019-07-05 武汉环宇智行科技有限公司 一种联合激光点云与图像的高效标注方法
CN112526520A (zh) * 2019-08-29 2021-03-19 中车株洲电力机车研究所有限公司 一种行人及障碍物提示系统
CN110533923A (zh) * 2019-08-29 2019-12-03 北京精英路通科技有限公司 停车管理方法、装置、计算机设备及存储介质
CN111105495A (zh) * 2019-11-26 2020-05-05 四川阿泰因机器人智能装备有限公司 一种融合视觉语义信息的激光雷达建图方法及系统
WO2021109033A1 (en) 2019-12-04 2021-06-10 Huawei Technologies Co., Ltd. Apparatus and method for collecting and auto-labelling measurement data in traffic scenario
CN113330331A (zh) * 2019-12-04 2021-08-31 华为技术有限公司 用于交通场景中收集和自动标记测量数据的装置和方法
CN113496160A (zh) * 2020-03-20 2021-10-12 百度在线网络技术（北京）有限公司 三维物体检测方法、装置、电子设备和存储介质
CN111338742B (zh) * 2020-05-19 2020-09-08 北京数字绿土科技有限公司 一种点云数据的批处理方法及处理装置
CN111338742A (zh) * 2020-05-19 2020-06-26 北京数字绿土科技有限公司 一种点云数据的批处理方法及处理装置
CN111652174A (zh) * 2020-06-10 2020-09-11 北京云迹科技有限公司 一种基于激光数据的语义化标定方法及装置
CN111652174B (zh) * 2020-06-10 2024-01-23 北京云迹科技股份有限公司 一种基于激光数据的语义化标定方法及装置
CN112102375B (zh) * 2020-07-22 2024-04-12 广州视源电子科技股份有限公司 一种点云配准可靠性检测的方法、装置、移动智慧设备
CN112102375A (zh) * 2020-07-22 2020-12-18 广州视源电子科技股份有限公司 一种点云配准可靠性检测的方法、装置、移动智慧设备
CN111984812A (zh) * 2020-08-05 2020-11-24 沈阳东软智能医疗科技研究院有限公司 一种特征提取模型生成方法、图像检索方法、装置及设备
CN111984812B (zh) * 2020-08-05 2024-05-03 沈阳东软智能医疗科技研究院有限公司 一种特征提取模型生成方法、图像检索方法、装置及设备
CN114526720A (zh) * 2020-11-02 2022-05-24 北京四维图新科技股份有限公司 定位的处理方法、装置、设备及存储介质
CN114526720B (zh) * 2020-11-02 2024-04-16 北京四维图新科技股份有限公司 定位的处理方法、装置、设备及存储介质
CN112991455A (zh) * 2021-02-01 2021-06-18 武汉光庭信息技术股份有限公司 一种点云与图片融合标注的方法及系统
CN112991455B (zh) * 2021-02-01 2022-06-17 武汉光庭信息技术股份有限公司 一种点云与图片融合标注的方法及系统
CN114485607B (zh) * 2021-12-02 2023-11-10 陕西欧卡电子智能科技有限公司 一种运动轨迹的确定方法、作业设备、装置、存储介质
CN114485607A (zh) * 2021-12-02 2022-05-13 陕西欧卡电子智能科技有限公司 一种运动轨迹的确定方法、作业设备、装置、存储介质
CN115512147B (zh) * 2022-11-16 2023-04-11 北京亮道智能汽车技术有限公司 基于语义信息的聚类方法、装置、电子设备及存储介质
CN115512147A (zh) * 2022-11-16 2022-12-23 北京亮道智能汽车技术有限公司 基于语义信息的聚类方法、装置、电子设备及存储介质
CN116184427A (zh) * 2022-12-21 2023-05-30 湖南迈克森伟电子科技有限公司 基于激光距离传感技术的距离探测系统
CN116184427B (zh) * 2022-12-21 2023-12-29 湖南迈克森伟电子科技有限公司 基于激光距离传感技术的距离探测系统

Also Published As

Publication number Publication date
CN108921925B (zh) 2022-12-09

Similar Documents

Publication Publication Date Title
CN108921925A (zh) 基于激光雷达和视觉融合的语义点云生成方法和装置
Hall et al. Probabilistic object detection: Definition and evaluation
US10410292B2 (en) Method, system, apparatus, and storage medium for realizing antifraud in insurance claim based on consistency of multiple images
CN113269073B (zh) 一种基于yolo v5算法的船舶多目标追踪方法
CN111626125B (zh) 人脸温度检测的方法、系统、装置和计算机设备
US5128684A (en) Method and apparatus for correlating sensor detections in space and time
US11087224B2 (en) Out-of-vehicle communication device, out-of-vehicle communication method, information processing device, and computer readable medium
US20210072397A1 (en) Generation of synthetic lidar signals
CN111239684A (zh) 一种基于YoloV3深度学习的双目快速距离测量方法
CN109583416A (zh) 伪车道线识别方法及系统
Yang et al. Insulator identification and self-shattering detection based on mask region with convolutional neural network
Lee et al. Neural geometric parser for single image camera calibration
CN115994899A (zh) 一种螺栓松动检测方法、装置及检测设备
CN106204549B (zh) 一种基于视频分析的广告牌监测方法、装置及电子设备
CN111553184A (zh) 一种基于电子围网的小目标检测方法、装置及电子设备
Martin et al. Object of fixation estimation by joint analysis of gaze and object dynamics
CN116681730A (zh) 一种目标物追踪方法、装置、计算机设备和存储介质
Daudt et al. Learning to understand earth observation images with weak and unreliable ground truth
CN112232272B (zh) 一种激光与视觉图像传感器融合的行人识别方法
Zhong et al. Point cloud classification for detecting roadside safety attributes and distances
Hartmann et al. Robust and real-time multi-cue map verification for the road ahead
CN114863201A (zh) 三维检测模型的训练方法、装置、计算机设备和存储介质
CN113673498A (zh) 目标检测方法、装置、设备和计算机可读存储介质
Lukashchuk Method of automatic identification of ruler scales on images to solve the problem of estimating the geometric dimensions of certain objects
US20220406010A1 (en) Lidar Camera Fusion For Autonomous Vehicles

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant