CN112434706B - 一种基于图像点云融合的高精度交通要素目标提取方法 - Google Patents

一种基于图像点云融合的高精度交通要素目标提取方法 Download PDF

Info

Publication number
CN112434706B
CN112434706B CN202011273356.4A CN202011273356A CN112434706B CN 112434706 B CN112434706 B CN 112434706B CN 202011273356 A CN202011273356 A CN 202011273356A CN 112434706 B CN112434706 B CN 112434706B
Authority
CN
China
Prior art keywords
point cloud
image
cloud data
traffic
precision
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011273356.4A
Other languages
English (en)
Other versions
CN112434706A (zh
Inventor
熊迹
李汉玢
何云
侯国强
刘奋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Heading Data Intelligence Co Ltd
Original Assignee
Heading Data Intelligence Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Heading Data Intelligence Co Ltd filed Critical Heading Data Intelligence Co Ltd
Priority to CN202011273356.4A priority Critical patent/CN112434706B/zh
Publication of CN112434706A publication Critical patent/CN112434706A/zh
Application granted granted Critical
Publication of CN112434706B publication Critical patent/CN112434706B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Geometry (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Graphics (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Remote Sensing (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明涉及一种基于图像点云融合的高精度交通要素目标提取方法，包括：根据图像和点云数据的特征进行图像和点云数据的配准，根据配准结果利用图像对对应的点云数据进行属性赋值后得到融合数据；根据电子地图中的交通要素的特征的独立性进行分类，对图像进行基于深度学习的训练得到各个分类的目标检测模型，利用各个检测模型对图像进行各个交通要素的检测；利用语义分割网络对图像中的交通要素进行目标语义分割，将图像的分割的结果映射到点云数据，提取得到交通要素目标；将RGB数据与对应的点云数据相融合，由于图像数据与点云数据进行了高精度配准，所以对图像中目标的高精度提取，可实现对点云数据中的目标进行高精度提取。

Description

一种基于图像点云融合的高精度交通要素目标提取方法
技术领域
本发明涉及高精度地图制作生成领域，尤其涉及一种基于图像点云融合的高精度交通要素目标提取方法。
背景技术
高精度地图，通俗来讲就是精度更高、数据维度更多的电子地图。精度更高体现在精确到厘米级别，数据维度更多体现在其包括了除道路信息之外的与交通相对的周围静态信息。高精度地图将大量的行车辅助信息存储为结构化数据，比如车道周边的固定对象信息，比如交通标志、交通信号灯等指示信息。
由于高精度地图的精度为厘米级别，而生产高精度地图的点云数据为无序的，点云数据中点与点的距离一般在5cm-15cm之间，所以在点云中高精度提取交通要素，存在很多难点。传统的点云处理方法在对交通要素进行检测的精度比较低，漏检比较高，并不能完整的对整个点云数据中的交通要素进行全量提取，所以国内外有很多学者，研究利用AI技术来对点云进行处理，并提取相关的对象，在对点云进行分类的研究中，AI提出了pointNet++网络可实现对点云对象的分类，在对点云进行语义分割方面，提出了Minet网络，可实现对网络中的点云点进行分类，并形成语义级别的分割。
然而点云数据没有交通要素的属性信息，只有几何精度信息，因此基于AI技术进行点云数据的提取的信息难以保证其完整性。
发明内容
本发明针对现有技术中存在的技术问题，提供一种基于图像点云融合的高精度交通要素目标提取方法，解决现有技术中的问题。
本发明解决上述技术问题的技术方案如下：一种基于图像点云融合的高精度交通要素目标提取方法，包括：
步骤1，根据图像和点云数据的特征进行图像和点云数据的配准，根据配准结果利用所述图像对对应的点云数据进行属性赋值后得到融合数据；
步骤2，根据电子地图中的交通要素的特征的独立性进行分类，对所述图像进行基于深度学习的训练得到各个分类的目标检测模型，利用各个所述检测模型对所述图像进行各个交通要素的检测，对所述交通要素对应的点云数据进行保存；
步骤3，利用语义分割网络对所述图像中的所述交通要素进行目标语义分割，将所述图像的分割的结果映射到所述点云数据，提取得到交通要素目标。
本发明的有益效果是：将RGB数据与对应的点云数据相融合，实现高精度配准；利用配准好的数据，结合深度学习目标检测算法，可实现对目标的高精度提取，提取的结果有RGB目标和点云数据目标，由于图像数据与点云数据进行了高精度配准，所以对图像中目标的高精度提取，可实现对点云数据中的目标进行高精度提取；利用配准好的数据，结合深度学习的语义分割算法，可实现对目标的形点串进行高精度提取，以便对图像各类目标进行语义分割，同时，也可以实现对点云数据的目标进行高精度的语义提取。
在上述技术方案的基础上，本发明还可以做如下改进。
进一步，所述步骤1包括：
步骤101：利用深度学习检测网络对所述图像的RGB数据以及点云数据的高精度交通要素进行提取；
步骤102：利用同名点配准方法对所述RGB数据和点云数据的相同特征目标进行高精度的匹配，利用所述RGB数据对对应的点云数据进行属性赋值，将所述深度学习检测网络预测得的交通要素属性信息和位置信息保存在指定文件中。
进一步，所述配准方法包括：
步骤10201，选择所述图像和点云数据上的多个特征，构建多个同名特征对；
步骤10202，根据所述图像获取时刻POS，并将所述同名特征对的绝对坐标转换至载体坐标；
步骤10203，根据相机的外参数初值，将所述同名特征对的载体坐标转换为相机坐标；
步骤10204，根据相机的内标定参数，获取所述同名特征对的相片上的坐标，计算残差值；
步骤10205，根据共线方程原理，使用最小二乘平方差间接求解相机外参数，在满足精度要求时判定完成配准。
进一步，所述步骤102还包括标志牌去重：
以目标检测的IOU评价指标来判断前后轨迹点图像的目标是否属于同一目标，利用卡尔曼滤波器预测图像中交通要素的当前位置，然后通过匈牙利算法关联检测框的目标，将多个前后轨迹点的同一个目标进行去除，保留最大视野的目标图像。
进一步，所述步骤2中对所述交通要素进行分类的类别包括：标识牌、杆件、和交通信号灯。
进一步，将训练集中的所述图像转化为灰度图片后送入到模型进行训练，得到最优的所述目标检测模型后，利用该最优的所述目标检测模型对图像进行检测，将检测到的标识牌、杆件、和交通信号灯目标进行保存。
进一步，所述步骤2中对所述交通要素对应的点云数据进行保存的过程包括：根据所述检测到的图像中的各个交通要素的轨迹点的位置信息，将所述轨迹点的位置信息对应的点云数据进行保存。
进一步，所述步骤1之后还包括：利用基于深度学习的关键点检测算法，对电子地图中的结构数据的角点坐标信息进行提取以及对道路上的增加减区域进行检测。
进一步，所述步骤1之后还包括：基于传统机器学习的图像处理算法，对破损或被遮挡的所述交通要素进行判断和处理，并对每个所述交通要素精度过程进行赋值。
进一步，所述步骤3之后还包括：
根据所述点云数据的强度信息和位置信息来移动轮廓点精确的位置，对所述点云数据的所述交通要素进行精提取。
采用上述进一步方案的有益效果是：利用配准好的数据，结合深度学习中的关键点提取算法，可实现对目标关键点进行高精度提取，以便完成对箭头等刚性结构体的关键点进行提取，同时，也可以实现对点云数据中所对应的目标进行高精度的关键点提取；基于传统机器学习的图像处理算法，可实现对深度学习方法不易处理的情况，例如印刷破损、被遮挡的交通要素等进行判断与处理，同时传统的图像处理方法，可完成对每个交通要素精度过程进行赋值，以提高自动化制图的效率。
附图说明
图1为本发明提供的一种基于图像点云融合的高精度交通要素目标提取方法的流程图；
图2为本发明提供的一种基于图像点云融合的高精度交通要素目标提取方法的实施例的流程图；
图3为本发明提供实施例的利用同名点配准方法的流程图。
具体实施方式
以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。
传统的高精度电子导航地图的构建，主要采用人工的制作方法，将原始的点云数据构建成高精度地图，该方法效率低下，成本高，不利于地图的制作，利用机器学习的方法将多源异构数据融合的结果，制作成高精度导航电子地图，将是发展的趋势，利用机器学习的多种概率模型算法，贯穿整个自动化制构图过程，成为了系统方法中的关键技术。
研究的关键技术内容主要包含：图像点云配准，深度学习目标检测算法，深度学习关键点检测算法，深度学习分割算法以及传统基于机器学习的相关视觉处理算法。
发明实施例中使用的电脑环境为windows10，显卡为GTX1080Ti，软件开发环境为pycharm和anaconda，深度学习开发环境为pytorch。
如图1所示为本发明提供的一种基于图像点云融合的高精度交通要素目标提取方法的流程图，由图1可知，该方法包括：
步骤1，根据图像和点云数据的特征进行图像和点云数据的配准，根据配准结果利用图像对对应的点云数据进行属性赋值后得到融合数据。
图像与点云的配准可以解决对点云数据赋属性的问题，可实现物理世界的感知。
步骤2，根据电子地图中的交通要素的特征的独立性进行分类，对图像进行基于深度学习的训练得到各个分类的目标检测模型，利用各个检测模型对图像进行各个交通要素的检测，对交通要素对应的点云数据进行保存。
基于深度学习目标检测算法，可实现对电子地图中所需的交通要素准确的检测，完成对电子地图数据属性的获取，同时，可实现端对端的嵌入到自动化地图数据制作中，简化自动化构图的过程。
步骤3，利用语义分割网络对图像中的交通要素进行目标语义分割，将图像的高精度分割的结果也可以映射到点云数据，提取得到交通要素目标。
基于深度学习的语义分割算法，以像素精度的方式分割出交通要素目标和背景，基于图像数据和点云数据进高质量的融合配准，将高精度的语义分割算法，嵌到系统找那个完成对融合数据的分割，可提高地图数据的相对精度，最后利用几何精度提炼算法进一步提升分割后目标轮廓的几何相对精度。
利用语义分割网络将配准的结果进行语义级别的分割，使不同的类别的边缘信息更加准确，以便高精度的获得不同目标的形点串，由于图像与点云数据已经进行了高精度的配准，所以对图像的高精度分割的结果也可以映射到点云最后结构，实现高精度点云的分割，并可以将图像的属性信息赋值到对应的点云目标。
本发明提供的一种基于图像点云融合的高精度交通要素目标提取方法，针对点云数据没有交通要素的属性信息，只有几何精度信息，所以将图像和点云融合形成融合数据以满足对高精度地图数据的提取要求，利用激光点云数据和图像数据的融合结果自动提取交通要素的形点串和属性信息，满足集合信息与属性信息的同时提取，实现自动化提取物理世界的交通要素，以便减少人工参与的制作时间。
将RGB数据与对应的点云数据相融合，实现高精度配准；利用配准好的数据，结合深度学习目标检测算法，可实现对目标的高精度提取，提取的结果有RGB目标和点云数据目标，由于图像数据与点云数据进行了高精度配准，所以对图像中目标的高精度提取，可实现对点云数据中的目标进行高精度提取；利用配准好的数据，结合深度学习的语义分割算法，可实现对目标的形点串进行高精度提取，以便对图像各类目标进行语义分割，同时，也可以实现对点云数据的目标进行高精度的语义提取。
实施例1
如图2所示为本发明提供的一种基于图像点云融合的高精度交通要素目标提取方法的实施例的流程图，由图2可知，该高精度要素目标提取方法的实施例是基于多种深度学习集成的，深度学习算法为机器学习算法中的一种特殊算法，它将神经网络算法有更多的隐藏层，这些层位于神经元的第一层(即输入层)和最后一层(即输出层)之间。随着网络深度的增加，其参数也将成指数级增长，但是对物理世界的特征表示能力更强。该实施例包括：
步骤1，根据图像和点云数据的特征进行图像和点云数据的配准，根据配准结果利用图像对对应的点云数据进行属性赋值后得到融合数据。
具体的，该步骤1包括：
步骤101：利用深度学习检测网络对图像的RGB数据以及点云数据的高精度交通要素进行提取。
对于激光扫描仪采集到的点云数据和图像(RGB图信息)检查合格以后就开始利用深度学习中的检测网络实现高精度交通要素的提取。
步骤102：利用同名点配准方法对RGB数据和点云数据的相同特征目标进行高精度的匹配，利用RGB数据对对应的点云数据进行属性赋值，将深度学习检测网络预测得的交通要素属性信息和位置信息保存在指定文件中。
步骤102还包括标志牌去重：
以目标检测的IOU(Intersection-over-Union，交并比)评价指标来判断前后轨迹点图像的目标是否属于同一目标，利用卡尔曼滤波器预测图像中交通要素的当前位置，然后通过匈牙利算法关联检测框的目标，将多个前后轨迹点的同一个目标进行去除，保留最大视野的目标图像。
如图3所示为本发明提供实施例的利用同名点配准方法的流程图，由图3可知，该配准方法包括：
步骤10201，选择图像和点云数据上的多个特征，构建多个同名特征对。
步骤10202，根据图像获取时刻POS(位置姿态)，并将同名特征对的绝对坐标转换至载体坐标。
步骤10203，根据相机的外参数初值，将同名特征对的载体坐标转换为相机坐标。
步骤10204，根据相机的内标定参数，获取同名特征对的相片上的坐标，计算残差值。
步骤10205，根据共线方程原理，使用最小二乘平方差间接求解相机外参数，在满足精度要求时判定完成配准。
步骤2，根据电子地图中的交通要素的特征的独立性进行分类，对图像进行基于深度学习的训练得到各个分类的目标检测模型，利用各个检测模型对图像进行各个交通要素的检测，对交通要素对应的点云数据进行保存。
根据业务需求步骤1只提取部分目标的属性，而步骤2-3的需求是提取图片中所有交通要素的目标，这对深度学习目标检测来说是一个比较大的挑战，因此本发明按照特征的独立性进行分类，主要分为标识牌、杆件和交通信号灯，根据这些主要的交通要素进行选择同名点。
优选的，步骤2中对交通要素进行分类的类别主要包括：标识牌、杆件、和交通信号灯。
进一步的，为了提高标志牌、杆件和交通信号灯的查全率和查准率，将训练集中的图像转化为灰度图片后送入到模型进行训练，得到最优的目标检测模型后，利用该最优的目标检测模型对图像进行检测，将检测到的矩形标识牌、杆件、和交通信号灯目标进行保存。
具体的，步骤2中对交通要素对应的点云数据进行保存的过程包括：根据检测到的图像中的各个交通要素的轨迹点的位置信息，将轨迹点的位置信息对应的点云数据进行保存。
步骤3，利用语义分割网络对图像中的交通要素进行目标语义分割，将图像的分割的结果映射到点云数据，提取得到交通要素目标。
优选的，步骤1之后还包括：利用基于深度学习的关键点检测算法，对电子地图中的结构数据的角点坐标信息进行提取以及对道路上的增加减区域进行检测。
基于深度学习的关键点检测算法为目标检测算法的一个子研究方向，可对地图中的结构数据像箭头等角点坐标信息进行提取，同时也可以对结构道路上的增加减区域进行检测，可实现端对端的嵌入到自动化地图数据制作中，简化自动化构图的过程。
基于传统机器学习的图像处理算法，对破损或被遮挡的交通要素进行判断和处理，并对每个交通要素精度过程进行赋值。
基于传统机器学习的图像处理算法，可实现对深度学习方法不易处理的情况，例如印刷破损、被遮挡的交通要素等进行判断与处理，同时传统的图像处理方法，可完成对每个交通要素精度过程进行赋值，以提高自动化制图的效率。
步骤3之后还包括：
根据点云数据的强度信息和位置信息来移动轮廓点精确的位置，对点云数据的交通要素进行精提取。
点云数据当中精提取主要是根据点云强度信息和位置信息来移动轮廓点精确的位置，即可精确地获取激光点云数据中的信息，这样才达到了高精度制作的厘米级要求。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (3)

1.一种基于图像点云融合的高精度交通要素目标提取方法，其特征在于，所述方法包括：
步骤1，根据图像和点云数据的特征进行图像和点云数据的配准，根据配准结果利用所述图像对对应的点云数据进行属性赋值后得到融合数据；
步骤2，根据电子地图中的交通要素的特征的独立性进行分类，对所述图像进行基于深度学习的训练得到各个分类的目标检测模型，利用各个所述检测模型对所述图像进行各个交通要素的检测，对标识交通要素的点云数据进行保存；
步骤3，利用语义分割网络对所述图像中的所述交通要素进行目标语义分割，将所述图像的分割的结果映射到所述点云数据，提取得到交通要素目标；
所述步骤1包括：
步骤101：利用深度学习检测网络对所述图像的RGB数据以及点云数据的高精度交通要素进行提取；
步骤102：利用同名点配准方法对所述RGB数据和点云数据的相同特征目标进行高精度的匹配，利用所述RGB数据对对应的点云数据进行属性赋值，将所述深度学习检测网络预测得的交通要素属性信息和位置信息保存在指定文件中；
所述配准方法包括：
步骤10201，选择所述图像和点云数据上的多个特征，构建多个同名特征对；
步骤10202，根据所述图像获取时刻POS，并将所述同名特征对的绝对坐标转换至载体坐标；
步骤10203，根据相机的外参数初值，将所述同名特征对的载体坐标转换为相机坐标；
步骤10204，根据相机的内标定参数，获取所述同名特征对的相片上的坐标，计算残差值；
步骤10205，根据共线方程原理，使用最小二乘平方差间接求解相机外参数，在满足精度要求时判定完成配准；
所述步骤1之后还包括：基于传统机器学习的图像处理算法，对破损或被遮挡的所述交通要素进行判断和处理，并对每个所述交通要素精度过程进行赋值；
所述步骤2中对所述交通要素进行分类的类别包括：标识牌、杆件、和交通信号灯；
将训练集中的所述图像转化为灰度图片后送入到模型进行训练，得到最优的所述目标检测模型后，利用该最优的所述目标检测模型对图像进行检测，将检测到的标识牌、杆件、和交通信号灯目标进行保存；
所述步骤2中对所述交通要素对应的点云数据进行保存的过程包括：根据所述检测到的图像中的各个交通要素的轨迹点的位置信息，将所述轨迹点的位置信息对应的点云数据进行保存；
所述步骤1之后还包括：利用基于深度学习的关键点检测算法，对电子地图中的结构数据的角点坐标信息进行提取以及对道路上的增加减区域进行检测。
2.根据权利要求1所述的方法，其特征在于，所述步骤102还包括标志牌去重：
以目标检测的IOU评价指标来判断前后轨迹点图像的目标是否属于同一目标，利用卡尔曼滤波器预测图像中交通要素的当前位置，然后通过匈牙利算法关联检测框的目标，将多个前后轨迹点的同一个目标进行去除，保留最大视野的目标图像。
3.根据权利要求1所述的方法，其特征在于，所述步骤3之后还包括：
根据所述点云数据的强度信息和位置信息来移动轮廓点精确的位置，对所述点云数据的所述交通要素进行精提取。
CN202011273356.4A 2020-11-13 2020-11-13 一种基于图像点云融合的高精度交通要素目标提取方法 Active CN112434706B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011273356.4A CN112434706B (zh) 2020-11-13 2020-11-13 一种基于图像点云融合的高精度交通要素目标提取方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011273356.4A CN112434706B (zh) 2020-11-13 2020-11-13 一种基于图像点云融合的高精度交通要素目标提取方法

Publications (2)

Publication Number Publication Date
CN112434706A CN112434706A (zh) 2021-03-02
CN112434706B true CN112434706B (zh) 2023-06-06

Family

ID=74701122

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011273356.4A Active CN112434706B (zh) 2020-11-13 2020-11-13 一种基于图像点云融合的高精度交通要素目标提取方法

Country Status (1)

Country Link
CN (1) CN112434706B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113409459B (zh) * 2021-06-08 2022-06-24 北京百度网讯科技有限公司 高精地图的生产方法、装置、设备和计算机存储介质
CN115410173B (zh) * 2022-11-01 2023-03-24 北京百度网讯科技有限公司 多模态融合的高精地图要素识别方法、装置、设备及介质
CN116504089B (zh) * 2023-06-27 2023-09-12 东风悦享科技有限公司 一种基于路面破损因素的无人公交集群灵活调度系统
CN117237401B (zh) * 2023-11-08 2024-02-13 北京理工大学前沿技术研究院 图像和点云融合的多目标跟踪方法、系统、介质及设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3156944A1 (en) * 2015-10-16 2017-04-19 Thomson Licensing Scene labeling of rgb-d data with interactive option
CN111583337A (zh) * 2020-04-25 2020-08-25 华南理工大学 一种基于多传感器融合的全方位障碍物检测方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107992829A (zh) * 2017-12-05 2018-05-04 武汉中海庭数据技术有限公司 一种交通信号灯车道级控制关系提取方法及装置
CN110136182B (zh) * 2019-05-28 2021-06-04 北京百度网讯科技有限公司 激光点云与2d影像的配准方法、装置、设备和介质
CN111476242B (zh) * 2020-03-31 2023-10-20 北京经纬恒润科技股份有限公司 一种激光点云语义分割方法及装置
CN111695486B (zh) * 2020-06-08 2022-07-01 武汉中海庭数据技术有限公司 一种基于点云的高精度方向标志牌目标提取方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3156944A1 (en) * 2015-10-16 2017-04-19 Thomson Licensing Scene labeling of rgb-d data with interactive option
CN111583337A (zh) * 2020-04-25 2020-08-25 华南理工大学 一种基于多传感器融合的全方位障碍物检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
车载MMS激光点云与序列全景影像自动配准方法;陈驰;杨必胜;田茂;李健平;邹响红;吴唯同;宋易恒;;测绘学报(02);全文 *

Also Published As

Publication number Publication date
CN112434706A (zh) 2021-03-02

Similar Documents

Publication Publication Date Title
CN112434706B (zh) 一种基于图像点云融合的高精度交通要素目标提取方法
CN107516077B (zh) 基于激光点云和影像数据融合的交通标牌信息提取方法
CN111179152B (zh) 一种道路标识识别方法及装置、介质、终端
CN112434119A (zh) 一种基于异构数据融合的高精度地图生产装置
CN109448000B (zh) 一种交通指路标志图像的分割方法
CN108876805B (zh) 一种端对端无监督场景可通行区域认知与理解方法
CN112825192B (zh) 基于机器学习的对象辨识系统及其方法
AU2020103716A4 (en) Training method and device of automatic identification device of pointer instrument with numbers in natural scene
CN107679458B (zh) 一种基于K-Means的道路彩色激光点云中道路标线的提取方法
CN105678318B (zh) 交通标牌的匹配方法及装置
CN108428254A (zh) 三维地图的构建方法及装置
CN106446785A (zh) 基于双目视觉的可行道路检测方法
WO2024088445A1 (zh) 一种基于视觉语义矢量的车辆导引方法、系统、设备和介质
TWI745204B (zh) 基於深度學習之高效率光達物件偵測方法
CN116071747A (zh) 一种基于3d点云数据和2d图像数据融合匹配语义分割方法
CN113159043A (zh) 基于语义信息的特征点匹配方法及系统
CN114279433A (zh) 地图数据自动化生产方法、相关装置及计算机程序产品
Pan et al. Automatic road markings extraction, classification and vectorization from mobile laser scanning data
JP4762026B2 (ja) 道路標識データベース構築装置
CN111325184A (zh) 一种遥感影像智能解译与变化信息检测方法
CN105160324B (zh) 一种基于部件空间关系的车辆检测方法
Lertniphonphan et al. 2d to 3d label propagation for object detection in point cloud
CN114898321A (zh) 道路可行驶区域检测方法、装置、设备、介质及系统
CN115031744A (zh) 一种基于稀疏点云-纹理信息的认知地图定位方法及系统
CN114782681A (zh) 一种基于深度学习的暴露垃圾及满溢垃圾检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant