CN107818288B - 标志牌信息获取方法及装置 - Google Patents

标志牌信息获取方法及装置 Download PDF

Info

Publication number
CN107818288B
CN107818288B CN201610822521.4A CN201610822521A CN107818288B CN 107818288 B CN107818288 B CN 107818288B CN 201610822521 A CN201610822521 A CN 201610822521A CN 107818288 B CN107818288 B CN 107818288B
Authority
CN
China
Prior art keywords
point cloud
traffic mark
dimensional point
dimensional
mark board
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610822521.4A
Other languages
English (en)
Other versions
CN107818288A (zh
Inventor
曾超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201610822521.4A priority Critical patent/CN107818288B/zh
Priority to PCT/CN2017/100358 priority patent/WO2018049998A1/zh
Publication of CN107818288A publication Critical patent/CN107818288A/zh
Priority to US16/016,981 priority patent/US10891500B2/en
Application granted granted Critical
Publication of CN107818288B publication Critical patent/CN107818288B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143—Sensing or illuminating at different wavelengths
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/469—Contour-based spatial representations, e.g. vector-coding
    • G06V10/476—Contour-based spatial representations, e.g. vector-coding using statistical shape modelling, e.g. point distribution models

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Optics & Photonics (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种标志牌信息获取方法及装置，属于终端技术领域。所述方法包括：对包含交通标志牌的区域进行激光扫描处理，得到该交通标志牌的图像，以及该交通标志牌的多个激光扫描点和该多个激光扫描点的点云数据，各个激光扫描点的点云数据用于对该各个激光扫描点进行描述；基于该多个激光扫描点的点云数据，对该多个激光扫描点进行空间聚类，得到该交通标志牌的三维点云结构；基于该三维点云结构，确定该交通标志牌的拟合平面方程；基于该交通标志牌的图像、三维点云结构和拟合平面方程，获取该交通标志牌的标志牌信息。本发明通过获取交通标志牌的多个激光扫描点和点云数据，以获取标志牌信息，从而提高了获取标志牌信息的准确度和效率。

Description

标志牌信息获取方法及装置
技术领域
本发明涉及终端技术领域，特别涉及一种标志牌信息获取方法及装置。
背景技术
随着技术的发展，自动驾驶技术作为人工智能的一种典型模式，越来越受到人们的关注。其中，实现自动驾驶技术中的关键技术之一就是高精度地图，为了获取高精度地图，需要获取高精度地图中重要组成部分之一的交通标志牌的标识牌信息。
目前，获取交通标志牌的标志牌信息的操作可以为：通过图像采集设备对包含交通标志牌的区域进行多次图像采集，得到多张图像，通过基于梯度直方图、纹理特征和基于深度学习的检测方法，对该多张图像进行交通标志牌的检测。其中，可以通过滑窗法来确定该交通标志牌分别在多张图像的位置，并通过空间前方交会法确定该交通标志牌在三维空间中的三维坐标，同时对该交通标志牌进行图像识别，从而获取该交通标志牌的标识信息。
但是，在通过上述方法获取交通标志牌的标志牌信息时，由于在获取包括同一交通标志牌的多张图像的过程中，受到光照和拍摄角度的影响，交通标志牌的成像颜色值差异较大且在该图像中可能会发生形变，导致对交通标志牌进行检测时造成影响。另外，通过滑窗法来确定该交通标志牌在图像中的位置时，计算量大且计算过程复杂，导致获取交通标志牌的标识信息的效率较低。同时，在对该交通标志牌进行检测和计算的过程中可能存在误差，从而导致获取的三维坐标精度较低，影响后续对交通标志牌的应用。
发明内容
为了解决相关技术的问题，本发明实施例提供了一种标志牌信息获取方法及装置。所述技术方案如下：
一方面，提供了一种标志牌信息获取方法，所述方法包括：
对包含交通标志牌的区域进行激光扫描处理，得到所述交通标志牌的图像，以及所述交通标志牌的多个激光扫描点和所述多个激光扫描点的点云数据，各个激光扫描点的点云数据用于对所述各个激光扫描点进行描述；
基于所述多个激光扫描点的点云数据，对所述多个激光扫描点进行空间聚类，得到所述交通标志牌的三维点云结构；
基于所述三维点云结构，确定所述交通标志牌的拟合平面方程；
基于所述交通标志牌的图像、三维点云结构和拟合平面方程，获取所述交通标志牌的标志牌信息。
另一方面，提供了一种标志牌信息获取装置，所述装置包括：
扫描模块，用于对包含交通标志牌的区域进行激光扫描处理，得到所述交通标志牌的图像，以及所述交通标志牌的多个激光扫描点和所述多个激光扫描点的点云数据，各个激光扫描点的点云数据用于对所述各个激光扫描点进行描述；
聚类模块，用于基于所述多个激光扫描点的点云数据，对所述多个激光扫描点进行空间聚类，得到所述交通标志牌的三维点云结构；
确定模块，用于基于所述三维点云结构，确定所述交通标志牌的拟合平面方程；
获取模块，用于基于所述交通标志牌的图像、三维点云结构和拟合平面方程，获取所述交通标志牌的标志牌信息。
本发明实施例提供的技术方案带来的有益效果是：在本发明实施例中，可以对包含交通标志牌的区域进行激光扫描处理，得到该交通标志牌的图像、多个激光扫描点和多个激光扫描点的的点云数据。由于激光是一个主动式光源，因此，在对包含该交通标志牌的区域进行激光扫描处理时，可以不受光照影响，提高后续获取标志牌信息的准确度。之后，可以根据该多个激光扫描点的点云数据，将该多个激光扫描点进行进空间聚类得到该交通标志牌的三维点云结构，并基于该三维点云结构确定该交通标志牌的拟合平面方程，进而基于该交通标志牌的图像、三维点云结构和拟合平面方程，对该影像数据进行图像识别等操作，以获取该交通标志牌的标志牌信息。由于该多个激光扫描点的点云数据可以准确的表达该三维点云结构的坐标，之后基于该准确的坐标进行的一系列操作均为准确的操作，减少了获取标志牌信息的误差，从而提高了获取交通标志牌的标志牌信息的准确度、效率以及鲁棒性。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1A是本发明实施例提供的一种车载移动测量系统的示意图。
图1B是本发明实施例提供的一种标志牌信息获取方法的流程图。
图2A是本发明实施例提供的一种标志牌信息获取装置的结构示意图。
图2B是本发明实施例提供的一种扫描模块的结构示意图。
图2C是本发明实施例提供的一种确定模块的结构示意图。
图2D是本发明实施例提供的另一种确定模块的结构示意图。
图2E是本发明实施例提供的一种判断单元的结构示意图。
图2F是本发明实施例提供的一种获取模块的结构示意图。
图3是本发明实施例提供的一种标志牌信息获取装置的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。
在对本发明实施例进行详细地解释说明之前，先对本发明实施例的应用场景予以说明。随着技术的发展，汽车智能化将是汽车产业发展的最大趋势，未来汽车产业的科技创新将集中在汽车智能化领域。其中，自动化驾驶技术是体现汽车智能化的重要技术之一，而实现自动驾驶技术的核心为高精度地图。高精度地图是自动驾驶技术的重要辅助，通过高精度地图可以告知汽车前方行走方向和路况。交通标志牌作为高精度地图的重要组成部分，是实现通过高精度地图进行高精度车辆定位和自定驾驶的前提，因此，为了获取交通标志牌的标志牌信息，本发明实施例提供了的一种标志牌信息获取方法，该方法可以应用到终端中。如图1A所示，该终端1可以包括车载移动测量系统11，且该终端可以以汽车为载体进行相关操作。
其中，该车载移动测量系统11可以包括激光扫描系统111和影像成像系统112，该激光扫描系统111与该影响成像系统112连接。该激光扫描系统11可以提供激光扫描处理的操作，使终端可以对包含交通标志牌的区域进行激光扫描处理，以获取交通标志牌的多个激光扫描点；该影像成像系统12可以在激光扫描系统11进行激光扫描处理时，对激光扫描处理的区域进行成像处理，得到该包含交通标志牌的区域的图像。
另外，该终端1中不仅可以包括车载移动测量系统，还可以包括其他系统和器件，比如，处理器等，本发明实施例对此不做具体限定。该处理器可以与该车载移动测量系统连接，且该处理器可以是一个通用中央处理器(CPU)，微处理器，特定应用集成电路(application-specific integrated circuit，ASIC)，或一个或多个用于控制本发明方案程序执行的集成电路，该处理器可以对终端通过激光扫描处理获取的交通标志牌的多个激光扫描点，以及通过影像成像系统获取的包含交通标志牌的区域的图像进行相关处理等。
再者，该车载移动测量系统中同样不仅可以包括激光扫描系统和影像成像系统，还可以包括其他系统，比如，组合导航系统等，该组合导航系统可以分别与激光扫描点和影像成像系统连接，并在获取到该交通标志牌的标志牌信息后，将该交通标志牌的标志牌信息加入到高精度地图中，从而实现汽车的自动化驾驶，本发明实施例对此同样不做具体限定。
还需要说明的是，终端可以通过上述激光扫描系统对该包含交通标志牌的区域进行激光扫描处理，也可以通过其他方式，本发明实施例对此不做具体限定，同理，终端可以通过上述影像成像系统得到该包含交通标志牌的区域的图像，也可以通过其他方式得到该包含交通标志牌的区域的图像，本发明实施例对此同样不做具体限定。
在本发明实施例中，终端可以利用上述车载移动测量系统获取该交通标志牌的标志牌信息，以提高获取标志牌信息的准确度、效率和鲁棒性。
图1B是本发明实施例提供的一种标志牌信息获取方法的流程图。参见图1B，该方法包括：
步骤101：终端对包含交通标志牌的区域进行激光扫描处理，得到该交通标志牌的图像，以及该交通标志牌的多个激光扫描点和该多个激光扫描点的点云数据，各个激光扫描点的点云数据用于对该各个激光扫描点进行描述。
由于交通标志牌对光线的反射强度较强，通过激光扫描处理后与其他物体相比，在反射率值上存在明显的差异，因此，可以利用交通标志牌这一特性，对包含交通标志牌的区域进行激光扫描处理，得到该交通标志牌的图像，以及该交通标志牌的多个激光扫描点和该多个激光扫描点的点云数据。
具体地，终端可以对包含该交通标志牌的区域进行激光扫描处理，得到该交通标志牌的图像，以及多个区域扫描点和该多个区域扫描点的点云数据，各个区域扫描点的点云数据中包括该各个区域扫描点的反射率值；从该多个区域扫描点中选择反射率值大于或等于反射率阈值的多个区域扫描点；将选择的多个区域扫描点确定为该交通标志牌的多个激光扫描点，并将选择的多个区域扫描点的点云数据确定为该多个激光扫描点的点云数据。
需要说明的是，反射率阈值是指从多个区域扫描点中筛选出激光扫描点的标准，且该反射率阈值可以事先设置，比如，该反射率阈值可以为60％、70％等，本发明实施例对此不做具体限定。
另外，点云数据中不仅可以包括各个区域扫描点的反射率值，还可以包括其他参数，比如，该点云数据中还可以包括该各个区域扫描点在指定三维坐标系中的三维坐标等，本发明实施例对此不做具体限定。
在本发明实施例中，该终端进行激光扫描处理的区域中可能包括一个交通标志牌，也可能包括多个交通标志牌，当该区域中包括多个交通标志牌时，该多个交通标志牌的标志牌信息的获取方法与一个交通标志牌的标志牌信息的获取方法相同，本发明实施例对此不做具体限定。
其中，在本发明实施例中，由于对包含该交通标志牌的区域进行激光扫描处理后，得到的区域扫描点的数量较为庞大，而交通标志牌在区域中所占比例很小，因此，利用交通标志牌对光线反射较强的特性以及反射率阈值，从该大量的区域扫描点中确定的激光扫描点的数量较少，从而减少了计算量，提高了后续终端获取交通标志牌的标志牌信息的效率。同时，由于激光是一个主动式光源，在对包含该交通标志牌的区域进行激光扫描处理时，可以不受光照影响，从而提高了后续获取标志牌信息的准确度。
值得说明的是，基于上述描述，终端中可以包括车载移动测量系统11，该车载移动测量系统11又可以包括激光扫描系统111和影像成像系统112，因此，终端可以通过该激光扫描系统111对该包含交通标志牌的区域进行激光扫描处理，并当终端进行激光扫描处理时，通过影像成像系统112生成该交通标志牌的图像。
步骤102：终端基于该多个激光扫描点的点云数据，对该多个激光扫描点进行空间聚类，得到该交通标志牌的三维点云结构。
具体地，该终端确定该多个激光扫描点的数量为m，将m个激光扫描点中的每个激光扫描点赋值为0，之后依次遍历每个激光扫描点；当确定其中一个激光扫描点的赋值为0时，建立一个初始三维点云结构，将该激光扫描点加入到构成该初始三维点云结构的组成部分中，并将该激光扫描点赋值为1；确定构成当前初始三维点云结构中的激光扫描点数量为n；判断该初始三维点云结构包括的激光扫描点的数量n在递增1后是否小于或等于该m个激光扫描点的数量；当该初始三维点云结构包括的激光扫描点的数量n在递增1后小于或等于该m个激光扫描点的数量时，将构成该初始点云结构的第n-1个激光扫描点作为参考点，确定m个激光扫描点中与第n-1个激光扫描点之间的距离小于距离阈值的激光扫描点，并将确定的激光扫描点加入到该初始三维点云结构中；之后从判断该初始三维点云结构包括的激光扫描点的数量在递增1后是否小于或等于该m个激光扫描点的数量的操作开始进行重复操作，直至该初始三维点云结构包括的激光扫描点的数量在递增1后大于该m个激光扫描点的数量，并确定最终的三维点云结构。
需要说明的是，距离阈值是指对构成初始三维点云结构的点进行删选的标准，且该距离阈值可以事先设置，比如，该距离阈值可以为10cm、20cm等，本发明实施例对此不做具体限定。
另外，三维点云结构为多个激光扫描点构成的交通标志牌的一个三维结构，该三维点云结构中可以携带每个激光扫描点的点云数据。
需要说明的是，上述对该多个激光扫描点进行空间聚类的操作是以欧式距离聚类方法为例进行说明，并不对本发明实施例构成限定。在本发明实施例中，终端可以通过欧式距离聚类方法对多个激光扫描点进行分割和提取等操作，也可以通过其他方法，本发明实施例对此不做具体限定。
步骤103：终端基于该三维点云结构，确定该交通标志牌的拟合平面方程。
具体地，终端对该三维点云结构进行主成分分析，得到该三维点云结构的各个空间特征值；确定该三维点云结构的各个空间特征值中最小的空间特征值的特征向量，并确定该三维点云结构的质心在指定三维坐标系中的三维坐标；基于该特征向量和该三维点云结构的质心在该指定三维坐标系中的三维坐标，确定该交通标志牌的拟合平面方程。
需要说明的是，终端通过对该三维点云结构进行主成分分析，也即是，终端可以从三维点云结构中提取可以体现三维点云结构特征的激光扫描点，对该激光扫描点进行处理得到投影矩阵，对该投影矩阵进行降维处理，从而得到各个空间特征值，该各个空间特征值可以包括第一特征值、第二特征值和第三特征值，本发明实施例对此不做具体限定。
其中，终端可以通过主成分分析方法确定该三维点云结构的各个空间特征值中最小的空间特征值的特征向量，当然，在实际应用中还可以通过其他方法确定，本发明实施例对此不做具体限定。
需要说明的是，终端通过主成分分析方法对该三维点云结构进行分析，得到各个空间特征值的操作，以及通过主成分分析方法对该三维点云结构的各个空间特征值中最小的空间特征值进行分析，得到该最小的空间特征值的特征向量的操作，简化了计算过程，提高了终端运行效率，以及终端获取各个空间特征值和该最小的空间特征值的特征向量的效率。
另外，终端可以根据三维点云结构的结构形状和构成三维点云机构的多个激光扫描点的质量，确定该三维点云结构的质心，进而可以在指定三维坐标系中确定该质心的三维坐标。当然终端也可以根据其他方式确定该三维点云结构的质心以及该质心的三维坐标，本发明实施例对此不做具体限定。
还需要说明的是，该指定三维坐标系可以为空间直角坐标系、球坐标系等，本发明实施例对此不做具体限定。
再者，终端确定的拟合平面方程可以为a*x+b*y+c*z+d＝0，当然，也可以为其他形式的拟合平面方程，本发明实施例对此不做具体限定。
需要说明的是，该拟合平面方程中的系数a、b、c和d均由终端通过该特征向量和该质心的三维坐标确定。
进一步地，由于终端在对包含交通标志牌的区域进行激光扫描处理时，该区域中可能还包括同样对光线反射能力较强的其他干扰物体，比如，玻璃材质的广告牌等，这些干扰物体的干扰结构在后续处理中可能给终端带来多余的操作，影响对标志牌信息的获取。因此，终端在确定该三维点云结构的各个空间特征值中最小的空间特征值的特征向量，并确定该三维点云结构的质心在指定三维坐标系中的三维坐标之前，还可以通过下述步骤(1)-(3)来对该三维点云结构是否为干扰结构进行判断。
(1)、终端还可以基于该三维点云结构的各个空间特征值，确定该三维点云结构的第一分布值、第二分布值和曲率值，该第一分布值和该第二分布值用于描述该三维点云结构在三维空间中的分布形状，该曲率值用于描述该三维点云结构在该三维空间中的平面性。
具体地将各个空间特征值按照从大到小的顺序依次进行排序；确定最大的空间特征值与中间的空间分布值之间的比值，将最大的空间特征值与顺序位于中间的空间特征值之间的比值确定为第一分布值；确定该顺序位于中间的空间特征值与最小的空间特征值之间的比值，将顺序位于中间的空间特征值与最小的空间特征值之间的比值确定为第二分布值；确定最小的空间特征值与各个空间特征值总和之间的比值，将最小的空间特征值与各个空间特征值总和之间的比值确定为曲率值。
比如，终端将各个空间特征值按照从大到小的顺序依次进行排序，当排序结果为第一特征值大于第二特征值，第二特征值大于第三特征值时，确定第一特征值与第二特征值之间的比值，将第一特征值与第二特征值之间的比值确定为该第一分布值；确定第二特征值与第三特征值之间的比值，将第二特征值与第三特征值之间的比值确定为第二分布值；确定第三特征值与各个空间特征值总和之间的比值，将第三特征值与各个空间特征值总和之间的比值确定为曲率值。
需要说明的是，当第一分布值与第二分布值之间的差值位于差值范围内时，确定该三维点云结构的在三维空间分布形状为体状分布；当第一分布值小于第二分布值，且该第一分布值与第二分布值之间的差值不位于差值范围时，确定该三维点云结构的在三维空间分布形状为面状分布；当第一分布值大于第二分布值，且第一分布值与第二分布值之间的差值不位于差值范围时，确定该三维点云结构的在三维空间分布形状为线状分布。
还需要说明的是，差值范围可以事先设置，该差值范围可以为1-10、10-20等，本发明实施例对此不做具体限定。
另外，当曲率值越小时，确定该三维点云结构的在三维空间中的平面性越好，也即是，当曲率值为0时，确定该三维点云结构的在三维空间中的平面性最好。
(2)、终端基于该三维点云结构的第一分布值、第二分布值和曲率值，判断该三维点云结构是否为干扰结构。
其中，由于交通标志牌具有一定的尺寸范围，且交通标志牌呈面状分布，同时交通标志牌的平面性较好，因此，终端可以基于该三维点云结构的第一分布值、第二分布值和曲率值，判断该三维点云结构是否为干扰结构。而终端基于该三维点云结构的第一分布值、第二分布值和曲率值，判断该三维点云结构是否为干扰结构的操作可以为：确定该三维点云结构的长度、宽度和高度；如果该三维点云结构的长度不位于指定长度范围内、该三维点云结构的宽度不位于指定宽度范围内、该三维点云结构的高度不位于指定高度范围内、该第一分布值大于第一分布阈值、该第二分布值小于第二分布阈值或该曲率值大于曲率阈值，则确定该三维点云结构为干扰结构，否则，确定该三维点云结构不为干扰结构。
需要说明的是，终端可以根据三维点云结构在指定三维坐标系中的三维坐标，确定该三维点云结构的长度、宽度和高度。当然，该终端不仅可以通过上述方式进行确定，还可以通过其他方式进行确定，本发明实施例对此不做具体限定。
还需要说明的是，指定长度范围是指衡量三维点云结构的长度是否满足要求的标准，且该指定长度范围可以事先设置，比如，该指定长度范围可以为20cm-50cm等，本发明实施例对此不做具体限定。
同理，指定宽度范围是指衡量三维点云结构的宽度是否满足要求的标准，且该指定宽度范围可以事先设置，比如，该指定宽度范围可以为20cm-50cm等，本发明实施例同样对此不做具体限定。
同理，指定高度范围和是指衡量三维点云结构的高度是否满足要求的标准，且该指定高度范围可以事先设置，比如，该指定高度范围可以为20cm-50cm等，本发明实施例同样对此不做具体限定。
另外，该第一分布阈值是指衡量第一分布值是否满足要求的标准，且该第一分布阈值可以事先设置，比如，该第一分布值可以为2、5等，本发明实施例对此不做具体限定。
同理，该第二分布阈值是指衡量第二分布值是否满足要求的标准，且该第二分布阈值可以事先设置，比如，该第二分布值可以为50、100等，本发明实施例对此同样不做具体限定。
再者，该曲率阈值是指衡量曲率值是否满足要求的标准，且该曲率阈值可以事先设置，比如，该曲率阈值可以为50％、30％等，本发明实施例对此不做具体限定。
(3)、当该三维点云结构不为干扰结构时，终端执行上述终端确定该三维点云结构的各个空间特征值中最小的空间特征值的特征向量，并确定该三维点云结构的质心在指定三维坐标系中的三维坐标的步骤。
其中，当该三维点云结构不为干扰结构时，也即是，当该三维点云结构符合交通标志牌的要求时，可以确定该三维结构为交通标志牌的三维结构，继而终端可以基于该三维点云结构获取该交通标志牌的拟合平面方程。
需要说明的是，当终端在获取到该交通标志牌的拟合平面方程之后，终端可以继续执行下述步骤104的操作。
另外，由于干扰结构不符合交通标志牌的要求，因此，当该三维点云结构为干扰结构时，可以确定该干扰结构不为交通标志牌，此时可以停止对该三维点云结构的操作，无需获取该干扰结构的拟合平面方程，继而无需再进行下述步骤104中获取交通标志牌的标志牌信息的操作，或者，终端还可以将该三维点云结构进行剔除，避免干扰结构影响到对其他三维点云结构的操作。
值得说明的是，基于上述描述，终端中不仅可以包括车载移动测量系统11，还可以包括处理器，因此，当终端通过激光扫描处理获取到交通标志牌的多个激光扫描点时，可以通过处理器对该交通标志牌的激光扫描点进行如上述步骤102和步骤103所述的操作。
步骤104：终端基于该交通标志牌的图像、三维点云结构和拟合平面方程，获取该交通标志牌的标志牌信息。
具体地，终端可以通过预设的外方位元素，将该三维点云结构投影到该交通标志牌的图像上，该外方位元素包括获取该图像时主光束的空间位置和姿态参数；确定该三维点云结构在该图像上所占的图像区域；将该图像区域内每个像素点在指定平面坐标系中的坐标通过该拟合平面方程投影到三维空间中，得到该交通标志牌的影像数据；对该交通标志牌的影像数据进行矫正，以消除该影像数据的成像倾角；对矫正后的交通标志牌的影像数据进行图像识别，得到该交通标志牌的标志牌信息。
其中，终端可以通过预设的外方位元素，将该三维点云结构投影到交通标志牌图像中该三维点云结构对应的位置。
需要说明的是，外方位元素是确定摄影的主光束在包含交通标志牌的区域的几何关系的基本数据，用于表征摄影的主光束在摄影瞬间的空间位置和空间姿态。该外方位元素包括的空间位置主要为三个直线元素，用于指示主光束在包含交通标志牌的区域的坐标位置，姿态参数主要为三个角元素，用于表达图像中的空间姿态。
还需要说明的是，该指定平面坐标系可以是以任一点为原点，在交通标志牌的图像中建立的平面坐标系，且该指定平面坐标系可以为平面直角坐标系、极坐标系等，本发明实施例对此不做具体限定。
另外，由于终端在得到该交通标志牌的影像数据时，该交通标志牌的影像数据在成像时可能存在成像倾角，对该具有成像倾角的影像数据进行图像识别，可能会获取到不准确的标志牌信息，因此，终端在得到该交通标志牌的影像数据时，需要对该交通标志牌的影像数据进行矫正。
其中，终端矫正该交通标志牌的影像数据的操作可以为：终端确定该影像数据相对指定三维坐标系中任意两个坐标轴所在平面之间的倾角，将该影像数据沿着倾角方向投影到指定三维坐标系中任意两个坐标轴所在平面，或者与该平面平行的平面中，确定投影后的投影数据为矫正后的影响数据。
需要说明的是，终端可以通过上述方法对该交通标志牌的影像数据进行矫正，也可以通过其他方法进行矫正，本发明实施例对此不做具体限定。
再者，终端对矫正后的交通标志牌进行图像识别时，可以通过基于颜色、形状和sift(scale_invariant feature transform，尺度不变特征变换)特征的识别方法，或者，基于HOG(Histogram ofOriented Gradient，方向梯度直方图)或纹理的识别方法，或者，基于深度学习的识别方法等，本发明实施例对此不做具体限定。
值得说明的是，基于上述描述，终端包括的车载移动测量系统11不仅可以包括激光扫描系统111和影像成像系统112，还可以包括组合导航系统，因此，当终端获取到该交通标志牌的标志牌信息时，可以将该标志牌信息通过组合导航系统加入到高精度地图中，实现对该交通标志牌的标志牌信息的应用。
在本发明实施例中，终端可以对包含交通标志牌的区域进行激光扫描处理，得到多个区域扫描点和交通标志牌的图像，由于交通标志牌具有对光线的反射强度较强的特点，因此，终端可以利用该特点从多个区域扫描点中，确定该交通标志牌的多个激光扫描点和该多个激光扫描点的点云数据。另外，由于激光是一个主动式光源，在对包含该交通标志牌的区域进行激光扫描处理时，可以不受光照影响，提高后续获取标志牌信息的准确度。之后，终端可以根据该多个激光扫描点的点云数据，将该多个激光扫描点进行进空间聚类得到该交通标志牌的三维点云结构，并确定该三维点云结构的空间分布特征，根据该空间分布特征，判断该三维点云结构是否为干扰结构，从而可以剔除一些干扰结构，减轻了终端后续的操作负担。另外，当该三维点云结构不为干扰结构时，可以确定该交通标志牌的拟合平面方程，并基于该交通标志牌的图像、三维点云结构和拟合平面方程，对该影像数据进行图像识别等操作，以获取该交通标志牌的标志牌信息。由于该多个激光扫描点的点云数据可以准确的表达该三维点云结构在指定三维坐标系中的坐标，终端基于该准确的坐标进行的一系列操作均为准确的操作，减少了获取标志牌信息的误差，从而提高了获取交通标志牌的标志牌信息的准确度、效率以及鲁棒性。
图2A是本发明实施例提供的一种标志牌信息获取装置的结构示意图，参见图2A，该装置包括：扫描模块201、聚类模块202、确定模块203和获取模块204。
扫描模块201，用于对包含交通标志牌的区域进行激光扫描处理，得到该交通标志牌的图像，以及该交通标志牌的多个激光扫描点和该多个激光扫描点的点云数据，各个激光扫描点的点云数据用于对该各个激光扫描点进行描述；
聚类模块202，用于基于该多个激光扫描点的点云数据，对该多个激光扫描点进行空间聚类，得到该交通标志牌的三维点云结构；
确定模块203，用于基于该三维点云结构，确定该交通标志牌的拟合平面方程；
获取模块204，用于基于该交通标志牌的图像、三维点云结构和拟合平面方程，获取该交通标志牌的标志牌信息。
可选地，参见图2B，该扫描模块201包括：
扫描单元2011，用于对包含该交通标志牌的区域进行激光扫描处理，得到该交通标志牌的图像，以及多个区域扫描点和该多个区域扫描点的点云数据，各个区域扫描点的点云数据中包括该各个区域扫描点的反射率值；
选择单元2022，用于从该多个区域扫描点中选择反射率值大于或等于反射率阈值的多个区域扫描点；
第一确定单元2033，用于将选择的多个区域扫描点确定为该交通标志牌的多个激光扫描点，并将该选择的多个区域扫描点的点云数据确定为该多个激光扫描点的点云数据。
可选地，参见图2C，该确定模块203包括：
分析单元2031，用于对该三维点云结构进行主成分分析，得到该三维点云结构的各个空间特征值；
第二确定单元2032，用于确定该三维点云结构的各个空间特征值中最小的空间特征值的特征向量，并确定该三维点云结构的质心在指定三维坐标系中的三维坐标；
第三确定单元2033，用于基于该特征向量和该三维点云结构的质心在该指定三维坐标系中的三维坐标，确定该交通标志牌的拟合平面方程。
可选地，参见图2D，该确定模块203还包括：
第四确定单元2034，用于基于该三维点云结构的各个空间特征值，确定该三维点云结构的第一分布值、第二分布值和曲率值，该第一分布值和该第二分布值用于描述该三维点云结构在三维空间中的分布形状，该曲率值用于描述该三维点云结构在该三维空间中的平面性；
判断单元2035，由于基于该三维点云结构的第一分布值、第二分布值和曲率值，判断该三维点云结构是否为干扰结构；
触发单元2036，用于当该三维点云结构不为干扰结构时，触发该第二确定单元确定该三维点云结构的各个空间特征值中最小的空间特征值的特征向量，并确定该三维点云结构的质心在指定三维坐标系中的三维坐标。
可选地，参见图2E，该判断单元2035包括：
第一确定子单元20351，用于确定该三维点云结构的长度、宽度和高度；
第二确定子单元20352，用于如果该三维点云结构的长度不位于指定长度范围内、该三维点云结构的宽度不位于指定宽度范围内、该三维点云结构的高度不位于指定高度范围内、该第一分布值大于第一分布阈值、该第二分布值小于第二分布阈值或该曲率值大于曲率阈值，则确定该三维点云结构为干扰结构，否则，确定该三维点云结构不为干扰结构。
可选地，参见图2F，该获取模块204包括：
第一投影单元2041，用于通过预设的外方位元素，将该三维点云结构投影到该交通标志牌的图像上，该外方位元素包括获取该图像时主光束的空间位置和姿态参数；
第五确定单元2042，用于确定该三维点云结构在该图像上所占的图像区域；
第二投影单元2043，用于将该图像区域内每个像素点在指定平面坐标系中的坐标通过该拟合平面方程投影到三维空间中，得到该交通标志牌的影像数据；
矫正单元2044，用于对该交通标志牌的影像数据进行矫正，以消除该影像数据的成像倾角；
识别单元2045，用于对矫正后的该交通标志牌的影像数据进行图像识别，得到该交通标志牌的标志牌信息。
在本发明实施例中，终端可以对包含交通标志牌的区域进行激光扫描处理，得到多个区域扫描点和交通标志牌的图像，由于交通标志牌具有对光线的反射强度较强的特点，因此，终端可以利用该特点从多个区域扫描点中，确定该交通标志牌的多个激光扫描点和该多个激光扫描点的点云数据。另外，由于激光是一个主动式光源，在对包含该交通标志牌的区域进行激光扫描处理时，可以不受光照影响，提高后续获取标志牌信息的准确度。之后，终端可以根据该多个激光扫描点的点云数据，将该多个激光扫描点进行进空间聚类得到该交通标志牌的三维点云结构，并确定该三维点云结构的空间分布特征，根据该空间分布特征，判断该三维点云结构是否为干扰结构，从而可以剔除一些干扰结构，减轻了终端后续的操作负担。另外，当该三维点云结构不为干扰结构时，可以确定该交通标志牌的拟合平面方程，并基于该交通标志牌的图像、三维点云结构和拟合平面方程，对该影像数据进行图像识别等操作，以获取该交通标志牌的标志牌信息。由于该多个激光扫描点的点云数据可以准确的表达该三维点云结构在指定三维坐标系中的坐标，终端基于该准确的坐标进行的一系列操作均为准确的操作，减少了获取标志牌信息的误差，从而提高了获取交通标志牌的标志牌信息的准确度、效率以及鲁棒性。
需要说明的是：上述实施例提供的标志牌信息获取装置在获取标志牌信息时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的标志牌信息获取装置与标志牌信息获取方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
图3是本发明实施例提供的一种标志牌信息获取装置的终端结构示意图。参见图3，终端300可以包括通信单元310、包括有一个或一个以上计算机可读存储介质的存储器320、输入单元330、显示单元340、传感器350、音频电路360、WIFI(Wireless Fidelity，无线保真)模块370、包括有一个或者一个以上处理核心的处理器380、以及电源390等部件。本领域技术人员可以理解，图3中示出的终端结构并不构成对终端的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。其中：
通信单元310可用于收发信息或通话过程中，信号的接收和发送，该通信单元310可以为RF(Radio Frequency，射频)电路、路由器、调制解调器、等网络通信设备。特别地，当通信单元310为RF电路时，将基站的下行信息接收后，交由一个或者一个以上处理器380处理；另外，将涉及上行的数据发送给基站。通常，作为通信单元的RF电路包括但不限于天线、至少一个放大器、调谐器、一个或多个振荡器、用户身份模块(SIM)卡、收发信机、耦合器、LNA(LowNoiseAmplifier，低噪声放大器)、双工器等。此外，通信单元310还可以通过无线通信与网络和其他设备通信。所述无线通信可以使用任一通信标准或协议，包括但不限于GSM(Global System ofMobile communication，全球移动通讯系统)、GPRS(General PacketRadio Service，通用分组无线服务)、CDMA(Code DivisionMultipleAccess，码分多址)、WCDMA(Wideband Code Division MultipleAccess，宽带码分多址)、LTE(Long TermEvolution，长期演进)、电子邮件、SMS(Short Messaging Service，短消息服务)等。存储器320可用于存储软件程序以及模块，处理器380通过运行存储在存储器320的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器320可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据终端300的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器320可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器320还可以包括存储器控制器，以提供处理器380和输入单元330对存储器320的访问。
输入单元330可用于接收输入的数字或字符信息，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。优选地，输入单元330可包括触敏表面331以及其他输入设备332。触敏表面331，也称为触摸显示屏或者触控板，可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触敏表面331上或在触敏表面331附近的操作)，并根据预先设定的程式驱动相应的连接装置。可选的，触敏表面331可包括触摸检测装置和触摸控制器两个部分。其中，触摸检测装置检测用户的触摸方位，并检测触摸操作带来的信号，将信号传送给触摸控制器；触摸控制器从触摸检测装置上接收触摸信息，并将它转换成触点坐标，再送给处理器380，并能接收处理器380发来的命令并加以执行。此外，可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触敏表面331。除了触敏表面331，输入单元330还可以包括其他输入设备332。优选地，其他输入设备332可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。
显示单元340可用于显示由用户输入的信息或提供给用户的信息以及终端300的各种图形用户接口，这些图形用户接口可以由图形、文本、图标、视频和其任意组合来构成。显示单元340可包括显示面板341，可选的，可以采用LCD(Liquid Crystal Display，液晶显示器)、OLED(Organic Light-Emitting Diode，有机发光二极管)等形式来配置显示面板341。进一步的，触敏表面331可覆盖显示面板341，当触敏表面331检测到在其上或附近的触摸操作后，传送给处理器380以确定触摸事件的类型，随后处理器380根据触摸事件的类型在显示面板341上提供相应的视觉输出。虽然在图3中，触敏表面331与显示面板341是作为两个独立的部件来实现输入和输入功能，但是在某些实施例中，可以将触敏表面331与显示面板341集成而实现输入和输出功能。
终端300还可包括至少一种传感器350，比如光传感器、运动传感器以及其他传感器。光传感器可包括环境光传感器及接近传感器，其中，环境光传感器可根据环境光线的明暗来调节显示面板341的亮度，接近传感器可在终端300移动到耳边时，关闭显示面板341和/或背光。作为运动传感器的一种，重力加速度传感器可检测各个方向上(一般为三轴)加速度的大小，静止时可检测出重力的大小及方向，可用于识别手机姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等；至于终端300还可配置的陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器，在此不再赘述。
音频电路360、扬声器361，传声器362可提供用户与终端300之间的音频接口。音频电路360可将接收到的音频数据转换后的电信号，传输到扬声器361，由扬声器361转换为声音信号输出；另一方面，传声器362将收集的声音信号转换为电信号，由音频电路360接收后转换为音频数据，再将音频数据输出处理器380处理后，经通信单元310以发送给比如另一终端，或者将音频数据输出至存储器320以便进一步处理。音频电路360还可能包括耳塞插孔，以提供外设耳机与终端300的通信。
为了实现无线通信，该终端上可以配置有无线通信单元370，该无线通信单元370可以为WIFI模块。WIFI属于短距离无线传输技术，终端300通过无线通信单元370可以帮助用户收发电子邮件、浏览网页和访问流式媒体等，它为用户提供了无线的宽带互联网访问。虽然图中示出了无线通信单元370，但是可以理解的是，其并不属于终端300的必须构成，完全可以根据需要在不改变发明的本质的范围内而省略。
处理器380是终端300的控制中心，利用各种接口和线路连接整个手机的各个部分，通过运行或执行存储在存储器320内的软件程序和/或模块，以及调用存储在存储器320内的数据，执行终端300的各种功能和处理数据，从而对手机进行整体监控。可选的，处理器380可包括一个或多个处理核心；优选的，处理器380可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器380中。
终端300还包括给各个部件供电的电源390(比如电池)，优选的，电源可以通过电源管理系统与处理器380逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源360还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
尽管未示出，终端300还可以包括摄像头、蓝牙模块等，在此不再赘述。
在本实施例中，终端还包括有一个或者一个以上的程序，这一个或者一个以上程序存储于存储器中，且经配置以由一个或者一个以上处理器执行，所述一个或者一个以上程序包含用于进行本发明实施例提供的如图1B所示的标志牌信息获取方法的指令。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种标志牌信息获取方法，其特征在于，所述方法包括：
对包含交通标志牌的区域进行激光扫描处理和成像处理，得到所述交通标志牌的图像，以及所述交通标志牌的多个激光扫描点和所述多个激光扫描点的点云数据，各个激光扫描点的点云数据用于对所述各个激光扫描点进行描述；
基于所述多个激光扫描点的点云数据，对所述多个激光扫描点进行空间聚类，得到所述交通标志牌的三维点云结构；
对所述三维点云结构进行主成分分析，得到所述三维点云结构的各个空间特征值；
确定所述三维点云结构的各个空间特征值中最小的空间特征值的特征向量，并确定所述三维点云结构的质心在指定三维坐标系中的三维坐标；
基于所述特征向量和所述三维点云结构的质心在所述指定三维坐标系中的三维坐标，确定所述交通标志牌的拟合平面方程；
基于所述交通标志牌的图像、三维点云结构和拟合平面方程，获取所述交通标志牌的标志牌信息。
2.如权利要求1所述的方法，其特征在于，所述对包含交通标志牌的区域进行激光扫描处理和成像处理，得到所述交通标志牌的图像，以及所述交通标志牌的多个激光扫描点和所述多个激光扫描点的点云数据，包括：
对包含所述交通标志牌的区域进行激光扫描处理和成像处理，得到所述交通标志牌的图像，以及多个区域扫描点和所述多个区域扫描点的点云数据，各个区域扫描点的点云数据中包括所述各个区域扫描点的反射率值；
从所述多个区域扫描点中选择反射率值大于或等于反射率阈值的多个区域扫描点；
将选择的多个区域扫描点确定为所述交通标志牌的多个激光扫描点，并将所述选择的多个区域扫描点的点云数据确定为所述多个激光扫描点的点云数据。
3.如权利要求1所述的方法，其特征在于，所述确定所述三维点云结构的各个空间特征值中最小的空间特征值的特征向量，并确定所述三维点云结构的质心在指定三维坐标系中的三维坐标之前，还包括：
基于所述三维点云结构的各个空间特征值，确定所述三维点云结构的第一分布值、第二分布值和曲率值，所述第一分布值和所述第二分布值用于描述所述三维点云结构在三维空间中的分布形状，所述曲率值用于描述所述三维点云结构在所述三维空间中的平面性；
基于所述三维点云结构的第一分布值、第二分布值和曲率值，判断所述三维点云结构是否为干扰结构；
当所述三维点云结构不为干扰结构时，执行所述确定所述三维点云结构的各个空间特征值中最小的空间特征值的特征向量，并确定所述三维点云结构的质心在指定三维坐标系中的三维坐标的步骤。
4.如权利要求3所述的方法，其特征在于，所述基于所述三维点云结构的第一分布值、第二分布值和曲率值，判断所述三维点云结构是否为干扰结构，包括：
确定所述三维点云结构的长度、宽度和高度；
如果所述三维点云结构的长度不位于指定长度范围内、所述三维点云结构的宽度不位于指定宽度范围内、所述三维点云结构的高度不位于指定高度范围内、所述第一分布值大于第一分布阈值、所述第二分布值小于第二分布阈值或所述曲率值大于曲率阈值，则确定所述三维点云结构为干扰结构，否则，确定所述三维点云结构不为干扰结构。
5.如权利要求1所述的方法，其特征在于，所述基于所述交通标志牌的图像、三维点云结构和拟合平面方程，获取所述交通标志牌的标志牌信息，包括：
通过预设的外方位元素，将所述三维点云结构投影到所述交通标志牌的图像上，所述外方位元素包括获取所述图像时主光束的空间位置和姿态参数；
确定所述三维点云结构在所述图像上所占的图像区域；
将所述图像区域内每个像素点在指定平面坐标系中的坐标通过所述拟合平面方程投影到三维空间中，得到所述交通标志牌的影像数据；
对所述交通标志牌的影像数据进行矫正，以消除所述影像数据的成像倾角；
对矫正后的所述交通标志牌的影像数据进行图像识别，得到所述交通标志牌的标志牌信息。
6.一种标志牌信息获取装置，其特征在于，所述装置包括：
扫描模块，用于对包含交通标志牌的区域进行激光扫描处理和成像处理，得到所述交通标志牌的图像，以及所述交通标志牌的多个激光扫描点和所述多个激光扫描点的点云数据，各个激光扫描点的点云数据用于对所述各个激光扫描点进行描述；
聚类模块，用于基于所述多个激光扫描点的点云数据，对所述多个激光扫描点进行空间聚类，得到所述交通标志牌的三维点云结构；
确定模块，包括分析单元、第二确定单元和第三确定单元，所述分析单元，用于对所述三维点云结构进行主成分分析，得到所述三维点云结构的各个空间特征值；所述第二确定单元，用于确定所述三维点云结构的各个空间特征值中最小的空间特征值的特征向量，并确定所述三维点云结构的质心在指定三维坐标系中的三维坐标；所述第三确定单元，用于基于所述特征向量和所述三维点云结构的质心在所述指定三维坐标系中的三维坐标，确定所述交通标志牌的拟合平面方程；
获取模块，用于基于所述交通标志牌的图像、三维点云结构和拟合平面方程，获取所述交通标志牌的标志牌信息。
7.如权利要求6所述的装置，其特征在于，所述扫描模块包括：
扫描单元，用于对包含所述交通标志牌的区域进行激光扫描处理和成像处理，得到所述交通标志牌的图像，以及多个区域扫描点和所述多个区域扫描点的点云数据，各个区域扫描点的点云数据中包括所述各个区域扫描点的反射率值；
选择单元，用于从所述多个区域扫描点中选择反射率值大于或等于反射率阈值的多个区域扫描点；
第一确定单元，用于将选择的多个区域扫描点确定为所述交通标志牌的多个激光扫描点，并将所述选择的多个区域扫描点的点云数据确定为所述多个激光扫描点的点云数据。
8.如权利要求6所述的装置，其特征在于，所述确定模块还包括：
第四确定单元，用于基于所述三维点云结构的各个空间特征值，确定所述三维点云结构的第一分布值、第二分布值和曲率值，所述第一分布值和所述第二分布值用于描述所述三维点云结构在三维空间中的分布形状，所述曲率值用于描述所述三维点云结构在所述三维空间中的平面性；
判断单元，由于基于所述三维点云结构的第一分布值、第二分布值和曲率值，判断所述三维点云结构是否为干扰结构；
触发单元，用于当所述三维点云结构不为干扰结构时，触发所述第二确定单元确定所述三维点云结构的各个空间特征值中最小的空间特征值的特征向量，并确定所述三维点云结构的质心在指定三维坐标系中的三维坐标。
9.如权利要求8所述的装置，其特征在于，所述判断单元包括：
第一确定子单元，用于确定所述三维点云结构的长度、宽度和高度；
第二确定子单元，用于如果所述三维点云结构的长度不位于指定长度范围内、所述三维点云结构的宽度不位于指定宽度范围内、所述三维点云结构的高度不位于指定高度范围内、所述第一分布值大于第一分布阈值、所述第二分布值小于第二分布阈值或所述曲率值大于曲率阈值，则确定所述三维点云结构为干扰结构，否则，确定所述三维点云结构不为干扰结构。
10.如权利要求6所述的装置，其特征在于，所述获取模块包括：
第一投影单元，用于通过预设的外方位元素，将所述三维点云结构投影到所述交通标志牌的图像上，所述外方位元素包括获取所述图像时主光束的空间位置和姿态参数；
第五确定单元，用于确定所述三维点云结构在所述图像上所占的图像区域；
第二投影单元，用于将所述图像区域内每个像素点在指定平面坐标系中的坐标通过所述拟合平面方程投影到三维空间中，得到所述交通标志牌的影像数据；
矫正单元，用于对所述交通标志牌的影像数据进行矫正，以消除所述影像数据的成像倾角；
识别单元，用于对矫正后的所述交通标志牌的影像数据进行图像识别，得到所述交通标志牌的标志牌信息。
CN201610822521.4A 2016-09-13 2016-09-13 标志牌信息获取方法及装置 Active CN107818288B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201610822521.4A CN107818288B (zh) 2016-09-13 2016-09-13 标志牌信息获取方法及装置
PCT/CN2017/100358 WO2018049998A1 (zh) 2016-09-13 2017-09-04 交通标志牌信息获取方法及装置
US16/016,981 US10891500B2 (en) 2016-09-13 2018-06-25 Method and apparatus for acquiring traffic sign information

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610822521.4A CN107818288B (zh) 2016-09-13 2016-09-13 标志牌信息获取方法及装置

Publications (2)

Publication Number Publication Date
CN107818288A CN107818288A (zh) 2018-03-20
CN107818288B true CN107818288B (zh) 2019-04-09

Family

ID=61600642

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610822521.4A Active CN107818288B (zh) 2016-09-13 2016-09-13 标志牌信息获取方法及装置

Country Status (3)

Country Link
US (1) US10891500B2 (zh)
CN (1) CN107818288B (zh)
WO (1) WO2018049998A1 (zh)

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180211119A1 (en) * 2017-01-23 2018-07-26 Ford Global Technologies, Llc Sign Recognition for Autonomous Vehicles
JP6985207B2 (ja) * 2018-05-09 2021-12-22 トヨタ自動車株式会社 自動運転システム
CN108846333B (zh) * 2018-05-30 2022-02-18 厦门大学 标志牌地标数据集生成及车辆定位方法
CN110148196B (zh) * 2018-09-12 2022-03-25 腾讯大地通途（北京）科技有限公司 一种图像处理方法、装置以及相关设备
CN109633681A (zh) * 2018-12-05 2019-04-16 芜湖智久机器人有限公司 一种反光板识别方法及装置
CN109856643B (zh) * 2018-12-15 2022-10-04 国网福建省电力有限公司检修分公司 基于3d激光的可移动式无感全景感知方法
US11055546B2 (en) 2018-12-18 2021-07-06 Here Global B.V. Automatic positioning of 2D image sign sightings in 3D space
CN109685893B (zh) * 2019-01-11 2023-04-07 中煤航测遥感集团有限公司 空间一体化建模方法及装置
CN111664845B (zh) * 2019-03-05 2023-06-16 千寻位置网络有限公司 交通标志定位、视觉地图制作方法及装置、定位系统
CN111724472A (zh) * 2019-03-19 2020-09-29 北京四维图新科技股份有限公司 地图要素空间位置的确定方法和装置
CN110018491B (zh) * 2019-04-16 2021-06-22 广州大学 激光扫描方法、装置及激光雷达
CN112069856A (zh) * 2019-06-10 2020-12-11 商汤集团有限公司 地图生成方法、驾驶控制方法、装置、电子设备及系统
CN112348876A (zh) * 2019-08-08 2021-02-09 北京地平线机器人技术研发有限公司 一种标志牌的空间坐标获取方法及装置
JP7313998B2 (ja) * 2019-09-18 2023-07-25 株式会社トプコン 測量データ処理装置、測量データ処理方法および測量データ処理用プログラム
CN111126211B (zh) * 2019-12-13 2023-08-29 北京四维图新科技股份有限公司 标牌识别方法和装置、电子设备
CN111243310B (zh) * 2020-01-10 2021-08-31 广州大学 交通标志识别方法、系统、介质和设备
CN113496145B (zh) * 2020-03-19 2023-06-16 武汉四维图新科技有限公司 标牌角点获取方法、装置及设备
CN111383337B (zh) * 2020-03-20 2023-06-27 北京百度网讯科技有限公司 用于识别对象的方法和装置
CN111652050B (zh) * 2020-04-20 2024-04-02 宁波吉利汽车研究开发有限公司 一种交通标志的定位方法、装置、设备和介质
CN111667545B (zh) * 2020-05-07 2024-02-27 东软睿驰汽车技术（沈阳）有限公司 高精度地图生成方法、装置、电子设备及存储介质
CN112184736B (zh) * 2020-10-10 2022-11-11 南开大学 一种基于欧式聚类的多平面提取方法
CN112990034B (zh) * 2021-03-23 2023-09-26 武汉大学 一种影像优先的交通标牌变化检测方法
CN113098791B (zh) * 2021-03-30 2022-05-06 中山大学 一种多业务网络流的成分占比分析方法
CN113298866B (zh) * 2021-06-11 2024-01-23 梅卡曼德（北京）机器人科技有限公司 物体分类方法及装置
CN113960572B (zh) * 2021-10-20 2024-05-03 北京轻舟智航科技有限公司 一种过滤埋地灯噪声点云的处理方法和装置
CN117689832B (zh) * 2024-02-04 2024-05-17 腾讯科技（深圳）有限公司 交通标牌生成方法、装置、设备和存储介质

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101907081B1 (ko) * 2011-08-22 2018-10-11 삼성전자주식회사 3차원 점군의 물체 분리 방법
CN102779280B (zh) * 2012-06-19 2014-07-30 武汉大学 一种基于激光传感器的交通信息提取方法
US9056395B1 (en) * 2012-09-05 2015-06-16 Google Inc. Construction zone sign detection using light detection and ranging
US9383753B1 (en) * 2012-09-26 2016-07-05 Google Inc. Wide-view LIDAR with areas of special attention
DE102012110595A1 (de) * 2012-11-06 2014-05-08 Conti Temic Microelectronic Gmbh Verfahren und Vorrichtung zur Erkennung von Verkehrszeichen für ein Fahrzeug
CN104280036B (zh) * 2013-07-05 2017-11-17 北京四维图新科技股份有限公司 一种交通信息的检测与定位方法、装置及电子设备
CN103499343B (zh) * 2013-09-25 2015-06-24 武汉海达数云技术有限公司 基于三维激光反射强度的道路标线点云自动分类识别方法
US9368936B1 (en) * 2013-09-30 2016-06-14 Google Inc. Laser diode firing system
JP6203208B2 (ja) * 2015-02-18 2017-09-27 株式会社東芝 道路構造物管理システム、及び道路構造物管理方法
CN104866840A (zh) * 2015-06-04 2015-08-26 广东中城规划设计有限公司 一种从机载激光点云数据识别架空电力线的方法
CN105184852B (zh) * 2015-08-04 2018-01-30 百度在线网络技术（北京）有限公司 一种基于激光点云的城市道路识别方法及装置
CN106560835B (zh) * 2015-09-30 2019-05-24 高德软件有限公司 一种路牌识别方法及装置
CN105678318B (zh) * 2015-12-31 2019-03-08 百度在线网络技术（北京）有限公司 交通标牌的匹配方法及装置
US10528055B2 (en) * 2016-11-03 2020-01-07 Ford Global Technologies, Llc Road sign recognition
US20180211119A1 (en) * 2017-01-23 2018-07-26 Ford Global Technologies, Llc Sign Recognition for Autonomous Vehicles

Also Published As

Publication number Publication date
CN107818288A (zh) 2018-03-20
WO2018049998A1 (zh) 2018-03-22
US10891500B2 (en) 2021-01-12
US20180307924A1 (en) 2018-10-25

Similar Documents

Publication Publication Date Title
CN107818288B (zh) 标志牌信息获取方法及装置
CN106778585B (zh) 一种人脸关键点跟踪方法和装置
CN111182453B (zh) 定位方法、装置、电子设备及存储介质
EP3620952B1 (en) Optical fingerprint identification method, and related product
CN104679509B (zh) 一种渲染图形的方法和装置
CN105956518A (zh) 一种人脸识别方法、装置和系统
CN108304758A (zh) 人脸特征点跟踪方法及装置
CN108985220B (zh) 一种人脸图像处理方法、装置及存储介质
CN108932331A (zh) 一种地图数据更新方法、装置及系统
CN109391762A (zh) 一种跟踪拍摄的方法和装置
CN109165606B (zh) 一种车辆信息的获取方法、装置以及存储介质
CN107220592A (zh) 一种光学指纹采集方法及相关产品
KR102532390B1 (ko) IoT 디바이스의 알람 규칙 구성 방법 및 장치, 디바이스, 및 저장 매체
CN111256676B (zh) 移动机器人定位方法、装置和计算机可读存储介质
CN107864336B (zh) 一种图像处理方法、移动终端
CN111986250A (zh) 物体体积测量方法、装置、测量设备及存储介质
CN112150560B (zh) 确定消失点的方法、装置及计算机存储介质
CN109674534A (zh) 一种基于增强现实的手术导航图像显示方法和系统
CN109726368A (zh) 地图标注方法及装置
WO2021027890A1 (zh) 车牌图像生成方法、装置及计算机存储介质
CN107578463A (zh) 对雷达点云数据进行栅格化处理的方法和装置
CN104915625B (zh) 一种人脸识别的方法及装置
CN111127541A (zh) 车辆尺寸的确定方法、装置及存储介质
CN109427101A (zh) 一种获取增强现实图像的方法和系统
US10091436B2 (en) Electronic device for processing image and method for controlling the same

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant