CN111753858A - 一种点云匹配方法、装置和重定位系统 - Google Patents

一种点云匹配方法、装置和重定位系统 Download PDF

Info

Publication number
CN111753858A
CN111753858A CN201910233589.2A CN201910233589A CN111753858A CN 111753858 A CN111753858 A CN 111753858A CN 201910233589 A CN201910233589 A CN 201910233589A CN 111753858 A CN111753858 A CN 111753858A
Authority
CN
China
Prior art keywords
point
point cloud
cloud data
points
classification result
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910233589.2A
Other languages
English (en)
Inventor
张观良
刘殿超
付万豪
赵颖
李壮
杨光伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Software Research Center Beijing Co Ltd
Original Assignee
Ricoh Software Research Center Beijing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Software Research Center Beijing Co Ltd filed Critical Ricoh Software Research Center Beijing Co Ltd
Priority to CN201910233589.2A priority Critical patent/CN111753858A/zh
Publication of CN111753858A publication Critical patent/CN111753858A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明公开一种点云匹配方法、装置和重定位系统。本发明的方法包括：获取相同场景的不同时段的两个点云数据，点云数据包括点的三维坐标、点对应的传感器扫描路径和点对应的可见光图像像素点；根据点的三维坐标、点对应的传感器扫描路径和点对应的可见光图像像素点，对两个点云数据进行分类，获得每个点云数据的分类结果，每个分类结果对应一个点集合；根据两个点云数据的分类结果，获得两个点云数据之间的姿态对齐结果；在姿态对齐结果的基础上，根据点集合内的点对两个点云数据中相对应的点集合进行匹配。本发明的技术方案能够提高重定位的准确度。

Description

一种点云匹配方法、装置和重定位系统
技术领域
本发明涉及一种点云匹配方法、装置和重定位系统。
背景技术
即时定位与地图构建(simultaneous localization and mapping，SLAM)通常是指在机器人或者其他载体上，通过对各种传感器数据进行采集和计算，生成对其自身位置姿态的定位和场景地图信息的系统。利用SLAM算法或SFM(structure from motion)算法，能够生成周围环境的点云。在一些应用场景中，希望利用上一次得到的点云信息，确定当前机器或一些物体在地图中的位置，即SLAM的重定位。
在视觉SLAM中，一般利用图像的纹理与颜色，对不同时间上的图像进行匹配从而实现重定位。例如，在ORB-SLAM，利用视觉词袋模型，在地图中添加关键帧的时候，同时保存该帧对应的视觉单词，进行重定位时，通过当前帧与保存的关键帧进行匹配，查找可能的候选帧，之后执行PnP求解姿态，进行几何验证，若验证通过，则表示找到正确帧，此时重定位成功，但视觉重定位需要图像拥有相似性，当环境变化较大时，则重定位失败。
而激光SLAM中，则只能依靠点云匹配完成重定位，但在一些重复场景中，重定位也会失败。例如，在太阳能电站场景中，给定不同时期所获取的点云，为了比较各个时段太阳能面板的情况，需要对获取的太阳能面板进行重定位。此时由于地面纹理的变化以及太阳能面板过于相似，视觉重定位较为困难；此外，基于点云匹配的局部面板重定位也会受其他物体的干扰。
发明内容
本发明提供了一种点云匹配方法、装置和重定位系统，以至少部分解决上述问题。
第一方面，本发明提供了一种点云匹配方法，包括：获取相同场景的不同时段的两个点云数据，所述点云数据包括点的三维坐标、点对应的传感器扫描路径和点对应的可见光图像像素点；根据所述点的三维坐标、点对应的传感器扫描路径和点对应的可见光图像像素点，对所述两个点云数据进行分类，获得每个点云数据的分类结果，每个分类结果对应一个点集合；根据所述两个点云数据的分类结果，获得所述两个点云数据之间的姿态对齐结果；在所述姿态对齐结果的基础上，根据点集合内的点对所述两个点云数据中相对应的点集合进行匹配。
在一些实施例中，根据所述点的三维坐标、点对应的传感器扫描路径和点对应的可见光图像像素点，对所述两个点云数据进行分类，包括：根据所述点的三维坐标，获得语义半径，所述语义半径为物体的宽度或高度；根据所述语义半径分别计算所述两个点云数据中每个点的法向量，根据所述法向量的方向对每个点进行分类，获得每个点云数据的分类结果。
在一些实施例中，根据所述点的三维坐标、点对应的传感器扫描路径和点对应的可见光图像像素点，对所述两个点云数据进行分类，包括：根据图形分割算法对所述可见光图像进行分割处理，获得分割结果；根据点对应的可见光图像像素点所属的分割结果对每个点进行分类，获得每个点云数据的分类结果。
在一些实施例中，根据所述点的三维坐标、点对应的传感器扫描路径和点对应的可见光图像像素点，对所述两个点云数据进行分类，包括：根据传感器扫描路径的路径变化，将所述传感器扫描路径划分为多个子路径；根据所述点对应的传感器扫描路径，获得每个点云数据中每个点所属的子路径，根据每个点所属的子路径对每个点进行分类。
在一些实施例中，根据每个点所属的子路径对每个点进行分类，包括：根据所述点的三维坐标，获得语义半径，所述语义半径为物体的宽度或高度；根据所述语义半径分别计算所述两个点云数据中每个点的法向量，根据所述法向量的方向对初步分类结果中每个点进行分类，获得每个点云数据的分类结果；或者，根据图形分割算法对所述可见光图像进行分割处理，获得分割结果；根据点对应的可见光图像像素点所属的分割结果对所述初步分类结果中每个点进行分类，获得每个点云数据的分类结果；其中，所述初步分类结果为根据每个点所属的子路径对每个点进行分类所获得的分类结果。
在一些实施例中，根据所述两个点云数据的分类结果，获得所述两个点云数据之间的姿态对齐结果，包括：根据每个点云数据的点集合构建每个点云数据对应的空间图形，所述空间图形中每个点集合对应一个图形，相应点集合中的特征点之间形成连线；根据图形匹配算法对两个点云数据对应的空间图形进行匹配，获得变换矩阵，利用所述变换矩阵获得所述两个点云数据之间的姿态对齐结果。
在一些实施例中，在所述姿态对齐结果的基础上，根据点集合内的点对所述两个点云数据中相对应的点集合进行匹配，包括：根据目标对象去除所述两个点云数据的分类结果中非目标对象的点集合，获得目标对象的分类结果；在所述姿态对齐结果的基础上，根据点集合内的点对所述两个点云数据中目标对象的点集合进行匹配。
第二方面，本发明提供了一种点云匹配装置，数据获取单元，用于获取相同场景的不同时段的两个点云数据，所述点云数据包括点的三维坐标、点对应的传感器扫描路径和点对应的可见光图像像素点；点分类单元，用于根据所述点的三维坐标、点对应的传感器扫描路径和点对应的可见光图像像素点，对所述两个点云数据进行分类，获得每个点云数据的分类结果，每个分类结果对应一个点集合；粗匹配单元，用于根据所述两个点云数据的分类结果，获得所述两个点云数据之间的姿态对齐结果；细匹配单元，用于在所述姿态对齐结果的基础上，根据点集合内的点对所述两个点云数据中相对应的点集合进行匹配。
第三方面，本发明提供了一种重定位系统，包括：存储器，存储计算机可执行指令；处理器，计算机可执行指令在被执行时使处理器执行点云匹配方法。
第四方面，本发明提供了一种计算机可读存储介质，计算机可读存储介质上存储有一个或多个计算机程序，所述一个或多个计算机程序被重定位系统的处理器执行时实现点云匹配方法。
本发明针对在不同时间甚至是不同季节中获取的点云数据，其环境的纹理和颜色变化较大，无法利用视觉信进行重新定位，以及对于包括重复物体较多的场景中，若只利用点云匹配容易造成定位的错位等问题，通过结合图像、点云信息，对点云数据中的点进行分类，基于分类结果进行两次匹配，基于匹配处理后的点云数据进行重定位，提高重定位的准确度。
附图说明
图1为本发明实施例示出的点云匹配方法的流程图；
图2为本发明实施例示出的太阳能场景下的点云示意图；
图3为本发明实施例示出的每个太阳能对应的语义半径与法向量示意图；
图4为本发明实施例示出的太阳能电站中汇流箱的可见光图像示意图；
图5为本发明实施例示出的太阳能电站中汇流箱的点云示意图；
图6为本发明实施例示出的传感器路径示意图；
图7为本发明实施例示出的空间图像示意图；
图8为本发明实施例示出的点云匹配方法装置的结构框图；
图9为本发明实施例示出的重定位系统的结构示意图。
具体实施方式
本发明实施例提供一种点云匹配方法，结合点云和图像的信息，对重复物体比较多的场景中不同时段获得的点云数据进行匹配，实现物体的重定位。本发明实施例还提供了相应的装置、重定位系统和计算机可读存储介质，以下分别进行详细说明。
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。但是应该理解，这些描述只是示例性的，而并非要限制本发明的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本发明的概念。
在此使用的术语仅仅是为了描述具体实施例，而并非意在限制本发明。这里使用的词语“一”、“一个(种)”和“该”等也应包括“多个”、“多种”的意思，除非上下文另外明确指出。此外，在此使用的术语“包括”、“包含”等表明了所述特征、步骤、操作和/或部件的存在，但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。
在此使用的所有术语(包括技术和科学术语)具有本领域技术人员通常所理解的含义，除非另外定义。应注意，这里使用的术语应解释为具有与本说明书的上下文相一致的含义，而不应以理想化或过于刻板的方式来解释。
附图中示出了一些方框图和/或流程图。应理解，方框图和/或流程图中的一些方框或其组合可以由计算机程序指令来实现。这些计算机程序指令可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器，从而这些指令在由该处理器执行时可以创建用于实现这些方框图和/或流程图中所说明的功能/操作的装置。
因此，本发明的技术可以硬件和/或软件(包括固件、微代码等)的形式来实现。另外，本发明的技术可以采取存储有指令的计算机可读存储介质上的计算机程序产品的形式，该计算机程序产品可供指令执行系统使用或者结合指令执行系统使用。在本发明的上下文中，计算机可读存储介质可以是能够包含、存储、传送、传播或传输指令的任意介质。例如，计算机可读存储介质可以包括但不限于电、磁、光、电磁、红外或半导体系统、装置、器件或传播介质。计算机可读存储介质的具体示例包括：磁存储装置，如磁带或硬盘(HDD)；光存储装置，如光盘(CD-ROM)；存储器，如随机存取存储器(RAM)或闪存；和/或有线/无线通信链路。
本发明提供一种点云匹配方法。
图1为本发明实施例示出的点云匹配方法的流程图，如图1所示，本实施例的方法包括：
S110，获取相同场景的不同时段的两个点云数据，点云数据包括点的三维坐标、点对应的传感器扫描路径和点对应的可见光图像像素点。
S120，根据点的三维坐标、点对应的传感器扫描路径和点对应的可见光图像像素点，对两个点云数据进行分类，获得每个点云数据的分类结果，每个分类结果对应一个点集合。
S130，根据两个点云数据的分类结果，获得两个点云数据之间的姿态对齐结果。
S140，在姿态对齐结果的基础上，根据点集合内的点对所述两个点云数据中相对应的点集合进行匹配。
针对在不同时间甚至是不同季节中获取的点云数据，其环境的纹理和颜色变化较大，无法利用视觉信进行重新定位，以及对于包括重复物体较多的场景中，若只利用点云匹配容易造成定位的错位等问题，本实施例通过结合图像、点云信息，对点云数据中的点进行分类，基于分类结果进行两次匹配，基于匹配处理后的点云数据进行重定位，提高重定位的准确度。
下面结合图2-6对上述步骤S110-S140进行详细说明。
首先，执行步骤S110，即获取相同场景的不同时段的两个点云数据，点云数据包括点的三维坐标、点对应的传感器扫描路径和点对应的可见光图像像素点。
本实施例，可以利用SLAM算法或SFM算法生成所述场景的点云数据。针对通过视觉SLAM获得的点云数据而言，该点云数据中每个点是通过估计图像像素点的三维坐标获得，因此自然有点云数据中点与可见光图像(如RGB图像)中像素点的对应关系；而通过激光扫描获得的点云数据，则需要对相机和雷达进行标定，即可获得点云数据中点与可见光图像中像素点的对应关系。
在获得相同场景的不同时段的两个点云数据之后，继续执行步骤S120，即根据点的三维坐标、点对应的传感器扫描路径和点对应的可见光图像像素点，对所述两个点云数据进行分类，获得每个点云数据的分类结果，每个分类结果对应一个点集合。
本发明可以通过以下几种方式对两个点云数据进行分类。
在一些实施例中，根据点的三维坐标，获得语义半径，语义半径为物体的宽度或高度；根据语义半径分别计算两个点云数据中每个点的法向量，根据法向量的方向对每个点进行分类，获得每个点云数据的分类结果。
如图2所示，图2示出的点云是一个稀疏的太阳能电站点云，结合图像算法可以获得太阳能面板在点云中的四个角点，从而可以知道面板在点云中的高度。由于点云中每个点都与可见光图像中相应像素点有对应关系，因此可以基于图像识别算法确定太阳能面板的四个边角点，从而获得点云中该太阳能面板对应的四个点。
在计算每个点的法向量时，根据物体的宽度或高度设定的语义半径能够覆盖整个物体，同时又不会将其他物体的点包含进去。例如，在图2所示的太阳能面板的应用场景中，可以根据太阳能面板的高度设置语义半径，如图3所示，该语义半径能够覆盖整个太阳能面板，同时不会将地面的点包含进去。
由于太阳能面板上每个点的法向量基本上是朝着同一个方向，通过对法向量进行聚类，从而区分太阳能面板的点和其他物体的点，实现对点云数据的分类。
在一些实施例中，根据图形分割算法对可见光图像进行分割处理，获得分割结果；根据点对应的可见光图像像素点所属的分割结果对每个点进行分类，获得每个点云数据的分类结果。
在获得点云数据时，可以同步采集RGB图像或灰度图像，获知点云数据中的点与RGB图像或灰度图像中像素点的对应关系，如图4-5所示，通过图像分割算法(基于阈值的分割方法、基于区域的分割方法、基于边缘的分割方法、基于特定理论的分割方法、基于基因编码的分割方法、基于小波变换的分割方法、基于神经网络的分割方法等分割方法)对RGB图像或灰度图像中的像素点进行分类，由此可以对点云数据中的点进行分类。
在一些实施例中，根据传感器扫描路径的路径变化，将传感器扫描路径划分为多个子路径；根据所述点对应的传感器扫描路径，获得每个点云数据中每个点所属的子路径，根据每个点所属的子路径对每个点进行分类。
在划分子路径时，可以根据扫描路径的变化角度，将变化角度大于角度阈值的路径划分成两个子路径。如图6所示，在获取点云数据时，传感器的扫描路径被记录下来或者利用SLAM算法估计出来，根据传感器扫描路径的变化，可以将该扫描路径分成三段。三个子路径可以表示为ray1，ray2和ray3，ray1和ray2之间的夹角大小通过余弦相似度
Figure BDA0002007456890000071
表示，当Dcos小于阈值时，可以将两个子路径分开，点云数据中相应的点则根据所属子路径进行分类，ray2和ray3之间的子路径划分与此同理；其中Dcos是子路径ray1，ray2之间夹角的余弦相似度，tray1与tray2分别是子路径ray1，ray2对应的向量。
在一些实施例中，还可以先利用传感器扫描路径对点云数据进行第一次分类，然后结合语义半径或结合可见光图像对第一次分类结果进行第二次分类，将第二次分类的结果作为最终的分类结果。
具体的，在根据每个点所属的子路径对每个点进行分类之后，还根据点的三维坐标获得语义半径，根据语义半径分别计算两个点云数据中每个点的法向量，根据法向量的方向对初步分类结果中每个点进行分类，获得每个点云数据的分类结果。
或者，在根据每个点所属的子路径对每个点进行分类之后，还根据图形分割算法对可见光图像进行分割处理，获得分割结果，根据点对应的可见光图像像素点所属的分割结果对初步分类结果中每个点进行分类，获得每个点云数据的分类结果；其中，初步分类结果为根据每个点所属的子路径对每个点进行分类所获得的分类结果。
在获得每个点云数据的分类结果之后，继续执行步骤S130，即根据两个点云数据的分类结果，获得两个点云数据之间的姿态对齐结果。
在一些实施例中，通过下述方法获得两个点云数据之间的姿态对齐结果：首先根据每个点云数据的点集合构建每个点云数据对应的空间图形，所述空间图形中每个点集合对应一个图形，相应点集合中的特征点之间形成连线；然后根据图形匹配算法对两个点云数据对应的空间图形进行匹配，获得变换矩阵，利用变换矩阵获得所述两个点云数据之间的姿态对齐结果。
本发明实施例在获得每个点云数据的分类结果之后，先对两个点云数据进行粗匹配，使得两个点云数据中大部分点基本对齐。由于本实施例中每个点的三维坐标是已知的，因此可以获得每个点云数据对应的空间图形。如图7所示，不同的形状代表不同类别的点集合，不同类别的点集合之间的关系以线表示。在每个点云数据对应的空间图形中，每个点集合对应的图形一般为相应物理的轮廓，图7中示例性示出的特征点为每个点集合对应图形的中心点，所述特征点还可以是点云数据中处于同一平面上的点或处于同一直线上的点，或对应于传感器的点等特征点。
在获得姿态对齐结果之后，继续执行步骤S140，即在姿态对齐结果的基础上，根据点集合内的点对所述两个点云数据中相对应的点集合进行匹配。
在一些实施例中，在根据点集合内的点述两个点云数据中相对应的点集合进行匹配时，还可以根据目标对象去除所述两个点云数据的分类结果中非目标对象的点集合，获得目标对象的分类结果；在所述姿态对齐结果的基础上，根据点集合内的点对所述两个点云数据中目标对象的点集合进行匹配。
在进行重定位时，由于两个点云数据的获取时间和环境都不相同，会出现噪声点，例如属于其他无关的物体的点，可以通过利用步骤S120获得的分类结果，可以将无用点去除。如图7所示，点云2中有两个类别的点集合与点云1无关，此时将相关的无用点集合去除。另外，在进行物体重定位时，根据目标物体的类别，可以继续去除其他无关点。如图7所示，假如目标物体所处类别以三角形表示，那其他类别的点，如属于矩形、椭圆形的点则均应去除。
本发明还提供一种点云匹配装置。
图8为本发明实施例示出的点云匹配装置的结构框图，如图8所示，本实施的装置包括：
数据获取单元，用于获取相同场景的不同时段的两个点云数据，所述点云数据包括点的三维坐标、点对应的传感器扫描路径和点对应的可见光图像像素点；
点分类单元，用于根据所述点的三维坐标、点对应的传感器扫描路径和点对应的可见光图像像素点，对所述两个点云数据进行分类，获得每个点云数据的分类结果，每个分类结果对应一个点集合；
粗匹配单元，用于根据所述两个点云数据的分类结果，获得所述两个点云数据之间的姿态对齐结果；
细匹配单元，用于在所述姿态对齐结果的基础上，根据点集合内的点对所述两个点云数据中相对应的点集合进行匹配。
针对在不同时间甚至是不同季节中获取的点云数据，其环境的纹理和颜色变化较大，无法利用视觉信进行重新定位，以及对于包括重复物体较多的场景中，若只利用点云匹配容易造成定位的错位等问题，本实施例通过结合图像、点云信息，对点云数据中的点进行分类，基于分类结果进行两次匹配，基于匹配处理后的点云数据进行重定位，提高重定位的准确度。
在一些实施例中，点分类单元用于根据所述点的三维坐标，获得语义半径，所述语义半径为物体的宽度或高度；根据所述语义半径分别计算所述两个点云数据中每个点的法向量，根据所述法向量的方向对每个点进行分类，获得每个点云数据的分类结果；或者，点分类单元用于根据图形分割算法对所述可见光图像进行分割处理，获得分割结果；根据点对应的可见光图像像素点所属的分割结果对每个点进行分类，获得每个点云数据的分类结果；或者，点分类单元用于根据传感器扫描路径的路径变化，将所述传感器扫描路径划分为多个子路径；根据所述点对应的传感器扫描路径，获得每个点云数据中每个点所属的子路径，根据每个点所属的子路径对每个点进行分类。
结合本实施例中，点分类单元还用于根据所述点的三维坐标，获得语义半径，所述语义半径为物体的宽度或高度；根据所述语义半径分别计算所述两个点云数据中每个点的法向量，根据所述法向量的方向对初步分类结果中每个点进行分类，获得每个点云数据的分类结果；或者，根据图形分割算法对所述可见光图像进行分割处理，获得分割结果；根据点对应的可见光图像像素点所属的分割结果对所述初步分类结果中每个点进行分类，获得每个点云数据的分类结果；其中，所述初步分类结果为根据每个点所属的子路径对每个点进行分类所获得的分类结果。
在一些实施例中，粗匹配单元，用于根据每个点云数据的点集合构建每个点云数据对应的空间图形，所述空间图形中每个点集合对应一个图形，相应点集合中的特征点之间形成连线；根据图形匹配算法对两个点云数据对应的空间图形进行匹配，获得变换矩阵，利用所述变换矩阵获得所述两个点云数据之间的姿态对齐结果
在一些实施例中，细匹配单元，用于根据目标对象去除所述两个点云数据的分类结果中非目标对象的点集合，获得目标对象的分类结果；在所述姿态对齐结果的基础上，根据点集合内的点对所述两个点云数据中目标对象的点集合进行匹配。
对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
本发明还提供了一种重定位系统。
图9为本发明实施例示出的重定位系统的结构示意图，如图9所示，在硬件层面，该重定位系统包括处理器，可选地还包括内部总线、网络接口、存储器。其中，存储器可能包含内存，例如高速随机存取存储器(Random-Access Memory，RAM)，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器等。当然，该重定位系统还可能包括其他业务所需要的硬件，如传感器模组(GPRS等传感器)和摄像头等。
处理器、网络接口和存储器可以通过内部总线相互连接，该内部总线可以是ISA(Industry Standard Architecture，工业标准体系结构)总线、PCI(PeripheralComponent Interconnect，外设部件互连标准)总线或EISA(Extended Industry StandardArchitecture，扩展工业标准结构)总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图9中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。
存储器，用于存放程序。具体地，程序可以包括程序代码，所述程序代码包括计算机可执行指令。存储器可以包括内存和非易失性存储器，并向处理器提供指令和数据。
处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行，在逻辑层面上形成点云匹配装置。处理器，执行存储器所存放的程序实现如上文描述的点云匹配方法。
上述如本说明书图9所示实施例揭示的点云匹配装置执行的方法可以应用于处理器中，或者由处理器实现。处理器可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上文描述的点云匹配方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器，包括中央处理器(CentralProcessing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific IntegratedCircuit，ASIC)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本说明书实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本说明书实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。
本发明还提供了一种计算机可读存储介质。
该计算机可读存储介质存储一个或多个计算机程序，该一个或多个计算机程序包括指令，该指令当被投影仪的处理器执行时，能够实现上文描述的点云匹配方法。
为了便于清楚描述本发明实施例的技术方案，在发明的实施例中，采用了“第一”、“第二”等字样对功能和作用基本相同的相同项或相似项进行区分，本领域技术人员可以理解“第一”、“第二”等字样并不对数量和执行次序进行限定。
以上所述，仅为本发明的具体实施方式，在本发明的上述教导下，本领域技术人员可以在上述实施例的基础上进行其他的改进或变形。本领域技术人员应该明白，上述的具体描述只是更好的解释本发明的目的，本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种点云匹配方法，其特征在于，包括：
获取相同场景的不同时段的两个点云数据，所述点云数据包括点的三维坐标、点对应的传感器扫描路径和点对应的可见光图像像素点；
根据所述点的三维坐标、点对应的传感器扫描路径和点对应的可见光图像像素点，对所述两个点云数据进行分类，获得每个点云数据的分类结果，每个分类结果对应一个点集合；
根据所述两个点云数据的分类结果，获得所述两个点云数据之间的姿态对齐结果；
在所述姿态对齐结果的基础上，根据点集合内的点对所述两个点云数据中相对应的点集合进行匹配。
2.根据权利要求1所述的方法，其特征在于，所述根据所述点的三维坐标、点对应的传感器扫描路径和点对应的可见光图像像素点，对所述两个点云数据进行分类，包括：
根据所述点的三维坐标，获得语义半径，所述语义半径为物体的宽度或高度；
根据所述语义半径分别计算所述两个点云数据中每个点的法向量，根据所述法向量的方向对每个点进行分类，获得每个点云数据的分类结果。
3.根据权利要求1所述的方法，其特征在于，所述根据所述点的三维坐标、点对应的传感器扫描路径和点对应的可见光图像像素点，对所述两个点云数据进行分类，包括：
根据图形分割算法对所述可见光图像进行分割处理，获得分割结果；
根据点对应的可见光图像像素点所属的分割结果对每个点进行分类，获得每个点云数据的分类结果。
4.根据权利要求1所述的方法，其特征在于，所述根据所述点的三维坐标、点对应的传感器扫描路径和点对应的可见光图像像素点，对所述两个点云数据进行分类，包括：
根据传感器扫描路径的路径变化，将所述传感器扫描路径划分为多个子路径；
根据所述点对应的传感器扫描路径，获得每个点云数据中每个点所属的子路径，根据每个点所属的子路径对每个点进行分类。
5.根据权利要求4所述的方法，其特征在于，所述根据每个点所属的子路径对每个点进行分类，包括：
根据所述点的三维坐标，获得语义半径，所述语义半径为物体的宽度或高度；根据所述语义半径分别计算所述两个点云数据中每个点的法向量，根据所述法向量的方向对初步分类结果中每个点进行分类，获得每个点云数据的分类结果；
或者，根据图形分割算法对所述可见光图像进行分割处理，获得分割结果；根据点对应的可见光图像像素点所属的分割结果对所述初步分类结果中每个点进行分类，获得每个点云数据的分类结果；
其中，所述初步分类结果为根据每个点所属的子路径对每个点进行分类所获得的分类结果。
6.根据权利要求1所述的方法，其特征在于，所述根据所述两个点云数据的分类结果，获得所述两个点云数据之间的姿态对齐结果，包括：
根据每个点云数据的点集合构建每个点云数据对应的空间图形，所述空间图形中每个点集合对应一个图形，相应点集合中的特征点之间形成连线；
根据图形匹配算法对两个点云数据对应的空间图形进行匹配，获得变换矩阵，利用所述变换矩阵获得所述两个点云数据之间的姿态对齐结果。
7.根据权利要求1所述的方法，其特征在于，所述在所述姿态对齐结果的基础上，根据点集合内的点对所述两个点云数据中相对应的点集合进行匹配，包括：
根据目标对象去除所述两个点云数据的分类结果中非目标对象的点集合，获得目标对象的分类结果；
在所述姿态对齐结果的基础上，根据点集合内的点对所述两个点云数据中目标对象的点集合进行匹配。
8.一种点云匹配装置，其特征在于，
数据获取单元，用于获取相同场景的不同时段的两个点云数据，所述点云数据包括点的三维坐标、点对应的传感器扫描路径和点对应的可见光图像像素点；
点分类单元，用于根据所述点的三维坐标、点对应的传感器扫描路径和点对应的可见光图像像素点，对所述两个点云数据进行分类，获得每个点云数据的分类结果，每个分类结果对应一个点集合；
粗匹配单元，用于根据所述两个点云数据的分类结果，获得所述两个点云数据之间的姿态对齐结果；
细匹配单元，用于在所述姿态对齐结果的基础上，根据点集合内的点对所述两个点云数据中相对应的点集合进行匹配。
9.一种重定位系统，其特征在于，包括：
存储器，存储计算机可执行指令；
处理器，所述计算机可执行指令在被执行时使所述处理器执行如权利要求1-7任一项所述的方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有一个或多个计算机程序，所述一个或多个计算机程序被重定位系统的处理器执行时实现如权利要求1-7任一项所述的方法。
CN201910233589.2A 2019-03-26 2019-03-26 一种点云匹配方法、装置和重定位系统 Pending CN111753858A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910233589.2A CN111753858A (zh) 2019-03-26 2019-03-26 一种点云匹配方法、装置和重定位系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910233589.2A CN111753858A (zh) 2019-03-26 2019-03-26 一种点云匹配方法、装置和重定位系统

Publications (1)

Publication Number Publication Date
CN111753858A true CN111753858A (zh) 2020-10-09

Family

ID=72671889

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910233589.2A Pending CN111753858A (zh) 2019-03-26 2019-03-26 一种点云匹配方法、装置和重定位系统

Country Status (1)

Country Link
CN (1) CN111753858A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112419504A (zh) * 2020-11-23 2021-02-26 国网福建省电力有限公司 配电网设备倾斜摄影三维模型的单体化方法及存储介质
CN112710318A (zh) * 2020-12-14 2021-04-27 深圳市商汤科技有限公司 地图生成方法、路径规划方法、电子设备以及存储介质
CN113759346A (zh) * 2020-10-10 2021-12-07 北京京东乾石科技有限公司 一种激光雷达标定方法、装置、电子设备及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090232388A1 (en) * 2008-03-12 2009-09-17 Harris Corporation Registration of 3d point cloud data by creation of filtered density images
US20130016913A1 (en) * 2011-07-11 2013-01-17 Kabushiki Kaisha Toshiba Image processing method and system
US20170046840A1 (en) * 2015-08-11 2017-02-16 Nokia Technologies Oy Non-Rigid Registration for Large-Scale Space-Time 3D Point Cloud Alignment
CN106530297A (zh) * 2016-11-11 2017-03-22 北京睿思奥图智能科技有限公司 基于点云配准的物体抓取区域定位方法
US20170161945A1 (en) * 2015-12-04 2017-06-08 Autodesk, Inc. Keypoint-based point-pair-feature for scalable automatic global registration of large rgb-d scans
US20180018787A1 (en) * 2016-07-18 2018-01-18 King Abdullah University Of Science And Technology System and method for three-dimensional image reconstruction using an absolute orientation sensor
CN109087274A (zh) * 2018-08-10 2018-12-25 哈尔滨工业大学 基于多维融合及语义分割的电子器件缺陷检测方法及装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090232388A1 (en) * 2008-03-12 2009-09-17 Harris Corporation Registration of 3d point cloud data by creation of filtered density images
US20130016913A1 (en) * 2011-07-11 2013-01-17 Kabushiki Kaisha Toshiba Image processing method and system
US20170046840A1 (en) * 2015-08-11 2017-02-16 Nokia Technologies Oy Non-Rigid Registration for Large-Scale Space-Time 3D Point Cloud Alignment
US20170161945A1 (en) * 2015-12-04 2017-06-08 Autodesk, Inc. Keypoint-based point-pair-feature for scalable automatic global registration of large rgb-d scans
US20180018787A1 (en) * 2016-07-18 2018-01-18 King Abdullah University Of Science And Technology System and method for three-dimensional image reconstruction using an absolute orientation sensor
CN106530297A (zh) * 2016-11-11 2017-03-22 北京睿思奥图智能科技有限公司 基于点云配准的物体抓取区域定位方法
CN109087274A (zh) * 2018-08-10 2018-12-25 哈尔滨工业大学 基于多维融合及语义分割的电子器件缺陷检测方法及装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
DAISEY_TANG: "点云概念与点云处理", 《HTTP://T.CSDNIMG.CN/K2YWI》 *
徐国政;李威;朱博;高翔;宋爱国;: "面向机器人轮椅交互控制的头姿估计改进方法", 仪器仪表学报, no. 09 *
蒋荣华;: "地面三维激光扫描点云配准研究综述", 科技创新与生产力, no. 12 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113759346A (zh) * 2020-10-10 2021-12-07 北京京东乾石科技有限公司 一种激光雷达标定方法、装置、电子设备及存储介质
CN112419504A (zh) * 2020-11-23 2021-02-26 国网福建省电力有限公司 配电网设备倾斜摄影三维模型的单体化方法及存储介质
CN112710318A (zh) * 2020-12-14 2021-04-27 深圳市商汤科技有限公司 地图生成方法、路径规划方法、电子设备以及存储介质
CN112710318B (zh) * 2020-12-14 2024-05-17 深圳市商汤科技有限公司 地图生成方法、路径规划方法、电子设备以及存储介质

Similar Documents

Publication Publication Date Title
US11727661B2 (en) Method and system for determining at least one property related to at least part of a real environment
CN111328396B (zh) 用于图像中的对象的姿态估计和模型检索
CN108898086B (zh) 视频图像处理方法及装置、计算机可读介质和电子设备
Shin et al. Vision-based navigation of an unmanned surface vehicle with object detection and tracking abilities
KR101595537B1 (ko) 국부화된 세그먼트화 이미지들의 네트워크 캡처 및 ３ｄ 디스플레이
CN109960742B (zh) 局部信息的搜索方法及装置
WO2022170844A1 (zh) 一种视频标注方法、装置、设备及计算机可读存储介质
US20170018106A1 (en) Method and device for processing a picture
CN111753858A (zh) 一种点云匹配方法、装置和重定位系统
Li et al. High-level visual features for underwater place recognition
KR20210074163A (ko) 공동 검출 및 기술 시스템 및 방법
Schaeferling et al. Object recognition and pose estimation on embedded hardware: SURF‐based system designs accelerated by FPGA logic
Żak et al. Local image features matching for real-time seabed tracking applications
Wang et al. Pedestrian detection based on YOLOv3 multimodal data fusion
Zhang et al. Target tracking for mobile robot platforms via object matching and background anti-matching
Hwang et al. Optimized clustering scheme-based robust vanishing point detection
Ge et al. Detection and localization strategy based on YOLO for robot sorting under complex lighting conditions
Hua et al. Onboard monocular pedestrian detection by combining spatio-temporal hog with structure from motion algorithm
Chen et al. Integrated vehicle and lane detection with distance estimation
CN114897987A (zh) 一种确定车辆地面投影的方法、装置、设备及介质
Lu New efficient vanishing point detection from a single road image based on intrinsic line orientation and color texture properties
Yu et al. Robust rear-view ground surface detection with hidden state conditional random field and confidence propagation
CN113255405B (zh) 车位线识别方法及其系统、车位线识别设备、存储介质
Ziomek et al. Evaluation of interest point detectors in presence of noise
US9477890B2 (en) Object detection using limited learned attribute ranges

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination