CN112596063B - 点云描述子构建方法及装置，闭环检测方法及装置 - Google Patents

点云描述子构建方法及装置，闭环检测方法及装置 Download PDF

Info

Publication number
CN112596063B
CN112596063B CN202011367401.2A CN202011367401A CN112596063B CN 112596063 B CN112596063 B CN 112596063B CN 202011367401 A CN202011367401 A CN 202011367401A CN 112596063 B CN112596063 B CN 112596063B
Authority
CN
China
Prior art keywords
point cloud
line segment
closed loop
descriptor
loop detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011367401.2A
Other languages
English (en)
Other versions
CN112596063A (zh
Inventor
贺一家
刘骁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Megvii Technology Co Ltd
Original Assignee
Beijing Megvii Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Megvii Technology Co Ltd filed Critical Beijing Megvii Technology Co Ltd
Priority to CN202011367401.2A priority Critical patent/CN112596063B/zh
Publication of CN112596063A publication Critical patent/CN112596063A/zh
Application granted granted Critical
Publication of CN112596063B publication Critical patent/CN112596063B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/005—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 with correlation of navigation data from several sources, e.g. map or contour matching
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/933—Lidar systems specially adapted for specific applications for anti-collision purposes of aircraft or spacecraft
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4802—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供一种点云描述子构建方法及装置，闭环检测方法及装置，电子设备及存储介质，应用于空间定位，该点云描述子构建方法包括：获取一点云，所述点云为通过激光探测器所采集的点云数据；从点云中提取多个线段，多个线段中两两组成线段对；确定每一线段对的几何不变特征；根据几何不变特征，构建点云描述子。本申请通过从激光点云提取线段对，确定线段对的几何不变特征，并基于几何不变特征构建点云描述子，使得点云描述子具备旋转不变性，从而改善目前基于特征点构建点云描述子，导致闭环检测算法无法稳定工作的问题。

Description

点云描述子构建方法及装置，闭环检测方法及装置
技术领域
本申请涉及导航设备定位技术领域，具体而言，涉及一种点云描述子构建方法及装置，闭环检测方法及装置，电子设备及存储介质。
背景技术
目前，导航设备(例如，移动机器人，飞行器等)利用单线激光在环境中进行航迹推演时，由于存在累积误差，使得所推演的运动轨迹不准确。现有技术中，可以通过采用闭环检测(LoopClosure)技术来识别导航设备运动过程中的历史场景，从而消除累积误差。因此，闭环检测对于导航设备的地图构建和定位较为重要。
通常，由于视觉传感器的图像信息比单线激光所得到的点云数据更加丰富，可以利用图像检索(以图搜图)技术识别历史场景。但是这种方式需要在导航设备上额外配备一个视觉传感器，将使得系统的复杂度和计算量增加，因此如何利用单线激光进行闭环检测完成导航设备在场景中的重定位是个值得研究的问题。2014年MarianHimstedt等人(论文：Largescaleplacerecognitionin2Dlidarscansusinggeometricallandmarkrelations)提出了利用单线激光中的多对特征点来构建描述子以完成闭环检测的算法，但是该算法对旋转变换不具备不变性，当导航设备产生旋转变化时该算法将无法准确进行闭环检测。2016年FabjanKallasi等人(论文EfficientLoopClosurebasedonFALKOLIDARFeaturesforOnlineRobotLocalizationandMapping)对上述算法进行了改进，加入了对旋转角度的遍历来解决旋转变化导致的描述子变化的问题，由于遍历过程中将角度进行离散化，因此该算法存在离散化带来的误差导致检测算法不稳定的问题。另外，这些算法都依赖激光中的特征点，而特征点的检测也存在不稳定的情况，环境中的动态物体可能导致激光中的特征点急剧变化，从而使得闭环检测算法无法稳定工作，进而使得基于闭环检测识别导航设备运动过程中的历史场景时，识别结果不准确。
发明内容
本申请实施例的目的在于提供一种点云描述子构建方法，点云描述子构建装置，闭环检测方法，闭环检测装置，电子设备及存储介质，用以改善现有技术中基于特征点构建点云描述子，使得闭环检测算法无法稳定工作，进而使得基于闭环检测识别导航设备运动过程中的历史场景时，识别结果不准确的问题。
本申请提供一种点云描述子构建方法，应用于空间定位，包括：获取一点云，所述点云为通过激光探测器所采集的点云数据；从所述点云中提取多个线段，所述多个线段中两两组成线段对；确定每一所述线段对的几何不变特征；根据所述几何不变特征，构建点云描述子。
本申请中，通过从激光探测器所采集的点云提取的线段对，确定线段对的几何不变特征，并基于几何不变特征构建点云描述子，使得所构建的点云描述子只与环境机构相关，而与导航设备的姿态无关，从而具备旋转不变性，进而改善现有技术中基于特征点构建点云描述子，使得闭环检测算法无法稳定工作，进而使得基于闭环检测识别导航设备运动过程中的历史场景时，识别结果不准确的问题。
一实施例中，所述确定每一所述线段对的几何不变特征，包括：根据每一所述线段对中各线段的端点信息及方向信息确定相应线段对的几何不变特征。
一实施例中，所述根据每一所述线段对中各线段的端点信息及方向信息确定相应线段对的几何不变特征，包括：在确定所述线段对中一线段的一端点与所述另一线段的一端点之间的连线的距离大于预设值时，将所述连线的距离及所述线段对中两线段的方向向量各自与所述连线的夹角作为所述线段对的一组几何不变特征。
一实施例中，每一所述线段对至多包括4组几何不变特征。
一实施例中，所述根据所述几何不变特征，构建点云描述子，包括：构建初始三维直方图；遍历所述点云的所有线段对及对应的几何不变特征，计算每一个所述几何不变特征在所述初始三维直方图中的索引位置，并在所述初始三维直方图的相应索引位置累加1，直至完成所述点云的所有线段对对应的几何不变特征在所述初始三维直方图中的累加，得到所述点云描述子。
一实施例中，所述几何不变特征包括连线距离，第一夹角及第二夹角，所述连线距离为所述线段对中一线段的端点与另一线段的端点之间的连线的距离，所述第一夹角为所述线段对中一线段的方向向量与所述连线的夹角，所述第二夹角为所述线段对中另一线段的方向向量与所述连线的夹角。
本申请还提供一种闭环检测方法，包括：获取当前点云与待匹配点云各自的点云描述子，所述点云描述子通过基于相应点云所提取的线段对的几何不变特征构建，所述当前点云为当前通过激光探测器所采集的点云数据，所述待匹配点云为通过所述激光探测器所采集的历史点云数据；根据所述当前点云的点云描述子与所述待匹配点云的点云描述子进行闭环检测。
本申请中，由于从激光探测器所采集的点云提取的线段对通常出现在环境中的墙壁，柱子等建筑结构上，因此，当建筑环境不变化时，从激光探测器所采集的点云提取的线段对所描述的环境结构相比于点特征而言更加稳定。因此，相比于点特征的闭环检测算法，基于从点云中提取的线段对的几何不变特征构建的点云描述子的激光闭环检测算法更加准确、鲁棒性更好。
一实施例中，所述根据所述当前点云的点云描述子与所述待匹配点云的点云描述子进行闭环检测，包括：基于预设的相似度评估函数，计算所述当前点云的点云描述子与所述待匹配点云的点云描述子之间的相似度损失值；将所述相似度损失值最小的待匹配点云作为闭环检测结果。
一实施例中，所述预设的相似度评估函数为L1损失函数。
一实施例中，在将所述相似度损失值最小的待匹配点云作为闭环检测结果之后，所述方法还包括：基于所述闭环检测结果确定闭环检测成功与否。
一实施例中，所述基于所述闭环检测结果确定闭环检测成功与否，包括：对所述闭环检测结果对应的相似度损失值与预设阈值进行比较，在确定所述闭环检测结果对应的相似度损失值小于所述预设阈值时，确定闭环检测成功，否则确定闭环检测失败。
一实施例中，所述获取当前点云与待匹配点云各自的点云描述子，包括：从预设存储位置获取所述待匹配点云的点云描述子；从所述当前点云中提取多个线段，所述多个线段中两两组成线段对；确定每一所述线段对的几何不变特征；根据所述几何不变特征，构建所述当前点云的点云描述子。
一实施例中，所述确定每一所述线段对的几何不变特征，包括：根据每一所述线段对中各线段的端点信息及方向信息确定相应线段对的几何不变特征。
一实施例中，所述根据每一所述线段对中各线段的端点信息及方向信息确定相应线段对的几何不变特征，包括：在确定所述线段对中一线段的一端点与所述另一线段的一端点之间的连线的距离大于预设值时，将所述连线的距离及所述线段对中两线段的方向向量各自与所述连线的夹角作为所述线段对的一组几何不变特征。
一实施例中，每一所述线段对至多包括4组几何不变特征。
一实施例中，所述根据所述几何不变特征，构建所述当前点云的点云描述子，包括：构建初始三维直方图；遍历所述当前点云所有线段对及对应的几何不变特征，计算每一所述几何不变特征在所述初始三维直方图中的索引位置，并在所述初始三维直方图的相应索引位置累加1，直至完成所述当前点云的所有线段对对应的几何不变特征在所述初始三维直方图中的累加，得到所述的当前点云的点云描述子。
一实施例中，所述几何不变特征包括连线距离，第一夹角及第二夹角，所述连线距离为所述线段对中一线段的端点与另一线段的端点之间的连线的距离，所述第一夹角为所述线段对中一线段的方向向量与所述连线的夹角，所述第二夹角为所述线段对中另一线段的方向向量与所述连线的夹角。
本申请还提供一种点云描述子构建装置，包括：获取模块，用于获取一点云，所述点云为通过激光探测器所采集的点云数据；提取模块，用于从所述点云中提取多个线段，所述多个线段中两两组成线段对；确定模块，用于确定每一所述线段对的几何不变特征，所述几何不变特征包括连线距离，第一夹角及第二夹角，所述连线距离为所述线段对中一线段的端点与另一线段的端点之间的连线的距离，所述第一夹角为所述线段对中一线段的方向向量与所述连线的夹角，所述第二夹角为所述线段对中另一线段的方向向量与所述连线的夹角；构建模块，用于根据所述几何不变特征，构建点云描述子。
本申请还提供一种闭环检测装置，包括：获取模块，用于获取当前点云与待匹配点云的点云描述子，所述点云描述子通过基于相应点云所提取的线段对的几何不变特征构建，所述当前点云为当前通过激光探测器所采集的点运数据，所述待匹配点云为通过所述激光探测器所采集的历史点云数据；检测模块，用于根据所述当前点云的点云描述子与所述待匹配点云的点云描述子进行闭环检测。
本申请还提供一种电子设备，包括存储器和处理器，所述存储器中存储有计算机可读指令，所述计算机可读指令被所述处理器执行时，使得所述处理器执行前述点云描述子构建方法，或前述闭环检测方法，或实现前述点云描述子构建装置的功能，或实现前述闭环检测装置的功能。
本申请还提供一种存储有计算机可读指令的非易失性可读存储介质，所述计算机可读指令被处理器执行时，使得所述处理器执行前述点云描述子构建方法，或前述闭环检测方法，或实现前述点云描述子构建装置的功能，或实现前述闭环检测装置的功能。
本申请的一个或多个实施例的细节在下面的附图和描述中提出。本申请的其它特征、目的和优点将从说明书、附图以及权利要求书变得明显。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本申请一实施例提供的点云描述子构建方法的流程图。
图2为本申请一实施例提供的点云的示意图。
图3为本申请一实施例提供的闭环检测方法的流程图。
图4为本申请一实施例提供的点云描述子构建装置的结构框图。
图5为本申请一实施例提供的闭环检测装置的结构框图。
图6为本申请一实施例提供的电子设备的结构框图。
图标：点云描述子构建装置-10；闭环检测装置-20；获取模块-11，21；提取模块-12；确定模块-13；构建模块-14；检测模块-22。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
请参阅图1，本申请一实施例提供的一种点云描述子构建方法。该方法应用于空间定位，具体地，用于对导航设备(例如，机器人，飞行器等)在进行地图构建或定位时，通过单线激光所采集到的点云数据的点云描述子进行构建。本实施例中，该方法可以包括以下步骤。
步骤S11，获取一点云，点云为通过激光探测器所采集的点云数据。
可以理解，导航设备在进行地图构建或定位时，通常会利用安装于其上的激光探测器(例如，单线激光探测器)发射激光，以便进行探测。由于在进行地图构建或定位时，通常是对一空间范围内的情况进行探测，而非只是对一空间位置点的情况进行探测，因此，激光探测器通常可以通过调节激光的出射角度(例如，通过周期性地旋转激光探测器)，以实现对某一空间范围内的情况进行探测。激光探测器所发出的激光照射在物体上，部分激光反射。照射在物体不同位置上的激光反射后，激光探测器可以采集反射的激光，并基于反射的激光生成表征激光点(即，激光照射在物体上的位置)的位置信息，即，点云数据。
一实施例中，点云可以是激光探测器单个探测周期(通常为20ms～50ms)所采集到的点云数据；或者，是有激光探测器多个探测周期所采集到的点云数据的融合数据。如图2所示，点云由若干个平面内的2维离散点组成。x表示二维离散点在当前时刻的导航设备坐标系o中的横坐标，y表示二维离散点在当前时刻的导航设备坐标系o中的纵坐标。/>表示二维离散点的表达式P中包括2个实数变量，即x与y。
步骤S12，从点云中提取多个线段，多个线段中线段两两组成线段对。
本实施例中，可以利用预设的直线提取算法(例如，最小二乘法)从点云中提取多个线段Li＝{ni，si，ei}，i＝1...n，其中n表示线段所在直线的法向量，s，e表示线段的两个端点。每一线段Li的方向向量为多个线段中线段两两组成线段对(Li，Lj)，其中，i≠j。
步骤S13，确定每一线段对的几何不变特征。
本实施例中，每一线段对的几何不变特征包括连线距离，第一夹角及第二夹角，连线距离为线段对中一线段的端点与另一线段的端点之间的连线的距离，第一夹角为线段对中一线段的方向向量与连线的夹角，第二夹角为线段对中另一线段的方向向量与连线的夹角。
本实施例中，可以根据每一线段对中各线段的端点信息及方向信息确定相应线段对的几何不变特征。
本实施例中，可以通过如下方式根据每一线段对中各线段的端点信息及方向信息确定相应线段对的几何不变特征。
具体地，在确定线段对中一线段的一端点与另一线段的一端点之间的连线的距离大于预设值时，将连线的距离及线段对中两线段的方向向量各自与连线的夹角作为线段对的一组几何不变特征。
例如，在确定线段对(Li，Lj)中，线段Li的一端点Pi与另一线段Lj的一端点Pj之间的连线的距离大于预设值σ，即，d＞σ时，将连线的距离d及线段对(Li，Lj)中两线段的方向向量(vi，vj)各自与连线的夹角(αi，αj)作为线段对的一组几何不变特征F，其中，F＝{αi，αj，d}。
在图2所示的示例中，以线段对(L1，L2)为例，线段L1包括端点s1，e1，线段L2包括端点s2，e2。令p1＝s1，p2＝e2，端点s1与端点e2之间的连线表示为s1e2。线段L1的方向向量与连线s1e2之间的夹角表示为α1。线段L2的方向向量/>与连线s1e2之间的夹角表示为α2。两端点s1，e2之间的距离表示为/>在确定d＞σ时，其中，σ为预设值，则，线段对(L1，L2)包括一组几何不变特征F＝{α1，α1，d}。
以此类推，确定线段L1与线段L2的其他几何不变特征。
可以理解，由于线段包括两个端点，则线段对中一线段的一端点与另一线段的一端点之间的连线总共有4条，因此，每一线段对至多包括4组几何不变特征。
可以理解，由于线段对的几何不变特征只和线段对中各线段在环境中的位置相关，其描述的是环境内线段所在直线相互之间的固有几何关系，和导航设备的观测姿态无关，因此，几何不变特征具备旋转和平移的不变性。另外，由于几何不变特征的确定仅涉及到线段对中各线段的端点信息及线段的方向信息，因此，即使线段对中各线段被部分遮挡，只要端点可被导航设备基于点云提取到，便可以用于确定几何不变特征，也即，线段对的几何不变特征对遮挡和动态环境具备较好的鲁棒性。
步骤S14，根据几何不变特征，构建点云描述子。
本实施例中，根据几何不变特征构建点云描述子可以通过如下方式进行。
首先，构建初始三维直方图。
本实施例中，初始三维直方图由nθ1×nθ2×nD个长方体组成，每个小长方体的边长为Δθ1×Δθ2×ΔD。其中，nθ1＝θ1/Δθ1，nθ2＝θ2/Δθ2，nD＝d/Δd，θ1与αi对应，θ2与αj对应，D与d对应，且θ1，θ2，D，Δθ1，Δθ2，ΔD的值可根据需要预先设置。
然后，遍历点云的所有线段对及对应的几何不变特征，计算每一个几何不变特征在初始三维直方图中的索引位置，并在初始三维直方图的相应索引位置累加1，直至完成点云的所有线段对对应的几何不变特征在初始三维直方图中的累加。其中，几何不变特征在初始三维直方图中的索引位置表示为(x，y，z)，x＝αi/Δθ1，y＝αj/Δθ2，z＝d/ΔD。
在完成所有线段对对应的几何不变特征在初始三维直方图中的累加时，所得到的三维直方图即为点云描述子。
本申请实施例中，通过从激光探测器所采集的点云提取的线段对，确定线段对的几何不变特征，并基于几何不变特征构建点云描述子，使得所构建的点云描述子只与环境机构相关，而与导航设备的姿态无关，从而具备旋转不变性，进而改善现有技术中基于特征点构建点云描述子，使得闭环检测算法无法稳定工作，进而使得基于闭环检测识别导航设备运动过程中的历史场景时，识别结果不准确的问题。
请参阅图3，基于同一发明构思，本申请一实施例还提供一种闭环检测方法。该方法应用于空间定位，具体地，用于对导航设备(例如，机器人，飞行器等)在进行地图构建或定位时，更准确地识别历史场景，进而能够使导航设备的地图构建或定位更加准确。本实施例中，该闭环检测方法可以包括以下步骤。
步骤S21，获取当前点云与待匹配点云各自的点云描述子，点云描述子通过基于相应点云所提取的线段对的几何不变特征构建。
其中，当前点云及待匹配点云均为导航设备通过激光探测器所采集的点云数据。当前点云是指导航设备当前通过激光探测器所采集的点云数据。待匹配点云可以是导航设备通过激光探测器所采集的历史点云数据。
可以理解，获取当前点云及待匹配点云的点云描述子的具体过程与前述实施例的点云描述子构建方法对应，相同及相似的部分可以参照前述点云描述子构建方法的内容，在此不在赘述。或者，待匹配点云的点云描述子可以预先存储在预设存储位置，当前点云的点云描述子为基于前述实施例的点云描述子构建方法所构建。此时，获取当前点云与待匹配点云的点云描述子可以包括从预设存储位置获取待匹配点云的点云描述子以及根据前述点云描述子构建方法构建所述当前点云的点云描述子。
步骤S22，根据当前点云的点云描述子与待匹配点云的点云描述子进行闭环检测。
可以理解，根据当前点云的点云描述子与待匹配点云的点云描述子进行闭环检测实质上是根据当前点云的点云描述子与待匹配点云的点云描述子从多个待匹配点云中筛选出与当前点云相似度最高的待匹配点云。
本实施例中，根据当前点云的点云描述子与待匹配点云的点云描述子进行闭环检测可以通过如下方式进行。
首先，基于预设的相似度评估函数，计算当前点云的点云描述子与待匹配点云的点云描述子之间的相似度损失值。
然后，将相似度损失值最小的待匹配点云作为闭环检测结果。
可以理解，预设的相似度评估函数可以是两直方图之间的L1损失函数。
本实施例中，预设的相似度评估函数为：
其中，Sc表示当前点云的点云描述子，Sr表示待匹配点云的点云描述子。
可选地，为了避免不同点云中线段的数量的不同对相似度评估函数的求解值造成影响，可以对相似度评估函数进行归一化处理，归一化处理后的相似度评估函数可以表示为：
可以理解，由于点云描述子中并非所有的索引位置均有进行累加操作，因此，为了减少计算量，在上述计算过程中可以只对当前点云的点云描述子Sc中有进行累加操作的索引位置的(x，y，z)进行取值。
可以理解，在将相似度损失值最小的待匹配点云作为闭环检测结果之后，该方法还可以包括基于闭环检测结果确定闭环检测成功与否。一实施例中，可以通过对闭环检测结果对应的相似度损失值与预设阈值进行比较来确定闭环检测成功与否。当确定闭环检测结果对应的相似度损失值小于预设阈值时，确定闭环检测成功，否则确定闭环检测失败。
需要说明的是，前述闭环检测的实现方式仅为示例，本申请的闭环检测的具体实施方式并不限于此，只要能够实现从多个待匹配点云中筛选出与当前点云相似度最高的待匹配点云即可。
本申请中，由于从激光探测器所采集的点云提取的线段对通常出现在环境中的墙壁，柱子等建筑结构上，因此，当建筑环境不变化时，从激光探测器所采集的点云提取的线段对所描述的环境结构相比于点特征而言更加稳定。因此，相比于点特征的闭环检测算法，基于从点云中提取的线段对的几何不变特征构建的点云描述子的激光闭环检测算法更加准确和鲁棒性。
请参阅图4，基于同一发明构思，本申请一实施例还提供一种点云描述子构建装置10，包括：获取模块11，用于获取一点云，点云为导航设备(例如，机器人，飞行器等)通过激光探测器所采集的点云数据；提取模块12，用于从点云中提取多个线段，多个线段中两两组成线段对；确定模块13，用于确定每一线段对的几何不变特征；构建模块14，用于根据几何不变特征，构建点云描述子。
本实施例中，每一线段对的几何不变特征包括连线距离，第一夹角及第二夹角，连线距离为线段对中一线段的端点与另一线段的端点之间的连线的距离，第一夹角为线段对中一线段的方向向量与连线的夹角，第二夹角为线段对中另一线段的方向向量与连线的夹角。
确定模块13还用于在确定线段对中一线段的一端点与另一线段的一端点之间的连线的距离大于预设值时，将连线的距离及线段对中两线段的方向向量各自与连线的夹角作为线段对的一组几何不变特征。
构建模块14还用于构建初始三维直方图；及遍历点云的所有线段对及对应的几何不变特征，计算每一几何不变特征在初始三维直方图中的索引位置，并在初始三维直方图的相应索引位置累加1，直至完成点云的所有线段对对应的几何不变特征在所述初始三维直方图中的累加，得到点云描述子。
可以理解，本申请提供的点云描述子构建装置10与本申请提供的点云描述子构建方法对应，为使说明书简洁，相同或相似部分可以参照点云描述子构建方法部分的内容，在此不再赘述。
请参阅图5，基于同一发明构思，本申请一实施例还提供一种闭环检测装置20，包括：获取模块21，用于获取当前点云与待匹配点云的点云描述子，点云描述子通过基于相应点云所提取的线段对的几何不变特征构建，所述当前点云为当前通过激光探测器所采集的点运数据，所述待匹配点云为通过所述激光探测器所采集的历史点云数据；检测模块22，用于根据当前点云的点云描述子与待匹配点云的点云描述子进行闭环检测。
检测模块22还用于基于预设的相似度评估函数，计算所述当前点云的点云描述子与所述待匹配点云的点云描述子之间的相似度损失值；及将所述相似度损失值最小的待匹配点云作为闭环检测结果。
检测模块22还用于在计算所述当前点云的点云描述子与所述待匹配点云的点云描述子之间的相似度损失值之前，基于两直方图之间的L1损失函数构建所述相似度评估函数。
检测模块22还用于在将所述相似度损失值最小的待匹配点云作为闭环检测结果之后，基于所述闭环检测结果确定闭环检测成功与否。
检测模块22还用于对所述闭环检测结果对应的相似度损失值与预设阈值进行比较，在确定所述闭环检测结果对应的相似度损失值小于所述预设阈值时，确定闭环检测成功，否则确定闭环检测失败。
可以理解，本申请提供的闭环检测装置20与本申请提供的闭环检测方法对应，为使说明书简洁，相同或相似部分可以参照闭环检测方法部分的内容，在此不再赘述。
上述点云描述子构建装置或闭环检测装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于服务器中的处理器中，也可以以软件形式存储于服务器中的存储器中，以便于处理器调用执行以上各个模块对应的操作。该处理器可以为中央处理单元(CPU)、微处理器、单片机等。
上述点云描述子构建方法和/或点云描述子构建装置和/或闭环检测方法和/或闭环检测装置可以实现为一种计算机可读指令的形式，计算机可读指令可以在如图6所示的电子设备上运行。
本申请实施例还提供的一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机可读指令，该处理器执行该程序时实现上述的点云描述子构建方法或闭环检测方法。
图6为根据本申请的一个实施例的电子设备的内部结构示意图，电子设备可以为服务器。请参阅图6，该电子设备包括通过系统总线连接的处理器、非易失性存储介质、内存储器、输入装置、显示屏和网络接口。其中，该电子设备的非易失性存储介质可存储操作系统和计算机可读指令，该计算机可读指令被执行时，可使得处理器执行本申请各实施例的一种点云描述子构建方法或闭环检测方法，该点云描述子构建方法的具体实现过程可参考图1的具体内容，该闭环检测方法的具体实现过程可参考图3的具体内容，在此不再赘述。该电子设备的处理器用于提供计算和控制能力，支撑整个电子设备的运行。该内存储器中可储存有计算机可读指令，该计算机可读指令被处理器执行时，可使得处理器执行一种广告监测方法。电子设备的输入装置用于各个参数的输入，电子设备的显示屏用于进行显示，电子设备的网络接口用于进行网络通信。本领域技术人员可以理解，图，6中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的电子设备的限定，具体的电子设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
基于同一发明构思，本申请实施例提供的一种计算机可读存储介质，其上存储有计算机可读指令，该程序被处理器执行时实现上述的点云描述子构建方法或闭环检测方法中的步骤。
如此处所使用的对存储器、存储、数据库或其它介质的任何引用可包括非易失性。合适的非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。
在本申请所提供的实施例中，应该理解到，所揭露装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
另外，作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
再者，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。
以上所述仅为本申请的实施例而已，并不用于限制本申请的保护范围，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (21)

1.一种点云描述子构建方法，其特征在于，包括：
获取一点云，所述点云为通过激光探测器所采集的点云数据；
从所述点云中提取多个线段，所述多个线段中两两组成线段对；
确定每一所述线段对的几何不变特征；
根据所述几何不变特征，构建点云描述子。
2.如权利要求1所述的方法，其特征在于，所述确定每一所述线段对的几何不变特征，包括：
根据每一所述线段对中各线段的端点信息及方向信息确定相应线段对的几何不变特征。
3.如权利要求2所述的方法，其特征在于，所述根据每一所述线段对中各线段的端点信息及方向信息确定相应线段对的几何不变特征，包括：
在确定所述线段对中一线段的一端点与另一线段的一端点之间的连线的距离大于预设值时，将所述连线的距离及所述线段对中两线段的方向向量各自与所述连线的夹角作为所述线段对的一组几何不变特征。
4.如权利要求3所述的方法，其特征在于，每一所述线段对至多包括4组几何不变特征。
5.如权利要求1所述的方法，其特征在于，所述根据所述几何不变特征，构建点云描述子，包括：
构建初始三维直方图；
遍历所述点云的所有线段对及对应的几何不变特征，计算每一个所述几何不变特征在所述初始三维直方图中的索引位置，并在所述初始三维直方图的相应索引位置累加1，直至完成所述点云的所有线段对对应的几何不变特征在所述初始三维直方图中的累加，得到所述点云描述子。
6.如权利要求1至5任一项所述的方法，其特征在于，所述几何不变特征包括连线距离，第一夹角及第二夹角，所述连线距离为所述线段对中一线段的端点与另一线段的端点之间的连线的距离，所述第一夹角为所述线段对中一线段的方向向量与所述连线的夹角，所述第二夹角为所述线段对中另一线段的方向向量与所述连线的夹角。
7.一种闭环检测方法，其特征在于，包括：
获取当前点云与待匹配点云各自的点云描述子，所述点云描述子通过基于相应点云所提取的线段对的几何不变特征构建，所述当前点云为当前通过激光探测器所采集的点云数据，所述待匹配点云为通过所述激光探测器所采集的历史点云数据；
根据所述当前点云的点云描述子与所述待匹配点云的点云描述子进行闭环检测。
8.如权利要求7所述的方法，其特征在于，所述根据所述当前点云的点云描述子与所述待匹配点云的点云描述子进行闭环检测，包括：
基于预设的相似度评估函数，计算所述当前点云的点云描述子与所述待匹配点云的点云描述子之间的相似度损失值；
将所述相似度损失值最小的待匹配点云作为闭环检测结果。
9.如权利要求8所述的方法，其特征在于，所述预设的相似度评估函数为L1损失函数。
10.如权利要求8所述的方法，其特征在于，在将所述相似度损失值最小的待匹配点云作为闭环检测结果之后，所述方法还包括：
基于所述闭环检测结果确定闭环检测成功与否。
11.如权利要求10所述的方法，其特征在于，所述基于所述闭环检测结果确定闭环检测成功与否，包括：
对所述闭环检测结果对应的相似度损失值与预设阈值进行比较，在确定所述闭环检测结果对应的相似度损失值小于所述预设阈值时，确定闭环检测成功，否则确定闭环检测失败。
12.如权利要求7所述的方法，其特征在于，所述获取当前点云与待匹配点云各自的点云描述子，包括：
从预设存储位置获取所述待匹配点云的点云描述子；
从所述当前点云中提取多个线段，所述多个线段中两两组成线段对；
确定每一所述线段对的几何不变特征；
根据所述几何不变特征，构建所述当前点云的点云描述子。
13.如权利要求12所述的方法，其特征在于，所述确定每一所述线段对的几何不变特征，包括：
根据每一所述线段对中各线段的端点信息及方向信息确定相应线段对的几何不变特征。
14.如权利要求13所述的方法，其特征在于，所述根据每一所述线段对中各线段的端点信息及方向信息确定相应线段对的几何不变特征，包括：
在确定所述线段对中一线段的一端点与另一线段的一端点之间的连线的距离大于预设值时，将所述连线的距离及所述线段对中两线段的方向向量各自与所述连线的夹角作为所述线段对的一组几何不变特征。
15.如权利要求14所述的方法，其特征在于，每一所述线段对至多包括4组几何不变特征。
16.如权利要求12所述的方法，其特征在于，所述根据所述几何不变特征，构建所述当前点云的点云描述子，包括：
构建初始三维直方图；
遍历所述当前点云所有线段对及对应的几何不变特征，计算每一所述几何不变特征在所述初始三维直方图中的索引位置，并在所述初始三维直方图的相应索引位置累加1，直至完成所述当前点云的所有线段对对应的几何不变特征在所述初始三维直方图中的累加，得到所述当前点云的点云描述子。
17.如权利要求7至16任一项所述的方法，其特征在于，所述几何不变特征包括连线距离，第一夹角及第二夹角，所述连线距离为所述线段对中一线段的端点与另一线段的端点之间的连线的距离，所述第一夹角为所述线段对中一线段的方向向量与所述连线的夹角，所述第二夹角为所述线段对中另一线段的方向向量与所述连线的夹角。
18.一种点云描述子构建装置，其特征在于，包括：
获取模块，用于获取一点云，所述点云为通过激光探测器所采集的点云数据；
提取模块，用于从所述点云中提取多个线段，所述多个线段中两两组成线段对；
确定模块，用于确定每一所述线段对的几何不变特征；
构建模块，用于根据所述几何不变特征，构建点云描述子。
19.一种闭环检测装置，其特征在于，包括：
获取模块，用于获取当前点云与待匹配点云各自的点云描述子，所述点云描述子通过基于相应点云所提取的线段对的几何不变特征构建，所述当前点云为当前通过激光探测器所采集的点运数据，所述待匹配点云为通过所述激光探测器所采集的历史点云数据；
检测模块，用于根据所述当前点云的点云描述子与所述待匹配点云的点云描述子进行闭环检测。
20.一种电子设备，包括存储器和处理器，所述存储器中存储有计算机可读指令，所述计算机可读指令被所述处理器执行时，使得所述处理器执行如权利要求1至6任一项所述的点云描述子构建方法，或如权利要求7至17任一项所述的闭环检测方法，或实现如权利要求18所述的点云描述子构建装置的功能，或实现如权利要求19所述的闭环检测装置的功能。
21.一种存储有计算机可读指令的非易失性可读存储介质，所述计算机可读指令被处理器执行时，使得所述处理器执行如权利要求1至6任一项所述的点云描述子构建方法，或如权利要求7至17任一项所述的闭环检测方法，或实现如权利要求18所述的点云描述子构建装置的功能，或实现如权利要求19所述的闭环检测装置的功能。
CN202011367401.2A 2020-11-27 2020-11-27 点云描述子构建方法及装置，闭环检测方法及装置 Active CN112596063B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011367401.2A CN112596063B (zh) 2020-11-27 2020-11-27 点云描述子构建方法及装置，闭环检测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011367401.2A CN112596063B (zh) 2020-11-27 2020-11-27 点云描述子构建方法及装置，闭环检测方法及装置

Publications (2)

Publication Number Publication Date
CN112596063A CN112596063A (zh) 2021-04-02
CN112596063B true CN112596063B (zh) 2024-04-02

Family

ID=75187597

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011367401.2A Active CN112596063B (zh) 2020-11-27 2020-11-27 点云描述子构建方法及装置，闭环检测方法及装置

Country Status (1)

Country Link
CN (1) CN112596063B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115953604B (zh) * 2023-03-13 2023-05-30 泰安市金土地测绘整理有限公司 一种不动产地理信息测绘数据采集方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105118062A (zh) * 2015-09-02 2015-12-02 大连理工大学 一种基于单端点特征描述的线段匹配方法
CN107316328A (zh) * 2017-05-11 2017-11-03 浙江大学 一种基于二维激光扫描仪角点特征的闭环检测方法
US9934590B1 (en) * 2015-06-25 2018-04-03 The United States Of America As Represented By The Secretary Of The Air Force Tchebichef moment shape descriptor for partial point cloud characterization
CN108090958A (zh) * 2017-12-06 2018-05-29 上海阅面网络科技有限公司 一种机器人同步定位和地图构建方法和系统
CN109035207A (zh) * 2018-07-03 2018-12-18 电子科技大学 密度自适应的激光点云特征检测方法
WO2019037484A1 (zh) * 2017-08-23 2019-02-28 腾讯科技（深圳）有限公司 激光扫描设备标定的方法、装置、设备及存储介质
CN110211163A (zh) * 2019-05-29 2019-09-06 西安财经学院 一种基于epfh特征的点云匹配算法
CN110910389A (zh) * 2019-10-30 2020-03-24 中山大学 一种基于图描述子的激光slam回环检测系统及方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9098773B2 (en) * 2013-06-27 2015-08-04 Chevron U.S.A. Inc. System and method of detecting objects in scene point cloud

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9934590B1 (en) * 2015-06-25 2018-04-03 The United States Of America As Represented By The Secretary Of The Air Force Tchebichef moment shape descriptor for partial point cloud characterization
CN105118062A (zh) * 2015-09-02 2015-12-02 大连理工大学 一种基于单端点特征描述的线段匹配方法
CN107316328A (zh) * 2017-05-11 2017-11-03 浙江大学 一种基于二维激光扫描仪角点特征的闭环检测方法
WO2019037484A1 (zh) * 2017-08-23 2019-02-28 腾讯科技（深圳）有限公司 激光扫描设备标定的方法、装置、设备及存储介质
CN108090958A (zh) * 2017-12-06 2018-05-29 上海阅面网络科技有限公司 一种机器人同步定位和地图构建方法和系统
CN109035207A (zh) * 2018-07-03 2018-12-18 电子科技大学 密度自适应的激光点云特征检测方法
CN110211163A (zh) * 2019-05-29 2019-09-06 西安财经学院 一种基于epfh特征的点云匹配算法
CN110910389A (zh) * 2019-10-30 2020-03-24 中山大学 一种基于图描述子的激光slam回环检测系统及方法

Also Published As

Publication number Publication date
CN112596063A (zh) 2021-04-02

Similar Documents

Publication Publication Date Title
CN110866496B (zh) 基于深度图像的机器人定位与建图方法和装置
CN109035299B (zh) 目标跟踪方法、装置、计算机设备及存储介质
JP5705147B2 (ja) 記述子を用いて３ｄオブジェクトまたはオブジェクトを表す方法
CN110807350A (zh) 用于面向扫描匹配的视觉slam的系统和方法
CN111814740B (zh) 指针仪表读数的识别方法、装置、计算机设备和存储介质
CN110807491A (zh) 车牌图像清晰度模型训练方法、清晰度检测方法及装置
EP3008694A1 (en) Interactive and automatic 3-d object scanning method for the purpose of database creation
CN111898486B (zh) 监控画面异常的检测方法、装置及存储介质
CN111583118B (zh) 图像拼接方法、装置、存储介质及电子设备
US9613272B2 (en) Image analyzing device, image analyzing method, and recording medium storing image analyzing program
CN112596063B (zh) 点云描述子构建方法及装置，闭环检测方法及装置
CN111383246A (zh) 条幅检测方法、装置及设备
CN116503850A (zh) 一种识别吊物轮廓的方法、装置、设备及可读存储介质
US20220111531A1 (en) Robot globally optimal visual positioning method and device based on point-line features
CN110706257B (zh) 有效特征点对的识别方法、相机状态的确定方法及装置
US20200257372A1 (en) Out-of-vocabulary gesture recognition filter
CN111652034A (zh) 一种基于sift算法的船只检索方法及装置
KR101870542B1 (ko) 모션 인식 방법 및 장치
CN112446229B (zh) 一种标志杆的像素坐标获取方法及装置
JPH01271883A (ja) 指紋中心検出方式
CN110399892B (zh) 环境特征提取方法和装置
CN111275693A (zh) 一种图像中物体的计数方法、计数装置及可读存储介质
CN112344966A (zh) 一种定位失效检测方法、装置、存储介质及电子设备
Scherer et al. Loop closure detection using depth images
CN111368624A (zh) 基于生成对抗网络的回环检测方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant