CN109583513A - 一种相似帧的检测方法、系统、装置及可读存储介质 - Google Patents
一种相似帧的检测方法、系统、装置及可读存储介质 Download PDFInfo
- Publication number
- CN109583513A CN109583513A CN201811544586.2A CN201811544586A CN109583513A CN 109583513 A CN109583513 A CN 109583513A CN 201811544586 A CN201811544586 A CN 201811544586A CN 109583513 A CN109583513 A CN 109583513A
- Authority
- CN
- China
- Prior art keywords
- similar frame
- frame
- point cloud
- similar
- detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本申请公开了一种相似帧的检测方法,本申请在真正采用匹配的方式确定相似帧之前,引入了基于深度学习算法构建得到的相似帧检测模型来对是否属于相似帧的每对帧点云进行初步检测,在初步检测阶段将能够滤除绝大部分非相似帧的帧点云对,使得真正采用匹配的方式进行相似帧确定的帧点云对数得到了极大的减少。相比于全部基于匹配的方式进行相似帧的判断,基于模型的相似帧检测所需耗时本身较短,因此可极大的减少匹配耗时,提高对计算资源的有效利用率。本申请还同时公开了一种相似帧的检测系统、装置及计算机可读存储介质,具有上述有益效果。
Description
技术领域
本申请涉及SLAM技术领域,特别涉及一种相似帧的检测方法、系统、装置及计算机可读存储介质。
背景技术
SLAM,Simultaneous Localization And Mapping,中文名为同步定位与地图构建,描述了机器人从未知环境的未知地点出发,在运动过程中通过重复观测到的地图特征(比如,墙角,柱子等)定位自身位置和姿态,再根据自身位置增量式的构建地图,从而达到同时定位和地图构建的目的的概念。
由于三维激光扫描仪在对目标场景进行扫描时,由于场景的复杂性和多个组成部分,通常会将该三维激光扫描仪置于移动机器人上,以借助移动机器人在各个自场景间的移动采集得到完整的点云数据。但是由于测量距离和测量时间的增加,传感器带来的累积误差、数据处理算法本身的缺陷以及一些其它问题使得在误差会逐渐增大,使得定位与场景建图的精度受到影响。因此,为了最终构建得到高精度的全局地图,如何尽可能的抑制随时间增加存在的累积误差将是提升全局地图精度的关键。
抑制累积误差往往通过将相同场景下的不同帧点云作为控制信息来实现,因此如何确定各帧点云间哪些帧点云对应的是相同的场景,即判断哪些帧点云是相似帧是其中的重要环节。
现有技术通过两两匹配的方式来判断哪一对帧点云是相似帧,这是一种盲目试验的方式,必须要将每一对帧点云都进行一次匹配,因为无法事先确定哪对帧点云将有可能的是相似帧,其匹配结果必然包括是与不是两种。随着测量时间的增加和获取点云帧数的增长,用于匹配的时间会呈现指数级增长,且当匹配结果为否时,本次匹配可以看作为无效匹配,白白浪费了计算资源。
因此,如何能够尽可能的减少确定匹配耗时、计算资源有效利用率更高,是本领域技术人员亟待解决的问题。
发明内容
本申请的目的是提供一种相似帧的检测方法,区别于现有技术盲目的每对帧点云均采用匹配的方式确定其是否为相似帧所带来的漫长匹配耗时,本申请在真正采用匹配的方式确定相似帧之前,引入了基于深度学习算法构建得到的相似帧检测模型来对是否属于相似帧的每对帧点云进行初步检测,在初步检测阶段将能够滤除绝大部分非相似帧的帧点云对,使得真正采用匹配的方式进行相似帧确定的帧点云对数得到了极大的减少。相比于全部基于匹配的方式进行相似帧的判断,基于模型的相似帧检测所需耗时本身较短,因此可极大的减少匹配耗时,提高对计算资源的有效利用率。
本申请的另一目的在于提供了一种相似帧的检测系统、装置及计算机可读存储介质。
为实现上述目的,本申请提供一种相似帧的检测方法,该方法包括:
接收移动式三维激光扫描仪对目标室内场景扫描得到的三维点云数据;
利用预设的相似帧检测模型对所述三维点云数据中的每对帧点云进行相似帧检测,得到相似帧检测结果;其中,所述相似帧检测模型是将根据样本点云数据计算得到的训练样本通过深度学习算法训练后得到的,所述训练样本为从每对帧点云特征向量的差值,所述特征向量中包括具有旋转不变性的几何统计特征、各点距激光发出点的距离分布特征和平面特征三类特征参数;
根据所述相似帧检测结果得到初步相似帧;
利用点云匹配算法确定所述初步相似帧是否为真正的相似帧。
可选的,所述相似帧检测模型的生成过程包括:
获取所述样本点云数据;
分别根据所述样本点云数据中的每帧点云数据包含的特征参数计算对应帧点云数据的特征向量;
将每两个所述特征向量的差值均作为训练样本输入所述深度学习算法,得到所述相似帧检测模型。
可选的,在得到所述相似帧检测模型之后,还包括:
使用预设对数的相似帧和非相似帧验证所述相似帧检测模型的可用性;
当所述相似帧检测模型未通过可用性验证时,调整所述相似帧检测模型的参数,直至调整后的相似帧检测模型通过所述可用性验证。
可选的,利用预设的相似帧检测模型对所述三维点云数据中的各帧点云进行相似帧检测,包括:
分别提取所述三维点云数据中每帧点云的特征参数;
分别根据每帧点云的特征参数计算对应帧点云的特征向量;
对任意两个所述特征向量进行差值运算,得到运算结果;
利用所述相似帧检测模型判断与所述运算结果对应的两帧点云是否为相似帧。
可选的,对任意两个所述特征向量进行差值运算,包括:
分别对每个当前帧点云与排列于所述当前帧点云前的每个其它帧点云的特征向量进行差值运算。
可选的,所述具有旋转不变性的几何统计特征包括:体积、标准化平均距离、距离的标准偏差、图心、点个数、距离峰态中的至少一种。
可选的,所述具有旋转不变性的平面特征包括:平面个数、平面间距离的最大值、平行平面组数、互相垂直的两平行平面的长宽比、所有点距离所有平面的平均距离中的至少一项。
为实现上述目的,本申请还提供了一种相似帧的检测系统,该系统包括:
三维点云数据接收单元,用于接收移动式三维激光扫描仪对目标室内场景扫描得到的三维点云数据;
相似帧模型检测单元,用于利用预设的相似帧检测模型对所述三维点云数据中的每对帧点云进行相似帧检测,得到相似帧检测结果;其中,所述相似帧检测模型是将根据样本点云数据计算得到的训练样本通过深度学习算法训练后得到的,所述训练样本为从每对帧点云特征向量的差值,所述特征向量中包括具有旋转不变性的几何统计特征、各点距激光发出点的距离分布特征和平面特征三类特征参数;
初步相似帧确定单元,用于根据所述相似帧检测结果得到初步相似帧;
真正相似帧确定单元,用于利用点云匹配算法确定所述初步相似帧是否为真正的相似帧。
可选的,该检测系统还包括:
样本点云数据获取单元,用于获取所述样本点云数据;
特征向量计算单元,用于分别根据所述样本点云数据中的每帧点云数据包含的特征参数计算对应帧点云数据的特征向量;
差值训练样本输入及训练单元,用于将每两个所述特征向量的差值均作为训练样本输入所述深度学习算法,得到所述相似帧检测模型。
可选的,该检测系统还包括:
可用性验证单元,用于在得到所述相似帧检测模型之后,使用预设对数的相似帧和非相似帧验证所述相似帧检测模型的可用性;
调整单元,用于当所述相似帧检测模型未通过可用性验证时,调整所述相似帧检测模型的参数,直至调整后的相似帧检测模型通过所述可用性验证。
可选的,所述相似帧模型检测单元包括:
特征参数提取子单元,用于分别提取所述三维点云数据中每帧点云的特征参数;
特征向量计算子单元,用于分别根据每帧点云的特征参数计算对应帧点云的特征向量;
差值运算子单元,用于对任意两个所述特征向量进行差值运算,得到运算结果;
相似帧判断子单元,用于利用所述相似帧检测模型判断与所述运算结果对应的两帧点云是否为相似帧。
可选的,所述差值运算子单元包括:
顺序差值运算模块,用于分别对每个当前帧点云与排列于所述当前帧点云前的每个其它帧点云的特征向量进行差值运算。
为实现上述目的,本申请还提供了一种相似帧的检测装置,该装置包括:
存储器,用于存储计算机程序;
处理器,用于执行所述计算机程序时实现如上述内容所描述的相似帧的检测方法。
为实现上述目的,本申请还提供了一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如上述内容所描述的相似帧的检测方法。
显然,本申请所提供的相似帧的检测方法,区别于现有技术盲目的每对帧点云均采用匹配的方式确定其是否为相似帧所带来的漫长匹配耗时,本申请在真正采用匹配的方式确定相似帧之前,引入了基于深度学习算法构建得到的相似帧检测模型来对是否属于相似帧的每对帧点云进行初步检测,在初步检测阶段将能够滤除绝大部分非相似帧的帧点云对,使得真正采用匹配的方式进行相似帧确定的帧点云对数得到了极大的减少。相比于全部基于匹配的方式进行相似帧的判断,基于模型的相似帧检测所需耗时本身较短,因此可极大的减少匹配耗时,提高对计算资源的有效利用率。
本申请同时还提供了一种相似帧的检测系统、装置及计算机可读存储介质,具有上述有益效果,在此不再赘述。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1为本申请实施例提供的一种相似帧的检测方法的流程图;
图2为本申请实施例提供的相似帧的检测方法中一种相似帧检测模型的生成方法的流程图;
图3为本申请实施例提供的相似帧的检测方法中一种利用相似帧检测模型进行相似帧的检测的方法的流程图;
图4为本申请实施例提供的一种相似帧的检测系统的结构框图。
具体实施方式
本申请的核心为一种相似帧的检测方法、系统、装置及计算机可读存储介质,区别于现有技术盲目的每对帧点云均采用匹配的方式确定其是否为相似帧所带来的漫长匹配耗时,本申请在真正采用匹配的方式确定相似帧之前,引入了基于深度学习算法构建得到的相似帧检测模型来对是否属于相似帧的每对帧点云进行初步检测,在初步检测阶段将能够滤除绝大部分非相似帧的帧点云对,使得真正采用匹配的方式进行相似帧确定的帧点云对数得到了极大的减少。相比于全部基于匹配的方式进行相似帧的判断,基于模型的相似帧检测所需耗时本身较短,因此可极大的减少匹配耗时,提高对计算资源的有效利用率。
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本申请保护的范围。
实施例一
请参见图1,图1为本申请实施例提供的一种相似帧的检测方法的流程图,包括以下步骤:
S101:接收移动式三维激光扫描仪对目标室内场景扫描得到的三维点云数据;
本步骤旨在接收移动式三维激光扫描仪对目标室内场景扫描得到三维点云数据,通常的实现方式为,将该三维激光扫描仪置于移动机器人,由该移动机器人带动该三维激光扫描仪在目标室内场景下包含的多个子场景中充分运动、扫描。这一过程中,三维激光扫描仪只需要不断的向外投射激光,并采集得到投射出的激光的发射光线即可。三维激光扫描仪通过向外部投射数量众多的激光束,这些激光束在空气等介质中传播,并在无法传播的介质上发生反射,由此便形成了一个个激光点,众多激光点共同构成了点云。
S102:利用预设的相似帧检测模型对三维点云数据中的每对帧点云进行相似帧检测,得到相似帧检测结果;
在S101的基础上,本步骤旨在利用预设的相似帧检测模型对三维点云数据中的每对帧点云进行相似帧检测,以得到相似帧检测结果。
其中,该相似帧检测模型是本申请将根据样本点云数据计算得到的训练样本通过深度学习算法训练后得到的,即首先从样本点云数据计算得到可用于判别相似帧的特征数据,再将该特征数据作为训练样本输入深度学习算法中经训练得到。其中,该特征数据可以包括通过激光测距方式测量得到的距离特征、具有旋转不变性的几何统计特征、平面特征等可用于判别是否为相似帧的特征。
其中,深度学习的概念源于人工神经网络的研究,含多隐层的多层感知器就是一种深度学习结构,深度学习通过组合低层特征形成更加抽象的高层表示属性类别或特征,以发现数据的分布式特征表示。训练样本则是用于将深度学习算法“改造”成更适合用于进行相似帧检测用的检测模型。其中,为满足训练要求,训练样本会包含表示相同场景的不同帧点云(即相似帧)和表示不同场景的不同帧点云(即非相似帧),相似帧将作为正样本存在,非相似帧则将作为负样本存在。在正负样本的共同作用下,深度学习算法将利用其模仿自生物神经元的结构来挖掘和学习其中隐含的共同特征,以利用学习到的共同特征将自身改造成能够进行相似帧检测的模型。
其中,卷积神经网络是第一个真正多层结构学习算法,它利用空间相对关系减少参数数目以提高训练性能,当然也可以利用在此基础上发展出的其它深度学习算法,此处并不做具体限定。
在SLAM数据处理流程中,闭环检测是一个重要的后端优化步骤,是指对载有该三维激光扫描仪的移动机器人是否对同一场景进行了重访问的检测。由于其原理与相似帧检测相似,在SLAM数据处理流程中,闭环检测也可以采用本申请提供的相似帧检测方式来实现。
由于闭环检测是一个具有时序的检测过程,进行实际操作时,只需要对依次输入的各当前帧点云分别与排列于该当前帧点云之前的每个其它帧点云利用该相似帧检测模型进行检测即可,先后判定出的一对相似帧将与中间包含的其它帧点云形成一个闭合的环(即首尾相接)。
为方便理解,此处给出一种具体的例子:假定当前相似帧检测模型已经收到了5帧点云数据,按接收到的先后顺序分别命名为01、02、03、04以及05,在接收到01时,由于单独的一帧无法做闭环检测(至少需要两帧),在接收到02时,就会去做02与01间的闭环检测,以检验02与01是否表示的场景是一致的。在接收到03时,就会依次去做03与01、03与02间的闭环检测……,以此类推,就会最终完成05与04间的闭环检测。
S103:根据相似帧检测结果确定初步相似帧;
在S102的基础上,本步骤将根据相似帧检测模型输出的相似帧检测结果,确定出被相似帧检测模型判断为属于相似帧的一对帧点云,由于本申请是使用该相似帧检测模型进行预判断,以减少真正采用匹配方式进行最终判定的次数,因此此处确定出的相似帧将被称为初步相似帧。
进一步的,随着不断对新的训练样本进行相似帧检测,还可以将这些新的训练样本中新发现的共同特征对构成该相似帧检测模型的参数(各人工神经元间的激活函数、全连接层权重等等)进行调整,以使其更加符合真实情况,降低误判率。
由于三维激光扫描仪扫描频率较高,每一秒可能会得到数十帧点云,相比于移动机器人的移动速度,相邻的帧点云可能描述就是相同的场景,因此为了减少检测次数,还可以选取一些具有代表性的帧点云来减少检测次数。
为了进一步提升初步相似帧的判别准确率,还可以增加后验证检测:
假设第m帧点云和第n帧点云被判定为初步相似帧,其中第m帧点云的获取时间晚于第n帧,此时可以将第m帧点云分别与第n帧点云前后某一范围内的其它帧点云再次组成待测帧点云对,并再次导入该模型中进行判定,若新组成的待测帧点云对大多数得到了与由m与n组成的帧点云对一致的检测结果,将认为通过了后验证步骤;否则,则认为后验证失败。其中,范围的选取取决于激光扫描仪的扫描频率,之所以采用这种方式,是因为通常认为在较短的时间范围内,三维激光扫描仪扫描的场景不会发生明显的变换。
S104:利用点云匹配算法确定初步相似帧是否为真正的相似帧。
在S103的基础上,本步骤旨在按照现有的方式,按照常规的点云匹配算法进一步精确的判断被相似帧检测模型判定为相似帧的初步相似帧是否为真正的相似帧。由于大量非相似帧的一对对帧点云将通过相似帧检测模型被提前滤除,可有效减少匹配次数,得以降低匹配耗时。其中,常规的点云匹配算法包括但不限于ICP(Iterative Closest Point,迭代最近点)算法、NDT(Normal Distributions Transform,正态分布变换)算法以及基于平面特征的匹配算法。
基于上述技术方案,本实施例区别于现有技术盲目的每对帧点云均采用匹配的方式确定其是否为相似帧所带来的漫长匹配耗时,本申请在真正采用匹配的方式确定相似帧之前,引入了基于深度学习算法构建得到的相似帧检测模型来对是否属于相似帧的每对帧点云进行初步检测,在初步检测阶段将能够滤除绝大部分非相似帧的帧点云对,使得真正采用匹配的方式进行相似帧确定的帧点云对数得到了极大的减少。相比于全部基于匹配的方式进行相似帧的判断,基于模型的相似帧检测所需耗时本身较短,因此可极大的减少匹配耗时,提高对计算资源的有效利用率。
实施例二
请参见图2,图2为本申请实施例提供的相似帧的检测方法中一种相似帧检测模型的生成方法的流程图,其包括如下步骤:
S201:获取样本点云数据;
S202:分别根据样本点云数据中的每帧点云数据包含的特征参数计算对应帧点云数据的特征向量;
需要重点说明的是,本步骤用于计算每帧点云数据的特征向量的特征参数包括具有旋转不变性的几何统计特征、各点距激光发出点的距离分布特征、平面特征中的至少一项。
其中,具有旋转不变性的特征是指只需经过旋转或平移就可以消除差异的特征,此处将其分成三类,其中的几何统计特征具体包括:体积、标准化平均距离、距离的标准偏差、图心、点个数、距离峰态中的至少一种;各点距激光发出点的距离分布特征是指,每帧点云数据中各激光点距投射出激光束的三维激光扫描仪的距离分布特征,可以将距离划分为几个层次,并确定每个层次有多少个激光点落入,由此确定距离分布特征。平面特征是指经由点云数据确定出的平面所具有的独有特征,可具体包括:平面个数、平面间距离的最大值、平行平面组数、互相垂直的两平行平面的长宽比、所有点距离所有平面的平均距离中的至少一项。
以下还提供了上述几类特征参数的具体计算方法,首先说明第一类特征参数的具体计算方法,即几何统计特征的具体计算方法:
用N代表一帧点云中的点的总个数,用ri表示该帧中第i个点测得的从传感器到物体之间的距离,用fk m代表第m帧点云的第k个特征。根据测量场景的实际情况和激光扫描仪的仪器参数预设的测距范围参数rmax,该参数的意义是区别出一些没有实际意义的点云,例如室内环境测量中总有一部分点云透过玻璃窗投射出去,造成得到的测距数据远超出房间的实际范围,会使特征对场景的描述收到影响,用N*表示测距小于预设范围rmax的点云个数。两帧待查点云的特征向量组合为Fm,n=[Fm,Fn],其中Fm和Fn分别表示第m帧和第n帧的特征向量集合,Fm,n表示第m帧和第n帧的特征向量集合组成的一组样本。下面对各个特征进行详细介绍,第一类特征共13个,是基于点云的测距信息得到的统计结果,具体如下:
体积:把每帧点云数据中每一个(激光)点都看作是一个金字塔底面的中心点,金字塔的顶点则是投射出激光束的三维激光扫描仪(也可以认为是采集数据的传感器),那么测得的该点的距离即为金字塔的高,假设α和β分别表示传感器在垂直和水平两个方向上的角度分辨率,那么以第i个点为底面中心点的金字塔底面的长li和宽wi分别为:
金字塔的高hi即为ri,据此可计算出金字塔的体积为:
式中:vmax表示以rmax为金字塔高的金字塔体积,并可由此得到两个特征:
其中,vmax被用于对每一个金字塔的体积进行标准化,f2 m为只把ri<rmax的点计算在内得到。通过公式的最终形式可以发现特征f1 m和f2 m的值并不受传感器水平方向角度分辨率α和垂直方向角度分辨率β的影响。
标准化平均距离:定义标准化的距离ri *为:
那么特征f3 m和f4 m分别为计入全部点的平均标准化距离和只计算ri<rmax的点的平均标准化距离,计算公式如下:
距离的标准偏差:定义f5 m为所有点都计算在内的距离标准偏差,f6 m为只计算ri<rmax的距离标准偏差,定义rmean为所有点的平均距离,为只计算ri<rmax的点的平均距离,f5 m和f6 m的计算公式如下:
图心:假设是所有ri<rmax的点pi(xi,yi,zi)的平均位置,由此定义为:
定义f8 m为从到所有ri<rmax的点pi(xi,yi,zi)的平均距离,计算公式如下:
定义f9 m为从到所有ri<rmax的点pi(xi,yi,zi)的距离标准差,计算公式如下:
点个数:是ri=rmax的点的个数,是ri<rmax的点的个数。
距离峰态:是对距离直方图峰值的描述,是ri<rmax部分点的峰态,计算公式如下:
式中:表示由ri<rmax的点计算出的平均距离。除此之外,还可以用表示由该帧点云数据中所有点计算所得的距离峰态。
上述给出了可以从体积、标准化平均距离、距离的标准偏差、图心、点个数、距离峰态计算得到的13个几何统计特征,以下将对第二类特征参数的计算方式进行说明,即对各点距激光发出点的距离分布特征进行说明:
根据预设的最大测距rmax,根据场景的特征设置合适的距离间隔,在室内环境中要在比较近的距离范围中设置较小的间隔,便于区分物体。本申请根据采用的数据传感器的特点和室内环境的特点,对于室内环境将测距直方图的间隔依次设置为: rmax。测距直方图采样间隔的设置可以根据场景特征的变化和激光测距传感器的测量范围进行自定义。
以下对最后一类平面特征如何进行计算进行说明:
将从各帧点云数据中提取的平面特征纳入特征向量,此类将总共包含5个特征元素,需要说明的是,平面特征需要首先从各帧点云中提取出平面,才能根据提取出的平面确定各项平面特征。
平面个数:将点云中提取出的平面数量作为特征元素;
间距最大的平面间距离:从点云中提取出的平面,按照是否平行分为若干组,选择出间距最大的平行平面,把最大的平行平面间距作为特征元素,该特征用于控制一帧点云的形状信息,特别是室内场景具有良好的效果;
平行平面组数:从点云中提取出的平面,按照是否平行分为若干组,平行平面组数可以作为一个特征元素,该特征用以描述场景的复杂性,简单场景中提取出的平面较少,复杂场景中会提取出大量平面;
互相垂直的平行平面的长宽比:筛选出互相垂直的两组平行平面,并选取相距最远的两组平行平面之间的间距比值作为场景的结构指数,该指数用于描述场景的基本形状。例如走廊是窄长的通道,其比值就会较大,而接近于正方体的房间,其结构指数就接近于1;
点云中所有点距离所有平面的平均距离:将一帧点云中所有点距离所有平面的距离相加与点个数的比值,该指数用于描述一帧点云中的点的基本分布情况。
需要说明的是,相比于室外更广阔的场景,室内场景结构更加紧凑,平面特征更多(因为房间通常都较为平整),因此基于更符合室内场景结构的平面特征得到的特征向量和基于此计算得到的特征向量差值,能够更准确的检测每对帧点云间的相似性。
根据以上三类三维激光点云特征的定义,可以看出这些特征全都具有旋转不变性,不会随着点云数据的旋转失去对场景的描述功能。几何统计特征、测距直方图以及平面特征将最终可以组合得到一个具有28维的特征向量,每个维度将表示一个具体类别的特征,其可以表现为一个具有1行28列的矩阵。
S203:将每两个特征向量的差值均作为训练样本输入深度学习算法,得到相似帧检测模型;
在S202的基础上,本步骤是将任意两帧点云的特征向量做差值运算,以通过得到的差值来衡量这两帧点云在这些包含有多种特征的特征向量上的差异。并具体将这些差值作为训练样本输入深度学习算法。相似帧间的特征向量差值将作为正样本,非相似帧间的特征向量的差值将作为负样本。通常来讲,需要负样本的数量多于正样本的数据量。
S204:使用预设对数的相似帧和非相似帧验证相似帧检测模型的可用性;
在S203的基础上,本步骤旨在预设对数的相似帧和非相似帧来验证得到的相似帧检测模型是否具有可用性,即其是否能够得到与预期一致的结果。
S205:当相似帧检测模型未通过可用性验证时,调整相似帧检测模型的参数,直至调整后的相似帧检测模型通过可用性验证。
若该相似帧检测模型未通过可用性验证时,则说明在构成该相似帧检测模型的深度学习算法的参数还需要进一步调整,因此将调整相似帧检测模型的参数,直至调整后的相似帧检测模型通过可用性验证。
实施例三
请参见图3,图3为本申请实施例提供的相似帧的检测方法中一种利用相似帧检测模型进行相似帧检测的方法的流程图,包括如下步骤:
S301:分别提取三维点云数据中每帧点云的特征参数;
在利用该相似帧检测模型对新输入的各帧点云进行相似帧检测时,为与实施例二构建该检测模型的步骤照应,也需要首先提取三维点云数据中每帧点云的特征参数。
S302:分别根据每帧点云的特征参数计算对应帧点云的特征向量;
在S301的基础上,接下来需要根据提取出的特征参数计算对应帧点云的特征向量。
S303:对任意两个特征向量进行差值运算,得到运算结果;
在S302的基础上,接下里需要对任意两个特征向量进行差值运算,得到与这两个特征向量对应的两帧点云的运算结果,该运算结果表示对应两帧点云这该特征向量包括的特征间的差异。
具体的,在进行闭环检测时,本步骤具体为:分别对每个当前帧点云与排列于当前帧点云前的每个其它帧点云的特征向量进行差值运算。
S304:利用相似帧检测模型判断与运算结果对应的两帧点云是否为相似帧。
由于该相似帧检测模型就是使用大量基于运算差值得到的正样本和负样本经训练得到的,因此,实际上相似帧检测模型在进行实际检测时,就是基于输入的一对帧点云的运算结果来进行其是否为相似帧的判断。
因为情况复杂,无法一一列举进行阐述,本领域技术人员应能意识到根据本申请提供的基本方法原理结合实际情况可以存在很多的例子,在不付出足够的创造性劳动下,应均在本申请的保护范围内。
实施例四
下面请参见图4,图4为本申请实施例提供的一种相似帧的检测系统的结构框图,该检测系统可以包括:
三维点云数据接收单元100,用于接收移动式三维激光扫描仪对目标室内场景扫描得到的三维点云数据;
相似帧模型检测单元200,用于利用预设的相似帧检测模型对三维点云数据中的每对帧点云进行相似帧检测,得到相似帧检测结果;其中,相似帧检测模型是将根据样本点云数据计算得到的训练样本通过深度学习算法训练后得到的,训练样本为从每对帧点云特征向量的差值,特征向量中包括具有旋转不变性的几何统计特征、各点距激光发出点的距离分布特征和平面特征三类特征参数;
初步相似帧确定单元300,用于根据相似帧检测结果得到初步相似帧;
真正相似帧确定单元400,用于利用点云匹配算法确定初步相似帧是否为真正的相似帧。
进一步的,该检测系统还可以包括:
样本点云数据获取单元,用于获取样本点云数据;
特征向量计算单元,用于分别根据样本点云数据中的每帧点云数据包含的特征参数计算对应帧点云数据的特征向量;
差值训练样本输入及训练单元,用于将每两个特征向量的差值均作为训练样本输入深度学习算法,得到相似帧检测模型。
更进一步的,该检测系统还可以包括:
可用性验证单元,用于在得到相似帧检测模型之后,使用预设对数的相似帧和非相似帧验证相似帧检测模型的可用性;
调整单元,用于当相似帧检测模型未通过可用性验证时,调整相似帧检测模型的参数,直至调整后的相似帧检测模型通过可用性验证。
其中,该相似帧模型检测单元200可以包括:
特征参数提取子单元,用于分别提取三维点云数据中每帧点云的特征参数;
特征向量计算子单元,用于分别根据每帧点云的特征参数计算对应帧点云的特征向量;
差值运算子单元,用于对任意两个特征向量进行差值运算,得到运算结果;
相似帧判断子单元,用于利用相似帧检测模型判断与运算结果对应的两帧点云是否为相似帧。
进一步的,该差值运算子单元可以包括:
顺序差值运算模块,用于分别对每个当前帧点云与排列于当前帧点云前的每个其它帧点云的特征向量进行差值运算。
基于上述实施例,本申请还提供了一种相似帧的检测装置,该装置可以包括存储器和处理器,其中,该存储器中存有计算机程序,该处理器调用该存储器中的计算机程序时,可以实现上述实施例所提供的步骤。当然,该装置还可以包括各种必要的网络接口、电源以及其它零部件等。
本申请还提供了一种计算机可读存储介质,其上存有计算机程序,该计算机程序被执行终端或处理器执行时可以实现上述实施例所提供的步骤。该存储介质可以包括:U盘、移动硬盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random AccessMemory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
本文中应用了具体个例对本申请的原理及实施方式进行了阐述,且各个实施例间为递进关系,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言,可参见对应的方法部分说明。以上实施例的说明只是用于帮助理解本申请的方法及其核心思想。对于本技术领域的普通技术人员来说,在不脱离本申请原理的前提下,还可以对本申请进行若干改进和修饰,这些改进和修饰也落入本申请权利要求的保护范围内。
还需要说明的是,在本说明书中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其它变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其它要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括要素的过程、方法、物品或者设备中还存在另外的相同要素。
Claims (10)
1.一种相似帧的检测方法,其特征在于,包括:
接收移动式三维激光扫描仪对目标室内场景扫描得到的三维点云数据;
利用预设的相似帧检测模型对所述三维点云数据中的每对帧点云进行相似帧检测,得到相似帧检测结果;其中,所述相似帧检测模型是将根据样本点云数据计算得到的训练样本通过深度学习算法训练后得到的,所述训练样本为从每对帧点云特征向量的差值,所述特征向量中包括具有旋转不变性的几何统计特征、各点距激光发出点的距离分布特征和平面特征三类特征参数;
根据所述相似帧检测结果得到初步相似帧;
利用点云匹配算法确定所述初步相似帧是否为真正的相似帧。
2.根据权利要求1所述的检测方法,其特征在于,所述相似帧检测模型的生成过程包括:
获取所述样本点云数据;
分别根据所述样本点云数据中的每帧点云数据包含的特征参数计算对应帧点云数据的特征向量;
将每两个所述特征向量的差值均作为训练样本输入所述深度学习算法,得到所述相似帧检测模型。
3.根据权利要求2所述的检测方法,其特征在于,在得到所述相似帧检测模型之后,还包括:
使用预设对数的相似帧和非相似帧验证所述相似帧检测模型的可用性;
当所述相似帧检测模型未通过可用性验证时,调整所述相似帧检测模型的参数,直至调整后的相似帧检测模型通过所述可用性验证。
4.根据权利要求2或3所述的检测方法,其特征在于,利用预设的相似帧检测模型对所述三维点云数据中的每对帧点云进行相似帧检测,包括:
分别提取所述三维点云数据中每帧点云的特征参数;
分别根据每帧点云的特征参数计算对应帧点云的特征向量;
对任意两个所述特征向量进行差值运算,得到运算结果;
利用所述相似帧检测模型判断与所述运算结果对应的两帧点云是否为相似帧。
5.根据权利要求4所述的检测方法,其特征在于,对任意两个所述特征向量进行差值运算,包括:
分别对每个当前帧点云与排列于所述当前帧点云前的每个其它帧点云的特征向量进行差值运算。
6.根据权利要求1所述的检测方法,其特征在于,所述具有旋转不变性的几何统计特征包括:体积、标准化平均距离、距离的标准偏差、图心、点个数、距离峰态中的至少一种。
7.根据权利要求1所述的检测方法,其特征在于,所述具有旋转不变性的平面特征包括:平面个数、平面间距离的最大值、平行平面组数、互相垂直的两平行平面的长宽比、所有点距离所有平面的平均距离中的至少一项。
8.一种相似帧的检测系统,其特征在于,包括:
三维点云数据接收单元,用于接收移动式三维激光扫描仪对目标室内场景扫描得到的三维点云数据;
相似帧模型检测单元,用于利用预设的相似帧检测模型对所述三维点云数据中的每对帧点云进行相似帧检测,得到相似帧检测结果;其中,所述相似帧检测模型是将根据样本点云数据计算得到的训练样本通过深度学习算法训练后得到的,所述训练样本为从每对帧点云特征向量的差值,所述特征向量中包括具有旋转不变性的几何统计特征、各点距激光发出点的距离分布特征和平面特征三类特征参数;
初步相似帧确定单元,用于根据所述相似帧检测结果得到初步相似帧;
真正相似帧确定单元,用于利用点云匹配算法确定所述初步相似帧是否为真正的相似帧。
9.一种相似帧的检测装置,其特征在于,包括:
存储器,用于存储计算机程序;
处理器,用于执行所述计算机程序时实现如权利要求1至7任一项所述的相似帧的检测方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的相似帧的检测方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811544586.2A CN109583513B (zh) | 2018-12-17 | 2018-12-17 | 一种相似帧的检测方法、系统、装置及可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811544586.2A CN109583513B (zh) | 2018-12-17 | 2018-12-17 | 一种相似帧的检测方法、系统、装置及可读存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109583513A true CN109583513A (zh) | 2019-04-05 |
CN109583513B CN109583513B (zh) | 2022-12-02 |
Family
ID=65929792
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811544586.2A Active CN109583513B (zh) | 2018-12-17 | 2018-12-17 | 一种相似帧的检测方法、系统、装置及可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109583513B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115170728A (zh) * | 2022-06-07 | 2022-10-11 | 青海师范大学 | 三维点云模型的相似性测量方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20140037194A1 (en) * | 2011-04-13 | 2014-02-06 | Unisantis Electronics Singapore Pte. Ltd. | Three-dimensional point cloud position data processing device, three-dimensional point cloud position data processing system, and three-dimensional point cloud position data processing method and program |
CN104298971A (zh) * | 2014-09-28 | 2015-01-21 | 北京理工大学 | 一种3d点云数据中的目标识别方法 |
CN104778688A (zh) * | 2015-03-27 | 2015-07-15 | 华为技术有限公司 | 点云数据的配准方法及装置 |
-
2018
- 2018-12-17 CN CN201811544586.2A patent/CN109583513B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20140037194A1 (en) * | 2011-04-13 | 2014-02-06 | Unisantis Electronics Singapore Pte. Ltd. | Three-dimensional point cloud position data processing device, three-dimensional point cloud position data processing system, and three-dimensional point cloud position data processing method and program |
CN104298971A (zh) * | 2014-09-28 | 2015-01-21 | 北京理工大学 | 一种3d点云数据中的目标识别方法 |
CN104778688A (zh) * | 2015-03-27 | 2015-07-15 | 华为技术有限公司 | 点云数据的配准方法及装置 |
Non-Patent Citations (2)
Title |
---|
QUNMING WANG ET AL.: "Fast Subpixel Mapping Algorithms for Subpixel Resolution Change Detection", 《IEEE TRANSACTIONS ON GEOSCIENCE AND REMOTE SENSING 》 * |
帅霞等: "基于3DMM的视频流立体人脸识别算法研究", 《仪表技术》 * |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115170728A (zh) * | 2022-06-07 | 2022-10-11 | 青海师范大学 | 三维点云模型的相似性测量方法 |
Also Published As
Publication number | Publication date |
---|---|
CN109583513B (zh) | 2022-12-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
McLean et al. | Vanishing point detection by line clustering | |
CN106023298B (zh) | 基于局部泊松曲面重建的点云刚性配准方法 | |
CN106384079B (zh) | 一种基于rgb-d信息的实时行人跟踪方法 | |
CN110533722A (zh) | 一种基于视觉词典的机器人快速重定位方法及系统 | |
CN112766103B (zh) | 一种机房巡检方法及装置 | |
CN111563442A (zh) | 基于激光雷达的点云和相机图像数据融合的slam方法及系统 | |
CN111709981A (zh) | 特征线融合的激光点云与模拟图像的配准方法 | |
CN109102547A (zh) | 基于物体识别深度学习模型的机器人抓取位姿估计方法 | |
Landry et al. | CELLO-3D: Estimating the Covariance of ICP in the Real World | |
CN109285220A (zh) | 一种三维场景地图的生成方法、装置、设备及存储介质 | |
CN111476827B (zh) | 目标跟踪方法、系统、电子装置及存储介质 | |
CN107705328A (zh) | 用于3d对准算法的平衡探针位置选择 | |
CN106780906A (zh) | 一种基于深度卷积神经网络的人证合一识别方法及系统 | |
CN111368769B (zh) | 基于改进锚点框生成模型的船舶多目标检测方法 | |
CN111105495A (zh) | 一种融合视觉语义信息的激光雷达建图方法及系统 | |
CN102494663B (zh) | 摆动喷管的摆动角度的测量方法 | |
CN106780551B (zh) | 一种三维运动目标检测方法和系统 | |
CN112818925B (zh) | 一种城市建筑和树冠识别方法 | |
CN105701455A (zh) | 基于asm算法的人脸特征点采集及三维人脸建模方法 | |
CN113435282B (zh) | 基于深度学习的无人机影像麦穗识别方法 | |
CN108492298A (zh) | 基于生成对抗网络的多光谱图像变化检测方法 | |
CN113936198A (zh) | 低线束激光雷达与相机融合方法、存储介质及装置 | |
CN112653991A (zh) | 一种基于深度学习的TebNet神经网络模型的WLAN室内定位方法 | |
CN109584206B (zh) | 零件表面瑕疵检测中神经网络的训练样本的合成方法 | |
CN114743007A (zh) | 一种基于通道注意力与多尺度融合的三维语义分割方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |