CN115797412B - 动态对象异常值并行检测方法、装置、系统、设备及介质 - Google Patents
动态对象异常值并行检测方法、装置、系统、设备及介质 Download PDFInfo
- Publication number
- CN115797412B CN115797412B CN202310069765.XA CN202310069765A CN115797412B CN 115797412 B CN115797412 B CN 115797412B CN 202310069765 A CN202310069765 A CN 202310069765A CN 115797412 B CN115797412 B CN 115797412B
- Authority
- CN
- China
- Prior art keywords
- semantic
- key frame
- dynamic
- image
- key frames
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种动态对象异常值并行检测方法、装置、系统、设备及介质,所述方法包括:以第一图像为参考,通过跟踪单元估计第二图像的相机位姿信息,即位姿估计过程,进而得到后一关键帧列表;根据前一关键帧列表选择语义关键帧,并通过语义分割单元和聚类算法单元对所述语义关键帧进行语义分割和聚类分析以检测对应的动态对象异常值,即检测过程;以上操作中,位姿估计过程和检测过程并行进行;其中,图像针对环境获取,包括彩色图像和深度图像。本发明可以提高对机器人图像的帧率识别水平,有效地减少语义网络可能出现的分割对象残缺不全、动态对象去除不彻底的现象,解决地图初始化困难及假阳性回环检测的问题,进一步提高建图水平。
Description
技术领域
本发明涉及一种动态对象异常值并行检测方法、装置、系统、设备及介质。属于机器人视觉的同步定位与映射领域。
背景技术
同步定位与地图构建(Simultaneous Localization and Mapping,SLAM)研究方向的建立主要是为了解决机器人在未知环境中定位自身位姿并同时构建与该环境一致地图的问题,现有常见的SLAM系统可以按照依赖的传感器可大致划分为激光SLAM系统和视觉SLAM系统。其中,在传统的视觉SLAM系统框架下,机器人的位姿估计等都依赖于静态环境的假设。这也意味着在动态环境中执行传统视觉SLAM算法时,由于动态环境因素的存在使得动态信息参与到所构建的静态地图中,为后续的机器人重定位和自主导航产生不可估量的负面影响。此外,暂时静止的物体,在观察时是静止的,但当它们离开视线时是移动的,会触发假阳性回环检测,导致传统视觉SLAM算法在动态环境中出现抗干扰能力弱、鲁棒性差等问题。近年来,随着机器学习和深度学习的发展和成熟让该难题能进一步优化而受到了广泛的关注。
传统视觉SLAM算法虽可以通过纯数学几何的方法把部分动态因素剔除,但仍存在着动态因素在建图过程中残留和无法检测到暂时保持静态的潜在动态对象问题。近年来,人们提出了使用不同的语义分割方法来预处理图像,从而检测潜在动态对象并将其异常值去除的解决方案。但等待图像进行预处理获得语义分割结果需要花费大量的时间,跟踪线程的处理速度会受到所使用的语义分割方法耗时的限制,导致图像读取的帧率降低、初始化建图困难,无法满足SLAM系统实际应用中的高实时性要求。除此之外,现有的语义分割方法多样,虽使用训练集进行训练可以获得不错的效果,但在现实应用中仍存在着语义分割对象残缺不全、对象无法获得语义信息和对象边缘特征点难以区分等问题。因此单靠使用语义分割网络来解决对动态对象进行剔除问题仍具有挑战性。
发明内容
有鉴于此,本发明提供了一种动态对象异常值并行检测方法、装置、系统、计算机设备及存储介质,其可以提高对机器人图像的帧率识别水平,有效地减少语义网络可能出现的分割对象残缺不全、动态对象去除不彻底的现象,解决地图初始化困难及假阳性回环检测的问题,进一步提高建图水平。
本发明的第一个目的在于提供一种动态对象异常值并行检测方法。
本发明的第二个目的在于提供一种动态对象异常值并行检测装置。
本发明的第三个目的在于提供一种动态对象异常值并行检测系统。
本发明的第四个目的在于提供一种计算机设备。
本发明的第五个目的在于提供一种存储介质。
本发明的第一个目的可以通过采取如下技术方案达到:
一种动态对象异常值并行检测方法,包括:
以第一图像为参考,通过跟踪单元估计第二图像的相机位姿信息,即位姿估计过程,进而得到后一关键帧列表;
根据前一关键帧列表选择语义关键帧,并通过语义分割单元和聚类算法单元对所述语义关键帧进行语义分割和聚类分析以检测对应的动态对象异常值,即检测过程;
以上操作中,位姿估计过程和检测过程并行进行;
其中,图像针对环境获取,包括彩色图像和深度图像;
其中,所述检测过程,包括:
根据语义分割单元对所述语义关键帧进行语义分割得到语义便签信息;
根据聚类算法单元对所述语义关键帧进行聚类分析得到动态特征点;
根据所述语义便签信息和所述动态特征点进行相互验证得到完整的动态区域;
根据所述动态区域检测ORB特征点,完成动态对象异常值的检测。
优选地,所述语义关键帧包括两帧图像;
所述根据聚类算法单元对所述语义关键帧进行聚类分析得到动态特征点,包括:
根据聚类算法单元包括的DBSCAN聚类算法,分别对两帧图像进行聚类分析,以筛选出相应的动态对象的特征点簇和静态环境的特征点簇;
计算两帧图像中对应特征点簇之间的变换矩阵,并与优化后的所述变换矩阵进行差值对比,其中,优化方法为全局光束平差法;
将差值超过阈值的特征点簇标定为动态特征点。
优选地,所述根据前一关键帧列表选择语义关键帧,包括:
以双向模型的选择形式对前一关键帧列表的关键帧进行语义关键帧的选择。
优选地,所述前一关键帧列表中,即使关键帧没有像素语义信息,仍进行检测过程,同时位姿估计过程继续被执行。
优选地,还包括:
基于去除动态对象异常值后的前一关键帧列表,对实时获得的关键帧进行局部建图,得到局部地图;
根据所述关键帧进行回环检测,以及构建动态场景下的全局地图并根据全局光束平差法进行优化。
优选地,通过所述局部地图对位姿估计过程进行优化;所述跟踪单元不参与地图的构建。
本发明的第二个目的可以通过采取如下技术方案达到:
一种动态对象异常值并行检测装置,包括:
位姿估计和关键帧列表获取模块,用于以第一图像为参考,通过跟踪单元估计第二图像的相机位姿信息,即位姿估计过程,进而得到后一关键帧列表;
语义关键帧选择和动态对象异常值检测模块,用于根据前一关键帧列表选择语义关键帧,并通过语义分割单元和聚类算法单元对所述语义关键帧进行语义分割和聚类分析以检测对应的动态对象异常值,即检测过程;
以上模块中,位姿估计过程和检测过程并行进行;
其中,图像针对环境获取,包括彩色图像和深度图像;
其中,动态对象异常值检测模块,包括:
语义分割子模块,用于根据语义分割单元对所述语义关键帧进行语义分割得到语义便签信息;
聚类分析子模块,用于根据聚类算法单元对所述语义关键帧进行聚类分析得到动态特征点;
验证子模块,用于根据所述语义便签信息和所述动态特征点进行相互验证得到完整的动态区域;
检测子模块,用于根据所述动态区域检测ORB特征点,完成动态对象异常值的检测。
本发明的第三个目的可以通过采取如下技术方案达到:
一种动态对象异常值并行检测系统,包括:
相机单元,搭载在移动平台上,用于拍摄周围环境的图像数据;
相机单元、跟踪单元、语义分割单元和聚类算法单元,均与处理器单元连接;
处理器单元,用于实现上述的动态对象异常值并行检测方法。
本发明的第四个目的可以通过采取如下技术方案达到:
一种计算机设备,包括处理器以及用于存储处理器可执行程序的存储器,所述处理器执行存储器存储的程序时,实现上述的动态对象异常值并行检测方法。
本发明的第五个目的可以通过采取如下技术方案达到:
一种存储介质,存储有程序,所述程序被处理器执行时,实现上述的动态对象异常值并行检测方法。
本发明相对于现有技术具有如下的有益效果:
1、本发明实施例针对已有的传统视觉SLAM检测动态对象的几何方法无法对暂时静止的动态信息进行有效剔除的问题和语义分割预处理方法实时性的不足、分割结果不全的问题,通过建立语义分割模型和聚类算法模型的独立线程,使语义分割线程、聚类算法线程、跟踪线程并行计算,减少相机运动中需要等待语义分割信息结果的时间,进一步提高了相机初始化时间的能力和相机运动的实时帧率;
2、本发明实施例相对已有的基于语义分割处理视觉SLAM检测动态对象的方法,加入了聚类算法模型,能够克服已有方法对动态对象分割残缺不全、部分动态对象无法获得语义标签的问题,使得最终检测出的动态对象覆盖面更广、更精确,极大增强了在动态环境下视觉SLAM算法的鲁棒性;
3、本发明实施例构建了一种应用于三维空间的无监督学习的聚类算法模型,该模型通过动态对象和静态环境之间预测出的相机位姿的差异性和同一对象的特征点较为集中这一特点,利用DBSCAN聚类算法中的“密度传播性”,从而有效地对动态对象与静态环境进行聚类分析,并通过计算各簇的变换矩阵与关键帧全局变换矩阵对比,提升动态特征点的命中率。基于聚类算法识别产生的动态特征点,与语义分割处理后的特征点信息进行校对,补全缺少的部分无语义标签的动态对象特征点,进一步减少动态信息对SLAM假阳性回环检测的概率;
4、本发明实施例建立了一种基于机器学习语义分割和聚类算法结合的动态对象异常值的检测模型,该模型基于卷积神经网络、深度残差网络和无监督DBSCAN聚类算法等机器学习网络和算法,对各种网络和算法进行调优结合,确保了最大程度地检测出相机运动中的动态信息,该模型相对已有的基于语义分割预处理检测动态对象的方法具有响应时间快、多线程并行运算、动态特征点识别率高的优点,配置运行所需设备、环境要求低,鲁棒性高,具有更高的现实应用价值。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图示出的结构获得其他的附图。
图1为本发明实施例1的动态对象异常值并行检测系统的结构框图。
图2为本发明实施例1的动态对象异常值并行检测方法的具体流程图。
图3为本发明实施例1的动态对象异常值并行检测方法的简要流程图。
图4为本发明实施例1的图像跟踪的处理流程图。
图5为本发明实施例1的Mask R-CNN的网络结构图。
图6为本发明实施例1的语义分割单元和聚类算法单元的处理流程图。
图7为本发明实施例2的动态对象异常值并行检测装置的结构框图。
图8为本发明实施例3的计算机设备的结构框图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整的描述,显然,所描述的实施例是本发明的一部分实施例,而不是全部的实施例,基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
实施例1:
如图1所示,本实施例提供了一种动态对象异常值并行检测系统,该系统包括:相机单元101,搭载在移动平台上,用于拍摄周围环境的图像数据;相机单元101、跟踪单元103、语义分割单元104和聚类算法单元105,均与处理器单元102连接;处理器单元102,用于实现下述的动态对象异常值并行检测方法。
本实施例中,移动平台为机器人,相机单元101包括RGB-D相机。
进一步地,该系统还包括:与处理器单元连接的后端单元,其中后端单元,用于执行局部地图映射线程、全局BA优化线程及回环检测线程等。
如图2和图3所示,本实施例还提供了一种动态对象异常值并行检测方法,该方法包括如下步骤:
S201、以第一图像为参考,通过跟踪单元估计第二图像的相机位姿信息,即位姿估计过程,进而得到后一关键帧列表。
本步骤之前,通过机器人搭载的RGB-D相机拍摄周围环境的图像数据,然后获取图像数据,其中,图像包括彩色图像和深度图像。
本步骤中,关键帧列表的获取过程,包括:
关键帧由ORBSLAM3算法选择,并将其依次插入关键帧列表(Key-Frames List,KF)中;选择的关键帧会在后续的语义分割单元、基于语义优化和局部地图映射等线程中调用。
本实施例中,第一图像为上一帧图像,第二图像为当前帧图像,其中,上一帧图像到当前帧图像的时间间隔为预设值;相机位姿信息如相机角度。
另一实施例中,第一图像为相机运动前所拍摄的图像,第二图像为相机运动后所拍摄的图像。
如图4所示,本步骤中,通过跟踪单元的跟踪线程,将第一图像与第二图像进行对比,估计第二图像的初始相机位姿。
此外,通过局部地图对跟踪线程进行进一步优化;其中,跟踪单元不参与地图的构建。
S202、根据前一关键帧列表选择语义关键帧,并通过语义分割单元和聚类算法单元对所述语义关键帧进行语义分割和聚类分析以检测对应的动态对象异常值,即检测过程。
本步骤之前,向语义分割线程、聚类分析线程请求语义便签信息和聚类分析。
本步骤中,前一关键帧列表的获取过程参考S201,不再赘述;根据前一关键帧列表选择语义关键帧,包括:
以双向模型的选择形式对前一关键帧列表的关键帧进行语义关键帧的选择。
具体地,以双向模型的选择形式选择语义关键帧的规则,包括:
第一轮时,时间t=2,先选择关键帧KF0和KF1;假设完成语义分割后的时间t=12,这时选择新的语义关键帧,选择KF2和KF6作为语义关键帧;假设完成第二轮语义分割后的时间t=22,则在下一轮选择KF3和KF11作为语义关键帧;以此类推,其中已获取语义分割的关键帧不再被选择为语义关键帧以再次进行语义分割。
值得注意的是,设定关键帧每两秒取一次,例如:在t=0时KF列表有初始关键帧[KF0],在t=2时KF列表有[KF0,KF1],在t=4时KF列表有[KF0,KF1,KF2],在t=6时KF列表有[KF0,KF1,KF2,KF3],如此类推。
与现有技术不同的是,本实施例提供的并行线程处理模型在处理过程中前几关键帧由于没有语义信息,且跟踪线程的处理速度通常比语义分割线程和聚类分析线程快,因此可能会存在因动态对象积累过多而导致大量错误的情况。为此,为KF列表中前端的关键帧依次提供语义分割线程和聚类分析线程,以纠正初始相机位姿。
值得一提的是,上述规则可以进一步缩短语义延迟,尽可能使用最新的语义信息。
本实施例的检测过程,包括:
S2021、根据语义分割单元对所述语义关键帧进行语义分割得到语义便签信息。
可优选地,语义分割单元包括的语义分割网络模型包括其中之一:Mask R-CNN、FCN、U-Net和DeepLabv3+;如图5所示,选择Mask R-CNN作为本实施例的语义分割网络模型;Mask R-CNN是将物体检测和语义分割结合起来的网络模型,可以达到实例分割的效果,使分割信息更加精准,且与FasterR-CNN使用VGG作为Backbone不同,Mask R-CNN使用50层或101层的深度残差神经网络作为Backbone,解决了深层网络中的退化问题,让神经网络某些层跳过下一层神经元的连接,隔层相连,弱化每层之间的前联系,使最终语义分割网络模型的训练结果更佳;Mask R-CNN使用MS COCO训练集进行训练。
本步骤中,彩色图像输入训练好的Mask R-CNN,从而获得语义便签信息;在后续利用语义信息剔除图像中先验动态物体上的特征点。
S2022、根据聚类算法单元对所述语义关键帧进行聚类分析得到动态特征点。
本步骤中,语义关键帧包括两帧图像,例如:KF2和KF6,分别指代I1和I2。
本步骤,具体包括:
S20221、根据聚类算法单元包括的DBSCAN聚类算法,分别对两帧图像进行聚类分析,以筛选出相应的动态对象的特征点簇和静态环境的特征点簇。
以其中一帧图像为例,利用选择后的语义关键帧的彩色图像和对应的深度图像进行无监督的DBSCAN聚类分析,从而筛选出动静特征点簇;具体地,设定相机坐标下的任一特征点坐标为x [x1,y1,z1],基于r半径球体:(X-x1)2+(Y-y1)2+(Z-z1)2=r2中所囊括的其余特征点设置为直接密度可达特征点,若囊括的直接密度可达特征点数量达到m,则形成对应的簇;对簇内的特征点重复上述操作,若簇内直接密度可达特征点亦囊括新的特征点,则此类特征点到点x为密度可达,合并在同一个簇中,已遍历的特征点不再重复操作,也就是直接密度可达的“传播”。上述半径r取值为0.1m,m取值为4。无监督的DBSCAN聚类算法通过基于动态对象与静态环境深度互相独立的特点,可以把在同一个对象内的特征点进行聚类。
S20222、计算两帧图像中对应特征点簇之间的变换矩阵,并与优化后的所述变换矩阵进行差值对比,其中,优化方法为全局光束平差法。
本步骤中,定义变换矩阵类型为[R|t]的3×4的增广矩阵,其中,R表示旋转信息,t表示平移信息。考虑到某簇中的特征点P,它的齐次坐标为P=(X,Y,Z,1) T 。在图像I1中,投影到特征点x1=(u1,v1,1) T ;此时,相机的位姿R,t是未知的,将其展开形式列写如下:
,
需要说明的是,深度图像仅提供计算所需要使用到的深度信息Z。
S20223、将差值超过阈值的特征点簇标定为动态特征点。
需要说明的是,因为图像I1和图像I2之间的特征点3D已知,所以可以简单地获得变换矩阵;通过对不同簇之间的变换矩阵和总体的图像优化后的变换矩阵进行对比,可以找出异常值特征点簇,并将其标记为动态特征点。
S2023、根据所述语义便签信息和所述动态特征点进行相互验证得到完整的动态区域。
本步骤中,根据语义分割的结果,获取动态特征点的语义标签;聚类算法提取出来的动态特征点所获取的语义标签与对应区域Mask R-CNN的检测结果进行相互验证,得到完整的动态区域。
S2024、根据所述动态区域检测ORB特征点,完成动态对象异常值的检测。
本步骤中,检测所述动态区域上的ORB特征点,即完成动态对象异常值的检测。
之后,过滤掉所述动态区域上的ORB特征点,即去除图像中动态对象异常值,从而达到剔除动态物体的效果,其中,图像为彩色图像。
另外,上述S2021~S2024亦可参考图6。
本实施例中,该方法还包括:
S203、基于去除动态对象异常值后的前一关键帧列表,对实时获得的关键帧进行局部建图,得到局部地图。
S204、根据所述关键帧进行回环检测,以及构建动态场景下的全局地图并根据全局光束平差法进行优化。
重复执行S201~S204,直至图像数据被处理完成。
本领域技术人员可以理解,实现上述实施例的方法中的全部或部分步骤可以通过程序来指令相关的硬件来完成,相应的程序可以存储于计算机可读存储介质中。
应当注意,尽管在附图中以特定顺序描述了上述实施例的方法操作,但是这并非要求或者暗示必须按照该特定顺序来执行这些操作,或是必须执行全部所示的操作才能实现期望的结果。相反,描绘的步骤可以改变执行顺序。附加地或备选地,可以省略某些步骤,将多个步骤合并为一个步骤执行,和/或将一个步骤分解为多个步骤执行。
实施例2:
如图7所示,本实施例提供了一种动态对象异常值并行检测装置,该装置包括位姿估计和关键帧列表获取模块701和语义关键帧选择和动态对象异常值检测模块702,各个模块的具体功能如下:
位姿估计和关键帧列表获取模块701,用于以第一图像为参考,通过跟踪单元估计第二图像的相机位姿信息,即位姿估计过程,进而得到后一关键帧列表;
语义关键帧选择和动态对象异常值检测模块702,用于根据前一关键帧列表选择语义关键帧,并通过语义分割单元和聚类算法单元对所述语义关键帧进行语义分割和聚类分析以检测对应的动态对象异常值,即检测过程;
以上模块中,位姿估计过程和检测过程并行进行;
其中,图像针对环境获取,包括彩色图像和深度图像;
其中,动态对象异常值检测模块,包括:
语义分割子模块,用于根据语义分割单元对所述语义关键帧进行语义分割得到语义便签信息;
聚类分析子模块,用于根据聚类算法单元对所述语义关键帧进行聚类分析得到动态特征点;
验证子模块,用于根据所述语义便签信息和所述动态特征点进行相互验证得到完整的动态区域;
检测子模块,用于根据所述动态区域检测ORB特征点,完成动态对象异常值的检测。
实施例3:
如图8所示,本实施例提供了一种计算机设备,其包括通过系统总线801连接的处理器802、存储器、输入装置803、显示装置804和网络接口805。其中,处理器802用于提供计算和控制能力,存储器包括非易失性存储介质806和内存储器807,该非易失性存储介质806存储有操作系统、计算机程序和数据库,该内存储器807为非易失性存储介质806中的操作系统和计算机程序的运行提供环境,计算机程序被处理器802执行时,实现上述实施例1的动态对象异常值并行检测方法,如下:
以第一图像为参考,通过跟踪单元估计第二图像的相机位姿信息,即位姿估计过程,进而得到后一关键帧列表;
根据前一关键帧列表选择语义关键帧,并通过语义分割单元和聚类算法单元对所述语义关键帧进行语义分割和聚类分析以检测对应的动态对象异常值,即检测过程;
以上操作中,位姿估计过程和检测过程并行进行;
其中,图像针对环境获取,包括彩色图像和深度图像;
其中,所述检测过程,包括:
根据语义分割单元对所述语义关键帧进行语义分割得到语义便签信息;
根据聚类算法单元对所述语义关键帧进行聚类分析得到动态特征点;
根据所述语义便签信息和所述动态特征点进行相互验证得到完整的动态区域;
根据所述动态区域检测ORB特征点,完成动态对象异常值的检测。
实施例4:
本实施例提供一种存储介质,该存储介质为计算机可读存储介质,其存储有计算机程序,所述计算机程序被处理器执行时,实现上述实施例1的动态对象异常值并行检测方法,如下:
以第一图像为参考,通过跟踪单元估计第二图像的相机位姿信息,即位姿估计过程,进而得到后一关键帧列表;
根据前一关键帧列表选择语义关键帧,并通过语义分割单元和聚类算法单元对所述语义关键帧进行语义分割和聚类分析以检测对应的动态对象异常值,即检测过程;
以上操作中,位姿估计过程和检测过程并行进行;
其中,图像针对环境获取,包括彩色图像和深度图像;
其中,所述检测过程,包括:
根据语义分割单元对所述语义关键帧进行语义分割得到语义便签信息;
根据聚类算法单元对所述语义关键帧进行聚类分析得到动态特征点;
根据所述语义便签信息和所述动态特征点进行相互验证得到完整的动态区域;
根据所述动态区域检测ORB特征点,完成动态对象异常值的检测。
需要说明的是,本实施例的计算机可读存储介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
在本实施例中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本实施例中,计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读存储介质,该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读存储介质上包含的计算机程序可以用任何适当的介质传输,包括但不限于:电线、光缆、RF(射频)等等,或者上述的任意合适的组合。
上述计算机可读存储介质可以以一种或多种程序设计语言或其组合来编写用于执行本实施例的计算机程序,上述程序设计语言包括面向对象的程序设计语言—诸如Java、Python、C++,还包括常规的过程式程序设计语言—诸如C语言或类似的程序设计语言。程序可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络,包括局域网(LAN)或广域网(WAN)连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
综上所述,本发明可以提高对机器人图像的帧率识别水平,有效地减少语义网络可能出现的分割对象残缺不全、动态对象去除不彻底的现象,解决地图初始化困难及假阳性回环检测的问题,进一步提高建图水平。
以上所述,仅为本发明专利较佳的实施例,但本发明专利的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明专利所公开的范围内,根据本发明专利的技术方案及其发明构思加以等同替换或改变,都属于本发明专利的保护范围。
Claims (9)
1.一种动态对象异常值并行检测方法,其特征在于,包括:
以第一图像为参考,通过跟踪单元估计第二图像的相机位姿信息,即位姿估计过程,进而得到后一关键帧列表;
根据前一关键帧列表选择语义关键帧,并通过语义分割单元和聚类算法单元对所述语义关键帧进行语义分割和聚类分析以检测对应的动态对象异常值,即检测过程;
以上操作中,位姿估计过程和检测过程并行进行;
其中,图像针对环境获取,包括彩色图像和深度图像;
其中,所述检测过程,包括:
根据语义分割单元对所述语义关键帧进行语义分割得到语义便签信息;
根据聚类算法单元对所述语义关键帧进行聚类分析得到动态特征点;
根据所述语义便签信息和所述动态特征点进行相互验证得到完整的动态区域;
根据所述动态区域检测ORB特征点,完成动态对象异常值的检测;
其中,语义分割操作和聚类分析操作并行执行;
所述根据前一关键帧列表选择语义关键帧,包括:
以双向模型的选择形式对前一关键帧列表的关键帧进行语义关键帧的选择;
所述以双向模型的选择形式对前一关键帧列表的关键帧进行语义关键帧的选择,包括:
设定关键帧的抽取频率,根据所述抽取频率抽取关键帧;
在首轮语义分割起始时间点之前,抽取以获得初始关键帧;
在每轮语义分割起始时间点,选择第一语义关键帧和第二语义关键帧,直至完成前一关键帧列表中所有语义关键帧的选择;其中,上一轮第一语义关键帧和下一轮第一语义关键帧相邻,首轮第一语义关键帧为初始关键帧,第二语义关键帧为在每轮语义分割起始时间点被抽取的关键帧。
2.根据权利要求1所述方法,其特征在于,所述语义关键帧包括两帧图像;
所述根据聚类算法单元对所述语义关键帧进行聚类分析得到动态特征点,包括:
根据聚类算法单元包括的DBSCAN聚类算法,分别对两帧图像进行聚类分析,以筛选出相应的动态对象的特征点簇和静态环境的特征点簇;
计算两帧图像中对应特征点簇之间的变换矩阵,并与优化后的所述变换矩阵进行差值对比,其中,优化方法为全局光束平差法;
将差值超过阈值的特征点簇标定为动态特征点。
3.根据权利要求1所述方法,其特征在于,所述前一关键帧列表中,即使关键帧没有像素语义信息,仍进行检测过程,同时位姿估计过程继续被执行。
4.根据权利要求1所述方法,其特征在于,还包括:
基于去除动态对象异常值后的前一关键帧列表,对实时获得的关键帧进行局部建图,得到局部地图;
根据所述关键帧进行回环检测,以及构建动态场景下的全局地图并根据全局光束平差法进行优化。
5.根据权利要求4所述方法,其特征在于,通过所述局部地图对位姿估计过程进行优化;所述跟踪单元不参与地图的构建。
6.一种动态对象异常值并行检测装置,其特征在于,包括:
位姿估计和关键帧列表获取模块,用于以第一图像为参考,通过跟踪单元估计第二图像的相机位姿信息,即位姿估计过程,进而得到后一关键帧列表;
语义关键帧选择和动态对象异常值检测模块,用于根据前一关键帧列表选择语义关键帧,并通过语义分割单元和聚类算法单元对所述语义关键帧进行语义分割和聚类分析以检测对应的动态对象异常值,即检测过程;
以上模块中,位姿估计过程和检测过程并行进行;
其中,图像针对环境获取,包括彩色图像和深度图像;
其中,动态对象异常值检测模块,包括:
语义分割子模块,用于根据语义分割单元对所述语义关键帧进行语义分割得到语义便签信息;
聚类分析子模块,用于根据聚类算法单元对所述语义关键帧进行聚类分析得到动态特征点;
验证子模块,用于根据所述语义便签信息和所述动态特征点进行相互验证得到完整的动态区域;
检测子模块,用于根据所述动态区域检测ORB特征点,完成动态对象异常值的检测;
其中,语义分割操作和聚类分析操作并行执行;
所述根据前一关键帧列表选择语义关键帧,包括:
以双向模型的选择形式对前一关键帧列表的关键帧进行语义关键帧的选择;
所述以双向模型的选择形式对前一关键帧列表的关键帧进行语义关键帧的选择,包括:
设定关键帧的抽取频率,根据所述抽取频率抽取关键帧;
在首轮语义分割起始时间点之前,抽取以获得初始关键帧;
在每轮语义分割起始时间点,选择第一语义关键帧和第二语义关键帧,直至完成前一关键帧列表中所有语义关键帧的选择;其中,上一轮第一语义关键帧和下一轮第一语义关键帧相邻,首轮第一语义关键帧为初始关键帧,第二语义关键帧为在每轮语义分割起始时间点被抽取的关键帧。
7.一种动态对象异常值并行检测系统,其特征在于,包括:
相机单元,搭载在移动平台上,用于拍摄周围环境的图像数据;
相机单元、跟踪单元、语义分割单元和聚类算法单元,均与处理器单元连接;
处理器单元,用于实现权利要求1-5任一项所述方法。
8.一种计算机设备,包括处理器以及用于存储处理器可执行程序的存储器,其特征在于,所述处理器执行存储器存储的程序时,实现权利要求1-5任一项所述方法。
9.一种存储介质,存储有程序,其特征在于,所述程序被处理器执行时,实现权利要求1-5任一项所述方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310069765.XA CN115797412B (zh) | 2023-02-07 | 2023-02-07 | 动态对象异常值并行检测方法、装置、系统、设备及介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310069765.XA CN115797412B (zh) | 2023-02-07 | 2023-02-07 | 动态对象异常值并行检测方法、装置、系统、设备及介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115797412A CN115797412A (zh) | 2023-03-14 |
CN115797412B true CN115797412B (zh) | 2023-05-16 |
Family
ID=85430112
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310069765.XA Active CN115797412B (zh) | 2023-02-07 | 2023-02-07 | 动态对象异常值并行检测方法、装置、系统、设备及介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115797412B (zh) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022041596A1 (zh) * | 2020-08-31 | 2022-03-03 | 同济人工智能研究院(苏州)有限公司 | 一种适用于室内动态环境的视觉slam方法 |
CN114898062A (zh) * | 2022-05-28 | 2022-08-12 | 广东工业大学 | 一种基于动态场景下slam的地图构建方法及装置 |
-
2023
- 2023-02-07 CN CN202310069765.XA patent/CN115797412B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022041596A1 (zh) * | 2020-08-31 | 2022-03-03 | 同济人工智能研究院(苏州)有限公司 | 一种适用于室内动态环境的视觉slam方法 |
CN114898062A (zh) * | 2022-05-28 | 2022-08-12 | 广东工业大学 | 一种基于动态场景下slam的地图构建方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
CN115797412A (zh) | 2023-03-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110427905B (zh) | 行人跟踪方法、装置以及终端 | |
US11643076B2 (en) | Forward collision control method and apparatus, electronic device, program, and medium | |
CN108764048B (zh) | 人脸关键点检测方法及装置 | |
CN108921782B (zh) | 一种图像处理方法、装置及存储介质 | |
CN110443210B (zh) | 一种行人跟踪方法、装置以及终端 | |
CN108446585A (zh) | 目标跟踪方法、装置、计算机设备和存储介质 | |
WO2019020103A1 (zh) | 目标识别方法、装置、存储介质和电子设备 | |
WO2023016271A1 (zh) | 位姿确定方法、电子设备及可读存储介质 | |
CN110189390B (zh) | 一种单目视觉slam方法及系统 | |
CN113378605B (zh) | 多源信息融合方法及装置、电子设备和存储介质 | |
CN111192312B (zh) | 基于深度学习的深度图像获取方法、装置、设备及介质 | |
CN112270745B (zh) | 一种图像生成方法、装置、设备以及存储介质 | |
CN109508636A (zh) | 车辆属性识别方法、装置、存储介质及电子设备 | |
CN103810696A (zh) | 一种目标对象图像检测方法及装置 | |
CN113850136A (zh) | 基于yolov5与BCNN的车辆朝向识别方法及系统 | |
CN112070035A (zh) | 基于视频流的目标跟踪方法、装置及存储介质 | |
CN114037087B (zh) | 模型训练方法及装置、深度预测方法及装置、设备和介质 | |
CN114740867A (zh) | 基于双目视觉的智能避障方法、装置、机器人及介质 | |
CN113902932A (zh) | 特征提取方法、视觉定位方法及装置、介质和电子设备 | |
CN118071873A (zh) | 一种在动态环境下稠密高斯地图重建方法及系统 | |
CN115797412B (zh) | 动态对象异常值并行检测方法、装置、系统、设备及介质 | |
CN112435274A (zh) | 一种基于面向对象分割的遥感影像面状地物提取方法 | |
Ji et al. | DRV-SLAM: An Adaptive Real-Time Semantic Visual SLAM Based on Instance Segmentation Toward Dynamic Environments | |
CN112655021A (zh) | 图像处理方法、装置、电子设备和存储介质 | |
CN116012609A (zh) | 一种环视鱼眼多目标跟踪方法、装置、电子设备及介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |