CN113744397B - 一种实时的物体级语义地图构建和更新方法及装置 - Google Patents
一种实时的物体级语义地图构建和更新方法及装置 Download PDFInfo
- Publication number
- CN113744397B CN113744397B CN202110873426.8A CN202110873426A CN113744397B CN 113744397 B CN113744397 B CN 113744397B CN 202110873426 A CN202110873426 A CN 202110873426A CN 113744397 B CN113744397 B CN 113744397B
- Authority
- CN
- China
- Prior art keywords
- map
- semantic
- points
- map points
- objects
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 43
- 238000010276 construction Methods 0.000 title claims abstract description 17
- 230000008859 change Effects 0.000 claims abstract description 7
- 238000004088 simulation Methods 0.000 claims description 12
- 238000004422 calculation algorithm Methods 0.000 claims description 11
- 238000004364 calculation method Methods 0.000 claims description 10
- 238000012360 testing method Methods 0.000 claims description 7
- 238000012800 visualization Methods 0.000 claims description 7
- 230000001174 ascending effect Effects 0.000 claims description 6
- 230000002452 interceptive effect Effects 0.000 claims description 4
- 238000013507 mapping Methods 0.000 claims description 4
- 239000003086 colorant Substances 0.000 claims description 3
- 238000004891 communication Methods 0.000 claims description 3
- 230000002093 peripheral effect Effects 0.000 claims description 3
- 238000002372 labelling Methods 0.000 claims description 2
- 230000008447 perception Effects 0.000 abstract description 4
- 238000013473 artificial intelligence Methods 0.000 abstract description 2
- 230000000875 corresponding effect Effects 0.000 description 14
- 230000007774 longterm Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 230000004927 fusion Effects 0.000 description 5
- 230000008034 disappearance Effects 0.000 description 3
- 230000007613 environmental effect Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 239000003795 chemical substances by application Substances 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/05—Geographic models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/54—Browsing; Visualisation therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/587—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using geographical or spatial information, e.g. location
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Library & Information Science (AREA)
- Software Systems (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Geometry (AREA)
- Computer Graphics (AREA)
- Remote Sensing (AREA)
- Computer Hardware Design (AREA)
- Architecture (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种实时的物体级语义地图构建及更新方法,属于人工智能中机器人的定位和建图技术领域,所述方法包括以下步骤:S1、对二维语义框进行缩放,消除语义框的重叠情况;S2、对同一帧图像中的物体地图点进行分类,对不同帧图像的地图点进行数据关联;S3、合并地图中同个物体被拆分为多个物体的地图点;S4、根据关键帧的共视关系,统计局部地图中物体;S5、计算当前帧对应的物体点云与局部地图中已有同类物体的相似度;S6、根据物体变化情况以整个物体对应的地图点为单位对地图更新。本发明采用单目相机实时构建轻量的物体级稀疏点云地图,并通过语义信息辅助地图的更新,能够满足物体级感知需求,同时实现机器人地图的更新以便长期复用。
Description
技术领域
本发明属于人工智能中机器人的定位和建图技术领域,具体涉及一种实时的物体级语义地图构建及更新方法。
背景技术
机器人或其它移动感知智能体的落地应用需要满足长期部署的要求,即能够在每日变化的场景中长期稳定的感知定位。此外,移动机器人要实现对未知环境的理解,需要明确环境中各种物体的属性,以便能够和环境做进一步的交互。目前研究存在以下两点问题:
(1)物体级定位感知系统的实时性依赖于成本高昂的硬件,否则实时性难以保证
视觉定位感知系统的主要成本开销在于传感器和运算平台。实时性主要取决于算法和运算平台的算力。视觉传感器可分为深度相机和普通的单目相机。深度相机如双目相机,通过视差原理获取深度信息,但逐个像素视差的计算需要消耗较多算力;深度相机如RGB-D相机,可以直接获取深度信息,但价格数十倍于单目相机。单目相机低廉轻巧,需要多视图才能计算深度信息,相比深度相机更具挑战性。算力与成本是正相关的,定位感知功能仅仅是智能终端的底层功能,通常不希望该功能占据系统全部资源,以便留给上层应用足够的算力。
(2)机器人长期部署中,环境特征变化导致维护复用地图困难
在机器人的长期部署中,环境的变化难以避免,造成原有地图的定位特征发成变化,导致依赖于该特征的重定位发生偏差,长期的环境变化往往造成基于原有的地图无法重新定位,以至于地图无法重复使用。重新建图又将会花费大量的物力财力。
发明内容
针对现有技术中存在的缺陷,本发明的目的是提供一种实时的物体级语义地图构建及更新方法,该方法能够满足物体级感知需求,同时能够实现机器人地图的更新以便长期复用。
为达到以上目的,本发明采用的技术方案是:
一种实时的物体级语义地图构建及更新方法,所述方法通过实时物体级语义地图构建及更新系统实现,所述系统包括实物平台和仿真平台,每个所述平台包括操作系统层、驱动层和硬件层;所述实物平台作为下位机是独立的数据处理中心,所述仿真平台位于上位机,用于下位机的数据远程可视化和环境仿真;
所述实物平台的操作系统层包括追踪线程模块、语义线程模块、重定位线程模块和地图更新模块,通过将所述追踪线程模块得到的三维地图点信息和所述语义线程模块得到的二维语义框融合,实现物体级语义地图的构建;通过所述重定位线程模块和地图更新模块实现物体级语义地图的复用和更新;
所述实物平台的硬件层包括单目相机、移动底盘和交互屏幕,所述单目相机设置在所述移动底盘上,通过所述移动底盘带动所述单目相机运动获取周围环境的图像信息;
所述实物平台的驱动层包括图像数据采集模块和底盘运动控制模块,通过所述图像数据采集模块驱动所述单目相机,通过所述底盘运动控制模块控制所述移动底盘的运动;
所述操作系统层和驱动层,所述驱动层和硬件层之间通信连接;
所述系统通过以下步骤实现物体级语义地图的构建:
S1、对二维语义框进行缩放,消除语义框的重叠情况,具体步骤包括:
S11、通过YOLO3算法得到场景物体的矩形语义框;
S12、根据语义框的类别,设置固定的颜色以便可视化;
S13、计算语义框的对角长度,根据所述对角长度对语义框进行缩放以消除语义框的重叠情况;
S2、对同一帧图像中的物体地图点进行分类,对不同帧图像的地图点进行数据关联,具体步骤包括:
S21、对通过ORB-SLAM2算法提取的特征点进行语义标记;
S22、根据特征点与地图点的映射关系,索引到对应的地图点并进行语义标记;
S23、判断每一帧图像的语义地图点归属于地图中的某个物体或判定为新物体,具体判断方法为:
采用当前帧地图点与已有物体地图点的重合程度判断该帧物体与已有物体的差异性,如果差异性小于设定阈值,则归为同一物体,如果差异性大于设定阈值或者为不曾出现的类别,则判定为一个新物体;
所述重合程度的计算方法为:
当前帧中的一个物体objx的N个地图点集合为objx=[px1,px2,…,pxn],其中p=[x,y,z]T为地图点的三维坐标,地图中已有同类物体M个{obj1,obj2,...objm},Sm为已有第m个物体与objx中重合地图点的个数,则重合程度
S3、对地图中同个物体被拆分为多个物体的地图点进行合并,具体步骤包括:
S31、计算物体地图点的形心和半径,其中形心的计算方法为:
半径r的计算方法为:
然后对ri进行升序排列,取物体外围点的平均半径r*作为物体的半径,此时
其中,N表示物体地图点的数量,一个地图点记做所有地图点记做其中,|P|=size(P),表示取向量P的维数;
S32、遍历同类物体的半径,用同类物体的平均半径作为该类物体的半径;
S33、根据物体的半径,对邻近的同类物体进行判断,对需要合并的物体地图点进行合并,所述判断方法为:
计算同类物体形心之间的距离,当距离小于设定半径阈值时,则合并该相邻的物体地图点为一个物体;
所述系统通过以下步骤实现物体级语义地图的更新:
S4、根据关键帧的共视关系,统计局部地图中的物体,具体步骤包括:
S41、根据关键帧的共视关系得到局部地图,局部地图由每一关键帧对应的地图点构成;
S42、对局部地图中每一关键帧中的物体进行统计,并建立关键帧与其对应物体的索引;
S5、计算当前帧所对应的物体点云与局部地图中已有同类物体的相似程度,具体步骤包括:
S51、遍历当前帧的物体,计算该物体的地图点与地图中同类物体地图点重合数量;
S52、根据重合数量得到相似程度,并根据所述相似程度进行相似性检验,其中所述相似程度的计算方法为:
相似程度=M/N
其中,N表示物体包含的地图点数量,M表示未被观测到的地图点个数;
所述相似性检验的具体步骤为:
对相似程度大于阈值的两个物体点云 进行判断,其中|PA|=size(PA),表示PA的维数,即物体点云PA包含的地图点个数;
如果PA、PB属于同一个物体,则PA、PB服从相同的概率分布,合并PA、PB的地图点,记混合样本对样本地图点的三个维度分别升序排列并编秩,对于样本PX定义统计量/>则有:
其中,R为混合样本的秩;
W=min(WA,WB)服从高斯分布N(μ,σ2),其均值μ和方差σ2的计算方法如下:
其中,τ∈PA∩PB;
假设PA、PB属于同一个物体,若该假设成立,则概率函数f满足:f(W)≥f(zr)=f(zl)=α/2,其中α为分位数,置信区间为[zl,zr];否则不是同一个物体,即不被当前帧观测;
S6、根据物体的变化情况以整个物体对应的地图点为单位对地图进行更新,具体步骤包括:
S61、根据S5的检验结果,判断原位置物体地图点是否被当前帧观测,并记录未被观测次数;
S62、根据观测次数的记录对多次评定为不能被观测到的物体,将其对应的地图点从地图中清除。
本发明的有益技术效果在于:
1、本发明采用轻巧的单目相机作为传感器获取图像,避免使用昂贵的深度相机,节约成本,有利于在消费级设备上部署;
2、本发明通过多线程技术维护稀疏的点云地图,使得系统更加高效和轻量,以便达到实时的要求;
3、本发明同时具有物体级的感知功能,可以满足更高级的场景交互任务;
4、本发明的语义感知与追踪采用模块化设计,语义感知的精度和范围可以根据需求组合;
5、本发明创新性的利用物体语义信息辅助地图的更新,来保证重定位的精度和地图的时效性。
附图说明
图1是本发明具体实施方式中提供的实时的物体级语义地图构建及更新方法流程框图;
图2是图1所述方法中系统的结构框图;
图3是图2所述系统的软件工作原理图;
图4是图1所述方法中数据融合原理图。
具体实施方式
下面结合附图和具体实施方式对本发明作进一步描述。
图1示出了本发明具体实施方式中提供的实时的物体级语义地图构建及更新方法流程框图,图2示出了用于实现图1中所述方法的系统结构框图,所述系统包括实物平台和仿真平台,每个平台包括操作系统层、驱动层和硬件层,实物平台作为下位机是独立的数据处理中心,所述仿真平台位于上位机,上位机用于下位机的数据远程可视化和环境仿真。
图3示出了图2所述系统的软件工作原理图,实物平台的操作系统层运行的算法采用多线程技术,包括追踪线程模块、语义线程模块、重定位线程模块和地图更新模块。通过将追踪线程模块得到的三维地图点信息和语义线程模块得到的二维语义框融合,实现物体级语义地图的构建,通过所述重定位线程模块和地图更新模块实现物体级语义地图的复用和更新。本实施例中,追踪线程模块基于ORB-SLAM2算法,语义线程模块基于YOLO3算法。
实物平台的硬件层包括单目相机、移动底盘和交互屏幕(比如触摸屏),单目相机设置在移动底盘上,单目相机用于获取环境图像,移动底盘用于承载单目相机采集环境信息,交互屏幕用于地图数据的操作及可视化。
实物平台的驱动层包括图像数据采集模块和底盘运动控制模块,图像数据采集模块用于驱动单目相机,底盘运动控制模块用于控制移动底盘的运动。
操作系统层和驱动层,驱动层和硬件层之间通信连接。
本实施例中,实物平台基于Kobuki通用轮式移动底盘,搭载了Nvidia Jetson AGXXavier ARM处理器、ubuntu18操作系统、8核CPU和32G内存,其内置一颗低性能的512核心Volta GPU,使得实时的语义SLAM成为可能。
本实施例中,仿真平台基于D-H参数法建立了机器人的模型并在RVIZ下可视化,基于Ros_control配置了底盘的差速控制器,在Gazebo仿真平台建立了机器人的物理仿真模型和场景。
本发明的主要创新性在于语义线程与追踪线程的数据融合和地图更新线程,实时性体现在程序对CPU、GPU资源的低占用率和对硬件平台的低要求,有效性体现在语义地图的融合效果以及地图更新方法对重定位的成功率的提升。
本发明所述的实时物体级语义地图构建及更新方法包括地图构建方法和地图更新方法两大部分,下面分别对这两部分的技术方案进行详细描述。
地图构建方法是对语义线程得到的二维语义框与追踪线程得到的三维地图点信息进行融合,从而得到带有语义信息地图点。地图构建方法包括以下步骤:
S1、对二维语义框进行缩放,消除语义框的重叠情况。
本步骤中具体步骤为:
S11、通过YOLO3算法得到场景物体的语义框。
语义框是物体在二维图像上的位置,记做R,本实施例中语义框采用矩形,也可以为其他形状。
S12、根据语义框的类别,设置固定的颜色以便可视化。
物体类别记做ID,根据物体ID生成固定的颜色以便可视化。
S13、根据语义框的对角长度,对语义框进行缩放消除语义框的重叠情况。
首先遍历当前帧的语义框,定义x、y为矩形语义框R的边长,计算语义框对角线的长度
根据语义框的对角长度l,对语义框进行缩放。例如,以语义框R1为参考,考虑语义框R2与R1的重叠情况,定义x1、y1和x2、y2分别为R1和R2的边长,dx、dy分别为矩形重叠区域的边长,根据l1、l2和dx、dy的相对大小对语义框进行缩放,缩放方案有以下几种:
语义框的缩放保证了在同一帧图像中,不同像素语义信息的唯一性,该方案在保证语义信息唯一性的情况下尽可能多的保留了语义信息。
S2、对同一帧图像中的物体地图点进行分类,对不同帧图像的地图点进行数据关联。
本步骤中具体步骤为:
S21、对通过ORB-SLAM2算法提取的特征点进行语义标记。
遍历当前帧通过ORB-SLAM2算法提取的特征点,对落入相应语义框的特征点标记为相应类别。
S22、根据特征点与地图点的映射关系,索引到对应的地图点并进行语义标记。
对于每一帧图像其中一个地图点,在不同帧间语义分类存在歧义时,以被最多次认定的语义类别作为该地图点的最终分类。
S23、确定每一帧图像的语义地图点归属于地图中的某个物体或判定为新物体。
数据融合过程是指对一帧图像察到的不同物体与其它帧的物体进行关联融合的过程,得到每个地图点归属于哪一个物体。图4示出了数据融合的原理,图中,ID表示物体的类型(如ID=39表示瓶子,ID=56表示椅子,ID=75表示花瓶)。采用当前帧地图点与已有物体地图点的重合程度判断该帧物体与已有物体的差异性,如果差异性小,则归为同一物体,如果差异性大或者为不曾出现的类别,则作为一个新物体处理,如图4中ID=75。
重合程度的计算方法为:当前帧中的一个物体objx的N个地图点集合为objx=[px1,px2,…,pxn],其中p=[x,y,z]T为地图点的三维坐标,地图中已有同类物体M个{obj1,obj2,...objm},Sm为已有第m个物体与objx中重合地图点的个数,则重合程度
数据关联和优化方法利用物体点云的空间关系,通过严格的差异性(重合程度)评判,保证能够区分邻近物体。
S3、对地图中同个物体被拆分为多个物体的地图点进行合并。
本步骤中具体步骤为:
S31、计算物体地图点的形心和半径。
首先计算物体地图点的形心,对于有N个地图点的物体,其中一个地图点记做所有地图点记做/>其中,|P|=size(P),表示取向量P的维数,如|P|表示该物体地图点的维数,即地图点的个数。形心/>的计算方法为:
半径r的计算方法为:
然后对ri进行升序排列,取物体外围点的平均半径r*作为物体的半径,此时
S32、遍历同类物体的半径,用同类物体的平均半径作为该类物体的半径。
S33、根据物体的半径,对邻近的同类物体进行判断,对需要合并的物体地图点进行合并。
计算同类物体形心之间的距离,当距离小于半径阈值,则合并该相邻的物体地图点为一个物体。
基于两个物体中心距离的方法判断两个物体的差异性,基于物体半径的方法确定合并阈值,保证了拆分开的物体能够被融合。
下面对地图更新方法进行详细描述。
地图更新是指删除地图中在场景里消失的物体,增加新出现的物体,从而使地图与环境保持一致。本发明利用语义信息通过地图点的对比来发现地图的变化情况,从物体的层面整体考虑该物体所在区域的变化情况。变化情况包括物体的替换、移动和消失。物体的替换指原位置物体的消失和原位置新物体的出现,物体的移动指原位置物体的消失和新位置物体的出现,新出现的地图点直接添加到地图中,因此地图的更新只需删除消失的物体地图点。地图更新方法包括以下步骤:
S4、根据关键帧的共视关系,统计局部地图中物体。
本步骤中具体步骤为:
S41、根据关键帧的共视关系得到局部地图,局部地图由每一关键帧对应的地图点构成。
两个至少具有15个共同观测地图点的关键帧被认为满足共视关系。更新最近观测到的物体,最近观测到物体指当前帧及之前最近10个关键帧所包含的物体,统计最近观测到的物体编号。
S42、对局部地图中每一关键帧中的物体进行统计,并建立关键帧与其对应物体的索引。
S5、计算当前帧所对应的物体点云与局部地图中已有同类物体的相似程度。
本步骤中具体步骤为:
S51、遍历当前帧的物体,计算该物体的地图点与地图中同类物体地图点重合数量。
遍历当前帧的物体,与局部地图中物体进行对比,对于局部地图中不被观测的物体,计算该物体的地图点与当前帧同类物体地图点的重合数量,对于包含了N个地图点物体,统计未被观测到的地图点个数,记为M。
S52、根据重合数量得到相似程度,据此进一步的进行相似性检验。
根据重合数量得到相似程度M/N,相似程度作为先验信息,进一步的对相似程度大于阈值的两个物体点云 进行判断,其中|PA|=size(PA),表示PA的维数,即物体点云PA包含的地图点个数。如果PA、PB属于同一个物体,则PA、PB服从相同的概率分布,合并PA、PB的地图点,记混合样本对样本地图点的三个维度分别升序排列并编秩,对于样本PX定义统计量/>
其中R为混合样本的秩。
W=min(WA,WB)服从高斯分布N(μ,σ2),其均值μ和方差σ2计算方法如下:
其中,τ∈PA∩PB。
假设PA、PB属于同一个物体,若该假设成立,则概率函数f满足:f(W)≥f(zr)=f(zl)=α/2,其中α为分位数,置信区间为[zl,zr]。否则不是同一个物体,即不被当前帧观测。
S6、根据物体的变化情况以整个物体对应的地图点为单位对地图进行更新。
本步骤中具体步骤为:
S61、根据S50的检验结果,判断原位置物体地图点是否被当前帧观测,并记录未被观测次数,未被观测次数记为{k1,k2,...km}。
S62、根据观测次数的记录对多次评定为不能被观测到的物体,将其对应的地图点从地图中清除。
本发明采用成本远低于深度相机的单目相机,实时构建轻量的物体级稀疏点云地图,并通过语义信息来辅助地图的更新,满足物体级感知需求的同时,最大限度的降低对平台算力的要求,对于实现机器人本地实时的定位感知、长期自治和实际应用具有重要意义。
上述实施例只是对本发明的举例说明,本发明也可以以其它的特定方式或其它的特定形式实施,而不偏离本发明的要旨或本质特征。因此,描述的实施方式从任何方面来看均应视为说明性而非限定性的。本发明的范围应由附加的权利要求说明,任何与权利要求的意图和范围等效的变化也应包含在本发明的范围内。
Claims (1)
1.一种实时的物体级语义地图构建及更新方法,其特征在于,所述方法通过实时物体级语义地图构建及更新系统实现,所述系统包括实物平台和仿真平台,每个所述平台包括操作系统层、驱动层和硬件层;所述实物平台作为下位机是独立的数据处理中心,所述仿真平台位于上位机,用于下位机的数据远程可视化和环境仿真;
所述实物平台的操作系统层包括追踪线程模块、语义线程模块、重定位线程模块和地图更新模块,通过将所述追踪线程模块得到的三维地图点信息和所述语义线程模块得到的二维语义框融合,实现物体级语义地图的构建;通过所述重定位线程模块和地图更新模块实现物体级语义地图的复用和更新;
所述实物平台的硬件层包括单目相机、移动底盘和交互屏幕,所述单目相机设置在所述移动底盘上,通过所述移动底盘带动所述单目相机运动获取周围环境的图像信息;
所述实物平台的驱动层包括图像数据采集模块和底盘运动控制模块,通过所述图像数据采集模块驱动所述单目相机,通过所述底盘运动控制模块控制所述移动底盘的运动;
所述操作系统层和驱动层,所述驱动层和硬件层之间通信连接;
所述系统通过以下步骤实现物体级语义地图的构建:
S1、对二维语义框进行缩放,消除语义框的重叠情况,具体步骤包括:
S11、通过YOLO3算法得到场景物体的矩形语义框;
S12、根据语义框的类别,设置固定的颜色以便可视化;
S13、计算语义框的对角长度,根据所述对角长度对语义框进行缩放以消除语义框的重叠情况;
S2、对同一帧图像中的物体地图点进行分类,对不同帧图像的地图点进行数据关联,具体步骤包括:
S21、对通过ORB-SLAM2算法提取的特征点进行语义标记;
S22、根据特征点与地图点的映射关系,索引到对应的地图点并进行语义标记;
S23、判断每一帧图像的语义地图点归属于地图中的某个物体或判定为新物体,具体判断方法为:
采用当前帧地图点与已有物体地图点的重合程度判断该帧物体与已有物体的差异性,如果差异性小于设定阈值,则归为同一物体,如果差异性大于设定阈值或者为不曾出现的类别,则判定为一个新物体;
所述重合程度的计算方法为:
当前帧中的一个物体objx的N个地图点集合为objx=[px1,px2,…,pxn],其中p=[x,y,z]T为地图点的三维坐标,地图中已有同类物体M个{obj1,obj2,...objm},Sm为已有第m个物体与objx中重合地图点的个数,则重合程度
S3、对地图中同个物体被拆分为多个物体的地图点进行合并,具体步骤包括:
S31、计算物体地图点的形心和半径,其中形心的计算方法为:
半径r的计算方法为:
然后对ri进行升序排列,取物体外围点的平均半径r*作为物体的半径,此时
其中,N表示物体地图点的数量,一个地图点记做所有地图点记做其中,|P|=size(P),表示取向量P的维数;
S32、遍历同类物体的半径,用同类物体的平均半径作为该类物体的半径;
S33、根据物体的半径,对邻近的同类物体进行判断,对需要合并的物体地图点进行合并,所述判断方法为:
计算同类物体形心之间的距离,当距离小于设定半径阈值时,则合并该相邻的物体地图点为一个物体;
所述系统通过以下步骤实现物体级语义地图的更新:
S4、根据关键帧的共视关系,统计局部地图中的物体,具体步骤包括:
S41、根据关键帧的共视关系得到局部地图,局部地图由每一关键帧对应的地图点构成;
S42、对局部地图中每一关键帧中的物体进行统计,并建立关键帧与其对应物体的索引;
S5、计算当前帧所对应的物体点云与局部地图中已有同类物体的相似程度,具体步骤包括:
S51、遍历当前帧的物体,计算该物体的地图点与地图中同类物体地图点重合数量;
S52、根据重合数量得到相似程度,并根据所述相似程度进行相似性检验,其中所述相似程度的计算方法为:
相似程度=M/N
其中,N表示物体包含的地图点数量,M表示未被观测到的地图点个数;
所述相似性检验的具体步骤为:
对相似程度大于阈值的两个物体点云 进行判断,其中|PA|=size(PA),表示PA的维数,即物体点云PA包含的地图点个数;
如果PA、PB属于同一个物体,则PA、PB服从相同的概率分布,合并PA、PB的地图点,记混合样本对样本地图点的三个维度分别升序排列并编秩,对于样本PX定义统计量/>则有:
其中,R为混合样本的秩;
W=min(WA,WB)服从高斯分布N(μ,σ2),其均值μ和方差σ2的计算方法如下:
其中,τ∈PA∩PB;
假设PA、PB属于同一个物体,若该假设成立,则概率函数f满足:f(W)≥f(zr)=f(zl)=α/2,其中α为分位数,置信区间为[zl,zr];否则不是同一个物体,即不被当前帧观测;
S6、根据物体的变化情况以整个物体对应的地图点为单位对地图进行更新,具体步骤包括:
S61、根据S5的检验结果,判断原位置物体地图点是否被当前帧观测,并记录未被观测次数;
S62、根据观测次数的记录对多次评定为不能被观测到的物体,将其对应的地图点从地图中清除。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110873426.8A CN113744397B (zh) | 2021-07-30 | 2021-07-30 | 一种实时的物体级语义地图构建和更新方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110873426.8A CN113744397B (zh) | 2021-07-30 | 2021-07-30 | 一种实时的物体级语义地图构建和更新方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113744397A CN113744397A (zh) | 2021-12-03 |
CN113744397B true CN113744397B (zh) | 2023-10-24 |
Family
ID=78729560
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110873426.8A Active CN113744397B (zh) | 2021-07-30 | 2021-07-30 | 一种实时的物体级语义地图构建和更新方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113744397B (zh) |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108921173A (zh) * | 2018-06-01 | 2018-11-30 | 中南大学 | 一种结合osm和遥感影像提取人行天桥的深度学习方法 |
US10366508B1 (en) * | 2016-08-29 | 2019-07-30 | Perceptin Shenzhen Limited | Visual-inertial positional awareness for autonomous and non-autonomous device |
US10410328B1 (en) * | 2016-08-29 | 2019-09-10 | Perceptin Shenzhen Limited | Visual-inertial positional awareness for autonomous and non-autonomous device |
CN111210518A (zh) * | 2020-01-15 | 2020-05-29 | 西安交通大学 | 基于视觉融合地标的拓扑地图生成方法 |
CN111325843A (zh) * | 2020-03-09 | 2020-06-23 | 北京航空航天大学 | 一种基于语义逆深度滤波的实时语义地图构建方法 |
CN111402336A (zh) * | 2020-03-23 | 2020-07-10 | 中国科学院自动化研究所 | 基于语义slam的动态环境相机位姿估计及语义地图构建方法 |
CN111665842A (zh) * | 2020-06-09 | 2020-09-15 | 山东大学 | 一种基于语义信息融合的室内slam建图方法及系统 |
US10794710B1 (en) * | 2017-09-08 | 2020-10-06 | Perceptin Shenzhen Limited | High-precision multi-layer visual and semantic map by autonomous units |
CN112288857A (zh) * | 2020-10-30 | 2021-01-29 | 西安工程大学 | 一种基于深度学习的机器人语义地图物体识别方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11221413B2 (en) * | 2018-03-14 | 2022-01-11 | Uatc, Llc | Three-dimensional object detection |
-
2021
- 2021-07-30 CN CN202110873426.8A patent/CN113744397B/zh active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10366508B1 (en) * | 2016-08-29 | 2019-07-30 | Perceptin Shenzhen Limited | Visual-inertial positional awareness for autonomous and non-autonomous device |
US10410328B1 (en) * | 2016-08-29 | 2019-09-10 | Perceptin Shenzhen Limited | Visual-inertial positional awareness for autonomous and non-autonomous device |
US10794710B1 (en) * | 2017-09-08 | 2020-10-06 | Perceptin Shenzhen Limited | High-precision multi-layer visual and semantic map by autonomous units |
CN108921173A (zh) * | 2018-06-01 | 2018-11-30 | 中南大学 | 一种结合osm和遥感影像提取人行天桥的深度学习方法 |
CN111210518A (zh) * | 2020-01-15 | 2020-05-29 | 西安交通大学 | 基于视觉融合地标的拓扑地图生成方法 |
CN111325843A (zh) * | 2020-03-09 | 2020-06-23 | 北京航空航天大学 | 一种基于语义逆深度滤波的实时语义地图构建方法 |
CN111402336A (zh) * | 2020-03-23 | 2020-07-10 | 中国科学院自动化研究所 | 基于语义slam的动态环境相机位姿估计及语义地图构建方法 |
CN111665842A (zh) * | 2020-06-09 | 2020-09-15 | 山东大学 | 一种基于语义信息融合的室内slam建图方法及系统 |
CN112288857A (zh) * | 2020-10-30 | 2021-01-29 | 西安工程大学 | 一种基于深度学习的机器人语义地图物体识别方法 |
Also Published As
Publication number | Publication date |
---|---|
CN113744397A (zh) | 2021-12-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Fan et al. | Blitz-SLAM: A semantic SLAM in dynamic environments | |
CN111325843B (zh) | 一种基于语义逆深度滤波的实时语义地图构建方法 | |
US10437252B1 (en) | High-precision multi-layer visual and semantic map for autonomous driving | |
US10794710B1 (en) | High-precision multi-layer visual and semantic map by autonomous units | |
Jiao | Machine learning assisted high-definition map creation | |
CN106504288B (zh) | 一种基于双目视觉目标检测的家居环境下门定位方法 | |
US20200364554A1 (en) | Systems and methods for deep localization and segmentation with a 3d semantic map | |
CN111780771B (zh) | 一种定位方法、装置、电子设备及计算机可读存储介质 | |
CN112419368A (zh) | 运动目标的轨迹跟踪方法、装置、设备及存储介质 | |
EP3992922A1 (en) | Incorporation of semantic information in simultaneous localization and mapping | |
CN111340939B (zh) | 一种室内三维语义地图构建方法 | |
Pradeep et al. | A wearable system for the visually impaired | |
CN114332394A (zh) | 一种基于语义信息辅助的动态场景三维重建方法 | |
CN116977628A (zh) | 一种应用于动态环境的基于多模态语义框架的slam方法及系统 | |
Chen et al. | Design and Implementation of AMR Robot Based on RGBD, VSLAM and SLAM | |
Lambert et al. | Tsukuba challenge 2017 dynamic object tracks dataset for pedestrian behavior analysis | |
CN113744397B (zh) | 一种实时的物体级语义地图构建和更新方法及装置 | |
Jin et al. | Dynamic visual simultaneous localization and mapping based on semantic segmentation module | |
CN116259001A (zh) | 一种多视角融合的三维行人姿态估计与追踪方法 | |
Sujiwo et al. | Robust and accurate monocular vision-based localization in outdoor environments of real-world robot challenge | |
CN110736465B (zh) | 导航方法、装置、机器人及计算机可读存储介质 | |
Juang | Humanoid robot runs maze mode using depth-first traversal algorithm | |
Tao et al. | 3d semantic vslam of indoor environment based on mask scoring rcnn | |
Salah et al. | Summarizing large scale 3D mesh for urban navigation | |
Wang et al. | Winding pathway understanding based on angle projections in a field environment |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |