CN109711365A - 一种融合语义信息的视觉slam回环检测方法及装置 - Google Patents
一种融合语义信息的视觉slam回环检测方法及装置 Download PDFInfo
- Publication number
- CN109711365A CN109711365A CN201811633073.9A CN201811633073A CN109711365A CN 109711365 A CN109711365 A CN 109711365A CN 201811633073 A CN201811633073 A CN 201811633073A CN 109711365 A CN109711365 A CN 109711365A
- Authority
- CN
- China
- Prior art keywords
- image
- key frame
- winding detection
- semantic information
- detection method
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 55
- 238000004804 winding Methods 0.000 title claims abstract description 52
- 238000000034 method Methods 0.000 claims description 11
- 238000004590 computer program Methods 0.000 claims description 10
- 230000004927 fusion Effects 0.000 claims description 8
- 238000004422 calculation algorithm Methods 0.000 claims description 6
- 238000013527 convolutional neural network Methods 0.000 claims description 6
- 230000009467 reduction Effects 0.000 claims description 6
- 238000005070 sampling Methods 0.000 claims description 5
- 230000011218 segmentation Effects 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 238000000605 extraction Methods 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 238000005286 illumination Methods 0.000 abstract description 6
- 239000000284 extract Substances 0.000 abstract description 4
- 238000013507 mapping Methods 0.000 abstract description 3
- 230000004807 localization Effects 0.000 abstract description 2
- 238000012545 processing Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 235000001968 nicotinic acid Nutrition 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000035922 thirst Effects 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
本发明涉及机器人同时定位与地图构建技术领域，具体涉及一种融合语义信息的视觉SLAM回环检测方法及装置，首先获取机器人运动过程中拍摄的视频流图像，然后从视频流图像中离线抽取关键帧，检测出关键帧中的物体级图像，并提取物体级图像的特征，进而匹配物体级图像特征，对关键帧进行回环检测，本发明具有对光照的不变性，从而实现机器人的准确定位和地图构建。
Description
技术领域
本发明涉及机器人同时定位与地图构建技术领域，具体涉及一种融合语义信息的视觉SLAM回环检测方法及装置。
背景技术
自仿生学与智能机器人技术的出现以来,研究者们就渴望有朝一日,机器人能够像人类一样,通过眼睛去观察和理解周围的世界,并能够能在自然环境中灵巧地自主行走,实现人机和谐共融。
其中，一个重要而基本的问题是，如何通过二维的图像信息分析景物的三维结构，确定相机在其中的位置。这个问题的解决，离不开一项基本技术的研究：同时定位与地图构建(Simultaneous-Localizationand-Mapping,SLAM)，特别是基于视觉的SLAM技术。
为了达到基于视觉的SLAM技术实现人眼一样的效果，只要环视四周，辨识物体，就能判断自己的位置，而当前基于特征点和像素的算法，离这样的目的显然远远不够。几乎所有的回环检测方法都是利用视觉传感，即对环境利用关键帧进行视觉描述，然后通过当前的图像与地图中关键帧匹配完成回环检测的工作。
在回环检测问题上，机器人研究工作主要侧重解决两个难题：第一个是有可拓展性的、适用于大环境中的图像匹配，因为很多任务要求机器人在需用成千上万乃至百万幅关键帧来描述环境，因而产生可拓展即适用于大环境的高速高精度图像匹配算法的要求。第二个需要解决的难题是图像匹配时所应具有环境条件不变性，这是指能够对各种不同条件下采集的图像进行准确匹配，包括对光照变化的处理，以及对动态环境、季节、天气以及视角变化处理的能力。
目前的视觉SLAM回环检测方法中对光照不变性较弱，因此，如何提高机器人移动过程中对光照的不变性，从而实现机器人的准确定位和地图构建，是值得解决的问题。
发明内容
本发明的目的在于提供一种融合语义信息的视觉SLAM回环检测方法及装置，旨在提高机器人移动过程中对光照的不变性，从而实现机器人的准确定位和地图构建。
为了实现上述目的，本发明提供以下技术方案：
本发明提供一种融合语义信息的视觉SLAM回环检测方法，包括以下步骤：
步骤S100、获取机器人运动过程中拍摄的视频流图像；
步骤S200、从视频流图像中离线抽取关键帧；
步骤S300、检测出关键帧中的物体级图像；
步骤S400、提取物体级图像的特征；
步骤S500、匹配物体级图像特征；
步骤S600、对关键帧进行回环检测。
进一步，所述视频流图像通过设置于机器人上的相机采集。
进一步，所述步骤S200具体包括：
步骤S210、利用滑动窗将图像分块；
步骤S220、分别从亮度、对比度和结构三方面度量图像；
步骤S230、采用高斯加权计算每一窗口的均值、方差以及协方差；
步骤S240、计算两幅图像对应块的结构相似度；
步骤S250、将两幅图像结构相似度的平均值作为结构相似性度量；
步骤S260、当相邻两帧的结构相似度小于阈值时，选取前一帧作为关键帧。
进一步，作为本发明的一个可选项，所述步骤S300具体包括：
步骤S311、均匀地对图像进行密集抽样；
步骤S312、利用卷积神经网络提取图像特征；
步骤S313、对图像进行分类与回归，得到关键帧中的物体。
进一步，作为本发明的另一个可选项，所述步骤S300具体包括：
步骤S321、将关键帧输入多路精细化分割网络中；
步骤S322、将组合图像中的低分辨率特征图转换成高分辨率的特征图；
步骤S323、对低分辨率特征图和高分辨率特征图逐层进行采样、融合，直到原图大小；
步骤S324、得到具有物体信息的图像，所述图像和原图大小一致。
进一步，作为本发明的另一个可选项，所述步骤S300为，利用Edge Boxes目标检测算法检测出图像中的物体。
进一步，所述步骤S400具体为，运用ResNet卷积神经网络模型，将每幅关键帧表达成具有卷积特征的物体图像集合，将每个物体的特征向量用PCA降维方法进行降维。
进一步，所述步骤S500具体包括：
步骤S510、根据卷积网络的物体类别建立单词字典，通过离线过程的倒置索引存储地图中所有关键帧；
步骤S520、计算机器人观测到的图像中的物体图像集合，通过倒置索引查表，搜索出地图中列于前端的若干关键帧；
步骤S530、利用霍夫变换，计算物体图像集合中的物体图像，然后通过对所述物体图像对齐转换参数空间投票，完成排序；
步骤S540、对步骤S530中列于前端的若干关键帧进行基于卷积网络特征的高精度匹配，获取若干关键帧之间的相似度。
进一步，所述步骤S600具体包括：当所述相似度达到设定比例时，则判定回环检测已经发生，从而调整地图的偏移并更新全局地图；当相似度低于设定比例时，则判定回环检测没有发生，从而新建关键帧并扩充地图。
本发明还提供一种融合语义信息的视觉SLAM回环检测装置，所述装置包括：存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序运行在所述装置的以下模块中：
获取模块，用于获取机器人运动过程中拍摄的视频流图像；
抽取模块，用于从视频流图像中离线抽取关键帧；
检测模块，用于检测出关键帧中的物体级图像；
提取模块，用于提取物体级图像的特征；
匹配模块，用于匹配物体级图像特征；
判断模块，用于对关键帧进行回环检测。
本发明的有益效果是：本发明公开一种融合语义信息的视觉SLAM回环检测方法及装置，首先获取机器人运动过程中拍摄的视频流图像，然后从视频流图像中离线抽取关键帧，检测出关键帧中的物体级图像，并提取物体级图像的特征，进而匹配物体级图像特征，对关键帧进行回环检测，本发明具有对光照的不变性，从而实现机器人的准确定位和地图构建。
附图说明
通过对结合附图所示出的实施方式进行详细说明，本公开的上述以及其他特征将更加明显，本公开附图中相同的参考标号表示相同或相似的元素，显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图，在附图中：
图1是本发明实施例一种融合语义信息的视觉SLAM回环检测方法的流程图；
图2是本发明实施例一种融合语义信息的视觉SLAM回环检测装置的结构示意图。
具体实施方式
下面将结合附图对本发明的技术方案进行清楚、完整的描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所以其他实施例，都属于本发明的保护范围。
如图1所示，本发明实施例提供的一种融合语义信息的视觉SLAM回环检测方法，在Turtlebot 2移动机器人上搭载机器人操作系统(Robot Operating System简称ROS)，上位机设置为NVIDIA TX2，载于Turtlebot 2上的Kinect V2摄像头通过ROS系统传输视频到SLAM回环检测系统上。
所述SLAM回环检测方法包括以下步骤：
步骤S100、获取机器人运动过程中拍摄的视频流图像；
步骤S200、从视频流图像中离线抽取关键帧；
步骤S300、检测出关键帧中的物体级图像；
步骤S400、提取物体级图像的特征；
步骤S500、匹配物体级图像特征；
步骤S600、对关键帧进行回环检测。
进一步，所述步骤S100具体为：所述视频流图像通过设置于机器人上的相机采集。
进一步，所述步骤S200具体包括：
步骤S210、利用滑动窗将图像分块；
步骤S220、分别从亮度、对比度和结构三方面度量图像；
步骤S230、采用高斯加权计算每一窗口的均值、方差以及协方差；充分考虑窗口形状对分块的影响；
步骤S240、计算两幅图像对应块的结构相似度；
步骤S250、将两幅图像结构相似度的平均值作为结构相似性度量，即平均结构相似性；
步骤S260、当相邻两帧的结构相似度小于阈值时，选取前一帧作为关键帧。
进一步，作为本实施例的一个可选项，所述步骤S300具体包括：
步骤S311、均匀地对图像进行密集抽样，通过调节抽样的尺度和长宽比，合理设置采样精度；
步骤S312、利用卷积神经网络提取特征；
步骤S313、直接进行分类与回归，从而快速得到关键帧中的物体。
进一步，作为本实施例的一个可选项，所述步骤S300中，采用多路精细化分割网络，通过RefineNet语义分割算法分割关键帧得到多个物体，具体包括：
步骤S321、将关键帧输入多路精细化分割网络中；
步骤S322、将组合图像中的低分辨率特征图转换成高分辨率的特征图；
步骤S323、对低分辨率特征图和高分辨率特征图逐层进行采样、融合，直到原图大小；这样，就可以对多尺度特征图分别独立处理和一起处理。从最后一层上采样，然后融合，继续上采样，直到原图大小；
步骤S324、得到具有物体信息的图像，所述图像和原图大小一致。
进一步，作为本实施例的一个可选项，所述步骤S300中，通过采用Edge Boxes目标检测算法检测出图像中的物体，具体包括：
步骤S331、利用结构化的方法检测出图像边缘，并利用非极大值抑制对边缘图像进行筛选；
步骤S332、将共线或接近共线的边缘点集合成若干个边缘组，并计算边缘组之间的相似度，越是在同一直线上的边缘组，其相似度越高；
步骤S333、通过边缘组来确定轮廓数；
所述通过边缘组来确定轮廓数具体实现方法为：
给每个边缘组计算一个权值，将权值为1的边缘组归为目标物体(objectproposal)内轮廓上的一部分，将权值为0的边缘组归为目标物体外或目标物体框重叠的一部分，由此提取得到目标物体，并对目标物体进行评分，选取得分最高的目标物体作为最后的检测输出图像。
进一步，所述步骤S400具体包括：
运用ResNet卷积神经网络模型，将每幅关键帧表达成2-5个具有卷积特征的物体图像集合，将每个物体的特征向量用PCA降维方法进行降维，便于减少运算量。
进一步，所述步骤S500具体包括：
步骤S510、根据卷积网络的物体类别建立单词字典，通过离线过程的倒置索引存储地图中所有关键帧；
步骤S520、计算机器人观测到的图像中的物体图像集合(Bag of Objects,BoO)，通过倒置索引查表，快速搜索出地图中列于前端的若干关键帧；
步骤S530、利用霍夫变换，计算物体图像集合中的物体图像(2-5个物体图像)，然后通过对所述物体图像对齐转换参数空间(位移和尺度三个自由度)投票，完成排序；
步骤S540、对步骤S530中列于前端的若干关键帧进行基于卷积网络特征的高精度匹配，获取若干关键帧之间的相似度。
进一步，所述步骤S600具体包括：当所述相似度达到设定比例时，则判定回环检测已经发生，从而调整地图的偏移并更新全局地图，所述调整地图的偏移具体通过位姿图优化(Pose-Graph)实现；当相似度低于设定比例时，则判定回环检测没有发生，从而新建关键帧并扩充地图，所述新建关键帧为若干关键帧中相似度低于设定比例的关键帧。
本公开的实施例提供的一种融合语义信息的视觉SLAM回环检测装置，如图2所示为本公开的一种融合语义信息的视觉SLAM回环检测装置图，该实施例的一种融合语义信息的视觉SLAM回环检测装置包括：处理器、存储器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述一种融合语义信息的视觉SLAM回环检测装置实施例中的步骤。
所述装置包括：存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序运行在所述装置的以下模块中：
获取模块，用于获取机器人运动过程中拍摄的视频流图像；
抽取模块，用于从视频流图像中离线抽取关键帧；
检测模块，用于检测出关键帧中的物体级图像；
提取模块，用于提取物体级图像的特征；
匹配模块，用于匹配物体级图像特征；
判断模块，用于对关键帧进行回环检测。
所述一种融合语义信息的视觉SLAM回环检测装置，包括，但不仅限于，处理器、存储器。本领域技术人员可以理解，所述例子仅仅是一种融合语义信息的视觉SLAM回环检测装置的示例，并不构成对一种融合语义信息的视觉SLAM回环检测装置的限定，可以包括比例子更多的部件，或者组合某些部件，或者不同的部件，例如所述一种融合语义信息的视觉SLAM回环检测装置还可以包括输入输出设备等。
所称处理器可以是中央处理单元(Central-Processing-Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital-Signal-Processor，DSP)、专用集成电路(Application-Specific-Integrated-Circuit，ASIC)、现成可编程门阵列(Field-Programmable-Gate-Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器是所述一种融合语义信息的视觉SLAM回环检测装置运行装置的控制中心，利用各种接口和线路连接整个一种融合语义信息的视觉SLAM回环检测装置可运行装置的各个部分。
所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现所述一种融合语义信息的视觉SLAM回环检测装置的各种功能。所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储创建的数据。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如智能存储卡(Smart-Media-Card,SMC)，安全数字(Secure-Digital,SD)卡，闪存卡(Flash-Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
尽管本公开的描述已经相当详尽且特别对几个所述实施例进行了描述，但其并非旨在局限于任何这些细节或实施例或任何特殊实施例，而是应当将其视作是通过参考所附权利要求考虑到现有技术为这些权利要求提供广义的可能性解释，从而有效地涵盖本公开的预定范围。此外，上文以发明人可预见的实施例对本公开进行描述，其目的是为了提供有用的描述，而那些目前尚未预见的对本公开的非实质性改动仍可代表本公开的等效改动。
Claims (10)
1.一种融合语义信息的视觉SLAM回环检测方法，其特征在于，包括以下步骤：
步骤S100、获取机器人运动过程中拍摄的视频流图像；
步骤S200、从视频流图像中离线抽取关键帧；
步骤S300、检测出关键帧中的物体级图像；
步骤S400、提取物体级图像的特征；
步骤S500、匹配物体级图像特征；
步骤S600、对关键帧进行回环检测。
2.根据权利要求1所述的一种融合语义信息的视觉SLAM回环检测方法，其特征在于，所述视频流图像通过设置于机器人上的相机采集。
3.根据权利要求2所述的一种融合语义信息的视觉SLAM回环检测方法，其特征在于，所述步骤S200具体包括：
步骤S210、利用滑动窗将图像分块；
步骤S220、分别从亮度、对比度和结构三方面度量图像；
步骤S230、采用高斯加权计算每一窗口的均值、方差以及协方差；
步骤S240、计算两幅图像对应块的结构相似度；
步骤S250、将两幅图像结构相似度的平均值作为结构相似性度量；
步骤S260、当相邻两帧的结构相似度小于阈值时，选取前一帧作为关键帧。
4.根据权利要求1～3任一所述的一种融合语义信息的视觉SLAM回环检测方法，其特征在于，所述步骤S300具体包括：
步骤S311、均匀地对图像进行密集抽样；
步骤S312、利用卷积神经网络提取图像特征；
步骤S312、对图像进行分类与回归，得到关键帧中的物体。
5.根据权利要求1～3任一所述的一种融合语义信息的视觉SLAM回环检测方法，其特征在于，所述步骤S300具体包括：
步骤S321、将关键帧输入多路精细化分割网络中；
步骤S322、将组合图像中的低分辨率特征图转换成高分辨率的特征图；
步骤S323、对低分辨率特征图和高分辨率特征图逐层进行采样、融合，直到原图大小；
步骤S324、得到具有物体信息的图像，所述图像和原图大小一致。
6.根据权利要求1～3任一所述的一种融合语义信息的视觉SLAM回环检测方法，其特征在于，所述步骤S300为，利用Edge Boxes目标检测算法检测出图像中的物体。
7.根据权利要求1所述的一种融合语义信息的视觉SLAM回环检测方法，其特征在于，所述步骤S400具体为，运用ResNet卷积神经网络模型，将每幅关键帧表达成具有卷积特征的物体图像集合，将每个物体的特征向量用PCA降维方法进行降维。
8.根据权利要求1所述的一种融合语义信息的视觉SLAM回环检测方法，其特征在于，所述步骤S500具体包括：
步骤S510、根据卷积网络的物体类别建立单词字典，通过离线过程的倒置索引存储地图中所有关键帧；
步骤S520、计算机器人观测到的图像中的物体图像集合，通过倒置索引查表，搜索出地图中列于前端的若干关键帧；
步骤S530、利用霍夫变换，计算物体图像集合中的物体图像，然后通过对所述物体图像对齐转换参数空间投票，完成排序；
步骤S540、对列于前端的若干关键帧进行基于卷积网络特征的高精度匹配，获取若干关键帧之间的相似度。
9.根据权利要求8所述的一种融合语义信息的视觉SLAM回环检测方法，其特征在于，所述步骤S600具体包括：
当所述相似度达到设定比例时，则判定回环检测已经发生，从而调整地图的偏移并更新全局地图；当相似度低于设定比例时，则判定回环检测没有发生，从而新建关键帧并扩充地图。
10.一种融合语义信息的视觉SLAM回环检测装置，其特征在于，所述装置包括：存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序运行在所述装置的以下模块中：
获取模块，用于获取机器人运动过程中拍摄的视频流图像；
抽取模块，用于从视频流图像中离线抽取关键帧；
检测模块，用于检测出关键帧中的物体级图像；
提取模块，用于提取物体级图像的特征；
匹配模块，用于匹配物体级图像特征；
判断模块，用于对关键帧进行回环检测。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811633073.9A CN109711365A (zh) | 2018-12-29 | 2018-12-29 | 一种融合语义信息的视觉slam回环检测方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811633073.9A CN109711365A (zh) | 2018-12-29 | 2018-12-29 | 一种融合语义信息的视觉slam回环检测方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109711365A true CN109711365A (zh) | 2019-05-03 |
Family
ID=66258199
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811633073.9A Pending CN109711365A (zh) | 2018-12-29 | 2018-12-29 | 一种融合语义信息的视觉slam回环检测方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109711365A (zh) |
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110188809A (zh) * | 2019-05-22 | 2019-08-30 | 浙江大学 | 一种基于图像分块的回环检测方法 |
| CN110455299A (zh) * | 2019-07-26 | 2019-11-15 | 中国第一汽车股份有限公司 | 一种路线生成方法、装置、设备及存储介质 |
| CN110880010A (zh) * | 2019-07-05 | 2020-03-13 | 电子科技大学 | 基于卷积神经网络的视觉slam闭环检测算法 |
| CN111401123A (zh) * | 2019-12-29 | 2020-07-10 | 的卢技术有限公司 | 一种基于深度学习的slam回环检测方法及系统 |
| CN111598149A (zh) * | 2020-05-09 | 2020-08-28 | 鹏城实验室 | 一种基于注意力机制的回环检测方法 |
| CN111882663A (zh) * | 2020-07-03 | 2020-11-03 | 广州万维创新科技有限公司 | 一种融合语义信息完成视觉slam闭环检测方法 |
| CN112085026A (zh) * | 2020-08-26 | 2020-12-15 | 的卢技术有限公司 | 一种基于深度神经网络语义分割的闭环检测方法 |
| CN112214629A (zh) * | 2019-07-12 | 2021-01-12 | 珠海格力电器股份有限公司 | 基于图像识别的回环检测方法及可移动设备 |
| CN112348865A (zh) * | 2020-10-30 | 2021-02-09 | 深圳市优必选科技股份有限公司 | 一种回环检测方法、装置、计算机可读存储介质及机器人 |
| CN112990195A (zh) * | 2021-03-04 | 2021-06-18 | 佛山科学技术学院 | 一种面向复杂环境下融入语义信息的slam回环检测方法 |
| CN113326716A (zh) * | 2020-02-28 | 2021-08-31 | 北京创奇视界科技有限公司 | 面向装配现场环境装配指导ar应用定位的回环检测方法 |
| CN113536839A (zh) * | 2020-04-15 | 2021-10-22 | 阿里巴巴集团控股有限公司 | 数据处理方法及装置、实现定位的方法及装置和智能设备 |
| CN114154117A (zh) * | 2021-06-15 | 2022-03-08 | 元橡科技(苏州)有限公司 | 一种slam方法 |
| CN115063593A (zh) * | 2022-08-17 | 2022-09-16 | 开源精密零部件(南通)有限公司 | 医用硅胶剪切强度测试方法 |
Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106096607A (zh) * | 2016-06-12 | 2016-11-09 | 湘潭大学 | 一种车牌识别方法 |
| CN106227851A (zh) * | 2016-07-29 | 2016-12-14 | 汤平 | 基于深度卷积神经网络端对端的通过分层深度搜索的图像检索方法 |
| CN106780631A (zh) * | 2017-01-11 | 2017-05-31 | 山东大学 | 一种基于深度学习的机器人闭环检测方法 |
| CN107330357A (zh) * | 2017-05-18 | 2017-11-07 | 东北大学 | 基于深度神经网络的视觉slam闭环检测方法 |
| CN107833236A (zh) * | 2017-10-31 | 2018-03-23 | 中国科学院电子学研究所 | 一种动态环境下结合语义的视觉定位系统和方法 |
| CN108053447A (zh) * | 2017-12-18 | 2018-05-18 | 纳恩博（北京）科技有限公司 | 基于图像的重定位方法、服务器及存储介质 |
| CN108062753A (zh) * | 2017-12-29 | 2018-05-22 | 重庆理工大学 | 基于深度对抗学习的无监督域自适应脑肿瘤语义分割方法 |
| CN108230337A (zh) * | 2017-12-31 | 2018-06-29 | 厦门大学 | 一种基于移动端的语义slam系统实现的方法 |
| CN108710909A (zh) * | 2018-05-17 | 2018-10-26 | 南京汇川工业视觉技术开发有限公司 | 一种可变形旋转不变装箱物体清点方法 |
| CN108830220A (zh) * | 2018-06-15 | 2018-11-16 | 山东大学 | 基于深度学习的视觉语义库构建及全局定位方法 |
| CN108830188A (zh) * | 2018-05-30 | 2018-11-16 | 西安理工大学 | 基于深度学习的车辆检测方法 |
| CN108876793A (zh) * | 2018-04-13 | 2018-11-23 | 北京迈格威科技有限公司 | 语义分割方法、装置和系统及存储介质 |
| CN109063694A (zh) * | 2018-09-12 | 2018-12-21 | 北京科技大学 | 一种视频目标检测识别方法 |
| US20190147220A1 (en) * | 2016-06-24 | 2019-05-16 | Imperial College Of Science, Technology And Medicine | Detecting objects in video data |
-
2018
- 2018-12-29 CN CN201811633073.9A patent/CN109711365A/zh active Pending
Patent Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106096607A (zh) * | 2016-06-12 | 2016-11-09 | 湘潭大学 | 一种车牌识别方法 |
| US20190147220A1 (en) * | 2016-06-24 | 2019-05-16 | Imperial College Of Science, Technology And Medicine | Detecting objects in video data |
| CN106227851A (zh) * | 2016-07-29 | 2016-12-14 | 汤平 | 基于深度卷积神经网络端对端的通过分层深度搜索的图像检索方法 |
| CN106780631A (zh) * | 2017-01-11 | 2017-05-31 | 山东大学 | 一种基于深度学习的机器人闭环检测方法 |
| CN107330357A (zh) * | 2017-05-18 | 2017-11-07 | 东北大学 | 基于深度神经网络的视觉slam闭环检测方法 |
| CN107833236A (zh) * | 2017-10-31 | 2018-03-23 | 中国科学院电子学研究所 | 一种动态环境下结合语义的视觉定位系统和方法 |
| CN108053447A (zh) * | 2017-12-18 | 2018-05-18 | 纳恩博（北京）科技有限公司 | 基于图像的重定位方法、服务器及存储介质 |
| CN108062753A (zh) * | 2017-12-29 | 2018-05-22 | 重庆理工大学 | 基于深度对抗学习的无监督域自适应脑肿瘤语义分割方法 |
| CN108230337A (zh) * | 2017-12-31 | 2018-06-29 | 厦门大学 | 一种基于移动端的语义slam系统实现的方法 |
| CN108876793A (zh) * | 2018-04-13 | 2018-11-23 | 北京迈格威科技有限公司 | 语义分割方法、装置和系统及存储介质 |
| CN108710909A (zh) * | 2018-05-17 | 2018-10-26 | 南京汇川工业视觉技术开发有限公司 | 一种可变形旋转不变装箱物体清点方法 |
| CN108830188A (zh) * | 2018-05-30 | 2018-11-16 | 西安理工大学 | 基于深度学习的车辆检测方法 |
| CN108830220A (zh) * | 2018-06-15 | 2018-11-16 | 山东大学 | 基于深度学习的视觉语义库构建及全局定位方法 |
| CN109063694A (zh) * | 2018-09-12 | 2018-12-21 | 北京科技大学 | 一种视频目标检测识别方法 |
Non-Patent Citations (5)
| Title |
|---|
| 刘震: "基于语义地图视觉SLAM系统设计", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
| 刘震: "基于语义地图视觉SLAM系统设计", 《中国优秀硕士学位论文全文数据库 信息科技辑》, no. 6, 15 June 2018 (2018-06-15), pages 2 - 4 * |
| 包磊 等: "基于 PCA 变换和光谱补偿的遥感影像融合方法", vol. 43, no. 43, pages 89 * |
| 白云汉: "基于 SLAM 算法和深度神经网络的语义地图构建研究", 《计算机应用与软件》 * |
| 白云汉: "基于 SLAM 算法和深度神经网络的语义地图构建研究", 《计算机应用与软件》, vol. 35, no. 1, 31 January 2018 (2018-01-31), pages 183 - 190 * |
Cited By (22)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110188809B (zh) * | 2019-05-22 | 2021-04-06 | 浙江大学 | 一种基于图像分块的回环检测方法 |
| CN110188809A (zh) * | 2019-05-22 | 2019-08-30 | 浙江大学 | 一种基于图像分块的回环检测方法 |
| CN110880010A (zh) * | 2019-07-05 | 2020-03-13 | 电子科技大学 | 基于卷积神经网络的视觉slam闭环检测算法 |
| CN112214629B (zh) * | 2019-07-12 | 2024-01-26 | 珠海格力电器股份有限公司 | 基于图像识别的回环检测方法及可移动设备 |
| CN112214629A (zh) * | 2019-07-12 | 2021-01-12 | 珠海格力电器股份有限公司 | 基于图像识别的回环检测方法及可移动设备 |
| CN110455299A (zh) * | 2019-07-26 | 2019-11-15 | 中国第一汽车股份有限公司 | 一种路线生成方法、装置、设备及存储介质 |
| CN111401123A (zh) * | 2019-12-29 | 2020-07-10 | 的卢技术有限公司 | 一种基于深度学习的slam回环检测方法及系统 |
| CN111401123B (zh) * | 2019-12-29 | 2024-04-19 | 的卢技术有限公司 | 一种基于深度学习的slam回环检测方法及系统 |
| CN113326716A (zh) * | 2020-02-28 | 2021-08-31 | 北京创奇视界科技有限公司 | 面向装配现场环境装配指导ar应用定位的回环检测方法 |
| CN113326716B (zh) * | 2020-02-28 | 2024-03-01 | 北京创奇视界科技有限公司 | 面向装配现场环境装配指导ar应用定位的回环检测方法 |
| CN113536839A (zh) * | 2020-04-15 | 2021-10-22 | 阿里巴巴集团控股有限公司 | 数据处理方法及装置、实现定位的方法及装置和智能设备 |
| CN111598149A (zh) * | 2020-05-09 | 2020-08-28 | 鹏城实验室 | 一种基于注意力机制的回环检测方法 |
| CN111598149B (zh) * | 2020-05-09 | 2023-10-24 | 鹏城实验室 | 一种基于注意力机制的回环检测方法 |
| CN111882663A (zh) * | 2020-07-03 | 2020-11-03 | 广州万维创新科技有限公司 | 一种融合语义信息完成视觉slam闭环检测方法 |
| CN112085026A (zh) * | 2020-08-26 | 2020-12-15 | 的卢技术有限公司 | 一种基于深度神经网络语义分割的闭环检测方法 |
| CN112348865A (zh) * | 2020-10-30 | 2021-02-09 | 深圳市优必选科技股份有限公司 | 一种回环检测方法、装置、计算机可读存储介质及机器人 |
| CN112348865B (zh) * | 2020-10-30 | 2023-12-01 | 深圳市优必选科技股份有限公司 | 一种回环检测方法、装置、计算机可读存储介质及机器人 |
| CN112990195A (zh) * | 2021-03-04 | 2021-06-18 | 佛山科学技术学院 | 一种面向复杂环境下融入语义信息的slam回环检测方法 |
| CN114154117B (zh) * | 2021-06-15 | 2022-08-23 | 元橡科技(苏州)有限公司 | 一种slam方法 |
| CN114154117A (zh) * | 2021-06-15 | 2022-03-08 | 元橡科技(苏州)有限公司 | 一种slam方法 |
| CN115063593B (zh) * | 2022-08-17 | 2022-11-29 | 开源精密零部件(南通)有限公司 | 医用硅胶剪切强度测试方法 |
| CN115063593A (zh) * | 2022-08-17 | 2022-09-16 | 开源精密零部件(南通)有限公司 | 医用硅胶剪切强度测试方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109711365A (zh) | 一种融合语义信息的视觉slam回环检测方法及装置 | |
| Tao et al. | Automatic apple recognition based on the fusion of color and 3D feature for robotic fruit picking | |
| Zhang et al. | Multi-class object detection using faster R-CNN and estimation of shaking locations for automated shake-and-catch apple harvesting | |
| CN106682598B (zh) | 一种基于级联回归的多姿态的人脸特征点检测方法 | |
| CN107871124B (zh) | 一种基于深度神经网络的遥感图像目标检测方法 | |
| CN106296693B (zh) | 基于3d点云fpfh特征实时三维空间定位方法 | |
| EP2833293B1 (en) | Automated graph local constellation (GLC) method of correspondence search for registration of 2-D and 3-D data | |
| CN101777116B (zh) | 一种基于动作跟踪的脸部表情分析方法 | |
| CN106030610B (zh) | 移动设备的实时3d姿势识别和跟踪系统 | |
| CN102609682B (zh) | 一种针对感兴趣区域的反馈式行人检测方法 | |
| CN109558879A (zh) | 一种基于点线特征的视觉slam方法和装置 | |
| Su et al. | Global localization of a mobile robot using lidar and visual features | |
| CN107357427A (zh) | 一种用于虚拟现实设备的手势识别控制方法 | |
| CN111476251A (zh) | 一种遥感影像匹配方法及装置 | |
| CN103839267B (zh) | 一种基于形态学建筑物指数的建筑物提取方法 | |
| CN110298914A (zh) | 一种建立果园中果树冠层特征地图的方法 | |
| US11747468B2 (en) | System using a priori terrain height data for interferometric synthetic aperture radar (IFSAR) phase disambiguation and related methods | |
| Polewski et al. | A voting-based statistical cylinder detection framework applied to fallen tree mapping in terrestrial laser scanning point clouds | |
| US11238307B1 (en) | System for performing change detection within a 3D geospatial model based upon semantic change detection using deep learning and related methods | |
| Cuevas-Velasquez et al. | Segmentation and 3D reconstruction of rose plants from stereoscopic images | |
| US11587249B2 (en) | Artificial intelligence (AI) system and methods for generating estimated height maps from electro-optic imagery | |
| CN113674400A (zh) | 基于重定位技术的光谱三维重建方法、系统及存储介质 | |
| CN106611158A (zh) | 人体3d特征信息的获取方法及设备 | |
| Zhuang et al. | Instance segmentation based 6D pose estimation of industrial objects using point clouds for robotic bin-picking | |
| CN114689038A (zh) | 基于机器视觉的果实检测定位与果园地图构建方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190503 |