CN117608283A - 机器人的自主导航方法及其系统 - Google Patents
机器人的自主导航方法及其系统 Download PDFInfo
- Publication number
- CN117608283A CN117608283A CN202311479364.8A CN202311479364A CN117608283A CN 117608283 A CN117608283 A CN 117608283A CN 202311479364 A CN202311479364 A CN 202311479364A CN 117608283 A CN117608283 A CN 117608283A
- Authority
- CN
- China
- Prior art keywords
- obstacle
- robot
- sequence
- global
- state
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 39
- 239000013598 vector Substances 0.000 claims abstract description 120
- 238000000605 extraction Methods 0.000 claims abstract description 36
- 238000012549 training Methods 0.000 claims description 50
- 238000012545 processing Methods 0.000 claims description 32
- 238000013527 convolutional neural network Methods 0.000 claims description 28
- 230000004888 barrier function Effects 0.000 claims description 20
- 230000000903 blocking effect Effects 0.000 claims description 15
- 239000011159 matrix material Substances 0.000 claims description 13
- 238000011176 pooling Methods 0.000 claims description 7
- 230000004913 activation Effects 0.000 claims description 4
- 238000012546 transfer Methods 0.000 claims description 4
- 230000008859 change Effects 0.000 abstract description 9
- 238000004140 cleaning Methods 0.000 description 26
- 239000000428 dust Substances 0.000 description 9
- 238000013135 deep learning Methods 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 7
- 230000000875 corresponding effect Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 238000009826 distribution Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000007613 environmental effect Effects 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 230000000750 progressive effect Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 239000007921 spray Substances 0.000 description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 239000000919 ceramic Substances 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000012804 iterative process Methods 0.000 description 1
- 239000007788 liquid Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000005498 polishing Methods 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 238000010408 sweeping Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 238000004018 waxing Methods 0.000 description 1
- 239000002023 wood Substances 0.000 description 1
Landscapes
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
本发明公开了一种机器人的自主导航方法及其系统，其获取由部署于机器人的摄像头采集的障碍物表面图像；提取所述障碍物表面图像的障碍物局部状态特征以得到障碍物表面局部区域状态向量的序列；对所述障碍物表面局部区域状态向量的序列进行全局特征提取以得到障碍物表面全局语义特征向量；以及，基于所述障碍物表面全局语义特征向量，确定所述机器人的导航策略。这样，可以帮助机器人了解障碍物是否需要被清洁，以决定机器人的导航策略，即沿着障碍物移动还是改变行径角度以绕开障碍物。
Description
技术领域
本发明涉及智能化机器人技术领域，尤其涉及一种机器人的自主导航方法及其系统。
背景技术
随着机器人在各个领域的广泛应用，如何让机器人能够在不同的环境中自主地导航和避障成为了一个重要的研究课题。
然而，现有的导航方法往往依赖于对环境的准确建模和地图信息，这在动态变化和未知的环境中是很难实现的。
因此，期待一种优化的机器人的自主导航方法。
发明内容
本发明实施例提供一种机器人的自主导航方法及其系统，其获取由部署于机器人的摄像头采集的障碍物表面图像；提取所述障碍物表面图像的障碍物局部状态特征以得到障碍物表面局部区域状态向量的序列；对所述障碍物表面局部区域状态向量的序列进行全局特征提取以得到障碍物表面全局语义特征向量；以及，基于所述障碍物表面全局语义特征向量，确定所述机器人的导航策略。这样，可以帮助机器人了解障碍物是否需要被清洁，以决定机器人的导航策略，即沿着障碍物移动还是改变行径角度以绕开障碍物。
本发明实施例还提供了一种机器人的自主导航方法，其包括：
获取由部署于机器人的摄像头采集的障碍物表面图像；
提取所述障碍物表面图像的障碍物局部状态特征以得到障碍物表面局部区域状态向量的序列；
对所述障碍物表面局部区域状态向量的序列进行全局特征提取以得到障碍物表面全局语义特征向量；以及
基于所述障碍物表面全局语义特征向量，确定所述机器人的导航策略。
本发明实施例还提供了一种机器人的自主导航系统，其包括：
障碍物表面图像获取模块，用于获取由部署于机器人的摄像头采集的障碍物表面图像；
障碍物局部状态特征提取模块，用于提取所述障碍物表面图像的障碍物局部状态特征以得到障碍物表面局部区域状态向量的序列；
全局特征提取模块，用于对所述障碍物表面局部区域状态向量的序列进行全局特征提取以得到障碍物表面全局语义特征向量；以及
机器人的导航策略确定模块，用于基于所述障碍物表面全局语义特征向量，确定所述机器人的导航策略。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：
图1为本发明实施例中提供的一种机器人的自主导航方法的流程图。
图2为本发明实施例中提供的一种机器人的自主导航方法的系统架构的示意图。
图3为本发明实施例中提供的一种机器人的自主导航系统的框图。
图4为本发明实施例中提供的一种机器人的自主导航方法的应用场景图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚明白，下面结合附图对本发明实施例做进一步详细说明。在此，本发明的示意性实施例及其说明用于解释本发明，但并不作为对本发明的限定。
除非另有说明，本发明实施例所使用的所有技术和科学术语与本发明的技术领域的技术人员通常理解的含义相同。本发明中所使用的术语只是为了描述具体的实施例的目的，不是旨在限制本发明的范围。
在本发明实施例记载中，需要说明的是，除非另有说明和限定，术语“连接”应做广义理解，例如，可以是电连接，也可以是两个元件内部的连通，可以是直接相连，也可以通过中间媒介间接相连，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。
需要说明的是，本发明实施例所涉及的术语“第一\第二\第三”仅仅是是区别类似的对象，不代表针对对象的特定排序，可以理解地，“第一\第二\第三”在允许的情况下可以互换特定的顺序或先后次序。应该理解“第一\第二\第三”区分的对象在适当情况下可以互换，以使这里描述的本发明的实施例可以除了在这里图示或描述的那些以外的顺序实施。
当机器人在地板上移动时，可以执行各种操作，包括清洁、吸尘以及其他操作。例如，机器人可以被设计成能够清洁地板表面，例如扫地机器人或拖地机器人，通常配备有旋转刷子和吸尘装置，可以清除地板上的灰尘、污垢和碎屑，一些高级的清洁机器人还可以通过使用湿拖布或喷水系统来进行湿拖地板的操作。吸尘机器人专门设计用于吸尘地板表面，通常配备有强大的吸力和滚刷，可以有效地吸取地板上的灰尘、头发、宠物毛发等，吸尘机器人通常具有自动回充功能，当电池电量低时，它们可以返回充电座进行充电。擦地机器人可以用于清洁不同类型的地板，如瓷砖、木地板或地毯，通常配备有湿拖布或擦地刷，可以在地板上涂抹清洁液并擦拭地面，以去除污渍和污垢，一些高级的擦地机器人还具有智能导航功能，可以在地板上规划最佳的清洁路径。除了清洁和吸尘，机器人还可以执行其他操作，如地板抛光、蜡光处理或地板上的物品搬运，这些机器人通常具有特定的附件和功能，以适应不同类型的操作需求。
这些机器人通常使用传感器和导航技术，如摄像头、激光雷达和地图构建算法，来感知和理解环境，并规划最佳的移动路径，它们可以通过预设的程序或者通过人机交互的方式进行操作控制。
在机器人移动过程中，遇到障碍物是一个常见的情况，机器人可以通过导航沿着障碍物移动或改变行径角度以绕开障碍物。如果机器人是清洁机器人，并且障碍物的表面需要清洁，那么机器人可以在沿着障碍物移动时清洁障碍物的表面。
当机器人遇到障碍物时，可以被导航为沿着障碍物的边缘移动，这种导航方式可以使机器人保持一定的距离，避免与障碍物碰撞，并继续沿着预定的路径前进。例如，机器人可以使用激光雷达或超声波传感器来检测障碍物的位置和距离，然后根据这些信息调整移动方向和速度，以保持与障碍物的安全距离。
另一种策略是当机器人遇到障碍物时，改变行径角度以绕开障碍物，机器人可以使用环境感知和导航算法来检测障碍物，并计算出绕过障碍物的最佳路径。然后，机器人可以调整自身的行径角度，以避开障碍物并继续前进，这种方法通常需要机器人具备较强的感知和决策能力，以准确地检测障碍物并规划合适的绕行路径。
如果机器人是清洁机器人，并且障碍物的表面需要清洁，那么机器人可以在沿着障碍物移动时清洁障碍物的表面。机器人可以配备有清洁装置，如刷子、喷水系统或擦拭装置，以清洁障碍物表面的污垢或灰尘。当机器人沿着障碍物移动时，可以同时进行清洁操作，从而提高清洁效率和效果。如果障碍物的表面不存在脏污，例如光滑的墙壁或其他无需清洁的表面，那么绕开障碍物可能更为适合。在这种情况下，机器人可以使用环境感知和导航算法来检测障碍物，并计算出绕过障碍物的最佳路径，机器人可以调整自身的行径角度，以避开障碍物并继续前进，而不需要进行清洁操作。
机器人可以通过感知技术，如摄像头、激光雷达或其他传感器，来检测障碍物的类型和表面状态。根据这些信息，机器人可以根据预设的策略和算法来做出决策，是沿着障碍物移动还是绕开障碍物。这样可以使机器人在移动过程中更加智能地处理障碍物，并根据实际情况进行清洁操作或规避行动。
在本发明的一个实施例中，图1为本发明实施例中提供的一种机器人的自主导航方法的流程图。图2为本发明实施例中提供的一种机器人的自主导航方法的系统架构的示意图。如图1和图2所示，根据本发明实施例的机器人的自主导航方法，包括：110，获取由部署于机器人的摄像头采集的障碍物表面图像；120，提取所述障碍物表面图像的障碍物局部状态特征以得到障碍物表面局部区域状态向量的序列；130，对所述障碍物表面局部区域状态向量的序列进行全局特征提取以得到障碍物表面全局语义特征向量；以及，140，基于所述障碍物表面全局语义特征向量，确定所述机器人的导航策略。
在所述步骤110中，获取由部署于机器人的摄像头采集的障碍物表面图像。确保摄像头的位置和角度能够充分捕捉到障碍物表面的图像，调整摄像头的位置和视野，以确保获取到的图像清晰度高，并且能够涵盖整个障碍物表面。通过获取障碍物表面图像，机器人可以获得对障碍物的视觉信息，为后续的特征提取和识别打下基础。
在所述步骤120中，提取所述障碍物表面图像的障碍物局部状态特征以得到障碍物表面局部区域状态向量的序列。使用适当的图像处理和特征提取算法，例如卷积神经网络（CNN）或其他计算机视觉算法，来提取障碍物表面图像的局部状态特征，这些特征可以包括边缘、纹理、颜色等，确保选择的特征能够准确地表示障碍物的局部区域状态。通过提取障碍物表面图像的局部状态特征，可以捕捉到障碍物的局部细节信息，为后续的全局特征提取和语义理解提供基础。
在所述步骤130中，对所述障碍物表面局部区域状态向量的序列进行全局特征提取以得到障碍物表面全局语义特征向量。使用适当的特征聚合或汇总方法，例如平均池化、最大池化或注意力机制等，对局部区域状态向量的序列进行全局特征提取，这样可以将局部信息整合为一个全局语义特征向量，用于表示整个障碍物表面的语义信息。通过提取障碍物表面的全局语义特征，可以更好地理解障碍物的整体特征和性质，这些全局特征可以用于判断障碍物是否需要清洁，以及为导航策略的决策提供更全面的信息。
在所述步骤140中，基于所述障碍物表面全局语义特征向量，确定所述机器人的导航策略。根据机器人的任务和环境要求，设计适当的导航策略，根据障碍物表面的全局语义特征向量，可以使用规则引擎、决策树、强化学习等方法来确定机器人的导航策略。考虑到障碍物是否需要清洁以及机器人的清洁能力，决策可以包括沿着障碍物移动并进行清洁操作，或绕开障碍物而不进行清洁操作。通过基于障碍物表面的全局语义特征向量确定导航策略，机器人可以更智能地决定是沿着障碍物移动还是绕开障碍物，这样可以提高机器人的效率和适应性，使其能够根据障碍物的状态和环境要求做出最优的导航决策。
通过以上步骤，机器人可以利用机器视觉技术和深度学习算法感知障碍物，并提取特征以理解障碍物的局部和全局特征。基于这些特征，机器人可以决定导航策略，从而智能地选择沿着障碍物移动或改变行径角度以绕开障碍物，这样可以提高机器人的自主性和清洁效率。
本领域的普通技术人员应当了解，机器人可以在地板上移动来执行各种操作，例如清洁、吸尘以及其它操作。在机器人移动过程中，机器人可能遇到障碍物。此时，机器人可以被导航为沿着障碍物移动或者改变行径角度以绕开障碍物。如果机器人是清洁机器人，当机器人沿着障碍物移动时，机器人可以清洁障碍物的表面。在判断是否沿着障碍物移动还是改变行径角度以绕过障碍物时，其关键是判断障碍物的类型，如果障碍物的表面存在脏污，则沿着障碍物移动以清理障碍物表面的脏污，如果障碍物表面不存在脏污，则绕开。
为了能够让机器人实现自主地导航，本发明的技术构思是利用机器视觉技术来感知环境中的障碍物，并结合深度学习算法来进行特征提取和障碍物识别，从而帮助机器人了解障碍物是否需要被清洁，以决定机器人的导航策略，即沿着障碍物移动还是改变行径角度以绕开障碍物。
机器视觉技术可以帮助机器人准确地感知环境中的障碍物，包括其位置、形状和大小等信息，通过深度学习算法进行特征提取和障碍物识别，机器人可以快速而准确地判断障碍物是否需要被清洁。这样，机器人可以更好地理解环境，并做出相应的导航决策。通过机器视觉和深度学习的结合，机器人可以识别出需要被清洁的障碍物，避免对不需要清洁的表面进行操作，这样可以节省时间和资源，提高清洁效率。机器人可以沿着障碍物移动，并在需要的地方进行清洁操作，而不会浪费时间和努力在不需要清洁的区域上。利用机器视觉和深度学习技术，机器人可以自主地感知和识别障碍物，然后根据识别结果做出相应的导航策略决策。这样，机器人可以在复杂的环境中更加自主地规划路径，避免碰撞和卡住，并且能够根据实际情况作出灵活的导航决策。机器视觉和深度学习技术可以学习和适应不同类型的障碍物和环境，通过大量的训练数据和算法的优化，机器人可以逐渐提高对不同障碍物的识别准确性和鲁棒性。这样，机器人可以在各种不同的环境中工作，并根据环境的变化调整导航策略，实现更智能化的清洁操作。
利用机器视觉技术和深度学习算法进行障碍物感知和识别，可以提升机器人的环境感知能力、清洁效率、自主性和智能化水平，为机器人的导航策略决策提供更准确、高效和智能的支持。
基于此，在本发明的技术方案中，首先获取由部署于机器人的摄像头采集的障碍物表面图像。然后，提取所述障碍物表面图像的障碍物局部状态特征以得到障碍物表面局部区域状态向量的序列。也就是，捕捉蕴含在所述障碍物表面图像中的局部的关于障碍物类型、障碍物表面状态等特征信息，帮助模型来判断障碍物的表面是否存在脏污，即障碍物是否需要被清洁。
在本发明的一个具体示例中，提取所述障碍物表面图像的障碍物局部状态特征以得到障碍物表面局部区域状态向量的序列，包括：对所述障碍物表面图像进行图像分块处理以得到障碍物表面图像块的序列；以及，将所述障碍物表面图像块的序列通过基于使用空洞卷积核的卷积神经网络模型的障碍物局部状态提取器以得到所述障碍物表面局部区域状态向量的序列。
通过将障碍物表面图像进行分块处理，可以将整个图像分解为多个小块，每个图像块可以提供关于障碍物局部区域的信息。这样，机器人可以更细致地了解障碍物的不同部分，包括边缘、纹理、颜色等特征，通过获取局部信息，机器人可以更准确地判断障碍物的状态和特征。图像分块处理可以帮助优化特征提取过程，不同的图像块可能具有不同的特征和特性，通过对每个图像块进行特征提取，可以获得更丰富和多样化的特征表示。这样，机器人可以更全面地了解障碍物的表面特征，提高障碍物识别的准确性和鲁棒性。图像分块处理可以将图像处理任务分解为多个子任务，并且这些子任务可以并行处理，这样可以提高处理速度和效率，特别是在大规模图像处理的情况下，机器人可以同时处理多个图像块，加快感知和识别的速度，使其能够更快地做出导航策略的决策。障碍物表面的图像可能具有不同的尺度和细节级别，通过图像分块处理，可以根据需要选择合适的块大小和分块策略，这样可以适应不同尺度的障碍物，并且能够更好地捕捉到细微的特征和细节。机器人可以根据障碍物的尺度和特征选择合适的分块策略，提高感知和识别的效果。
这里，分块处理可以降低图像的维度和复杂度，减少计算量和内存消耗，同时保留障碍物表面的重要信息；通过障碍物局部状态提取器可以利用空洞卷积核的特性，捕捉障碍物表面图像块中的细节和上下文信息，生成具有语义含义的局部区域状态向量。
在本发明的一个具体实施例中，将所述障碍物表面图像块的序列通过基于使用空洞卷积核的卷积神经网络模型的障碍物局部状态提取器以得到所述障碍物表面局部区域状态向量的序列，包括：使用所述基于使用空洞卷积核的卷积神经网络模型的障碍物局部状态提取器的各层在层的正向传递中对输入数据分别进行卷积处理、池化处理和非线性激活处理以由所述基于使用空洞卷积核的卷积神经网络模型的障碍物局部状态提取器的最后一层的输出为所述障碍物表面局部区域状态向量的序列，其中，所述基于使用空洞卷积核的卷积神经网络模型的障碍物局部状态提取器的第一层的输入为所述障碍物表面图像块的序列。
使用空洞卷积核的卷积神经网络模型可以有效地捕捉到障碍物表面图像块中的局部特征，空洞卷积核可以扩大感受野，从而在保持计算效率的同时，能够捕捉到更大范围的特征。通过这种方式，障碍物局部状态提取器可以更准确地提取出障碍物表面图像块的特征表示，包括纹理、形状、边缘等信息。卷积神经网络模型可以通过多层卷积和池化操作，逐渐扩大感受野并获取更广阔的上下文信息，这种上下文信息对于理解障碍物表面局部区域的状态非常重要。通过障碍物局部状态提取器，机器人可以获取到每个图像块的上下文信息，从而更好地理解障碍物的整体结构和特征。通过卷积神经网络模型，障碍物局部状态提取器可以将障碍物表面图像块的序列转化为相应的局部区域状态向量的序列，这样可以将原始图像块的高维特征表示降低为更低维的向量表示，这种维度降低有助于减少数据的存储和计算量，并且可以更好地捕捉到障碍物表面局部区域的关键特征。通过将障碍物表面图像块的序列转化为局部区域状态向量的序列，可以将图像处理任务转化为序列化处理任务，这样可以利用序列化处理的方法和技术，如循环神经网络 (RNN) 或者注意力机制(Attention)，对局部区域状态向量序列进行进一步的分析和处理，这种序列化处理能够捕捉到图像块之间的时序关系和上下文信息，从而提高障碍物的识别和理解能力。
接着，对所述障碍物表面局部区域状态向量的序列进行全局特征提取以得到障碍物表面全局语义特征向量。也就是，将所述障碍物表面局部区域状态向量的序列所表达的障碍物表面局部状态特征信息进行整合，以使得所述障碍物表面全局语义特征向量能够表征障碍物的整体表面状态特征。
在本发明的一个具体示例中，对所述障碍物表面局部区域状态向量的序列进行全局特征提取以得到障碍物表面全局语义特征向量，包括：将所述障碍物表面局部区域状态向量的序列通过基于转换器的全局特征提取器以得到所述障碍物表面全局语义特征向量。
其中，将所述障碍物表面局部区域状态向量的序列通过基于转换器的全局特征提取器以得到所述障碍物表面全局语义特征向量，包括：使用所述基于转换器的全局特征提取器对所述障碍物表面局部区域状态向量的序列进行基于全局的上下文语义编码以得到多个障碍物表面上下文特征向量；以及，将所述多个障碍物表面上下文特征向量进行级联以得到所述障碍物表面全局语义特征向量。
其中，全局特征提取器可以利用转换器的自注意力机制，对局部区域状态向量进行编码，以生成具有全局视角的语义特征向量。
继而，将所述障碍物表面全局语义特征向量通过分类器以得到分类结果，所述分类结果用于表示沿着障碍物移动或者改变行径角度。在本发明的一个具体实施例中，基于所述障碍物表面全局语义特征向量，确定所述机器人的导航策略，包括：将所述障碍物表面全局语义特征向量通过分类器以得到分类结果，所述分类结果用于表示沿着障碍物移动或者改变行径角度；以及，将所述分类结果作为所述机器人的导航策略。
通过使用分类器对障碍物表面全局语义特征进行分类，机器人可以迅速决定沿着障碍物移动或改变行径角度的最佳策略。分类器可以根据全局语义特征向量的特征，将障碍物分为不同的类别，如可通过、需要绕过、需要避开等。这样，机器人可以根据分类结果快速做出决策，避免碰撞或陷入困境。障碍物表面全局语义特征向量包含了整个障碍物的语义信息，通过将这些全局特征向量输入分类器，机器人可以综合考虑障碍物的整体情况，而不仅仅是局部区域的特征，有助于机器人更全面地理解障碍物的性质和特点，并做出更准确的决策。分类器可以根据训练数据集中的不同类别来学习障碍物的特征和行为规律，这使得机器人能够适应各种不同类型的障碍物，并根据其分类结果采取相应的行动。无论是遇到固定障碍物、移动障碍物还是不同形状和尺寸的障碍物，分类器都能够根据全局语义特征向量进行准确分类和决策。通过将障碍物表面全局语义特征向量输入分类器进行分类，机器人可以实时地获取分类结果，并根据该结果进行行动，这种实时性使得机器人能够快速适应环境变化，并做出及时的决策。
在本发明的一个实施例中，所述机器人的自主导航方法，还包括训练步骤：对所述基于使用空洞卷积核的卷积神经网络模型的障碍物局部状态提取器、所述基于转换器的全局特征提取器和所述分类器进行训练；其中，所述训练步骤，包括：获取训练数据，所述训练数据包括由部署于机器人的摄像头采集的训练障碍物表面图像，以及，沿着障碍物移动或者改变行径角度的真实值；对所述训练障碍物表面图像进行图像分块处理以得到训练障碍物表面图像块的序列；将所述训练障碍物表面图像块的序列通过所述基于使用空洞卷积核的卷积神经网络模型的障碍物局部状态提取器以得到训练障碍物表面局部区域状态向量的序列；将所述训练障碍物表面局部区域状态向量的序列通过所述基于转换器的全局特征提取器以得到训练障碍物表面全局语义特征向量；将所述训练障碍物表面全局语义特征向量通过分类器以得到分类损失函数值；以及，以所述分类损失函数值来对所述基于使用空洞卷积核的卷积神经网络模型的障碍物局部状态提取器、所述基于转换器的全局特征提取器和所述分类器进行训练，其中，在所述训练的每一轮迭代中，基于所述训练障碍物表面全局语义特征向量进行权重矩阵的迭代。
在本发明的技术方案中，所述训练障碍物表面局部区域状态向量的序列中的每个训练障碍物表面局部区域状态向量用于表达相应的障碍物表面图像块在局部图像语义空间域下的图像语义特征，而将所述训练障碍物表面局部区域状态向量的序列通过基于转换器的全局特征提取器，可以进一步提取局部图像语义空间域下的图像语义特征在全局图像语义空间域下的上下文关联特征，因此，所述训练障碍物表面全局语义特征向量会具有在局部-全局图像语义空间域下的多维度图像语义关联表示，也就是，与局部图像语义空间域和全局图像语义空间域对应的多维度密集图像语义分布表示，这就会导致在所述训练障碍物表面全局语义特征向量通过分类器进行分类回归训练时，所述分类器的权重矩阵的训练效率降低。
基于此，本发明的申请人在将所述训练障碍物表面全局语义特征向量通过分类器进行分类回归的训练时，基于所述训练障碍物表面全局语义特征向量进行权重矩阵的迭代，具体表示为：以如下优化公式基于所述训练障碍物表面全局语义特征向量进行权重矩阵的迭代；其中，所述优化公式为：其中，/>和/>分别是上次和本次迭代的权重矩阵，其中在首次迭代时，采用不同的初始化策略设置/>和/>，（例如，/>设置为单位矩阵而/>设置为待分类特征向量的均值对角矩阵），/>是待分类的训练障碍物表面全局语义特征向量，/>和/>分别表示特征向量/>和/>的全局均值，且/>是偏置矩阵，例如初始设置为单位矩阵，向量以列向量形式，/>表示迭代后的权重矩阵，表示特征向量/>的转置向量，/>表示最大值函数，/>表示按位置加法，/>表示按位置点乘，/>表示矩阵乘法。
也就是，考虑到在进行基于待分类的训练障碍物表面全局语义特征向量的密集预测任务时，需要将权重矩阵的高分辨率表示与待分类的训练障碍物表面全局语义特征向量/>的图像语义特征分布多维度密集关联上下文进行集成，因此通过在迭代过程中最大化权重空间的分布边界，来基于迭代关联表示资源认知地（resource-aware）实现渐进集成（progressive integrity），从而提高权重矩阵的训练效果，提升模型整体的训练效率。
综上，基于本发明实施例的机器人的自主导航方法被阐明，其利用机器视觉技术来感知环境中的障碍物，并结合深度学习算法来进行特征提取和障碍物识别，从而帮助机器人了解障碍物是否需要被清洁，以决定机器人的导航策略，即沿着障碍物移动还是改变行径角度以绕开障碍物。
图3为本发明实施例中提供的一种机器人的自主导航系统的框图。如图3所示，所述机器人的自主导航系统200，包括：障碍物表面图像获取模块210，用于获取由部署于机器人的摄像头采集的障碍物表面图像；障碍物局部状态特征提取模块220，用于提取所述障碍物表面图像的障碍物局部状态特征以得到障碍物表面局部区域状态向量的序列；全局特征提取模块230，用于对所述障碍物表面局部区域状态向量的序列进行全局特征提取以得到障碍物表面全局语义特征向量；以及，机器人的导航策略确定模块240，用于基于所述障碍物表面全局语义特征向量，确定所述机器人的导航策略。
在所述机器人的自主导航系统中，所述障碍物局部状态特征提取模块，包括：图像分块处理单元，用于对所述障碍物表面图像进行图像分块处理以得到障碍物表面图像块的序列；以及，状态提取单元，用于将所述障碍物表面图像块的序列通过基于使用空洞卷积核的卷积神经网络模型的障碍物局部状态提取器以得到所述障碍物表面局部区域状态向量的序列。
在所述机器人的自主导航系统中，所述状态提取单元，用于：使用所述基于使用空洞卷积核的卷积神经网络模型的障碍物局部状态提取器的各层在层的正向传递中对输入数据分别进行卷积处理、池化处理和非线性激活处理以由所述基于使用空洞卷积核的卷积神经网络模型的障碍物局部状态提取器的最后一层的输出为所述障碍物表面局部区域状态向量的序列，其中，所述基于使用空洞卷积核的卷积神经网络模型的障碍物局部状态提取器的第一层的输入为所述障碍物表面图像块的序列。
本领域技术人员可以理解，上述机器人的自主导航系统中的各个步骤的具体操作已经在上面参考图1到图2的机器人的自主导航方法的描述中得到了详细介绍，并因此，将省略其重复描述。
如上所述，根据本发明实施例的机器人的自主导航系统200可以实现在各种终端设备中，例如用于机器人的自主导航的服务器等。在一个示例中，根据本发明实施例的机器人的自主导航系统200可以作为一个软件模块和/或硬件模块而集成到终端设备中。例如，该机器人的自主导航系统200可以是该终端设备的操作系统中的一个软件模块，或者可以是针对于该终端设备所开发的一个应用程序；当然，该机器人的自主导航系统200同样可以是该终端设备的众多硬件模块之一。
替换地，在另一示例中，该机器人的自主导航系统200与该终端设备也可以是分立的设备，并且该机器人的自主导航系统200可以通过有线和/或无线网络连接到该终端设备，并且按照约定的数据格式来传输交互信息。
图4为本发明实施例中提供的一种机器人的自主导航方法的应用场景图。如图4所示，在该应用场景中，首先，获取由部署于机器人的摄像头采集的障碍物表面图像（例如，如图4中所示意的C）；然后，将获取的障碍物表面图像输入至部署有机器人的自主导航算法的服务器（例如，如图4中所示意的S）中，其中所述服务器能够基于机器人的自主导航算法对所述障碍物表面图像进行处理，以确定所述机器人的导航策略。
以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种机器人的自主导航方法，其特征在于，包括：
获取由部署于机器人的摄像头采集的障碍物表面图像；
提取所述障碍物表面图像的障碍物局部状态特征以得到障碍物表面局部区域状态向量的序列；
对所述障碍物表面局部区域状态向量的序列进行全局特征提取以得到障碍物表面全局语义特征向量；以及
基于所述障碍物表面全局语义特征向量，确定所述机器人的导航策略。
2.根据权利要求1所述的机器人的自主导航方法，其特征在于，提取所述障碍物表面图像的障碍物局部状态特征以得到障碍物表面局部区域状态向量的序列，包括：
对所述障碍物表面图像进行图像分块处理以得到障碍物表面图像块的序列；以及
将所述障碍物表面图像块的序列通过基于使用空洞卷积核的卷积神经网络模型的障碍物局部状态提取器以得到所述障碍物表面局部区域状态向量的序列。
3.根据权利要求2所述的机器人的自主导航方法，其特征在于，将所述障碍物表面图像块的序列通过基于使用空洞卷积核的卷积神经网络模型的障碍物局部状态提取器以得到所述障碍物表面局部区域状态向量的序列，包括：使用所述基于使用空洞卷积核的卷积神经网络模型的障碍物局部状态提取器的各层在层的正向传递中对输入数据分别进行卷积处理、池化处理和非线性激活处理以由所述基于使用空洞卷积核的卷积神经网络模型的障碍物局部状态提取器的最后一层的输出为所述障碍物表面局部区域状态向量的序列，其中，所述基于使用空洞卷积核的卷积神经网络模型的障碍物局部状态提取器的第一层的输入为所述障碍物表面图像块的序列。
4.根据权利要求3所述的机器人的自主导航方法，其特征在于，对所述障碍物表面局部区域状态向量的序列进行全局特征提取以得到障碍物表面全局语义特征向量，包括：将所述障碍物表面局部区域状态向量的序列通过基于转换器的全局特征提取器以得到所述障碍物表面全局语义特征向量。
5.根据权利要求4所述的机器人的自主导航方法，其特征在于，将所述障碍物表面局部区域状态向量的序列通过基于转换器的全局特征提取器以得到所述障碍物表面全局语义特征向量，包括：使用所述基于转换器的全局特征提取器对所述障碍物表面局部区域状态向量的序列进行基于全局的上下文语义编码以得到多个障碍物表面上下文特征向量；以及将所述多个障碍物表面上下文特征向量进行级联以得到所述障碍物表面全局语义特征向量。
6.根据权利要求5所述的机器人的自主导航方法，其特征在于，基于所述障碍物表面全局语义特征向量，确定所述机器人的导航策略，包括：
将所述障碍物表面全局语义特征向量通过分类器以得到分类结果，所述分类结果用于表示沿着障碍物移动或者改变行径角度；以及
将所述分类结果作为所述机器人的导航策略。
7.根据权利要求6所述的机器人的自主导航方法，其特征在于，还包括训练步骤：对所述基于使用空洞卷积核的卷积神经网络模型的障碍物局部状态提取器、所述基于转换器的全局特征提取器和所述分类器进行训练；
其中，所述训练步骤，包括：
获取训练数据，所述训练数据包括由部署于机器人的摄像头采集的训练障碍物表面图像，以及，沿着障碍物移动或者改变行径角度的真实值；
对所述训练障碍物表面图像进行图像分块处理以得到训练障碍物表面图像块的序列；
将所述训练障碍物表面图像块的序列通过所述基于使用空洞卷积核的卷积神经网络模型的障碍物局部状态提取器以得到训练障碍物表面局部区域状态向量的序列；
将所述训练障碍物表面局部区域状态向量的序列通过所述基于转换器的全局特征提取器以得到训练障碍物表面全局语义特征向量；
将所述训练障碍物表面全局语义特征向量通过分类器以得到分类损失函数值；以及
以所述分类损失函数值来对所述基于使用空洞卷积核的卷积神经网络模型的障碍物局部状态提取器、所述基于转换器的全局特征提取器和所述分类器进行训练，其中，在所述训练的每一轮迭代中，基于所述训练障碍物表面全局语义特征向量进行权重矩阵的迭代。
8.一种机器人的自主导航系统，其特征在于，包括：
障碍物表面图像获取模块，用于获取由部署于机器人的摄像头采集的障碍物表面图像；
障碍物局部状态特征提取模块，用于提取所述障碍物表面图像的障碍物局部状态特征以得到障碍物表面局部区域状态向量的序列；
全局特征提取模块，用于对所述障碍物表面局部区域状态向量的序列进行全局特征提取以得到障碍物表面全局语义特征向量；以及
机器人的导航策略确定模块，用于基于所述障碍物表面全局语义特征向量，确定所述机器人的导航策略。
9.根据权利要求8所述的机器人的自主导航系统，其特征在于，所述障碍物局部状态特征提取模块，包括：
图像分块处理单元，用于对所述障碍物表面图像进行图像分块处理以得到障碍物表面图像块的序列；以及
状态提取单元，用于将所述障碍物表面图像块的序列通过基于使用空洞卷积核的卷积神经网络模型的障碍物局部状态提取器以得到所述障碍物表面局部区域状态向量的序列。
10.根据权利要求9所述的机器人的自主导航系统，其特征在于，所述状态提取单元，用于：
使用所述基于使用空洞卷积核的卷积神经网络模型的障碍物局部状态提取器的各层在层的正向传递中对输入数据分别进行卷积处理、池化处理和非线性激活处理以由所述基于使用空洞卷积核的卷积神经网络模型的障碍物局部状态提取器的最后一层的输出为所述障碍物表面局部区域状态向量的序列，其中，所述基于使用空洞卷积核的卷积神经网络模型的障碍物局部状态提取器的第一层的输入为所述障碍物表面图像块的序列。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311479364.8A CN117608283A (zh) | 2023-11-08 | 2023-11-08 | 机器人的自主导航方法及其系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311479364.8A CN117608283A (zh) | 2023-11-08 | 2023-11-08 | 机器人的自主导航方法及其系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117608283A true CN117608283A (zh) | 2024-02-27 |
Family
ID=89948739
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311479364.8A Pending CN117608283A (zh) | 2023-11-08 | 2023-11-08 | 机器人的自主导航方法及其系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117608283A (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110502019A (zh) * | 2019-09-06 | 2019-11-26 | 北京云迹科技有限公司 | 一种室内机器人的避障方法及装置 |
| CN112327879A (zh) * | 2020-11-25 | 2021-02-05 | 珠海市一微半导体有限公司 | 一种基于深度信息的沿边避障方法 |
| WO2021244621A1 (zh) * | 2020-06-04 | 2021-12-09 | 华为技术有限公司 | 基于全局引导选择性上下文网络的场景语义解析方法 |
| CN115423865A (zh) * | 2022-07-29 | 2022-12-02 | 松灵机器人(深圳)有限公司 | 障碍物检测方法、装置、割草机器人以及存储介质 |
| CN116168352A (zh) * | 2023-04-26 | 2023-05-26 | 成都睿瞳科技有限责任公司 | 基于图像处理的电网障碍物识别处理方法及系统 |
| CN116909317A (zh) * | 2023-09-14 | 2023-10-20 | 飞客工场科技(北京)有限公司 | 基于终端车联网的无人机控制系统及方法 |
-
2023
- 2023-11-08 CN CN202311479364.8A patent/CN117608283A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110502019A (zh) * | 2019-09-06 | 2019-11-26 | 北京云迹科技有限公司 | 一种室内机器人的避障方法及装置 |
| WO2021244621A1 (zh) * | 2020-06-04 | 2021-12-09 | 华为技术有限公司 | 基于全局引导选择性上下文网络的场景语义解析方法 |
| CN112327879A (zh) * | 2020-11-25 | 2021-02-05 | 珠海市一微半导体有限公司 | 一种基于深度信息的沿边避障方法 |
| CN115423865A (zh) * | 2022-07-29 | 2022-12-02 | 松灵机器人(深圳)有限公司 | 障碍物检测方法、装置、割草机器人以及存储介质 |
| CN116168352A (zh) * | 2023-04-26 | 2023-05-26 | 成都睿瞳科技有限责任公司 | 基于图像处理的电网障碍物识别处理方法及系统 |
| CN116909317A (zh) * | 2023-09-14 | 2023-10-20 | 飞客工场科技(北京)有限公司 | 基于终端车联网的无人机控制系统及方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108280856B (zh) | 基于混合信息输入网络模型的未知物体抓取位姿估计方法 | |
| CN110703747B (zh) | 一种基于简化广义Voronoi图的机器人自主探索方法 | |
| US10372968B2 (en) | Object-focused active three-dimensional reconstruction | |
| Yang et al. | A neural network approach to complete coverage path planning | |
| CN111523486B (zh) | 一种基于改进CenterNet的机械臂抓取检测方法 | |
| Thompson et al. | A probabilistic model of human motion and navigation intent for mobile robot path planning | |
| Pugeault et al. | Visual primitives: local, condensed, semantically rich visual descriptors and their applications in robotics | |
| CN113110513A (zh) | 一种基于ros的居家整理移动机器人 | |
| CN112287834A (zh) | 机器人的巡检清洁方法、装置、机器人和存储介质 | |
| Tang et al. | Learning collaborative pushing and grasping policies in dense clutter | |
| Arain et al. | Improving underwater obstacle detection using semantic image segmentation | |
| CN112287833A (zh) | 机器人的巡检清洁方法、装置、机器人和存储介质 | |
| Tsai et al. | Mapless LiDAR navigation control of wheeled mobile robots based on deep imitation learning | |
| CN113034575A (zh) | 一种模型构建方法、位姿估计方法及物体拣取装置 | |
| Zhang et al. | Dex-Net AR: Distributed deep grasp planning using a commodity cellphone and augmented reality app | |
| CN113553943B (zh) | 目标实时检测方法以及装置、存储介质、电子装置 | |
| Ilyas et al. | Staircase recognition and localization using convolution neural network (cnn) for cleaning robot application | |
| Hossain et al. | Object recognition and robot grasping: A deep learning based approach | |
| CN117608283A (zh) | 机器人的自主导航方法及其系统 | |
| Muhammad et al. | Visual object detection based lidar point cloud classification | |
| Lin et al. | Robotic grasp detection by rotation region CNN | |
| Venkataraman et al. | Kinematically-informed interactive perception: Robot-generated 3d models for classification | |
| Ito et al. | Visualization of focal cues for visuomotor coordination by gradient-based methods: A recurrent neural network shifts the attention depending on task requirements | |
| Pratihar et al. | A review on applications of soft computing in design and development of intelligent autonomous robots | |
| Chen et al. | A Self-Supervised Miniature One-Shot Texture Segmentation (MOSTS) Model for Real-Time Robot Navigation and Embedded Applications |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |