CN117921622B - 拾起垃圾的机器人的控制方法及拾起垃圾的机器人 - Google Patents
拾起垃圾的机器人的控制方法及拾起垃圾的机器人 Download PDFInfo
- Publication number
- CN117921622B CN117921622B CN202410338005.9A CN202410338005A CN117921622B CN 117921622 B CN117921622 B CN 117921622B CN 202410338005 A CN202410338005 A CN 202410338005A CN 117921622 B CN117921622 B CN 117921622B
- Authority
- CN
- China
- Prior art keywords
- robot
- garbage
- map
- neural network
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 239000010813 municipal solid waste Substances 0.000 title claims abstract description 110
- 238000000034 method Methods 0.000 title claims abstract description 44
- 230000000007 visual effect Effects 0.000 claims abstract description 9
- 238000013528 artificial neural network Methods 0.000 claims description 58
- 238000013527 convolutional neural network Methods 0.000 claims description 11
- 238000005457 optimization Methods 0.000 claims description 10
- 238000005070 sampling Methods 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 5
- 238000013507 mapping Methods 0.000 claims description 4
- 238000003384 imaging method Methods 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 9
- 230000004044 response Effects 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 1
- 230000001580 bacterial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000002431 foraging effect Effects 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000002922 simulated annealing Methods 0.000 description 1
Landscapes
- Manipulator (AREA)
Abstract
本发明提供了一种拾起垃圾的机器人的控制方法及拾起垃圾的机器人，其中，拾起垃圾的机器人的控制方法，机器人包括摄像部件和执行部件，控制方法包括：通过摄像部件获取机器人的当前视角图像以及待检区域的二维平面地图；根据当前视角图像和二维平面地图确定待检区域内每个垃圾与机器人的当前位置之间的位姿估计；根据多个位姿估计进行路径规划，得到机器人拾取垃圾的最优路径；控制机器人根据最优路径行驶，并控制执行部件拾取垃圾。本申请通过机器人自动对待检区域内的垃圾进行识别以及位姿估计后规划出行驶的最优路径，加快了机器人拾取垃圾的速度，提高了机器人的工作效率，不需要在每个区域都增设机器人，从而降低了人工成本与时间成本。
Description
技术领域
本发明涉及机器人技术领域，具体涉及一种拾起垃圾的机器人的控制方法及拾起垃圾的机器人。
背景技术
随着人们生活水平的日益提高，旅游业得到了快速发展，然而随之而来的问题就是公园、景区等一些公共场所的垃圾不能够得到及时的清理，影响公共场所的环境卫生。目前，市场上生产了用于垃圾收集的机器人，该机器人依靠机械臂末端的夹子拾取垃圾，这样提高了环卫工人的工作环境，同时也节约了劳动力。
然而，该拾起垃圾的机器人只能用于某一固定场所，无法进行自动的路径规划，这使得机器人的数量必然增加，应用成本大幅增。
发明内容
本发明解决的问题是现有的拾起垃圾的机器人的控制方法中无法实现自动路径规划的问题。
为解决上述问题，本发明提供一种拾起垃圾的机器人的控制方法，所述机器人包括摄像部件和执行部件，所述控制方法包括：
通过所述摄像部件获取所述机器人的当前视角图像以及待检区域的二维平面地图；
根据所述当前视角图像和所述二维平面地图确定所述待检区域内每个垃圾与所述机器人的当前位置之间的位姿估计；
根据多个所述位姿估计进行路径规划，得到所述机器人拾取所述垃圾的最优路径；
控制所述机器人根据所述最优路径行驶，并控制所述执行部件拾取所述垃圾；
其中，所述根据所述当前视角图像和所述二维平面地图确定所述待检区域内每个垃圾与所述机器人的当前位置之间的位姿估计包括：
获取当前视角下与所述当前视角图像同分辨率的深度图像；
在预设数据库中将所述当前视角图像的每个像素和所述深度图像的每个像素进行逐像素匹配以得到神经网络鸟瞰图；
将所述神经网络鸟瞰图与预设神经网络地图进行位置匹配，以得到所述机器人在当前视角下的位姿估计。
可选的，所述将所述神经网络鸟瞰图与预设神经网络地图进行位置匹配，以得到所述机器人在当前视角下的位姿估计包括：
将所述神经网络鸟瞰图在所述预设神经网络地图中进行旋转匹配；
当所述神经网络鸟瞰图与所述预设神经网络地图的重合率最大时，确定所述神经网络鸟瞰图的旋转角度；
根据所述旋转角度和深度信息得到每个垃圾与所述机器人之间的位姿估计，其中，所述位姿估计包括偏移量和偏转角度。
可选的，在所述将所述神经网络鸟瞰图与预设神经网络地图进行位置匹配之前，所述控制方法还包括：
将所述二维平面地图中的区域、线和点栅格化为具有固定采样距离的图像，以得到栅格地图；
将所述栅格地图中的各个类别特征嵌入关联形成特征映射；
通过卷积神经网络提取与定位相关的几何特征，将所述几何特征编码值地图中以得到所述预设神经网络地图。
可选的，所述根据多个所述位姿估计进行路径规划，得到所述机器人拾取所述垃圾的最优路径包括：
采用解决旅行商问题的优化方法在预设时间内进行有限迭代次数计算以确定行驶路线最短的路径为最优路径。
可选的，所述控制方法还包括：
在拾取所述垃圾时判断所述待检区域内是否有其他待拾取的垃圾；
若存在，则根据所述待检区域内剩余的垃圾与所述机器人的当前位置之间的位姿估计更新所述路径规划，并控制所述机器人根据更新后的路径规划进行拾取垃圾。
可选的，所述控制方法还包括：
判断当前导航路径上是否具有障碍物；
若存在障碍物，则对所述最优路径进行调整以规避所述障碍物。
本申请实施例还提供一种拾起垃圾的机器人，所述机器人包括：
摄像部件，所述摄像部件用于获取所述机器人的当前视角图像、获取当前视角下与所述当前视角图像同分辨率的深度图像以及获取所述待检区域的二维平面地图；
执行部件，所述执行部件用于拾取垃圾；
控制部件，所述控制部件均与所述摄像部件和所述执行部件连接，用于根据获取的所述当前视角图像和所述二维平面地图确定待检区域内每个垃圾与所述机器人的当前位置之间的位姿估计，根据多个所述位姿估计进行路径规划，得到所述机器人拾取所述垃圾的最优路径；控制所述机器人根据所述最优路径行驶，并控制所述执行部件拾取所述垃圾；
其中，所述根据获取的所述当前视角图像和所述二维平面地图确定所述待检区域内每个垃圾与所述机器人的当前位置之间的位姿估计包括：
获取当前视角下与所述当前视角图像同分辨率的深度图像；
在预设数据库中将所述当前视角图像的每个像素和所述深度图像的每个像素进行逐像素匹配以得到神经网络鸟瞰图；
将所述神经网络鸟瞰图与预设神经网络地图进行位置匹配，以得到所述机器人在当前视角下的位姿估计。
可选的，所述摄像部件包括多线激光雷达、双目相机和预定位单元，所述预定位单元与所述多线激光雷达和所述控制部件连接，所述双目相机用于获取所述机器人的当前视角图像，所述多线激光雷达用于获取所述待检区域的三维点云，所述预定位单元用于将所述三维点云压缩成二维平面地图后发送至所述控制部件。
可选的，所述机器人还包括：
移动部件，所述移动部件用于调整所述机器人的位置和方向；
垃圾箱，所述垃圾箱设置在所述移动部件上，用于暂存垃圾；和
立柱，所述立柱与所述移动部件连接，所述立柱上设置有所述多线激光雷达和所述双目相机，其中，所述双目相机设置在所述多线激光雷达靠近所述移动部件的一侧。
本申请实施例所提供的拾起垃圾的机器人的控制方法，机器人包括摄像部件和执行部件，该控制方法包括通过摄像部件获取机器人的当前视角图像以及待检区域的二维平面地图；根据当前视角图像和二维平面地图确定待检区域内每个垃圾与机器人的当前位置之间的位姿估计；根据多个位姿估计进行路径规划，得到机器人拾取垃圾的最优路径；控制机器人根据最优路径行驶，并控制执行部件拾取垃圾，其中，根据当前视角图像和二维平面地图确定待检区域内每个垃圾与机器人的当前位置之间的位姿估计包括：获取当前视角下与当前视角图像同分辨率的深度图像；在预设数据库中将当前视角图像的每个像素和深度图像的每个像素进行逐像素匹配以得到神经网络鸟瞰图；将神经网络鸟瞰图与预设神经网络地图进行位置匹配，以得到机器人在当前视角下的位姿估计。本申请通过机器人自动对待检区域内的垃圾进行识别以及位姿估计后规划出行驶的最优路径，既加快了机器人拾取垃圾的速度，提高了机器人的工作效率，也由于机器人会自动规划行驶路径，因而也不需要在每个区域都增设机器人，从而降低了成本。另外，本申请通过获取的机器人的当前视角图像以及待检区域的二维平面地图以确定待检区域内每个垃圾与机器人的位姿估计，将原本基于三维空间的机器人移动和机械臂拾取的组合优化问题简化为了在二维平面中进行导航和机械臂在待检区域平面内进行移动的两个独立优化问题，能够简化整体考虑时带来的复杂解耦问题，提高了计算效率和机器人的响应速度，进而提高了机器人的工作效率。
附图说明
图1为本申请实施例提供的拾起垃圾的机器人的结构示意图；
图2为图1所示的机器人的主视图；
图3为本申请实施例提供的拾起垃圾的机器人的控制方法的流程示意图；
图4为图3所示的控制方法中根据当前视角图像和二维平面地图确定位姿估计的流程示意图；
图5为图4所示的控制方法中将神经网络鸟瞰图和预设神经网络地图匹配的流程示意图；
图6为图4所示的控制方法中将神经网络鸟瞰图和预设神经网络地图匹配之前的流程示意图。
附图标记说明：
100、机器人；10、摄像部件；20、执行部件；30、控制部件；40、移动部件；50、垃圾箱；60、立柱；
101、多线激光雷达；102、双目相机；103、预定位单元；
201、支撑柱；202、夹持臂；203、机械手；204、精定位部件。
具体实施方式
为使本发明的上述目的、特征和优点能够更为明显易懂，下面将对本发明的具体实施例做详细的说明。
请参阅图1和图2，图1为本申请实施例提供的拾起垃圾的机器人的结构示意图，图2为图1所示的机器人的主视图，本申请实施例提供一种拾起垃圾的机器人100，该机器人100包括摄像部件10、执行部件20和控制部件30，摄像部件10用于获取机器人100的当前视角图像以及待检区域的二维平面地图，执行部件20用于拾取垃圾；控制部件30均与摄像部件10和执行部件20连接，用于根据获取的当前视角图像和二维平面地图确定待检区域内每个垃圾与机器人100的当前位置之间的位姿估计，根据多个位姿估计进行路径规划，得到机器人100拾取垃圾的最优路径；控制机器人100根据最优路径行驶，并控制执行部件20拾取垃圾。本申请实施例机器人100通过摄像部件10获取根据当前视角图像和二维平面地图，并确定待检区域内每个垃圾与机器人100的当前位置之间的位姿估计，并根据多个位姿估计进行路径规划，得到机器人100拾取垃圾的最优路径，并控制机器人100根据最优路径依次行驶至每个垃圾所在的位置后控制执行部件20拾取垃圾。如此，本申请既加快了机器人100拾取垃圾的速度，提高了机器人100的工作效率，也由于机器人100会自动规划行驶路径，因而也不需要在每个区域都增设机器人100，从而降低了人工成本和时间成本。另外，本申请通过获取的机器人100的当前视角图像以及待检区域的二维平面地图以确定待检区域内每个垃圾与机器人100的位姿估计，我们将原本基于三维空间的机器人移动和机械臂拾取的组合优化问题简化为了在二维平面中进行导航和机械臂在待检区域平面内进行移动的两个独立优化问题，也就是将绝对六自由度姿态简化成三自由度姿态，这样既能提供精确的定位，又简化了整体考虑时带来的复杂解耦问题，提高了计算效率和机器人100的响应速度，进而提高了机器人100的工作效率。
在一些实施例中，摄像部件10包括多线激光雷达101和双目相机102，双目相机102用于同时获取机器人100的当前视角图像和当前视角下与当前视角图像同分辨率的深度图像，多线激光雷达101用于获取待检区域的三维平面地图。
机器人100还包括移动部件40，移动部件40用于调整机器人100的位置和方向。在一些实施例中，移动部件40包括多轮式底盘，多轮式底盘可以越障、确保通过性，进而可以保证机器人100行驶的稳定性和灵活性。另外，轮式比履带式优点在于不伤害绿化，可以在拾取垃圾时不破坏环境。
机器人100还包括垃圾箱50，垃圾箱50设置在移动部件40上，用于暂存垃圾。在一些实施例中，垃圾箱50设置有多个，或垃圾箱50为分类垃圾箱50，以适用于分别收集不同的垃圾，实现对垃圾的分类收集。
在一些实施例中，垃圾箱50上设置有满桶传感器，当垃圾箱50满桶时，机器人100自动返回下沉式垃圾桶进行桶盖控制、垃圾倾倒。
机器人100还包括立柱60，立柱60与移动部件40连接，立柱60上设置有多线激光雷达101和双目相机102，其中，双目相机102设置在多线激光雷达101靠近移动部件40的一侧。
在一些实施例中，执行部件20设置在移动部件40上，执行部件20包括支撑柱201和夹持臂202，支撑柱201固定设置在移动部件40上，夹持臂202可相对支撑柱201移动，夹持臂202的一端与支撑柱201连接，夹持臂202的另一端设置有机械手203，该机械手203用于抓取待检区域内的垃圾，并将垃圾放入垃圾箱50中。
在一些实施例中，夹持臂202的另一端还设置有精定位部件204，精定位部件204实现待捡区域内垃圾的精准定位。例如，精定位部件204一般为定位相机，通过相机获取图像后生成垃圾在图像中的坐标，从而使机械手203按照坐标进行精准垃圾拾取，通过精准拾取垃圾避免了因定位不准导致拾取垃圾花费太长时间的情况，进而提高了机器人100拾取的效率。
在一些实施例中，摄像部件10还包括预定位单元103，预定位单元103设置在移动部件40上，预定位单元103分别与控制部件30和多线激光雷达101连接。
其中，多线激光雷达101获取待检区域的三维点云，并将三维点云发送至预定位单元103，预定位单元103通过压缩运算将三维点云压缩成二维平面地图，且预定位单元103将该二维平面地图发送至控制部件30。
请继续参阅图3，图3为本申请实施例提供的拾起垃圾的机器人的控制方法的流程示意图。本申请实施例提供一种拾起垃圾的机器人的控制方法，机器人包括摄像部件和执行部件，控制方法的具体流程包括以下步骤：
110、通过摄像部件获取机器人的当前视角图像以及待检区域的二维平面地图。
在一些实施例中，摄像部件包括多线激光雷达、双目相机和预定位单元，其中，通过双目相机获取机器人的当前视角图像，通过多线激光雷达获取待检区域的三维点云，并通过预定位单元根据压缩运算将三维点云压缩成二维平面地图。
120、根据当前视角图像和二维平面地图确定待检区域内每个垃圾与机器人的当前位置之间的位姿估计。
根据当前视角图像可以得到视觉深度信息以及机器人当前位置的位姿信息，通过深度信息、二维平面地图和机器人的当前位置的位姿信息可以得到每个垃圾与机器人的当前位置之间的位姿估计，其中，具体步骤可以继续参阅图4，图4为图3所示的控制方法中根据当前视角图像和二维平面地图确定位姿估计的流程示意图。具体流程如下：
获取当前视角下与当前视角图像同分辨率的深度图像。
通过双目相机获取当前视角下与当前视角图像同分辨率的深度图像，该深度图像具有与当前视角图像相对应的深度信息。
在预设数据库中将当前视角图像的每个像素和深度图像的每个像素进行逐像素匹配以得到神经网络鸟瞰图。
在进行像素匹配之前，先通过大量的预设当前视角图像、预设深度图像和缩放程度进行训练，以建立基准深度-缩放程度-像素位置三个关键信息的预设数据库，基于该预设数据库进行CNN模型的训练，然后将当前视角图像的每个像素和深度图像的每个像素输入训练好的预设数据库中，以得到神经网络鸟瞰图。
其中，本申请实施例采用轻量级模块CoordGate结合U-Net以创建CG U-Net模型进行训练，使用乘法门和坐标编码网络来实现CNN中空间变化卷积的高效计算轻量化。
通过预设卷积神经网络从当前视角图像中提取图像特征，示例性的，在预设卷积神经网络中，从当前视角图像中提取一个U×V的特征图X∈RU×V×N。由于当前视角图像与重力对齐，X中的每个U列对应于3D空间中的一个垂直平面，因此可以将每列映射到U×D极坐标表示中的一条射线X’∈RU×D×N。随后通过沿横向方向从U极射线到间隔为相同间隔的L列的线性插值将极特征映射到尺寸为L×D的直角网格中，也就是得到了特征网格。
在预设卷积神经网络中处理得到的特征网格，从而输出神经网络鸟瞰图T和置信度C。
从该当前视角图像中，我们推断出一个神经网络鸟瞰图表示T∈RL×D×N，它分布在与相机对齐的L×D网格上，并由N维特征组成。网格上的每个特征都被赋予一个置信度，得到矩阵C∈[0,1]L×D。
123、将神经网络鸟瞰图与预设神经网络地图进行位置匹配，以得到机器人在当前视角下的位姿估计。
其中，进行位置匹配的具体流程可以参阅图5，图5为图4所示的控制方法中将神经网络鸟瞰图和预设神经网络地图匹配的流程示意图。具体流程如下：
1231、将神经网络鸟瞰图在预设神经网络地图中进行旋转匹配。
1232、当神经网络鸟瞰图与预设神经网络地图的重合率最大时，确定神经网络鸟瞰图的旋转角度。
1233、根据旋转角度和深度信息得到每个垃圾与机器人之间的位姿估计，其中，位姿估计包括偏移量和偏转角度。
本申请实施例采用基于卷积神经网络的位姿估计大模型，结合即时定位与地图构建（Simultaneous Localization and Mapping，SLAM）地图来替代传统的二维GPS地图，实现对机器人在室外环境一定工作区域范围内的的三维立体位姿与目标垃圾的二维平面位置之间的位姿估计，从而为后续垃圾拾取提供了精确的定位，使得控制部件能够按照该位姿估计驱动机器人按照路径规划达到目标垃圾所处位置。
可以理解的是，在将神经网络鸟瞰图与预设神经网络地图进行位置匹配之前，还需要得到预设神经网络地图，具体的方法步骤可以继续参阅图6，图6为图4所示的控制方法中将神经网络鸟瞰图和预设神经网络地图匹配之前的流程示意图。具体流程如下：
124、将二维平面地图中的区域、线和点栅格化为具有固定采样距离的图像，以得到栅格地图。
其中，采样距离与栅格分辨率呈一定关系，即1×1的栅格可以代表1m×1m的区域，也可以代表0.01m×0.01m的区域，因此，在实际应用中可以根据需要设置固定采样距离的具体数值，在此不作具体的限制。值得注意的是，单位距离越小栅格地图越精细，但相应的地图存储空间变大，算法调用时间变长。
125、将栅格地图中的各个类别特征嵌入关联形成特征映射。
将每个类与学习到的N维特征嵌入关联起来，产生一个W×H×3N特征映射。
126、通过卷积神经网络提取与定位相关的几何特征，将几何特征编码值地图中以得到预设神经网络地图。
通过卷积神经网络提取对定位有用的几何特征，并将其几何特征编码到地图中，得到预设神经网络地图F。
可以理解的是，预设神经网络地图F通常是一个距离场，可以清楚地识别出建筑物的角落或相邻边界等明显的特征。
130、根据多个位姿估计进行路径规划，得到机器人拾取垃圾的最优路径。
例如，采用解决NP-C（Non-deterministic Polynomial complete problem）的优化方法在预设时间内进行有限迭代次数计算以确定行驶路线最短的路径为整体最优路径。
其中，NP-C问题可以理解为优化问题的总称，一般在路径规划中称为旅行商问题，即需要在最短距离（或时间）内不重复地遍历所有目标点。此类问题具有不同的优化方法，例如蚁群方法、细菌觅食方法、模拟退火法等，本申请实施例是确定垃圾所在区域为目标点位置后，将连接多个目标点位置最短路径的求解问题看作旅行商问题，并择优选用求解旅行商问题的优化方法在固定时间窗口内进行有限次迭代计算以确定机器人总体最短行驶路径。其中，本实施例中择优选用蚁群优化方法。
140、控制机器人根据最优路径行驶，并控制执行部件拾取垃圾。
控制机器人根据最优路径行驶至每一个垃圾处，并控制执行部件将垃圾拾取。
在一些实施例中，为了避免待检区域内有其他垃圾未被当前视角图像中所显示，因此，为了保证对待检区域的环保性，控制方法还包括：
在拾取垃圾时判断待检区域内是否有其他待拾取的垃圾；若存在，则根据待检区域内剩余的垃圾与机器人的当前位置之间的位姿估计更新路径规划，并控制机器人根据更新后的路径规划进行拾取垃圾。
需要说明的是，在拾取垃圾过程中对其他垃圾的识别仅限于一定的预设范围和预设次数内，以此避免路径规划更新次数过多，导致机器人响应时间过长，反而降低工作效率的情况。
在一些实施例中，控制方法还包括：判断当前导航路径上是否具有障碍物；若存在障碍物，则对最优路径进行调整以规避障碍物。
其中，本申请实施例采用一个组合函数，用来筛选较为远离障碍物的最优路径，该组合函数J包括有目标朝向函数J obj 和基于Voronoi图约束函数J vor ：
(1)
式中，目标朝向函数J obj 如下式所示：
(2)
式中，为该条路径与目标点之间的角度差值，/>为该条路径朝向与当前机器人朝向的角度差，ω obj 为目标朝向函数权重，W dir 为路径方向权重。
公式(1)中的J vor 表示机器人在Voronoi场中引导路径远离障碍的代价。
(3)
式中，ω vor 代表Voronoi图约束项的权重，d obs 为到最近障碍物的距离，d vor 为广义Voronoi图的最近边缘。表示Voronoi图边缘的最大距离。α＞0是控制广义Voronoi图衰减率的参数，d o 是环境中障碍物距离的最大有效范围的常数，/>为到最近障碍物的距离的最大值，且当d o ＞/>时，J vor =0。
在一些实施例中，还可以监测机器人的电量，若机器人的电量不足，则可以行驶至无线充电桩进行充电，待电量充满后继续作业。
虽然本发明披露如上，但本发明并非限定于此。任何本领域技术人员，在不脱离本发明的精神和范围内，均可作各种更动与修改，因此本发明的保护范围应当以权利要求所限定的范围为准。
Claims (7)
1.一种拾起垃圾的机器人的控制方法，其特征在于，所述机器人包括摄像部件和执行部件，所述控制方法包括：
通过所述摄像部件获取所述机器人的当前视角图像以及待检区域的二维平面地图；
根据所述当前视角图像和所述二维平面地图确定所述待检区域内每个垃圾与所述机器人的当前位置之间的位姿估计；
根据多个所述位姿估计进行路径规划，得到所述机器人拾取所述垃圾的最优路径；
控制所述机器人根据所述最优路径行驶，并控制所述执行部件拾取所述垃圾；
其中，所述根据所述当前视角图像和所述二维平面地图确定所述待检区域内每个垃圾与所述机器人的当前位置之间的位姿估计包括：
获取当前视角下与所述当前视角图像同分辨率的深度图像；
在预设数据库中将所述当前视角图像的每个像素和所述深度图像的每个像素进行逐像素匹配以得到神经网络鸟瞰图；
将所述二维平面地图中的区域、线和点栅格化为具有固定采样距离的图像，以得到栅格地图；
将所述栅格地图中的各个类别特征嵌入关联形成特征映射；
通过卷积神经网络提取与定位相关的几何特征，将所述几何特征编码值地图中以得到预设神经网络地图；
将所述神经网络鸟瞰图在所述预设神经网络地图中进行旋转匹配；
当所述神经网络鸟瞰图与所述预设神经网络地图的重合率最大时，确定所述神经网络鸟瞰图的旋转角度；
根据所述旋转角度和深度信息得到每个垃圾与所述机器人之间的位姿估计，其中，所述位姿估计包括偏移量和偏转角度。
2.根据权利要求1所述的控制方法，其特征在于，所述根据多个所述位姿估计进行路径规划，得到所述机器人拾取所述垃圾的最优路径包括：
采用解决旅行商问题的优化方法在预设时间内进行有限迭代次数计算以确定行驶路线最短的路径为最优路径。
3.根据权利要求1或2所述的控制方法，其特征在于，所述控制方法还包括：
在拾取所述垃圾时判断所述待检区域内是否有其他待拾取的垃圾；
若存在，则根据所述待检区域内剩余的垃圾与所述机器人的当前位置之间的位姿估计更新所述路径规划，并控制所述机器人根据更新后的路径规划进行拾取垃圾。
4.根据权利要求1或2所述的控制方法，其特征在于，所述控制方法还包括：
判断当前导航路径上是否具有障碍物；
若存在障碍物，则对所述最优路径进行调整以规避所述障碍物。
5.一种拾起垃圾的机器人，其特征在于，所述机器人包括：
摄像部件，所述摄像部件用于获取所述机器人的当前视角图像、获取当前视角下与所述当前视角图像同分辨率的深度图像以及获取待检区域的二维平面地图；
执行部件，所述执行部件用于拾取垃圾；
控制部件，所述控制部件均与所述摄像部件和所述执行部件连接，用于根据获取的所述当前视角图像和所述二维平面地图确定所述待检区域内每个垃圾与所述机器人的当前位置之间的位姿估计，根据多个所述位姿估计进行路径规划，得到所述机器人拾取所述垃圾的最优路径；控制所述机器人根据所述最优路径行驶，并控制所述执行部件拾取所述垃圾；
其中，所述根据获取的所述当前视角图像和所述二维平面地图确定所述待检区域内每个垃圾与所述机器人的当前位置之间的位姿估计包括：
获取当前视角下与所述当前视角图像同分辨率的深度图像；
在预设数据库中将所述当前视角图像的每个像素和所述深度图像的每个像素进行逐像素匹配以得到神经网络鸟瞰图；
将所述二维平面地图中的区域、线和点栅格化为具有固定采样距离的图像，以得到栅格地图；
将所述栅格地图中的各个类别特征嵌入关联形成特征映射；
通过卷积神经网络提取与定位相关的几何特征，将所述几何特征编码值地图中以得到预设神经网络地图；
将所述神经网络鸟瞰图在所述预设神经网络地图中进行旋转匹配；
当所述神经网络鸟瞰图与所述预设神经网络地图的重合率最大时，确定所述神经网络鸟瞰图的旋转角度；
根据所述旋转角度和深度信息得到每个垃圾与所述机器人之间的位姿估计，其中，所述位姿估计包括偏移量和偏转角度。
6.根据权利要求5所述的机器人，其特征在于，所述摄像部件包括多线激光雷达、双目相机和预定位单元，所述预定位单元与所述多线激光雷达和所述控制部件连接，所述双目相机用于获取所述机器人的当前视角图像，所述多线激光雷达用于获取所述待检区域的三维点云，所述预定位单元用于将所述三维点云压缩成二维平面地图后发送至所述控制部件。
7.根据权利要求6所述的机器人，其特征在于，所述机器人还包括：
移动部件，所述移动部件用于调整所述机器人的位置和方向；
垃圾箱，所述垃圾箱设置在所述移动部件上，用于暂存垃圾；和
立柱，所述立柱与所述移动部件连接，所述立柱上设置有所述多线激光雷达和所述双目相机，其中，所述双目相机设置在所述多线激光雷达靠近所述移动部件的一侧。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410338005.9A CN117921622B (zh) | 2024-03-25 | 2024-03-25 | 拾起垃圾的机器人的控制方法及拾起垃圾的机器人 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410338005.9A CN117921622B (zh) | 2024-03-25 | 2024-03-25 | 拾起垃圾的机器人的控制方法及拾起垃圾的机器人 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117921622A CN117921622A (zh) | 2024-04-26 |
| CN117921622B true CN117921622B (zh) | 2024-06-04 |
Family
ID=90761425
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410338005.9A Active CN117921622B (zh) | 2024-03-25 | 2024-03-25 | 拾起垃圾的机器人的控制方法及拾起垃圾的机器人 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117921622B (zh) |
Citations (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2015024407A1 (zh) * | 2013-08-19 | 2015-02-26 | 国家电网公司 | 基于电力机器人的双目视觉导航系统及方法 |
| WO2018038131A1 (ja) * | 2016-08-26 | 2018-03-01 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | 三次元情報処理方法及び三次元情報処理装置 |
| CN109754468A (zh) * | 2018-12-25 | 2019-05-14 | 网易（杭州）网络有限公司 | 一种地图压缩方法和装置 |
| CN109828592A (zh) * | 2019-04-22 | 2019-05-31 | 深兰人工智能芯片研究院（江苏）有限公司 | 一种障碍物检测的方法及设备 |
| CN110485345A (zh) * | 2019-09-16 | 2019-11-22 | 福建工程学院 | 一种垃圾清理车及垃圾清理方法 |
| CN110924340A (zh) * | 2019-11-25 | 2020-03-27 | 武汉思睿博特自动化系统有限公司 | 一种用于智能捡垃圾的移动机器人系统与实现方法 |
| CN111360780A (zh) * | 2020-03-20 | 2020-07-03 | 北京工业大学 | 一种基于视觉语义slam的垃圾捡拾机器人 |
| AU2020101865A4 (en) * | 2020-08-17 | 2020-10-08 | B, Amutha DR | Intelligent robot for garbage collection manageable through wireless communication and deep learning of trash using iot |
| CN111823212A (zh) * | 2020-07-20 | 2020-10-27 | 武汉工程大学 | 一种垃圾瓶清捡机器人及控制方法 |
| CN113838203A (zh) * | 2021-09-30 | 2021-12-24 | 四川智动木牛智能科技有限公司 | 基于三维点云地图和二维栅格地图的导航系统及应用方法 |
| CN114277725A (zh) * | 2021-12-20 | 2022-04-05 | 民航成都电子技术有限责任公司 | 一种机场跑道目标异物处置设备 |
| CN114415661A (zh) * | 2021-12-15 | 2022-04-29 | 中国农业大学 | 基于压缩三维空间点云的平面激光slam与导航方法 |
| CN115588132A (zh) * | 2022-09-27 | 2023-01-10 | 电子科技大学 | 一种垃圾分拣设备的环境感知与垃圾识判方法 |
| CN115781678A (zh) * | 2022-11-30 | 2023-03-14 | 山东新一代信息产业技术研究院有限公司 | 智能机器人的垃圾处理方法及系统 |
| CN116985090A (zh) * | 2023-08-04 | 2023-11-03 | 嘉兴学院 | 智能垃圾分拣机器人 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20200023524A1 (en) * | 2018-07-22 | 2020-01-23 | Hesham Mohamed | Trash and recycle bin relocation robot |
| US20210390714A1 (en) * | 2020-06-11 | 2021-12-16 | Toyota Research Institute, Inc. | Producing a bird's eye view image from a two dimensional image |
-
2024
- 2024-03-25 CN CN202410338005.9A patent/CN117921622B/zh active Active
Patent Citations (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2015024407A1 (zh) * | 2013-08-19 | 2015-02-26 | 国家电网公司 | 基于电力机器人的双目视觉导航系统及方法 |
| WO2018038131A1 (ja) * | 2016-08-26 | 2018-03-01 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | 三次元情報処理方法及び三次元情報処理装置 |
| CN109754468A (zh) * | 2018-12-25 | 2019-05-14 | 网易（杭州）网络有限公司 | 一种地图压缩方法和装置 |
| CN109828592A (zh) * | 2019-04-22 | 2019-05-31 | 深兰人工智能芯片研究院（江苏）有限公司 | 一种障碍物检测的方法及设备 |
| CN110485345A (zh) * | 2019-09-16 | 2019-11-22 | 福建工程学院 | 一种垃圾清理车及垃圾清理方法 |
| CN110924340A (zh) * | 2019-11-25 | 2020-03-27 | 武汉思睿博特自动化系统有限公司 | 一种用于智能捡垃圾的移动机器人系统与实现方法 |
| CN111360780A (zh) * | 2020-03-20 | 2020-07-03 | 北京工业大学 | 一种基于视觉语义slam的垃圾捡拾机器人 |
| CN111823212A (zh) * | 2020-07-20 | 2020-10-27 | 武汉工程大学 | 一种垃圾瓶清捡机器人及控制方法 |
| AU2020101865A4 (en) * | 2020-08-17 | 2020-10-08 | B, Amutha DR | Intelligent robot for garbage collection manageable through wireless communication and deep learning of trash using iot |
| CN113838203A (zh) * | 2021-09-30 | 2021-12-24 | 四川智动木牛智能科技有限公司 | 基于三维点云地图和二维栅格地图的导航系统及应用方法 |
| CN114415661A (zh) * | 2021-12-15 | 2022-04-29 | 中国农业大学 | 基于压缩三维空间点云的平面激光slam与导航方法 |
| CN114277725A (zh) * | 2021-12-20 | 2022-04-05 | 民航成都电子技术有限责任公司 | 一种机场跑道目标异物处置设备 |
| CN115588132A (zh) * | 2022-09-27 | 2023-01-10 | 电子科技大学 | 一种垃圾分拣设备的环境感知与垃圾识判方法 |
| CN115781678A (zh) * | 2022-11-30 | 2023-03-14 | 山东新一代信息产业技术研究院有限公司 | 智能机器人的垃圾处理方法及系统 |
| CN116985090A (zh) * | 2023-08-04 | 2023-11-03 | 嘉兴学院 | 智能垃圾分拣机器人 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117921622A (zh) | 2024-04-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11579623B2 (en) | Mobile robot system and method for generating map data using straight lines extracted from visual images | |
| CN110097553B (zh) | 基于即时定位建图与三维语义分割的语义建图系统 | |
| CN114521836B (zh) | 一种自动清洁设备 | |
| CN112132972B (zh) | 一种激光与图像数据融合的三维重建方法及系统 | |
| CN110928301B (zh) | 一种检测微小障碍的方法、装置及介质 | |
| CN111360780A (zh) | 一种基于视觉语义slam的垃圾捡拾机器人 | |
| CN110275538A (zh) | 智能巡航车导航方法及系统 | |
| CN111664843A (zh) | 一种基于slam的智能仓储盘点方法 | |
| CN108481327A (zh) | 一种增强视觉的定位装置、定位方法及机器人 | |
| CN110262487B (zh) | 一种障碍物检测方法、终端及计算机可读存储介质 | |
| CN108217045A (zh) | 一种用于数据中心物理设备上下架的智能机器人 | |
| CN111679664A (zh) | 基于深度相机的三维地图构建方法及扫地机器人 | |
| CN114034299A (zh) | 一种基于主动激光slam的导航系统 | |
| CN108544494A (zh) | 一种基于惯性和视觉特征的定位装置、方法及机器人 | |
| CN112308913A (zh) | 一种基于视觉的车辆定位方法、装置及车载终端 | |
| JP2020149186A (ja) | 位置姿勢推定装置、学習装置、移動ロボット、位置姿勢推定方法、学習方法 | |
| CN117921622B (zh) | 拾起垃圾的机器人的控制方法及拾起垃圾的机器人 | |
| CN212044739U (zh) | 一种基于惯性数据和视觉特征的定位装置及机器人 | |
| CN115589845A (zh) | 一种智能采棉机器人及其采棉作业路径规划方法 | |
| CN115446846A (zh) | 一种基于条码识别的图书盘点机器人 | |
| CN111060091A (zh) | 一种机器人导航系统 | |
| Dong et al. | Semantic lidar odometry and mapping for mobile robots using rangeNet++ | |
| CN112308904A (zh) | 一种基于视觉的建图方法、装置及车载终端 | |
| CN114260894A (zh) | 全自动采棉机器人及控制方法 | |
| Gustafsson | Wall and curb detection and mapping for mobile robots in urban environments |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |