CN117032215A - 一种基于双目视觉的移动机器人物体识别及定位方法 - Google Patents
一种基于双目视觉的移动机器人物体识别及定位方法 Download PDFInfo
- Publication number
- CN117032215A CN117032215A CN202310938453.8A CN202310938453A CN117032215A CN 117032215 A CN117032215 A CN 117032215A CN 202310938453 A CN202310938453 A CN 202310938453A CN 117032215 A CN117032215 A CN 117032215A
- Authority
- CN
- China
- Prior art keywords
- environment
- positioning
- target
- robot
- binocular vision
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 37
- 230000006870 function Effects 0.000 claims abstract description 14
- 230000008569 process Effects 0.000 claims description 7
- 238000013135 deep learning Methods 0.000 claims description 5
- 238000001514 detection method Methods 0.000 claims description 3
- 238000005457 optimization Methods 0.000 claims description 3
- MQXQVCLAUDMCEF-CWLIKTDRSA-N amoxicillin trihydrate Chemical compound O.O.O.C1([C@@H](N)C(=O)N[C@H]2[C@H]3SC([C@@H](N3C2=O)C(O)=O)(C)C)=CC=C(O)C=C1 MQXQVCLAUDMCEF-CWLIKTDRSA-N 0.000 claims 1
- 230000000007 visual effect Effects 0.000 abstract description 13
- 238000004458 analytical method Methods 0.000 abstract description 6
- 238000013461 design Methods 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 241001292396 Cirrhitidae Species 0.000 description 3
- 230000009471 action Effects 0.000 description 3
- 239000002390 adhesive tape Substances 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 230000018109 developmental process Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 238000012805 post-processing Methods 0.000 description 3
- 230000011218 segmentation Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 230000036544 posture Effects 0.000 description 2
- 235000000177 Indigofera tinctoria Nutrition 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 229940097275 indigo Drugs 0.000 description 1
- COHYTHOBJLSHDF-UHFFFAOYSA-N indigo powder Natural products N1C2=CC=CC=C2C(=O)C1=C1C(=O)C2=CC=CC=C2N1 COHYTHOBJLSHDF-UHFFFAOYSA-N 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000704 physical effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 239000000779 smoke Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
本发明涉及机器人技术领域，且公开了一种基于双目视觉的移动机器人物体识别及定位方法，基于工控机平台实时操作系统，集成自主移动底盘(兼顾遥操作)及视觉定位识别控制等功能。通过安装在设备(例如：车体)上的激光雷达，对环境进行全方位扫描，构建一幅与真实环境一致、可用于智能定位及路基规划的环境地图。基于预先构建的环境地图实现了复杂环境下的智能定位、路径规划及自主避障功能，可以自主规避动态障碍物及突发情况。该系统可以为作业人员提供更加广阔的视野域。为了使系统构建的虚拟环境可以与真实的作业环境具有较高的契合度，需要结合特定作业规程对系统的功能需求进行具体分析，提高整个操作的效率和智能化程度，解放人工操作。
Description
技术领域
本发明涉及机器人技术领域，具体为一种基于双目视觉的移动机器人物体识别及定位方法。
背景技术
传统的遥操作机械臂的方式，一般是结合监控系统完成遥操作特定任务等作业，但由于受到监控系统视野限制的影响，操作者希望采用虚拟现实技术代替传统监控方式，以此来配合机器人完成带电作业。但传统的虚拟环境需要开发人员根据设计需求自主分析环境特点，再根据其特点结合现实的物理属性来搭建虚拟带电作业场景，当设计需求发生改变或设计场景发生变动时，原虚拟作业场景就不再符合设计要求，此时就需要开发者对虚拟作业场景进行重新设计，这种开发方式不仅大幅度降低了系统的开发价值，也使虚拟现实技术的应用领域受到了限制。例如对于多变的高空带电等作业环境，更是无法将虚拟现实技术投入使用。
发明内容
(一)解决的技术问题
针对现有技术的不足，本发明提供了一种基于双目视觉的移动机器人物体识别及定位方法，解决了传统开发方式不仅大幅度降低了系统的开发价值，也使虚拟现实技术的应用领域受到了限制的问题。
(二)技术方案
为实现上述目的，本发明提供如下技术方案：一种基于双目视觉的移动机器人物体识别及定位方法，基于工控机平台实时操作系统，集成自主移动底盘(兼顾遥操作)及视觉定位识别控制等功能。通过安装在设备(例如：车体)上的激光雷达，对环境进行全方位扫描，构建一幅与真实环境一致、可用于智能定位及路基规划的环境地图。基于预先构建的环境地图实现了复杂环境下的智能定位、路径规划及自主避障功能，可以自主规避动态障碍物及突发情况。
通过挂载机械臂末端支架上的摄像头，利用机械臂的灵活性，对周围环境进行观察，利用深度学习算法检测并识别目标物体，确定目标物体的具体位置。该系统是包含高性能移动平台及灵活的机械臂的耦合系统，实现了自主的例如：纸箱装卸等功能。机器人接收到移动装卸等作业任务后，首先根据预先建立的环境地图基于A＊算法规划最优轨迹，机器人沿着规划的最优轨迹，使用最优化算法进行运动规划，并规避运动过程中的障碍物，控制机器人朝目标移动。
到达抓取任务目标点后，利用3D相机，使用基于增强实现标记检测库技术来识别及定位目标，根据检测到的目标位姿。利用运动控制和轨迹规划完成机械臂运动规划，并即将规划后的轨迹发送给机械臂控制器，完成诸如装卸作业等操作。
(三)有益效果
本发明提供了一种基于双目视觉的移动机器人物体识别及定位方法，具备以下有益效果：
本发明主要以遥操作机械臂方式进行作业为背景，设计一种虚拟现实同步系统，使作业人员在虚拟环境下进行相关作业。该系统可以为作业人员提供更加广阔的视野域。为了使系统构建的虚拟环境可以与真实的作业环境具有较高的契合度，需要结合特定作业规程对系统的功能需求进行具体分析，提高整个操作的效率和智能化程度，解放人工操作。
附图说明
图1为视觉识别功能模块关系图；
图2为视觉模块功能流程图；
图3为深度学习算法工作流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明提供一种技术方案：一种基于双目视觉的移动机器人物体识别及定位方法，基于工控机平台实时操作系统，集成自主移动底盘(兼顾遥操作)及视觉定位识别控制等功能。通过安装在设备(例如：车体)上的激光雷达，对环境进行全方位扫描，构建一幅与真实环境一致、可用于智能定位及路基规划的环境地图。基于预先构建的环境地图实现了复杂环境下的智能定位、路径规划及自主避障功能，可以自主规避动态障碍物及突发情况。
通过挂载机械臂末端支架上的摄像头，利用机械臂的灵活性，对周围环境进行观察，利用深度学习算法检测并识别目标物体，确定目标物体的具体位置。该系统是包含高性能移动平台及灵活的机械臂的耦合系统，实现了自主的例如：纸箱装卸等功能。机器人接收到移动装卸等作业任务后，首先根据预先建立的环境地图基于A＊算法规划最优轨迹，机器人沿着规划的最优轨迹，使用最优化算法进行运动规划，并规避运动过程中的障碍物，控制机器人朝目标移动。到达抓取任务目标点后，利用3D相机，使用基于增强实现标记检测库技术来识别及定位目标，根据检测到的目标位姿。利用运动控制和轨迹规划完成机械臂运动规划，并即将规划后的轨迹发送给机械臂控制器，完成诸如装卸作业等操作。
以上方案的重点是提供基于三维视觉技术的(诸如码垛拆垛)目标定位与(可码和可拆性)可行性等作业分析方法。方案的中点在于如何实现在较大的视野下，实现对混合垛高精度的三维表面重建，对于在实际的混合垛中常包含胶带具有强反光材质，消除其对视觉系统带来的干扰也是获得精确的重建精度的关键。针对合垛中的目标具有多种尺寸形状且在空间位置上表现出的较为无序叠放的状态，对其三维重建后的数据进行合理的目标分割聚类。对于分割后的目标由于在空间上呈现出不同姿态且相互之间存在遮挡，通过不依赖目标的先验尺寸信息的分析方法，从中判断出可以满足拆除条件的目标并进行位姿计算，解决对于混合垛这种多目标物体可以不用通过模板匹配的方式来确定目标的位置，减少对模板的依赖性。基于以上目的，本技术方案主要为以下几个方面：
(1)、混合垛表面三维重建视觉系统开发。使用基于激光三角法的线结构光扫描方案，并研究其三维重建原理，分析在硬件参数和布局参数配置下的视觉系统的深度分辨率以及对应的景深随工作高度的变化。从硬件和激光图像处理方法上消除混合垛中强反光胶带对视觉系统产生的干扰，完成包括硬件系统的设计及其参数的标定，以实现高精度，大视野的三维表面重建。
(2)、三维点云数据处理与软件集成。由于重建设备的精度方面的限制以及环境因素的影响，点云数据中不可避免的出现一些噪声，同时基于线结构光的三维重建的点云密度相对较大，需要结合具体的点云数据来选择合适的滤波和降采样方法进行预处理。然后对经过预处理之后的点云进行分割，确定每个目标的聚类，根据点云数据的空间位置关系特点设计可拆性分析方法，确定一次线结构光扫描之后可以被拆除的目标并进行姿态位置的计算，最后在ubu ntu 14.04LTS系统下设计基于ROS的软件功能包，完成结构光扫描重建和数据后处理方法的集成。
(3)、混合垛视觉拆垛方法实验。影响混合垛拆垛系统的定位抓取精度的因素有很多，其中主要是视觉系统自身的深度重建误差以及标定精度，分割与定位方法的准确性等，为了验证三维数据后处理得到的可拆目标以及对应的位置和姿态的准确性，在实验中选用不同大小尺寸的烟箱码成混合垛，通过三维位置测量方法所获得的数据与本文中的后处理输出的数据进行对比来验证定位的准确性。此外，对混合垛以不同方式进行摆放来验证分割和可拆性分析方法的准确性。
以上技术方案主要包括自主导航与避障算法以及视觉识别算法。
自主导航与避障算法：在软件中机器人首先通过各种传感器(激光雷达)确定自身在未知环境中的相对位置，在移动过程中不断重复定位，构建当前环境地图。
控制软件提供了根据预先构建的环境地图进行导航的功能。导航时需要先手动指定机器人的起始位置和目标位置，同时机器人会计算出机器人在地图中的位置；并规划最短路径，此算法基于有向带权值图，将地图中的每个像素作为图中的一个节点，规划出起始点到目标点的最短无障碍路径，最后由动态窗口法计算出控制命令发给移动平台，使其沿规划的路径前进，前进的过程自动避开障碍物，高性能的I M U传感器用于对机器人运行方向进行实时控制及反馈保证了机器人能够维持姿态。
视觉识别算法：选用Ubuntu 14.04LTS作为操作系统，在ROS indigo平台下完成软件框架的构建和ROS功能包的设计，功能包依赖于Halcon工业视觉库并结合QT5.9完成界面的开发。功能包要实现功能模块配置包括Halcon标定模块、激光三角测量模块、点云处理模块，三者间的相互关系如图1所示。根据各个模块的要求将其分配为ROS计算图级中一种成员。计算图级是整个ROS功能包的核心，也作为ROS内部重要数据处理手段，以一种以点对点的通讯形式展开，一些基本的计算图级包括消息、节点、节点管理器、服务、话题、参数服务器等。
功能包的流程图如图2所示，首先在软件启动之前对标定参数以及算法参数进行更新初始化，在ROS中启动激光三角测量服务、数据处理服务以及直线模组控制节点。在控制界面节点上触发激光三角测量，将其扫描后的数据交给数据处理服务并将可码和可拆目标位姿返回给控制界面节点，可码或可拆目标的三维数据在Rviz中加以显示，完成直线模组的复位后继续扫描。
在开放的复杂环境中识别目标物体通常会因为类似干扰物与自然光线等在实际场景下的识别率降低，尤其是传统的识别方案在物体遮掩等问题上表现不太理想，为了解决这个问题，该项目的视觉识别主要围绕深度学习的方法来实现，采用YOLOV5作为物体识别器。如图3所示。
为了能够使用YOLOV5进行特定目标的识别，首先需要在可能的场景下预先对大量包含识别目标的数据集进行标注，创建训练集，再使用高性能机器训练YOLOV5网络。得到训练好的模型后，再将训练好的模型转换为TensorRT模型并部署到设备端，这可以在保留原始YOLOV5网络模型的识别精度的前提下，有效的提高目标识别的速率，实现实时目标识别。
识别出了目标之后，为了获取目标的真实3D坐标，首先按照一定规则读取目标区域的深度值，再结合深度相机的内参即可计算出目标的真实3D坐标。最后将真实3D坐标输入到机械臂运动规划控制器，即可完成纸箱装卸任务。可以在复杂环境下很大程度提高在物体遮挡或者光线等常见的干扰现象下的目标识别率及定位准确性。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语″包括″、″包含″或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。
Claims (5)
1.一种基于双目视觉的移动机器人物体识别及定位方法，其特征在于，包括以下步骤：
首先根据预先建立的环境模型基于A＊算法规划最优轨迹，机器人沿着规划的最优轨迹，使用最优化算法进行运动规划，并规避运动过程中障碍物，控制机器人朝目标移动；
到达抓取任务目标点后，利用相机，使用基于视觉库的增强实现标记检测库来识别及定位目标，根据检测到的目标位姿，利用运动规划库完成机械臂运动规划，并将规划后的轨迹发送给机械臂控制器，完成例如：装卸或者高空带电作业等诸如此类操作。
2.根据权利要求1所示的一种基于双目视觉的移动机器人物体识别及定位方法，其特征在于：所述方法基于实时操作系统，集成自主移动底盘及机械臂运动规划。
3.根据权利要求1所示的一种基于双目视觉的移动机器人物体识别及定位方法，其特征在于：在机器人到达抓取任务目标点后，利用的相机为3D相机。
4.根据权利要求1所示的一种基于双目视觉的移动机器人物体识别及定位方法，其特征在于：所述方法所应用的机器人是通过安装在机体上的激光雷达，对环境进行全方位扫描，构建一幅与真实环境一致、可用于智能定位及路基规划的环境地图；再基于预先构建的环境地图实现了复杂环境下的智能定位、路径规划及自主避障功能，可以自主规避动态障碍物及突发情况。
5.根据权利要求1所示的一种基于双目视觉的移动机器人物体识别及定位方法，其特征在于：所述方法所应用的机器人是通过挂载机械臂末端支架上的摄像头，利用机械臂的灵活性，对周围环境进行观察，利用深度学习算法检测并识别目标物体，确定目标物体的具体位置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310938453.8A CN117032215A (zh) | 2023-07-28 | 2023-07-28 | 一种基于双目视觉的移动机器人物体识别及定位方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310938453.8A CN117032215A (zh) | 2023-07-28 | 2023-07-28 | 一种基于双目视觉的移动机器人物体识别及定位方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117032215A true CN117032215A (zh) | 2023-11-10 |
Family
ID=88642167
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310938453.8A Pending CN117032215A (zh) | 2023-07-28 | 2023-07-28 | 一种基于双目视觉的移动机器人物体识别及定位方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117032215A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117428792A (zh) * | 2023-12-21 | 2024-01-23 | 商飞智能技术有限公司 | 用于机器人的作业系统及方法 |
-
2023
- 2023-07-28 CN CN202310938453.8A patent/CN117032215A/zh active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117428792A (zh) * | 2023-12-21 | 2024-01-23 | 商飞智能技术有限公司 | 用于机器人的作业系统及方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114384920B (zh) | 一种基于局部栅格地图实时构建的动态避障方法 | |
| EP4009131B1 (en) | Method of navigating a vehicle and system thereof | |
| Surmann et al. | An autonomous mobile robot with a 3D laser range finder for 3D exploration and digitalization of indoor environments | |
| US11112780B2 (en) | Collaborative determination of a load footprint of a robotic vehicle | |
| CN117032215A (zh) | 一种基于双目视觉的移动机器人物体识别及定位方法 | |
| JP2022027593A (ja) | 可移動機器の測位方法、装置及び可移動機器 | |
| CN114815851A (zh) | 机器人跟随方法、装置、电子设备以及存储介质 | |
| CN116466712A (zh) | 基于cml-avg激光雷达小车的自主巡航方法及系统 | |
| CN116753945A (zh) | 一种基于多传感器融合的工业巡检机器人的导航方法 | |
| CN116225029A (zh) | 一种机器人路径规划方法 | |
| CN109901589B (zh) | 移动机器人控制方法和装置 | |
| CN112747752A (zh) | 基于激光里程计的车辆定位方法、装置、设备和存储介质 | |
| CN115273015A (zh) | 一种预测方法、装置、智能驾驶系统和车辆 | |
| Yang et al. | Two-stage multi-sensor fusion positioning system with seamless switching for cooperative mobile robot and manipulator system | |
| Eichenbaum et al. | Towards a lifelong mapping approach using lanelet 2 for autonomous open-pit mine operations | |
| CN117214908B (zh) | 一种基于智能裁缆机械的定位控制方法及系统 | |
| Svyatov et al. | Methods and Software Tools for the Safety Movement of Agricultural Highly Automated Vehicle Based on Deep Learning Methods | |
| Gómez Eguíluz et al. | Online Detection and Tracking of Pipes During UAV Flight in Industrial Environments | |
| Santoro | Design and implementation of a Sensory System for an Autonomous Mobile Robot in a Connected Industrial Environment | |
| Chi et al. | A crash avoidance framework for heavy equipment control systems using 3D imaging sensors | |
| Pareigis et al. | Artificial Intelligence in Autonomous Systems. A Collection of Projects in Six Problem Classes | |
| Holder et al. | Efficient Neural Mapping for Localisation of Unmanned Ground Vehicles | |
| Tahir | Development of an Autonomous Vehicle Platform | |
| Yu et al. | A 3D map construction method for autonomous vehicles in unknown environment | |
| KR20230112296A (ko) | 목표물 탐색을 위한 3d 실내지도 작성 및 객체 인식 시스템 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination |