CN210115917U - 具有视觉语义感知的机器人虚实交互操作执行系统 - Google Patents
具有视觉语义感知的机器人虚实交互操作执行系统 Download PDFInfo
- Publication number
- CN210115917U CN210115917U CN201920591638.5U CN201920591638U CN210115917U CN 210115917 U CN210115917 U CN 210115917U CN 201920591638 U CN201920591638 U CN 201920591638U CN 210115917 U CN210115917 U CN 210115917U
- Authority
- CN
- China
- Prior art keywords
- grabbing
- component
- real
- visual
- environment
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000000007 visual effect Effects 0.000 title claims abstract description 36
- 230000008447 perception Effects 0.000 title claims abstract description 33
- 230000002452 interceptive effect Effects 0.000 title claims abstract description 16
- 238000004088 simulation Methods 0.000 claims abstract description 40
- 238000013528 artificial neural network Methods 0.000 claims abstract description 19
- 230000004438 eyesight Effects 0.000 claims abstract description 17
- 230000009471 action Effects 0.000 claims abstract description 6
- 238000010276 construction Methods 0.000 claims abstract description 5
- 238000012549 training Methods 0.000 claims description 19
- 238000012545 processing Methods 0.000 claims description 12
- 238000011161 development Methods 0.000 abstract description 3
- 238000012360 testing method Methods 0.000 abstract description 3
- 238000011156 evaluation Methods 0.000 abstract 1
- 230000003993 interaction Effects 0.000 description 5
- 238000000034 method Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
Images
Landscapes
- Processing Or Creating Images (AREA)
Abstract
本实用新型提出了一种具有视觉语义感知的机器人虚实交互操作执行系统，该系统包括：构建组件用于构建真实环境或仿真环境确定相应的神经网络参数模型；视觉语义感知组件用于根据神经网络参数模型确定待抓取物体的感兴趣区域，以计算抓取感兴趣区域的目标点位信息；规划组件用于根据目标点位信息对待抓取物体进行避障和轨迹规划，确定抓取执行操作命令；执行组件用于根据抓取执行操作命令控制真实机械臂或仿真机械臂的动作，完成抓取操作命令。该系统可用于机器人系统的快速原型开发，算法测试，精确的室内室外环境仿真，有效可靠的性能评估，以及直观可视化的交互显示。
Description
技术领域
本实用新型涉及机器人虚实交互操作执行技术领域，特别涉及一种具有视觉语义感知的机器人虚实交互操作执行系统。
背景技术
相关技术中，对于机器人操作智能的实现主要有两种手段：
(1)在虚拟环境下控制仿真机器人，采集虚拟信号，观测状态信息，实现AI算法构建、参数优化、运动学/动力学仿真。
但往往在虚拟环境下进行机器人操作仿真训练，仿真情况下的模拟很难全面的反应真实系统的运行状况，造成结果往往不够精确。
(2)在真实环境下控制实际机器人，采集实际信号，观测状态信息，构建AI学习决策和视觉识别系统。
在真实环境下进行机器人操作训练，存在的问题是工作灵活性差、成本高、硬件装置易损坏、执行频次低。
因此，提出了具有视觉语义感知的机器人虚实交互操作执行系统，来加速智能机器人决策和控制系统研究，解决机器人虚实交互和视觉语义感知的问题是十分必要的。
实用新型内容
本实用新型旨在至少在一定程度上解决相关技术中的技术问题之一。
为此，本实用新型的目的在于提出一种具有视觉语义感知的机器人虚实交互操作执行系统。
为达到上述目的，本实用新型提出了具有视觉语义感知的机器人虚实交互操作执行系统，包括：构建组件，用于构建环境或仿真环境确定相应的神经网络参数模型；视觉语义感知组件，用于根据所述神经网络参数模型确定待抓取物体的感兴趣区域，以计算抓取所述感兴趣区域的目标点位信息；规划组件，用于根据所述目标点位信息对所述待抓取物体进行避障和轨迹规划，确定抓取执行操作命令；执行组件，用于根据所述抓取执行操作命令控制真实机械臂或仿真机械臂的动作，完成抓取操作命令。
本实用新型提出的具有视觉语义感知的机器人虚实交互操作执行系统，构建了虚实交互的场景，快速、高效、精确的训练AI学习决策系统和视觉语义识别系统，能够用于机器人系统的快速原型开发，算法测试，精确的室内室外环境仿真，有效可靠的性能评估，以及直观可视化的交互显示。
另外，根据本实用新型提出的具有视觉语义感知的机器人虚实交互操作执行系统还可以具有以下附加的技术特征：
可选地，若选择仿真操作，则所述构建组件通过对环境、视觉相机和机械臂进行仿真，以构建所述仿真环境。
进一步地，所述视觉语义感知组件包括：标注工具，用于对所述待操作物体标注物体类别，为神经网络训练提供训练集；视觉神经网络构架，用于训练所述训练集，获得所述感兴趣区域，并用矩形框得到所述待感兴趣区域所在的区域；双目相机，若在所述仿真环境下，则用于读取相机基坐标系在三维空间中的位姿，并利用自带的算例读取深度信息，若在所述真实环境下，则用于标定内外参数，并利用自带的算例读取深度信息；图像处理工具，用于通过所述矩形框获得所述待操作对象中心点的像素和相对X轴的夹角，再通过双目视觉的基本算法计算出所述机基坐标系下所述待操作对象的位置；处理组件，用于通过所述待操作对象中心点的像素计算出所述矩形框的大小，从而计算出夹爪需要开合的大小。
进一步地，所述目标点位信息包括：通过所述图像处理工具计算出的抓取位姿和通过所述待操作对象中心点的像素确定的夹爪开合大小。
进一步地，所述执行组件包括：关节轨迹控制器，用于根据所述避障和轨迹规划输出连续关节轨迹的位置、速度和力矩；驱动器，用于根据所述关节轨迹控制器输出的数据控制所述真实机械臂或仿真机械臂的动作，执行抓取任务。
本实用新型附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本实用新型的实践了解到。
附图说明
本实用新型上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为根据本实用新型实施例的具有视觉语义感知的机器人虚实交互操作执行系统结构示意图；
图2为根据本实用新型实施例中视觉语义感知组件执行流程图；
图3为根据本实用新型实施例的虚实交互系统执行流程图。
具体实施方式
下面详细描述本实用新型的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本实用新型，而不能理解为对本实用新型的限制。
下面参照附图描述根据本实用新型实施例提出的具有视觉语义感知的机器人虚实交互操作执行系统及方法，首先将参照附图描述根据本实用新型实施例提出的具有视觉语义感知的机器人虚实交互操作执行系统。
图1是本实用新型一个实施例的具有视觉语义感知的机器人虚实交互操作执行系统结构示意图。
如图1所示，该具有视觉语义感知的机器人虚实交互操作执行系统10包括：构建组件1、视觉语义感知组件2、规划组件3和执行组件4。
其中，构建组件1用于构建真实环境或仿真环境确定相应的神经网络参数模型。
进一步地，在本实用新型的一个实施例中，若选择仿真操作，则构建组件通过对环境、视觉相机和机械臂进行仿真，以构建仿真环境。
具体地，如果选择仿真，需要加载仿真物理模型(通过Gazebo插件)，包括仿真环境、传感器(视觉相机)、模型(机械臂)，也可以通过其它仿真物理软件(如V-rep)构建仿真环境，其中仿真模型可以通过Solidworks等三维软件生成URDF文件模型。
视觉语义感知组件2用于根据神经网络参数模型确定待抓取物体的感兴趣区域，以计算抓取感兴趣区域的目标点位信息。
进一步地，本实用新型实施例的视觉语义感知组件2包括：标注工具201用于对待操作物体标注物体类别，为神经网络训练提供训练集。视觉神经网络构架202用于训练训练集，获得感兴趣区域，并用矩形框得到待感兴趣区域所在的区域。双目相机203若在仿真环境下，则用于读取相机基坐标系在三维空间中的位姿，并利用自带的算例读取深度信息，若在真实环境下，则用于标定内外参数，并利用自带的算例读取深度信息。图像处理工具 204用于通过矩形框获得待操作对象中心点的像素和相对X轴的夹角，再通过双目视觉的基本算法计算出机基坐标系下待操作对象的位置。处理组件205用于通过待操作对象中心点的像素计算出矩形框的大小，从而计算出夹爪需要开合的大小。
具体而言，如图2所示，本实用新型实施例的视觉语义感知组件2是在仿真和真实环境下构建基于深度学习的视觉语义感知系统，其具体执行过程为：
(1)开始操作，系统初始化；
(2)选择仿真物理环境或者真实的物理环境；
(3)收集不同环境下(包括离散、堆叠、光线变化、不同放置位置)的物体图片；
(4)采用标注工具(如LableMe、VGG Image Annotator、COCO UI)进行标注物体类别，为神经网络训练提供训练集；
(5)利用视觉神经网络构架(如Mask-RCNN，YOLOv3，SSD等)，训练数据集。获得感兴趣的区域，用矩形框或者Mask得到期望物体所在的区域；
(6)标定双目相机，在仿真环境下，可以直接读取到相机基坐标系在三维空间中的位姿。在真实环境下，用棋盘格(如Kinect的标定)或用自带的软件(如RealSenseD435) 标定内外参数。采用自带的算例读出深度信息；
(7)采用OpenCV处理感兴趣的区域，如通过最小矩形框，获得物体中心点的像素和相对X轴的夹角，接着通过双目视觉的基本算法计算出在相机坐标系下物体的位置，再通过坐标变换转换到基坐标系下；
(8)通过像素点计算出矩形框的大小，从而计算出夹爪需要开合的大小；
(9)将视觉感知处理得到的结果，通过消息的方式将目标点位信息传递给抓取执行操作的节点。
规划组件3用于根据目标点位信息对待抓取物体进行避障和轨迹规划，确定抓取执行操作命令。
可以理解的是，目标点位信息包括：通过图像处理工具计算出的抓取位姿和通过待操作对象中心点的像素确定的夹爪开合大小。
执行组件4用于根据抓取执行操作命令控制真实机械臂或仿真机械臂的动作，完成抓取操作命令。
进一步地，在本实用新型的一个实施例中，执行组件4包括：关节轨迹控制器401用于根据避障和轨迹规划输出连续关节轨迹的位置、速度和力矩。驱动器402用于根据关节轨迹控制器输出的数据控制真实机械臂或仿真机械臂的动作，执行抓取任务。
综上，如图3所示，本实用新型实施例的执行系统的具体实施过程为：
(1)开始操作，系统初始化；
(2)选择仿真或者实物操作；
(3)如果选择仿真，需要加载仿真物理模型(通过Gazebo插件)，包括仿真环境、传感器(视觉相机)、模型(机械臂)，也可以通过其它仿真物理软件(如V-rep) 构建仿真环境，其中仿真模型可以通过Solidworks等三维软件生成URDF文件模型；
(4)构建好环境后，执行设定好的任务，可以通过编写C++/Python节点文件实现；
(5)加载视觉神经网络，依据仿真或实物的选择，确定相应的神经网络参数模型；
(6)通过神经网络给出的结果，判断是否有待操作的任务或者待抓取的对象，如果结果为无，回到执行任务，如果有待抓取物体或操作物体，执行下一步操作任务；
(7)识别到有待操作对象后，通过OpenCV等图像处理工具计算抓取的位姿，以及通过像素点去确定操作器开合的大小；
(8)将目标点位信息通过消息的方式传递给包含MoveIT！的节点，在MoveIT！中进行避障和轨迹规划，通过JointTrajectoryController(如 effort_controllers/JointTrajectoryController)输出连续关节轨迹的位置、速度、力矩；
(9)将信号传输到关节轨迹控制器(通过Controller_manager插件实现)，通过硬件接口层发送命令给驱动器；
(10)控制仿真机械臂或真实机械臂的动作到相应位置，执行操作任务，一次抓取操作任务完成。
(11)判断总体任务是否完成，如果没有则会跳转到执行任务，继续任务，如果判断完成，则回到设定的初始位置，结束任务。
也就是说，本实用新型实施例构建了一种基于ROS-Gazebo-MoveIT！的机器人虚实交互平台，用于快速原型的开发，以及训练AI模型，其中，基于ROS(Robot OperatingSystem) 系统构架搭建机械臂的软件构架，基于Gazebo物理仿真引擎实现仿真环境、仿真机械臂和仿真视觉，基于MoveIT！实现机器人碰撞检测、避障和路径规划，基于Controller_manager 插件实现机器人关节空间的规划和仿真机械臂或真实机械臂的接连。
根据本实用新型实施例提出的具有视觉语义感知的机器人虚实交互操作执行系统，建立了机器人虚实交互平台，可用于快速原型开发、算法测试、精确的室内室外环境仿真、有效可靠的性能评估、直观可视化的交互显示以及训练AI决策和控制系统，还构建了基于深度学习的视觉语义感知系统，识别和感知物体的类别、尺寸、位置，能够稳定、灵巧、快速的实现物体抓取、操作和执行等任务。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本实用新型的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
在本实用新型中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系，除非另有明确的限定。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本实用新型中的具体含义。
在本实用新型中，除非另有明确的规定和限定，第一特征在第二特征“上”或“下”可以是第一和第二特征直接接触，或第一和第二特征通过中间媒介间接接触。而且，第一特征在第二特征“之上”、“上方”和“上面”可是第一特征在第二特征正上方或斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”可以是第一特征在第二特征正下方或斜下方，或仅仅表示第一特征水平高度小于第二特征。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本实用新型的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
尽管上面已经示出和描述了本实用新型的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本实用新型的限制，本领域的普通技术人员在本实用新型的范围内可以对上述实施例进行变化、修改、替换和变型。
Claims (5)
1.一种具有视觉语义感知的机器人虚实交互操作执行系统，其特征在于，包括：
构建组件，用于构建真实环境或仿真环境确定相应的神经网络参数模型；
视觉语义感知组件，用于根据所述神经网络参数模型确定待抓取物体的感兴趣区域，以计算抓取所述感兴趣区域的目标点位信息；
规划组件，用于根据所述目标点位信息对所述待抓取物体进行避障和轨迹规划，确定抓取执行操作命令；以及
执行组件，用于根据所述抓取执行操作命令控制真实机械臂或仿真机械臂的动作，完成抓取操作命令。
2.根据权利要求1所述的具有视觉语义感知的机器人虚实交互操作执行系统，其特征在于，若选择仿真操作，则所述构建组件通过对环境、视觉相机和机械臂进行仿真，以构建所述仿真环境。
3.根据权利要求1所述的具有视觉语义感知的机器人虚实交互操作执行系统，其特征在于，所述视觉语义感知组件包括：
标注工具，用于对所述待抓取物体标注物体类别，为神经网络训练提供训练集；
视觉神经网络构架，用于训练所述训练集，获得所述感兴趣区域，并用矩形框得到所述感兴趣区域所在的区域；
双目相机，若在所述仿真环境下，则用于读取相机基坐标系在三维空间中的位姿，并利用自带的算例读取深度信息，若在所述真实环境下，则用于标定内外参数，并利用自带的算例读取深度信息；
图像处理工具，用于通过所述矩形框获得所述待操作对象中心点的像素和相对X轴的夹角，再通过双目视觉的基本算法计算出所述机基坐标系下所述待操作对象的位置；
处理组件，用于通过所述待操作对象中心点的像素计算出所述矩形框的大小，从而计算出夹爪需要开合的大小。
4.根据权利要求1所述的具有视觉语义感知的机器人虚实交互操作执行系统，其特征在于，所述目标点位信息包括：通过图像处理工具计算出的抓取位姿和通过待操作对象中心点的像素确定的夹爪开合大小。
5.根据权利要求1所述的具有视觉语义感知的机器人虚实交互操作执行系统，其特征在于，所述执行组件包括：
关节轨迹控制器，用于根据所述避障和轨迹规划输出连续关节轨迹的位置、速度和力矩；
驱动器，用于根据所述关节轨迹控制器输出的数据控制所述真实机械臂或仿真机械臂的动作，执行抓取任务。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201920591638.5U CN210115917U (zh) | 2019-04-26 | 2019-04-26 | 具有视觉语义感知的机器人虚实交互操作执行系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201920591638.5U CN210115917U (zh) | 2019-04-26 | 2019-04-26 | 具有视觉语义感知的机器人虚实交互操作执行系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN210115917U true CN210115917U (zh) | 2020-02-28 |
Family
ID=69614607
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201920591638.5U Active CN210115917U (zh) | 2019-04-26 | 2019-04-26 | 具有视觉语义感知的机器人虚实交互操作执行系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN210115917U (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109910018A (zh) * | 2019-04-26 | 2019-06-21 | 清华大学 | 具有视觉语义感知的机器人虚实交互操作执行系统及方法 |
| CN112809670A (zh) * | 2020-12-31 | 2021-05-18 | 广东立胜综合能源服务有限公司 | 一种机械臂最优路径优化定位方法 |
| CN113610792A (zh) * | 2021-07-30 | 2021-11-05 | 杭州申昊科技股份有限公司 | 轨道扣件检测方法、设备和可读存储介质 |
-
2019
- 2019-04-26 CN CN201920591638.5U patent/CN210115917U/zh active Active
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109910018A (zh) * | 2019-04-26 | 2019-06-21 | 清华大学 | 具有视觉语义感知的机器人虚实交互操作执行系统及方法 |
| CN109910018B (zh) * | 2019-04-26 | 2024-01-30 | 清华大学 | 具有视觉语义感知的机器人虚实交互操作执行系统及方法 |
| CN112809670A (zh) * | 2020-12-31 | 2021-05-18 | 广东立胜综合能源服务有限公司 | 一种机械臂最优路径优化定位方法 |
| CN113610792A (zh) * | 2021-07-30 | 2021-11-05 | 杭州申昊科技股份有限公司 | 轨道扣件检测方法、设备和可读存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109910018B (zh) | 具有视觉语义感知的机器人虚实交互操作执行系统及方法 | |
| JP6586532B2 (ja) | ロボットの把持のための深層機械学習方法および装置 | |
| CN210115917U (zh) | 具有视觉语义感知的机器人虚实交互操作执行系统 | |
| US12053886B2 (en) | Device control using policy training based on task embeddings | |
| JP6915605B2 (ja) | 画像生成装置、ロボット訓練システム、画像生成方法、及び画像生成プログラム | |
| US20220355483A1 (en) | Methods and Systems for Graphical User Interfaces to Control Remotely Located Robots | |
| Frank et al. | Learning object deformation models for robot motion planning | |
| JP2013193202A (ja) | 人間援助型タスクデモンストレーションを使用してロボットを訓練するための方法およびシステム | |
| US20210049415A1 (en) | Behaviour Models for Autonomous Vehicle Simulators | |
| CN112512755A (zh) | 使用从2.5d视觉数据预测的域不变3d表示的机器人操纵 | |
| CN113370217A (zh) | 基于深度学习的物体姿态识别和抓取的智能机器人的方法 | |
| Zofka et al. | Traffic participants in the loop: A mixed reality-based interaction testbed for the verification and validation of autonomous vehicles | |
| WO2021016807A1 (zh) | 情景感知装置的仿真方法、装置和系统 | |
| Niu et al. | Building a Flexible Mobile Robotics Teaching Toolkit by Extending MATLAB/Simulink with ROS and Gazebo | |
| US11607809B2 (en) | Robot motion planning accounting for object pose estimation accuracy | |
| Cho et al. | Development of VR visualization system including deep learning architecture for improving teleoperability | |
| KR102452315B1 (ko) | 딥러닝과 마커를 이용한 비전인식을 통한 로봇 제어장치 및 그 방법 | |
| US20220288782A1 (en) | Controlling multiple simulated robots with a single robot controller | |
| JP7390405B2 (ja) | 統合された物理的環境および模擬された環境でロボットシステムを試験するための方法およびシステム | |
| Schaub et al. | Simulation of artificial intelligence agents using Modelica and the DLR visualization library | |
| EP4175795A1 (en) | Transfer between tasks in different domains | |
| US20200201268A1 (en) | System and method for guiding a sensor around an unknown scene | |
| CN118238150B (zh) | 一种茶叶采摘机械臂仿真方法和平台 | |
| Craeye | Obstacle avoidance with optic flow | |
| Pozo León et al. | Vision-driven assembly robot |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| GR01 | Patent grant | ||
| GR01 | Patent grant |