CN111823225A - 一种视觉伺服三维仿真方法及装置 - Google Patents

一种视觉伺服三维仿真方法及装置 Download PDF

Info

Publication number
CN111823225A
CN111823225A CN202010501469.9A CN202010501469A CN111823225A CN 111823225 A CN111823225 A CN 111823225A CN 202010501469 A CN202010501469 A CN 202010501469A CN 111823225 A CN111823225 A CN 111823225A
Authority
CN
China
Prior art keywords
simulation
image
visual
dimensional
robot
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010501469.9A
Other languages
English (en)
Inventor
李涵
李素华
鲍卫宁
陈钊
赵晓斌
曾荣
曾凡琮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jianghan University
Original Assignee
Jianghan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jianghan University filed Critical Jianghan University
Priority to CN202010501469.9A priority Critical patent/CN111823225A/zh
Publication of CN111823225A publication Critical patent/CN111823225A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/04—Viewing devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/10—Constructive solid geometry [CSG] using solid primitives, e.g. cylinders, cubes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • General Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Robotics (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Manipulator (AREA)

Abstract

本发明涉及视觉伺服仿真技术领域，公开了一种视觉伺服三维仿真方法，包括以下步骤；S1、构建安装有视觉传感器的仿真机器人，添加三维目标物体的3D模型；S2、通过所述视觉传感器采集所述3D模型的目标图像；S3、通过视觉伺服仿真平台获取所述目标图像的图像特征，并根据所述图像特征计算控制速度；S4、根据所述控制速度控制所述仿真机器人运动；S5、判断所述仿真机器人的实时位姿的误差是否满足设定要求，如果满足，则仿真结束，否则转步骤S2进行下一次伺服控制。本发明可以实现对三维物体的视觉伺服仿真。

Description

一种视觉伺服三维仿真方法及装置
技术领域
本发明涉及视觉伺服仿真技术领域，具体涉及一种视觉伺服三维仿真方法、装置以及计算机存储介质。
背景技术
随着智能制造、工业4.0等概念的提出及发展，机器人作为智能工厂的底层智能设备，其研究和应用越来越得到重视。
利用仿真平台进行机器人视觉伺服仿真是缩短视觉伺服控制算法开发周期的主要手段。目前的视觉伺服仿真平台大多仅适用于平面物体，无法进行三维物体的仿真。例如目前广泛使用的基于MATLAB开发的视觉伺服仿真平台，结合机器人及机器人视觉工具箱可以进行点、直线、椭圆等简单几何目标的视觉伺服仿真，但无法进行三维物体的仿真，特别是针对非平面目标的视觉伺服仿真难以实现。而现代智能机器人多数解决的三维空间的目标识别和抓取问题，现有的视觉伺服仿真平台不能满足智能机器人在三维目标应用场景下的视觉伺服仿真需求，实用性较低，限制了视觉伺服仿真的推广使用。
发明内容
本发明的目的在于克服上述技术不足，提供一种视觉伺服三维仿真方法、装置以及计算机存储介质，解决现有技术中伺服仿真平台不能对三维物体进行视觉伺服仿真的技术问题。
为达到上述技术目的，本发明的技术方案提供一种视觉伺服三维仿真方法，包括以下步骤；
S1、构建安装有视觉传感器的仿真机器人，添加三维目标物体的3D模型；
S2、通过所述视觉传感器采集所述3D模型的目标图像；
S3、通过视觉伺服仿真平台获取所述目标图像的图像特征，并根据所述图像特征计算控制速度；
S4、根据所述控制速度控制所述仿真机器人运动；
S5、判断所述仿真机器人的实时位姿的误差是否满足设定要求，如果满足，则仿真结束，否则转步骤S2进行下一次伺服控制。
本发明还提供一种视觉伺服三维仿真装置，包括处理器以及存储器，所述存储器上存储有计算机程序，所述计算机程序被所述处理器执行时，实现所述视觉伺服三维仿真方法。
本发明还提供一种计算机存储介质，其上存储有计算机程序，所述计算机该程序被处理器执行时，实现所述视觉伺服三维仿真方法。
与现有技术相比，本发明的有益效果包括：本发明在搭建视觉伺服仿真平台的同时构建仿真机器人，仿真机器人上安装有视觉传感器，且添加了三维目标物体的3D模型，从而可以通过视觉传感器获取3D模型的目标图像，仿真机器人将目标图像发送至视觉伺服仿真平台，视觉伺服仿真平台即可根据目标图像计算控制速度，进而将控制速度发送至仿真机器人，从而完成了对三维物体进行视觉伺服仿真的闭环控制过程，弥补了现有视觉伺服仿真平台无法对三维物体进行视觉伺服仿真的缺点。
附图说明
图1是本发明提供的视觉伺服三维仿真方法一实施方式的流程图；
图2是本发明提供的视觉伺服三维仿真装置一实施方式的模块结构图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
实施例1
如图1所示，本发明的实施例1提供了视觉伺服三维仿真方法，包括以下步骤；
S1、构建安装有视觉传感器的仿真机器人，添加三维目标物体的3D模型；
S2、通过所述视觉传感器采集所述3D模型的目标图像；
S3、通过视觉伺服仿真平台获取所述目标图像的图像特征，并根据所述图像特征计算控制速度；
S4、根据所述控制速度控制所述仿真机器人运动；
S5、判断所述仿真机器人的实时位姿的误差是否满足设定要求，如果满足，则仿真结束，否则转步骤S2进行下一次伺服控制。
本实施例在搭建视觉伺服仿真平台的同时构建仿真机器人，仿真机器人上安装有视觉传感器，且添加了三维目标物体的3D模型，从而可以通过视觉传感器获取3D模型的目标图像，仿真机器人将目标图像发送至视觉伺服仿真平台，视觉伺服仿真平台即可根据目标图像计算控制速度，进而将控制速度发送至仿真机器人，从而完成了对三维物体进行视觉伺服仿真的闭环控制过程，弥补了现有视觉伺服仿真平台无法对三维物体进行视觉伺服仿真的缺点。
本发明基于安装视觉传感器的仿真机器人以及视觉伺服仿真平台建立机器人视觉伺服联合仿真平台，实现了包括三维目标物体在内的任意物体的视觉伺服仿真，填补了现有视觉伺服仿真平台只适用于简单平面几何特征的空白，可以满足智能机器人在多数应用场景下的视觉伺服仿真需求，大大缩短视觉伺服控制算法的开发周期。
优选的，构建安装有视觉传感器的仿真机器人，具体为：
构建仿真机器人，在所述仿真机器人的末端安装机械手爪以及视觉传感器，并为所述视觉传感器配置参数；
为仿真机器人安装机械手爪，以便仿真机器人对三维目标物体进行抓取仿真。为视觉传感器配置参数，用于获取目标图像。
优选的，通过所述视觉传感器采集所述3D模型的目标图像，还包括：
对所述目标图像进行阈值处理。
将目标图像发送至视觉伺服仿真平台之前，先对目标图像进行阈值处理，实现图像分割。阈值处理可采用自适应区域、Otsu's二值化等方法实现。
优选的，获取所述目标图像的图像特征，并根据所述图像特征计算控制速度，具体为：
计算所述目标图像的图像特征；
根据预设的期望位姿，计算从所述期望位姿处获取的期望图像的图像特征；
计算所述目标图像的图像特征与所述期望图像的图像特征之差，得到图像特征误差；
根据所述图像特征误差计算所述控制速度。
本实施例在计算控制速度时，首先计算出目标图像的图像特征s，并计算图像特征s与预先计算好的视觉传感器在期望位姿处获取的期望图像的图像特征s*的差，以两者之差作为图像特征误差e，根据图像特征误差e输计算得到视觉传感器末端的控制速度v。最后，再将控制速度发送至仿真机器人，仿真机器人根据控制速度进行运动，如此循环，直至仿真机器人运动到期望位姿位置。根据图像特征误差e计算得到视觉传感器末端的控制速度v，可采用预设图像特征误差e与控制速度v的映射关系表，然后通过查表的方式获取。
具体的，图像特征可以选取矩特征、点特征、直线特征等。
优选的，判断所述仿真机器人的实时位姿的误差是否满足设定要求，如果满足，则仿真结束，否则转步骤S2进行下一次伺服控制，具体为：
判断所述图像特征误差是否小于误差阈值，如果小于，则仿真结束，如果不小于，则转步骤S2进行下一次伺服控制。
当图像特征误差小于误差阈值，即图像特征误差满足了误差范围时，判定伺服控制过程完成，仿真结束，否则转步骤S2继续循环进行伺服控制。
实施例2
本发明的实施例2提供了视觉伺服三维仿真装置，包括处理器以及存储器，所述存储器上存储有计算机程序，所述计算机程序被所述处理器执行时，实现实施例1提供的视觉伺服三维仿真方法。
本发明实施例提供的视觉伺服三维仿真装置，用于实现基于视觉伺服三维仿真方法，因此，视觉伺服三维仿真方法所具备的技术效果，视觉伺服三维仿真装置同样具备，在此不再赘述。
优选的，如图2所示，所述存储器上存储的计算机程序包括V-REP模块以及MATLAB模块；
所述处理器执行所述V-REP模块时，用于实现步骤S1、S2、S4以及S5；
所述处理器执行所述MATLAB模块时，用于实现步骤S3。
本实施例基于MATLAB和V-REP(Virtual Robot Experimentation Platform)建立。V-REP是由瑞士Coppelia公司开发的集成开发环境并基于分布式控制结构的机器人仿真软件，每个仿真对象或模型可由多种方式来单独控制，如嵌入式脚本、插件、ROS节点、远程API客户端或者自定义的解决方案等。V-REP模块支持多种编程方法来控制仿真，本实施例选择远程API的方式来进行控制仿真，以MATLAB模块作为外部应用程序，利用V-REP模块的内部函数和MATLAB模块的功能实现仿真要求。为实现伺服控制器的构建，还结合了Peter Corke开发的机器人及机器人视觉工具箱。
具体的，V-REP模块包括仿真机器人模块、机器人控制器模块、视觉传感器模块以及图像采集像预处理模块；MATLAB模块包括视觉伺服控制器模块。通过仿真机器人构建仿真机器人，本实施例的仿真机器人选用的V-REP模块自带的机器人库中的IBR4600机器人模型，并在仿真机器人末端添加上机械手爪，通过视觉传感器模块安装视觉传感器并配置参数，添加三维目标物体的3D模型，通过图像采集像预处理模块进行目标图像的采集以及预处理。配置V-REP 模块与MATLAB模块的通信调用接口，通过通信调用接口将采集的目标图像传递给MATLAB模块。MATLAB模块接收V-REP传来的目标图像后，获取目标图像的图像特征，视觉伺服控制器模块根据目标图像的图像特征计算控制速度。最后 MATLAB模块再与V-REP模块通信，并将控制速度传递给机器人控制器，机器人控制器控制仿真机器人按控制速度运动，如此循环，直至仿真机器人运动到期望位姿。
优选的，所述V-REP模块与MATLAB模块通过API接口相互调用。
V-REP模块支持多种编程方法来控制仿真，本实施例选择远程API的方式来进行控制仿真，以MATLAB模块作为外部应用程序，利用V-REP模块的内部函数和MATLAB模块的功能实现仿真要求。MATLAB具有强大的计算能力，且具有机器人视觉工具箱；但是无法进行三维物体的视觉伺服仿真，因为MATLAB里面建立的相机模型只能用在点，直线等简答几何目标的成像。而V-REP可以进行三维成像，并且V-REP里面有丰富的机器人及各类传感器模型。因此本实施例结合了两者的优点，即利用了MATLAB强大的计算能力以及V-REP的三维成像即机器人仿真功能，实现了视觉伺服三维仿真。
实施例3
本发明的实施例3提供了计算机存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现实施例1提供的视觉伺服三维仿真方法。
本发明实施例提供的计算机存储介质，用于视觉伺服三维仿真方法，因此，视觉伺服三维仿真方法所具备的技术效果，计算机存储介质同样具备，在此不再赘述。
以上所述本发明的具体实施方式，并不构成对本发明保护范围的限定。任何根据本发明的技术构思所做出的各种其他相应的改变与变形，均应包含在本发明权利要求的保护范围内。

Claims (9)

1.一种视觉伺服三维仿真方法，其特征在于，包括以下步骤；
S1、构建安装有视觉传感器的仿真机器人，添加三维目标物体的3D模型；
S2、通过所述视觉传感器采集所述3D模型的目标图像；
S3、通过视觉伺服仿真平台获取所述目标图像的图像特征，并根据所述图像特征计算控制速度；
S4、根据所述控制速度控制所述仿真机器人运动；
S5、判断所述仿真机器人的实时位姿的误差是否满足设定要求，如果满足，则仿真结束，否则转步骤S2进行下一次伺服控制。
2.根据权利要求1所述的视觉伺服三维仿真方法，其特征在于，构建安装有视觉传感器的仿真机器人，具体为：
构建仿真机器人，在所述仿真机器人的末端安装机械手爪以及视觉传感器，并为所述视觉传感器配置参数。
3.根据权利要求1所述的视觉伺服三维仿真方法，其特征在于，通过所述视觉传感器采集所述3D模型的目标图像，还包括：
对所述目标图像进行阈值处理。
4.根据权利要求1所述的视觉伺服三维仿真方法，其特征在于，获取所述目标图像的图像特征，并根据所述图像特征计算控制速度，具体为：
计算所述目标图像的图像特征；
根据预设的期望位姿，计算从所述期望位姿处获取的期望图像的图像特征；
计算所述目标图像的图像特征与所述期望图像的图像特征之差，得到图像特征误差；
根据所述图像特征误差计算所述控制速度。
5.根据权利要求4所述的视觉伺服三维仿真方法，其特征在于，判断所述仿真机器人的实时位姿的误差是否满足设定要求，如果满足，则仿真结束，否则转步骤S2进行下一次伺服控制，具体为：
判断所述图像特征误差是否小于误差阈值，如果小于，则仿真结束，如果不小于，则转步骤S2进行下一次伺服控制。
6.一种视觉伺服三维仿真装置，其特征在于，包括处理器以及存储器，所述存储器上存储有计算机程序，所述计算机程序被所述处理器执行时，实现如权利要求1-5任一所述的视觉伺服三维仿真方法。
7.根据权利要求6所述的视觉伺服三维仿真装置，其特征在于，所述存储器上存储的计算机程序包括V-REP模块以及MATLAB模块；
所述处理器执行所述V-REP模块时，用于实现步骤S1、S2、S4以及S5；
所述处理器执行所述MATLAB模块时，用于实现步骤S3。
8.根据权利要求7所述的视觉伺服三维仿真装置，其特征在于，所述V-REP模块与MATLAB模块通过API接口相互调用。
9.一种计算机存储介质，其上存储有计算机程序，其特征在于，所述计算机该程序被处理器执行时，实现如权利要求1-6任一所述的视觉伺服三维仿真方法。
CN202010501469.9A 2020-06-04 2020-06-04 一种视觉伺服三维仿真方法及装置 Pending CN111823225A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010501469.9A CN111823225A (zh) 2020-06-04 2020-06-04 一种视觉伺服三维仿真方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010501469.9A CN111823225A (zh) 2020-06-04 2020-06-04 一种视觉伺服三维仿真方法及装置

Publications (1)

Publication Number Publication Date
CN111823225A true CN111823225A (zh) 2020-10-27

Family

ID=72897587

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010501469.9A Pending CN111823225A (zh) 2020-06-04 2020-06-04 一种视觉伺服三维仿真方法及装置

Country Status (1)

Country Link
CN (1) CN111823225A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022143626A1 (zh) * 2020-12-31 2022-07-07 深圳市优必选科技股份有限公司 移动机器人控制方法、计算机实现的存储介质和移动机器人

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103406905A (zh) * 2013-08-20 2013-11-27 西北工业大学 一种具有视觉伺服及检测功能的机器人系统
US20150120055A1 (en) * 2013-10-31 2015-04-30 Seiko Epson Corporation Robot control device, robot system, and robot
CN106651949A (zh) * 2016-10-17 2017-05-10 中国人民解放军63920部队 一种基于仿真的空间机械臂抓捕目标遥操作方法及系统
CN108621167A (zh) * 2018-07-23 2018-10-09 中南大学 一种基于轮廓边及内包圆特征的视觉伺服解耦控制方法
CN109176519A (zh) * 2018-09-14 2019-01-11 北京遥感设备研究所 一种提高机器人视觉伺服控制响应时间的方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103406905A (zh) * 2013-08-20 2013-11-27 西北工业大学 一种具有视觉伺服及检测功能的机器人系统
US20150120055A1 (en) * 2013-10-31 2015-04-30 Seiko Epson Corporation Robot control device, robot system, and robot
CN106651949A (zh) * 2016-10-17 2017-05-10 中国人民解放军63920部队 一种基于仿真的空间机械臂抓捕目标遥操作方法及系统
CN108621167A (zh) * 2018-07-23 2018-10-09 中南大学 一种基于轮廓边及内包圆特征的视觉伺服解耦控制方法
CN109176519A (zh) * 2018-09-14 2019-01-11 北京遥感设备研究所 一种提高机器人视觉伺服控制响应时间的方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
秦丽娟等: "《计算机单目视觉定位》", 30 April 2016, 国防工业出版社 *
陈慧岩等: "《无人驾驶车辆理论与设计》", 31 March 2018, 北京理工大学出版社 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022143626A1 (zh) * 2020-12-31 2022-07-07 深圳市优必选科技股份有限公司 移动机器人控制方法、计算机实现的存储介质和移动机器人

Similar Documents

Publication Publication Date Title
CN109240091B (zh) 一种基于强化学习的水下机器人控制方法及其进行跟踪的控制方法
US10401844B2 (en) Simulator, simulation method, and simulation program
CN114912287B (zh) 基于目标6d位姿估计的机器人自主抓取仿真系统及方法
CN104062902B (zh) Delta机器人时间最优轨迹规划方法
CN108927801B (zh) 一种机械臂末端姿态调整方法及装置
CN110524544A (zh) 一种机械臂运动的控制方法、终端和可读存储介质
CN110986953B (zh) 路径规划方法、机器人及计算机可读存储介质
CN109358507B (zh) 一种时变性能边界约束的视觉伺服自适应跟踪控制方法
CN107924198B (zh) 控制装置、控制方法、非暂时记录介质
CN110728739A (zh) 一种基于视频流的虚拟人控制与交互方法
CN113392584B (zh) 基于深度强化学习和方向估计的视觉导航方法
CN113211447B (zh) 一种基于双向rrt*算法的机械臂实时感知规划方法及系统
CN111152227A (zh) 一种基于引导式dqn控制的机械臂控制方法
CN109901627B (zh) 一种无人机的着陆位姿调整方法、系统及相关组件
CN113246143A (zh) 一种机械臂动态避障轨迹规划方法及装置
CN111823225A (zh) 一种视觉伺服三维仿真方法及装置
CN114299039B (zh) 一种机器人及其碰撞检测装置和方法
CN115781685A (zh) 一种基于强化学习的高精度机械臂控制方法及系统
CN111002289A (zh) 机器人在线示教方法、装置、终端设备及存储介质
CN114690767A (zh) 一种机器人轨迹规划方法、系统以及机器人
Jiang et al. Co-simulation of the unreal engine and matlab/simulink for automated grain offoading
CN113436350A (zh) 一种三维模型生成方法及系统
Lovi et al. Predictive display for mobile manipulators in unknown environments using online vision-based monocular modeling and localization
CN114784701B (zh) 配电网带电作业自主导航方法、系统、设备及存储介质
WO2022166397A1 (zh) 目标对象的躲避方法及装置、存储介质、电子装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20201027

RJ01 Rejection of invention patent application after publication