CN113591542B - 一种机器人的视觉伺服控制方法、装置以及设备 - Google Patents

一种机器人的视觉伺服控制方法、装置以及设备 Download PDF

Info

Publication number
CN113591542B
CN113591542B CN202110626515.2A CN202110626515A CN113591542B CN 113591542 B CN113591542 B CN 113591542B CN 202110626515 A CN202110626515 A CN 202110626515A CN 113591542 B CN113591542 B CN 113591542B
Authority
CN
China
Prior art keywords
robot
visual
image
control link
servo control
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110626515.2A
Other languages
English (en)
Other versions
CN113591542A (zh
Inventor
李涵
施文杰
左治江
曾凡琮
潘立波
熊志豪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jianghan University
Original Assignee
Jianghan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jianghan University filed Critical Jianghan University
Priority to CN202110626515.2A priority Critical patent/CN113591542B/zh
Publication of CN113591542A publication Critical patent/CN113591542A/zh
Application granted granted Critical
Publication of CN113591542B publication Critical patent/CN113591542B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/02—Preprocessing
    • G06F2218/04—Denoising
    • G06F2218/06—Denoising by applying a scale-space analysis, e.g. using wavelet analysis
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Manipulator (AREA)

Abstract

本申请提提供了一种机器人的视觉伺服控制方法、装置以及设备，用于结合小波变换，提供更为细腻、精确地视觉反馈信号。方法包括：在当前一轮控制环节中，获取配置于机器人预设部位上的摄像机拍摄得到的第一图像I；对第一图像进行图像识别处理，得到第一图像的第一视觉特征W；获取上一轮控制环节中机器人运动控制指令期望得到的第二图像I*的第二视觉特征W*；以第一视觉特征W与第二视觉特征W*之间的视觉误差e为基础，结合预先建立的小波系数的时变与机器人空间速度之间的相互作用模型，确定当前一轮控制环节中的机器人运动控制指令；控制机器人的运动模块执行当前一轮控制环节中的机器人运动控制指令，促使机器人按照预设运动状态进行运动。

Description

一种机器人的视觉伺服控制方法、装置以及设备
技术领域
本申请涉及机器人领域，具体涉及一种机器人的视觉伺服控制方法、装置以及设备。
背景技术
视觉伺服控制，为如今机器人控制系统的一大控制方式，其工作模式可以理解为以实时、连续的视觉反馈，控制机器人的运动系统。
该视觉反馈，一般是通过配置在机器人上的摄像机，拍摄机器人前方的图像，再对该图像进行图像识别，并以图像识别得到的视觉特征为基础，确定机器人的运动姿态，继而生成机器人控制指令，控制机器人的运动。
而在现有的相关技术的研究过程中，发明人发现，现有的视觉伺服控制方案，基于图像中的几何特征作为视觉反馈信号，而在复杂的应用环境中，对于图像中的几何特征的提取，存在较大的难度，因此，对于机器人的运动控制存在控制精度较差的问题。
发明内容
本申请提提供了一种机器人的视觉伺服控制方法、装置以及设备，用于结合小波变换，提供更为细腻、精确地视觉反馈信号，从而对于机器人的运动控制，可明显地提高其控制精度。
第一方面，本申请提供了一种机器人的视觉伺服控制方法，方法包括：
在当前一轮控制环节中，获取配置于机器人预设部位上的摄像机拍摄得到的第一图像I；
对第一图像进行图像识别处理，得到第一图像的第一视觉特征W；
获取上一轮控制环节中机器人运动控制指令期望得到的第二图像I*的第二视觉特征W*；
以第一视觉特征W与第二视觉特征W*之间的视觉误差e为基础，结合预先建立的小波系数的时变与机器人空间速度之间的相互作用模型，确定当前一轮控制环节中的机器人运动控制指令；
控制机器人的运动模块执行当前一轮控制环节中的机器人运动控制指令，促使机器人按照预设运动状态进行运动。
结合本申请第一方面，在本申请第一方面第一种可能的实现方式中，相互作用模型的配置包括如下：
将第一视觉特征W的时变与摄像机的速度V之间的关系为：
其中，LW是指图像雅可比矩阵；
视觉误差e的时变为：
若 呈指数解耦下降，令/>则：
其中，是指图像雅可比矩阵的相似矩阵。
结合本申请第一方面，在本申请第一方面第二种可能的实现方式中，相互作用模型涉及的小波变换定义为二维信号和小波函数Ψ之间的L2内积，小波函数的定位为：
其中，j定义尺度，通过来定义小波的位置。
结合本申请第一方面第二种可能的实现方式，在本申请第一方面第三种可能的实现方式中，每个图像中的坐标p＝(u，v)T，LW是由所有的垂直连接所获得的，LW具体为：
其中，
αu和αv是以像素为单位表示的焦距，
x和y是(x，y)T的图像点的坐标。
结合本申请第一方面第二种可能的实现方式，在本申请第一方面第四种可能的实现方式中，改写为：
其中，μ是常数正标量，I6×6是单位矩阵。
结合本申请第一方面第一种可能的实现方式，在本申请第一方面第五种可能的实现方式中，机器人的视觉伺服控制系统具体配置为手眼系统结构，机器人运动控制指令中的机器人速度的确定方程为：
其中，eKb是机器人在基础Rb中的逆运动学雅可比矩阵，bVc是与摄像机与机器人的速度变化相关联的变换矩阵，cVc为摄像机的速度V。
结合本申请第一方面，在本申请第一方面第六种可能的实现方式中，获取上一轮控制环节中机器人运动控制指令期望得到的第二图像I*的第二视觉特征W*，包括：
获取上一轮控制环节中摄像机拍摄得到的第三图像通过图像识别处理得到的第三视觉特征；
获取上一轮控制环节中确定的机器人运动控制指令；
结合第三视觉特征以及上一轮控制环节中确定的机器人运动控制指令，确定第二视觉特征W*。
第二方面，本申请提供了一种机器人的视觉伺服控制装置，装置包括：
获取单元，用于在当前一轮控制环节中，获取配置于机器人预设部位上的摄像机拍摄得到的第一图像I；
识别单元，用于对第一图像进行图像识别处理，得到第一图像的第一视觉特征W；
获取单元，还用于获取上一轮控制环节中机器人运动控制指令期望得到的第二图像I*的第二视觉特征W*；
确定单元，用于以第一视觉特征W与第二视觉特征W*之间的视觉误差e为基础，结合预先建立的小波系数的时变与机器人空间速度之间的相互作用模型，确定当前一轮控制环节中的机器人运动控制指令；
控制单元，用于控制机器人的运动模块执行当前一轮控制环节中的机器人运动控制指令，促使机器人按照预设运动状态进行运动。
结合本申请第二方面，在本申请第二方面第一种可能的实现方式中，相互作用模型的配置包括如下：
将第一视觉特征W的时变与摄像机的速度V之间的关系为：
其中，LW是指图像雅可比矩阵；
视觉误差e的时变为：
若 呈指数解耦下降，令/>则：
其中，是指图像雅可比矩阵的相似矩阵。
结合本申请第二方面，在本申请第二方面第二种可能的实现方式中，相互作用模型涉及的小波变换定义为二维信号和小波函数Ψ之间的L2内积，小波函数的定位为：
其中，j定义尺度，通过来定义小波的位置。
结合本申请第二方面第二种可能的实现方式，在本申请第二方面第三种可能的实现方式中，每个图像中的坐标p＝(u，v)T，LW是由所有的垂直连接所获得的，LW具体为：
其中，
αu和αv是以像素为单位表示的焦距，
x和y是(x，y)T的图像点的坐标。
结合本申请第二方面第二种可能的实现方式，在本申请第二方面第四种可能的实现方式中，改写为：
其中，μ是常数正标量，I6×6是单位矩阵。
结合本申请第二方面第一种可能的实现方式，在本申请第二方面第五种可能的实现方式中，机器人的视觉伺服控制系统具体配置为手眼系统结构，机器人运动控制指令中的机器人速度的确定方程为：
其中，eKb是机器人在基础Rb中的逆运动学雅可比矩阵，bVc是与摄像机与机器人的速度变化相关联的变换矩阵，cVc为摄像机的速度V。
结合本申请第二方面，在本申请第二方面第六种可能的实现方式中，获取单元，具体用于：
获取上一轮控制环节中摄像机拍摄得到的第三图像通过图像识别处理得到的第三视觉特征；
获取上一轮控制环节中确定的机器人运动控制指令；
结合第三视觉特征以及上一轮控制环节中确定的机器人运动控制指令，确定第二视觉特征W*。
第三方面，本申请提供了一种机器人的视觉伺服控制设备，包括处理器和存储器，存储器中存储有计算机程序，处理器调用存储器中的计算机程序时执行本申请第一方面或者本申请第一方面任一种可能的实现方式提供的方法。
第四方面，本申请提供了一种计算机可读存储介质，计算机可读存储介质存储有多条指令，指令适于处理器进行加载，以执行本申请第一方面或者本申请第一方面任一种可能的实现方式提供的方法。
从以上内容可得出，本申请具有以下的有益效果：
针对于机器人的视觉伺服控制系统，本申请考虑引入小波变换来提供精细的视觉反馈信号，在当前一轮控制环节中，一边先获取配置于机器人预设部位上的摄像机拍摄得到的第一图像I，并对该第一图像进行图像识别处理，得到第一图像的第一视觉特征W，另一边获取上一轮控制环节中机器人运动控制指令期望得到的第二图像I*的第二视觉特征W*，此时以第一视觉特征W与第二视觉特征W*之间的视觉误差e为基础，结合预先建立的小波系数的时变与机器人空间速度之间的相互作用模型，确定当前一轮控制环节中的机器人运动控制指令，如此控制机器人的运动模块执行当前一轮控制环节中的机器人运动控制指令，促使机器人按照预设运动状态进行运动，在这过程中，由于运动控制指令是结合预先建立的小波系数的时变与机器人空间速度之间的相互作用模型所提供的视觉反馈信号，相比于现有技术中的几何特征，可基于图像中更为细腻的图像特征点完成视觉反馈，因此，可提供更为细腻、精确地视觉反馈信号，从而对于机器人的运动控制，可明显地提高其控制精度。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请机器人的视觉伺服控制方法的一种流程示意图；
图2为本申请机器人的视觉伺服控制系统的一种场景示意图；
图3为本申请机器人的视觉伺服控制装置的一种结构示意图；
图4为本申请机器人的视觉伺服控制设备的一种结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或模块的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或模块，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或模块。在本申请中出现的对步骤进行的命名或者编号，并不意味着必须按照命名或者编号所指示的时间/逻辑先后顺序执行方法流程中的步骤，已经命名或者编号的流程步骤可以根据要实现的技术目的变更执行次序，只要能达到相同或者相类似的技术效果即可。
本申请中所出现的模块的划分，是一种逻辑上的划分，实际应用中实现时可以有另外的划分方式，例如多个模块可以结合成或集成在另一个系统中，或一些特征可以忽略，或不执行，另外，所显示的或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，模块之间的间接耦合或通信连接可以是电性或其他类似的形式，本申请中均不作限定。并且，作为分离部件说明的模块或子模块可以是也可以不是物理上的分离，可以是也可以不是物理模块，或者可以分布到多个电路模块中，可以根据实际的需要选择其中的部分或全部模块来实现本申请方案的目的。
在介绍本申请提供的机器人的视觉伺服控制方法之前，首先介绍本申请所涉及的背景内容。
本申请提供的机器人的视觉伺服控制方法、装置以及计算机可读存储介质，可应用于机器人的视觉伺服控制设备，用于结合小波变换，提供更为细腻、精确地视觉反馈信号，从而对于机器人的运动控制，可明显地提高其控制精度。
本申请提及的机器人的视觉伺服控制方法，其执行主体可以为机器人的视觉伺服控制装置，或者集成了该机器人的视觉伺服控制装置的服务器、物理主机或者用户设备(User Equipment，UE)等类型的设备。其中，装置可以采用硬件或者软件的方式实现，UE具体可以为智能手机、平板电脑、笔记本电脑、台式电脑或者个人数字助理(PersonalDigital Assistant，PDA)等终端设备，机器人的视觉伺服控制设备可以通过设备集群的方式设置。
可以理解，机器人的视觉伺服控制设备在实际应用中，可随实际需要配置不同的设备形式，本申请在此不做具体限制。
示例性的，具体可以为机器人本体上配置的控制模块，或者也可以为机器人本体外的控制器，或者还可以为机器人本体外的工作站。
其中，当机器人的视觉伺服控制设备与机器人本体为两个设备时，两者之间相比于有线通信连接，更适用于如蓝牙、无线保真wifi、紫峰zigbee等类型的无线通信连接，具有远程通信、灵活通信的特点。
下面，开始介绍本申请提供的机器人的视觉伺服控制方法。
首先，参阅图1，图1示出了本申请机器人的视觉伺服控制方法的一种流程示意图，本申请提供的机器人的视觉伺服控制方法，具体可包括如下步骤：
步骤S101，在当前一轮控制环节中，获取配置于机器人预设部位上的摄像机拍摄得到的第一图像I；
步骤S102，对第一图像进行图像识别处理，得到第一图像的第一视觉特征W；
步骤S103，获取上一轮控制环节中机器人运动控制指令期望得到的第二图像I*的第二视觉特征W*；
步骤S104，以第一视觉特征W与第二视觉特征W*之间的视觉误差e为基础，结合预先建立的小波系数的时变与机器人空间速度之间的相互作用模型，确定当前一轮控制环节中的机器人运动控制指令；
步骤S105，控制机器人的运动模块执行当前一轮控制环节中的机器人运动控制指令，促使机器人按照预设运动状态进行运动。
从图1所示实施例可看出，针对于机器人的视觉伺服控制系统，本申请考虑引入小波变换来提供精细的视觉反馈信号，在当前一轮控制环节中，一边先获取配置于机器人预设部位上的摄像机拍摄得到的第一图像I，并对该第一图像进行图像识别处理，得到第一图像的第一视觉特征W，另一边获取上一轮控制环节中机器人运动控制指令期望得到的第二图像I*的第二视觉特征W*，此时以第一视觉特征W与第二视觉特征W*之间的视觉误差e为基础，结合预先建立的小波系数的时变与机器人空间速度之间的相互作用模型，确定当前一轮控制环节中的机器人运动控制指令，如此控制机器人的运动模块执行当前一轮控制环节中的机器人运动控制指令，促使机器人按照预设运动状态进行运动，在这过程中，由于运动控制指令是结合预先建立的小波系数的时变与机器人空间速度之间的相互作用模型所提供的视觉反馈信号，相比于现有技术中的几何特征，可基于图像中更为细腻的图像特征点完成视觉反馈，因此，可提供更为细腻、精确地视觉反馈信号，从而对于机器人的运动控制，可明显地提高其控制精度。
继续对上述图1所示实施例的各个步骤及其在实际应用中可能的实现方式进行详细阐述。
在本申请中，机器人具体可以为任意类型、结构的机器人，可随具体的应用场景调整，其运动控制系统中采用的视觉伺服控制系统可应用本申请所提供的机器人的视觉伺服控制方法即可。
本申请所涉及的视觉伺服控制系统中，其基于使用全局图像信息作为控制回路的信号输入，即，使用了小波系数对应的小波变换作为控制回路的视觉反馈信号输入，小波变换在时域和频域中所产生的视觉信号，具有更为有效、精细的特点。
在实际应用中，针对于小波变换，可使用小波系数来构建控制规律，建立小波系数的时变和机器人空间速度之间的相互作用模型(可以称为相互作用矩阵)，该模型将小波系数的时变、机器人空间速度、相关的任务函数控制器联系起来。
该相互作用模型，将多分辨率小波算法与光流约束方程相结合，用于推导相互作用矩阵，由于小波变换是多尺度的，因此相互作用模型也是多尺度的。根据要执行的定位任务，可以从不同的交互矩阵切换。
其中，小波变换可被视为一种时空滤波器，它能够将感兴趣的信号从噪声中分离出来，即使两者之间存在频谱重叠，如此实现精细化的信号提取。
具体的，可结合图2示出的本申请机器人的视觉伺服控制系统的一种场景示意图理解本申请，该视觉伺服控制系统，从图2容易看出的是，是利用小波系数作为视觉反馈信号的闭环视觉伺服控制系统。
对于现有技术中的视觉伺服控制系统，其所作的任务通常是控制动态系统的运动，让一组几何视觉特征W来定义机器人的姿态r(t)，即W＝W(r(t))),通过视觉误差最小化来达到一组期望的视觉特征W*，如下式所述：
式1)，e＝W-W*，
考虑到本申请引出的相互作用模型，本申请认为，视觉特征W的时变与相机的速度扭转V＝(vx，vy，vz，wx，wy，wz)T有关，如下式所述：
式2)，
LW可称为图像雅可比矩阵。
故由摄像机其视觉传感器速度引起的视觉误差e的时变为：
式3)，
若上式中要将误差/>呈指数解耦下降，令/>就可以将表达式/>改写成：
式4)，
其中，为图像雅可比矩阵的相似矩阵。
此时，可将再将多分辨率小波系数作为视觉反馈信号。
对于相互作用模型涉及的多分辨率小波变换，本申请认为其涉及的小波变换定义为二维信号和小波函数Ψ之间的L2内积，小波函数的定位为：
式5)，
其中，j定义尺度，通过来定义小波的位置。
多分辨率小波变换本质上具有以不同分辨率表示图像而不损失任何信息的能力，在分解或重组图像时不损失信号细节，在视觉特征提取过程中减去的信息的差异可以通过小波系数很容易地同时获得。
在分辨率为2-j时，多分辨率小波变换将图像分解为子图像，这些子图像是分辨率为2-(j+1)的新滤波图像，以及两个连续分辨率之间的信息差异。
根据该方法计算信号在子空间内的正交投影由以下两个函数计算出来：
尺度函数Φ由下式定义：
式6)，
母波Ψ由下式定义：
式7)，
接下来本申请使用低通和高通离散滤波器来离散化式6、式7，并对该滤波器通过一组四个组合操作应用于图像，如下所示：
式8)，
式9)，
式10)，
式11)，
上式中的运算符表示卷积运算，ldb4表示尺度函数Φ的4阶低通离散滤波器，hdb4表示母波Ψ的4阶高通离散滤波器。Δ表示对式6、式7中的信号进行下采样。
使用大小为N×M的图像和小波函数式8内积，写入下式：
式12)，
其中，是分辨率为j+1的新图像，被称为近似信号。
然后，用图像和小波函数计算式5给出所谓的细节信号或信息差：
式13)，
其中，H是水平方向，V是竖直方向，D是对角线方向。
对于相互作用模型涉及的视觉特征向量的构建，本申请认为，对于每个图像上的坐标p＝(u，v)T，将光流约束方程：I(x，t)＝I(x+δx，t+δt)作用于整个图像可以写成：
式14)，
定义两个函数简化符号：
式15)，
式16)，
将这两个函数简化符号代入式14中并写成矩阵的形式：
式17)，
上式中的和/>是由相机的校准矩阵获得：
式18)，
上式中αu和αv是以像素为单位表示的焦距，和/>表示坐标为(x，y)T的图像点的速度。
通过合并这两个式17、式18可以得到：
式19)，
通过此式中的和/>作为摄像机的速度张量函数，对应于前面提及的图像雅可比矩阵：
式20)，
其中，
通过式19中引入式20，并为了可读性而省略各帧中的像素坐标，最终得到与小波系数相关联的相互作用矩阵在每个像素中表示如下：
式21)，
采样图像大小为/>则w作为视觉特征向量有：
式22)，
由此可得，由于整个小波相互作用，可以将整个小波变量写成机器人速度的函数矩阵
式23)，
其中，Lw是由所有的垂直连接所获得的，如下所示：
式24)，
对于相互作用模型实现的控制规律，本申请认为，有了小波系数的图像雅可比矩阵我们就可以根据式4来写出下面的控制器：
式25)，
为了确保稳定和平滑的控制，我们使用Levenberg–Marquardt方法，而不是通常的高斯-牛顿或梯度下降优化，将机器人的速度写入相机的Rc框架得到：
式26)，
其中，μ是常数正标量，I6×6是单位矩阵。
得到相机速度V后，则可结合预先标定的相机速度V与机器人控制速度q之间的转换关系，确定本次控制环节中对于机器人控制速度q的调整量。
以本申请机器人的视觉伺服控制系统具体配置为手眼系统结构为例，当系统配置为手眼系统结构，即eye-to-hand结构时，机器人速度和摄像机速度cVc之间的关系由下式获得：
式27)，
其中，eKb是机器人在基础Rb中的逆运动学雅可比矩阵，bVc是与相机与机器人的速度变化相关联的变换矩阵。
此外，从图2所示场景还可看出，其误差e的确定，是基于上一轮控制环节中机器人运动控制指令期望得到的第二图像I*(图2中的期望图像)的第二视觉特征W*，以及本次控制环节中采集到的第一图像I(图2中的初始图像)的第一视觉特征W两者计算得到的。
而该期望得到的第二图像I*的第二视觉特征W*，在实际应用中，其第二图像I*可能未存在(实际应用中可通过图像处理得到)，而是直接通过图像处理推测该第二图像I*的视觉特征得到的。
即，第二视觉特征W*的获取处理可以为：
获取上一轮控制环节中摄像机拍摄得到的第三图像通过图像识别处理得到的第三视觉特征；
获取上一轮控制环节中确定的机器人运动控制指令；
结合第三视觉特征以及上一轮控制环节中确定的机器人运动控制指令，确定第二视觉特征W*。
可以看出，对于本申请提出的机器人的视觉伺服控制系统，其在实际应用中，是以控制环节的单位进行控制的，以前后两个控制环节对应的、精细化的视觉特征为基础，实现视觉伺服控制。
以上是本申请提供机器人的视觉伺服控制方法的介绍，为便于更好的实施本申请提供的机器人的视觉伺服控制方法，本申请还从功能模块角度提供了机器人的视觉伺服控制装置。
参阅图3，图3为本申请机器人的视觉伺服控制装置的一种结构示意图，在本申请中，机器人的视觉伺服控制装置300具体可包括如下结构：
获取单元301，用于在当前一轮控制环节中，获取配置于机器人预设部位上的摄像机拍摄得到的第一图像I；
识别单元302，用于对第一图像进行图像识别处理，得到第一图像的第一视觉特征W；
获取单元301，还用于获取上一轮控制环节中机器人运动控制指令期望得到的第二图像I*的第二视觉特征W*；
确定单元303，用于以第一视觉特征W与第二视觉特征W*之间的视觉误差e为基础，结合预先建立的小波系数的时变与机器人空间速度之间的相互作用模型，确定当前一轮控制环节中的机器人运动控制指令；
控制单元304，用于控制机器人的运动模块执行当前一轮控制环节中的机器人运动控制指令，促使机器人按照预设运动状态进行运动。
在一种示例性的实现方式中，相互作用模型的配置包括如下：
将第一视觉特征W的时变与摄像机的速度V之间的关系为：
其中，LW是指图像雅可比矩阵；
视觉误差e的时变为：
若 呈指数解耦下降，令/>则：
其中，是指图像雅可比矩阵的相似矩阵。
在又一种示例性的实现方式中，相互作用模型涉及的小波变换定义为二维信号和小波函数Ψ之间的L2内积，小波函数的定位为：
其中，j定义尺度，通过来定义小波的位置。
在又一种示例性的实现方式中，每个图像中的坐标p＝(u，v)T，Lw是由所有的垂直连接所获得的，Lw具体为：
其中，
/>
αu和αv是以像素为单位表示的焦距，
x和y是(x，y)T的图像点的坐标。
在又一种示例性的实现方式中，改写为：
其中，μ是常数正标量，I6×6是单位矩阵。
在又一种示例性的实现方式中，机器人的视觉伺服控制系统具体配置为手眼系统结构，机器人运动控制指令中的机器人速度的确定方程为：
其中，eKb是机器人在基础Rb中的逆运动学雅可比矩阵，bVc是与摄像机与机器人的速度变化相关联的变换矩阵，cVc为摄像机的速度V。
在又一种示例性的实现方式中，获取单元301，具体用于：
获取上一轮控制环节中摄像机拍摄得到的第三图像通过图像识别处理得到的第三视觉特征；
获取上一轮控制环节中确定的机器人运动控制指令；
结合第三视觉特征以及上一轮控制环节中确定的机器人运动控制指令，确定第二视觉特征W*。
本申请还从硬件结构角度提供了一种机器人的视觉伺服控制设备，参阅图4，图4示出了本申请机器人的视觉伺服控制设备的一种结构示意图，具体的，本申请机器人的视觉伺服控制设备可包括处理器401、存储器402以及输入输出设备403，处理器401用于执行存储器402中存储的计算机程序时实现如图1对应实施例中机器人的视觉伺服控制方法的各步骤；或者，处理器401用于执行存储器402中存储的计算机程序时实现如图3对应实施例中各单元的功能，存储器402用于存储处理器401执行上述图1对应实施例中机器人的视觉伺服控制方法所需的计算机程序。
示例性的，计算机程序可以被分割成一个或多个模块/单元，一个或者多个模块/单元被存储在存储器402中，并由处理器401执行，以完成本申请。一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述计算机程序在计算机装置中的执行过程。
机器人的视觉伺服控制设备可包括，但不仅限于处理器401、存储器402、输入输出设备403。本领域技术人员可以理解，示意仅仅是机器人的视觉伺服控制设备的示例，并不构成对机器人的视觉伺服控制设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如机器人的视觉伺服控制设备还可以包括网络接入设备、总线等，处理器401、存储器402、输入输出设备403等通过总线相连。
处理器401可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，处理器是机器人的视觉伺服控制设备的控制中心，利用各种接口和线路连接整个设备的各个部分。
存储器402可用于存储计算机程序和/或模块，处理器401通过运行或执行存储在存储器402内的计算机程序和/或模块，以及调用存储在存储器402内的数据，实现计算机装置的各种功能。存储器402可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序等；存储数据区可存储根据机器人的视觉伺服控制设备的使用所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
处理器401用于执行存储器402中存储的计算机程序时，具体可实现以下功能：
在当前一轮控制环节中，获取配置于机器人预设部位上的摄像机拍摄得到的第一图像I；
对第一图像进行图像识别处理，得到第一图像的第一视觉特征W；
获取上一轮控制环节中机器人运动控制指令期望得到的第二图像I*的第二视觉特征W*；
以第一视觉特征W与第二视觉特征W*之间的视觉误差e为基础，结合预先建立的小波系数的时变与机器人空间速度之间的相互作用
控制机器人的运动模块执行当前一轮控制环节中的机器人运动控制指令，促使机器人按照预设运动状态进行运动。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的机器人的视觉伺服控制装置、设备及其相应单元的具体工作过程，可以参考如图1对应实施例中机器人的视觉伺服控制方法的说明，具体在此不再赘述。
本领域普通技术人员可以理解，上述实施例的各种方法中的全部或部分步骤可以通过指令来完成，或通过指令控制相关的硬件来完成，该指令可以存储于一计算机可读存储介质中，并由处理器进行加载和执行。
为此，本申请提供一种计算机可读存储介质，其中存储有多条指令，该指令能够被处理器进行加载，以执行本申请如图1对应实施例中机器人的视觉伺服控制方法中的步骤，具体操作可参考如图1对应实施例中机器人的视觉伺服控制方法的说明，在此不再赘述。
其中，该计算机可读存储介质可以包括：只读存储器(Read Only Memory，ROM)、随机存取记忆体(Random Access Memory，RAM)、磁盘或光盘等。
由于该计算机可读存储介质中所存储的指令，可以执行本申请如图1对应实施例中机器人的视觉伺服控制方法中的步骤，因此，可以实现本申请如图1对应实施例中机器人的视觉伺服控制方法所能实现的有益效果，详见前面的说明，在此不再赘述。
以上对本申请提供的机器人的视觉伺服控制方法、装置、设备以及计算机可读存储介质进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (3)

1.一种机器人的视觉伺服控制方法，其特征在于，所述方法包括：
在当前一轮控制环节中，获取配置于机器人预设部位上的摄像机拍摄得到的第一图像I；
对所述第一图像进行图像识别处理，得到所述第一图像的第一视觉特征W；
获取上一轮控制环节中机器人运动控制指令期望得到的第二图像I*的第二视觉特征W*；
以所述第一视觉特征W与所述第二视觉特征W*之间的视觉误差e为基础，结合预先建立的小波系数的时变与机器人空间速度之间的相互作用模型，确定所述当前一轮控制环节中的机器人运动控制指令；
控制所述机器人的运动模块执行所述当前一轮控制环节中的机器人运动控制指令，促使所述机器人按照预设运动状态进行运动；
所述相互作用模型的配置包括如下：
将所述第一视觉特征W的时变与所述摄像机的速度V之间的关系为：
其中，LW是指图像雅可比矩阵；
所述视觉误差e的时变为：
若 呈指数解耦下降，令/>则：
其中，是指所述图像雅可比矩阵的相似矩阵；
所述相互作用模型涉及的小波变换定义为二维信号和小波函数Ψ之间的L2内积，所述小波函数的定义为：
其中，j定义尺度，通过来定义小波的位置；
每个图像中的坐标p＝(u，v)T，LW是由所有的垂直连接所获得的，LW具体为：
其中，
αu和αv是以像素为单位表示的焦距，
x和y是(x，y)T的图像点的坐标；
改写为：
其中，μ是常数正标量，I6×6是单位矩阵；I2-j是分辨率为j的新图像；
所述机器人的视觉伺服控制系统具体配置为手眼系统结构，所述机器人运动控制指令中的机器人速度的确定方程为：
其中，eKb是机器人在基础Rb中的逆运动学雅可比矩阵，bVc是与摄像机与机器人的速度变化相关联的变换矩阵，cVc为所述摄像机的速度V；
所述获取上一轮控制环节中机器人运动控制指令期望得到的第二图像I*的第二视觉特征W*，包括：
获取所述上一轮控制环节中所述摄像机拍摄得到的第三图像通过图像识别处理得到的第三视觉特征；
获取所述上一轮控制环节中确定的机器人运动控制指令；
结合所述第三视觉特征以及所述上一轮控制环节中确定的机器人运动控制指令，确定所述第二视觉特征W*。
2.一种机器人的视觉伺服控制设备，其特征在于，包括处理器和存储器，所述存储器中存储有计算机程序，所述处理器调用所述存储器中的计算机程序时执行如权利要求1所述的方法。
3.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有多条指令，所述指令适于处理器进行加载，以执行权利要求1所述的方法。
CN202110626515.2A 2021-06-04 2021-06-04 一种机器人的视觉伺服控制方法、装置以及设备 Active CN113591542B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110626515.2A CN113591542B (zh) 2021-06-04 2021-06-04 一种机器人的视觉伺服控制方法、装置以及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110626515.2A CN113591542B (zh) 2021-06-04 2021-06-04 一种机器人的视觉伺服控制方法、装置以及设备

Publications (2)

Publication Number Publication Date
CN113591542A CN113591542A (zh) 2021-11-02
CN113591542B true CN113591542B (zh) 2024-01-26

Family

ID=78243536

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110626515.2A Active CN113591542B (zh) 2021-06-04 2021-06-04 一种机器人的视觉伺服控制方法、装置以及设备

Country Status (1)

Country Link
CN (1) CN113591542B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1133961A (ja) * 1997-07-25 1999-02-09 Nippon Telegr & Teleph Corp <Ntt> ロボットマニピュレータの制御方法及び制御装置
JP2003117867A (ja) * 2001-10-02 2003-04-23 Denso Corp ビジュアルサーボによる位置姿勢制御方法
CN101169621A (zh) * 2007-11-19 2008-04-30 北京理工大学 一种基于小波神经网络的视觉反馈控制方法
CN111553239A (zh) * 2020-04-23 2020-08-18 厦门理工学院 一种机器人关节视觉伺服控制方法、终端设备及存储介质
CN111624875A (zh) * 2019-02-27 2020-09-04 北京京东尚科信息技术有限公司 视觉伺服控制方法、装置和无人设备
CN112847334A (zh) * 2020-12-16 2021-05-28 北京无线电测量研究所 一种基于视觉伺服的机械臂目标跟踪方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1133961A (ja) * 1997-07-25 1999-02-09 Nippon Telegr & Teleph Corp <Ntt> ロボットマニピュレータの制御方法及び制御装置
JP2003117867A (ja) * 2001-10-02 2003-04-23 Denso Corp ビジュアルサーボによる位置姿勢制御方法
CN101169621A (zh) * 2007-11-19 2008-04-30 北京理工大学 一种基于小波神经网络的视觉反馈控制方法
CN111624875A (zh) * 2019-02-27 2020-09-04 北京京东尚科信息技术有限公司 视觉伺服控制方法、装置和无人设备
CN111553239A (zh) * 2020-04-23 2020-08-18 厦门理工学院 一种机器人关节视觉伺服控制方法、终端设备及存储介质
CN112847334A (zh) * 2020-12-16 2021-05-28 北京无线电测量研究所 一种基于视觉伺服的机械臂目标跟踪方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于极线几何的机器人视觉伺服控制系统分析;杨逢瑜;王其磊;关红艳;陈君辉;王顺;娄磊;;西华大学学报(自然科学版)(第01期);全文 *
基于神经网络的机器人视觉伺服控制;谢冬梅;曲道奎;徐方;;微计算机信息(第04期);全文 *

Also Published As

Publication number Publication date
CN113591542A (zh) 2021-11-02

Similar Documents

Publication Publication Date Title
JP7005669B2 (ja) 畳み込み画像変換推定を実行するための方法およびシステム
CN110033003B (zh) 图像分割方法和图像处理装置
Nasrollahi et al. Super-resolution: a comprehensive survey
JP6902122B2 (ja) ダブル視野角画像較正および画像処理方法、装置、記憶媒体ならびに電子機器
CN113043267A (zh) 机器人控制方法、装置、机器人及计算机可读存储介质
WO2021218542A1 (zh) 基于视觉感知设备的机器人本体坐标系的空间标定方法、装置和存储介质
US20200118249A1 (en) Device configured to perform neural network operation and method of operating same
CN113689578B (zh) 一种人体数据集生成方法及装置
JP2020053062A (ja) ホモグラフィの修正
CN110741413A (zh) 一种刚体配置方法及光学动作捕捉方法
Chalimbaud et al. Embedded active vision system based on an FPGA architecture
JP7402623B2 (ja) フィルタ処理装置及びその制御方法
Al Ismaeil et al. Enhancement of dynamic depth scenes by upsampling for precise super-resolution (UP-SR)
JP2024503275A (ja) 移動ロボット制御方法、コンピュータで実現される記憶媒体及び移動ロボット
CN113591542B (zh) 一种机器人的视觉伺服控制方法、装置以及设备
CN109785444A (zh) 图像中现实平面的识别方法、装置及移动终端
JP7398938B2 (ja) 情報処理装置およびその学習方法
JP7034837B2 (ja) ３次元畳込み演算装置、ビジュアルオドメトリシステム、及び３次元畳込みプログラム
CN115086625B (zh) 投影画面的校正方法、装置、系统、校正设备和投影设备
KR101593950B1 (ko) 손동작 기반의 인터페이스 장치 및 이를 이용한 포인팅 방법
CN116079727A (zh) 基于3d人体姿态估计的人形机器人动作模仿方法及装置
JP2022160382A (ja) 機械学習のための学習データ生成方法及びシステム
CN114118181A (zh) 一种高维回归点云配准方法、系统、计算机设备及应用
US20200134305A1 (en) Method, apparatus, and device for identifying human body and computer readable storage medium
KR101776638B1 (ko) 복수개의 오브젝트의 공간 정보 추정 장치 및 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant