CN113751981A - 基于双目视觉伺服的空间高精度装配方法和系统 - Google Patents

基于双目视觉伺服的空间高精度装配方法和系统 Download PDF

Info

Publication number
CN113751981A
CN113751981A CN202110957704.8A CN202110957704A CN113751981A CN 113751981 A CN113751981 A CN 113751981A CN 202110957704 A CN202110957704 A CN 202110957704A CN 113751981 A CN113751981 A CN 113751981A
Authority
CN
China
Prior art keywords
camera
eye camera
coordinate system
left eye
right eye
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110957704.8A
Other languages
English (en)
Other versions
CN113751981B (zh
Inventor
楼云江
张南
谢一新
杨先声
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Graduate School Harbin Institute of Technology
Original Assignee
Shenzhen Graduate School Harbin Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Graduate School Harbin Institute of Technology filed Critical Shenzhen Graduate School Harbin Institute of Technology
Priority to CN202110957704.8A priority Critical patent/CN113751981B/zh
Publication of CN113751981A publication Critical patent/CN113751981A/zh
Application granted granted Critical
Publication of CN113751981B publication Critical patent/CN113751981B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23P—METAL-WORKING NOT OTHERWISE PROVIDED FOR; COMBINED OPERATIONS; UNIVERSAL MACHINE TOOLS
    • B23P19/00—Machines for simply fitting together or separating metal parts or objects, or metal and non-metal parts, whether or not involving some deformation; Tools or devices therefor so far as not provided for in other classes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B25J9/1687—Assembly, peg and hole, palletising, straight line, weaving pattern movement
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mechanical Engineering (AREA)
  • Robotics (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及基于双目视觉伺服的空间高精度装配方法和系统。其中的方法包括：触发左目和右目相机同时检测待装配零部件中的目标，从相机捕捉的图像中实时提取目标中当前特征点的像素坐标；基于特征点之间的直线约束，对任一相机所捕捉的不完整的目标，实施双目视野的三维重建；根据特征点的像素误差，通过图像雅可比矩阵建立特征点和相机速度的关系，获得基坐标系下目标的速度，并且在上臂和下臂机构之间进行自由度限制下的速度分配。其中系统包括配套的双目视觉系统和实施上述方法的计算机装置。本发明简化了双模块机器人的伺服装配控制难度，实现协同装配。另外，采用基于几何约束的三维重建方法估计缺失特征的位置，获得良好的装配识别效果。

Description

基于双目视觉伺服的空间高精度装配方法和系统
技术领域
本发明涉及一种基于双目视觉伺服的空间高精度装配方法和系统，属于机器人技术领域。
背景技术
实现3C(计算机类、通信类、消费电子类)行业的装配自动化对于整个工业领域具有极大的工业应用价值。在3C小部件的装配过程中，待装配的两个部件需保持严格的相对位姿，而且3C部件的装配尺寸小，一般是亚毫米级别的精度要求。在现有的工业装配应用场合，“先看后动”的开环装配方法对机器人定位精度高于重复定位精度，且对手眼标定精度误差也要尽可能小，同时在不具备实时反馈的条件下，任何不确定性都会导致装配过程失败。
视觉伺服技术在机器人定位过程中能实时地提供视觉反馈信息，一方面能够有效的减少对机器人标定精度、手眼标定精度的依赖，同时能够保证机器人定位的精度。目前3C部件的装配场多的技术挑战。比如，在利用3T1R-3R并联双臂机器人进行协同装配的过程中，3T1R上臂机构和3R下臂机构均属于欠自由度机构，难以得到高精度手眼标定结果，因此使用基于位姿估计的开环装配方法无法满足装配要求。
发明内容
本发明提供基于双目视觉伺服的空间高精度装配方法和系统，旨在至少解决现有技术中存在的技术问题之一。
本发明的技术方案基于一种七自由度并联双模块机器人，包括：框架组件，该框架组件在底部具有基座；支撑在所述的框架组件上部的三移动一转动并联机构(上臂机构)，所述三移动一转动并联机构包括支撑在框架组件的多个不同位置的多个驱动支链和具有自转轴的动平台，其中，每个驱动支链包括滑块和连杆组件，所述多个驱动支链的滑块都被设置成沿互相平行的直线方向运动，该连杆组件的第一端通过球面副与所述的滑块连接，所述动平台分别与每个驱动支链的连杆组件的第二端通过球面副连接；支撑在所述的框架组件下部的纯转动三自由度机构(下臂机构)，所述纯转动三自由度机构包括：纯转动平台；安装在所述基座上的中心转动支链，该中心转动支链的上端通过万向联轴节与所述的纯转动平台底部的中间位置连接，该中心转动支链的下端通过球面副与基座上安装的支柱连接；安装在基座上的多个直线驱动支链，所述的多个直线驱动支链中的每一个直线驱动支链通过球面副与所述的纯转动平台底部的边缘位置连接。
本发明的技术方案一方面涉及一种基于双目视觉伺服的空间高精度装配方法，用于在上述的双模块机器人中对零部件的装配，其中，在所述上臂机构的末端动平台上设有双目视觉系统和装配夹具，待装配的零部件至少由所述下臂机构的末端动平台限定位置。在本方面，根据本发明的方法包括以下步骤：
S1、触发双目视觉系统中的左目相机和右目相机同时检测待装配零部件中的目标，从相机捕捉的图像中实时提取所述目标中当前特征点的像素坐标；
S2、基于特征点之间的直线约束，对左目相机和右目相机中的任一相机所捕捉的不完整的目标，实施双目视野的三维重建；
S3、根据特征点的像素误差，通过图像雅可比矩阵建立特征点和相机速度的关系，获得基坐标系下的目标的速度，并且在上臂机构和下臂机构之间进行自由度限制下的速度分配。
进一步，所述步骤S1包括：
S11、对所述左目相机和所述右目相机所捕获的图像进行均值滤波平滑，并且将图像转至HSV颜色空间，进行颜色阈值分割；
S12、通过轮廓检测和椭圆中心点拟合算法，检测所述目标中的多个特征点及计算坐标；
S13、在检测到的多个特征点中，计算特征点之间的距离，从而选取距离超过一阈值的至少四个特征点建立连接线，其中，多个的特征点的连线之间具有平行、共线和垂直中的多个几何约束关系。
进一步，所述步骤S13还包括：选取所述左目相机和所述右目相机所捕获的图像的重叠部分中的特征点作为实施双目视野的三维重建的公共参考点。
进一步，所述步骤S2包括：
S21、分别对于左目相机和右目相机所捕捉的图片，从多个特征点中，通过第一几何约束关系分别求解左目相机和右目相机所采集的图像中的目标特征点的三维坐标；
S22、分别对于左目相机和右目相机所捕捉的图片，求解所述目标特征点相对于公共参考点的距离和连线；
S23、引入第二几何约束关系，所述第二几何约束关系为左目相机和右目相机所捕捉的目标特征点与公共参考点之间的几何关系，并且在实施双目视野的三维重建时，通过所述第二几何约束关系，将所述左目相机和所述右目相机的三维重建图像数据合并。
进一步，所述第一几何约束关系为垂直关系，所述第二几何约束关系为共线关系，所述目标特征点包括待装配零部件中沿矩形四角分布的四个角点。
优选地，所述步骤S2进一步包括：通过以下方程组求解所采集的图像中的像素点在双目视觉系统的相机坐标系对应深度值
Figure BDA0003219331980000021
Figure BDA0003219331980000022
其中，
SL、SR分别是左目相机和右目相机所采集的图像的像素点在相机坐标系下的深度值，
KL、KR分别是左目相机和右目相机的内参标定矩阵，
Figure BDA0003219331980000033
为右相机到左相机的空间变换旋转矩阵，
Figure BDA0003219331980000031
分别是左目相机和右目相机所采集的图像平面上的像素齐次坐标，
Figure BDA0003219331980000034
是右目相机到左目相机的空间变换旋转矩阵，
a＝y2-y1，b＝x1-x2，c＝x2y1-x1y2，其中，(x1，y1)和(x2，y2)分别是左目相机所采集的图像中的两个特征点的像素坐标；
然后根据双目视觉系统中的左目相机和右目相机的相机数学模型，计算多个所述目标特征点在所述相机坐标系下的坐标，以基于所述相机坐标系实施双目视野的三维重建。
进一步，所述步骤S3包括：配置所述上臂机构为从运动机构，并且配置所述下臂机构为主运动机构；基于主从运动分配的方式，并通过以下等式和雅可比矩阵求解主运动机构和从运动机构中各自的机械臂速度
Figure BDA0003219331980000032
其中，
W表示世界坐标系，
PB表示所述从运动机构的基坐标系，B表示所述从运动机构的末端坐标系，
PA表示所述主运动机构的基坐标系，A表示所述主运动机构的末端坐标系，
v表示线速度，
ω表示角速度，
R表示坐标系旋转转换矩阵，
r表示特征点的坐标，
pxyz是角速度和线速度转换矩阵，
PArAORG是末端坐标系A在基坐标系PA下的坐标表示。
进一步，所述零部件为3C零件，所述零部件中的目标包括圆形结构轮廓、椭圆结构轮廓、线条结构轮廓和矩形结构轮廓中的任一者或多者。
本发明的技术方案还涉及一种计算机可读存储介质，其上储存有计算机程序指令，所述计算机程序指令被处理器执行时实施上述的方法。
本发明的技术方案还涉及一种基于双目视觉伺服的空间高精度装配系统，包括：设置在所述动平台上的双目视觉系统，所述双目视觉系统包括用于装配环节的左目相机和右目相机以及用于拾取环节的嵌入式相机，其中所述动平台的底部固定设置有接驳件，所述接驳件的横杆的两端分别安装所述左目相机和右目相机，所述接驳件的竖杆的末端安装所述嵌入式相机，使得所述左目相机和所述右目相机向动平台的下方内倾；以及与所述双目视觉系统连接的计算机装置，该计算机装置包括所述的计算机可读存储介质。
本发明的有益效果如下。
本发明所提出的基于双目视觉伺服的空间装配方法和系统是将两个相机设置在上臂机构的末端动平台，能够同时观察到正在拾取的部件和待装配件，且期望目标点随上臂机构运动，使得双臂机构都运动的情况下拥有不变的目标位置，简化了伺服控制难度。同时，本发明的将视觉伺服解算出的实时目标多维速度通过空间几何关系分配至上下两个欠自由度机械臂上，实现了双臂机器人的协同装配。另外，与普通的基于图像的视觉伺服方法(IBVS)方法不同，本发明采用基于几何约束的三维重建方法估计缺失特征的位置，获得良好的装配识别效果。
附图说明
图1是七自由度并联双模块机器人的示意图，其中安装了根据本发明的装配系统。
图2是根据本发明的基于双目视觉伺服的空间高精度装配方法的基本流程图。
图3是根据本发明的实施例中的装配时的部件的示意图。
图4是根据本发明的实施例中的待装配部件特征点的分布图。
图5是根据本发明的实施例中的基于直线约束下的三维重建解释图。
图6是根据本发明的实施例中的装配件的装配过程的仿真图。
图7是根据本发明的实施例中的装配件完成装配时的仿真图。
图8a和图8b是根据本发明的实施例中分别由左和右目相机所采集的图像中计算的特征点的运动轨迹数据。
图9a和图9b分别是图8a和图8b所示的特征点的像素误差收敛图。
具体实施方式
以下将结合实施例和附图对本发明的构思、具体结构及产生的技术效果进行清楚、完整的描述，以充分地理解本发明的目的、方案和效果。
需要说明的是，如无特殊说明，当某一特征被称为“固定”、“连接”在另一个特征，它可以直接固定、连接在另一个特征上，也可以间接地固定、连接在另一个特征上。本文所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。此外，除非另有定义，本文所使用的所有的技术和科学术语与本技术领域的技术人员通常理解的含义相同。本文说明书中所使用的术语只是为了描述具体的实施例，而不是为了限制本发明。本文所使用的术语“和/或”包括一个或多个相关的所列项目的任意的组合。
参照图1，本发明的技术方案基于一种七自由度并联双模块机器人，包括：具有基座的框架组件、支撑在所述的框架组件上部的三移动一转动并联子机器人1和支撑在所述的框架组件下部的纯转动三自由度子机器人3。所述三移动一转动并联子机器人1包括：支撑在框架组件的多个不同位置的多个驱动支链和具有自转轴的动平台，其中，每个驱动支链包括滑块和连杆组件，所述多个驱动支链的滑块都被设置成沿互相平行的直线方向运动，该连杆组件的第一端通过球面副与所述的滑块连接，所述动平台分别与每个驱动支链的连杆组件的第二端通过球面副连接。所述纯转动三自由度子机器人3包括：纯转动平台；安装在所述基座上的中心转动支链，该中心转动支链的上端通过万向联轴节与所述的纯转动平台底部的中间位置连接，该中心转动支链的下端通过球面副与基座上安装的支柱连接；安装在基座上的多个直线驱动支链，所述的多个直线驱动支链中的每一个直线驱动支链通过球面副与所述的纯转动平台底部的边缘位置连接。七自由度并联双模块机器人的其他结构细节在本申请人的在先发明公布文件(CN112621728A)中进行了详细的描述。由于本发明的技术方案与所述双模块机器人的结构关联，因此以全文引用的方式将该公布文件并入本文。为了描述方便，在下文，将三移动一转动并联子机器人简称为“3T1R”，将纯转动三自由度子机器人简称为“3R”。此外，在所述框架固定有送料机构2，其中，所述送料机构2包括转动电机和与所述转动电机的输出轴连接的载物平台。治具4可拆卸地安装在所述纯转动三自由度子机器人3的纯转动平台上。
继续参照图1，在一些实施例中，根据本发明的基于双目视觉伺服的空间高精度装配系统，包括设置在上臂机构的动平台上的双目视觉系统5和计算机装置。
所述双目视觉系统5包括用于装配环节的左目相机和右目相机以及用于拾取环节的嵌入式相机，其中所述动平台的底部固定设置有接驳件，所述接驳件的横杆的两端分别安装所述左目相机和右目相机，所述接驳件的竖杆的末端安装所述嵌入式相机，使得所述左目相机和所述右目相机向动平台的下方内倾。优选地，所述左单目相机和右单目相机对称布置，使得两个相机轴线内倾地交汇于动平台的下方，并且该交互点与嵌入式相机的相机轴线重合。因此，这样的3个相机的对称布置方式，可以简化视觉建模和运算。
所述计算机装置中运行应用程序，以实施根据本发明的方法。
参照图2，在一些实施例中，根据本发明的方法包括以下步骤：
S1、触发双目视觉系统中的左目相机和右目相机同时检测待装配零部件中的目标，从相机捕捉的图像中实时提取所述目标中当前特征点的像素坐标；
S2、基于特征点之间的直线约束，对左目相机和右目相机中的任一相机所捕捉的不完整的目标，实施双目视野的三维重建；
S3、根据特征点的像素误差，通过图像雅可比矩阵建立特征点和相机速度的关系，获得基坐标系下的目标的速度，并且在上臂机构和下臂机构之间进行自由度限制下的速度分配。
下面，通过具体的3C部件的装配实例来描述上述步骤的具体实施例。在本实例中，将智能手表的手表壳和电池板的装配作为对象，其符合3C装配的特征。如图3所示，本实例为手机壳和手机电池板的装配，以上臂机构(3T1R)拾取电池板至待装配零件的正上方，欲实现将电池板固定于手表壳上，该手表壳由下臂机构(3R)末端冶具装夹和定位。在装配过程中，上臂机构和下臂机构能够进行联动。
步骤S1的具体实施方式
由视觉系统中的相机采集的图片可以通过HSV颜色阈值分割、椭圆拟合获得提取手表壳的点特征作为伺服期望特征。使用同样的特征提取方法获得待装配部件(电池板)的特征点。特征点的分布如图4所示。其中，电池板上绿色特征的圆心与手表壳上的方形特征块的中心的连线与纵向相邻的绿色特征圆心的直线相垂直。其次，手表壳上的相同特征块轮廓线共线。考虑到，通过椭圆拟合的方式也会检测到其他无用特征点，为了防止无用特征点的干扰，优选地计算点特征之间的距离关系，进行干扰的特征点的排除。例如，在检测到的多个特征点中，计算特征点之间的距离，从而选取距离超过一阈值的至少四个特征点建立连接线，其中，限定多个的特征点的连线之间具有平行、共线和垂直中的多个几何约束关系。
步骤S2的具体实施方式
对于视觉伺服的装配，需要相机系统提供相机的内参、外参、机器人的相对位姿关系以及源点的图像坐标和三维坐标，还需要目标点的图像坐标。对于相机系统的内外参数，通过标定获得，对于机器人的相对姿态，也可以通过标定与正运动学获得。而对于图像中源点与目标点的图像坐标及源点的三维坐标，需要额外的算法进行获得。同时，在本发明的装配方案中，当末端抓取物体后，由于物体的尺寸与夹持具的遮挡，双目相机无法观察到相同的特征点。如图5所示，本发明使用了一种新型的缺失双目视野的三维重建方法。具体实现方式包括以下细节步骤。
S201)利用垂直特征求解目标点，以左侧相机为例，其只能看到左边的四个特征。将图2所示的靠左的绿色特征点记为P(x1，y1)、P(x2，y2)，可以得到直线方程如公式1所示。
Figure BDA0003219331980000061
其中a＝y2-y1，b＝x1-x2，c＝x2y1-x1y2，由于目标点所在直线过绿色特征点，且与两个特征点的直线垂直，所以此时右相机中对应的目标点(x，y)为
Figure BDA0003219331980000071
Figure BDA0003219331980000072
其中
Figure BDA0003219331980000073
在左相机中为-，在右相机中为+。L为在完成装配状态下测量得到的源点与绿色特征点之间的距离，该距离作为已知的常量。
S202)在本发明的装配方案中，当末端抓取物体之后，由于物体的尺寸与所夹持具的遮挡，双目相机无法观察到相同的特征点，当把将待装配物体的四个角点作为特征点的时候，左相机只能看到角点r1和角点r2，右相机只能看到角点r3和r4，因此，传统的三维重建无法直接获得四个角点的三维坐标，需要额外的信息增加约束来获得这些点。
这里先给出传统的三维重建原理：如图5所示，根据小孔相机模型，可以得到左相机下的三维点坐标与两个相机图像坐标之间的关系为：
Figure BDA0003219331980000074
Figure BDA0003219331980000075
其中，sL，sR分别是左右相机的尺度比例因子，
Figure BDA0003219331980000076
是相机L中图像平面上的像素齐次坐标，
Figure BDA0003219331980000077
是相机L下的特征点的空间齐次三维坐标，KL，KR分别是左相机右相机的内参标定矩阵，
Figure BDA0003219331980000078
为右相机到左相机的空间变换旋转矩阵，
Figure BDA0003219331980000079
为平移向量。转换到焦距归一化平面，即：
Figure BDA00032193319800000710
将其代入式(4)和(5)，联立整理得：
Figure BDA00032193319800000711
其中，SL，SR即为像素点在相机坐标系下的深度值。上式可以通过最小二乘法求解，在获得深度值后就可以求解得到空间点的三维坐标，而等式(5)(6)的联立就是直线约束方程，联立之后的数学关系如式(8)所示。直线约束的几何意义为一个相机图像上的一点，在另一个相机上是一根过极点的直线。
Figure BDA00032193319800000712
203)在重建的过程中需要知道空间点在两个相机图像中的位置，但是根据上面的描述可知，特征点无法同时出现在图像中，此时采用特征设计中第二个约束来进行增加约束求解，以左相机可以观察到的特征点为例，式(8)所示极线约束中的
Figure BDA00032193319800000713
无法出现在右相机的图像中，但是可以观察到
Figure BDA00032193319800000714
所在的直线方程为
Figure BDA0003219331980000081
为了求解该方程组，在两边同时左乘[a b c]KR并整理可以得到式(10)。
Figure BDA0003219331980000082
在获得深度值之后，就可以根据相机模型获得相关特征点的坐标以进行三维重建。
步骤S3的具体实施方式
具体实现方式包括以下几个部分：
S301)对于本发明的安装方式，控制点的运动是由于相机的运动产生的。所以这里将建立相机运动与相机坐标系中的空间点之间的模型。相机的运动会使得空间中的控制点产生相对运动，这个运动由两部分组成，一部分为相机平移带来的反向相对运动，另一部分由相机旋转带来的伴随速度构成，但是因为相对运动的关系，其也是反向的，所以两者之间的关系为
Figure BDA0003219331980000083
其中cr表示重建出来的在相机坐标系下表示的特征点三维坐标，
Figure BDA0003219331980000084
代表特征点在相机c(c＝L或者R)坐标系下的空间速度，cvc和cωc代表相机c相对于相机(自身)坐标系下的平移运动和旋转运动。sk(cr)是该点生成的反对称矩阵。
由于相机和机械臂工具法兰盘已经经过标定，两者之间的变换关系已知，法兰盘坐标系T与相机坐标系为刚体连接，进而，可以得到相机速度和机械臂工具的速度。其关系为
cvT＝cvc+cωc×crT (12)
cωc＝cωT (13)
cvT表示工具在相机坐标系下的速度，其它上下标具有同等表示含义。将上述两式写成矩阵形式，可以得到相机坐标系下的相机运动与相机坐标系下的工具运动的关系为
Figure BDA0003219331980000085
进一步，一般需要的是从基坐标系下(控制运动只能从机器人基座标系出发)的运动信息，所以需将速度进一步转换到基坐标系下。相机坐标系到机械臂末端坐标系的转换矩阵为
Figure BDA0003219331980000086
其可以通过手眼标定得到(已知)，所以基于机械臂原点坐标系-相机坐标系的机械臂末端速度转换矩阵为
Figure BDA0003219331980000091
其c＝L或者R，(16)是空间速度在不同坐标系下的变换法则。
有了前面所述内容，可以通过坐标转换，得到特征点误差与相机末端速度的微分表达式为：
Figure BDA0003219331980000092
其中，u为相机在基座标系下的速度；
Figure BDA0003219331980000093
其将特征点在相机坐标系下的速度映射到像素点在图像平面上的速度；Mc＝[-I3 sk(cri)]将相机坐标系下的相机的平移速度向量和旋转速度向量映射到相机坐标系下特征点的速度；
Figure BDA0003219331980000094
将相机坐标系下的平移速度向量和旋转速度向量映射到工具坐标系的平移速度向量和旋转速度向量；
Figure BDA0003219331980000095
将机械臂基坐标系下的法兰盘的平移速度向量和旋转速度向量映射到相机坐标系下的法兰盘的平移速度向量和旋转速度向量。
将其简写为
Figure BDA0003219331980000096
通过对相机模型进行分析，获得了像素误差的一阶微分方程，但是一个误差点只有两个自由度，所以其无法实现六自由度的速度满秩映射计算，这会使得整个系统是不稳定的。所以本发明使用最小二乘对两个相机中的四个特征点同时进行计算。将四个点组合一起可得：
Figure BDA0003219331980000097
此时，矩阵H列满秩，所以可以通过伪逆来确定控制速度，即为
Figure BDA0003219331980000101
其中λ为图像增益，相当于反馈控制率中的比例因子。H＝[Hleft1 Hleft2 Hright1Hright2]T。得到的速度就是相机在机械臂基坐标系下的速度表示。此时，误差的特解为
error＝e-λt (21)
此时，伺服的误差可以沿着指数级收敛。且空间中的六自由度空间都能被限制。且冗余的一个点使得算法对于误差更加鲁棒。
S302)已经在前面提出了在单个机械臂下Eye-in-hand伺服方法，对于3T1R-3R并联双臂模型，对其进行改进和速度分配，实现两个欠自由度机械臂机构共同实现六自由度相对速度。并使用主从办法解决自由度分配问题。图1展示了协作机器人位置关系的分布情况。
已经在S301)得到了上臂末端相对于参考坐标系(上臂基坐标)的速度。将参考世界坐标系坐标系定义在下臂的末端，基坐标系是用来计算两个机械臂机构的正逆运动学，而参考世界坐标系是为了分配速度而建立的。这样，下机械臂-参考世界坐标系-上机械臂的模型就建立完成。此时装配伺服的微分模型可以写为：
Figure BDA0003219331980000102
其中T1为下机械臂的末端坐标系，T2为上机械臂的末端坐标系，且
Figure BDA0003219331980000103
对于该机械臂机构，将3T1R机械臂机构的基坐标系记为{PB}，末端坐标系记为{B}，3R机械臂机构的基坐标系记为{PA}，末端坐标系记为{A}，世界坐标系{W}与3R机械臂机构的基坐标系{PA}相重合。在获得了坐标系B相对于坐标系A的速度
Figure BDA0003219331980000104
后，可以将坐标系B相对与世界坐标系的速度通过3R机械臂机构的传递表示为
Figure BDA0003219331980000105
相同的，通过3T1R机械臂机构传递的表示为
Figure BDA0003219331980000111
其中，对于3R机械臂机构在输出一个旋转之后，其会有一个额外的平移运动的伴随运动，这些运动是由于自由度方向上的运动引起的。在本文中的机器人，这两者的关系为：
pxyz＝R[0 0 h]T (25)
Figure BDA0003219331980000112
其中，S代表sin()，C代表cos()。因为这种耦合关系，在当给定一个WωA时，就会附加产生一个WvA，其关系为
WvA＝WωA×pxyz (27)
除此之外，对于上面的机械臂机构，其只有四个沿着XYZ的平移与绕着Y轴的转动这4个自由度。所以的目标是在这些限制条件下求得速度。
S303)主从速度分配：对于本发明中使用的3T1R机械臂机构和3R机械臂机构组成的协作机器人，其两个机械臂机构都是少自由度的，两个机械臂机构整合起来时七自由度的，所以为了实现伺服，就要对相关速度进行分配。
对于本发明中的伺服方法，为了方便起见，使用主从运动分配的策略来解决自由度的分配，即将自由度少的机械臂机构当作主机构，将所有的旋转分配给下机械臂机构。同时，将剩余的自由度给上面的四自由度。在这样的想法下，对如式所示的机械臂机构速度约束进行求解。
WvA+WωA×PArAORG+WRA AvB-WrA×WRA AωB＝WRPB PBvB-WrPB×WRPB PBωB
WRA AωB+WωA＝WRPB PBωB
WvA＝WωA×pxyz
PBωB＝[0 ωY 0]T
对于上面的策略，可以求得
PAωA＝-WRA AωB
Figure BDA0003219331980000121
在得到速度的数值后，就可以使用雅可比矩阵求得上下两个机械臂的速度。
本发明对视觉伺服装配方法进行实际测试，将智能手表作为本发明的装配目标。对实验所用的手表在仿真环境中进行建模，将其导入在基于ROS的仿真环境GAZEBO中，在抓取的电池板与手表座上分别设计四个引导块与目标点，如图6和图7所示。并将上面所述的特征检测、三维重建和视觉伺服算法进行装配。考虑到抓取可能引入的误差，给机械臂法兰盘坐标系上增加随机运动与旋转。对于该仿真实验，分析类似于原理验证实验中的图像平面上的源点与目标点之间的像素误差.
目标运动轨迹和特征点像素误差如图8a、8b和图9a、9b所示。图中的坐标系中的单位为mm。
因此，在本发明提出的方案中，将两个高分辨率相机对称安装在上机械臂机构的末端，不同于其他一般的需要提前确定期望特征点的视觉伺服系统。一旦末端吸盘抓取到部件，其就能动态确定期望特征点位置，同时实时感知固定在3R机构上的另一部件，利用基于图像的视觉伺服方法(IBVS)计算机械臂期望运动速度，再利用空间速度分配策略控制上下双臂协同运动，不断进行闭环迭代直至图像特征误差稳定收敛至0，以实现高精度的协同装配。
应当认识到，本发明所有实施例中的方法步骤可以由计算机硬件、硬件和软件的组合、或者通过存储在非暂时性计算机可读存储器中的计算机指令来实现或实施。所述方法可以使用标准编程技术。每个程序可以以高级过程或面向对象的编程语言来实现以与计算机系统通信。然而，若需要，该程序可以以汇编或机器语言实现。在任何情况下，该语言可以是编译或解释的语言。此外，为此目的该程序能够在编程的专用集成电路上运行。
此外，可按任何合适的顺序来执行本文描述的过程的操作，除非本文另外指示或以其他方式明显地与上下文矛盾。本文描述的过程(或变型和/或其组合)可在配置有可执行指令的一个或多个计算机系统的控制下执行，并且可作为共同地在一个或多个处理器上执行的代码(例如，可执行指令、一个或多个计算机程序或一个或多个应用)、由硬件或其组合来实现。所述计算机程序包括可由一个或多个处理器执行的多个指令。
进一步，所述方法可以在可操作地连接至合适的任何类型的计算平台中实现，包括但不限于个人电脑、迷你计算机、主框架、工作站、网络或分布式计算环境、单独的或集成的计算机平台、或者与带电粒子工具或其它成像装置通信等等。本发明的各方面可以以存储在非暂时性存储介质或设备上的机器可读代码来实现，无论是可移动的还是集成至计算平台，如硬盘、光学读取和/或写入存储介质、RAM、ROM等，使得其可由可编程计算机读取，当存储介质或设备由计算机读取时可用于配置和操作计算机以执行在此所描述的过程。此外，机器可读代码，或其部分可以通过有线或无线网络传输。当此类媒体包括结合微处理器或其他数据处理器实现上文所述步骤的指令或程序时，本文所述的发明包括这些和其他不同类型的非暂时性计算机可读存储介质。当根据本发明所述的方法和技术编程时，本发明还可以包括计算机本身。
计算机程序能够应用于输入数据以执行本文所述的功能，从而转换输入数据以生成存储至非易失性存储器的输出数据。输出信息还可以应用于一个或多个输出设备如显示器。在本发明优选的实施例中，转换的数据表示物理和有形的对象，包括显示器上产生的物理和有形对象的特定视觉描绘。
以上所述，只是本发明的较佳实施例而已，本发明并不局限于上述实施方式，只要其以相同的手段达到本发明的技术效果，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。在本发明的保护范围内其技术方案和/或实施方式可以有各种不同的修改和变化。

Claims (10)

1.一种基于双目视觉伺服的空间高精度装配方法，用于在包含上臂机构和下臂机构的双模块机器人中对零部件的装配，其中，在所述上臂机构的末端动平台上设有双目视觉系统和装配夹具，待装配的零部件至少由所述下臂机构的末端动平台限定位置，
其特征在于，所述方法包括以下步骤：
S1、触发双目视觉系统中的左目相机和右目相机同时检测待装配零部件中的目标，从相机捕捉的图像中实时提取所述目标中当前特征点的像素坐标；
S2、基于特征点之间的直线约束，对左目相机和右目相机中的任一相机所捕捉的不完整的目标，实施双目视野的三维重建；
S3、根据特征点的像素误差，通过图像雅可比矩阵建立特征点和相机速度的关系，获得基坐标系下的目标的速度，并且在上臂机构和下臂机构之间进行自由度限制下的速度分配。
2.根据权利要求1所述的方法，其中，所述步骤S1包括：
S11、对所述左目相机和所述右目相机所捕获的图像进行均值滤波平滑，并且将图像转至HSV颜色空间，进行颜色阈值分割；
S12、通过轮廓检测和椭圆中心点拟合算法，检测所述目标中的多个特征点及计算坐标；
S13、在检测到的多个特征点中，计算特征点之间的距离，从而选取距离超过一阈值的至少四个特征点建立连接线，其中，多个的特征点的连线之间具有平行、共线和垂直中的多个几何约束关系。
3.根据权利要求2所述的方法，其中，所述步骤S13还包括：
选取所述左目相机和所述右目相机所捕获的图像的重叠部分中的特征点作为实施双目视野的三维重建的公共参考点。
4.根据权利要求2或3所述的方法，其中，所述步骤S2包括：
S21、分别对于左目相机和右目相机所捕捉的图片，从多个特征点中，通过第一几何约束关系分别求解左目相机和右目相机所采集的图像中的目标特征点的三维坐标；
S22、分别对于左目相机和右目相机所捕捉的图片，求解所述目标特征点相对于公共参考点的距离和连线；
S23、引入第二几何约束关系，所述第二几何约束关系为左目相机和右目相机所捕捉的目标特征点与公共参考点之间的几何关系，并且在实施双目视野的三维重建时，通过所述第二几何约束关系，将所述左目相机和所述右目相机的三维重建图像数据合并。
5.根据权利要求4所述的方法，其中，所述第一几何约束关系为垂直关系，所述第二几何约束关系为共线关系，所述目标特征点包括待装配零部件中沿矩形四角分布的四个角点。
6.根据权利要求5所述的方法，其中，所述步骤S2进一步包括：
通过以下方程组求解所采集的图像中的像素点在双目视觉系统的相机坐标系对应深度值
Figure FDA0003219331970000021
Figure FDA0003219331970000022
其中，
sL、sR分别是左目相机和右目相机所采集的图像的像素点在相机坐标系下的深度值，
KL、KR分别是左目相机和右目相机的内参标定矩阵，
Figure FDA0003219331970000023
为右相机到左相机的空间变换旋转矩阵，
Figure FDA0003219331970000024
分别是左目相机和右目相机所采集的图像平面上的像素齐次坐标，
Figure FDA0003219331970000025
是右目相机到左目相机的空间变换旋转矩阵，
a＝y2-y1，b＝x1-x2，c＝x2y1-x1y2，其中，(x1，y1)和(x2，y2)分别是左目相机所采集的图像中的两个特征点的像素坐标；
然后根据双目视觉系统中的左目相机和右目相机的相机数学模型，计算多个所述目标特征点在所述相机坐标系下的坐标，以基于所述相机坐标系实施双目视野的三维重建。
7.根据权利要求1所述的方法，其中，所述步骤S3包括：
配置所述上臂机构为从运动机构，并且配置所述下臂机构为主运动机构；
基于主从运动分配的方式，并通过以下等式和雅可比矩阵求解主运动机构和从运动机构中各自的机械臂速度
PAωA＝-WRA AωB，
Figure FDA0003219331970000026
其中，
W表示世界坐标系，
PB表示所述从运动机构的基坐标系，B表示所述从运动机构的末端坐标系，
PA表示所述主运动机构的基坐标系，A表示所述主运动机构的末端坐标系，
v表示线速度，
ω表示角速度，
R表示坐标系旋转转换矩阵，
r表示特征点的坐标，
pxyz是角速度和线速度转换矩阵，
PArAORG是末端坐标系A在基坐标系PA下的坐标表示。
8.根据权利要求1所述的方法，其中，所述零部件为3C零件，所述零部件中的目标包括圆形结构轮廓、椭圆结构轮廓、线条结构轮廓和矩形结构轮廓中的任一者或多者。
9.一种计算机可读存储介质，其上储存有程序指令，所述程序指令被处理器执行时实施如权利要求1至8中任一项所述的方法。
10.一种基于双目视觉伺服的空间高精度装配系统，用于在包含上臂机构和下臂机构的双模块机器人中对零部件的装配，所述上臂机构的末端设有动平台，所述下臂机构的末端设有能够运动的载物平台，所述动平台和所述载物平台的运动范围至少重叠，
其特征在于，所述装配系统包括：
设置在所述动平台上的双目视觉系统，所述双目视觉系统包括用于装配环节的左目相机和右目相机以及用于拾取环节的嵌入式相机，其中所述动平台的底部固定设置有接驳件，所述接驳件的横杆的两端分别安装所述左目相机和右目相机，所述接驳件的竖杆的末端安装所述嵌入式相机，使得所述左目相机和所述右目相机向动平台的下方内倾；以及
与所述双目视觉系统连接的计算机装置，该计算机装置包括根据权利要求9所述的计算机可读存储介质。
CN202110957704.8A 2021-08-19 2021-08-19 基于双目视觉伺服的空间高精度装配方法和系统 Active CN113751981B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110957704.8A CN113751981B (zh) 2021-08-19 2021-08-19 基于双目视觉伺服的空间高精度装配方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110957704.8A CN113751981B (zh) 2021-08-19 2021-08-19 基于双目视觉伺服的空间高精度装配方法和系统

Publications (2)

Publication Number Publication Date
CN113751981A true CN113751981A (zh) 2021-12-07
CN113751981B CN113751981B (zh) 2022-08-19

Family

ID=78790631

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110957704.8A Active CN113751981B (zh) 2021-08-19 2021-08-19 基于双目视觉伺服的空间高精度装配方法和系统

Country Status (1)

Country Link
CN (1) CN113751981B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114905511A (zh) * 2022-05-12 2022-08-16 南京航空航天大学 一种工业机器人装配误差检测与精度补偿系统标定方法
CN115284262A (zh) * 2022-09-26 2022-11-04 中科九创智能科技(北京)有限公司 振动筛杂物拣选机器人系统
CN116740183A (zh) * 2023-08-15 2023-09-12 浙江大学 一种双视角舱体位姿调整方法
CN117718985A (zh) * 2024-02-07 2024-03-19 西安中科光电精密工程有限公司 一种基于智能三维视觉的搜排爆机器人

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101664881A (zh) * 2009-09-04 2010-03-10 浙江工业大学 开放式现场型六自由度串并联加工机器人
US20120322345A1 (en) * 2011-06-17 2012-12-20 Applied Materials, Inc. Apparatus for chemical mechanical polishing
CN104325268A (zh) * 2014-11-04 2015-02-04 南京赫曼机器人自动化有限公司 一种基于智能学习的工业机器人三维空间自主装配方法
CN106624709A (zh) * 2016-12-29 2017-05-10 南京天祥智能设备科技有限公司 基于双目视觉的装配系统及装配方法
CN206541804U (zh) * 2016-05-03 2017-10-03 K.C.科技股份有限公司 基板处理系统
CN107825125A (zh) * 2017-11-30 2018-03-23 中国地质大学（武汉） 一种基于视觉伺服的螺孔定位及锁卸螺丝装置
US20180361590A1 (en) * 2017-06-16 2018-12-20 Chung-Yuan Christian University Active assembly system, active assembly method and positioning assembly device thereof
US20200021780A1 (en) * 2018-07-10 2020-01-16 Sungwoo Hitech Co., Ltd. Vision unit
JP2020026012A (ja) * 2018-08-15 2020-02-20 株式会社ディスコ 研削装置
CN110815213A (zh) * 2019-10-21 2020-02-21 华中科技大学 一种基于多维度特征融合的零件识别装配方法和装置
CN111340834A (zh) * 2020-03-10 2020-06-26 山东大学 基于激光雷达和双目相机数据融合的衬板装配系统及方法
CN112132894A (zh) * 2020-09-08 2020-12-25 大连理工大学 一种基于双目视觉引导的机械臂实时跟踪方法
CN112658643A (zh) * 2020-12-30 2021-04-16 中国科学院自动化研究所 接插件装配方法
CN112975361A (zh) * 2021-04-06 2021-06-18 南京航空航天大学苏州研究院 一种用于复杂光照环境的激光视觉融合的高精度对接方法

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101664881A (zh) * 2009-09-04 2010-03-10 浙江工业大学 开放式现场型六自由度串并联加工机器人
US20120322345A1 (en) * 2011-06-17 2012-12-20 Applied Materials, Inc. Apparatus for chemical mechanical polishing
CN104325268A (zh) * 2014-11-04 2015-02-04 南京赫曼机器人自动化有限公司 一种基于智能学习的工业机器人三维空间自主装配方法
CN206541804U (zh) * 2016-05-03 2017-10-03 K.C.科技股份有限公司 基板处理系统
CN106624709A (zh) * 2016-12-29 2017-05-10 南京天祥智能设备科技有限公司 基于双目视觉的装配系统及装配方法
US20180361590A1 (en) * 2017-06-16 2018-12-20 Chung-Yuan Christian University Active assembly system, active assembly method and positioning assembly device thereof
CN107825125A (zh) * 2017-11-30 2018-03-23 中国地质大学（武汉） 一种基于视觉伺服的螺孔定位及锁卸螺丝装置
US20200021780A1 (en) * 2018-07-10 2020-01-16 Sungwoo Hitech Co., Ltd. Vision unit
JP2020026012A (ja) * 2018-08-15 2020-02-20 株式会社ディスコ 研削装置
CN110815213A (zh) * 2019-10-21 2020-02-21 华中科技大学 一种基于多维度特征融合的零件识别装配方法和装置
CN111340834A (zh) * 2020-03-10 2020-06-26 山东大学 基于激光雷达和双目相机数据融合的衬板装配系统及方法
CN112132894A (zh) * 2020-09-08 2020-12-25 大连理工大学 一种基于双目视觉引导的机械臂实时跟踪方法
CN112658643A (zh) * 2020-12-30 2021-04-16 中国科学院自动化研究所 接插件装配方法
CN112975361A (zh) * 2021-04-06 2021-06-18 南京航空航天大学苏州研究院 一种用于复杂光照环境的激光视觉融合的高精度对接方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
任秉银等: "正交双目视觉长轴类零件装配端位姿检测方法", 《哈尔滨工业大学学报》 *
李宇飞等: "基于视觉的机械臂空间目标抓取策略研究", 《中国科学:技术科学》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114905511A (zh) * 2022-05-12 2022-08-16 南京航空航天大学 一种工业机器人装配误差检测与精度补偿系统标定方法
CN114905511B (zh) * 2022-05-12 2023-08-11 南京航空航天大学 一种工业机器人装配误差检测与精度补偿系统标定方法
CN115284262A (zh) * 2022-09-26 2022-11-04 中科九创智能科技(北京)有限公司 振动筛杂物拣选机器人系统
CN116740183A (zh) * 2023-08-15 2023-09-12 浙江大学 一种双视角舱体位姿调整方法
CN116740183B (zh) * 2023-08-15 2023-11-07 浙江大学 一种双视角舱体位姿调整方法
CN117718985A (zh) * 2024-02-07 2024-03-19 西安中科光电精密工程有限公司 一种基于智能三维视觉的搜排爆机器人

Also Published As

Publication number Publication date
CN113751981B (zh) 2022-08-19

Similar Documents

Publication Publication Date Title
CN113751981B (zh) 基于双目视觉伺服的空间高精度装配方法和系统
CN109859275B (zh) 一种基于s-r-s结构的康复机械臂的单目视觉手眼标定方法
CN110170995B (zh) 一种基于立体视觉的机器人快速示教方法
Horaud et al. Visually guided object grasping
CN111775146A (zh) 一种工业机械臂多工位作业下的视觉对准方法
TWI594097B (zh) 用於組裝系統中物件之虛擬組裝的系統及方法
CN107030693B (zh) 一种基于双目视觉的带电作业机器人目标跟踪方法
CN110385694B (zh) 机器人的动作示教装置、机器人系统以及机器人控制装置
WO2016193781A1 (en) Motion control system for a direct drive robot through visual servoing
JP2016000442A (ja) ロボット、ロボットシステム及び制御装置
Melchiorre et al. Collison avoidance using point cloud data fusion from multiple depth sensors: a practical approach
JP2013036987A (ja) 情報処理装置及び情報処理方法
JP2013043271A (ja) 情報処理装置、情報処理装置の制御方法、およびプログラム
CN113172659B (zh) 基于等效中心点识别的柔性机器人臂形测量方法及系统
Gratal et al. Visual servoing on unknown objects
CN111360821A (zh) 一种采摘控制方法、装置、设备及计算机刻度存储介质
CN113618367B (zh) 基于七自由度并联双模块机器人的多视觉空间装配系统
CN115446836A (zh) 一种基于多种图像特征信息混合的视觉伺服方法
CN206123654U (zh) 一种视觉引导的全向移动双臂机器人
WO2022208963A1 (ja) ロボット制御用のキャリブレーション装置
Ranjan et al. Identification and control of NAO humanoid robot to grasp an object using monocular vision
CN107363831B (zh) 基于视觉的遥操作机器人控制系统及方法
CN115194774A (zh) 一种基于多目视觉的双机械臂抓握系统控制方法
CN110900606B (zh) 一种基于小型机械臂手眼联动系统及其控制方法
Hager et al. Tutorial tt3: A tutorial on visual servo control

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant