CN111360820B - 一种距离空间和图像特征空间融合的混合视觉伺服方法 - Google Patents

一种距离空间和图像特征空间融合的混合视觉伺服方法 Download PDF

Info

Publication number
CN111360820B
CN111360820B CN202010099117.5A CN202010099117A CN111360820B CN 111360820 B CN111360820 B CN 111360820B CN 202010099117 A CN202010099117 A CN 202010099117A CN 111360820 B CN111360820 B CN 111360820B
Authority
CN
China
Prior art keywords
jacobian matrix
image
intersection point
determining
robot
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010099117.5A
Other languages
English (en)
Other versions
CN111360820A (zh
Inventor
高会军
林伟阳
刘晨璐
郭浩
于兴虎
佟明斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harbin Institute of Technology
Original Assignee
Harbin Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin Institute of Technology filed Critical Harbin Institute of Technology
Priority to CN202010099117.5A priority Critical patent/CN111360820B/zh
Publication of CN111360820A publication Critical patent/CN111360820A/zh
Priority to US17/150,287 priority patent/US11648682B2/en
Application granted granted Critical
Publication of CN111360820B publication Critical patent/CN111360820B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • B25J9/1607—Calculation of inertia, jacobian matrixes and inverses
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/251—Fusion techniques of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/48—Extraction of image or video features by mapping characteristic values of the pattern into a parameter space, e.g. Hough transformation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/803—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of input or preprocessed data

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Mathematical Physics (AREA)
  • Manipulator (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及一种距离空间和图像特征空间融合的视觉伺服方法，所述方法包括：构建图像雅克比矩阵；构建深度雅克比矩阵；将所述图像雅克比矩阵和所述深度雅克比矩阵融合，得到混合视觉伺服雅克比矩阵；基于所述混合视觉伺服雅克比矩阵采用控制算法得到机器人运动的控制量，从而使得机器人运动到目标位置，完成精确定位。本发明中的上述方法避免了传统雅可比矩阵的奇异和局部最小值等问题。融合了互补的图像特征空间和距离空间，在信息不冗余的情况下，弥补了视觉信息中的不足，系统实时采集数据，在简单的控制算法下，即可快速完成视觉伺服任务。

Description

一种距离空间和图像特征空间融合的混合视觉伺服方法
技术领域
本发明涉及视觉伺服技术领域，特别是涉及一种距离空间和图像特征空间融合的混合视觉伺服方法。
背景技术
视觉伺服技术是智能机器人发展领域的研究热点之一，在工业中得到广泛应用。为了能够使机器人完成更复杂的工作，机器人需要具有良好性能的控制系统和感知复杂环境变化的能力。
传统的控制方法中，基于位置的视觉伺服(PBVS)的控制精度依赖于模型的校准和相机的标定结果，鲁棒性较差，需要经常校准。基于图像的视觉伺服(IBVS)较基于位置的视觉伺服而言，对模型参数和图像噪声具有更强的鲁棒性。基于IBVS发展的控制方法中，绝大多数算法依靠视觉传感器获得的二维图像特征信息，然后使用获得的图像信息去完成伺服控制，对于三维空间的伺服任务而言，缺乏关于机器人末端姿态的信息量，导致环境感知不足，伺服效果无法进一步提升。
为了使机器人能够更加全面的感知环境，对机器人视觉系统采集的信息起补充作用，可以在机器人视觉系统中加入多种传感器，从而克服机器人视觉系统的不足。如今，高精度的测距传感器得到迅速的发展。为环境检测提供了新的方案。将测距传感器与相机融合，使得对目标物体位置和姿态进行高精度定位提供了可能。但是多传感器的引入，需要研究解决系统的信息融合和信息冗余问题。
针对上述背景与问题，需要提出一种新的视觉伺服方法，将测距传感器与视觉传感器相结合，实现距离空间信息与图像特征空间信息的相互补充，解决多信息融合和信息冗余问题，使得机器人能够全面感知环境变化，实现目标物体的精确定位，完成伺服任务。
发明内容
本发明的目的是提供一种距离空间和图像特征空间融合的混合视觉伺服方法，解决多信息融合和信息冗余问题，使得机器人能够全面感知环境变化，实现目标物体的精确定位，完成伺服任务。
为实现上述目的，本发明提供了如下方案：
一种距离空间和图像特征空间融合的视觉伺服方法，所述方法包括：
构建图像雅克比矩阵；
构建深度雅克比矩阵；
将所述图像雅克比矩阵和所述深度雅克比矩阵融合，得到混合视觉伺服雅克比矩阵；
基于所述混合视觉伺服雅克比矩阵采用控制算法得到机器人运动的控制量，从而使得机器人运动到目标位置，完成精确定位。
可选的，所述构建图像雅克比矩阵具体包括：
获取目标图像；
将所述目标图像转换为灰度图，并进行二值化处理，得到二值化图片；
对所述二值化图片进行均值滤波，并对滤波后的二值化图片进行边缘检测，得到边缘检测图片；
采用霍夫直线检测算法对所述边缘检测图片进行检测，得到两条最长且相交的直线，将两条所述直线还原到所述目标图像中，得到两条直线的交点；其中一条直线的两个坐标点为(ax,ay),(bx,by)，另一条直线的两个坐标点为(cx,cy),(dx,dy)，所述交点用O(u,v)表示；
根据所述交点和其中一条直线上的点确定末端相对于目标物体的期望姿态偏转角度；所述偏转角度用θ表示；
基于所述交点和所述偏转角度确定图像雅克比矩阵。
可选的，所述构建深度雅克比矩阵具体包括：
确定第i个传感器与测量平面的交点在装置坐标系下的位置向量；
基于所述第i个传感器与测量平面的交点在装置坐标系下的位置向量确定所测平面的法向量；
基于所述法向量确定深度雅克比矩阵。
可选的，所述基于所述混合视觉伺服雅克比矩阵采用控制算法得到机器人运动的控制量，从而使得机器人运动到目标位置，完成精确定位具体包括：
确定伺服视觉系统的误差量；
基于所述误差量确定确定机器人的末端速度量；
基于所述机器人末端速度量，使得机器人运动到目标位置，完成精确定位。
可选的，所述根据所述交点和其中一条直线上的点确定末端相对于目标物体的期望姿态偏转角度具体采用以下公式：
Figure BDA0002386264990000031
可选的，基于所述交点和所述偏转角度确定图像雅克比矩阵具体采用以下公式：
Figure BDA0002386264990000032
V其中，λ代表相机焦距，u,v分别代表目标点在图像中的横纵坐标，z为目标点在相机坐标系的深度值，J1表示图像雅克比矩阵，V＝[vx,vy,vz,ωx,ωy,ωz]T，V表示装置的速度量，vx,vy,vz,ωx,ωy,ωz分别为沿着x、y、z方向轴的线速度和角速度。
可选的，所述确定第i个传感器与测量平面的交点在装置坐标系下的位置向量具体包括：
Figure BDA0002386264990000033
其中，
Figure BDA0002386264990000034
表示第1个传感器与测量平面的交点在装置坐标系下的位置向量，
Figure BDA0002386264990000035
表示第2个传感器与测量平面的交点在装置坐标系下的位置向量，
Figure BDA0002386264990000041
表示第3个传感器与测量平面的交点在装置坐标系下的位置向量，d表示是三个测距传感器中心轴间的固定距离，3个传感器为等边三角形分布，距离均为d，Rz是绕相机中心轴的旋转矩阵。
可选的，基于所述第i个传感器与测量平面的交点在装置坐标系下的位置向量确定所测平面的法向量具体采用以下公式：
Figure BDA0002386264990000042
可选的，所述基于所述法向量确定深度雅克比矩阵具体采用以下公式：
Figure BDA0002386264990000043
S(nz)是nz构成的反对称矩阵。
可选的，基于所述误差量确定确定机器人的末端速度量具体采用以下公式：
V＝-KJ+e，其中，J+表示混合视觉雅可比矩阵的逆矩阵，e表示误差量，e＝fd-f，
Figure BDA0002386264990000044
K表示比例系数，V为机器人末端装置速度量。
根据本发明提供的具体实施例，本发明公开了以下技术效果：
本发明中的测距传感器获得的距离信息量，弥补了视觉传感器反馈信息量不足的问题，距离信息与视觉信息相结合，两者信息相互补充实现了三维空间的全测量，同时避免了产生信息融合的冗余问题。本发明中采用空间融合形成的混合雅可比矩阵成6维满秩矩阵，避免了矩阵的伪逆求解，解决了传统IBVS中的局部最小值、奇异问题，同时使得系统具有全局渐近稳定性。在视觉伺服过程中，系统满足准确、快速跟踪目标点的特性，同时该方法的提出为视觉伺服控制的发展提供了新的研究方向。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例距离空间和图像特征空间融合的视觉伺服方法流程图；
图2为本发明实施例机器人及装置和目标物平面图；
图3为本发明实施例图像特征空间信息量示意图；
图4为本发明实施例传感器安装示意图；
图5为本发明实施例相机视野示意图；
图6为本发明实施例视觉伺服结果图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的目的是提供一种距离空间和图像特征空间融合的混合视觉伺服方法，解决多信息融合和信息冗余问题，使得机器人能够全面感知环境变化，实现目标物体的精确定位，完成伺服任务。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
本发明中的上述方法首先使用视觉传感器和相关图像处理算法得：目标中心点(u,v,θ)，其中(u,v)表示目标物体中心点的图像坐标，θ表示末端与物体间图像信息相对于期望姿态的偏转角度(见图3)，3个测距传感器得出距离信息(h1,h2,h3)(见图4(a)和图4(b))，将两者组合作为视觉伺服中的特征量，得出关于特征量的雅可比矩阵(用于描述特征量与固定于机器人末端的装置之间的速度关系)。
然后设计相应的控制算法，得出机器人运动的控制量，从而使得机器人运动到目标位置，完成精确定位任务。
图1为本发明实施例距离空间和图像特征空间融合的视觉伺服方法流程图，如图1所示，所述方法包括：
步骤101：构建图像雅克比矩阵。
本节以V＝[vx,vy,vz,ωx,ωy,ωz]T，表示装置的速度量，分别为沿着x、y、z方向轴的线速度和角速度，以f＝[u,v,θ,h1,h2,h3]T表示系统的特征量，分别表示目标物体的图像横纵坐标、末端与物体间相对于期望姿态的偏转角度和三个测距传感器的距离测量值，fd＝[ud,vd,θd,h1d,h2d,h3d]T表示系统的期望特征量。
首先利用末端装置集成的普通RGB工业相机获取图像；
将所述目标图像转换为灰度图，并进行二值化处理，得到二值化图片；
对所述二值化图片进行均值滤波，去掉图片中的噪声点，并对滤波后的二值化图片采用Canny算法进行边缘检测，得到边缘检测图片；
采用霍夫直线检测算法对所述边缘检测图片进行检测，检测时，不同的直线长度以及置信度参数会得到不同数量的直线。根据实际目标物体的长度调整参数(直线的长度，置信度)，同时根据两条直线相交的条件，可以得到两条最长且相交的直线，将直线画在原图片上，如图5中两条直线所示；
经过上一步骤得到的两条直线会以直线起点和终点的坐标给出，假设两条相交直线为A和B，其中直线A的两个坐标点为(ax,ay),(bx,by)，直线B的坐标点为(cx,cy),(dx,dy)，则两条直线的交点可表示为O(u,v)：
u＝(ax+a0·r11+cx+a1·r21)/2
v＝(ay+a0·r12+cy+a1·r22)/2
其中，r11＝bx-ax,r12＝by-ay,r21＝cx-dx,r22＝cy-dy；
Figure BDA0002386264990000061
根据所述交点和其中一条直线上的点确定末端相对于目标物体的期望姿态偏转角度；所述偏转角度用θ表示；
Figure BDA0002386264990000071
基于所述交点和所述偏转角度确定图像雅克比矩阵：
图像特征的交点(u,v)即为目标中心点的图像坐标(u,v)，夹角θ即为末端与物体间相对于期望姿态的偏转角度。进而通过已知量得出用于描述相机速度和特征量变化速度
Figure BDA0002386264990000072
的图像雅克比矩阵J1。
Figure BDA0002386264990000073
其中，λ代表相机焦距，u,v分别代表目标点在图像中的横纵坐标，z为目标点在相机坐标系的深度值，V＝[vx,vy,vz,ωx,ωy,ωz]T，V表示装置的速度量，vx,vy,vz,ωx,ωy,ωz分别为沿着x、y、z方向轴的线速度和角速度。
步骤102：构建深度雅克比矩阵。
测距传感器装配如图4(a)所示。三个测距传感器以视觉传感器轴向所在方向为中心轴，呈正三角形安装，其轴向间距离为定值且相等。三个测距传感器用于实时采集距离信息，用于深度雅可比矩阵的计算。
确定第i个传感器与测量平面的交点在装置坐标系下的位置向量：
Figure BDA0002386264990000074
其中，
Figure BDA0002386264990000075
表示第1个传感器与测量平面的交点在装置坐标系下的位置向量，
Figure BDA0002386264990000076
表示第2个传感器与测量平面的交点在装置坐标系下的位置向量，
Figure BDA0002386264990000077
表示第3个传感器与测量平面的交点在装置坐标系下的位置向量，d表示是三个测距传感器中心轴间的固定距离，3个传感器为等边三角形分布，距离均为d，Rz是绕相机中心轴的旋转矩阵。
基于所述第i个传感器与测量平面(目标物体所处的平面为测量平面)的交点在装置坐标系下的位置向量确定所测平面的法向量：
Figure BDA0002386264990000081
从而得出深度测量值hi(其中，i取1，2，3)与装置速度间的雅可比矩阵J2。
Figure BDA0002386264990000082
S(nZ)是nZ构成的反对称阵。
假设nZ＝[n1,n2,n3]T，则其构成的反对称矩阵为：
Figure BDA0002386264990000083
步骤103：将所述图像雅克比矩阵和所述深度雅克比矩阵融合，得到混合视觉伺服雅克比矩阵。
Figure BDA0002386264990000084
分析可知得出的雅可比矩阵是维度为6的满秩矩阵，其满足JJ+＞0，从而系统具有全局渐渐稳定性。
步骤104：基于所述混合视觉伺服雅克比矩阵采用控制算法得到机器人运动的控制量，从而使得机器人运动到目标位置，完成精确定位。
通过设计相应的控制算法，结合上述雅可比矩阵，给出末端装置速度控制量。fd＝[ud,vd,θd,h1d,h2d,h3d]T表示系统的期望特征量，为系统达到目标位置时的各个特征量的测量值。
确定伺服视觉系统的误差量e＝fd-f：令，
Figure BDA0002386264990000091
K表示比例系数，V为机器人末端装置速度量，即机器人末端速度量。
基于所述误差量确定确定机器人的末端速度量：
V＝-KJ+e，J+表示混合视觉雅可比矩阵的逆矩阵，e表示误差量。
基于所述机器人末端速度量，使得机器人运动到目标位置，完成精确定位：
得到机器人末端速度V后，将末端速度直接发送给机器人，机器人运动。同时当达到目标位置时，根据e＝fd-f将得到0，则计算的V将为0，因此机器人将停止运动。即机器人运动到目标位置后停止运动，完成精确定位任务。
本发明的混合视觉伺服方法的6维满秩雅可比矩阵，避免了传统雅可比矩阵的奇异和局部最小值等问题。融合了互补的图像特征空间和距离空间，在信息不冗余的情况下，弥补了视觉信息中的不足。系统实时采集数据，在简单的控制算法下，即可快速完成视觉伺服任务。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种距离空间和图像特征空间融合的视觉伺服方法，其特征在于，所述方法包括：
构建图像雅克比矩阵；
构建深度雅克比矩阵；
将所述图像雅克比矩阵和所述深度雅克比矩阵融合，得到混合视觉伺服雅克比矩阵；
基于所述混合视觉伺服雅克比矩阵采用控制算法得到机器人运动的控制量，从而使得机器人运动到目标位置，完成精确定位。
2.根据权利要求1所述的距离空间和图像特征空间融合的视觉伺服方法，其特征在于，所述构建图像雅克比矩阵具体包括：
获取目标图像；
将所述目标图像转换为灰度图，并进行二值化处理，得到二值化图片；
对所述二值化图片进行均值滤波，并对滤波后的二值化图片进行边缘检测，得到边缘检测图片；
采用霍夫直线检测算法对所述边缘检测图片进行检测，得到两条最长且相交的直线，将两条所述直线还原到所述目标图像中，得到两条直线的交点；其中一条直线的两个坐标点为(ax,ay),(bx,by)，另一条直线的两个坐标点为(cx,cy),(dx,dy)，所述交点用O(u,v)表示；
根据所述交点和其中一条直线上的点确定末端相对于目标物体的期望姿态偏转角度；所述偏转角度用θ表示；
基于所述交点和所述偏转角度确定图像雅克比矩阵。
3.根据权利要求2所述的距离空间和图像特征空间融合的视觉伺服方法，其特征在于，所述构建深度雅克比矩阵具体包括：
确定第i个传感器与测量平面的交点在装置坐标系下的位置向量；
基于所述第i个传感器与测量平面的交点在装置坐标系下的位置向量确定所测平面的法向量；
基于所述法向量确定深度雅克比矩阵。
4.根据权利要求1所述的距离空间和图像特征空间融合的视觉伺服方法，其特征在于，所述基于所述混合视觉伺服雅克比矩阵采用控制算法得到机器人运动的控制量，从而使得机器人运动到目标位置，完成精确定位具体包括：
确定伺服视觉系统的误差量；
基于所述误差量确定机器人的末端速度量；
基于所述机器人末端速度量，使得机器人运动到目标位置，完成精确定位。
5.根据权利要求2所述的距离空间和图像特征空间融合的视觉伺服方法，其特征在于，所述根据所述交点和其中一条直线上的点确定末端相对于目标物体的期望姿态偏转角度具体采用以下公式：
Figure FDA0002819560900000021
6.根据权利要求3所述的距离空间和图像特征空间融合的视觉伺服方法，其特征在于，基于所述交点和所述偏转角度确定图像雅克比矩阵具体采用以下公式：
Figure FDA0002819560900000022
其中，λ代表相机焦距，u,v分别代表交点在图像中的横纵坐标，z为交点在相机坐标系的深度值，J1表示图像雅克比矩阵，V＝[vx,vy,vz,ωx,ωy,ωz]T，V表示装置的速度量，vx,vy,vz,ωx,ωy,ωz分别为沿着x、y、z方向轴的线速度和角速度。
7.根据权利要求6所述的距离空间和图像特征空间融合的视觉伺服方法，其特征在于，所述确定第i个传感器与测量平面的交点在装置坐标系下的位置向量具体包括：
Figure FDA0002819560900000023
其中，
Figure FDA0002819560900000024
表示第1个传感器与测量平面的交点在装置坐标系下的位置向量，
Figure FDA0002819560900000031
表示第2个传感器与测量平面的交点在装置坐标系下的位置向量，
Figure FDA0002819560900000032
表示第3个传感器与测量平面的交点在装置坐标系下的位置向量，d表示是三个测距传感器中心轴间的固定距离，3个传感器为等边三角形分布，距离均为d，Rz是绕相机中心轴的旋转矩阵；h1表示第一个测距传感器的测量值。
8.根据权利要求7所述的距离空间和图像特征空间融合的视觉伺服方法，其特征在于，基于所述第i个传感器与测量平面的交点在装置坐标系下的位置向量确定所测平面的法向量具体采用以下公式：
Figure FDA0002819560900000033
其中，h2表示第二个测距传感器的测量值；h3表示第三个测距传感器的测量值；nZ表示所测平面的法向量。
9.根据权利要求8所述的距离空间和图像特征空间融合的视觉伺服方法，其特征在于，所述基于所述法向量确定深度雅克比矩阵具体采用以下公式：
Figure FDA0002819560900000034
S(nz)是nz构成的反对称矩阵。
10.根据权利要求4所述的距离空间和图像特征空间融合的视觉伺服方法，其特征在于，基于所述误差量确定机器人的末端速度量具体采用以下公式：
V＝-KJ+e，其中，J+表示混合视觉雅可比矩阵的逆矩阵，e表示误差量，e＝fd-f，
Figure FDA0002819560900000035
K表示比例系数，V为机器人末端装置速度量；fd表示系统的期望特征量；f表示系统的特征量。
CN202010099117.5A 2020-02-18 2020-02-18 一种距离空间和图像特征空间融合的混合视觉伺服方法 Active CN111360820B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202010099117.5A CN111360820B (zh) 2020-02-18 2020-02-18 一种距离空间和图像特征空间融合的混合视觉伺服方法
US17/150,287 US11648682B2 (en) 2020-02-18 2021-01-15 Hybrid visual servoing method based on fusion of distance space and image feature space

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010099117.5A CN111360820B (zh) 2020-02-18 2020-02-18 一种距离空间和图像特征空间融合的混合视觉伺服方法

Publications (2)

Publication Number Publication Date
CN111360820A CN111360820A (zh) 2020-07-03
CN111360820B true CN111360820B (zh) 2021-01-22

Family

ID=71200294

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010099117.5A Active CN111360820B (zh) 2020-02-18 2020-02-18 一种距离空间和图像特征空间融合的混合视觉伺服方法

Country Status (2)

Country Link
US (1) US11648682B2 (zh)
CN (1) CN111360820B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111319037A (zh) * 2018-12-17 2020-06-23 中国科学院长春光学精密机械与物理研究所 冗余机器人无标定视觉伺服控制方法及系统
CN113820720B (zh) * 2021-11-22 2022-01-25 成都星宇融科电力电子股份有限公司 基于多参考基点的三维激光中心测距方法、系统及终端
CN114610047B (zh) * 2022-03-09 2024-05-28 大连海事大学 一种在线深度估计的qmm-mpc水下机器人视觉对接控制方法
CN115082518B (zh) * 2022-05-30 2024-03-26 华南理工大学 视觉伺服的在线轨迹生成系统及其方法
CN114986132B (zh) * 2022-06-23 2023-08-08 清华大学 一种基于视觉传感的机器人柔性轴孔装配方法及装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101840736B (zh) * 2010-05-07 2012-11-21 中国科学院自动化研究所 一种视觉引导下的光学玻璃安装装置及安装方法
GB201103521D0 (en) * 2011-03-02 2011-04-13 Rolls Royce Plc Wall distance approximation
GB2521429A (en) * 2013-12-19 2015-06-24 Canon Kk Visual Servoing
CN107627303B (zh) * 2017-09-22 2021-03-09 哈尔滨工程大学 一种基于眼在手上结构的视觉伺服系统的pd-smc控制方法
CN109013222B (zh) * 2018-09-18 2023-11-17 济南大学 一种带有视觉自动纠偏功能的涂胶木板搬运机器人及方法
CN110503688B (zh) * 2019-08-20 2022-07-22 上海工程技术大学 一种用于深度相机的位姿估计方法

Also Published As

Publication number Publication date
US11648682B2 (en) 2023-05-16
CN111360820A (zh) 2020-07-03
US20210252700A1 (en) 2021-08-19

Similar Documents

Publication Publication Date Title
CN111360820B (zh) 一种距离空间和图像特征空间融合的混合视觉伺服方法
CN110695993B (zh) 一种柔性机械臂同步测量方法、系统及装置
Madsen et al. Optimal landmark selection for triangulation of robot position
CN106646508B (zh) 面向斜坡区域的基于多线激光雷达的斜坡角度估计方法
JP2012026895A (ja) 位置姿勢計測装置、位置姿勢計測方法、およびプログラム
CN111179351B (zh) 一种参数标定方法及其装置、处理设备
CN111123242A (zh) 一种基于激光雷达和相机的联合标定方法及计算机可读存储介质
CN114440928A (zh) 激光雷达与里程计的联合标定方法、机器人、设备和介质
CN111260751A (zh) 基于多传感器移动机器人的建图方法
CN113870366A (zh) 基于位姿传感器的三维扫描系统的标定方法及其标定系统
CN114310901A (zh) 用于机器人的坐标系标定方法、装置、系统以及介质
CN113643380A (zh) 一种基于单目相机视觉标靶定位的机械臂引导方法
CN113393524A (zh) 一种结合深度学习和轮廓点云重建的目标位姿估计方法
TWI762371B (zh) 機械手臂與輪廓感測器座標系相對關係之自動校正方法與系統
CN115294198A (zh) 一种基于视觉的机械臂全局性能测量系统及方法
Broun et al. Bootstrapping a robot’s kinematic model
Bousaid et al. Perspective distortion modeling for image measurements
CN110926405A (zh) 一种基于单目视觉灭点检测的arv姿态测量方法
CN114894116B (zh) 一种测量数据融合方法及非接触式测量设备
CN113405532B (zh) 基于视觉系统结构参数的前方交会测量方法及系统
CN112720469B (zh) 显微立体视觉用于三轴平移运动系统零点校准方法
JP2011174891A (ja) 位置姿勢計測装置、位置姿勢計測方法、及びプログラム
CN115446836A (zh) 一种基于多种图像特征信息混合的视觉伺服方法
Mihalyi et al. Uncertainty estimation of ar-marker poses for graph-slam optimization in 3d object model generation with rgbd data
Ashoori et al. Measuring the Distance between the Two Vehicles Using Stereo Vision with Optical Axes Cross

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant