CN108628310B - 基于射影单应性矩阵的机器人无标定视觉伺服轨迹规划方法 - Google Patents

基于射影单应性矩阵的机器人无标定视觉伺服轨迹规划方法 Download PDF

Info

Publication number
CN108628310B
CN108628310B CN201810392600.5A CN201810392600A CN108628310B CN 108628310 B CN108628310 B CN 108628310B CN 201810392600 A CN201810392600 A CN 201810392600A CN 108628310 B CN108628310 B CN 108628310B
Authority
CN
China
Prior art keywords
camera
image
homography matrix
ideal
coordinate system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810392600.5A
Other languages
English (en)
Other versions
CN108628310A (zh
Inventor
陶波
龚泽宇
丘椿荣
尹周平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huazhong University of Science and Technology
Original Assignee
Huazhong University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huazhong University of Science and Technology filed Critical Huazhong University of Science and Technology
Priority to CN201810392600.5A priority Critical patent/CN108628310B/zh
Publication of CN108628310A publication Critical patent/CN108628310A/zh
Application granted granted Critical
Publication of CN108628310B publication Critical patent/CN108628310B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/11—Complex mathematical operations for solving equations, e.g. nonlinear equations, general mathematical optimization problems
    • G06F17/12—Simultaneous equations, e.g. systems of linear equations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization

Abstract

本发明属于机器人技术领域，并公开了基于射影单应性矩阵的机器人无标定视觉伺服轨迹规划方法。首先获取理想图像与参考图像，然后结合初始图像与理想图像、参考图像之间的特征点的匹配关系，计算初始图像与理想图像之间的射影单应性矩阵的真实值以及无穷远射影单应性矩阵的真实值，最后根据射影单应性矩阵的真实值在射影单应性矩阵空间进行轨迹规划。本发明所涉及的轨迹规划过程完全不需要任何相机参数，且所生成的射影单应性矩阵空间的轨迹等效于相机在三维空间中直线运动与最优旋转运动的结合，有利于提升视觉伺服技术在无标定条件下的性能与鲁棒性。

Description

基于射影单应性矩阵的机器人无标定视觉伺服轨迹规划方法
技术领域
本发明属于机器人技术领域，更具体地，涉及机器人无标定视觉伺服轨迹规划方法。
背景技术
视觉伺服技术通过结合机器视觉与机器人技术，有利于扩大机器人的应用范围，提升机器人作业能力。传统视觉伺服技术需要对相机、机器人以及手-眼关系进行标定，标定环节通常需要一定的专业技能才能完成，且耗时耗力，不利于视觉伺服技术的广泛推广。无标定视觉伺服技术通过规避系统标定环节，在不损失视觉伺服系统性能的前提下，有效的提高了视觉伺服系统的鲁棒性与灵活性。
经典的无标定视觉伺服通常是基于图像的视觉伺服方法，尽管拥有较好的局部性能，但由于控制闭环在图像空间完成，没有对机器人在三维空间轨迹进行约束，因此普遍面临三维空间轨迹不理想的问题。此外，由于缺乏全局收敛的理论支持，系统在初始误差较大时存在失稳发散的可能性。对无标定视觉伺服方法进行轨迹规划，可将较大的初始误差分解为较小的误差区间，同时规划出理想的机器人三维空间轨迹，有效克服经典无标定视觉伺服的一系列缺陷。
基于图像的无标定视觉伺服方法，其目标函数的维度与图像中特征的数量成正比，当图像特征过于丰富时，系统目标函数维度将过于庞大，导致对应的雅克比矩阵维度过大，在线估计困难，计算耗时，不利于实时在线调控。基于射影单应性矩阵的机器人无标定视觉伺服方法可将冗余的图像信息转换成紧凑的单应性矩阵，使得目标函数维度固定，有效约束了计算量，提高了无标定视觉伺服系统的实时性。但是，基于射影单应性矩阵的方法也面临着三维空间轨迹不理想、全局收敛特性不明的问题。
发明内容
针对现有技术的以上缺陷或改进需求，本发明提供了基于射影单应性矩阵的机器人无标定视觉伺服轨迹规划方法，优化了无标定条件下机器人视觉伺服系统的三维空间轨迹，便于射影单应性矩阵空间的伺服控制。
为实现上述目的，按照本发明，提供了基于射影单应性矩阵的机器人无标定视觉伺服轨迹规划方法，其特征在于，所述方法包括如下步骤：
1)获取理想图像与参考图像：使用安装在机器人上的机载移动相机，针对目标上不少于8个不共面的特征点
Figure GDA0002525121200000021
其中λ＝1，2，3，...m0，m0不小于8，在相机理想位姿坐标系
Figure GDA0002525121200000022
下获取理想图像
Figure GDA0002525121200000023
理想图像
Figure GDA0002525121200000024
上各特征点的像素坐标
Figure GDA0002525121200000025
Figure GDA0002525121200000026
分别为理想图像
Figure GDA0002525121200000027
上第λ个特征点像素坐标的横坐标和纵坐标，随后在相机参考位姿坐标系
Figure GDA0002525121200000028
下获取参考图像
Figure GDA0002525121200000029
参考图像
Figure GDA00025251212000000229
上各特征点的像素坐标为
Figure GDA00025251212000000211
Figure GDA00025251212000000212
分别为参考图像
Figure GDA00025251212000000213
上第λ个特征点像素坐标的横坐标和纵坐标；
2)获取初始图像：在相机初始位姿坐标系
Figure GDA00025251212000000214
下获取初始图像
Figure GDA00025251212000000215
初始图像
Figure GDA00025251212000000227
上各特征点的像素坐标
Figure GDA00025251212000000217
Figure GDA00025251212000000218
分别为初始图像
Figure GDA00025251212000000219
上第λ个特征点像素坐标的横坐标和纵坐标；
3)计算射影单应性矩阵：根据所述理想图像
Figure GDA00025251212000000220
所述参考图像
Figure GDA00025251212000000221
以及所述初始图像
Figure GDA00025251212000000228
中各特征点的像素坐标，计算所述初始图像
Figure GDA00025251212000000223
与所述理想图像
Figure GDA00025251212000000224
之间的射影单应性矩阵的真实值G01以及无穷远射影单应性矩阵的真实值
Figure GDA00025251212000000225
4)生成射影单应性矩阵空间的轨迹：根据步骤3)中获取的所述射影单应性矩阵的真实值G01以及所述无穷远射影单应性矩阵的真实值
Figure GDA00025251212000000226
生成射影单应性矩阵空间的轨迹G(t)。
优选地，步骤1)中，所述相机参考位姿坐标系
Figure GDA0002525121200000031
是在所述相机理想位姿坐标系
Figure GDA0002525121200000032
的基础上，相机进行如下不改变姿态的平移运动获得：所述不改变姿态的平移运动所引起的每个特征点在图像上的像素坐标变化量均不少于10，且各特征点图像均不超出相机视场范围，所述相机参考位姿坐标系
Figure GDA0002525121200000033
与所述相机理想位姿坐标系
Figure GDA0002525121200000034
之间的旋转矩阵R1a＝I，其中I是单位矩阵。
优选地，步骤3)中，计算所述初始图像
Figure GDA00025251212000000329
与所述理想图像
Figure GDA0002525121200000036
之间的无穷远射影单应性矩阵的真实值
Figure GDA0002525121200000037
的方法如下：
3.1.1)根据所述理想图像
Figure GDA0002525121200000038
与所述初始图像
Figure GDA0002525121200000039
中匹配的特征点的像素坐标，构造如下方程：
Figure GDA00025251212000000310
其中
Figure GDA00025251212000000311
和
Figure GDA00025251212000000312
分别为特征点
Figure GDA00025251212000000313
在所述相机初始位姿坐标系
Figure GDA00025251212000000314
与所述相机理想位姿坐标系
Figure GDA00025251212000000315
下的Z轴坐标；B01是3×1的向量，描述了所述相机初始位姿坐标系
Figure GDA00025251212000000316
和所述相机理想位姿坐标系
Figure GDA00025251212000000317
之间的位移；
3.1.2)根据所述理想图像
Figure GDA00025251212000000318
与所述参考图像
Figure GDA00025251212000000319
中匹配的特征点的像素坐标，构造如下方程
Figure GDA00025251212000000320
其中dZ是为特征点
Figure GDA00025251212000000321
在所述相机参考位姿坐标系
Figure GDA00025251212000000322
与所述相机理想位姿坐标系
Figure GDA00025251212000000323
下的Z轴坐标的差值；B1a是3×1的向量描述了所述相机参考位姿坐标系
Figure GDA00025251212000000324
和所述相机理想位姿坐标系
Figure GDA00025251212000000325
之间的位移；
3.1.3)在所述理想图像
Figure GDA00025251212000000326
与所述参考图像
Figure GDA00025251212000000327
中，从所述步骤1)中的m0个特征点中选择m1个特征点，其中3≤m1≤m0，根据公式(四)，对每一个特征点建立两个方程，m1个特征点共有2m1个方程：
Figure GDA00025251212000000328
其中(B1a)1与(B1a)2分别表示所述B1a向量的第一个元素和第二个元素，并且η＝1,2,3,...m1；
3.1.4)求解由公式(五)构成的方程组，获取所述相机理想位姿坐标系
Figure GDA0002525121200000041
下各个特征点的深度估计值
Figure GDA0002525121200000042
3.1.5)将各特征点在所述相机理想位姿坐标系
Figure GDA0002525121200000043
下的所述深度估计值
Figure GDA0002525121200000044
代入公式(三)，对于各特征点
Figure GDA0002525121200000045
分别建立如下方程组：
Figure GDA0002525121200000046
其中，gmn是矩阵
Figure GDA0002525121200000047
的元素，m∈{1,2,3},n∈{1,2,3}；(B01)k是向量B01的元素,k∈{1,2,3}；
3.1.6)选择m2个特征点，m2≥6，根据(4)建立3m2个方程的方程组，求解所述方程组，获取所述无穷远射影单应性矩阵的真实值
Figure GDA0002525121200000048
的任意比例缩放值
Figure GDA0002525121200000049
3.1.7)对
Figure GDA00025251212000000410
进行如下计算，以获取无穷远射影单应性矩阵的真实值
Figure GDA00025251212000000411
Figure GDA00025251212000000412
其中，
Figure GDA00025251212000000413
优选地，所述步骤3)中，计算所述初始图像
Figure GDA00025251212000000423
与所述理想图像
Figure GDA00025251212000000415
之间的射影单应性矩阵的真实值G01的步骤如下：
3.2.1)任选所述目标物上的三个特征点，确定一个平面π；
3.2.2)任选三个不在所述平面π内的特征点
Figure GDA00025251212000000416
在所述理想图像
Figure GDA00025251212000000417
与所述初始图像
Figure GDA00025251212000000418
中的像素坐标，构造如下行列式方程：
Figure GDA00025251212000000419
3.2.3)选择m3个位于所述平面π外的点，其中m3≥5，在所述m3个点中任选3个根据公式(一)建立方程，运用排列组合建立
Figure GDA00025251212000000420
个方程组成方程组，
Figure GDA00025251212000000421
表示从m3个特征点中任选3个特征点的组合数量；
3.2.4)求解步骤3.2.3)中的所述方程组，得到与射影单应性矩阵的真实值G01相差倍数关系的矩阵
Figure GDA00025251212000000422
3.2.5)根据步骤3.1.5)、3.1.6)所述方程组的解，获取所述相机初始位姿坐标系
Figure GDA0002525121200000051
下各特征点的深度估计值
Figure GDA0002525121200000052
3.2.6)选择步骤3.2.1)所述的用于确定所述平面π的所述三个特征点中的任意一个特征点，根据如下公式计算射影单应性矩阵G01：
Figure GDA0002525121200000053
其中，
Figure GDA0002525121200000054
优选地，步骤4)中，生成射影单应性矩阵空间的轨迹G(t)的过程如下：
4.1)对步骤3.1.7)获得的所述无穷远射影单应性矩阵
Figure GDA0002525121200000055
进行如下特征值分解：
Figure GDA0002525121200000056
其中，
Figure GDA0002525121200000057
是所述无穷远射影单应性矩阵的真实值
Figure GDA0002525121200000058
的特征值组成的对角矩阵，i是虚部符号，Q1是由所述无穷远射影单应性矩阵的真实值
Figure GDA0002525121200000059
的特征向量组成的矩阵，θ0为所述相机理想位姿
Figure GDA00025251212000000510
与所述相机初始位姿
Figure GDA00025251212000000511
之间的旋转角；
4.2)根据下式得到t时刻的射影单应性矩阵空间的轨迹G(t)：
Figure GDA00025251212000000512
其中，t为归一化后的时间的取值，其中0≤t≤1，G∞(t)是规划的无穷远射影单应性矩阵空间的轨迹，G∞(t)根据下式获取：
Figure GDA00025251212000000513
其中，
Figure GDA00025251212000000514
θ(t)＝(1-t)θ0，θ0为所述相机理想位姿坐标系
Figure GDA00025251212000000515
与所述相机初始位姿坐标系
Figure GDA00025251212000000516
之间的旋转角。
总体而言，通过本发明所构思的以上技术方案与现有技术相比，能够取得下列有益效果：
1)本发明优化无标定条件下机器人视觉伺服系统的三维空间轨迹；
2)本发明扩大无标定条件下机器人视觉伺服系统的作业范围；
3)本发明通过计算射影单应性矩阵的真实值，提升无标定条件下视觉伺服系统的控制精度；
4)本发明提升无标定条件下机器人视觉伺服系统的鲁棒性
附图说明
图1是为相机在理想位姿、初始位姿、参考位姿对特征点进行成像的示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
本发明的基于射影单应性矩阵的机器人无标定视觉伺服轨迹规划方法，相机的内参数以及相机与机器人的手眼关系完全未知，所述轨迹规划是在射影单应性矩阵空间内进行，所规划出的单应性矩阵空间的轨迹等效对应于相机在三维空间中做直线平移运动，同时做旋转轨迹最短的绕轴旋转运动。
参照图1，本实施方式所规划的射影单应性矩阵空间的轨迹G(t)是关于时间t的矩阵函数，用于描述给定的t时刻相机所拍摄的图像与理想图像之间的射影单应性矩阵。所述基于射影单应性矩阵的机器人无标定视觉伺服轨迹规划方法，其具体步骤包括：
1)获取理想图像与参考图像：使用安装在机器人上的机载移动相机，针对目标上不少于8个不共面的特征点
Figure GDA0002525121200000061
其中λ＝1,2,3,...m0,m0不小于8，在相机理想位姿坐标系
Figure GDA0002525121200000062
下获取理想图像
Figure GDA0002525121200000063
理想图像
Figure GDA0002525121200000064
上各特征点的像素坐标
Figure GDA0002525121200000071
Figure GDA0002525121200000072
分别为理想图像
Figure GDA0002525121200000073
上第λ个特征点像素坐标的横坐标和纵坐标，随后在相机参考位姿坐标系
Figure GDA0002525121200000074
下获取参考图像
Figure GDA0002525121200000075
参考图像
Figure GDA00025251212000000745
上各特征点的像素坐标为
Figure GDA0002525121200000077
Figure GDA0002525121200000078
分别为参考图像
Figure GDA0002525121200000079
上第λ个特征点像素坐标的横坐标和纵坐标。
2)获取初始图像：在相机初始位姿坐标系
Figure GDA00025251212000000710
下获取初始图像
Figure GDA00025251212000000711
初始图像
Figure GDA00025251212000000746
上各特征点的像素坐标
Figure GDA00025251212000000713
Figure GDA00025251212000000714
分别为初始图像
Figure GDA00025251212000000715
上第λ个特征点像素坐标的横坐标和纵坐标。
3)计算射影单应性矩阵。根据所述理想图像
Figure GDA00025251212000000716
所述参考图像
Figure GDA00025251212000000717
以及所述初始图像
Figure GDA00025251212000000747
中各特征点的像素坐标，计算所述初始图像
Figure GDA00025251212000000719
与所述理想图像
Figure GDA00025251212000000720
之间的射影单应性矩阵的真实值G01以及无穷远射影单应性矩阵的真实值
Figure GDA00025251212000000721
计算所述初始图像
Figure GDA00025251212000000722
与所述理想图像
Figure GDA00025251212000000748
之间的无穷远射影单应性矩阵的真实值
Figure GDA00025251212000000724
的方法为：
(1)根据所述理想图像
Figure GDA00025251212000000725
与所述初始图像
Figure GDA00025251212000000726
中匹配的特征点的像素坐标，构造如下方程：
Figure GDA00025251212000000727
其中
Figure GDA00025251212000000728
和
Figure GDA00025251212000000729
分别为特征点
Figure GDA00025251212000000730
在所述相机初始位姿坐标系
Figure GDA00025251212000000731
与所述相机理想位姿坐标系
Figure GDA00025251212000000732
下的Z轴坐标；B01是3×1的向量，描述了所述相机初始位姿坐标系
Figure GDA00025251212000000733
和所述相机理想位姿坐标系
Figure GDA00025251212000000734
之间的位移；
(2)根据所述理想图像
Figure GDA00025251212000000735
与所述参考图像
Figure GDA00025251212000000736
中匹配的各个特征点的像素坐标，构造如下方程：
Figure GDA00025251212000000737
其中dZ是为特征点
Figure GDA00025251212000000738
在所述相机参考位姿坐标系
Figure GDA00025251212000000739
与所述相机理想位姿坐标系
Figure GDA00025251212000000740
下的Z轴坐标的差值；B1a是3×1的向量，描述了所述相机参考位姿坐标系
Figure GDA00025251212000000741
和所述相机理想位姿坐标系
Figure GDA00025251212000000742
之间位移；
(3)在所述理想图像
Figure GDA00025251212000000743
与所述参考图像
Figure GDA00025251212000000744
中，从所述步骤1)中的m0个特征点中选择m1个特征点，其中3≤m1≤m0，根据公式(2)，对每一个特征点建立两个方程，m1个特征点共有2m1个方程：
Figure GDA0002525121200000081
其中(B1a)1与(B1a)2分别表示所述B1a向量的第一个元素和第二个元素，并且η＝1,2,3,...m1；
(4)将上述方程组改写成矩阵形式：
Figure GDA0002525121200000082
对矩阵Aa进行SVD分解，Aa＝UDVT，U是2m1×2m1阶酉矩阵，D是2m1×(m1+3)阶对角矩阵，V是(m1+3)×(m1+3)阶酉矩阵，VT是V的转置，Aa最小的奇异值对应的V中的那一列即为上述方程的解,即可获得所述相机理想位姿坐标系
Figure GDA0002525121200000083
下各个特征点的深度估计值
Figure GDA0002525121200000084
(5)将所述特征点在所述相机理想位姿坐标系
Figure GDA0002525121200000085
下的深度估计值
Figure GDA0002525121200000086
代入公式(1)，对于每一个特征点
Figure GDA0002525121200000087
建立如下方程组：
Figure GDA0002525121200000088
其中，gmn是矩阵
Figure GDA0002525121200000089
的元素，m∈{1,2,3},n∈{1,2,3},(B01)k是向量B01的元素,k∈{1,2,3}；
(6)选择m2个特征点，m2≥6，根据式(4)建立3m2个方程的方程组：
Figure GDA0002525121200000091
对矩阵A0进行SVD分解，
Figure GDA0002525121200000092
U1是3m2×3m2阶酉矩阵，D1是3m2×(m2+12)阶对角矩阵，V1是(m2+12)×(m2+12)阶酉矩阵，
Figure GDA0002525121200000093
是V1的转置，A0最小的奇异值对应的V中的那一列即为上述方程的一组解，从而获取
Figure GDA0002525121200000094
的任意比例缩放值
Figure GDA0002525121200000095
(7)对
Figure GDA0002525121200000096
进行如下计算，以获取所述无穷远射影单应性矩阵的真实值
Figure GDA0002525121200000097
Figure GDA0002525121200000098
其中，
Figure GDA0002525121200000099
计算所述初始图像
Figure GDA00025251212000000922
与所述理想图像
Figure GDA00025251212000000911
之间的射影单应性矩阵真实值G01的方法为：
(8)任选三个特征点，如图1所示的
Figure GDA00025251212000000912
确定平面π；
(9)任选三个不在所述平面π内的特征点，如图1所示的
Figure GDA00025251212000000913
利用其在所述理想图像
Figure GDA00025251212000000914
与所述初始图像
Figure GDA00025251212000000915
中的像素坐标，构造如下行列式方程：
Figure GDA00025251212000000916
选择所述平面π上的三个点
Figure GDA00025251212000000917
使用其在所述初始图像
Figure GDA00025251212000000918
中的坐标
Figure GDA00025251212000000919
以及在所述理想图像
Figure GDA00025251212000000920
中的坐标
Figure GDA00025251212000000921
构造变换矩阵
Figure GDA0002525121200000101
M1＝[p1 1 p2 1 p3 1]。将各个点的图像像素坐标转化为：
Figure GDA0002525121200000102
其中
Figure GDA0002525121200000103
进一步，在M和M1下，将待求取的射影单应性矩阵转化为对角阵；
Figure GDA0002525121200000104
其中gu,gv,gw为
Figure GDA0002525121200000105
的对角线元素。将方程(6)转化为
Figure GDA0002525121200000106
将方程(8)进一步转化为如下方程：
Figure GDA0002525121200000107
其中
Figure GDA0002525121200000108
(10)选择m3个位于所述平面π外的点，其中m3≥5，在其中任选3个根据公式(9)建立方程，构造
Figure GDA0002525121200000109
个方程，组成方程组。采用SVD分解求解方程组，计算得到x。然后根据x建立如下方程
Figure GDA00025251212000001010
其中x1，x2，x3，...x7分别为x向量的第1到7个分量，同样采用奇异值分解方法求解出gu,gv,gw，最后根据公式(7)计算出与所述射影单应性矩阵的真实值G01相差倍数关系的矩阵
Figure GDA00025251212000001011
(11)求解公式(4)所述方程组，获取所述初始位姿坐标系
Figure GDA00025251212000001012
下各个特征点的深度估计值
Figure GDA00025251212000001013
(12)选择用于确定所述平面π的三个点中的任意一个
Figure GDA00025251212000001014
根据如下式子计算射影单应性矩阵的真实值G01：
Figure GDA00025251212000001015
其中，
Figure GDA00025251212000001016
4)生成射影单应性矩阵空间的轨迹。根据步骤3)中获取的所述射影单应性矩阵的真实值G01以及所述无穷远射影单应性矩阵的真实值
Figure GDA0002525121200000111
生成射影单应性矩阵空间的轨迹G(t)，具体方法为：
(1)对公式(5)所计算的所述初始图像
Figure GDA00025251212000001113
与所述理想图像
Figure GDA0002525121200000113
之间的所述无穷远射影单应性矩阵的真实值
Figure GDA0002525121200000114
进行特征分解，
Figure GDA0002525121200000115
其中，
Figure GDA0002525121200000116
是所述无穷远射影单应性矩阵的真实值
Figure GDA0002525121200000117
的特征值组成的对角矩阵，i是虚部符号，Q1是由特征向量组成的矩阵，θ0为所述相机理想位姿坐标系
Figure GDA0002525121200000118
与所述相机初始位姿坐标系
Figure GDA0002525121200000119
之间的旋转角；
(2)根据下式得到t时刻所述射影单应性矩阵空间的轨迹：
Figure GDA00025251212000001110
其中，t为归一化后的时间的取值，其中0≤t≤1，G∞(t)是所规划的所述无穷远射影单应性矩阵空间的轨迹，G∞(t)根据下式获取：
Figure GDA00025251212000001111
其中，
Figure GDA00025251212000001112
θ(t)＝(1-t)θ0。
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (4)

1.基于射影单应性矩阵的机器人无标定视觉伺服轨迹规划方法，其特征在于，所述方法包括如下步骤：
1)获取理想图像与参考图像：使用安装在机器人上的机载移动相机，针对目标上不少于8个不共面的特征点
Figure FDA0002534941030000011
其中λ＝1,2,3,...m0,m0不小于8，在相机理想位姿坐标系
Figure FDA0002534941030000012
下获取理想图像
Figure FDA0002534941030000013
理想图像
Figure FDA0002534941030000014
上各特征点的像素坐标
Figure FDA0002534941030000015
Figure FDA0002534941030000016
分别为理想图像
Figure FDA0002534941030000017
上第λ个特征点像素坐标的横坐标和纵坐标，随后在相机参考位姿坐标系
Figure FDA0002534941030000018
下获取参考图像
Figure FDA0002534941030000019
参考图像
Figure FDA00025349410300000110
上各特征点的像素坐标为
Figure FDA00025349410300000111
Figure FDA00025349410300000112
分别为参考图像
Figure FDA00025349410300000113
上第λ个特征点像素坐标的横坐标和纵坐标；
2)获取初始图像：在相机初始位姿坐标系
Figure FDA00025349410300000114
下获取初始图像
Figure FDA00025349410300000115
初始图像
Figure FDA00025349410300000116
上各特征点的像素坐标
Figure FDA00025349410300000117
Figure FDA00025349410300000118
分别为初始图像
Figure FDA00025349410300000119
上第λ个特征点像素坐标的横坐标和纵坐标；
3)计算射影单应性矩阵：根据所述理想图像
Figure FDA00025349410300000120
所述参考图像
Figure FDA00025349410300000121
以及所述初始图像
Figure FDA00025349410300000122
中各特征点的像素坐标，计算所述初始图像
Figure FDA00025349410300000123
与所述理想图像
Figure FDA00025349410300000124
之间的射影单应性矩阵的真实值G01以及无穷远射影单应性矩阵的真实值
Figure FDA00025349410300000125
其中计算所述射影单应性矩阵的真实值G01的步骤如下：
3.2.1)任选所述目标物上的三个特征点，确定一个平面π；
3.2.2)任选三个不在所述平面π内的特征点
Figure FDA00025349410300000126
上述三个特征点在所述理想图像
Figure FDA00025349410300000127
中的像素坐标为
Figure FDA00025349410300000128
上述三个特征点在所述初始图像
Figure FDA00025349410300000129
中的像素坐标为
Figure FDA00025349410300000130
从而构造如下行列式方程：
Figure FDA00025349410300000131
3.2.3)选择m3个位于所述平面π外的点，其中m3≥5，在所述m3个点中任选3个根据公式(一)建立方程，运用排列组合建立
Figure FDA00025349410300000132
个方程组成方程组，
Figure FDA0002534941030000021
表示从m3个特征点中任选3个特征点的组合数量；
3.2.4)求解步骤3.2.3)中的所述方程组，得到与射影单应性矩阵的真实值G01相差倍数关系的矩阵
Figure FDA0002534941030000022
3.2.5)获取所述相机初始位姿坐标系
Figure FDA0002534941030000023
下各特征点的深度估计值
Figure FDA0002534941030000024
3.2.6)选择步骤3.2.1)所述的用于确定所述平面π的所述三个特征点中的任意一个特征点，根据如下公式计算射影单应性矩阵G01：
Figure FDA0002534941030000025
其中，
Figure FDA0002534941030000026
Figure FDA0002534941030000027
为特征点
Figure FDA0002534941030000028
在相机理想位姿坐标系
Figure FDA0002534941030000029
下的深度估计值；
4)生成射影单应性矩阵空间的轨迹：根据步骤3)中获取的所述射影单应性矩阵的真实值G01以及所述无穷远射影单应性矩阵的真实值
Figure FDA00025349410300000210
生成射影单应性矩阵空间的轨迹G(t)。
2.根据权利要求1所述的基于射影单应性矩阵的机器人无标定视觉伺服轨迹规划方法，其特征在于，步骤1)中，所述相机参考位姿坐标系
Figure FDA00025349410300000211
是在所述相机理想位姿坐标系
Figure FDA00025349410300000212
的基础上，相机进行如下不改变姿态的平移运动获得：所述不改变姿态的平移运动所引起的每个特征点在图像上的像素坐标变化量均不少于10，且各特征点图像均不超出相机视场范围，所述相机参考位姿坐标系
Figure FDA00025349410300000213
与所述相机理想位姿坐标系
Figure FDA00025349410300000214
之间的旋转矩阵R1a＝I，其中I是单位矩阵。
3.根据权利要求1所述的基于射影单应性矩阵的机器人无标定视觉伺服轨迹规划方法，其特征在于，步骤3)中，计算所述初始图像
Figure FDA00025349410300000215
与所述理想图像
Figure FDA00025349410300000216
之间的无穷远射影单应性矩阵的真实值
Figure FDA00025349410300000217
的方法如下：
3.1.1)根据所述理想图像
Figure FDA00025349410300000218
与所述初始图像
Figure FDA00025349410300000219
中匹配的特征点的像素坐标，构造如下方程：
Figure FDA0002534941030000031
其中
Figure FDA0002534941030000032
和
Figure FDA0002534941030000033
分别为特征点
Figure FDA0002534941030000034
在所述相机初始位姿坐标系
Figure FDA0002534941030000035
与所述相机理想位姿坐标系
Figure FDA0002534941030000036
下的Z轴坐标；B01是3×1的向量，描述了所述相机初始位姿坐标系
Figure FDA0002534941030000037
和所述相机理想位姿坐标系
Figure FDA0002534941030000038
之间的位移；
3.1.2)根据所述理想图像
Figure FDA0002534941030000039
与所述参考图像
Figure FDA00025349410300000310
中匹配的特征点的像素坐标，构造如下方程
Figure FDA00025349410300000311
其中dZ是为特征点
Figure FDA00025349410300000312
在所述相机参考位姿坐标系
Figure FDA00025349410300000313
与所述相机理想位姿坐标系
Figure FDA00025349410300000314
下的Z轴坐标的差值；B1a是3×1的向量描述了所述相机参考位姿坐标系
Figure FDA00025349410300000315
和所述相机理想位姿坐标系
Figure FDA00025349410300000316
之间的位移；
3.1.3)在所述理想图像
Figure FDA00025349410300000317
与所述参考图像
Figure FDA00025349410300000318
中，从所述步骤1)中的m0个特征点中选择m1个特征点，其中3≤m1≤m0，根据公式(四)，对每一个特征点
Figure FDA00025349410300000319
利用特征点
Figure FDA00025349410300000320
在所述理想图像
Figure FDA00025349410300000321
中的像素坐标
Figure FDA00025349410300000322
以及特征点
Figure FDA00025349410300000323
在所述参考图像
Figure FDA00025349410300000324
中的像素坐标
Figure FDA00025349410300000325
建立两个方程，m1个特征点共有2m1个方程：
Figure FDA00025349410300000326
其中(B1a)1与(B1a)2分别表示所述B1a向量的第一个元素和第二个元素，
Figure FDA00025349410300000327
为所述特征点
Figure FDA00025349410300000328
在相机理想位姿坐标系
Figure FDA00025349410300000329
下的Z轴坐标，并且η＝1,2,3,...m1；
3.1.4)求解由公式(五)构成的方程组，获取所述相机理想位姿坐标系
Figure FDA00025349410300000330
下各个特征点的深度估计值
Figure FDA00025349410300000331
3.1.5)将各特征点在所述相机理想位姿坐标系
Figure FDA00025349410300000332
下的所述深度估计值
Figure FDA00025349410300000333
代入公式(三)，对于各特征点
Figure FDA00025349410300000334
分别建立如下方程组：
Figure FDA00025349410300000335
其中，gmn是矩阵
Figure FDA00025349410300000336
的元素，m∈{1,2,3},n∈{1,2,3}，(B01)k是向量B01的元素,k∈{1,2,3}，
Figure FDA0002534941030000041
为特征点
Figure FDA0002534941030000042
在初始图像
Figure FDA0002534941030000043
上像素坐标的横坐标和纵坐标；
3.1.6)选择m2个特征点，m2≥6，根据(4)建立3m2个方程的方程组，求解所述方程组，获取所述无穷远射影单应性矩阵的真实值
Figure FDA0002534941030000044
的任意比例缩放值
Figure FDA0002534941030000045
3.1.7)对
Figure FDA0002534941030000046
进行如下计算，以获取无穷远射影单应性矩阵的真实值
Figure FDA0002534941030000047
Figure FDA0002534941030000048
其中，
Figure FDA0002534941030000049
Figure FDA00025349410300000410
为与无穷远射影单应性矩阵的真实值
Figure FDA00025349410300000411
相差倍数关系的矩阵。
4.根据权利要求3所述的基于射影单应性矩阵的机器人无标定视觉伺服轨迹规划方法，其特征在于，步骤4)中，生成射影单应性矩阵空间的轨迹G(t)的过程如下：
4.1)对步骤3.1.7)获得的所述无穷远射影单应性矩阵
Figure FDA00025349410300000412
进行如下特征值分解：
Figure FDA00025349410300000413
其中，
Figure FDA00025349410300000414
是所述无穷远射影单应性矩阵的真实值
Figure FDA00025349410300000415
的特征值组成的对角矩阵，i是虚部符号，Q1是由所述无穷远射影单应性矩阵的真实值
Figure FDA00025349410300000416
的特征向量组成的矩阵，θ0为所述相机理想位姿
Figure FDA00025349410300000417
与所述相机初始位姿
Figure FDA00025349410300000418
之间的旋转角；
4.2)根据下式得到t时刻的射影单应性矩阵空间的轨迹G(t)：
Figure FDA00025349410300000419
其中，t为归一化后的时间的取值，其中0≤t≤1，G∞(t)是规划的无穷远射影单应性矩阵空间的轨迹，G∞(t)根据下式获取：
Figure FDA00025349410300000420
其中，
Figure FDA0002534941030000051
θ(t)＝(1-t)θ0，θ0为所述相机理想位姿坐标系
Figure FDA0002534941030000052
与所述相机初始位姿坐标系
Figure FDA0002534941030000053
之间的旋转角。
CN201810392600.5A 2018-04-27 2018-04-27 基于射影单应性矩阵的机器人无标定视觉伺服轨迹规划方法 Active CN108628310B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810392600.5A CN108628310B (zh) 2018-04-27 2018-04-27 基于射影单应性矩阵的机器人无标定视觉伺服轨迹规划方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810392600.5A CN108628310B (zh) 2018-04-27 2018-04-27 基于射影单应性矩阵的机器人无标定视觉伺服轨迹规划方法

Publications (2)

Publication Number Publication Date
CN108628310A CN108628310A (zh) 2018-10-09
CN108628310B true CN108628310B (zh) 2020-08-14

Family

ID=63694889

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810392600.5A Active CN108628310B (zh) 2018-04-27 2018-04-27 基于射影单应性矩阵的机器人无标定视觉伺服轨迹规划方法

Country Status (1)

Country Link
CN (1) CN108628310B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109634301B (zh) * 2018-12-05 2021-01-26 浙江大学 一种考虑视场角限制以及运动不确定性的结合记忆的旋翼飞行器高速飞行避障方法
CN111319037A (zh) * 2018-12-17 2020-06-23 中国科学院长春光学精密机械与物理研究所 冗余机器人无标定视觉伺服控制方法及系统
US11865724B2 (en) * 2021-04-26 2024-01-09 Ubkang (Qingdao) Technology Co., Ltd. Movement control method, mobile machine and non-transitory computer readable storage medium

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102682468A (zh) * 2011-03-15 2012-09-19 云南大学 一种基于平行平面和无穷远点的仿射重构的方法
CN106204625A (zh) * 2016-07-27 2016-12-07 大连理工大学 一种可变焦距柔性化位姿视觉测量方法
CN107901041B (zh) * 2017-12-15 2021-06-15 中南大学 一种基于图像混合矩的机器人视觉伺服控制方法

Also Published As

Publication number Publication date
CN108628310A (zh) 2018-10-09

Similar Documents

Publication Publication Date Title
CN110020985B (zh) 一种双目机器人的视频拼接系统及方法
CN108628310B (zh) 基于射影单应性矩阵的机器人无标定视觉伺服轨迹规划方法
US8174538B2 (en) Structure-preserving clone brush
Dame et al. Mutual information-based visual servoing
CN111754579B (zh) 多目相机外参确定方法及装置
CN107843251B (zh) 移动机器人的位姿估计方法
CN105976380B (zh) 一种基于视觉的机器人喷涂轨迹校准方法
CN107192375B (zh) 一种基于航拍姿态的无人机多帧图像自适应定位校正方法
CN107192376A (zh) 基于帧间连续性的无人机多帧图像目标定位校正方法
Zhi et al. Simultaneous hand-eye calibration and reconstruction
CN109325980A (zh) 一种用于机械手定位目标的方法、装置及机械手
CN110458896A (zh) 一种基于绝对二次曲面的相机内参求解方法及系统
Dinh et al. Rectification using different types of cameras attached to a vehicle
CN112862683A (zh) 一种基于弹性配准和网格优化的邻接图像拼接方法
CN115797461A (zh) 基于双目视觉的火焰空间定位系统标定与校正方法
CN112857328B (zh) 一种无标定摄影测量方法
CN108898550B (zh) 基于空间三角面片拟合的图像拼接方法
Kurz et al. Bundle adjustment for stereoscopic 3d
CN116797733A (zh) 实时三维物体动态重建方法
Schramm et al. Calibration free image point path planning simultaneously ensuring visibility and controlling camera path
Pathak et al. Distortion-robust spherical camera motion estimation via dense optical flow
Benhimane et al. Integration of Euclidean constraints in template based visual tracking of piecewise-planar scenes
Hata et al. CS231A Course Notes 3: Epipolar Geometry
CN109859268A (zh) 基于生成查询网络的物体被遮挡部分成像方法
Li et al. Depth-camera calibration optimization method based on homography matrix

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant