CN111931387A - 一种面向移动柱状组合体的视觉伺服趋近方法 - Google Patents

一种面向移动柱状组合体的视觉伺服趋近方法 Download PDF

Info

Publication number
CN111931387A
CN111931387A CN202011009179.9A CN202011009179A CN111931387A CN 111931387 A CN111931387 A CN 111931387A CN 202011009179 A CN202011009179 A CN 202011009179A CN 111931387 A CN111931387 A CN 111931387A
Authority
CN
China
Prior art keywords
visual
control input
visual servo
target
vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011009179.9A
Other languages
English (en)
Other versions
CN111931387B (zh
Inventor
沈添天
袁思敏
陈中祥
阳春华
骆明锐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dragon Totem Technology Hefei Co ltd
Original Assignee
Hunan Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hunan Normal University filed Critical Hunan Normal University
Priority to CN202011009179.9A priority Critical patent/CN111931387B/zh
Publication of CN111931387A publication Critical patent/CN111931387A/zh
Application granted granted Critical
Publication of CN111931387B publication Critical patent/CN111931387B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2111/00—Details relating to CAD techniques
    • G06F2111/04—Constraint-based CAD

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Computer Hardware Design (AREA)
  • Evolutionary Computation (AREA)
  • Geometry (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Manipulator (AREA)

Abstract

本申请公开了一种面向移动柱状组合体的视觉伺服趋近方法，包括：建立柱状组合体目标的视觉信息、目标模型参数和成像模型之间的关系；在成像视角范围内至少提取四个像素点坐标，构建面向柱状组合体目标的视觉伺服控制输入特征向量以及与其对应的雅可比转换矩阵；在视角约束时，对构建的控制输入特征向量和参照特征向量进行自适应重组，并得到与其对应的特征雅可比转换矩阵；对视觉伺服控制器的输出进行调校补偿，使视觉伺服系统趋近移动中的柱状组合体目标。这样充分利用柱状组合体目标成像的冗余视觉信息，可提高伺服系统针对图像噪声的鲁棒性，针对视角约束的自适应性和面向柱状组合体移动的适用性，促进视觉伺服控制面向移动目标时的全局收敛。

Description

一种面向移动柱状组合体的视觉伺服趋近方法
技术领域
本发明涉及视觉伺服控制技术领域，特别是涉及一种面向移动柱状组合体的视觉伺服趋近方法。
背景技术
视觉特征，包括视觉信息获取、匹配、跟踪和据此构建的控制输入特征一直以来都是制约视觉伺服控制技术的瓶颈之一。控制输入特征的构造及其对应的雅可比转换矩阵决定了相机运动控制的解耦程度，笛卡尔速率与特征误差之间变换的近似线性特性，伺服系统针对图像噪声与相机标定误差的鲁棒性等等；特征构造引入的噪声过大可引起伺服过程中雅可比转换矩阵计算的近似奇异化、完全不收敛或局部收敛等问题，尤其当距离期望位姿的旋转量较大时。当目标物移动时，还可导致伺服过程中的目标物超出相机的成像视角范围，从而中断有用视觉信息的提取和伺服控制输入特征的实时计算；与此同时，还可不断带来较大的特征误差，致使经典视觉伺服控制器失效。
面对工业过程中呈现的产品形态多样化及其动态特性，现代工业对机器人视觉伺服控制提出了高要求，如控制机械臂手眼系统自远处任意位姿迅速趋近观测到的动态目标物，进而对目标实施动态中的相关操作等。将视觉伺服控制技术运用于相关工业过程，仍需解决与应用环境有关的核心技术难题，包括环境条件、成像约束、目标形态多异和目标动态特性等。
柱状组合体，作为特殊形态中的一类，目前已有相关研究，但是面向的都是静态柱状目标，尚未考虑面向动态柱状目标的伺服趋近方式，未考虑在相机伺服运动和目标移动的过程中，提取视觉信息超出成像视角范围的应对处理技术。
发明内容
有鉴于此，本发明的目的在于提供一种面向移动柱状组合体的视觉伺服趋近方法，可以解决现有技术中针对特殊柱状组合体及其移动性的视觉伺服趋近问题。其具体方案如下：
一种面向移动柱状组合体的视觉伺服趋近方法，包括：
建立柱状组合体目标的视觉信息、目标模型参数和成像模型之间的关系；
根据建立的所述关系，在成像视角范围内至少提取四个像素点的坐标，构建面向柱状组合体目标的视觉伺服控制输入特征向量以及与构建的所述控制输入特征向量对应的雅可比转换矩阵；
在视角约束时，对构建的所述控制输入特征向量和参照特征向量进行自适应重组，并得到与重组后的所述控制输入特征向量对应的特征雅可比转换矩阵；
根据重组后的所述控制输入特征向量和所述参照特征向量以及得到的所述特征雅可比转换矩阵，对视觉伺服控制器的输出进行调校补偿，使视觉伺服系统趋近移动中的柱状组合体目标。
优选地，在本发明实施例提供的上述面向移动柱状组合体的视觉伺服趋近方法中，建立的柱状组合体目标的视觉信息、目标模型参数和成像模型之间的关系包括：
Figure 705143DEST_PATH_IMAGE001
其中，在成像视角范围内的像素点
Figure 96679DEST_PATH_IMAGE002
作为柱状组合体目标的视觉信息，
Figure 919142DEST_PATH_IMAGE003
，
Figure 920596DEST_PATH_IMAGE004
为端面成像的中心点像素坐标，
Figure 712971DEST_PATH_IMAGE005
为零阶图像矩，
Figure 850691DEST_PATH_IMAGE006
Figure 844055DEST_PATH_IMAGE007
、
Figure 942592DEST_PATH_IMAGE008
、
Figure 679604DEST_PATH_IMAGE009
为中心图像矩，
Figure 937410DEST_PATH_IMAGE010
为柱状组合体目标的曲面与成像面
Figure 836096DEST_PATH_IMAGE011
轴之间的夹角；
Figure 671197DEST_PATH_IMAGE012
位于以
Figure 78080DEST_PATH_IMAGE013
为中心，
Figure 800180DEST_PATH_IMAGE014
为半长轴，
Figure 135346DEST_PATH_IMAGE015
为半短轴的椭圆映射边缘上：
Figure 192164DEST_PATH_IMAGE016
且有，
Figure 270978DEST_PATH_IMAGE017
Figure 237797DEST_PATH_IMAGE018
Figure 852187DEST_PATH_IMAGE019
其中，将柱状组合体目标看作是一个圆的直线移动，该圆由一个中心为
Figure 802826DEST_PATH_IMAGE020
，
Figure 419752DEST_PATH_IMAGE021
为半径的球体与一个法向量为[
Figure 365711DEST_PATH_IMAGE022
]：
Figure 777101DEST_PATH_IMAGE023
的平面相交形成；
Figure 949456DEST_PATH_IMAGE024
为端面椭圆映射的倾斜角正切值。
优选地，在本发明实施例提供的上述面向移动柱状组合体的视觉伺服趋近方法中，采用下列公式构建面向柱状组合体目标的视觉伺服控制输入特征向量
Figure 370073DEST_PATH_IMAGE025
：
Figure 186850DEST_PATH_IMAGE026
Figure 769142DEST_PATH_IMAGE027
其中，
Figure 491110DEST_PATH_IMAGE028
为可视范围内像素坐标
Figure 292582DEST_PATH_IMAGE029
的均值，
Figure 213133DEST_PATH_IMAGE030
为可视范围内像素坐标
Figure 700746DEST_PATH_IMAGE031
的均值，
Figure 191902DEST_PATH_IMAGE032
为由像素点
Figure 954321DEST_PATH_IMAGE033
出发经过像素点
Figure 729379DEST_PATH_IMAGE034
的射线与成像面
Figure 919052DEST_PATH_IMAGE011
轴之间的夹角。
优选地，在本发明实施例提供的上述面向移动柱状组合体的视觉伺服趋近方法中，采用下列公式构建与所述控制输入特征向量对应的雅可比转换矩阵
Figure 553296DEST_PATH_IMAGE035
：
Figure 853827DEST_PATH_IMAGE036
Figure 998238DEST_PATH_IMAGE037
Figure 358812DEST_PATH_IMAGE038
Figure 214773DEST_PATH_IMAGE039
其中，
Figure 178050DEST_PATH_IMAGE040
为特征
Figure 537487DEST_PATH_IMAGE028
对应的雅可比转换向量，是雅可比转换矩阵
Figure 944329DEST_PATH_IMAGE041
中的第一个行向量，
Figure 84323DEST_PATH_IMAGE042
为特征
Figure 726657DEST_PATH_IMAGE030
对应的雅可比转换向量，是雅可比转换矩阵
Figure 376819DEST_PATH_IMAGE041
中的第二个行向量，
Figure 79196DEST_PATH_IMAGE043
为特征
Figure 785115DEST_PATH_IMAGE032
对应的雅可比转换矩阵中的其余分项，
Figure 231139DEST_PATH_IMAGE044
和
Figure 96327DEST_PATH_IMAGE045
分别为特征
Figure 969605DEST_PATH_IMAGE029
和
Figure 146509DEST_PATH_IMAGE031
对应的雅可比转换向量。
优选地，在本发明实施例提供的上述面向移动柱状组合体的视觉伺服趋近方法中，在构建与所述控制输入特征向量对应的雅可比转换矩阵之前，还包括：
建立像素点坐标与成像焦点空间运动速率之间的转换关系；所述转换关系如下：
Figure 130645DEST_PATH_IMAGE046
Figure 850340DEST_PATH_IMAGE047
其中，
Figure 2841DEST_PATH_IMAGE048
为针孔相机模型的成像焦点空间运动速率，
Figure 276828DEST_PATH_IMAGE049
分别表示在相机参考坐标系中成像焦点沿轴
Figure 923710DEST_PATH_IMAGE050
的运动速率，
Figure 232331DEST_PATH_IMAGE051
分别表示在相机参考坐标系中成像焦点绕轴
Figure 322778DEST_PATH_IMAGE050
的旋转速率。
优选地，在本发明实施例提供的上述面向移动柱状组合体的视觉伺服趋近方法中，采用下列公式计算
Figure 615219DEST_PATH_IMAGE044
和
Figure 941158DEST_PATH_IMAGE045
：
Figure 635445DEST_PATH_IMAGE052
Figure 880481DEST_PATH_IMAGE053
Figure 394639DEST_PATH_IMAGE054
其中，
Figure 524269DEST_PATH_IMAGE055
、
Figure 446964DEST_PATH_IMAGE056
、
Figure 3847DEST_PATH_IMAGE057
、
Figure 739722DEST_PATH_IMAGE058
、
Figure 797677DEST_PATH_IMAGE059
、
Figure 200976DEST_PATH_IMAGE060
、
Figure 928761DEST_PATH_IMAGE061
为其下标所示各个特征对应的雅可比转换向量；
Figure 417511DEST_PATH_IMAGE062
为图像矩特征。
优选地，在本发明实施例提供的上述面向移动柱状组合体的视觉伺服趋近方法中，对构建的所述控制输入特征向量进行自适应重组，具体包括：
引入一个用于标识
Figure 29889DEST_PATH_IMAGE063
满足视角约束的情况的标识量
Figure 22116DEST_PATH_IMAGE064
，标识量初始化为
Figure 920802DEST_PATH_IMAGE065
,视觉伺服控制迭代过程中，实时判断提取像素坐标
Figure 21482DEST_PATH_IMAGE066
和
Figure 296605DEST_PATH_IMAGE031
的取值范围，当
Figure 408918DEST_PATH_IMAGE067
或
Figure 852406DEST_PATH_IMAGE068
时，设置标识量
Figure 50169DEST_PATH_IMAGE069
;
Figure 128984DEST_PATH_IMAGE070
表示针孔相机的成像分辨率；令
Figure 95803DEST_PATH_IMAGE071
当
Figure 726504DEST_PATH_IMAGE072
，终止视觉伺服；若
Figure 145984DEST_PATH_IMAGE073
，则引入一个标识矩阵：
Figure 762910DEST_PATH_IMAGE074
Figure 725181DEST_PATH_IMAGE075
用于记录
Figure 402150DEST_PATH_IMAGE076
时相应特征位于特征向量中的位置，
Figure 574506DEST_PATH_IMAGE077
和
Figure 995123DEST_PATH_IMAGE078
用于记录满足
Figure 795588DEST_PATH_IMAGE079
的
Figure 643459DEST_PATH_IMAGE080
取值；记特征向量初始化取值为：
Figure 303110DEST_PATH_IMAGE081
得到重组后的特征向量如下：
Figure 635740DEST_PATH_IMAGE082
Figure 697237DEST_PATH_IMAGE083
其中，
Figure 450430DEST_PATH_IMAGE084
、
Figure 456432DEST_PATH_IMAGE085
分别为经过筛选后的
Figure 218851DEST_PATH_IMAGE029
和
Figure 134855DEST_PATH_IMAGE031
。
优选地，在本发明实施例提供的上述面向移动柱状组合体的视觉伺服趋近方法中，采用下列公式得到与重组后的所述控制输入特征向量对应的特征雅可比转换矩阵：
Figure 324528DEST_PATH_IMAGE086
Figure 568558DEST_PATH_IMAGE087
其中，
Figure 869090DEST_PATH_IMAGE088
、
Figure 905179DEST_PATH_IMAGE089
、
Figure 124807DEST_PATH_IMAGE090
、
Figure 980768DEST_PATH_IMAGE091
、
Figure 84990DEST_PATH_IMAGE092
分别为特征
Figure 975586DEST_PATH_IMAGE093
、
Figure 880963DEST_PATH_IMAGE094
、
Figure 958640DEST_PATH_IMAGE095
、
Figure 600974DEST_PATH_IMAGE084
、
Figure 470710DEST_PATH_IMAGE096
对应的雅可比转换向量。
优选地，在本发明实施例提供的上述面向移动柱状组合体的视觉伺服趋近方法中，根据重组后的所述控制输入特征向量和所述参照特征向量以及得到的所述特征雅可比转换矩阵，对视觉伺服控制器的输出进行调校补偿，具体包括：
在动态环境下，通过在视觉伺服控制器中引入参照特征的校正量和视觉伺服控制器输出的动态补偿量，结合重组后的所述控制输入特征向量和所述参照特征向量以及得到的所述特征雅可比转换矩阵，对视觉伺服控制器的输出进行调校补偿。
优选地，在本发明实施例提供的上述面向移动柱状组合体的视觉伺服趋近方法中，采用下列公式计算针孔相机模型的成像焦点空间运动速率
Figure 907508DEST_PATH_IMAGE048
：
Figure 347847DEST_PATH_IMAGE097
其中，
Figure 793872DEST_PATH_IMAGE098
为控制器增益，
Figure 393481DEST_PATH_IMAGE099
是雅可比转换矩阵
Figure 266759DEST_PATH_IMAGE041
的广义逆估计，
Figure 709241DEST_PATH_IMAGE100
表示相机运动至姿态
Figure 693378DEST_PATH_IMAGE101
的时间
Figure 147493DEST_PATH_IMAGE102
距离当前时间
Figure 299995DEST_PATH_IMAGE103
的时间间隔，
Figure 105140DEST_PATH_IMAGE104
记录了机械臂手持相机运动的中间节点位姿，
Figure 892967DEST_PATH_IMAGE105
表示视觉伺服的起始位姿，
Figure 591802DEST_PATH_IMAGE106
包含目标沿期望相机位姿坐标系中的轴
Figure 806882DEST_PATH_IMAGE107
的移动速率，
Figure 99323DEST_PATH_IMAGE108
表示目标物的三维坐标，
Figure 425262DEST_PATH_IMAGE109
表示相机在任意两个位姿之间做机械运动需要的时间间隔；
Figure 729336DEST_PATH_IMAGE110
为参照特征的校正量，取决于相机内部参数、目标所在位置
Figure 115318DEST_PATH_IMAGE111
、目标移动方向和速率
Figure 629476DEST_PATH_IMAGE112
和伺服输入特征的计算模型；
Figure 883740DEST_PATH_IMAGE113
为视觉伺服控制器输出的动态补偿量，取决于相机姿态
Figure 432533DEST_PATH_IMAGE114
、相机机械运动时间间隔
Figure 989416DEST_PATH_IMAGE115
和目标移动方向和速率
Figure 990870DEST_PATH_IMAGE106
。
从上述技术方案可以看出，本发明所提供的一种面向移动柱状组合体的视觉伺服趋近方法，包括：建立柱状组合体目标的视觉信息、目标模型参数和成像模型之间的关系；根据建立的关系，在成像视角范围内至少提取四个像素点的坐标，构建面向柱状组合体目标的视觉伺服控制输入特征向量以及与构建的控制输入特征向量对应的雅可比转换矩阵；在视角约束时，对构建的控制输入特征向量和参照特征向量进行自适应重组，并得到与重组后的控制输入特征向量对应的特征雅可比转换矩阵；根据重组后的控制输入特征向量和参照特征向量以及得到的特征雅可比转换矩阵，对视觉伺服控制器的输出进行调校补偿，使视觉伺服系统趋近移动中的柱状组合体目标。
本发明充分利用柱状组合体目标成像的冗余视觉信息，构建新的伺服控制输入特征向量及其在部分视觉信息缺失情形下的特征输入自适应重组方式，可以提高伺服系统针对图像噪声的鲁棒性，针对视角约束的自适应性和面向柱状组合体移动的适用性，促进视觉伺服控制面向移动柱状组合体目标时的全局收敛，降低了视觉伺服系统对整体目标全程可视的视角约束依赖。
附图说明
为了更清楚地说明本发明实施例或相关技术中的技术方案，下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本发明实施例提供的面向移动柱状组合体的视觉伺服趋近方法的流程图；
图2为本发明实施例提供的移动柱状组合体视觉信息示意图；
图3为本发明实施例提供的视觉伺服控制输入特征向量示意图；
图4为本发明实施例提供的视觉伺服控制输入特征向量自适应重组示意图；
图5为本发明实施例提供的面向移动柱状组合体的视觉伺服趋近流程框架示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明提供一种面向移动柱状组合体的视觉伺服趋近方法，如图1所示，包括以下步骤：
S101、建立柱状组合体目标的视觉信息、目标模型参数和成像模型之间的关系；
S102、根据建立的关系，在成像视角范围内至少提取四个像素点的坐标，构建面向柱状组合体目标的视觉伺服控制输入特征向量以及与构建的控制输入特征向量对应的雅可比转换矩阵；
具体地，利用柱状组合体成像的冗余视觉信息，提出新的伺服控制输入特征向量，构建与特征向量相关联的雅可比转换矩阵，可以提升视觉伺服系统的抗噪性；
S103、在视角约束时（即在部分视觉信息缺失情形下），对构建的控制输入特征向量和参照特征向量进行自适应重组，并得到与重组后的控制输入特征向量对应的特征雅可比转换矩阵；
上述自适应重组的变更方式，可以降低视觉伺服系统对趋近目标的整体全程可视化要求；
S104、根据重组后的控制输入特征向量和参照特征向量以及得到的特征雅可比转换矩阵，对视觉伺服控制器的输出进行调校补偿，使视觉伺服系统趋近移动中的柱状组合体目标；
需要说明的是，上述面向移动柱状组合体的视觉伺服控制调校补偿方式，可以使得视觉伺服系统得以趋近移动中的柱状组合体目标，收敛到期望特征值的同时，收敛到相对目标移动不变的期望相机位姿；该方式有利于视觉伺服技术面向特殊形态组合体处于静动态环境中的应用。
在本发明实施例提供的上述面向移动柱状组合体的视觉伺服趋近方法中，采用新的控制输入及其雅可比转换矩阵，充分利用到柱状组合目标成像面映射整体带来的视觉冗余信息，为特征向量及其雅可比在缺失部分信息情形下的自适应重组方法提供了先决条件；降低了视觉伺服系统对整体目标全程可视的视角约束依赖，利于静态环境下的视觉伺服全局收敛，也利于适用于趋近移动中的目标。
在具体实施时，在本发明实施例提供的上述面向移动柱状组合体的视觉伺服趋近方法中，如图2所示，步骤S101建立的柱状组合体目标的视觉信息与目标模型参数和成像模型之间的关系可以包括：
Figure 32513DEST_PATH_IMAGE001
其中，在成像视角范围内的像素点
Figure 435813DEST_PATH_IMAGE002
作为柱状组合体目标的视觉信息，
Figure 163597DEST_PATH_IMAGE003
，
Figure 776981DEST_PATH_IMAGE004
为端面成像的中心点像素坐标，
Figure 982835DEST_PATH_IMAGE005
为零阶图像矩，
Figure 240641DEST_PATH_IMAGE007
、
Figure 280272DEST_PATH_IMAGE116
、
Figure 256318DEST_PATH_IMAGE009
为中心图像矩，
Figure 265862DEST_PATH_IMAGE010
为柱状组合体目标的曲面与成像面
Figure 502809DEST_PATH_IMAGE117
轴之间的夹角；
Figure 572396DEST_PATH_IMAGE012
位于以
Figure 35738DEST_PATH_IMAGE013
为中心，
Figure 957296DEST_PATH_IMAGE014
Figure 189694DEST_PATH_IMAGE118
为半长轴，
Figure 695762DEST_PATH_IMAGE015
为半短轴的椭圆映射边缘上：
Figure 239875DEST_PATH_IMAGE016
且有，
Figure 856802DEST_PATH_IMAGE017
Figure 943706DEST_PATH_IMAGE018
Figure 620675DEST_PATH_IMAGE019
其中，将柱状组合体目标看作是一个圆的直线移动，该圆由一个中心为
Figure 668397DEST_PATH_IMAGE119
，
Figure 557855DEST_PATH_IMAGE021
为半径的球体与一个法向量为[
Figure 764846DEST_PATH_IMAGE120
]：
Figure 737350DEST_PATH_IMAGE121
的平面相交形成；
Figure 131422DEST_PATH_IMAGE122
为端面椭圆映射的倾斜角正切值。
在具体实施时，在本发明实施例提供的上述面向移动柱状组合体的视觉伺服趋近方法中，在执行步骤S102时，基于像素点坐标
Figure 90151DEST_PATH_IMAGE002
，
Figure 259970DEST_PATH_IMAGE123
，采用下列公式构建面向柱状组合体目标的视觉伺服控制输入特征向量
Figure 278741DEST_PATH_IMAGE124
：
Figure 160110DEST_PATH_IMAGE125
Figure 47163DEST_PATH_IMAGE027
其中，如图3和图4所示，
Figure 697587DEST_PATH_IMAGE028
为可视范围内像素坐标
Figure 621681DEST_PATH_IMAGE029
的均值，
Figure 131291DEST_PATH_IMAGE030
为可视范围内像素坐标
Figure 431822DEST_PATH_IMAGE031
的均值，
Figure 467911DEST_PATH_IMAGE032
描述的是像素点
Figure 562906DEST_PATH_IMAGE126
到像素点
Figure 543501DEST_PATH_IMAGE127
的方向，也即由像素点
Figure 490466DEST_PATH_IMAGE033
出发经过像素点
Figure 443378DEST_PATH_IMAGE034
的射线与成像面
Figure 443695DEST_PATH_IMAGE011
轴之间的夹角，符号
Figure 662318DEST_PATH_IMAGE128
表示任意向量或者矩阵的转置运算。作为视觉伺服控制器的输入特征向量，至少需要四对
Figure 304652DEST_PATH_IMAGE129
在成像视角范围内可提取，从而确保特征向量中含有至少六个元素，避免特征相关雅可比转换矩阵可能的奇异化问题。
进一步地，在具体实施时，在本发明实施例提供的上述面向移动柱状组合体的视觉伺服趋近方法中，在已知特征
Figure 49754DEST_PATH_IMAGE130
相对应的雅可比矩阵
Figure 876765DEST_PATH_IMAGE131
构造前提下，首先建立像素点坐标与成像焦点空间运动速率之间的转换关系，即建立成像面特征到成像焦点笛卡尔空间坐标之间的转换关系；转换关系如下：
Figure 753323DEST_PATH_IMAGE046
Figure 199348DEST_PATH_IMAGE047
其中，
Figure 923590DEST_PATH_IMAGE048
为针孔相机模型的成像焦点空间运动速率，
Figure 531289DEST_PATH_IMAGE132
分别表示在相机参考坐标系中成像焦点沿轴
Figure 849138DEST_PATH_IMAGE050
的运动速率，
Figure 708641DEST_PATH_IMAGE133
分别表示在相机参考坐标系中成像焦点绕轴
Figure 428335DEST_PATH_IMAGE107
的旋转速率，符号
Figure 472514DEST_PATH_IMAGE134
表示对时间
Figure 277659DEST_PATH_IMAGE135
求导。
其中，雅可比转换矩阵模型为：
Figure 924541DEST_PATH_IMAGE052
Figure 498742DEST_PATH_IMAGE053
Figure 713823DEST_PATH_IMAGE054
其中，
Figure 138023DEST_PATH_IMAGE055
、
Figure 729542DEST_PATH_IMAGE056
、
Figure 892670DEST_PATH_IMAGE057
、
Figure 403286DEST_PATH_IMAGE058
、
Figure 917444DEST_PATH_IMAGE059
、
Figure 47074DEST_PATH_IMAGE060
、
Figure 940074DEST_PATH_IMAGE061
为其下标所示各个特征对应的雅可比转换向量；
Figure 762537DEST_PATH_IMAGE062
为图像矩特征。
需要说明的是，上述圆柱体在图像面投影的两条直线可以推导为：
Figure 763991DEST_PATH_IMAGE136
另外，需要说明的是，
Figure 556366DEST_PATH_IMAGE137
是
Figure 694087DEST_PATH_IMAGE138
的系数，
Figure 687451DEST_PATH_IMAGE055
、
Figure 550102DEST_PATH_IMAGE056
、
Figure 21535DEST_PATH_IMAGE057
、
Figure 279341DEST_PATH_IMAGE058
、
Figure 443606DEST_PATH_IMAGE059
、
Figure 278707DEST_PATH_IMAGE060
、
Figure 288251DEST_PATH_IMAGE061
也可以作为矩阵，单个特征对应的是向量，多个特征叠加的时候，雅可比转换向量也相应叠加成了矩阵，而
Figure 666143DEST_PATH_IMAGE139
和
Figure 611096DEST_PATH_IMAGE045
的计算是
Figure 74438DEST_PATH_IMAGE055
、
Figure 887674DEST_PATH_IMAGE056
、
Figure 120072DEST_PATH_IMAGE057
、
Figure 485194DEST_PATH_IMAGE058
、
Figure 435833DEST_PATH_IMAGE059
、
Figure 787179DEST_PATH_IMAGE060
的线性叠加。每一个特征对应的雅可比转换向量都乘以了相应的系数（比例）再做叠加运算。
在这个基础上，采用下列公式构建与控制输入特征向量
Figure 247986DEST_PATH_IMAGE124
对应的雅可比转换矩阵
Figure 924955DEST_PATH_IMAGE041
：
Figure 97310DEST_PATH_IMAGE036
假设
Figure 252348DEST_PATH_IMAGE127
均可视范围内，则可得到上式雅可比转换矩阵中的各个分项为：
Figure 583972DEST_PATH_IMAGE037
Figure 166263DEST_PATH_IMAGE038
Figure 560335DEST_PATH_IMAGE039
其中，
Figure 394430DEST_PATH_IMAGE040
为特征
Figure 455927DEST_PATH_IMAGE028
对应的雅可比转换向量，是雅可比转换矩阵
Figure 474699DEST_PATH_IMAGE041
中的第一个行向量，
Figure 480701DEST_PATH_IMAGE042
为特征
Figure 977541DEST_PATH_IMAGE140
对应的雅可比转换向量，是雅可比转换矩阵
Figure 627965DEST_PATH_IMAGE041
中的第二个行向量，
Figure 191540DEST_PATH_IMAGE043
为特征
Figure 825783DEST_PATH_IMAGE141
对应的雅可比转换矩阵中的其余分项，
Figure 126315DEST_PATH_IMAGE044
和
Figure 896825DEST_PATH_IMAGE045
分别为特征
Figure 382033DEST_PATH_IMAGE029
和
Figure 237993DEST_PATH_IMAGE031
对应的雅可比转换向量。
在具体实施时，在本发明实施例提供的上述面向移动柱状组合体的视觉伺服趋近方法中，在执行步骤103中，对构建的控制输入特征向量进行自适应重组，具体可以包括：
引入一个用于标识
Figure 76636DEST_PATH_IMAGE063
满足视角约束的情况的标识量
Figure 842598DEST_PATH_IMAGE064
，标识量初始化为
Figure 374073DEST_PATH_IMAGE065
,视觉伺服控制迭代过程中，实时判断提取像素坐标
Figure 717330DEST_PATH_IMAGE066
和
Figure 625243DEST_PATH_IMAGE142
的取值范围，当
Figure 229400DEST_PATH_IMAGE067
或
Figure 931777DEST_PATH_IMAGE068
时，设置标识量
Figure 762329DEST_PATH_IMAGE069
;
Figure 316676DEST_PATH_IMAGE070
表示针孔相机的成像分辨率，即图像的大小，单位为像素；令令
Figure 181864DEST_PATH_IMAGE071
当
Figure 789563DEST_PATH_IMAGE072
，终止视觉伺服；若
Figure 232046DEST_PATH_IMAGE073
，则引入一个标识矩阵：
Figure 216182DEST_PATH_IMAGE074
Figure 935877DEST_PATH_IMAGE075
用于记录
Figure 980056DEST_PATH_IMAGE076
时相应特征位于特征向量中的位置，
Figure 660567DEST_PATH_IMAGE077
和
Figure 182815DEST_PATH_IMAGE078
用于记录满足
Figure 757016DEST_PATH_IMAGE079
的
Figure 96731DEST_PATH_IMAGE080
取值；记特征向量初始化取值为：
Figure 123592DEST_PATH_IMAGE143
得到重组后的特征向量如下：
Figure 449532DEST_PATH_IMAGE144
（1）
Figure 252140DEST_PATH_IMAGE145
其中，
Figure 638122DEST_PATH_IMAGE146
、
Figure 417859DEST_PATH_IMAGE147
分别为经过筛选后的
Figure 547489DEST_PATH_IMAGE066
和
Figure 689758DEST_PATH_IMAGE031
。
可以理解的是，如图2所示，i的取值有1，2，3； j的取值有1和2。因此图2上面标明的柱状组合体特征点有3*2=6个，分别是(X11,Y11), (X12,Y12), (X21,Y21), (X22,Y22), (X31,Y31), (X32,Y32)；按照构建的视觉伺服控制输入特征向量
Figure 512220DEST_PATH_IMAGE148
，相当于s1=
Figure 513674DEST_PATH_IMAGE149
，s2=
Figure 791203DEST_PATH_IMAGE030
, s3中的3是由
Figure 194503DEST_PATH_IMAGE141
的下标计算而来。例如i=1, j=1, 那么
Figure 187866DEST_PATH_IMAGE150
的下标
Figure 535671DEST_PATH_IMAGE151
由2i+j=2+1=3； i=1, j=2, 那么
Figure 7104DEST_PATH_IMAGE150
的下标
Figure 576494DEST_PATH_IMAGE151
由2i+j=2+2=4, 即s4对应于的
Figure 334235DEST_PATH_IMAGE032
，i=1，j=2。
需要注意的是，视觉伺服控制相机/机械臂运动的过程中，不一定六个特征点(X11,Y11), (X12,Y12), (X21,Y21), (X22,Y22), (X31,Y31), (X32,Y32)都一直处在相机的成像视角范围内。如果中途，某个点接近了视角边缘，即将超出成像视角范围，则设置标识量
Figure 310281DEST_PATH_IMAGE152
。
如果根据标识量
Figure 195191DEST_PATH_IMAGE079
，判断某个i, j取值对应的特征点
Figure 307504DEST_PATH_IMAGE002
满足视角约束（也即在成像面上可以提取到该特征点的像素坐标），则记录该i, j值。如果六个特征点都在视角范围内，那么i和j的取值组合有6个，也就是G最多有6行，n最多取到6, n<=6。
Figure 642670DEST_PATH_IMAGE153
、
Figure 840433DEST_PATH_IMAGE154
用于记录满足
Figure 778302DEST_PATH_IMAGE079
的i, j取值。例如，如果(X11,Y11)在成像视角范围内，则
Figure 10701DEST_PATH_IMAGE155
,则i1=1, j1=1, g1=3; 如果(X12,Y12)不满足视角约束，
Figure 251189DEST_PATH_IMAGE156
, 但是(X21,Y21)满足，
Figure 575729DEST_PATH_IMAGE157
,那么i2=2, j2=1,g2=5; 以此类推。
进一步地，在具体实施时，在本发明实施例提供的上述面向移动柱状组合体的视觉伺服趋近方法中，采用下列公式得到与重组后的控制输入特征向量对应的特征雅可比转换矩阵：
Figure 192655DEST_PATH_IMAGE158
（2）
Figure 279560DEST_PATH_IMAGE159
其中，
Figure 550004DEST_PATH_IMAGE088
、
Figure 722359DEST_PATH_IMAGE089
、
Figure 142977DEST_PATH_IMAGE090
、
Figure 84388DEST_PATH_IMAGE160
、
Figure 807624DEST_PATH_IMAGE092
分别为特征
Figure 467276DEST_PATH_IMAGE149
、
Figure 160425DEST_PATH_IMAGE030
、
Figure 346556DEST_PATH_IMAGE161
、
Figure 365327DEST_PATH_IMAGE146
、
Figure 246696DEST_PATH_IMAGE147
对应的雅可比转换向量。本质上来说，
Figure 9115DEST_PATH_IMAGE162
就是在
Figure 299020DEST_PATH_IMAGE163
与
Figure 488693DEST_PATH_IMAGE096
之间交替，根据k的不同取值。
需要说明的是，视觉伺服控制应用中，根据式（1）和式（2），实时更新控制输入特征向量和雅可比转换矩阵，实现控制输入的重组，适应于视觉伺服技术对信息的视角约束要求。
在实际应用中，静态环境下的视觉伺服全局收敛，是视觉伺服系统适用于移动目标的前提。如图5所示，在静态环境中，瞬时特征变化量
Figure 122937DEST_PATH_IMAGE164
仅仅源于机械臂末端相机的运动，需根据实时提取的视觉信息与式（1）计算现有特征向量
Figure 282523DEST_PATH_IMAGE165
；此时的参照特征值
Figure 53033DEST_PATH_IMAGE166
固定不变，但参照特征向量的结构需根据视觉约束条件下重组的
Figure 413607DEST_PATH_IMAGE167
结构进行相似的重组更新得到
Figure 269567DEST_PATH_IMAGE168
，再根据式（2）得到实时重组的
Figure 249156DEST_PATH_IMAGE169
代入视觉伺服控制器：
Figure 139751DEST_PATH_IMAGE170
其中，
Figure 671227DEST_PATH_IMAGE098
为控制器增益，
Figure 14484DEST_PATH_IMAGE099
是雅可比转换矩阵
Figure 781451DEST_PATH_IMAGE041
的广义逆估计，估计值包含了深度估计误差，相机标定误差，图像噪声的影响等。静态环境下的视觉伺服趋近过程，也可能出现所采用的视觉信息短时脱离视角约束范围的情况。在本发明中，通过特征向量及其相关雅可比矩阵的自适应重组方法，可以应对部分视觉信息缺失的情形，促进视觉伺服系统的全局收敛，为适用于动态环境下的移动目标创造更好的条件。
动态环境下，通过引入参照特征的校正量和伺服控制器输出的动态补偿量可以提高伺服系统在动态环境下的适用型，在具体实施时，采用下列公式计算针孔相机模型的成像焦点空间运动速率
Figure 526553DEST_PATH_IMAGE048
：
Figure 228930DEST_PATH_IMAGE171
其中，
Figure 167805DEST_PATH_IMAGE098
为控制器增益，
Figure 613830DEST_PATH_IMAGE172
是雅可比转换矩阵
Figure 479018DEST_PATH_IMAGE041
的广义逆估计，
Figure 352296DEST_PATH_IMAGE173
表示相机运动至姿态
Figure 529199DEST_PATH_IMAGE101
的时间
Figure 778915DEST_PATH_IMAGE102
距离当前时间
Figure 498609DEST_PATH_IMAGE174
的时间间隔，
Figure 542789DEST_PATH_IMAGE175
记录了机械臂手持相机运动的中间节点位姿，
Figure 957721DEST_PATH_IMAGE176
表示视觉伺服的起始位姿（对应于起始时间
Figure 479969DEST_PATH_IMAGE177
=0），
Figure 54170DEST_PATH_IMAGE106
包含目标沿期望相机位姿坐标系中的轴
Figure 393884DEST_PATH_IMAGE107
的移动速率，
Figure 686325DEST_PATH_IMAGE178
表示目标物的三维坐标，
Figure 12264DEST_PATH_IMAGE115
表示相机在任意两个位姿之间做机械运动需要的时间间隔；
Figure 706551DEST_PATH_IMAGE110
为参照特征的校正量，取决于相机内部参数、目标所在位置
Figure 466434DEST_PATH_IMAGE108
、目标移动方向和速率
Figure 715013DEST_PATH_IMAGE106
和伺服输入特征的计算模型等；
Figure 844643DEST_PATH_IMAGE113
为视觉伺服控制器输出的动态补偿量，取决于相机姿态
Figure 518070DEST_PATH_IMAGE101
、相机机械运动时间间隔
Figure 74953DEST_PATH_IMAGE179
和目标移动方向和速率
Figure 76407DEST_PATH_IMAGE106
等。
专业人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器（RAM）、内存、只读存储器（ROM）、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
本发明实施例提供的一种面向移动柱状组合体的视觉伺服趋近方法，包括：建立柱状组合体目标的视觉信息、目标模型参数和成像模型之间的关系；根据建立的关系，在成像视角范围内至少提取四个像素点的坐标，构建面向柱状组合体目标的视觉伺服控制输入特征向量以及与构建的控制输入特征向量对应的雅可比转换矩阵；在视角约束时，对构建的控制输入特征向量和参照特征向量进行自适应重组，并得到与重组后的控制输入特征向量对应的特征雅可比转换矩阵；根据重组后的控制输入特征向量和参照特征向量以及得到的特征雅可比转换矩阵，对视觉伺服控制器的输出进行调校补偿，使视觉伺服系统趋近移动中的柱状组合体目标。这样充分利用柱状组合体目标成像的冗余视觉信息，提出新的伺服控制输入特征向量及其在部分视觉信息缺失情形下的特征输入自适应重组方式，旨在提高伺服系统针对图像噪声的鲁棒性，针对视角约束的自适应性和面向柱状组合体移动的适用性，促进视觉伺服控制面向移动柱状组合体目标时的全局收敛，降低了视觉伺服系统对整体目标全程可视的视角约束依赖，利于静态环境下的视觉伺服全局收敛，也利于适用于趋近移动中的目标。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上对本发明所提供的面向移动柱状组合体的视觉伺服趋近方法进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种面向移动柱状组合体的视觉伺服趋近方法，其特征在于，包括：
建立柱状组合体目标的视觉信息、目标模型参数和成像模型之间的关系；
根据建立的所述关系，在成像视角范围内至少提取四个像素点的坐标，构建面向柱状组合体目标的视觉伺服控制输入特征向量以及与构建的所述控制输入特征向量对应的雅可比转换矩阵；
在视角约束时，对构建的所述控制输入特征向量和参照特征向量进行自适应重组，并得到与重组后的所述控制输入特征向量对应的特征雅可比转换矩阵；
根据重组后的所述控制输入特征向量和所述参照特征向量以及得到的所述特征雅可比转换矩阵，对视觉伺服控制器的输出进行调校补偿，使视觉伺服系统趋近移动中的柱状组合体目标。
2.根据权利要求1所述的面向移动柱状组合体的视觉伺服趋近方法，其特征在于，建立的柱状组合体目标的视觉信息、目标模型参数和成像模型之间的关系包括：
Figure 164227DEST_PATH_IMAGE001
其中，在成像视角范围内的像素点
Figure 346946DEST_PATH_IMAGE002
作为柱状组合体目标的视觉信息，
Figure 205312DEST_PATH_IMAGE003
，
Figure 69363DEST_PATH_IMAGE004
为端面成像的中心点像素坐标，
Figure 149314DEST_PATH_IMAGE005
为零阶图像矩，
Figure 299673DEST_PATH_IMAGE006
、
Figure 832285DEST_PATH_IMAGE007
、
Figure 234448DEST_PATH_IMAGE008
为中心图像矩，
Figure 168906DEST_PATH_IMAGE009
为柱状组合体目标的曲面与成像面
Figure 5013DEST_PATH_IMAGE010
轴之间的夹角；
Figure 962604DEST_PATH_IMAGE011
位于以
Figure 965195DEST_PATH_IMAGE012
为中心，
Figure 816477DEST_PATH_IMAGE013
为半长轴，
Figure 511900DEST_PATH_IMAGE014
为半短轴的椭圆映射边缘上：
Figure 956788DEST_PATH_IMAGE015
且有，
Figure 576119DEST_PATH_IMAGE016
Figure 485170DEST_PATH_IMAGE017
Figure 23598DEST_PATH_IMAGE018
其中，将柱状组合体目标看作是一个圆的直线移动，该圆由一个中心为
Figure 18099DEST_PATH_IMAGE019
，
Figure 424810DEST_PATH_IMAGE020
为半径的球体与一个法向量为[
Figure 391629DEST_PATH_IMAGE021
]：
Figure 428855DEST_PATH_IMAGE022
的平面相交形成；
Figure 956657DEST_PATH_IMAGE023
为端面椭圆映射的倾斜角正切值。
3.根据权利要求2所述的面向移动柱状组合体的视觉伺服趋近方法，其特征在于，采用下列公式构建面向柱状组合体目标的视觉伺服控制输入特征向量
Figure 104742DEST_PATH_IMAGE024
：
Figure 660488DEST_PATH_IMAGE025
Figure 868615DEST_PATH_IMAGE026
其中，
Figure 900025DEST_PATH_IMAGE027
为可视范围内像素坐标
Figure 523905DEST_PATH_IMAGE028
的均值，
Figure 262053DEST_PATH_IMAGE029
为可视范围内像素坐标
Figure 719711DEST_PATH_IMAGE030
的均值，
Figure 848204DEST_PATH_IMAGE031
为由像素点
Figure 338091DEST_PATH_IMAGE032
出发经过像素点
Figure 727484DEST_PATH_IMAGE002
的射线与成像面
Figure 277414DEST_PATH_IMAGE010
轴之间的夹角。
4.根据权利要求3所述的面向移动柱状组合体的视觉伺服趋近方法，其特征在于，采用下列公式构建与所述控制输入特征向量对应的雅可比转换矩阵
Figure 893203DEST_PATH_IMAGE033
：
Figure 186781DEST_PATH_IMAGE034
Figure 234544DEST_PATH_IMAGE035
Figure 627479DEST_PATH_IMAGE036
Figure 792882DEST_PATH_IMAGE037
其中，
Figure 686888DEST_PATH_IMAGE038
为特征
Figure 254136DEST_PATH_IMAGE027
对应的雅可比转换向量，是雅可比转换矩阵
Figure 83552DEST_PATH_IMAGE033
中的第一个行向量，
Figure 549299DEST_PATH_IMAGE039
为特征
Figure 184680DEST_PATH_IMAGE029
对应的雅可比转换向量，是雅可比转换矩阵
Figure 278538DEST_PATH_IMAGE033
中的第二个行向量，
Figure 669068DEST_PATH_IMAGE040
为特征
Figure 543483DEST_PATH_IMAGE031
对应的雅可比转换矩阵中的其余分项，
Figure 920238DEST_PATH_IMAGE041
和
Figure 196498DEST_PATH_IMAGE042
分别为特征
Figure 741618DEST_PATH_IMAGE028
和
Figure 103329DEST_PATH_IMAGE030
对应的雅可比转换向量。
5.根据权利要求4所述的面向移动柱状组合体的视觉伺服趋近方法，其特征在于，在构建与所述控制输入特征向量对应的雅可比转换矩阵之前，还包括：
建立像素点坐标与成像焦点空间运动速率之间的转换关系；所述转换关系如下：
Figure 283775DEST_PATH_IMAGE043
Figure 476859DEST_PATH_IMAGE044
其中，
Figure 881295DEST_PATH_IMAGE045
为针孔相机模型的成像焦点空间运动速率，
Figure 933565DEST_PATH_IMAGE046
分别表示在相机参考坐标系中成像焦点沿轴
Figure 261909DEST_PATH_IMAGE047
的运动速率，
Figure 512762DEST_PATH_IMAGE048
分别表示在相机参考坐标系中成像焦点绕轴
Figure 25783DEST_PATH_IMAGE047
的旋转速率。
6.根据权利要求5所述的面向移动柱状组合体的视觉伺服趋近方法，其特征在于，采用下列公式计算
Figure 362086DEST_PATH_IMAGE041
和
Figure 8968DEST_PATH_IMAGE042
：
Figure 52010DEST_PATH_IMAGE049
Figure 798250DEST_PATH_IMAGE050
Figure 667854DEST_PATH_IMAGE051
其中，
Figure 790531DEST_PATH_IMAGE052
、
Figure 953659DEST_PATH_IMAGE053
、
Figure 933117DEST_PATH_IMAGE054
、
Figure 244012DEST_PATH_IMAGE055
、
Figure 842484DEST_PATH_IMAGE056
、
Figure 656856DEST_PATH_IMAGE057
、
Figure 823526DEST_PATH_IMAGE058
为其下标所示各个特征对应的雅可比转换向量；
Figure 356139DEST_PATH_IMAGE059
为图像矩特征。
7.根据权利要求6所述的面向移动柱状组合体的视觉伺服趋近方法，其特征在于，对构建的所述控制输入特征向量进行自适应重组，具体包括：
引入一个用于标识
Figure 758301DEST_PATH_IMAGE028
满足视角约束的情况的标识量
Figure 755076DEST_PATH_IMAGE060
，标识量初始化为
Figure 279598DEST_PATH_IMAGE061
,视觉伺服控制迭代过程中，实时判断提取像素坐标
Figure 237190DEST_PATH_IMAGE028
和
Figure 239781DEST_PATH_IMAGE030
的取值范围，当
Figure 340330DEST_PATH_IMAGE062
或
Figure 35754DEST_PATH_IMAGE063
时，设置标识量
Figure 480641DEST_PATH_IMAGE064
;
Figure 349240DEST_PATH_IMAGE065
表示针孔相机的成像分辨率；令
Figure 258290DEST_PATH_IMAGE066
当
Figure 796719DEST_PATH_IMAGE067
，终止视觉伺服；若
Figure 791220DEST_PATH_IMAGE068
，则引入一个标识矩阵：
Figure 214242DEST_PATH_IMAGE069
Figure 915482DEST_PATH_IMAGE070
用于记录
Figure 687129DEST_PATH_IMAGE071
时相应特征位于特征向量中的位置，
Figure 231243DEST_PATH_IMAGE072
和
Figure 379327DEST_PATH_IMAGE073
用于记录满足
Figure 935074DEST_PATH_IMAGE061
的
Figure 143201DEST_PATH_IMAGE074
取值；记特征向量初始化取值为：
Figure 423878DEST_PATH_IMAGE075
得到重组后的特征向量如下：
Figure 47758DEST_PATH_IMAGE076
Figure 785907DEST_PATH_IMAGE077
其中，
Figure 961673DEST_PATH_IMAGE078
、
Figure 152483DEST_PATH_IMAGE079
分别为经过筛选后的
Figure 580053DEST_PATH_IMAGE028
和
Figure 251337DEST_PATH_IMAGE030
。
8.根据权利要求7所述的面向移动柱状组合体的视觉伺服趋近方法，其特征在于，采用下列公式得到与重组后的所述控制输入特征向量对应的特征雅可比转换矩阵：
Figure 801267DEST_PATH_IMAGE080
Figure 417056DEST_PATH_IMAGE081
其中，
Figure 445055DEST_PATH_IMAGE082
、
Figure 954534DEST_PATH_IMAGE083
、
Figure 675365DEST_PATH_IMAGE084
、
Figure 44030DEST_PATH_IMAGE085
、
Figure 187304DEST_PATH_IMAGE086
分别为特征
Figure 488972DEST_PATH_IMAGE027
、
Figure 318388DEST_PATH_IMAGE029
、
Figure 971086DEST_PATH_IMAGE087
、
Figure 668784DEST_PATH_IMAGE078
、
Figure 28221DEST_PATH_IMAGE079
对应的雅可比转换向量。
9.根据权利要求8所述的面向移动柱状组合体的视觉伺服趋近方法，其特征在于，根据重组后的所述控制输入特征向量和所述参照特征向量以及得到的所述特征雅可比转换矩阵，对视觉伺服控制器的输出进行调校补偿，具体包括：
在动态环境下，通过在视觉伺服控制器中引入参照特征的校正量和视觉伺服控制器输出的动态补偿量，结合重组后的所述控制输入特征向量和所述参照特征向量以及得到的所述特征雅可比转换矩阵，对视觉伺服控制器的输出进行调校补偿。
10.根据权利要求9所述的面向移动柱状组合体的视觉伺服趋近方法，其特征在于，采用下列公式计算针孔相机模型的成像焦点空间运动速率
Figure 90855DEST_PATH_IMAGE088
：
Figure 778319DEST_PATH_IMAGE089
其中，
Figure 420653DEST_PATH_IMAGE090
为控制器增益，
Figure 696914DEST_PATH_IMAGE091
是雅可比转换矩阵
Figure 258345DEST_PATH_IMAGE033
的广义逆估计，
Figure 823319DEST_PATH_IMAGE092
表示相机运动至姿态
Figure 846507DEST_PATH_IMAGE093
的时间
Figure 242854DEST_PATH_IMAGE094
距离当前时间
Figure 584973DEST_PATH_IMAGE095
的时间间隔，
Figure 433981DEST_PATH_IMAGE096
记录了机械臂手持相机运动的中间节点位姿，
Figure 277172DEST_PATH_IMAGE097
表示视觉伺服的起始位姿，
Figure 465707DEST_PATH_IMAGE098
包含目标沿期望相机位姿坐标系中的轴
Figure 41045DEST_PATH_IMAGE047
的移动速率，
Figure 190398DEST_PATH_IMAGE099
表示目标物的三维坐标，
Figure 509384DEST_PATH_IMAGE100
表示相机在任意两个位姿之间做机械运动需要的时间间隔；
Figure 818006DEST_PATH_IMAGE101
为参照特征的校正量，取决于相机内部参数、目标所在位置
Figure 626562DEST_PATH_IMAGE099
、目标移动方向和速率
Figure 184582DEST_PATH_IMAGE098
和伺服输入特征的计算模型；
Figure 244942DEST_PATH_IMAGE101
为视觉伺服控制器输出的动态补偿量，取决于相机姿态
Figure 781971DEST_PATH_IMAGE093
、相机机械运动时间间隔
Figure 699112DEST_PATH_IMAGE100
和目标移动方向和速率
Figure 947690DEST_PATH_IMAGE098
。
CN202011009179.9A 2020-09-23 2020-09-23 一种面向移动柱状组合体的视觉伺服趋近方法 Active CN111931387B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011009179.9A CN111931387B (zh) 2020-09-23 2020-09-23 一种面向移动柱状组合体的视觉伺服趋近方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011009179.9A CN111931387B (zh) 2020-09-23 2020-09-23 一种面向移动柱状组合体的视觉伺服趋近方法

Publications (2)

Publication Number Publication Date
CN111931387A true CN111931387A (zh) 2020-11-13
CN111931387B CN111931387B (zh) 2020-12-22

Family

ID=73335065

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011009179.9A Active CN111931387B (zh) 2020-09-23 2020-09-23 一种面向移动柱状组合体的视觉伺服趋近方法

Country Status (1)

Country Link
CN (1) CN111931387B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112947569A (zh) * 2021-03-09 2021-06-11 中南大学 基于预设性能四旋翼无人机视觉伺服目标跟踪控制方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105856201A (zh) * 2016-05-25 2016-08-17 华南理工大学 一种三自由度的机器人视觉伺服平台
CN106774309A (zh) * 2016-12-01 2017-05-31 天津工业大学 一种移动机器人同时视觉伺服与自适应深度辨识方法
CN107943102A (zh) * 2017-12-28 2018-04-20 南京工程学院 一种基于视觉伺服的飞行器及其自主追踪系统
CN108614560A (zh) * 2018-05-31 2018-10-02 浙江工业大学 一种移动机器人视觉伺服保性能跟踪控制方法
CN108839026A (zh) * 2018-07-19 2018-11-20 浙江工业大学 一种移动机器人视觉伺服跟踪预测控制方法
US20190118394A1 (en) * 2017-10-19 2019-04-25 Canon Kabushiki Kaisha Control apparatus, robot system, method for operating control apparatus, and storage medium
CN111283683A (zh) * 2020-03-04 2020-06-16 湖南师范大学 一种机器人视觉特征规划轨迹的伺服跟踪加速收敛方法
CN111469427A (zh) * 2020-04-22 2020-07-31 合肥研泰自动化设备有限公司 一种视觉伺服装配机
CN111494853A (zh) * 2020-04-10 2020-08-07 中国矿业大学 一种多模式视觉伺服控制消防系统及其工作方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105856201A (zh) * 2016-05-25 2016-08-17 华南理工大学 一种三自由度的机器人视觉伺服平台
CN106774309A (zh) * 2016-12-01 2017-05-31 天津工业大学 一种移动机器人同时视觉伺服与自适应深度辨识方法
US20190118394A1 (en) * 2017-10-19 2019-04-25 Canon Kabushiki Kaisha Control apparatus, robot system, method for operating control apparatus, and storage medium
CN107943102A (zh) * 2017-12-28 2018-04-20 南京工程学院 一种基于视觉伺服的飞行器及其自主追踪系统
CN108614560A (zh) * 2018-05-31 2018-10-02 浙江工业大学 一种移动机器人视觉伺服保性能跟踪控制方法
CN108839026A (zh) * 2018-07-19 2018-11-20 浙江工业大学 一种移动机器人视觉伺服跟踪预测控制方法
CN111283683A (zh) * 2020-03-04 2020-06-16 湖南师范大学 一种机器人视觉特征规划轨迹的伺服跟踪加速收敛方法
CN111494853A (zh) * 2020-04-10 2020-08-07 中国矿业大学 一种多模式视觉伺服控制消防系统及其工作方法
CN111469427A (zh) * 2020-04-22 2020-07-31 合肥研泰自动化设备有限公司 一种视觉伺服装配机

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112947569A (zh) * 2021-03-09 2021-06-11 中南大学 基于预设性能四旋翼无人机视觉伺服目标跟踪控制方法
CN112947569B (zh) * 2021-03-09 2022-08-12 中南大学 基于预设性能四旋翼无人机视觉伺服目标跟踪控制方法

Also Published As

Publication number Publication date
CN111931387B (zh) 2020-12-22

Similar Documents

Publication Publication Date Title
CN110116407B (zh) 柔性机器人位姿测量方法及装置
CN110900598B (zh) 机器人三维运动空间动作模仿学习方法和系统
CN109064516B (zh) 一种基于绝对二次曲线像的相机自标定方法
Kumar et al. Visual motor control of a 7DOF redundant manipulator using redundancy preserving learning network
Tahri et al. Robust image-based visual servoing using invariant visual information
Schramm et al. Ensuring visibility in calibration-free path planning for image-based visual servoing
CN111931387B (zh) 一种面向移动柱状组合体的视觉伺服趋近方法
CN111652941A (zh) 基于自适应变异的天牛群优化算法的相机内参校准方法
CN108805987A (zh) 基于深度学习的混合跟踪方法及装置
CN109048918A (zh) 一种轮椅机械臂机器人的视觉引导方法
CN117381800B (zh) 一种手眼标定方法及系统
Schramm et al. Extended-2d visual servoing
CN110570473A (zh) 一种基于点线融合的权重自适应位姿估计方法
CN116681733B (zh) 一种空间非合作目标近距离实时位姿跟踪方法
CN113436267A (zh) 视觉惯导标定方法、装置、计算机设备和存储介质
CN109785393B (zh) 一种基于平面运动约束的相机自标定方法
CN117340879A (zh) 一种基于图优化模型的工业机器人参数辨识方法和系统
Mansard et al. Jacobian learning methods for tasks sequencing in visual servoing
Bourquardez et al. Stability and performance of image based visual servo control using first order spherical image moments
Tahri et al. Visual servoing and pose estimation with cameras obeying the unified model
Miraldo et al. Analytical modeling of vanishing points and curves in catadioptric cameras
CN115294280A (zh) 三维重建方法、装置、设备、存储介质和程序产品
Lee et al. Adaptive visual servo control for a quadrotor helicopter
Hadj-Abdelkader et al. Omnidirectional visual servoing from polar lines
CN114434441A (zh) 基于自适应动态规划的移动机器人视觉伺服跟踪控制方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20240104

Address after: 230000 floor 1, building 2, phase I, e-commerce Park, Jinggang Road, Shushan Economic Development Zone, Hefei City, Anhui Province

Patentee after: Dragon totem Technology (Hefei) Co.,Ltd.

Address before: No. 36, Yuelu District Lu Mountain Road, Changsha, Hunan

Patentee before: HUNAN NORMAL University