CN109933096B - 一种云台伺服控制方法及系统 - Google Patents

一种云台伺服控制方法及系统 Download PDF

Info

Publication number
CN109933096B
CN109933096B CN201910198808.8A CN201910198808A CN109933096B CN 109933096 B CN109933096 B CN 109933096B CN 201910198808 A CN201910198808 A CN 201910198808A CN 109933096 B CN109933096 B CN 109933096B
Authority
CN
China
Prior art keywords
holder
coordinate system
target
servo control
target point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910198808.8A
Other languages
English (en)
Other versions
CN109933096A (zh
Inventor
文艳
肖鹏
许玮
李欣睿
任杰
慕世友
房牧
刘明林
傅孟潮
朱明智
孙虎
李建祥
郭锐
赵金龙
王海鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
State Grid Intelligent Technology Co Ltd
Original Assignee
State Grid Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by State Grid Intelligent Technology Co Ltd filed Critical State Grid Intelligent Technology Co Ltd
Priority to CN201910198808.8A priority Critical patent/CN109933096B/zh
Publication of CN109933096A publication Critical patent/CN109933096A/zh
Application granted granted Critical
Publication of CN109933096B publication Critical patent/CN109933096B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Control Of Position Or Direction (AREA)
  • Manipulator (AREA)
  • Studio Devices (AREA)

Abstract

本公开提供了一种云台伺服控制方法及系统，执行：采集云台位姿并获取目标点坐标，依据空间坐标变换关系，进行坐标转换，确定目标点在云台坐标系内的坐标；在云台坐标系内，根据目标点在云台坐标系内的坐标计算云台水平和垂直两自由度目标转角；将计算得到的云台目标转角作为控制量输出至云台执行，实现对云台的第一阶段伺服控制，待控制完成后进行待追踪目标区域图像的采集；对图像中待追踪目标进行识别，若识别成功，依据目标点距采集图像中心偏差，计算云台水平和垂直两自由度相对于当前角度的相对转角，并输出至云台执行，对云台进行第二阶段的伺服控制。

Description

一种云台伺服控制方法及系统
技术领域
本公开涉及一种云台伺服控制方法及系统。
背景技术
本部分的陈述仅仅是提供了与本公开相关的背景技术信息，不必然构成在先技术。
目前云台视觉伺服控制已在机器人领域得到了广泛应用，其通过采集目标区域的图像并识别待追踪目标后，依据目标区域与采集图像中心的偏差控制云台以实现对目标的追踪。
然而，在云台视觉伺服控制室外机器人应用过程中，所采集的目标区域图像不可避免的会受到光照、天气等因素影响，从而给后续目标识别带来困难，导致伺服控制性能下降。另外，室外环境中的各种障碍物也可能随机或连续性遮挡待追踪目标，从而无法从采集图像中提取关于目标的有效信息，导致对目标追踪失败。
发明内容
本公开为了解决上述问题，提出了一种云台伺服控制方法及系统，本公开在已有云台视觉伺服研究成果基础上，通过将依据待追踪目标中心点(即目标点)的空间坐标信息计算云台伺服控制量与现有云台视觉伺服控制结合，克服了单一视觉伺服控制方法室外应用时易受环境因素影响的问题。
为了实现上述目的，本公开采用如下技术方案：
一种云台伺服控制方法，执行以下步骤：
(1)采集云台位姿并获取目标点坐标，依据空间坐标变换关系，进行坐标转换，确定目标点在云台坐标系内的坐标；
(2)在云台坐标系内，根据目标点在云台坐标系内的坐标计算云台水平和垂直两自由度目标转角；
(3)将计算得到的云台目标转角作为控制量输出至云台执行，实现对云台的第一阶段伺服控制，待控制完成后进行待追踪目标区域图像的采集；
(4)对图像中待追踪目标进行识别，若识别成功，依据目标点距采集图像中心偏差，计算云台水平和垂直两自由度相对于当前角度的相对转角，并输出至云台执行，对云台进行第二阶段的伺服控制；若识别失败则直接返回步骤(1)。
上述步骤可以只执行一次，也可以周期性的循环执行。
作为进一步的限定，所述步骤(1)中的目标点和云台位置三维空间的坐标为世界坐标系。
作为进一步的限定，所述步骤(1)中的云台坐标系是指坐标原点在云台水平和垂直转动轴线交点且X轴与水平垂直旋转轴垂直且指向云台正前方，Y轴与云台垂直旋转轴重合的坐标系。
作为进一步的限定，所述步骤(1)中，分别构建目标点在世界坐标系及云台坐标系下的齐次坐标转换矩阵，以及云台坐标系到世界坐标系的齐次坐标转换矩阵，利用齐次坐标转换矩阵进行坐标的转换。
作为更进一步的限定，目标点在世界坐标系的齐次坐标转换矩阵为：
Figure BDA0001996695450000031
其中，(e,n,h)为目标点在世界坐标系的坐标，(e,n)为目标的平面坐标，h为目标点的高程。
作为更进一步的限定，目标点在云台坐标系下的齐次坐标转换矩阵为：
Figure BDA0001996695450000032
其中，(x,y,z)为目标点在云台坐标系内的坐标。
作为更进一步的限定，云台坐标系到世界坐标系的齐次坐标转换矩阵为：
Figure BDA0001996695450000033
其中，c代表cos运算，s代表sin运算，各个脚标则代表对应的姿态角，(a,b,c)为车辆三维空间位置，(o,p,r)为则分别代表了云台X轴方向以及相对于水平面的俯仰角和滚动角度。
作为进一步的限定，所述步骤(2)中，云台水平和垂直两自由度目标转角α和β的计算过程为：
α＝tan-1(y/x)
Figure BDA0001996695450000034
其中，(x,y,z)为目标点在云台坐标系内的坐标。
一种云台伺服控制系统，运行于处理器或存储器上，被配置为执行以下指令：
(1)采集云台位姿并获取目标点坐标，依据空间坐标变换关系，进行坐标转换，确定目标点在云台坐标系内的坐标；
(2)在云台坐标系内，根据目标点在云台坐标系内的坐标计算云台水平和垂直两自由度目标转角；
(3)将计算得到的云台目标转角作为控制量输出至云台执行，实现对云台的第一阶段伺服控制，待控制完成后进行待追踪目标区域图像的采集；
(4)对图像中待追踪目标进行识别，若识别成功，依据目标点距采集图像中心偏差，计算云台水平和垂直两自由度相对于当前角度的相对转角，并输出至云台执行，对云台进行第二阶段的伺服控制。
一种巡检机器人，包括上述云台伺服控制系统。
与现有技术相比，本公开的有益效果为：
与现有单一视觉伺服控制相比，本公开提出的云台伺服控制方法，可有效抵御外部光照、天气以及各种障碍物对待追踪目标遮挡等因素影响。通过将云台伺服控制分为两个阶段，第一阶段伺服控制可实现对目标区域的对准，从而为第二阶段对目标图像采集和识别提供更加良好的基础，有效提升整个云台伺服控制的精度和鲁棒性。
附图说明
构成本申请的一部分的说明书附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。
图1为检测点的空间坐标位置示意图；
图2为云台伺服控制流程示意图；
具体实施方式：
下面结合附图与实施例对本公开作进一步说明。
应该指出，以下详细说明都是例示性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
在本公开中，术语如“上”、“下”、“左”、“右”、“前”、“后”、“竖直”、“水平”、“侧”、“底”等指示的方位或位置关系为基于附图所示的方位或位置关系，只是为了便于叙述本公开各部件或元件结构关系而确定的关系词，并非特指本公开中任一部件或元件，不能理解为对本公开的限制。
本公开中，术语如“固接”、“相连”、“连接”等应做广义理解，表示可以是固定连接，也可以是一体地连接或可拆卸连接；可以是直接相连，也可以通过中间媒介间接相连。对于本领域的相关科研或技术人员，可以根据具体情况确定上述术语在本公开中的具体含义，不能理解为对本公开的限制。
本实施例提供了一种云台伺服控制方法。在已有云台视觉伺服研究成果基础上，通过将依据待追踪目标中心点(为方便叙述，以下称为目标点)的空间坐标信息计算云台伺服控制量与现有云台视觉伺服控制结合，克服了单一视觉伺服控制方法室外应用时易受环境因素影响的问题。
为方便后续说明，此处预先定义如下两个坐标系：
表示目标点及云台位置三维空间位置的世界坐标系OWXWYWZW；
坐标原点在云台水平和垂直转动轴线交点且X轴与水平垂直旋转轴垂直且指向云台正前方，Y轴与云台垂直旋转轴重合的云台坐标系OYXYYYZY；
云台伺服控制过程中需追踪的某个目标点的空间坐标位置如图1所示。
假设某一目标点在世界坐标系的坐标为(e,n,h)，其中：(e,n)为目标的平面坐标，h为目标点的高程；云台在世界坐标系中的空间位姿(位置和姿态，下同)为(a,b,c,o,p,r)，其中：(a,b,c)为车辆三维空间位置，(o,p,r)为则分别代表了云台X轴方向以及相对于水平面的俯仰角和滚动角度；目标点在云台坐标系内的坐标为(x,y,z)。
另外，图1中T0和T1分别为目标点在世界坐标系及云台坐标系下的齐次坐标转换矩阵，T2为云台坐标系到世界坐标系的齐次坐标转换矩阵。上述坐标转换矩阵具体表示形式如下所示：
Figure BDA0001996695450000061
Figure BDA0001996695450000062
为简化书写，在T2的表达式中：c代表cos运算，s代表sin运算，而脚标则代表了对对应的姿态角进行运算。
作为一种典型的实施方式，当需要对目标进行追踪时，云台伺服控制将按设定控制周期性循环执行，一个周期内的云台伺服控制流程如图2所示，具体包括：
(步骤1)采集云台位姿并获取目标点坐标；
(步骤2)依据空间坐标变换关系，列写坐标转换方程，求解目标点在云台坐标系内的坐标(x,y,z)，所列方程如下：
T0＝T2T1
(步骤3)在云台坐标系内，计算云台水平和垂直两自由度目标转角α和β，公式如下：
α＝tan-1(y/x)
Figure BDA0001996695450000071
(步骤4)将计算得到的云台目标转角作为控制量输出至云台执行，实现对云台的第1阶段伺服控制。
(步骤5)待第一阶段云台伺服控制完成后，再采集待追踪目标区域图像。
(步骤6)利用模式识别方法对图像中待追踪目标进行识别，并生成识别成功和失败标志；
(步骤7)若识别成功，则在依据目标点距采集图像中心偏差，计算云台水平和垂直两自由度相对于当前角度的相对转角，并输出至云台执行，以实现对云台的第2阶段伺服控制。若识别失败则直接返回(步骤1)执行。
其中，(步骤1)中的云台位姿可由外部惯性模块提供；而对于目标点的空间坐标，则可依据具体的伺服控制任务，通过测量方式得到。
(步骤6)和(步骤7)中的对待检区域进行识别并计算云台相对转角的方法可参考已有专利和文献实现，具体过程在此不再赘述。
以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。
上述虽然结合附图对本公开的具体实施方式进行了描述，但并非对本公开保护范围的限制，所属领域技术人员应该明白，在本公开的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本公开的保护范围以内。

Claims (9)

1.一种云台伺服控制方法，其特征是：执行以下步骤：
(1)采集云台位姿并获取目标点坐标，依据空间坐标变换关系，进行坐标转换，确定目标点在云台坐标系内的坐标；
(2)在云台坐标系内，根据目标点在云台坐标系内的坐标计算云台水平和垂直两自由度目标转角；
(3)将计算得到的云台目标转角作为控制量输出至云台执行，实现对云台的第一阶段伺服控制，待控制完成后进行待追踪目标区域图像的采集；
(4)对图像中待追踪目标进行识别，若识别成功，依据目标点距采集图像中心偏差，计算云台水平和垂直两自由度相对于当前角度的相对转角，并输出至云台执行，对云台进行第二阶段的伺服控制；
所述步骤(1)中，分别构建目标点在世界坐标系及云台坐标系下的齐次坐标转换矩阵，以及云台坐标系到世界坐标系的齐次坐标转换矩阵，利用齐次坐标转换矩阵进行坐标的转换。
2.如权利要求1所述的一种云台伺服控制方法，其特征是：所述步骤(1)中的目标点和云台位置三维空间的坐标为世界坐标系。
3.如权利要求1所述的一种云台伺服控制方法，其特征是：所述步骤(1)中的云台坐标系是指坐标原点在云台水平和垂直转动轴线交点且X轴与水平垂直旋转轴垂直且指向云台正前方，Y轴与云台垂直旋转轴重合的坐标系。
4.如权利要求1所述的一种云台伺服控制方法，其特征是：目标点在世界坐标系的齐次坐标转换矩阵为：
Figure FDA0003201972420000021
其中，(e,n,h)为目标点在世界坐标系的坐标，(e,n)为目标的平面坐标，h为目标点的高程。
5.如权利要求1所述的一种云台伺服控制方法，其特征是：目标点在云台坐标系下的齐次坐标转换矩阵为：
Figure FDA0003201972420000022
其中，(x,y,z)为目标点在云台坐标系内的坐标。
6.如权利要求1所述的一种云台伺服控制方法，其特征是：云台坐标系到世界坐标系的齐次坐标转换矩阵为：
Figure FDA0003201972420000023
其中，c代表cos运算，s代表sin运算，各个脚标则代表对应的姿态角，(a,b,c)为车辆三维空间位置，(o,p,r)为则分别代表了云台X轴方向以及相对于水平面的俯仰角和滚动角度。
7.如权利要求1所述的一种云台伺服控制方法，其特征是：所述步骤(2)中，云台水平和垂直两自由度目标转角α和β的计算过程为：
α＝tan-1(y/x)
Figure FDA0003201972420000024
其中，(x,y,z)为目标点在云台坐标系内的坐标。
8.一种云台伺服控制系统，其特征是：运行于处理器或存储器上，被配置为执行以下指令：
(1)采集云台位姿并获取目标点坐标，依据空间坐标变换关系，进行坐标转换，确定目标点在云台坐标系内的坐标；
(2)在云台坐标系内，根据目标点在云台坐标系内的坐标计算云台水平和垂直两自由度目标转角；
(3)将计算得到的云台目标转角作为控制量输出至云台执行，实现对云台的第一阶段伺服控制，待控制完成后进行待追踪目标区域图像的采集；
(4)对图像中待追踪目标进行识别，若识别成功，依据目标点距采集图像中心偏差，计算云台水平和垂直两自由度相对于当前角度的相对转角，并输出至云台执行，对云台进行第二阶段的伺服控制。
9.一种巡检机器人，其特征是：包括如权利要求8所述的云台伺服控制系统。
CN201910198808.8A 2019-03-15 2019-03-15 一种云台伺服控制方法及系统 Active CN109933096B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910198808.8A CN109933096B (zh) 2019-03-15 2019-03-15 一种云台伺服控制方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910198808.8A CN109933096B (zh) 2019-03-15 2019-03-15 一种云台伺服控制方法及系统

Publications (2)

Publication Number Publication Date
CN109933096A CN109933096A (zh) 2019-06-25
CN109933096B true CN109933096B (zh) 2021-11-30

Family

ID=66987316

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910198808.8A Active CN109933096B (zh) 2019-03-15 2019-03-15 一种云台伺服控制方法及系统

Country Status (1)

Country Link
CN (1) CN109933096B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110445982B (zh) * 2019-08-16 2021-01-12 深圳特蓝图科技有限公司 一种基于六自由度设备的追踪拍摄方法
CN111161446B (zh) * 2020-01-10 2021-08-17 浙江大学 一种巡检机器人的图像采集方法
CN111798514A (zh) * 2020-06-29 2020-10-20 山东大学日照智能制造研究院 一种海洋牧场智能运动目标跟踪监测方法及系统
CN112268523A (zh) * 2020-10-09 2021-01-26 华中科技大学鄂州工业技术研究院 一种激光三维测量装置及测量方法
CN113160317B (zh) * 2021-04-29 2024-04-16 福建汇川物联网技术科技股份有限公司 云台目标追踪控制方法、装置及云台控制设备、存储介质
CN113411547B (zh) * 2021-06-17 2023-06-16 浙江大华技术股份有限公司 一种云台的位置校正方法及装置
CN113923330B (zh) * 2021-10-11 2022-07-01 中国人民解放军63921部队 多目标测量系统
CN114982739A (zh) * 2022-07-18 2022-09-02 江苏合力四通智能科技股份有限公司 一种基于深度学习的智能激光驱鸟设备及方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103826103A (zh) * 2014-02-27 2014-05-28 浙江宇视科技有限公司 云台摄像机巡航控制方法
CN107247458A (zh) * 2017-05-24 2017-10-13 中国电子科技集团公司第二十八研究所 无人机视频图像目标定位系统、定位方法及云台控制方法
CN109227551A (zh) * 2018-11-21 2019-01-18 中国科学院合肥物质科学研究院 一种视觉定位机器人手眼坐标转换方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9749594B2 (en) * 2011-12-22 2017-08-29 Pelco, Inc. Transformation between image and map coordinates
WO2016074169A1 (zh) * 2014-11-12 2016-05-19 深圳市大疆创新科技有限公司 一种对目标物体的检测方法、检测装置以及机器人
CN107729808B (zh) * 2017-09-08 2020-05-01 国网山东省电力公司电力科学研究院 一种用于输电线路无人机巡检的图像智能采集系统及方法
CN108107920A (zh) * 2017-12-19 2018-06-01 天津工业大学 一种微小型双轴视觉稳定云台目标探测跟踪系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103826103A (zh) * 2014-02-27 2014-05-28 浙江宇视科技有限公司 云台摄像机巡航控制方法
CN107247458A (zh) * 2017-05-24 2017-10-13 中国电子科技集团公司第二十八研究所 无人机视频图像目标定位系统、定位方法及云台控制方法
CN109227551A (zh) * 2018-11-21 2019-01-18 中国科学院合肥物质科学研究院 一种视觉定位机器人手眼坐标转换方法

Also Published As

Publication number Publication date
CN109933096A (zh) 2019-06-25

Similar Documents

Publication Publication Date Title
CN109933096B (zh) 一种云台伺服控制方法及系统
CN107292927B (zh) 一种基于双目视觉的对称运动平台位姿测量方法
CN110587600B (zh) 基于点云的带电作业机器人自主路径规划方法
Breitenmoser et al. A monocular vision-based system for 6D relative robot localization
CN112833786B (zh) 一种舱段位姿测量及对准系统、控制方法及应用
CN104552341B (zh) 移动工业机器人单点多视角挂表位姿误差检测方法
Alizadeh Object distance measurement using a single camera for robotic applications
CN109976339B (zh) 一种车载配网巡检数据采集方法与巡检系统
CN113485350A (zh) 一种机器人移动控制方法、装置、设备及存储介质
CN112000135B (zh) 基于人脸最高温点特征反馈的三轴云台视觉伺服控制方法
CN115774265A (zh) 用于工业机器人的二维码和激光雷达融合定位方法与装置
CN105096341A (zh) 基于三焦张量和关键帧策略的移动机器人位姿估计方法
CN112504261A (zh) 一种基于视觉锚点的无人机降落位姿滤波估计方法及系统
CN115793690A (zh) 一种无人机室内巡检方法、系统和设备
CN111862200A (zh) 一种煤棚内无人机定位方法
Grudziński et al. Stereovision tracking system for monitoring loader crane tip position
Dufek et al. Visual pose stabilization of tethered small unmanned aerial system to assist drowning victim recovery
CN110928311A (zh) 一种基于全景相机下直线特征的室内移动机器人导航方法
Xu et al. A new monocular vision measurement method to estimate 3D positions of objects on floor
Ding et al. Development of a novel mobile robotic system for large-scale manufacturing
CN111947647A (zh) 一种视觉与激光雷达融合的机器人精准定位方法
Duan et al. Image digital zoom based single target apriltag recognition algorithm in large scale changes on the distance
CN111283664A (zh) 一种面向机器人增强现实示教的注册系统和方法
CN206913156U (zh) 一种无人机
WO2020010625A1 (zh) 机器人运动学模型优化方法、系统和存储装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 250101 Electric Power Intelligent Robot Production Project 101 in Jinan City, Shandong Province, South of Feiyue Avenue and East of No. 26 Road (ICT Industrial Park)

Applicant after: National Network Intelligent Technology Co., Ltd.

Applicant after: Electric Power Research Institute of State Grid Shandong Electric Power Company

Applicant after: State Grid Co., Ltd.

Address before: 250101 block B, Yinhe building, 2008 Xinjie street, hi tech Zone, Ji'nan, Shandong.

Applicant before: Shandong Luneng Intelligent Technology Co., Ltd.

Applicant before: Electric Power Research Institute of State Grid Shandong Electric Power Company

Applicant before: State Grid Co., Ltd.

TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20201029

Address after: 250101 Electric Power Intelligent Robot Production Project 101 in Jinan City, Shandong Province, South of Feiyue Avenue and East of No. 26 Road (ICT Industrial Park)

Applicant after: National Network Intelligent Technology Co.,Ltd.

Address before: 250101 Electric Power Intelligent Robot Production Project 101 in Jinan City, Shandong Province, South of Feiyue Avenue and East of No. 26 Road (ICT Industrial Park)

Applicant before: National Network Intelligent Technology Co.,Ltd.

Applicant before: ELECTRIC POWER RESEARCH INSTITUTE OF STATE GRID SHANDONG ELECTRIC POWER Co.

Applicant before: STATE GRID CORPORATION OF CHINA

GR01 Patent grant
GR01 Patent grant