CN112000135B - 基于人脸最高温点特征反馈的三轴云台视觉伺服控制方法 - Google Patents

基于人脸最高温点特征反馈的三轴云台视觉伺服控制方法 Download PDF

Info

Publication number
CN112000135B
CN112000135B CN202010856804.7A CN202010856804A CN112000135B CN 112000135 B CN112000135 B CN 112000135B CN 202010856804 A CN202010856804 A CN 202010856804A CN 112000135 B CN112000135 B CN 112000135B
Authority
CN
China
Prior art keywords
coordinate system
matrix
point
imaging plane
temperature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN202010856804.7A
Other languages
English (en)
Other versions
CN112000135A (zh
Inventor
赖冠宇
杨伟钧
曾宪贤
林佳泰
王晓东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong University of Technology
Original Assignee
Guangdong University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong University of Technology filed Critical Guangdong University of Technology
Priority to CN202010856804.7A priority Critical patent/CN112000135B/zh
Publication of CN112000135A publication Critical patent/CN112000135A/zh
Application granted granted Critical
Publication of CN112000135B publication Critical patent/CN112000135B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D3/00—Control of position or direction
    • G05D3/12—Control of position or direction using feedback
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J5/0022—Radiation pyrometry, e.g. infrared or optical thermometry for sensing the radiation of moving bodies
    • G01J5/0025—Living bodies
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Automation & Control Theory (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了基于人脸最高温点特征反馈的三轴云台视觉伺服控制方法，实现三轴云台在横滚、俯仰、偏转三个方向上的自动调节，保证人脸部的温度最高点与测温探头能够有效对准。1）由于反馈信息为局部的专属细粒度特征而不是整张图像的全局特征，所提出的方案提高了图像处理速度、缩短了图像处理时间；2）由于是利用脸部温度最高点特征作为反馈，所提出的方案具有对图像专属特征点的单独处理能力，能够保证人脸温度最高点与红外探头精确对准；3）本发明的方案是以视觉系统模型和云台模型为分析基础所构建，能够进行严格的收敛性证明与稳定性分析，极大提高了闭环控制系统可靠性。此外，本发明还具有“相机系统无需提前标定”、“脸部温度最高点特征相对于云台基坐标系的坐标无需被提前获知”等方面的优势。

Description

基于人脸最高温点特征反馈的三轴云台视觉伺服控制方法
技术领域
本发明涉及测温技术领域，特别是基于人脸最高温点特征反馈的三轴云台视觉伺服控制方法。
背景技术
现有方案大多数都是直接以全图像作为反馈信息构建PID控制系统。1)因需对全图像进行处理以提取整体特征，容易造成耗时长、效率低等问题；2)基于图像整体特征构建的控制系统难以对图像上某些重点关注特征点(如人脸温度最高点特征等)的单独处理能力，降低了测温精度；3)缺乏建模基础，导致闭环控制系统的收敛性与稳定性无法得到确切理论保障。
发明内容
针对现有技术中存在的问题，本发明的目的在于提供基于人脸最高温点特征反馈的三轴云台视觉伺服控制方法。
为解决上述问题，本发明采用如下的技术方案。
基于人脸最高温点特征反馈的三轴云台视觉伺服控制方法，包括以下步骤：
采用基于卡尔曼滤波器的强化学习方法对图像中的人脸进行定位，并结合多局部区域人脸识别系统实现对脸部温度最高点的精准识别；
嵌入坐标系，包括三轴云台坐标系、相机坐标系或成像平面坐标系，结合计算机视觉、立体几何以及机器人运动学方法在相机的成像平面上规划出特定区域，并将控制目标描述为：通过视觉反馈控制器的设计，使得温度最高特征点在成像平面上的投影最终能够进入到规划的特定区域之中，用数学语言描述控制目标；定义特征点在成像平面上的投影坐标为y(t)＝(y1(t),y2(t))T，规划的投影区域中心点坐标为
Figure GDA0003579487350000011
半径为R，则控制目标可被描述成：设计出视觉反馈控制器，保证图像误差满足limt→∞||y(t)-y*||≤R；
定义多轴云台末端坐标系相对于基坐标系的齐次变换矩阵为Te(t)，相机坐标系相对于末端坐标系的齐次变换矩阵为Tc，相机坐标系到成像平面上的投影矩阵为Ω∈R3×4，以及脸部温度最高特征点在基坐标系的坐标为(bx,1)T，可获得：
Figure GDA0003579487350000021
其中，zc(t)表示的是特征点的深度信息。定义矩阵
Figure GDA0003579487350000022
由矩阵M∈R3×4前两行所构成的矩阵为P∈R2×4，M矩阵第三行为
Figure GDA0003579487350000023
根据上述方程，可获得
Figure GDA0003579487350000024
Figure GDA0003579487350000025
定义q(t)∈Rn和
Figure GDA0003579487350000026
分别为多轴云台各关节的角度和角速度，考虑到运动控制系统实际执行过程中都是小范围调整，因而采用编码器便可对关节角度及角速度进行精确测量，根据上述方程，可计算出成像平面上特征点投影的跟踪误差Δy(t)＝y(t)-y*的变化率为
Figure GDA0003579487350000027
定义矩阵
Figure GDA0003579487350000028
对包含不确定相机内部和外部参数的矩阵A(t)以及脸部温度最高特征点在基坐标系的坐标(bx,1)T中的未知参数bx进行自适应估计。
作为本发明的进一步改进，自适应估计的步骤为：
对A(t)矩阵中的未知参数进行自适应估计获得估计矩阵
Figure GDA0003579487350000031
结合参数化方法建立
Figure GDA0003579487350000032
其中，
Figure GDA0003579487350000033
为包含特征点在成像平面投影坐标y(t)与云台各关节角度q(t)以及角速度
Figure GDA0003579487350000034
的回归矩阵，
Figure GDA0003579487350000035
为参数化估计误差，其中的参数向量θ由参数化过程
Figure GDA0003579487350000036
所获得，
Figure GDA0003579487350000037
被定义为对θ的自适应估计参数；
结合Lyapunov稳定性分析方法，建立在线更新自适应估计参数
Figure GDA0003579487350000038
的自适应律，并设计角速度控制器
Figure GDA0003579487350000039
使所选择的Lyapunov函数时间导数为负半定，从而建立闭环视觉伺服系统的稳定性。
本发明的有益效果
相比于现有技术，本发明的优点在于：
本发明实现三轴云台在横滚、俯仰、偏转三个方向上的自动调节，保证人脸部的温度最高点与测温探头能够有效对准。1)由于反馈信息为局部的专属细粒度特征而不是整张图像的全局特征，所提出的方案提高了图像处理速度、缩短了图像处理时间；2)由于是利用脸部温度最高点特征作为反馈，所提出的方案具有对图像专属特征点的单独处理能力，能够保证人脸温度最高点与红外探头精确对准；3)本发明的方案是以视觉系统模型和云台模型为分析基础所构建，能够进行严格的收敛性证明与稳定性分析，极大提高了闭环控制系统可靠性。
此外，本发明还具有“相机系统无需提前标定”、“脸部温度最高点特征相对于云台基坐标系的坐标无需被提前获知”等方面的优势。
附图说明
图1为本发明的视觉系统坐标系示意图。
图2为本发明的三轴云台的坐标系统示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述；显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
基于人脸最高温点特征反馈的三轴云台视觉伺服控制方法，包括以下步骤：
a)采用基于卡尔曼滤波器的强化学习方法对图像中的人脸进行定位，并结合多局部区域人脸识别系统实现对脸部温度最高点的精准识别；
b)嵌入坐标系，包括三轴云台坐标系、相机坐标系、成像平面坐标系等，结合计算机视觉、立体几何以及机器人运动学方法在相机的成像平面上规划出特定区域，并将控制目标描述为：通过视觉反馈控制器的设计，使得温度最高特征点在成像平面上的投影最终能够进入到规划的特定区域之中，如下图1所示；
c)用数学语言描述控制目标。定义特征点在成像平面上的投影坐标为y(t)＝(y1(t),y2(t))T，规划的投影区域中心点坐标为
Figure GDA0003579487350000041
半径为R，则控制目标可被描述成：设计出视觉反馈控制器，保证图像误差满足limt→∞||y(t)-y*||≤R；
d)定义多轴云台末端坐标系相对于基坐标系的齐次变换矩阵为Te(t)，相机坐标系相对于末端坐标系的齐次变换矩阵为Tc，相机坐标系到成像平面上的投影矩阵为Ω∈R3 ×4，以及脸部温度最高特征点在基坐标系的坐标为(bx,1)T，如下图2所示。
根据上图，可获得：
Figure GDA0003579487350000042
其中，zc(t)表示的是特征点的深度信息。定义矩阵
Figure GDA0003579487350000043
由矩阵M∈R3×4前两行所构成的矩阵为P∈R2×4，M矩阵第三行为
Figure GDA0003579487350000044
根据上述方程，可获得
Figure GDA0003579487350000045
Figure GDA0003579487350000051
e)定义q(t)∈Rn和
Figure GDA0003579487350000052
分别为多轴云台各关节的角度和角速度，考虑到运动控制系统实际执行过程中都是小范围调整，因而采用编码器便可对关节角度及角速度进行精确测量。根据上述方程，可计算出成像平面上特征点投影的跟踪误差Δy(t)＝y(t)-y*的变化率为
Figure GDA0003579487350000053
f)定义矩阵
Figure GDA0003579487350000054
对包含不确定相机内部和外部参数的矩阵A(t)以及脸部温度最高特征点在基坐标系的坐标(bx,1)T中的未知参数bx进行自适应估计。步骤为：
①对A(t)矩阵中的未知参数进行自适应估计获得估计矩阵
Figure GDA0003579487350000055
结合参数化方法建立
Figure GDA0003579487350000056
其中，
Figure GDA0003579487350000057
为包含特征点在成像平面投影坐标y(t)与云台各关节角度q(t)以及角速度
Figure GDA0003579487350000058
的回归矩阵，
Figure GDA0003579487350000059
为参数化估计误差，其中的参数向量θ由参数化过程
Figure GDA00035794873500000510
所获得，
Figure GDA00035794873500000511
被定义为对θ的自适应估计参数；
②结合Lyapunov稳定性分析方法，建立在线更新自适应估计参数
Figure GDA00035794873500000512
的自适应律，并设计角速度控制器
Figure GDA0003579487350000061
使所选择的Lyapunov函数时间导数为负半定，从而建立闭环视觉伺服系统的稳定性。
以上所述，仅为本发明较佳的具体实施方式；但本发明的保护范围并不局限于此。任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其改进构思加以等同替换或改变，都应涵盖在本发明的保护范围内。

Claims (2)

1.基于人脸最高温点特征反馈的三轴云台视觉伺服控制方法，其特征在于，包括以下步骤：
采用基于卡尔曼滤波器的强化学习方法对图像中的人脸进行定位，并结合多局部区域人脸识别系统实现对脸部温度最高点的精准识别；
嵌入坐标系，包括三轴云台坐标系、相机坐标系或成像平面坐标系，结合计算机视觉、立体几何以及机器人运动学方法在相机的成像平面上规划出特定区域，并将控制目标描述为：通过视觉反馈控制器的设计，使得温度最高特征点在成像平面上的投影最终能够进入到规划的特定区域之中，用数学语言描述控制目标；定义特征点在成像平面上的投影坐标为y(t)＝(y1(t),y2(t))T，规划的投影区域中心点坐标为
Figure FDA0003579487340000011
半径为R，则控制目标可被描述成：设计出视觉反馈控制器，保证图像误差满足limt→∞||y(t)-y*||≤R；
定义多轴云台末端坐标系相对于基坐标系的齐次变换矩阵为Te(t)，相机坐标系相对于末端坐标系的齐次变换矩阵为Tc，相机坐标系到成像平面上的投影矩阵为Ω∈R3×4，以及脸部温度最高特征点在基坐标系的坐标为(bx,1)T，可获得：
Figure FDA0003579487340000012
其中，zc(t)表示的是特征点的深度信息； 定义矩阵
Figure FDA0003579487340000013
由矩阵M∈R3×4前两行所构成的矩阵为P∈R2×4，M矩阵第三行为
Figure FDA0003579487340000014
根据上述方程，可获得
Figure FDA0003579487340000015
Figure FDA0003579487340000016
定义q(t)∈Rn和
Figure FDA0003579487340000017
分别为多轴云台各关节的角度和角速度，考虑到运动控制系统实际执行过程中都是小范围调整，因而采用编码器便可对关节角度及角速度进行精确测量，根据上述方程，可计算出成像平面上特征点投影的跟踪误差Δy(t)＝y(t)-y*的变化率为
Figure FDA0003579487340000021
定义矩阵
Figure FDA0003579487340000022
对包含不确定相机内部和外部参数的矩阵A(t)以及脸部温度最高特征点在基坐标系的坐标(bx,1)T中的未知参数bx进行自适应估计。
2.根据权利要求1所述的基于人脸最高温点特征反馈的三轴云台视觉伺服控制方法，其特征在于：
自适应估计的步骤为：
对A(t)矩阵中的未知参数进行自适应估计获得估计矩阵
Figure FDA0003579487340000023
结合参数化方法建立
Figure FDA0003579487340000024
其中，
Figure FDA0003579487340000025
为包含特征点在成像平面投影坐标y(t)与云台各关节角度q(t)以及角速度
Figure FDA0003579487340000026
的回归矩阵，
Figure FDA0003579487340000027
为参数化估计误差，其中的参数向量θ由参数化过程
Figure FDA0003579487340000028
所获得，
Figure FDA0003579487340000029
被定义为对θ的自适应估计参数；
结合Lyapunov稳定性分析方法，建立在线更新自适应估计参数
Figure FDA00035794873400000210
的自适应律，并设计角速度控制器
Figure FDA00035794873400000211
使所选择的Lyapunov函数时间导数为负半定，从而建立闭环视觉伺服系统的稳定性。
CN202010856804.7A 2020-08-24 2020-08-24 基于人脸最高温点特征反馈的三轴云台视觉伺服控制方法 Expired - Fee Related CN112000135B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010856804.7A CN112000135B (zh) 2020-08-24 2020-08-24 基于人脸最高温点特征反馈的三轴云台视觉伺服控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010856804.7A CN112000135B (zh) 2020-08-24 2020-08-24 基于人脸最高温点特征反馈的三轴云台视觉伺服控制方法

Publications (2)

Publication Number Publication Date
CN112000135A CN112000135A (zh) 2020-11-27
CN112000135B true CN112000135B (zh) 2022-06-24

Family

ID=73470506

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010856804.7A Expired - Fee Related CN112000135B (zh) 2020-08-24 2020-08-24 基于人脸最高温点特征反馈的三轴云台视觉伺服控制方法

Country Status (1)

Country Link
CN (1) CN112000135B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114152349B (zh) * 2021-11-30 2023-11-14 深圳Tcl新技术有限公司 温度测量方法、装置、存储介质及电子设备
CN116038719B (zh) * 2023-04-03 2023-07-18 广东工业大学 一种机械臂末端位姿跟踪测量方法、装置及设备
CN116540790B (zh) * 2023-07-05 2023-09-08 深圳市保凌影像科技有限公司 云台稳定控制方法、装置、电子设备及存储介质

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007095950A1 (en) * 2006-02-21 2007-08-30 Stobbe Tech Holding A/S Remote controlled pan-tilt-angle device for supporting and exact positioning of optical equipment
CN103105858A (zh) * 2012-12-29 2013-05-15 上海安维尔信息科技有限公司 在固定相机和云台相机间进行目标放大、主从跟踪的方法
US9836852B2 (en) * 2013-12-21 2017-12-05 Qualcomm Incorporated System and method to stabilize display of an object tracking box
CN110934572A (zh) * 2019-11-26 2020-03-31 新疆爱华盈通信息技术有限公司 体温监测方法及装置、可读存储介质
CN111397763A (zh) * 2020-04-21 2020-07-10 福建汇川物联网技术科技股份有限公司 基于人脸跟踪的体温测量装置、方法

Also Published As

Publication number Publication date
CN112000135A (zh) 2020-11-27

Similar Documents

Publication Publication Date Title
CN112000135B (zh) 基于人脸最高温点特征反馈的三轴云台视觉伺服控制方法
CN110116407B (zh) 柔性机器人位姿测量方法及装置
Shen et al. Autonomous multi-floor indoor navigation with a computationally constrained MAV
Sun et al. A review of robot control with visual servoing
Fomena et al. Distance-based and orientation-based visual servoing from three points
CN110695991A (zh) 基于变异粒子群优化的自动手眼标定方法
JP2006110705A (ja) ロボットのキャリブレーション方法
Zhao et al. Monocular vision-based parameter estimation for mobile robotic painting
CN109960145B (zh) 移动机器人混合视觉轨迹跟踪策略
CN112256001A (zh) 一种视角约束下的移动机器人视觉伺服控制方法
Yang et al. An optimized image-based visual servo control for fixed-wing unmanned aerial vehicle target tracking with fixed camera
CN115446836B (zh) 一种基于多种图像特征信息混合的视觉伺服方法
Navarro-Alarcon et al. Visually servoed deformation control by robot manipulators
CN115446847A (zh) 用于提高机器人系统的3d眼手协调准确度的系统和方法
CN110928311A (zh) 一种基于全景相机下直线特征的室内移动机器人导航方法
CN113211433B (zh) 一种基于复合特征的分离式视觉伺服控制方法
CN109542094B (zh) 无期望图像的移动机器人视觉镇定控制
CN112099505B (zh) 一种低复杂度的移动机器人视觉伺服编队控制方法
CN108927807A (zh) 一种基于点特征的机器人视觉控制方法
Kang et al. Adaptive trajectory tracking of wheeled mobile robots based on a fish-eye camera
Maeda et al. Frequency response experiments of 3-d pose full-tracking visual servoing with eye-vergence hand-eye robot system
Kumar et al. Tracking a planar target using image-based visual servoing technique
WO2020010625A1 (zh) 机器人运动学模型优化方法、系统和存储装置
Ma et al. Moving to OOP: An active observation approach for a novel composite visual servoing configuration
Van Toan et al. A Single 2D LiDAR Extrinsic Calibration for Autonomous Mobile Robots

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20220624