CN111650968B - 一种云台定位误差测定方法 - Google Patents
一种云台定位误差测定方法 Download PDFInfo
- Publication number
- CN111650968B CN111650968B CN202010734180.1A CN202010734180A CN111650968B CN 111650968 B CN111650968 B CN 111650968B CN 202010734180 A CN202010734180 A CN 202010734180A CN 111650968 B CN111650968 B CN 111650968B
- Authority
- CN
- China
- Prior art keywords
- channel
- picture
- pan
- avg
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D3/00—Control of position or direction
- G05D3/10—Control of position or direction without using feedback
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/002—Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Automation & Control Theory (AREA)
- Image Analysis (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
Abstract
本发明公开一种云台定位误差测定方法,使用云台拍摄模板图片并记录对应拍摄参数和对应深度矩阵;对模板图片进行预处理后提取特征描述子集,设置云台运动目标值来模拟云台重复定位,求取实际云台运动角度与预设值之间的偏差,拍摄当前视角图片,并提取当前图片的特征描述子集合,对两个特征描述子集合进行匹配,选取匹配最优4对特征点,并计算出四个点所在平面在世界坐标下的法线向量和平面到拍摄模板时平面到相机的距离;最后计算出云台定位偏差。本发明能够提高特征匹配的准确率,用于云台重复定位精度检测、云台性能评估以及云台误差校正,克服采用惯性测量单元或增加编码器等方法的硬件改动量大的缺点。
Description
技术领域
本发明属于云台设备技术,具体涉及一种云台定位误差测定方法。
背景技术
云台是用以实现目标载体的固定、调节目标载体的姿态和使目标载体稳定保持在确定的姿态上,从而实现目标载体的稳定、流畅且多角度拍摄。现有的云台定位方法存在下述缺陷:由于电机驱动方法、机械回差或外力异常阻挡等因素,很大程度上会导致云台重复定位误差,进而降低云台控制和定位精度。
现有技术中对云台定位误差测定方法通常是对云台的机械误差进行补偿,这样的方法其精度不够。
发明内容
发明目的:本发明的目的在于解决现有技术中存在的不足,提供一种云台定位误差测定方法。
技术方案:本发明的一种云台定位误差测定方法,云台上的可见光摄像头采用双目深度相机,通过该双目深度相机同时获得可见光图像和图像内像素点对应的深度值,具体包括以下步骤:
步骤2:对模板图片M依次进行白平衡和直方图均衡,然后对处理后的图片提取其SURF特征描述子集合S_M,存储模板图片M和SURF特征描述子集合S_M;
步骤6:对当前图片N进行白平衡和直方图均衡;
步骤7:提取当前图片N的SURF特征描述子集合S_N,对S_M和S_N进行匹配,计算两集合内任意两点之间的欧式距离,选取匹配最优的且任意三点不共线的4对特征点,并且同时满足4点近似在一个平面内,记为 , , ,,每个特征点包含(x,y,deep)三个坐标值,根据上述数值计算出四个点所在平面在世界坐标下的法线向量和平面到拍摄模板时平面到相机的距离d;
步骤8:根据四对特征点计算单应矩阵H,单应矩阵计算方式:
联立上述表达式(1)~(4),获得单应矩阵H的唯一解;
云台相机两次拍摄时的坐标分别为(x1,y1,z1),(x2,y2,z2);
式中,H为由四对特征点计算出的单应矩阵,Q为相机内参矩阵,为Q的逆矩阵,为当前图片N拍摄时相对于模板图片M拍摄时云台相机的平移矩阵;是四个特征点所在平面在世界坐标下的法向量,d表示该平面到相机的垂直距离,r为相机至云台旋转中心点的距离。
进一步的,所述步骤2中白平衡的具体步骤为:
步骤A、将模板图片M分解成R、G、B三个颜色通道,计算各个通道的平均值,依次为:R_avg、G_avg和B_avg;
步骤B、计算各个通道所占增益,依次为Kr、Kg和Kb;
K = (R_avg+G_avg+B_avg)/3
Kr = K/ R_avg
Kg = K/ G_avg
Kb = K/ B_avg
步骤C、更新白平衡后的各个通道RGB值;
R_new = min((R + Kr),255)
G_new = min ((G + Kg),255)
B_new = min ((B + Kb),255)
步骤D、合并R_new、G_new、B_new三个通道,组成新的图像;
上式中,min(x1,x2)函数为取x1和x2中较小值;R为红色通道;G为绿色通道;B为蓝色通道;R_avg为红色通道平均值;G_avg为绿色通道平均值;B_avg为蓝色通道平均值;K为平均通道增益;Kr为红色通道增益;Kg为绿色通道增益;Kb为蓝色通道增益;R_new为白平衡后的图像红色通道;G_new为白平衡后的图像绿色通道;B_new为白平衡后的图像蓝色通道;M_new为白平衡后的图像。
进一步的,步骤2中直方图均衡的具体步骤为:
步骤A、将白平衡处理后的图片分解为H、S、V通道,H为色调,S为饱和度,V为亮度;
步骤C、将亮度通道直方图均衡化:
步骤D、合并H、S、V通道,组成新的图像。
进一步的,步骤7中特征匹配的具体步骤为:
步骤7.1、分别从S_M和S_N中分别随机抽取一个特征向量Vm和Vn,计算两个特征向量之间的欧式距离,欧式距离计算方式为:
步骤7.2、根据欧式距离的大小,对特征向量匹配度进行从高到低排序。
有益效果:本发明通过对图像进行白平衡和直方图均衡处理,消除光照强度对图片成像的影响,提高特征匹配的准确率;通过几何关系求解云台定位偏差的解析解,可用于云台重复定位精度检测、云台性能评估以及云台误差校正,克服了采用惯性测量单元或增加编码器等方法的硬件改动量大的缺点。
附图说明
图1为本发明的整体流程示意图。
具体实施方式
下面对本发明技术方案进行详细说明,但是本发明的保护范围不局限于所述实施例。
如图1所示,本实施例的一种云台定位误差测定方法,云台上的可见光摄像头采用双目深度相机,通过该双目深度相机同时获得可见光图像和图像内像素点对应的深度值,具体包括以下步骤:
步骤2:对模板图片M依次进行白平衡和直方图均衡,然后对处理后的图片提取其SURF特征描述子集合S_M,存储模板图片M和SURF特征描述子集合S_M;
步骤6:对当前图片N进行白平衡和直方图均衡;
步骤7:提取当前图片N的SURF特征描述子集合S_N,对S_M和S_N进行匹配,计算两集合内任意两点之间的欧式距离,选取匹配最优的且任意三点不共线的4对特征点,并且同时满足4点近似在一个平面内,记为 , , ,,每个特征点包含(x,y,deep)三个坐标值,根据上述数值计算出四个点所在平面在世界坐标下的法线向量和平面到拍摄模板时平面到相机的距离d;
步骤8:根据四对特征点计算单应矩阵H,单应矩阵计算方式:
联立上述表达式(1)~(4),获得单应矩阵H的唯一解;
云台相机两次拍摄时的坐标分别为(x1,y1,z1),(x2,y2,z2);
式中,H为由四对特征点计算出的单应矩阵,Q为相机内参矩阵,为Q的逆矩阵,为当前图片N拍摄时相对于模板图片M拍摄时云台相机的平移矩阵;是四个特征点所在平面在世界坐标下的法向量,d表示该平面到相机的垂直距离,r为相机至云台旋转中心点的距离。
进一步的,所述步骤2中白平衡的具体步骤为:
步骤A、将模板图片M分解成R、G、B三个颜色通道,计算各个通道的平均值,依次为:R_avg、G_avg和B_avg;
步骤B、计算各个通道所占增益,依次为Kr、Kg和Kb;
K = (R_avg+G_avg+B_avg)/3
Kr = K/ R_avg
Kg = K/ G_avg
Kb = K/ B_avg
步骤C、更新白平衡后的各个通道RGB值;
R_new = min((R + Kr),255)
G_new = min ((G + Kg),255)
B_new = min ((B + Kb),255)
步骤D、合并R_new、G_new、B_new三个通道,组成新的图像;
上式中,min(x1,x2)函数为取x1和x2中较小值;R为红色通道;G为绿色通道;B为蓝色通道;R_avg为红色通道平均值;G_avg为绿色通道平均值;B_avg为蓝色通道平均值;K为平均通道增益;Kr为红色通道增益;Kg为绿色通道增益;Kb为蓝色通道增益;R_new为白平衡后的图像红色通道;G_new为白平衡后的图像绿色通道;B_new为白平衡后的图像蓝色通道;M_new为白平衡后的图像。
进一步的,步骤2中直方图均衡的具体步骤为:
步骤A、将白平衡处理后的图片分解为H、S、V通道,H为色调,S为饱和度,V为亮度;
步骤C、将亮度通道直方图均衡化:
步骤D、合并H、S、V通道,组成新的图像。
进一步的,步骤7中特征匹配的具体步骤为:
步骤7.1、分别从S_M和S_N中分别随机抽取一个特征向量Vm和Vn,计算两个特征向量之间的欧式距离,欧式距离计算方式为:
步骤7.2、根据欧式距离的大小,对特征向量匹配度进行从高到低排序。
本发明通过对图像进行白平衡和直方图均衡处理,消除光照强度对图片成像的影响,提高特征匹配的准确率;通过几何关系求解云台定位偏差的解析解,可用于云台重复定位精度检测、云台性能评估以及云台误差校正,克服了采用惯性测量单元或增加编码器等方法的硬件改动量大的缺点。
Claims (4)
1.一种云台定位误差测定方法,其特征在于:所述云台上的可见光摄像头采用双目深度相机,通过该双目深度相机同时获得可见光图像和图像内像素点对应的深度值,具体包括以下步骤:
步骤1:使用云台对着一个平面或者近似平面拍摄一张图片,记录并存储云台本次拍摄的水平角度θ和垂直角度β,同时记录此次拍摄时双目深度相机的焦距f、变焦倍率a和光圈b,然后保存模板图片M和对应深度矩阵Dm;
上式中,m为模板图片M水平方向像素数,n为模板图片M垂直方向像素数,deepij表示第i行第j列像素深度值;
步骤2:对模板图片M依次进行白平衡和直方图均衡,然后对处理后的图片提取其SURF特征描述子集合S_M,存储模板图片M和SURF特征描述子集合S_M;
步骤3:读取步骤1所得模板图片M拍摄水平角度θ和垂直角度β,可见光相机焦距f、变焦倍率a、光圈b;
步骤4:设置云台运动目标值来模拟云台重复定位,目标值包括水平角度θ和垂直角度β;等待云台运动结束;由于云台重复定位可能存在误差,实际云台运动角度与预设值可能存在偏差,分别记为Δθ和Δβ,逆时针为正方向;
步骤5:可见光相机以焦距f、变焦倍率a和光圈b的参数来拍摄当前视角图片N,图片N的水平角度是θ+Δθ;垂直角度是β+Δβ;
步骤6:对当前图片N进行白平衡和直方图均衡;
步骤7:提取当前图片N的SURF特征描述子集合S_N,对S_M和S_N进行匹配,计算两集合内任意两点之间的欧式距离,选取匹配最优的且任意三点不共线的4对特征点,并且同时满足4点近似在一个平面内,记为(AM,AN),(BM,BN),(CM,CN),(DM,DN),每个特征点包含(x,y,deep)三个坐标值,根据上述坐标值计算出四个点所在平面在世界坐标下的法线向量nT和平面到拍摄模板时平面到相机的距离d;
步骤8:根据四对特征点计算单应矩阵H,单应矩阵计算方式:
联立表达式(1)~(4),获得单应矩阵H的唯一解;
云台相机两次拍摄时的坐标分别为(x1,y1,z1),(x2,y2,z2);
x1=r*sin(β)*cos(θ)
y1=r*sin(β)*sin(θ)
z1=r*cos(β)
x2=r*sin(β+Δβ)*cos(θ+Δθ)
y2=r*sin(β+Δβ)*sin(θ+Δθ)
z2=r*cos(β+Δβ)
联立上述表达式,计算出Δθ和Δβ,即为云台重复定位水平偏差和竖直偏差值;
式中,H为由四对特征点计算出的单应矩阵,Q为相机内参矩阵,Q-1为Q的逆矩阵,TN为当前图片N拍摄时相对于模板图片M拍摄时云台相机的平移矩阵;nT是四个特征点所在平面在世界坐标下的法向量,d表示该平面到相机的垂直距离,r为相机至云台旋转中心点的距离,RN为经过垂直旋转β和水平旋转θ计算得到的旋转矩阵。
2.根据权利要求1所述的云台定位误差测定方法,其特征在于:所述步骤2中白平衡的具体步骤为:
步骤A、将模板图片M分解成R、G、B三个颜色通道,计算各个通道的平均值,依次为:R_avg、G_avg和B_avg;
步骤B、计算各个通道所占增益,依次为Kr、Kg和Kb;
K=(R_avg+G_avg+B_avg)/3
Kr=K/R_avg
Kg=K/G_avg
Kb=K/B_avg
步骤C、更新白平衡后的各个通道RGB值;
R_new=min((R+Kr),255)
G_new=min((G+Kg),255)
B_new=min((B+Kb),255)
步骤D、合并R_new、G_new、B_new三个通道,组成新的图像;
上式中,min(x1,x2)函数为取x1和x2中较小值;R为红色通道;G为绿色通道;B为蓝色通道;R_avg为红色通道平均值;G_avg为绿色通道平均值;B_avg为蓝色通道平均值;K为平均通道增益;Kr为红色通道增益;Kg为绿色通道增益;Kb为蓝色通道增益;R_new为白平衡后的图像红色通道;G_new为白平衡后的图像绿色通道;B_new为白平衡后的图像蓝色通道;M_new为白平衡后的图像。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010734180.1A CN111650968B (zh) | 2020-07-28 | 2020-07-28 | 一种云台定位误差测定方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010734180.1A CN111650968B (zh) | 2020-07-28 | 2020-07-28 | 一种云台定位误差测定方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111650968A CN111650968A (zh) | 2020-09-11 |
CN111650968B true CN111650968B (zh) | 2022-07-05 |
Family
ID=72352589
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010734180.1A Active CN111650968B (zh) | 2020-07-28 | 2020-07-28 | 一种云台定位误差测定方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111650968B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113727003B (zh) * | 2021-08-31 | 2023-08-01 | 浙江大华技术股份有限公司 | 云台位置自检方法及装置、存储介质、电子装置 |
CN114509049B (zh) * | 2021-11-17 | 2023-06-16 | 中国民用航空总局第二研究所 | 基于图像处理的云台重复定位精度测量方法及其系统 |
CN114565677B (zh) * | 2022-01-14 | 2023-07-28 | 浙江大华技术股份有限公司 | 一种定位纠偏方法、监控设备和计算机可读存储介质 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102567989A (zh) * | 2011-11-30 | 2012-07-11 | 重庆大学 | 基于双目立体视觉的空间定位方法 |
CN105635657B (zh) * | 2014-11-03 | 2019-04-23 | 航天信息股份有限公司 | 基于人脸检测的摄像机云台全方位交互方法和装置 |
CN105513072A (zh) * | 2015-12-05 | 2016-04-20 | 中国航空工业集团公司洛阳电光设备研究所 | 一种云台校正方法 |
US11120392B2 (en) * | 2017-01-06 | 2021-09-14 | Position Imaging, Inc. | System and method of calibrating a directional light source relative to a camera's field of view |
CN111445537B (zh) * | 2020-06-18 | 2020-09-29 | 浙江中控技术股份有限公司 | 一种摄像机的标定方法及系统 |
-
2020
- 2020-07-28 CN CN202010734180.1A patent/CN111650968B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN111650968A (zh) | 2020-09-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111650968B (zh) | 一种云台定位误差测定方法 | |
CN111243033B (zh) | 一种优化双目相机外参数的方法 | |
CN110782394A (zh) | 全景视频快速拼接方法及系统 | |
CN103198487B (zh) | 一种用于视频监控系统中的自动定标方法 | |
CN107333130B (zh) | 组装多摄像头模组测试方法及系统 | |
CN108447022B (zh) | 基于单个固定摄像头图像序列的运动目标拼接方法 | |
US9171379B2 (en) | Hybrid precision tracking | |
CN106469444B (zh) | 消除拼接缝隙的快速图像融合方法 | |
CN106910221B (zh) | 一种全局标定的方法及装置 | |
CN107478203B (zh) | 一种基于激光扫描的3d成像装置及成像方法 | |
CN108154536A (zh) | 二维平面迭代的相机标定法 | |
CN208254424U (zh) | 一种激光盲孔深度检测系统 | |
CN106447735A (zh) | 一种全景相机几何标定处理方法 | |
CN113450416B (zh) | 一种应用于三目相机立体标定的tcsc方法 | |
CN109003309A (zh) | 一种高精度相机标定和目标姿态估计方法 | |
CN112232319A (zh) | 一种基于单目视觉定位的扫描拼接方法 | |
CN107301666B (zh) | 机器人自动射击方法 | |
CN115187612A (zh) | 一种基于机器视觉的平面面积测量方法、装置及系统 | |
CN114331835A (zh) | 一种基于最优映射矩阵的全景图像拼接方法及装置 | |
CN111681271B (zh) | 一种多通道多光谱相机配准方法、系统及介质 | |
CN113034590B (zh) | 基于视觉融合的auv动态对接定位方法 | |
CN116309844A (zh) | 一种基于无人机单张航空图片的三维测量方法 | |
CN109410272A (zh) | 一种变压器螺母识别与定位装置及方法 | |
CN115830089A (zh) | 一种结合关键点信息的点云配准方法及其应用 | |
CN109631850B (zh) | 一种基于深度学习的倾斜摄像相对定位方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |