CN112197766A - 一种针对系留旋翼平台的视觉测姿装置 - Google Patents
一种针对系留旋翼平台的视觉测姿装置 Download PDFInfo
- Publication number
- CN112197766A CN112197766A CN202011055596.7A CN202011055596A CN112197766A CN 112197766 A CN112197766 A CN 112197766A CN 202011055596 A CN202011055596 A CN 202011055596A CN 112197766 A CN112197766 A CN 112197766A
- Authority
- CN
- China
- Prior art keywords
- camera
- tethered
- image
- brightness
- point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
- G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
- G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
- G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Automation & Control Theory (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明公开了一种针对系留旋翼平台的视觉测姿装置,通过在系留旋翼机正下方架设摄像机获取旋翼机图像,在旋翼机任意一组相对悬臂端安装高亮点光源形成测量基线,通过控制摄像机曝光参数,在各种典型室外环境条件下均能获得清晰点源图像,并最大限度抑制背景。地面站摄像机能够基于高精度惯导获取北向基准,从而能够通过亚像素精度的点源跟踪,解算出测量基线在摄像机传感器平面的投影相对于摄像机坐标系的夹角,并结合惯导姿态角数据、载机倾角传感器数据进一步解算旋翼机在北‑西‑天坐标系下的姿态角。该装置可用于系留旋翼机的高精度、无漂移的姿态角实时测量。
Description
技术领域
本发明属于视觉测姿技术领域,涉及一种基于标记点观测获得基线角度、结合惯导、倾角传感器数据进行综合分析、处理,解算出系留旋翼平台姿态角的视觉测姿装置。
背景技术
系留旋翼平台具备长时留空、适于固定点布设、载荷大等特点,可用于地面侦察、地对地通信中继,能够有效抬高瞄线,拓展侦察距离,改善通信覆盖能力。在侦察、中继等应用中,载机精确姿态测量是亟需解决的技术问题,从成本、重量方面考虑,载机并不适于安装高精度惯导,而MEMS陀螺等测量手段无法满足系统测角精度要求。由于系留系统均配有地面保障设备,通过地面观测获得载机姿态是一种较为可行的手段。
视觉测姿基于观测标记图案的空间变形,基于被测刚体自身的结构关系约束,反向解算出空间姿态角。对于纯视觉测姿解决方案,由于姿态角具有方位、俯仰、横滚三个自由度,从二维图像中获取的基线角度数据难以有效分离俯仰、横滚量,导致解算出的俯仰、横滚量精度很低,难以用于高精度测量。
发明内容
(一)发明目的
本发明的目的是:为系留旋翼机的姿态测量提供一种基于地面观测,利用机器视觉以及后续的数据处理获得载机实时姿态角的视觉测姿装置。
(二)技术方案
为了解决上述技术问题,本发明提供一种针对系留旋翼平台的视觉测姿装置,包括载机部分与地面观测站,地面观测站观测载机上的两个充分远离的特征标记点,采用亚像素级精度的点目标自动跟踪算法获取标记点像素坐标,经像空间位置校正后转换到物空间坐标,从而计算出载机方位角;通过载机自身倾角传感器测量数据变换,获得俯仰、横滚角,从而得到描述载机姿态的欧拉角全部分量。
所述的载机部分包括标记点光源1,标记点光源2、亮度控制单元、倾斜传感器、无线数据收发装置1;所述的地面观测站包括一个垂直向上观察的小视场高分辨率摄像机(以下亦简称摄像机1),一个垂直向上观察的大视场摄像机(以下亦简称摄像机2)、无线数据收发装置2、曝光控制单元、计算机终端及视频采集与数据处理单元。
标记点光源1、2安装位置选择地面可直接观察到的载机对称旋臂外端的两个无遮挡位置点,标记点光源1、2亮度可由地面观测站的计算机终端控制。标记点光源采用高亮LED器件,通过圆孔光阑截取光源中心光度均匀区,获得亮度可控、均匀的圆形点光源。
倾斜传感器安装在载机主体上,倾斜传感器选用具有动态倾角测量功能的产品,能够在系留旋翼机悬停、旋转等各种工况下提供0.1度量级的俯仰、侧倾角测量。
无线数据收发装置1、2构成空地数据链路,使载机倾斜传感器数据能够实时传送到地面观测站的计算机终端,同时地面观测站的计算机终端发出的亮度调节指令可以发送到亮度控制单元,从而控制标记点光源1、2的亮度水平。
地面观测站的计算机终端可以发出指令,通过曝光控制单元驱动摄像机光圈,基于图像灰度分析的负反馈控制,从而能够在各种环境光照条件下均能获取到符合预期特征的标记点光源图像。
地面观测站的计算机终端具备RS422口、Cameralink视频采集口,能够实时获取高分辨率摄像机的视频图像,能够与载机部分的倾斜传感器、亮度控制单元、地面观测站的曝光控制单元通信。
地面观测站的计算机终端安装视频采集与数据处理单元,视频采集与数据处理单元包括曝光控制模块、点源跟踪模块、载机位置控制模块、角度解算模块,载机升空位置锁定模块。
曝光控制模块
曝光控制模块从摄像机1图像信息中获取平均灰度数据,通过负反馈控制摄像机1光圈大小,使图像平均灰度控制在k1L左右,以充分滤除无关背景,同时控制曝光控制模块,使标记点图像最大亮度控制在k2L以上,并控制点源像大小在m×m尺寸以内,且在以点源中心的n×n的正方形区域中,在剔除中心M×M区域后的背景像素能基本保持均匀灰度,无明显纹理特征。
这里,L为摄像机1输出数字图像亮度量化的最大值,对于8位灰度输出的摄像机,L=255,k1、k2为可选的比例因子,满足0.0<k1<k2<1.0,k1、k2应有显著差异,例如,可选k1=0.2、k2=0.8。m描述了点源像的大小,n描述了搜索/跟踪波门大小,M描述了存在灰度起伏的最小中心区域大小,有1<m<M<n,例如,针对某旋翼机结构尺寸特征,可选择m=5,n=25,M=9。
点源图像区域通过设定阈值筛选,阈值按照以下方法设定:
在n×n大小的正方形区域(搜索/跟踪波门)中,计算像素最大亮度lmax、最小亮度lmin,令阈值lgate=lmin+k3(lmax-lmin),k3为常数比例因子,视点源像典型形态特征选取,一般取0.2~0.6之间。
点源跟踪模块
系留旋翼机升空悬停到设定高度后,点源跟踪模块首先搜索摄像机1获取的全幅图像,寻找标记点,根据标记点邻域的图像特征:光源亮度远大于背景亮度,且背景均匀,可以通过全图遍历检测,寻找锁定标记点1、2。
标记点1、2位置锁定后,点源跟踪模块进入精确跟踪模式,在精确跟踪模式下,通过阈值分割,找出点源像区域,通过计算点源像的亮度重心,作为点源的精确位置,可以达到亚像素精度。
载机位置控制模块
标记点1、2的中点的像素坐标(x0,y0)表示了系留旋翼机位置,设图像中心坐标为(xc,yc),则(x0-xc,y0-yc)表示了旋翼机偏离中心的程度,基于PID控制算法,基于该偏移量计算出x向、y向的调节度反馈给飞控系统,使系留旋翼机保持位置稳定。
角度解算模块
当摄像机光轴调节为垂直向上时,标记点1、2的像素坐标(x1,y1)、(x2,y2)确定的直线为载机方位测量基线L在水平面上的投影L’,如附图1所示,考虑到摄像机1视场畸变的影响,角度解算模块在进行基线方位角计算前首先要根据预先标定的摄像机1参数进行坐标校正,得到校正后的坐标(x1c,y1c)、(x2c,y2c)。
则L’在摄像机坐标系中的方位角可按以下式解算:
令dx=x2c-x1c,dy=y2c-y1c
yaw=atan(dy/dx)
当dy>0,dx>0时,方位角=yaw;
当dy>0,dx<0时,方位角=yaw+π;
当dy<0,dx<0时,方位角=yaw;
当dy>0,dx>0时,方位角=yaw;
定义载机坐标系的x轴沿基线L方向,z轴垂直于载机水平基准面。倾角传感器安装在载机水平基准面上,倾角传感器x轴与基线平行。根据载机倾角传感器测得的载机x向、y向倾斜数据,计算载机在摄像机坐标系下的姿态角,即以zyx顺归定义的欧拉角的俯仰、横滚分量。根据投影关系,L’在摄像机坐标系中的方位角即基线L在摄像机坐标系中的方位角,亦即载机在摄像机坐标系中的方位角,至此,载机姿态角被完全解出。
载机升空位置锁定模块
该模块基于摄像机2获取的图像,通过特征识别,锁定系留旋翼机像的矩形包络,以该矩形包络的几何中心的像素坐标与图像中心坐标的偏离量,基于PID控制算法,基于该偏移量计算出x向、y向的调节度反馈给飞控系统,使系留旋翼机在升空过程中保持位置始终位于摄像机2的光轴中心上,从而能够保证系留旋翼机到位悬停后能够使标记点1、标记点2均进入摄像机1视场。系留旋翼机到位悬停后,载机位置锁定的任务即移交给载机位置控制模块。
本发明首先基于摄像机采集的图像灰度统计特征进行负反馈控制摄像机光圈、标记点光源亮度,使点源跟踪模块可以获得具有显著的、稳定的特征的点源像,并能充分抑制背景;采用图像亮度重心分析的方法获取点源像亚像素级精度的像素坐标,并计算出测量基线方位角;基于倾斜传感器获取的倾角量通过角度解算转换为欧拉角,从而得到系留旋翼机的欧拉角全部三个分量。
基于标记点坐标均值,得到系留旋翼机像中心像素坐标,通过PID算法反馈给飞控,完成系留旋翼机位置的精确稳定,保证标记点1、2始终同时在视场内,并通过选择合适的摄像机视场,使标记点1、2的像素间距仅量接近图像区域的内接圆直径,从而通过最大化基线长度提高基线角度测量精度。
摄像机与惯导装置固连,通过地面支架提供的调平措施,使摄像机光轴固定为垂直向上方向。这样,通过惯导,可以获得摄像机坐标系在北-西-天坐标系下的姿态角,从而能够通过坐标变换,实时解算载机在北-西-天坐标系下的姿态角。
其中,所述的亚像素级精度的点目标自动跟踪算法包括初始位置搜索和点源亚像素精度跟踪两个顺次执行的过程;所述的初始位置搜索采用初筛、精筛两个阶段,初筛按搜索波门大小对全图划分若干紧密相邻的子区域,根据“光源亮度远大于背景亮度,且背景均匀”的点源区域图像特征对全部子区域进行检测,确定可能的点源位置;精筛则采用逐像素滑动检测,使搜索波门遍历初筛结果的全部像素点,在初筛条件下,增加“波门中心位置即最大亮度位置”的判断条件,确定点源位置。所述的亚像素精度跟踪采用基于点源速度的位置预测确定跟踪波门位置,采用阈值分割提取点源像区域,采用灰度重心法计算点源像几何中心的亚像素级精度的坐标值。
其中,所述的系留旋翼机升空过程位置检测采用动态更新模板的归一化互相关跟踪,能够适应系留旋翼机升空过程中成像尺寸的变化,保证可靠跟踪。通过位置检测,实时计算与图像中心的像素偏差,通过负反馈控制,使系留旋翼机在升空过程中始终沿所述的大视场摄像机光轴举升;所述的系留旋翼机在工作高度时的位置检测,是通过计算两个特征标记点的像素坐标中点确定的,通过负反馈控制,使系留旋翼机在工作高度始终锁定在小视场摄像机光轴中心,从而保证两个特征标记点在大视场摄像机视场中始终同时可见;所述的像空间位置校正,是首先采用点阵标定靶标定小视场摄像机,根据标定参数,通过二维三次样条插值建立二维数组,表征整数坐标的位置映射矩阵;对亚像素精度的坐标,通过选取位置映射矩阵的邻域4点,进行双线性插值计算,完成像空间位置校正。
所述的载机自身倾角传感器测量数据变换是指将倾角传感器测得的x方向、y方向的倾斜分量,通过逐级细分的搜索试算过程,寻找与之对应的欧拉角俯仰、横滚分量。
(三)有益效果
上述技术方案所提供的针对系留旋翼平台的视觉测姿装置,具有以下优点:
(1)系统姿态角基准由惯导在初始时装定,由于方位角基于机器视觉方法测量、俯仰、横滚角基于重力感应测量,不存在长时漂移问题,精度稳定;
(2)通过地面观测站观测,仅在载机上安装标记光源、倾角传感器,测姿系统增加的载机重量负荷很小,而地面观测站由于尺寸、重量限制可以放宽,可采用高分辨率、大口径图像采集系统,从而提高视觉测姿精度;
(3)基于图像灰度统计特征的负反馈控制,能够使标记点图像足够显著,可以有效保证各种场景下的视觉测姿的可靠工作;
(4)基于机器视觉的载机位置偏离实时测量,通过PID控制反馈到飞控系统,实现系留旋翼机空间位置的精确锁定,可以最大化基线成像距离,从而提高方位解算精度。
附图说明
图1是本发明的一个优选实例的系统构成。
图2是亮度控制单元原理图。
图3是标记点光源结构。
图4是曝光控制单元结构。
图5是本发明的一个实例所采集的标记点图像。
图6是本发明涉及的坐标系空间关系示意图。
图7是摄像机1标定靶。
具体实施方式
为使本发明的目的、内容、和优点更加清楚,下面结合附图和实施例,对本发明的具体实施方式作进一步详细描述。
本发明提出一种融合视觉测姿、载机倾角测量的系留旋翼机姿态测量装置,该装置仅在载机上布设标记点光源、倾角传感器,测量装置在载机上带来的重量、功耗极小,而通过测量装置的地面观测站的高清晰度成像能力,可以获得与目前高精度惯导装置相当的姿态角测量精度,可以大幅降低系统成本;通过图像信息反馈控制摄像机曝光量、标记光源亮度,可以充分锐化点源特征,结合亚像素级点跟踪,进一步提高系统测量精度。
本发明优选实例中,选用4K分辨率全色可见光摄像机作为地面观测站的图像传感器,配置500mm定焦镜头,对100m高度的系留旋翼机上的间距2.0m的两个标记光源,点源像素间距可以达到3270像素以上,点源跟踪精度为0.5像素时,方位解算精度可优于0.01度。
定焦镜头的光圈调节环外套装一个齿盘,通过电机、减速机构可驱动齿盘顺时针或逆时针旋转,从而带动镜头光圈调节。
摄像机输出的视频通过一个带Cameralink采集卡的通用计算机采集,可以摄像机同步的30fps帧频实时获取图像,通过计算机上的视频采集与数据处理单元的曝光控制模块分析图像的平均灰度、最大灰度,以控制平均灰度到k1L(本实例中k1取0.25,图像灰度为8位量化,即k1L≈64),控制最大灰度到k2L(本实例中k2取1.0,即k2L=255)为目标,将控制参数分别发送到曝光控制单元、亮度控制单元,由相关单元通过PID负反馈控制实现图像的平均灰度、最大灰度达到期望值。
地面观测站同时配备一个USB摄像机,视场为20度,其光轴与所述的4K分辨率全色可见光摄像机平行,用于系留旋翼机升空过程中的位置锁定:在系留旋翼机升空到20m以上时,系留旋翼机整体可保证完全进入摄像机2视场,载机升空位置锁定模块进入工作状态,实时锁定系留旋翼机在升空过程中始终位于摄像机2光轴上。
系留旋翼机升空到100m工作高度后,曝光控制模块开始工作,当摄像机1输出的图像的平均灰度、最大灰度被稳定在期望值附近时,点源跟踪模块开始工作:
首先进行标记点初始位置搜索,搜索分为粗筛、精筛两个阶段。
粗筛对摄像机1获取的图像的中心搜索区域4075×4075(传感器有效像素为4088×4088,左、上各裁剪6像素,右、下各裁剪7像素)像素,按n×n大小,这里,n取25,划分为26569个相邻的正方形区域,对这些正方形区域依次进行以下分析:
(1)计算区域内的最大灰度lmax,以及最大灰度出现的位置;
(2)在区域内去除以最大灰度位置点为中心的M×M子区域,这里,M取9,计算余下的区域的灰度最大值lbmax,最小值lmin,定义背景灰度起伏ldlt=lbmax-lmin,定义点源对比度Cdot=lmax-lbmax;
(3)判断“点源对比度显著高于背景灰度起伏条件”是否成立,即:Cdot>(ldlt+lgate1),这里,lgate1取30。条件满足的区域进入精筛阶段。
精筛对逐个对初筛区域进行检测,检测过程如下:
(1)将n×n区域在上下左右四个方向延拓m个像素,这里,n取25,m取5,因此,延拓后检测区域为35×35;
(2)对检测区域逐点检测,检测方法为,以该点为中心,从全图像中抠取n×n区域,先用初筛中用的判断“点源对比度显著高于背景灰度起伏条件”是否成立的方法,判断条件1:“点源对比度显著高于背景灰度起伏”,再判断条件2:区域中心像素为最大亮度像素。当条件1、2均满足时,终止检测,该点通过精筛。
经过精筛过后,两个标记点像的初始位置均已得到,像素位置精度为1像素。
初始位置搜索完成后,进入点源亚像素精度跟踪阶段,该阶段基于重心法分别对标记点1、标记点2进行处理,获得优于1像素的位置精度,考虑光源像的稳定程度,气流扰动等因素,像素精度实际可达到0.2~0.5像素之间。具体实施时算法还结合运动预测提高可靠性:
(1)对于跟踪状态的首帧图像,以初始位置(x0,y0)为中心,设定n×n大小的跟踪波门,本实例中,n取25,计算波门中像素最大亮度lmax、最小亮度lmin,按照灰度等级大于阈值的像素保持原灰度值,小于阈值的像素灰度值置零的规则处理波门内全部像素,其中,阈值lgate=lmin+k3(lmax-lmin),本实例中,k3=0.25。对波门内处理后的像素计算灰度重心:
转换到全图像素坐标:
x=x0+x'-12;y=y0+y'-12
计算出的x,y作为更新的点位置。计算点运动的水平速度vx=x-x0,垂直速度vy=y-y0,同时将x,y值分别备份到xpre,ypre;
(2)对于跟踪状态的后续帧图像,以预测位置(xpre+vx,ypre+vy)为中心,设定n×n大小的跟踪波门,按照1)的方法计算出的x,y的更新值。计算点运动的水平速度vx=x-xpre,垂直速度vy=y-ypre,同时将x,y值分别备份到xpre,ypre。
在点源亚像素精度跟踪阶段,标记点1、标记点2的像素坐标可以实时获取,令其坐标分别为(x1,y1)、(x2,y2)。下面分别说明载机位置控制、载机方位角解算的实施过程。
令x0=(x1+x2)/2,y0=(y1+y2)/2。由于本实例中,摄像机1有效像素为4088×4088,因此,图像中心坐标为(2044,2044),令dx=x0-2044,dy=y0-2044,根据系留旋翼机控制特性,建立PID控制算法,dx,dy作为输入的偏差量,控制系留旋翼机图像稳定在图像中心位置。
根据欧拉角定义,载机在摄像机坐标系下的方位角就是标记点1、2构成的测量基线在水平面上的投影与摄像机坐标系x轴的夹角。
考虑摄像机视场畸变,标记点1、2的像素坐标需要经过映射函数进行校正。映射函数按照以下方法建立:
摄像机1通过拍摄如图所示的19×19点阵的标定靶,通过二维三次样条插值获得全部有效像素坐标(整数坐标)与物空间x向、y向位置的映射关系(最大水平视场角、最大垂直视场角位置分别映射为4088.0)。该映射关系即映射矩阵,由两个4088×4088的浮点数数组X、Y表达。
由于标记点1,2的像素坐标为浮点数,因此,是通过取领域4点,采用双线性插值获得精确的映射坐标。按照以下规则计算:
(1)选取映射矩阵邻域4点:令xl=(int)x;xr=xl+1;yt=(int)y;yb=yt+1;则X[xl][yt]、X[xr][yt]、X[xl][yb]、X[xr][yb]分别为点位置领域的左上、右上、左下、右下点的物空间x向位置,简化记作Xlt、Xrt、Xlb、Xrb,亦即经过理想成像的像素位置;Y[xl][yt]、Y[xr][yt]、Y[xl][yb]、Y[xr][yb]分别为点位置领域的左上、右上、左下、右下点的物空间x向位置,简化记作Ylt、Yrt、Ylb、Yrb。
(2)按照双线性插值公式计算映射坐标:令dx=x-xl,dy=y-yt;则
x1=dxXlt+(1.0-dx)Xrt;x2=dxXlb+(1.0-dx)Xrb
映射后的x向位置坐标x’=dyx1+(1.0-dy)x2;
同理,映射后的y向位置坐标按下式计算:
y1=dxYlt+(1.0-dx)Yrt;y2=dxYlb+(1.0-dx)Yrb
y’=dyy1+(1.0-dy)y2
根据欧拉角定义,对于倾角传感器的x向倾斜数据即为俯仰角,而横滚角需要综合x向倾斜数据、y向倾斜数据计算,计算过程如下:
(1)粗搜:设横滚角搜索范围为[-s,s],设定搜索步长为s/N,遍历全部搜索点,试算由x向倾斜数据确定的俯仰角、试算点的横滚角确定的斜面的y向倾斜量,以最接近y向倾斜数据的点p作为粗搜结果。修订s:s=2s/N,设定精搜初始范围为[p-s,p+s]。本实例中s初始值为45度,N=20;
(2)精搜:设定搜索步长为s/2,,遍历全部4个搜索点,以最接近y向倾斜数据的点p作为本轮精搜结果,修订s:s=s/3,修订精搜范围为[p-s,p+s]。
(3)按照步骤(2)进行k次迭代,计算横滚角精确值。本实例中,取k=8,可以达到约0.0007度的精度。
以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明技术原理的前提下,还可以做出若干改进和变形,这些改进和变形也应视为本发明的保护范围。
Claims (10)
1.一种针对系留旋翼平台的视觉测姿装置,其特征在于,包括载机部分与地面观测站;载机部分包括标记点光源1,标记点光源2、亮度控制单元、倾斜传感器、无线数据收发装置1;地面观测站包括一个垂直向上观察的小视场高分辨率摄像机、一个垂直向上观察的大视场摄像机、无线数据收发装置2、曝光控制单元、计算机终端及视频采集与数据处理单元;小视场高分辨率摄像机记为摄像机1,大视场摄像机记为摄像机2;标记点光源1、标记点光源2安装位置选择地面直接观察到的载机对称旋臂外端的两个无遮挡位置点,倾斜传感器安装在载机主体上,无线数据收发装置1、无线数据收发装置2构成空地数据链路,使倾斜传感器数据实时传送到地面观测站的计算机终端,同时地面观测站的计算机终端发出的亮度调节指令发送到亮度控制单元,控制标记点光源1、标记点光源2的亮度水平;计算机终端发出指令,通过曝光控制单元驱动摄像机1和摄像机2的光圈,基于图像灰度分析的负反馈控制,实现在各种环境光照条件下均能获取到符合预期特征的标记点光源图像;视频采集与数据处理单元安装在计算机终端上,用于括曝光控制、点源跟踪、载机位置控制、角度解算和载机升空位置锁定。
2.如权利要求1所述的针对系留旋翼平台的视觉测姿装置,其特征在于,所述标记点光源采用高亮LED器件,通过圆孔光阑截取光源中心光度均匀区,获得亮度可控、均匀的圆形点光源。
3.如权利要求2所述的针对系留旋翼平台的视觉测姿装置,其特征在于,所述倾斜传感器动态测量倾角,在系留旋翼机悬停、旋转工况下提供0.1度量级的俯仰、侧倾角测量。
4.如权利要求3所述的针对系留旋翼平台的视觉测姿装置,其特征在于,所述摄像机1和摄像机2的光轴互相平行,摄像机2用于系留旋翼机升空过程位置检测,视场大小在最近观察距离下系留旋翼机可整体进入视场;摄像机1用于系留旋翼机在工作高度时的位置及方位角检测,视场大小在系留旋翼机在工作高度可占满整个视场。
5.如权利要求4所述的针对系留旋翼平台的视觉测姿装置,其特征在于,所述摄像机1采用可调光圈镜头,通过基于图像平均灰度的负反馈控制来自动调节光圈,压制图像平均灰度。
6.如权利要求5所述的针对系留旋翼平台的视觉测姿装置,其特征在于,所述标记点光源1、标记点光源2采用可调亮度的点光源,通过基于图像最大灰度的负反馈控制来自动调节点光源亮度,将点光源像亮度向完全曝光控制。
7.如权利要求6所述的针对系留旋翼平台的视觉测姿装置,其特征在于,所述计算机终端具备RS422口、Cameralink视频采集口,通过Cameralink视频采集口实时获取摄像机1和摄像机2的视频图像,通过RS422口与载机部分的倾斜传感器、亮度控制单元、地面观测站的曝光控制单元通信。
8.如权利要求7所述的针对系留旋翼平台的视觉测姿装置,其特征在于,所述视频采集与数据处理单元包括曝光控制模块、点源跟踪模块、载机位置控制模块;
曝光控制模块从摄像机1图像信息中获取平均灰度数据,通过负反馈控制摄像机1光圈大小,使图像平均灰度控制在k1L,同时控制曝光控制模块,使标记点图像最大亮度控制在k2L以上,并控制点源像大小在m×m尺寸以内,且在以点源中心的n×n的正方形区域中,在剔除中心M×M区域后的背景像素保持均匀灰度;其中,L为摄像机1输出数字图像亮度量化的最大值,对于8位灰度输出的摄像机,L=255,k1、k2为可选的比例因子,满足0.0<k1<k2<1.0;m描述了点源像的大小,n描述了搜索/跟踪波门大小,M描述了存在灰度起伏的最小中心区域大小,有1<m<M<n;
点源图像区域通过设定阈值筛选,阈值按照以下方法设定:
在n×n大小的正方形区域中,计算像素最大亮度lmax、最小亮度lmin,令阈值lgate=lmin+k3(lmax-lmin),k3为常数比例因子,取0.2~0.6之间;
系留旋翼机升空悬停到设定高度后,点源跟踪模块首先搜索摄像机1获取的全幅图像,寻找标记点,根据标记点邻域的图像特征:光源亮度远大于背景亮度,且背景均匀,通过全图遍历检测,寻找锁定标记点1、标记点2;标记点1、标记点2位置锁定后,点源跟踪模块进入精确跟踪模式,在精确跟踪模式下,通过阈值分割,找出点源像区域,通过计算点源像的亮度重心,作为点源的精确位置;
标记点1、2的中点的像素坐标(x0,y0)表示系留旋翼机位置,设图像中心坐标为(xc,yc),则(x0-xc,y0-yc)表示旋翼机偏离中心的程度,载机位置控制模块基于该偏移量计算出x向、y向的调节度反馈给飞控系统,控制系留旋翼机保持位置稳定。
9.如权利要求8所述的针对系留旋翼平台的视觉测姿装置,其特征在于,所述视频采集与数据处理单元还包括角度解算模块:
当摄像机光轴调节为垂直向上时,标记点1、2的像素坐标(x1,y1)、(x2,y2)确定的直线为载机方位测量基线L在水平面上的投影L’,角度解算模块在进行基线方位角计算前首先根据预先标定的摄像机1参数进行坐标校正,得到校正后的坐标(x1c,y1c)、(x2c,y2c);
则L’在摄像机坐标系中的方位角按以下式解算:
令dx=x2c-x1c,dy=y2c-y1c
yaw=atan(dy/dx)
当dy>0,dx>0时,方位角=yaw;
当dy>0,dx<0时,方位角=yaw+π;
当dy<0,dx<0时,方位角=yaw;
当dy>0,dx>0时,方位角=yaw;
定义载机坐标系的x轴沿基线L方向,z轴垂直于载机水平基准面。倾角传感器安装在载机水平基准面上,倾角传感器x轴与基线平行。根据载机倾角传感器测得的载机x向、y向倾斜数据,计算载机在摄像机坐标系下的姿态角,即以zyx顺归定义的欧拉角的俯仰、横滚分量。根据投影关系,L’在摄像机坐标系中的方位角即基线L在摄像机坐标系中的方位角,亦即载机在摄像机坐标系中的方位角。
10.如权利要求9所述的针对系留旋翼平台的视觉测姿装置,其特征在于,所述视频采集与数据处理单元包括载机升空位置锁定模块,该模块基于摄像机2获取的图像,通过特征识别,锁定系留旋翼机像的矩形包络,以该矩形包络的几何中心的像素坐标与图像中心坐标的偏离量,基于PID控制算法,基于该偏移量计算出x向、y向的调节度反馈给飞控系统,使系留旋翼机在升空过程中保持位置始终位于摄像机2的光轴中心上,在系留旋翼机到位悬停后使标记点1、标记点2均进入摄像机1视场,系留旋翼机到位悬停后,载机位置锁定的任务即移交给载机位置控制模块。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011055596.7A CN112197766B (zh) | 2020-09-29 | 2020-09-29 | 一种针对系留旋翼平台的视觉测姿装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011055596.7A CN112197766B (zh) | 2020-09-29 | 2020-09-29 | 一种针对系留旋翼平台的视觉测姿装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112197766A true CN112197766A (zh) | 2021-01-08 |
CN112197766B CN112197766B (zh) | 2023-04-28 |
Family
ID=74006864
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011055596.7A Active CN112197766B (zh) | 2020-09-29 | 2020-09-29 | 一种针对系留旋翼平台的视觉测姿装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112197766B (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113325880A (zh) * | 2021-06-08 | 2021-08-31 | 中国科学院大气物理研究所 | 适用于运动状态下的太阳和月亮跟踪装置和方法 |
CN113723320A (zh) * | 2021-09-02 | 2021-11-30 | 南京工业职业技术大学 | 一种作物光谱聚类分析处理方法及其图像采集装置 |
CN114166202A (zh) * | 2021-11-04 | 2022-03-11 | 中国人民解放军91977部队 | 基于环形激光标靶和固态相机的系留无人机光学定位系统 |
CN117607143A (zh) * | 2023-10-16 | 2024-02-27 | 江苏跃畅新能源科技有限公司 | 一种固体破碎混合物料分选效率检测装置和方法 |
Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20140022539A1 (en) * | 2012-07-23 | 2014-01-23 | Trimble Navigation Limited | Use of a sky polarization sensor for absolute orientation determination in position determining systems |
US20140093249A1 (en) * | 2012-09-29 | 2014-04-03 | Richard D. Roberts | Integrated photogrammetric light communications positioning and inertial navigation system positioning |
CN105513247A (zh) * | 2015-11-25 | 2016-04-20 | 北京环境特性研究所 | 一种基于浮空系留艇的火灾监测定位系统及方法 |
CN105730705A (zh) * | 2016-02-14 | 2016-07-06 | 中国船舶工业系统工程研究院 | 一种飞行器摄像定位系统 |
CN106131482A (zh) * | 2016-06-27 | 2016-11-16 | 西安应用光学研究所 | 无人载体光电系统目标捕获系统及方法 |
CN106570820A (zh) * | 2016-10-18 | 2017-04-19 | 浙江工业大学 | 一种基于四旋翼无人机的单目视觉三维特征提取方法 |
CN107014380A (zh) * | 2017-05-26 | 2017-08-04 | 西安科技大学 | 基于飞行器的视觉导航与惯性导航的组合导航方法 |
US20170248948A1 (en) * | 2016-02-26 | 2017-08-31 | Topcon Corporation | Flying Vehicle Tracking Method, Flying Vehicle Image Acquiring Method, Flying Vehicle Displaying Method and Flying Vehicle Guiding System |
CN109753076A (zh) * | 2017-11-03 | 2019-05-14 | 南京奇蛙智能科技有限公司 | 一种无人机视觉追踪实现方法 |
CN110346116A (zh) * | 2019-06-14 | 2019-10-18 | 东南大学 | 一种基于图像采集的场景照度计算方法 |
CN110375765A (zh) * | 2019-06-28 | 2019-10-25 | 上海交通大学 | 基于直接法的视觉里程计方法、系统及存储介质 |
US20200202733A1 (en) * | 2018-12-19 | 2020-06-25 | The Boeing Company | Aircraft positioning on a taxiway |
CN111369621A (zh) * | 2020-03-11 | 2020-07-03 | 西安应用光学研究所 | 系留式升空平台图像定位解算方法 |
-
2020
- 2020-09-29 CN CN202011055596.7A patent/CN112197766B/zh active Active
Patent Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20140022539A1 (en) * | 2012-07-23 | 2014-01-23 | Trimble Navigation Limited | Use of a sky polarization sensor for absolute orientation determination in position determining systems |
US20140093249A1 (en) * | 2012-09-29 | 2014-04-03 | Richard D. Roberts | Integrated photogrammetric light communications positioning and inertial navigation system positioning |
CN105513247A (zh) * | 2015-11-25 | 2016-04-20 | 北京环境特性研究所 | 一种基于浮空系留艇的火灾监测定位系统及方法 |
CN105730705A (zh) * | 2016-02-14 | 2016-07-06 | 中国船舶工业系统工程研究院 | 一种飞行器摄像定位系统 |
US20170248948A1 (en) * | 2016-02-26 | 2017-08-31 | Topcon Corporation | Flying Vehicle Tracking Method, Flying Vehicle Image Acquiring Method, Flying Vehicle Displaying Method and Flying Vehicle Guiding System |
CN106131482A (zh) * | 2016-06-27 | 2016-11-16 | 西安应用光学研究所 | 无人载体光电系统目标捕获系统及方法 |
CN106570820A (zh) * | 2016-10-18 | 2017-04-19 | 浙江工业大学 | 一种基于四旋翼无人机的单目视觉三维特征提取方法 |
CN107014380A (zh) * | 2017-05-26 | 2017-08-04 | 西安科技大学 | 基于飞行器的视觉导航与惯性导航的组合导航方法 |
CN109753076A (zh) * | 2017-11-03 | 2019-05-14 | 南京奇蛙智能科技有限公司 | 一种无人机视觉追踪实现方法 |
US20200202733A1 (en) * | 2018-12-19 | 2020-06-25 | The Boeing Company | Aircraft positioning on a taxiway |
CN110346116A (zh) * | 2019-06-14 | 2019-10-18 | 东南大学 | 一种基于图像采集的场景照度计算方法 |
CN110375765A (zh) * | 2019-06-28 | 2019-10-25 | 上海交通大学 | 基于直接法的视觉里程计方法、系统及存储介质 |
CN111369621A (zh) * | 2020-03-11 | 2020-07-03 | 西安应用光学研究所 | 系留式升空平台图像定位解算方法 |
Non-Patent Citations (4)
Title |
---|
XIANGDONG QIN; TINGTING WANG: "Visual-based Tracking and Control Algorithm Design for Quadcopter UAV", 《2019 CHINESE CONTROL AND DECISION CONFERENCE》 * |
孙少杰等: "基于计算机视觉的目标方位测量方法", 《火力与指挥控制》 * |
林海涛,张华,李永龙,等: "基于力传感的系留无人机定位方法研究", 《智能系统学报》 * |
陈本清;杨燕明;郑凌虹;文洪涛;: "基于SIFT和TPS算法的四旋翼无人机图像自动配准" * |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113325880A (zh) * | 2021-06-08 | 2021-08-31 | 中国科学院大气物理研究所 | 适用于运动状态下的太阳和月亮跟踪装置和方法 |
CN113723320A (zh) * | 2021-09-02 | 2021-11-30 | 南京工业职业技术大学 | 一种作物光谱聚类分析处理方法及其图像采集装置 |
CN113723320B (zh) * | 2021-09-02 | 2022-11-15 | 南京工业职业技术大学 | 一种作物光谱聚类分析处理方法及其图像采集装置 |
CN114166202A (zh) * | 2021-11-04 | 2022-03-11 | 中国人民解放军91977部队 | 基于环形激光标靶和固态相机的系留无人机光学定位系统 |
CN117607143A (zh) * | 2023-10-16 | 2024-02-27 | 江苏跃畅新能源科技有限公司 | 一种固体破碎混合物料分选效率检测装置和方法 |
Also Published As
Publication number | Publication date |
---|---|
CN112197766B (zh) | 2023-04-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112197766B (zh) | 一种针对系留旋翼平台的视觉测姿装置 | |
CN106774431B (zh) | 一种测绘无人机航线规划方法及装置 | |
CN112215860B (zh) | 一种基于图像处理的无人机定位方法 | |
CN106124517A (zh) | 检测结构件表面裂缝的多旋翼无人机检测平台系统及其用于检测结构件表面裂缝的方法 | |
CN110470226B (zh) | 一种基于无人机系统的桥梁结构位移测量方法 | |
CN110503687B (zh) | 一种空中光电测量平台目标定位方法 | |
CN110879617A (zh) | 一种红外引导无人机降落方法及装置 | |
CN110595476A (zh) | 一种基于gps和图像视觉融合的无人机降落导航方法及装置 | |
CN112947526B (zh) | 一种无人机自主降落方法和系统 | |
CN113129280B (zh) | 一种基于建筑物轮廓特征的目标落点测量方法 | |
CN113066120A (zh) | 一种基于机器视觉的智能杆塔倾斜检测方法 | |
CN113758498B (zh) | 一种无人机云台标定方法和装置 | |
CN111486868B (zh) | 基于地物特征的光电望远镜免方位标扩展标校法 | |
CN113177918B (zh) | 一种无人机对电力杆塔的智能精准巡检方法及系统 | |
CN110537197A (zh) | 图像处理装置、生长调查图像创建系统以及程序 | |
CN112954585B (zh) | 一种基于uwb的农业机械田间定位系统及方法 | |
CN106325305A (zh) | 对地定位或导航用相机、飞行器及其导航方法和系统 | |
CN115717867A (zh) | 一种基于机载双相机和目标追踪的桥梁变形测量方法 | |
WO2021166845A1 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
CN111460898B (zh) | 一种基于月面巡视器单目相机图像的天际线获取方法 | |
CN117456092A (zh) | 基于无人机航测的三维实景建模系统及方法 | |
CN108873944B (zh) | 超低空自适应定高飞行控制方法 | |
CN114973037B (zh) | 一种无人机智能检测与同步定位多目标的方法 | |
CN114185365B (zh) | 一种支持异速像移补偿功能的航空相机控制器 | |
CN113610001B (zh) | 基于深度相机和imu组合的室内移动终端定位方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |