CN110751694B - 一种基于三色通道融合互信息的图像导航方法 - Google Patents
一种基于三色通道融合互信息的图像导航方法 Download PDFInfo
- Publication number
- CN110751694B CN110751694B CN201911034185.7A CN201911034185A CN110751694B CN 110751694 B CN110751694 B CN 110751694B CN 201911034185 A CN201911034185 A CN 201911034185A CN 110751694 B CN110751694 B CN 110751694B
- Authority
- CN
- China
- Prior art keywords
- image
- mutual information
- aerial vehicle
- unmanned aerial
- key
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000004927 fusion Effects 0.000 title claims abstract description 49
- 238000000034 method Methods 0.000 title claims abstract description 45
- 230000000007 visual effect Effects 0.000 claims abstract description 75
- 238000013461 design Methods 0.000 claims abstract description 9
- 230000008859 change Effects 0.000 claims abstract description 8
- 238000007499 fusion processing Methods 0.000 claims abstract description 8
- 238000005286 illumination Methods 0.000 claims abstract description 7
- 238000012216 screening Methods 0.000 claims abstract description 4
- 239000011159 matrix material Substances 0.000 claims description 18
- 238000006073 displacement reaction Methods 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 8
- 239000003086 colorant Substances 0.000 claims description 7
- 230000008569 process Effects 0.000 abstract description 3
- 230000006870 function Effects 0.000 description 4
- 238000005259 measurement Methods 0.000 description 3
- 238000009825 accumulation Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000003595 mist Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30241—Trajectory
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
本发明公开的一种基于三色通道融合互信息的图像导航方法,属于视觉导航技术领域。本发明通过远程控制无人机沿着预设的路径飞行并拍摄图像序列;将拍摄的图像进行三色通道融合处理,利用三色通道融合互信息按照预定的准则离线筛选关键图像序列,确定视觉路径;无人机在实飞导航的时候,利用三色通道融合互信息对无人机进行初始定位,确定初始位置后,自动选取离初始位置最近的关键图像作为目标图像,设计从当前图像收敛至目标图像的视觉伺服控制器,随着无人机沿视觉路径移动,适时进行关键图像切换,直到视觉路径终点,实现利用三色通道融合互信息对无人机的视觉导航。本发明能够有效解决视觉导航过程中的遮挡和光照变化问题,具有很强的鲁棒性。
Description
技术领域
本发明涉及一种利用互信息对图像进行处理来对无人机进行导航的方法,属于视觉导航技术领域。
背景技术
无人机,作为空中微型移动型机器人,目前导航主要依靠惯性导航系统INS和全球定位系统GPS,但是惯性器件具有误差累计的缺点,GPS对于一些特殊的环境也有限制。随着无人机在其机械设计、承重、盘旋、电池续航和运算能力上的提升,使得基于视觉的控制成为可能和必须。而天气和云雾引起的光照变化、遮挡、航拍的高度和机器飞行速度等问题也对视觉伺服提出了更高的要求。
视觉伺服是通过对摄像机拍摄到的图像进行处理和分析,将图像的特征提取出来并与已有的特征信息库进行对比匹配,从而获取伺服必要的参数,对设备进行控制。对于特征信息库建立的方法有很多种,可以采用基于机器学习的视觉路径描述方法,视觉路径产生于实地实景拍摄。也即沿预设路线,实拍成千上万幅图像组成记忆图库,而后从中依据一定的准则,选出一系列关键图像组成导航视觉路径,是对运动环境限于视觉层面的构建和描述。该法不仅可通过密布的视觉路径解决大幅位移可能出现的局部最优问题,如果融入互信息MI这一度量,还可解决保持固定目标物一路可视的视觉伺服经典约束问题。
基于视觉的伺服控制器通过不断缩小视觉传感器提供的当前图像和期望图像之间的差异,将机器人从当前位置逐步导向其期望位置。图像之间的差异描述一般基于局部几何特征:如兴趣点(走廊轮廓边缘线交点)、线段、图像矩,或者全局特征:图像梯度、像素亮度、直方图、互信息等。基于全局特征的伺服控制不要求特殊的图像结构,对图像的畸变具有较强的鲁棒性,可有效避开对局部几何特征的实时提取、匹配与跟踪(视觉伺服发展的瓶颈之一)。在直接使用整幅图像像素强度的伺服控制中,图像间的差异由平方和之差(Sumof Squared Difference,SSD)校准,该类校准法对环境变化(如光强变化和视觉遮挡)十分敏感。所以可以绕开像素强度的直接使用,转而从整幅图像中提取相关信息,基于信息熵的图像互信息(Mutual Information,MI)量不仅对光强变化和重要遮挡不敏感,还不敏感于图像模式的改变(如地图、可见光、红外模式等)和各种非线性图像变换。针对不同的图像模式,具有很高的鲁棒性。
发明内容
为了解决无人机在拒绝GPS的环境下仅利用单目相机图像实现导航的问题,本发明公开的一种基于三色通道融合互信息的图像导航方法要解决的技术问题是:将三色通道融合互信息这一图像全局特征融入到图像伺服控制器中,并将得到的视觉度量信息转换为空间多个维度的运动速率指导无人机的运动,实现基于三色通道融合互信息的图像导航。本发明通过基于三色通道融合互信息进行图像导航,能够有效解决视觉导航过程中的遮挡和光照变化问题,具有很强的鲁棒性。
本发明的目的是通过下述技术方案实现的。
本发明公开的一种基于三色通道融合互信息的图像导航方法,首先通过远程控制无人机沿着预设的路径飞行并拍摄图像序列;然后将拍摄的图像进行三色通道融合处理,将RGB图像转换为HSV图像,利用三色通道融合互信息按照预定的准则离线筛选关键图像序列,确定视觉路径;无人机在实飞导航的时候,首先需要利用三色通道融合互信息对无人机进行初始定位,确定初始位置后,自动选取离初始位置最近的关键图像作为目标图像,设计从当前图像收敛至目标图像的视觉伺服控制器,随着无人机沿视觉路径移动,适时进行关键图像切换,直到视觉路径终点,即实现利用三色通道融合互信息对无人机的视觉导航。
本发明公开的一种基于三色通道融合互信息的图像导航方法,包括如下步骤:
步骤1:远程控制无人机沿预设路径飞行并拍摄图像序列In。
制定飞行计划路线,远程控制无人机沿着预设的路径飞行,拍摄图像序列In,n=1,2,3…N。
步骤2:将拍摄的图像进行三色通道融合处理,得到三色通道融合后的图像。
将拍摄到的RGB图像转换为HSV图像,为适应色彩丰富的应用环境,忽略图像的亮度信息V值,只考虑图像的颜色信息,所以将HSV图像的H值和S值进行相乘,得到三色通道融合后的图像。
步骤3:利用三色通道融合互信息离线筛选关键图像序列Km,组成视觉路径。
步骤3.1:将起始点位置无人机拍摄的图像I1保存为第一张关键图像K1,并作为当前关键图像Know。
步骤3.2:将当前关键图像Know带入公式(1)计算出当前关键图像与自身的互信息值MIc(Know,Know)。
步骤3.3:从图像序列中获取下一帧图像In+1,并利用公式(1)计算该图像与当前关键图像Know的互信息MIc(In+1,Know),带入公式(2)与当前关键图像自身的互信息进行比较,当不满足公式(2)时,获取下一帧图像In+2,直至In满足公式(2)时,将In保存为关键图像Km,并设置为当前关键图像。
步骤3.4:当n<N时循环步骤2.2和2.3,直到n=N,得到关键图像序列Km,Km代表视觉路径的每一个节点。
根据上述三色通道融合互信息值进行关键图像的筛选,区别于以往的互信息,所述互信息是将R、G、B三色通道进行综合考虑,不仅针对二维位移,还对轴向位移,轴向旋转有好的校准质量。由于互信息是图像的全局特征,所以利用互信息导航无需识别、提取和跟踪图像的局部几何特征,对图像干扰不敏感,所述图像干扰包括畸变、光照强度变化、图像模式多样化、部分图像区域被遮挡。
步骤4:无人机视觉导航实飞状态下,利用三色通道融合互信息对无人机进行初始定位。
将无人机实时拍摄到的图像Ia进行三色通道融合处理,然后根据公式(1)与视觉路径中的全部关键图像Km依次进行互信息计算,选出互信息值第一和第二的关键图像,进而确定无人机位于所述两张关键图像所代表的的路径节点之间,或位于互信息第一的关键图像所代表的路径节点上,即实现利用三色通道融合互信息对无人机进行初始定位。
上述定位方法既适用于预设的纯视觉导航模式,也适用于传统控制无人机沿预设路线飞行中途GPS信号/控制信号中断时,临时切入纯视觉导航模式时进行的定位。
步骤5:无人机视觉导航实飞状态下,利用三色通道融合互信息对无人机进行视觉导航。
自动选取离初始位置最近的位于视觉路径上的某关键图像Km作为目标图像,设计从当前图像Ia收敛至目标图像Km的视觉伺服控制器,随着无人机沿视觉路径移动,适时进行关键图像切换,直到视觉路径终点,即实现利用三色通道融合互信息对无人机的视觉导航。
步骤5具体实现步骤如下:
步骤5.1:自动选取离初始位置最近的位于视觉路径上的某关键图像Km作为目标图像,设计从当前图像Ia收敛至目标图像Km的视觉伺服控制器。
步骤5.2:随着无人机沿视觉路径移动,适时进行关键图像切换。
比较当前图像Ia与目标图像Km的互信息和当前图像Ia与下一个关键图像Km+1的互信息,当满足公式(3)后,需要进行目标图像的切换,将下一个关键图像Km+1作为新的目标图像。当Km已是最后一帧关键图像时,不再进行关键图像切换。
MIc(Ia,Km+1)>MIc(Ia,Km) (3)
当不满足公式(3)时,需要对当前图像与目标图像的互信息进行处理,将其转换为空间多个维度的运动速率指导无人机运动。
步骤5.2:无人机运动控制,直到视觉路径终点,即实现利用三色通道融合互信息对无人机的视觉导航。
首先,根据公式(4)(5)计算出互信息的雅克比矩阵和黑塞矩阵。
然后,根据公式(6)算出空间六自由度的运动速率,从而指导无人机运动,直到视觉路径终点,即实现利用三色通道融合互信息对无人机的视觉导航。
其中,λ为设定的增益值。
作为优选,步骤2具体实现方法如下:
将获得的彩色图像通过三通道分别获得R、G、B值,计算得到三个值中的最大值Cmax=max(R,G,B)和最小值Cmin=min(R,G,B),通过公式(7)获得彩色图像的H、S、V值。
其中,如果H小于0,则H=H+360。
为适应色彩丰富的应用环境,忽略图像的亮度信息V值,只考虑图像的颜色信息,所以将HSV图像的H值和S值进行相乘,得到三色通道融合后的图像。
有益效果:
1、本发明公开的一种基于三色通道融合互信息的图像导航方法,将三色通道融合互信息这一图像全局特征融入到图像伺服控制器中,并将得到的视觉度量信息转换为空间多个维度的运动速率指导无人机的运动,实现基于三色通道融合互信息的图像导航。由于基于三色通道融合互信息值进行关键图像的筛选,区别于以往的互信息,所述互信息是将R、G、B三色通道进行综合考虑,不仅针对二维位移,还对轴向位移,轴向旋转有好的校准质量。由于互信息是图像的全局特征,所以利用互信息导航无需识别、提取和跟踪图像的局部几何特征,对图像的畸变、光照强度变化、图像模式多样化、部分图像区域被遮挡等情况不敏感,具有很强的鲁棒性。
2、本发明公开的一种基于三色通道融合互信息的图像导航方法,将拍摄到的RGB图像转换为HSV图像,忽略图像的亮度信息V值,只考虑图像的颜色信息,所以将HSV图像的H值和S值进行相乘,得到三色通道融合后的图像,进而能够适应色彩复杂的应用环境。
3、本发明公开的一种基于三色通道融合互信息的图像导航方法,既适用于预设的纯视觉导航模式,也适用于传统控制无人机沿预设路线飞行中途GPS信号/控制信号中断时,临时切入纯视觉导航模式时进行的定位。
4、本发明公开的一种基于三色通道融合互信息的图像导航方法,由于无需对三维场景进行重构,进而节省计算成本,减少运算量。
5、本发明公开的一种基于三色通道融合互信息的图像导航方法,由于只需要一个单目相机实现无人机的导航,无需与外界建立数据连接,具有很强的抗干扰性,适用于灾区或室内等环境。
附图说明
图1为本发明公开的一种基于三色通道融合互信息的图像导航方法,
图2为视觉路径生成的流程图。
图3为视觉路径选取的关键图像。
图4为灰度图像与彩色图像进行互信息匹配结果。
图5为无人机初始定位的流程图。
图6为选取的实时图像。
图7为实时图像与关键图像的互信息值。
图8为无人机单次控制的流程图。
具体实施方式
为了更好的说明本发明的目的和优点,下面结合附图和实例对发明内容做进一步说明。
为了验证本发明的可行性,本实例中所用无人机和相机具体参数如下:
无人机型号:DJI-MATRICE 100,最大起飞重量3600g,工作环境温度:-10℃—40℃,可承受最大风速:10m/s。相机型号:摄徒4K-F68防水运动相机,分辨率:1280*720,帧率:120fps,镜头:可调广角鱼眼镜头。
如图1所示,本实施例公开的一种基于三色通道信息融合互信息的图像导航方法,具体实现步骤如下:
步骤1:远程控制无人机沿预设路径飞行并拍摄图像序列In。
制定飞行计划路线,远程控制无人机沿着预设的路径飞行,拍摄图像序列In,n=1,2,3…N。
步骤2:将拍摄的图像进行三色通道融合处理,得到三色通道融合后的图像。
将拍摄到的RGB图像转换为HSV图像,为适应色彩丰富的应用环境,忽略图像的亮度信息V值,只考虑图像的颜色信息,所以将HSV图像的H值和S值进行相乘,得到三色通道融合后的图像。
步骤3:如图2所示,利用三色通道融合互信息离线筛选关键图像序列Km,组成视觉路径。
步骤3.1:将起始点位置无人机拍摄的图像I1保存为第一张关键图像K1,并作为当前关键图像Know。
步骤3.2:将当前关键图像Know带入公式(1)计算出当前关键图像与自身的互信息值MIc(Know,Know)。
步骤3.3:从图像序列中获取下一帧图像In+1,并利用公式(1)计算该图像与当前关键图像Know的互信息MIc(In+1,Know),带入公式(2)与当前关键图像自身的互信息进行比较,将阈值设为0.25,当不满足公式(2)时,获取下一帧图像In+2,直至In满足公式(2)时,将In保存为关键图像Km,并设置为当前关键图像。
步骤3.4:当n<N时循环步骤2.2和2.3,直到n=N,得到关键图像序列Km,代表视觉路径的每一个节点。无人机共拍摄了5532张图像,筛选出了14张关键图像组成了视觉路径,如图3所示。
根据上述三色通道融合互信息值进行关键图像的筛选,区别于以往的互信息,所述互信息是将R、G、B三色通道进行综合考虑,不仅针对二维位移,还对轴向位移,轴向旋转有好的校准质量。由于互信息是图像的全局特征,所以利用互信息导航无需识别、提取和跟踪图像的局部几何特征,对图像干扰不敏感,所述图像干扰包括畸变、光照强度变化、图像模式多样化、部分图像区域被遮挡。利用灰度图像与彩色图像进行互信息匹配的结果如图4所示。
步骤4:如图5所示,无人机视觉导航实飞状态下,利用三色通道融合互信息对无人机进行初始定位。
将无人机实时拍摄到的图像Ia进行三色通道融合处理,然后根据公式(1)与视觉路径中的全部关键图像Km依次进行互信息计算,选出互信息值第一和第二的关键图像,进而确定无人机位于所述两张关键图像所代表的的路径节点之间,或位于互信息第一的关键图像所代表的路径节点上,即实现利用三色通道融合互信息对无人机进行初始定位。
这里选取的实时拍摄的图像如图6所示,计算得到了所有互信息值如图7所示,其中与2号关键图像的互信息值最高,为1.1037,其次是3号关键图像的互信息值为1.0832。所以,无人机位于2号关键图像所代表的路径节点上或者位于2号关键图像与3号关键图像所代表的路径节点之间。
上述定位方法既适用于预设的纯视觉导航模式,也适用于传统控制无人机沿预设路线飞行中途GPS信号/控制信号中断时,临时切入纯视觉导航模式时进行的定位。
步骤5:如图8所示,无人机视觉导航实飞状态下,利用三色通道融合互信息对无人机进行视觉导航。
自动选取离初始位置最近的位于视觉路径上的某关键图像Km作为目标图像,设计从当前图像Ia收敛至目标图像Km的视觉伺服控制器。这里将3号图像作为目标图像,随着无人机沿视觉路径移动,适时进行关键图像切换,直到视觉路径终点,即实现利用三色通道融合互信息对无人机的视觉导航。
步骤5具体实现步骤如下:
步骤5.1:自动选取离初始位置最近的位于视觉路径上的某关键图像Km作为目标图像,设计从当前图像Ia收敛至目标图像Km的视觉伺服控制器。
步骤5.2:随着无人机沿视觉路径移动,适时进行关键图像切换。
比较当前图像Ia与目标图像Km的互信息和当前图像Ia与下一个关键图像Km+1的互信息,当满足公式(3)后,需要进行目标图像的切换,将下一个关键图像Km+1作为新的目标图像。当Km已是最后一帧关键图像时,不再进行关键图像切换。
MIc(Ia,Km+1)>MIc(Ia,Km) (3)
当不满足公式(3)时,需要对当前图像与目标图像的互信息进行处理,将其转换为空间多个维度的运动速率指导无人机运动。
步骤5.2:无人机运动控制,直到视觉路径终点,即实现利用三色通道融合互信息对无人机的视觉导航。
首先,根据公式(4)(5)计算出互信息的雅克比矩阵和黑塞矩阵。
然后,根据公式(6)算出空间六自由度的运动速率,从而指导无人机运动,直到视觉路径终点,即实现利用三色通道融合互信息对无人机的视觉导航。
其中,λ为设定的增益值。
步骤2具体实现方法如下:
将获得的彩色图像通过三通道分别获得R、G、B值,计算得到三个值中的最大值Cmax=max(R,G,B)和最小值Cmin=min(R,G,B),通过公式(7)获得彩色图像的H、S、V值。
其中,如果H小于0,则H=H+360。
为适应色彩丰富的应用环境,忽略图像的亮度信息V值,只考虑图像的颜色信息,所以将HSV图像的H值和S值进行相乘,得到三色通道融合后的图像。
以上所述的具体描述,对发明的目的、技术方案和有益效果进行了进一步详细说明,所应理解的是,以上所述仅为本发明的具体实施例而已,并不用于限定本发明的保护范围,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (4)
1.一种基于三色通道融合互信息的图像导航方法,其特征在于:包括如下步骤,
步骤1:远程控制无人机沿预设路径飞行并拍摄图像序列In;
步骤2:将拍摄的图像进行三色通道融合处理,得到三色通道融合后的图像;
步骤3:利用三色通道融合互信息离线筛选关键图像序列,组成视觉路径;
步骤4:无人机视觉导航实飞状态下,利用三色通道融合互信息对无人机进行初始定位;
步骤5:无人机视觉导航实飞状态下,利用三色通道融合互信息对无人机进行视觉导航;
步骤1实现方法为,
制定飞行计划路线,远程控制无人机沿着预设的路径飞行,拍摄图像序列In,n=1,2,3…N;
步骤2实现方法为,
将拍摄到的RGB图像转换为HSV图像,为适应色彩丰富的应用环境,忽略图像的亮度信息V值,只考虑图像的颜色信息,所以将HSV图像的H值和S值进行相乘,得到三色通道融合后的图像;
步骤3实现方法为,
步骤3.1:将起始点位置无人机拍摄的图像I1保存为第一张关键图像K1,并作为当前关键图像Know;
步骤3.2:将当前关键图像Know带入公式(1)计算出当前关键图像与自身的互信息值MIc(Know,Know);
步骤3.3:从图像序列中获取下一帧图像In+1,并利用公式(1)计算该图像与当前关键图像Know的互信息MIc(In+1,Know),带入公式(2)与当前关键图像自身的互信息进行比较,当不满足公式(2)时,获取下一帧图像In+2,直至In满足公式(2)时,将In保存为关键图像Km,并设置为当前关键图像;
步骤3.4:当n<N时循环步骤3.2和3.3,直到n=N,得到关键图像序列,Km代表视觉路径的每一个节点;
步骤4实现方法为,
将无人机实时拍摄到的图像Ia进行三色通道融合处理,然后根据公式(1)与视觉路径中的全部关键图像Km依次进行互信息计算,选出互信息值第一和第二的关键图像,进而确定无人机位于两张关键图像所代表的路径节点之间,或位于互信息第一的关键图像所代表的路径节点上,即实现利用三色通道融合互信息对无人机进行初始定位;
步骤5实现方法为,
自动选取离初始位置最近的位于视觉路径上的某关键图像Km作为目标图像,设计从当前图像Ia收敛至目标图像Km的视觉伺服控制器,随着无人机沿视觉路径移动,适时进行关键图像切换,直到视觉路径终点,即实现利用三色通道融合互信息对无人机的视觉导航。
2.如权利要求1所述的一种基于三色通道融合互信息的图像导航方法,其特征在于:步骤5具体实现步骤如下:
步骤5.1:自动选取离初始位置最近的位于视觉路径上的某关键图像Km作为目标图像,设计从当前图像Ia收敛至目标图像Km的视觉伺服控制器;
步骤5.2:随着无人机沿视觉路径移动,适时进行关键图像切换;
比较当前图像Ia与目标图像Km的互信息和当前图像Ia与下一个关键图像Km+1的互信息,当满足公式(3)后,需要进行目标图像的切换,将下一个关键图像Km+1作为新的目标图像;当Km已是最后一帧关键图像时,不再进行关键图像切换;
MIc(Ia,Km+1)>MIc(Ia,Km) (3)
当不满足公式(3)时,需要对当前图像与目标图像的互信息进行处理,将其转换为空间多个维度的运动速率指导无人机运动;
步骤5.3:无人机运动控制,直到视觉路径终点,即实现利用三色通道融合互信息对无人机的视觉导航;
首先,根据公式(4)(5)计算出互信息的雅克比矩阵和黑塞矩阵;
然后,根据公式(6)算出空间六自由度的运动速率,从而指导无人机运动,直到视觉路径终点,即实现利用三色通道融合互信息对无人机的视觉导航;
其中,λ为设定的增益值。
4.如权利要求3所述的一种基于三色通道融合互信息的图像导航方法,其特征在于:
根据三色通道融合互信息值进行关键图像的筛选,区别于以往的互信息,所述互信息是将R、G、B三色通道进行综合考虑,不仅针对二维位移,还对轴向位移,轴向旋转有好的校准质量;由于互信息是图像的全局特征,所以利用互信息导航无需识别、提取和跟踪图像的局部几何特征,对图像干扰不敏感,所述图像干扰包括畸变、光照强度变化、图像模式多样化、或部分图像区域被遮挡。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911034185.7A CN110751694B (zh) | 2019-10-25 | 2019-10-25 | 一种基于三色通道融合互信息的图像导航方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911034185.7A CN110751694B (zh) | 2019-10-25 | 2019-10-25 | 一种基于三色通道融合互信息的图像导航方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110751694A CN110751694A (zh) | 2020-02-04 |
CN110751694B true CN110751694B (zh) | 2022-04-22 |
Family
ID=69280549
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911034185.7A Active CN110751694B (zh) | 2019-10-25 | 2019-10-25 | 一种基于三色通道融合互信息的图像导航方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110751694B (zh) |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8117204B2 (en) * | 2008-02-04 | 2012-02-14 | Fuji Xerox Co., Ltd. | Video browser for navigating linear video on small display devices using a similarity-based navigation hierarchy of temporally ordered video keyframes with short navigation paths |
CN105865454B (zh) * | 2016-05-31 | 2019-09-24 | 西北工业大学 | 一种基于实时在线地图生成的无人机导航方法 |
CN107463920A (zh) * | 2017-08-21 | 2017-12-12 | 吉林大学 | 一种消除局部遮挡物影响的人脸识别方法 |
CN108267121A (zh) * | 2018-01-24 | 2018-07-10 | 锥能机器人(上海)有限公司 | 一种可变场景下多设备的视觉导航方法及系统 |
CN110347870A (zh) * | 2019-06-19 | 2019-10-18 | 西安理工大学 | 基于视觉显著性检测与层次聚类法的视频摘要化生成方法 |
-
2019
- 2019-10-25 CN CN201911034185.7A patent/CN110751694B/zh active Active
Non-Patent Citations (5)
Title |
---|
一种利用图像角点分布信息的导航算法;胡隽,武志忠,谈树平;《中国惯性技术学会 会议论文集》;20171210;全文 * |
图像制导的目标匹配算法与系统设计;吕冀,高洪民,汪勃,周志强;《弹箭与制导学报》;20091031;第29卷(第5期);全文 * |
基于视觉的变电站巡检机器人导航线提取方法;薛阳等;《广东电力》;20151231;第28卷(第12期);全文 * |
小型无人机导航与制导关键技术;任涵;《科技创新与应用》;20180630(第6期);全文 * |
虚拟人一种导航方法研究;刘箴;《宁波大学学报(理工版)》;20040930(第03期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN110751694A (zh) | 2020-02-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109579843B (zh) | 一种空地多视角下的多机器人协同定位及融合建图方法 | |
US11797009B2 (en) | Unmanned aerial image capture platform | |
CN108351649B (zh) | 用于控制可移动物体的方法和设备 | |
JP6496323B2 (ja) | 可動物体を検出し、追跡するシステム及び方法 | |
CN108229587B (zh) | 一种基于飞行器悬停状态的输电杆塔自主扫描方法 | |
CN112114594B (zh) | 一种基于视觉与性能约束的多无人机协同控制方法及系统 | |
Walter et al. | On training datasets for machine learning-based visual relative localization of micro-scale UAVs | |
JP6964772B2 (ja) | 撮像装置、無人移動体、撮像方法、システム、及びプログラム | |
WO2020103108A1 (zh) | 一种语义生成方法、设备、飞行器及存储介质 | |
CN113950610B (zh) | 设备控制方法、装置及计算机可读存储介质 | |
WO2019100219A1 (zh) | 输出影像生成方法、设备及无人机 | |
WO2019104641A1 (zh) | 无人机、其控制方法以及记录介质 | |
US20210112194A1 (en) | Method and device for taking group photo | |
CN112927264B (zh) | 一种无人机跟踪拍摄系统及其rgbd跟踪方法 | |
EP3792873A1 (en) | Image processing device, method, and storage medium | |
CN111474953A (zh) | 多动态视角协同的空中目标识别方法及系统 | |
CN113486697B (zh) | 基于空基多模态图像融合的森林烟火监测方法 | |
US20230359204A1 (en) | Flight control method, video editing method, device, uav and storage medium | |
CN109002059A (zh) | 一种多旋翼无人机目标实时跟踪拍摄系统及方法 | |
CN107204015B (zh) | 基于色彩图像和红外图像融合的即时定位与建图系统 | |
CN114545963A (zh) | 一种优化多无人机全景监控视频的方法、系统及电子设备 | |
WO2020225979A1 (ja) | 情報処理装置、情報処理方法、プログラム、及び情報処理システム | |
CN110751694B (zh) | 一种基于三色通道融合互信息的图像导航方法 | |
CN115330871A (zh) | 一种无人机单目相机避障方法 | |
WO2022056683A1 (zh) | 视场确定方法、视场确定装置、视场确定系统和介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |