CN110751694B - 一种基于三色通道融合互信息的图像导航方法 - Google Patents

一种基于三色通道融合互信息的图像导航方法 Download PDF

Info

Publication number
CN110751694B
CN110751694B CN201911034185.7A CN201911034185A CN110751694B CN 110751694 B CN110751694 B CN 110751694B CN 201911034185 A CN201911034185 A CN 201911034185A CN 110751694 B CN110751694 B CN 110751694B
Authority
CN
China
Prior art keywords
image
mutual information
aerial vehicle
unmanned aerial
key
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911034185.7A
Other languages
English (en)
Other versions
CN110751694A (zh
Inventor
胡摇
沈添天
李晓杰
郝群
曹杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Institute of Technology BIT
Hunan Normal University
Original Assignee
Beijing Institute of Technology BIT
Hunan Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Institute of Technology BIT, Hunan Normal University filed Critical Beijing Institute of Technology BIT
Priority to CN201911034185.7A priority Critical patent/CN110751694B/zh
Publication of CN110751694A publication Critical patent/CN110751694A/zh
Application granted granted Critical
Publication of CN110751694B publication Critical patent/CN110751694B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/90Determination of colour characteristics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20221Image fusion; Image merging
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30241Trajectory

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

本发明公开的一种基于三色通道融合互信息的图像导航方法,属于视觉导航技术领域。本发明通过远程控制无人机沿着预设的路径飞行并拍摄图像序列;将拍摄的图像进行三色通道融合处理,利用三色通道融合互信息按照预定的准则离线筛选关键图像序列,确定视觉路径;无人机在实飞导航的时候,利用三色通道融合互信息对无人机进行初始定位,确定初始位置后,自动选取离初始位置最近的关键图像作为目标图像,设计从当前图像收敛至目标图像的视觉伺服控制器,随着无人机沿视觉路径移动,适时进行关键图像切换,直到视觉路径终点,实现利用三色通道融合互信息对无人机的视觉导航。本发明能够有效解决视觉导航过程中的遮挡和光照变化问题,具有很强的鲁棒性。

Description

一种基于三色通道融合互信息的图像导航方法
技术领域
本发明涉及一种利用互信息对图像进行处理来对无人机进行导航的方法,属于视觉导航技术领域。
背景技术
无人机,作为空中微型移动型机器人,目前导航主要依靠惯性导航系统INS和全球定位系统GPS,但是惯性器件具有误差累计的缺点,GPS对于一些特殊的环境也有限制。随着无人机在其机械设计、承重、盘旋、电池续航和运算能力上的提升,使得基于视觉的控制成为可能和必须。而天气和云雾引起的光照变化、遮挡、航拍的高度和机器飞行速度等问题也对视觉伺服提出了更高的要求。
视觉伺服是通过对摄像机拍摄到的图像进行处理和分析,将图像的特征提取出来并与已有的特征信息库进行对比匹配,从而获取伺服必要的参数,对设备进行控制。对于特征信息库建立的方法有很多种,可以采用基于机器学习的视觉路径描述方法,视觉路径产生于实地实景拍摄。也即沿预设路线,实拍成千上万幅图像组成记忆图库,而后从中依据一定的准则,选出一系列关键图像组成导航视觉路径,是对运动环境限于视觉层面的构建和描述。该法不仅可通过密布的视觉路径解决大幅位移可能出现的局部最优问题,如果融入互信息MI这一度量,还可解决保持固定目标物一路可视的视觉伺服经典约束问题。
基于视觉的伺服控制器通过不断缩小视觉传感器提供的当前图像和期望图像之间的差异,将机器人从当前位置逐步导向其期望位置。图像之间的差异描述一般基于局部几何特征:如兴趣点(走廊轮廓边缘线交点)、线段、图像矩,或者全局特征:图像梯度、像素亮度、直方图、互信息等。基于全局特征的伺服控制不要求特殊的图像结构,对图像的畸变具有较强的鲁棒性,可有效避开对局部几何特征的实时提取、匹配与跟踪(视觉伺服发展的瓶颈之一)。在直接使用整幅图像像素强度的伺服控制中,图像间的差异由平方和之差(Sumof Squared Difference,SSD)校准,该类校准法对环境变化(如光强变化和视觉遮挡)十分敏感。所以可以绕开像素强度的直接使用,转而从整幅图像中提取相关信息,基于信息熵的图像互信息(Mutual Information,MI)量不仅对光强变化和重要遮挡不敏感,还不敏感于图像模式的改变(如地图、可见光、红外模式等)和各种非线性图像变换。针对不同的图像模式,具有很高的鲁棒性。
发明内容
为了解决无人机在拒绝GPS的环境下仅利用单目相机图像实现导航的问题,本发明公开的一种基于三色通道融合互信息的图像导航方法要解决的技术问题是:将三色通道融合互信息这一图像全局特征融入到图像伺服控制器中,并将得到的视觉度量信息转换为空间多个维度的运动速率指导无人机的运动,实现基于三色通道融合互信息的图像导航。本发明通过基于三色通道融合互信息进行图像导航,能够有效解决视觉导航过程中的遮挡和光照变化问题,具有很强的鲁棒性。
本发明的目的是通过下述技术方案实现的。
本发明公开的一种基于三色通道融合互信息的图像导航方法,首先通过远程控制无人机沿着预设的路径飞行并拍摄图像序列;然后将拍摄的图像进行三色通道融合处理,将RGB图像转换为HSV图像,利用三色通道融合互信息按照预定的准则离线筛选关键图像序列,确定视觉路径;无人机在实飞导航的时候,首先需要利用三色通道融合互信息对无人机进行初始定位,确定初始位置后,自动选取离初始位置最近的关键图像作为目标图像,设计从当前图像收敛至目标图像的视觉伺服控制器,随着无人机沿视觉路径移动,适时进行关键图像切换,直到视觉路径终点,即实现利用三色通道融合互信息对无人机的视觉导航。
本发明公开的一种基于三色通道融合互信息的图像导航方法,包括如下步骤:
步骤1:远程控制无人机沿预设路径飞行并拍摄图像序列In。
制定飞行计划路线,远程控制无人机沿着预设的路径飞行,拍摄图像序列In,n=1,2,3…N。
步骤2:将拍摄的图像进行三色通道融合处理,得到三色通道融合后的图像。
将拍摄到的RGB图像转换为HSV图像,为适应色彩丰富的应用环境,忽略图像的亮度信息V值,只考虑图像的颜色信息,所以将HSV图像的H值和S值进行相乘,得到三色通道融合后的图像。
步骤3:利用三色通道融合互信息离线筛选关键图像序列Km,组成视觉路径。
步骤3.1:将起始点位置无人机拍摄的图像I1保存为第一张关键图像K1,并作为当前关键图像Know
步骤3.2:将当前关键图像Know带入公式(1)计算出当前关键图像与自身的互信息值MIc(Know,Know)。
Figure BDA0002247038280000021
其中,
Figure BDA0002247038280000022
是图像A的信息熵,PA(i)是图像A中每个颜色级i的概率分布;
Figure BDA0002247038280000023
为图像A和B的联合熵,PA,B(i,j)是图像A和B中每个组合颜色级(i,j)的联合概率分布。
步骤3.3:从图像序列中获取下一帧图像In+1,并利用公式(1)计算该图像与当前关键图像Know的互信息MIc(In+1,Know),带入公式(2)与当前关键图像自身的互信息进行比较,当不满足公式(2)时,获取下一帧图像In+2,直至In满足公式(2)时,将In保存为关键图像Km,并设置为当前关键图像。
Figure BDA0002247038280000031
步骤3.4:当n<N时循环步骤2.2和2.3,直到n=N,得到关键图像序列Km,Km代表视觉路径的每一个节点。
根据上述三色通道融合互信息值进行关键图像的筛选,区别于以往的互信息,所述互信息是将R、G、B三色通道进行综合考虑,不仅针对二维位移,还对轴向位移,轴向旋转有好的校准质量。由于互信息是图像的全局特征,所以利用互信息导航无需识别、提取和跟踪图像的局部几何特征,对图像干扰不敏感,所述图像干扰包括畸变、光照强度变化、图像模式多样化、部分图像区域被遮挡。
步骤4:无人机视觉导航实飞状态下,利用三色通道融合互信息对无人机进行初始定位。
将无人机实时拍摄到的图像Ia进行三色通道融合处理,然后根据公式(1)与视觉路径中的全部关键图像Km依次进行互信息计算,选出互信息值第一和第二的关键图像,进而确定无人机位于所述两张关键图像所代表的的路径节点之间,或位于互信息第一的关键图像所代表的路径节点上,即实现利用三色通道融合互信息对无人机进行初始定位。
上述定位方法既适用于预设的纯视觉导航模式,也适用于传统控制无人机沿预设路线飞行中途GPS信号/控制信号中断时,临时切入纯视觉导航模式时进行的定位。
步骤5:无人机视觉导航实飞状态下,利用三色通道融合互信息对无人机进行视觉导航。
自动选取离初始位置最近的位于视觉路径上的某关键图像Km作为目标图像,设计从当前图像Ia收敛至目标图像Km的视觉伺服控制器,随着无人机沿视觉路径移动,适时进行关键图像切换,直到视觉路径终点,即实现利用三色通道融合互信息对无人机的视觉导航。
步骤5具体实现步骤如下:
步骤5.1:自动选取离初始位置最近的位于视觉路径上的某关键图像Km作为目标图像,设计从当前图像Ia收敛至目标图像Km的视觉伺服控制器。
步骤5.2:随着无人机沿视觉路径移动,适时进行关键图像切换。
比较当前图像Ia与目标图像Km的互信息和当前图像Ia与下一个关键图像Km+1的互信息,当满足公式(3)后,需要进行目标图像的切换,将下一个关键图像Km+1作为新的目标图像。当Km已是最后一帧关键图像时,不再进行关键图像切换。
MIc(Ia,Km+1)>MIc(Ia,Km) (3)
当不满足公式(3)时,需要对当前图像与目标图像的互信息进行处理,将其转换为空间多个维度的运动速率指导无人机运动。
步骤5.2:无人机运动控制,直到视觉路径终点,即实现利用三色通道融合互信息对无人机的视觉导航。
首先,根据公式(4)(5)计算出互信息的雅克比矩阵和黑塞矩阵。
Figure BDA0002247038280000041
Figure BDA0002247038280000042
其中,
Figure BDA0002247038280000043
是联合概率密度函数的雅克比矩阵,
Figure BDA0002247038280000044
是联合概率密度函数的黑塞矩阵,
Figure BDA0002247038280000045
是一个1*6的矩阵,
Figure BDA0002247038280000046
是一个6*6的矩阵。
然后,根据公式(6)算出空间六自由度的运动速率,从而指导无人机运动,直到视觉路径终点,即实现利用三色通道融合互信息对无人机的视觉导航。
Figure BDA0002247038280000047
其中,λ为设定的增益值。
作为优选,步骤2具体实现方法如下:
将获得的彩色图像通过三通道分别获得R、G、B值,计算得到三个值中的最大值Cmax=max(R,G,B)和最小值Cmin=min(R,G,B),通过公式(7)获得彩色图像的H、S、V值。
Figure BDA0002247038280000048
其中,如果H小于0,则H=H+360。
为适应色彩丰富的应用环境,忽略图像的亮度信息V值,只考虑图像的颜色信息,所以将HSV图像的H值和S值进行相乘,得到三色通道融合后的图像。
有益效果:
1、本发明公开的一种基于三色通道融合互信息的图像导航方法,将三色通道融合互信息这一图像全局特征融入到图像伺服控制器中,并将得到的视觉度量信息转换为空间多个维度的运动速率指导无人机的运动,实现基于三色通道融合互信息的图像导航。由于基于三色通道融合互信息值进行关键图像的筛选,区别于以往的互信息,所述互信息是将R、G、B三色通道进行综合考虑,不仅针对二维位移,还对轴向位移,轴向旋转有好的校准质量。由于互信息是图像的全局特征,所以利用互信息导航无需识别、提取和跟踪图像的局部几何特征,对图像的畸变、光照强度变化、图像模式多样化、部分图像区域被遮挡等情况不敏感,具有很强的鲁棒性。
2、本发明公开的一种基于三色通道融合互信息的图像导航方法,将拍摄到的RGB图像转换为HSV图像,忽略图像的亮度信息V值,只考虑图像的颜色信息,所以将HSV图像的H值和S值进行相乘,得到三色通道融合后的图像,进而能够适应色彩复杂的应用环境。
3、本发明公开的一种基于三色通道融合互信息的图像导航方法,既适用于预设的纯视觉导航模式,也适用于传统控制无人机沿预设路线飞行中途GPS信号/控制信号中断时,临时切入纯视觉导航模式时进行的定位。
4、本发明公开的一种基于三色通道融合互信息的图像导航方法,由于无需对三维场景进行重构,进而节省计算成本,减少运算量。
5、本发明公开的一种基于三色通道融合互信息的图像导航方法,由于只需要一个单目相机实现无人机的导航,无需与外界建立数据连接,具有很强的抗干扰性,适用于灾区或室内等环境。
附图说明
图1为本发明公开的一种基于三色通道融合互信息的图像导航方法,
图2为视觉路径生成的流程图。
图3为视觉路径选取的关键图像。
图4为灰度图像与彩色图像进行互信息匹配结果。
图5为无人机初始定位的流程图。
图6为选取的实时图像。
图7为实时图像与关键图像的互信息值。
图8为无人机单次控制的流程图。
具体实施方式
为了更好的说明本发明的目的和优点,下面结合附图和实例对发明内容做进一步说明。
为了验证本发明的可行性,本实例中所用无人机和相机具体参数如下:
无人机型号:DJI-MATRICE 100,最大起飞重量3600g,工作环境温度:-10℃—40℃,可承受最大风速:10m/s。相机型号:摄徒4K-F68防水运动相机,分辨率:1280*720,帧率:120fps,镜头:可调广角鱼眼镜头。
如图1所示,本实施例公开的一种基于三色通道信息融合互信息的图像导航方法,具体实现步骤如下:
步骤1:远程控制无人机沿预设路径飞行并拍摄图像序列In
制定飞行计划路线,远程控制无人机沿着预设的路径飞行,拍摄图像序列In,n=1,2,3…N。
步骤2:将拍摄的图像进行三色通道融合处理,得到三色通道融合后的图像。
将拍摄到的RGB图像转换为HSV图像,为适应色彩丰富的应用环境,忽略图像的亮度信息V值,只考虑图像的颜色信息,所以将HSV图像的H值和S值进行相乘,得到三色通道融合后的图像。
步骤3:如图2所示,利用三色通道融合互信息离线筛选关键图像序列Km,组成视觉路径。
步骤3.1:将起始点位置无人机拍摄的图像I1保存为第一张关键图像K1,并作为当前关键图像Know
步骤3.2:将当前关键图像Know带入公式(1)计算出当前关键图像与自身的互信息值MIc(Know,Know)。
Figure BDA0002247038280000061
其中,
Figure BDA0002247038280000062
是图像A的信息熵,PA(i)是图像A中每个灰度值i的概率分布;
Figure BDA0002247038280000063
为图像A和B的联合熵,PA,B(i,j)是图像A和B中每个组合灰度值(i,j)的联合概率分布。
步骤3.3:从图像序列中获取下一帧图像In+1,并利用公式(1)计算该图像与当前关键图像Know的互信息MIc(In+1,Know),带入公式(2)与当前关键图像自身的互信息进行比较,将阈值设为0.25,当不满足公式(2)时,获取下一帧图像In+2,直至In满足公式(2)时,将In保存为关键图像Km,并设置为当前关键图像。
Figure BDA0002247038280000071
步骤3.4:当n<N时循环步骤2.2和2.3,直到n=N,得到关键图像序列Km,代表视觉路径的每一个节点。无人机共拍摄了5532张图像,筛选出了14张关键图像组成了视觉路径,如图3所示。
根据上述三色通道融合互信息值进行关键图像的筛选,区别于以往的互信息,所述互信息是将R、G、B三色通道进行综合考虑,不仅针对二维位移,还对轴向位移,轴向旋转有好的校准质量。由于互信息是图像的全局特征,所以利用互信息导航无需识别、提取和跟踪图像的局部几何特征,对图像干扰不敏感,所述图像干扰包括畸变、光照强度变化、图像模式多样化、部分图像区域被遮挡。利用灰度图像与彩色图像进行互信息匹配的结果如图4所示。
步骤4:如图5所示,无人机视觉导航实飞状态下,利用三色通道融合互信息对无人机进行初始定位。
将无人机实时拍摄到的图像Ia进行三色通道融合处理,然后根据公式(1)与视觉路径中的全部关键图像Km依次进行互信息计算,选出互信息值第一和第二的关键图像,进而确定无人机位于所述两张关键图像所代表的的路径节点之间,或位于互信息第一的关键图像所代表的路径节点上,即实现利用三色通道融合互信息对无人机进行初始定位。
这里选取的实时拍摄的图像如图6所示,计算得到了所有互信息值如图7所示,其中与2号关键图像的互信息值最高,为1.1037,其次是3号关键图像的互信息值为1.0832。所以,无人机位于2号关键图像所代表的路径节点上或者位于2号关键图像与3号关键图像所代表的路径节点之间。
上述定位方法既适用于预设的纯视觉导航模式,也适用于传统控制无人机沿预设路线飞行中途GPS信号/控制信号中断时,临时切入纯视觉导航模式时进行的定位。
步骤5:如图8所示,无人机视觉导航实飞状态下,利用三色通道融合互信息对无人机进行视觉导航。
自动选取离初始位置最近的位于视觉路径上的某关键图像Km作为目标图像,设计从当前图像Ia收敛至目标图像Km的视觉伺服控制器。这里将3号图像作为目标图像,随着无人机沿视觉路径移动,适时进行关键图像切换,直到视觉路径终点,即实现利用三色通道融合互信息对无人机的视觉导航。
步骤5具体实现步骤如下:
步骤5.1:自动选取离初始位置最近的位于视觉路径上的某关键图像Km作为目标图像,设计从当前图像Ia收敛至目标图像Km的视觉伺服控制器。
步骤5.2:随着无人机沿视觉路径移动,适时进行关键图像切换。
比较当前图像Ia与目标图像Km的互信息和当前图像Ia与下一个关键图像Km+1的互信息,当满足公式(3)后,需要进行目标图像的切换,将下一个关键图像Km+1作为新的目标图像。当Km已是最后一帧关键图像时,不再进行关键图像切换。
MIc(Ia,Km+1)>MIc(Ia,Km) (3)
当不满足公式(3)时,需要对当前图像与目标图像的互信息进行处理,将其转换为空间多个维度的运动速率指导无人机运动。
步骤5.2:无人机运动控制,直到视觉路径终点,即实现利用三色通道融合互信息对无人机的视觉导航。
首先,根据公式(4)(5)计算出互信息的雅克比矩阵和黑塞矩阵。
Figure BDA0002247038280000081
Figure BDA0002247038280000082
其中,
Figure BDA0002247038280000083
是联合概率密度函数的雅克比矩阵,
Figure BDA0002247038280000084
是联合概率密度函数的黑塞矩阵,
Figure BDA0002247038280000085
是一个1*6的矩阵,
Figure BDA0002247038280000086
是一个6*6的矩阵。
然后,根据公式(6)算出空间六自由度的运动速率,从而指导无人机运动,直到视觉路径终点,即实现利用三色通道融合互信息对无人机的视觉导航。
Figure BDA0002247038280000087
其中,λ为设定的增益值。
步骤2具体实现方法如下:
将获得的彩色图像通过三通道分别获得R、G、B值,计算得到三个值中的最大值Cmax=max(R,G,B)和最小值Cmin=min(R,G,B),通过公式(7)获得彩色图像的H、S、V值。
Figure BDA0002247038280000091
其中,如果H小于0,则H=H+360。
为适应色彩丰富的应用环境,忽略图像的亮度信息V值,只考虑图像的颜色信息,所以将HSV图像的H值和S值进行相乘,得到三色通道融合后的图像。
以上所述的具体描述,对发明的目的、技术方案和有益效果进行了进一步详细说明,所应理解的是,以上所述仅为本发明的具体实施例而已,并不用于限定本发明的保护范围,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (4)

1.一种基于三色通道融合互信息的图像导航方法,其特征在于:包括如下步骤,
步骤1:远程控制无人机沿预设路径飞行并拍摄图像序列In;
步骤2:将拍摄的图像进行三色通道融合处理,得到三色通道融合后的图像;
步骤3:利用三色通道融合互信息离线筛选关键图像序列,组成视觉路径;
步骤4:无人机视觉导航实飞状态下,利用三色通道融合互信息对无人机进行初始定位;
步骤5:无人机视觉导航实飞状态下,利用三色通道融合互信息对无人机进行视觉导航;
步骤1实现方法为,
制定飞行计划路线,远程控制无人机沿着预设的路径飞行,拍摄图像序列In,n=1,2,3…N;
步骤2实现方法为,
将拍摄到的RGB图像转换为HSV图像,为适应色彩丰富的应用环境,忽略图像的亮度信息V值,只考虑图像的颜色信息,所以将HSV图像的H值和S值进行相乘,得到三色通道融合后的图像;
步骤3实现方法为,
步骤3.1:将起始点位置无人机拍摄的图像I1保存为第一张关键图像K1,并作为当前关键图像Know
步骤3.2:将当前关键图像Know带入公式(1)计算出当前关键图像与自身的互信息值MIc(Know,Know);
Figure FDA0003504813650000011
其中,
Figure FDA0003504813650000012
是图像A的信息熵,PA(i)是图像A中每个颜色级i的概率分布;
Figure FDA0003504813650000013
为图像A和B的联合熵,PA,B(i,j)是图像A和B中每个组合颜色级(i,j)的联合概率分布;
步骤3.3:从图像序列中获取下一帧图像In+1,并利用公式(1)计算该图像与当前关键图像Know的互信息MIc(In+1,Know),带入公式(2)与当前关键图像自身的互信息进行比较,当不满足公式(2)时,获取下一帧图像In+2,直至In满足公式(2)时,将In保存为关键图像Km,并设置为当前关键图像;
Figure FDA0003504813650000014
步骤3.4:当n<N时循环步骤3.2和3.3,直到n=N,得到关键图像序列,Km代表视觉路径的每一个节点;
步骤4实现方法为,
将无人机实时拍摄到的图像Ia进行三色通道融合处理,然后根据公式(1)与视觉路径中的全部关键图像Km依次进行互信息计算,选出互信息值第一和第二的关键图像,进而确定无人机位于两张关键图像所代表的路径节点之间,或位于互信息第一的关键图像所代表的路径节点上,即实现利用三色通道融合互信息对无人机进行初始定位;
步骤5实现方法为,
自动选取离初始位置最近的位于视觉路径上的某关键图像Km作为目标图像,设计从当前图像Ia收敛至目标图像Km的视觉伺服控制器,随着无人机沿视觉路径移动,适时进行关键图像切换,直到视觉路径终点,即实现利用三色通道融合互信息对无人机的视觉导航。
2.如权利要求1所述的一种基于三色通道融合互信息的图像导航方法,其特征在于:步骤5具体实现步骤如下:
步骤5.1:自动选取离初始位置最近的位于视觉路径上的某关键图像Km作为目标图像,设计从当前图像Ia收敛至目标图像Km的视觉伺服控制器;
步骤5.2:随着无人机沿视觉路径移动,适时进行关键图像切换;
比较当前图像Ia与目标图像Km的互信息和当前图像Ia与下一个关键图像Km+1的互信息,当满足公式(3)后,需要进行目标图像的切换,将下一个关键图像Km+1作为新的目标图像;当Km已是最后一帧关键图像时,不再进行关键图像切换;
MIc(Ia,Km+1)>MIc(Ia,Km) (3)
当不满足公式(3)时,需要对当前图像与目标图像的互信息进行处理,将其转换为空间多个维度的运动速率指导无人机运动;
步骤5.3:无人机运动控制,直到视觉路径终点,即实现利用三色通道融合互信息对无人机的视觉导航;
首先,根据公式(4)(5)计算出互信息的雅克比矩阵和黑塞矩阵;
Figure FDA0003504813650000021
Figure FDA0003504813650000022
其中,
Figure FDA0003504813650000023
是联合概率密度函数的雅克比矩阵,
Figure FDA0003504813650000024
是联合概率密度函数的黑塞矩阵,
Figure FDA0003504813650000025
是一个1*6的矩阵,
Figure FDA0003504813650000026
是一个6*6的矩阵;
然后,根据公式(6)算出空间六自由度的运动速率,从而指导无人机运动,直到视觉路径终点,即实现利用三色通道融合互信息对无人机的视觉导航;
Figure FDA0003504813650000031
其中,λ为设定的增益值。
3.如权利要求2所述的一种基于三色通道融合互信息的图像导航方法,其特征在于:步骤2具体实现方法如下,
将获得的彩色图像通过三通道分别获得R、G、B值,计算得到三个值中的最大值Cmax=max(R,G,B)和最小值Cmin=min(R,G,B),通过公式(7)获得彩色图像的H、S、V值;
Figure FDA0003504813650000032
Figure FDA0003504813650000033
其中,如果H小于0,则H=H+360;
为适应色彩丰富的应用环境,忽略图像的亮度信息V值,只考虑图像的颜色信息,所以将HSV图像的H值和S值进行相乘,得到三色通道融合后的图像。
4.如权利要求3所述的一种基于三色通道融合互信息的图像导航方法,其特征在于:
根据三色通道融合互信息值进行关键图像的筛选,区别于以往的互信息,所述互信息是将R、G、B三色通道进行综合考虑,不仅针对二维位移,还对轴向位移,轴向旋转有好的校准质量;由于互信息是图像的全局特征,所以利用互信息导航无需识别、提取和跟踪图像的局部几何特征,对图像干扰不敏感,所述图像干扰包括畸变、光照强度变化、图像模式多样化、或部分图像区域被遮挡。
CN201911034185.7A 2019-10-25 2019-10-25 一种基于三色通道融合互信息的图像导航方法 Active CN110751694B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911034185.7A CN110751694B (zh) 2019-10-25 2019-10-25 一种基于三色通道融合互信息的图像导航方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911034185.7A CN110751694B (zh) 2019-10-25 2019-10-25 一种基于三色通道融合互信息的图像导航方法

Publications (2)

Publication Number Publication Date
CN110751694A CN110751694A (zh) 2020-02-04
CN110751694B true CN110751694B (zh) 2022-04-22

Family

ID=69280549

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911034185.7A Active CN110751694B (zh) 2019-10-25 2019-10-25 一种基于三色通道融合互信息的图像导航方法

Country Status (1)

Country Link
CN (1) CN110751694B (zh)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8117204B2 (en) * 2008-02-04 2012-02-14 Fuji Xerox Co., Ltd. Video browser for navigating linear video on small display devices using a similarity-based navigation hierarchy of temporally ordered video keyframes with short navigation paths
CN105865454B (zh) * 2016-05-31 2019-09-24 西北工业大学 一种基于实时在线地图生成的无人机导航方法
CN107463920A (zh) * 2017-08-21 2017-12-12 吉林大学 一种消除局部遮挡物影响的人脸识别方法
CN108267121A (zh) * 2018-01-24 2018-07-10 锥能机器人(上海)有限公司 一种可变场景下多设备的视觉导航方法及系统
CN110347870A (zh) * 2019-06-19 2019-10-18 西安理工大学 基于视觉显著性检测与层次聚类法的视频摘要化生成方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
一种利用图像角点分布信息的导航算法;胡隽,武志忠,谈树平;《中国惯性技术学会 会议论文集》;20171210;全文 *
图像制导的目标匹配算法与系统设计;吕冀,高洪民,汪勃,周志强;《弹箭与制导学报》;20091031;第29卷(第5期);全文 *
基于视觉的变电站巡检机器人导航线提取方法;薛阳等;《广东电力》;20151231;第28卷(第12期);全文 *
小型无人机导航与制导关键技术;任涵;《科技创新与应用》;20180630(第6期);全文 *
虚拟人一种导航方法研究;刘箴;《宁波大学学报(理工版)》;20040930(第03期);全文 *

Also Published As

Publication number Publication date
CN110751694A (zh) 2020-02-04

Similar Documents

Publication Publication Date Title
CN109579843B (zh) 一种空地多视角下的多机器人协同定位及融合建图方法
US11797009B2 (en) Unmanned aerial image capture platform
CN108351649B (zh) 用于控制可移动物体的方法和设备
JP6496323B2 (ja) 可動物体を検出し、追跡するシステム及び方法
CN108229587B (zh) 一种基于飞行器悬停状态的输电杆塔自主扫描方法
CN112114594B (zh) 一种基于视觉与性能约束的多无人机协同控制方法及系统
Walter et al. On training datasets for machine learning-based visual relative localization of micro-scale UAVs
JP6964772B2 (ja) 撮像装置、無人移動体、撮像方法、システム、及びプログラム
WO2020103108A1 (zh) 一种语义生成方法、设备、飞行器及存储介质
CN113950610B (zh) 设备控制方法、装置及计算机可读存储介质
WO2019100219A1 (zh) 输出影像生成方法、设备及无人机
WO2019104641A1 (zh) 无人机、其控制方法以及记录介质
US20210112194A1 (en) Method and device for taking group photo
CN112927264B (zh) 一种无人机跟踪拍摄系统及其rgbd跟踪方法
EP3792873A1 (en) Image processing device, method, and storage medium
CN111474953A (zh) 多动态视角协同的空中目标识别方法及系统
CN113486697B (zh) 基于空基多模态图像融合的森林烟火监测方法
US20230359204A1 (en) Flight control method, video editing method, device, uav and storage medium
CN109002059A (zh) 一种多旋翼无人机目标实时跟踪拍摄系统及方法
CN107204015B (zh) 基于色彩图像和红外图像融合的即时定位与建图系统
CN114545963A (zh) 一种优化多无人机全景监控视频的方法、系统及电子设备
WO2020225979A1 (ja) 情報処理装置、情報処理方法、プログラム、及び情報処理システム
CN110751694B (zh) 一种基于三色通道融合互信息的图像导航方法
CN115330871A (zh) 一种无人机单目相机避障方法
WO2022056683A1 (zh) 视场确定方法、视场确定装置、视场确定系统和介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant