CN109523579B - 一种无人机视频图像与三维地图的匹配方法和装置 - Google Patents

一种无人机视频图像与三维地图的匹配方法和装置 Download PDF

Info

Publication number
CN109523579B
CN109523579B CN201811342054.0A CN201811342054A CN109523579B CN 109523579 B CN109523579 B CN 109523579B CN 201811342054 A CN201811342054 A CN 201811342054A CN 109523579 B CN109523579 B CN 109523579B
Authority
CN
China
Prior art keywords
points
tan
point
coordinates
unmanned aerial
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201811342054.0A
Other languages
English (en)
Other versions
CN109523579A (zh
Inventor
武志锋
郭文刚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Lianhai Information System Co ltd
Electronic Science Research Institute of CTEC
Original Assignee
Beijing Lianhai Information System Co ltd
Electronic Science Research Institute of CTEC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Lianhai Information System Co ltd, Electronic Science Research Institute of CTEC filed Critical Beijing Lianhai Information System Co ltd
Priority to CN201811342054.0A priority Critical patent/CN109523579B/zh
Publication of CN109523579A publication Critical patent/CN109523579A/zh
Application granted granted Critical
Publication of CN109523579B publication Critical patent/CN109523579B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

一种无人机视频图像与三维地图的匹配方法和装置，用于计算摄像机中心线的俯仰角α、横滚角β和相对于地面垂线的角度θ，并基于上述参数计算无人机拍摄的视频图像四边形的各顶点坐标；将所述视频图像的四边形的各边按照视场角度三等分，计算各边的等分点的坐标；通过每条边上已经获得的四个点的位置进行插值计算，获得各条边上的四个点中的相邻各点之间的中间点的坐标；在无人机位置较高且在空旷地区或低矮目标区域边界上的情况下，在地图上连接每条边上计算出的各中间点，得到视频边界在地图上的投影；在无人机飞行高度较低且有高大物体遮挡的情况下，通过图像识别算法识别出无人机视频中的高大目标N点，判断N点位于视频区域的顶点区域还是边界区域进行区分计算投影区域。上述方式实现了无人机拍摄的视频图像与三维地图上的已标注目标的精确匹配。

Description

一种无人机视频图像与三维地图的匹配方法和装置
技术领域
本申请涉及无人机技术领域，尤其涉及一种无人机视频图像与三维地图的匹配方法和装置。
背景技术
现在无人机发展主要以提高载重、提高航时、提高悬停、提高爬升、提高距离等为主要研究方向，并且取得了较大进展，但对无人机航拍视频图像的后期处理尤其是与三维地图进行匹配都研究的比较少。
在应用中，观测地面同一目标时既需卫星观测，又需无人机进行复核，并将视频图像信息与三维地图信息融合。而将视频图像与地图匹配，视频所视区域与地图区域进行融合，不仅需要识别视频中的主要目标，还要识别视频区域的所有目标，并与地图标识匹配，实现对地图所视目标的复核，将视频所视区域与地图显示区域进行匹配。而在匹配时，无人机视频以矩形图像显示，而其所示区域在地图上并非真正的矩形面，而是类似四边形，因受遮挡物影响每条边并非是以直线存在的，导致地图所示目标与无人机视频图像不匹配尤其是视频边界误差大的问题。
为解决无人机视频区域与地图的精确匹配，本申请开展了对无人机视频区域在三维地图上投影进行地图匹配方面的研究。
发明内容
针对背景技术的不足，本申请提供了一种无人机视频图像与三维地图的匹配方法和装置，实现了无人机拍摄的视频图像与三维地图上的已标注目标的精确匹配。
本申请的一种无人机视频图像与三维地图的匹配方法，包括如下步骤：
计算摄像机中心线的俯仰角α、摄像机中心线的横滚角β和摄像机中心线相对于地面垂线的角度θ。
根据无人机的飞行高度h、摄像机中心线的俯仰角α和横滚角β、摄像机中心线相对于地面垂线的角度θ、视场角度ω来计算无人机拍摄的视频图像四边形的各顶点坐标。
将所述视频图像的四边形的各边按照视场角度三等分，计算各边的等分点的坐标。
通过每条边上已经获得的四个点的位置进行插值计算，获得各条边上的四个点中的相邻各点之间的中间点的坐标；在无人机位置较高且在空旷地区或低矮目标区域边界上的情况下，在地图上连接每条边上计算出的各中间点，得到视频边界在地图上的投影。
在无人机飞行高度较低且有高大物体遮挡的情况下，通过图像识别算法识别出无人机视频中的高大目标N点，判断N点位于视频区域的顶点区域还是边界区域：如果N点位于视频区域的顶点区域，则将N点与所述顶点区域的顶点相邻的两个所述插值计算后的中间点相连接，并将其余的各中间点和顶点顺次相连接，得到视频边界在地图上的投影；如果N点位于视频区域的边界区域，则将N点与所述边界区域中最近的两个点相连接，并将其余的各中间点和顶点顺次相连接，得到视频边界在地图上的投影。
本申请还提供一种无人机视频图像与三维地图的匹配装置，包括角度计算模块、顶点坐标计算模块、等分点坐标计算模块、投影确定模块。
所述角度计算模块，用于计算摄像机中心线的俯仰角α、摄像机中心线的横滚角β和摄像机中心线相对于地面垂线的角度θ。
所述顶点坐标计算模块，用于根据无人机的飞行高度h、摄像机中心线的俯仰角α和横滚角β、摄像机中心线相对于地面垂线的角度θ、视场角度ω来计算无人机拍摄的视频图像四边形的各顶点坐标。
所述等分点坐标计算模块，用于将所述视频图像的四边形的各边按照视场角度三等分，计算各边的等分点的坐标。
所述投影确定模块，用于通过每条边上已经获得的四个点的位置进行插值计算，获得各条边上的四个点中的相邻各点之间的中间点的坐标。
在无人机位置较高且在空旷地区或低矮目标区域边界上的情况下，在地图上连接每条边上计算出的各中间点，得到视频边界在地图上的投影。
在无人机飞行高度较低且有高大物体遮挡的情况下，通过图像识别算法识别出无人机视频中的高大目标N点，判断N点位于视频区域的顶点区域还是边界区域。如果N点位于视频区域的顶点区域，则将N点与所述顶点区域的顶点相邻的两个所述插值计算后的中间点相连接，并将其余的各中间点和顶点顺次相连接，得到视频边界在地图上的投影；如果N点位于视频区域的边界区域，则将N点与所述边界区域中最近的两个点相连接，并将其余的各中间点和顶点顺次相连接，得到视频边界在地图上的投影。
现有应用一般仅根据无人机飞行航线在地图上进行标识，仅仅对无人机的可视范围进行粗略标记。与现有技术相比，本申请通过将无人机拍摄的视频图像进行变形处理，使矩形视频图像在地图上的投影显示为不规则区域，从而实现无人机拍摄的视频图像区域与三维地图区域的精确匹配。
附图说明
图1是本申请的方法流程图；
图2是本申请的视频边界计算示意图；
图3是本申请的高大物体遮挡示意图；
图4是本申请的受遮挡后视频在地图的投影示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。
本申请所提出的一种无人机视频图像与三维地图的匹配方法和装置，主要是对无人机拍摄的视频图像进行后期处理，将无人机拍摄的旋转无固定方向的视频图像目标与三维地图上已标注的目标进行匹配，在地图上呈现视频所视区域，并在地图目标上镶嵌真实的视频目标。
本申请的关键点是在视频处理后，对视频图像根据测控信息、载荷信息进行变形处理，使矩形视频图像在地图上的投影显示为不规则区域，尤其是视频边界容易出现匹配误差，从而实现视频区域与地图区域匹配。
实施例1：
如图1所示，本申请提供的一种无人机视频图像与三维地图的匹配方法，包括如下步骤：
（1）计算摄像机中心线的俯仰角α、摄像机中心线的横滚角β和摄像机中心线相对于地面垂线的角度θ，其中：
α=α1+α2；
β=β1+β2；
θ=（α2+β2）0.5；
α1是无人机的俯仰角，β1是无人机的横滚角；α2是摄像机的俯仰角，β2是摄像机的横滚角。
（2）根据无人机的飞行高度h、摄像机中心线的俯仰角α和横滚角β、摄像机中心线相对于地面垂线的角度θ、视场角度ω来计算无人机拍摄的视频图像四边形的各顶点坐标，顶点位置参见图2。
各顶点坐标的计算方式如下：
左顶点A的坐标为：
A（Xa，Ya）=A（h×tan（θ+ω/2）×sin（α-ω/2）, h×tan（θ+ω/2）×cos（α-ω/2））；
其中，Xa为横坐标，Ya为纵坐标；
右顶点A1的坐标为：
A1（Xa1，Ya1）=A1（h×tan（θ+ω/2）×sin（α+ω/2）, h×tan（θ+ω/2）×cos（α+ω/2））；
其中，Xa1为横坐标，Ya1为纵坐标；
左底点D的坐标为：
D（Xd，Yd）=D（h×tan（θ-ω/2）×sin（α-ω/2）, h×tan（θ-ω/2）×cos（α-ω/2））；
其中，Xd为横坐标，Yd为纵坐标；
右底点D1的坐标为：
D1（Xd1，Yd1）=D1（h×tan（θ+ω/2）×sin（α+ω/2）, h×tan（θ+ω/2）×cos（α+ω/2））；
其中，Xd1为横坐标，Yd1为纵坐标；
（3）为提高视频图像与地图匹配的精确度，将所述视频图像的四边形的各边按照视场角度三等分，计算各边的等分点的坐标，各等分点位置参见图2。
各边的等分点坐标的计算方式如下：对于视频图像的四边形的左边，其按照视场角度三等分后的两个等分点为B点和C点，B点和C点的坐标分别为：
B点坐标为：
B（Xb，Yb）=B（h×tan（θ+ω/6）×sin（α-ω/2）, h×tan（θ+ω/2）×cos（α-ω/2））；
其中，Xb为横坐标，Yb为纵坐标；
C点坐标为：
C（Xc，Yc）=C（h×tan（θ-ω/6）×sin（α-ω/2）, h×tan（θ+ω/2）×cos（α-ω/2））；
其中，Xc为横坐标，Yc为纵坐标；
对于视频图像的四边形的右边，其按照视场角度三等分后的两个等分点为B1点和C1点，B1点和C1的坐标分别为：
B1点坐标为：
B1（Xb1，Yb1）=B1（h×tan（θ+ω/6）×sin（α+ω/2）, h×tan（θ+ω/2）×cos（α+ω/2））；
其中，Xb1为横坐标，Yb1为纵坐标；
C1点坐标为：
C1（Xc1，Yc1）=C1（h×tan（θ-ω/6）×sin（α+ω/2）, h×tan（θ+ω/2）×cos（α+ω/2））；
其中，Xc1为横坐标，Yc1为纵坐标；
对于视频图像的四边形的顶边，其按照视场角度三等分后的两个等分点为R点和S点，R点和S点的坐标分别为：
R点坐标为：
R（Xr，Yr）=R（h×tan（θ+ω/2）×sin（α-ω/6）, h×tan（θ+ω/2）×cos（α-ω/6））；
其中，Xr为横坐标，Yr为纵坐标；
S点坐标为：
S（Xs，Ys）=S（h×tan（θ+ω/2）×sin（α+ω/6）, h×tan（θ+ω/2）×cos（α+ω/6））；
其中，Xs为横坐标，Ys为纵坐标；
对于视频图像的四边形的底边，其按照视场角度三等分后的两个等分点为R1点和S1点，R1点和S1点的坐标分别为：
R1点坐标为:
R1（Xr1，Yr1）=R1（h×tan（θ-ω/2）×sin（α-ω/6）, h×tan（θ-ω/2）×cos（α-ω/6））；
其中，Xr1为横坐标，Yr1为纵坐标；
S1点坐标为：
S1（Xs1，Ys1）=S1（h×tan（θ-ω/2）×sin（α+ω/6）, h×tan（θ-ω/2）×cos（α+ω/6））；
其中，Xs1为横坐标，Ys1为纵坐标。
（4）计算视频边界在地图上的投影，具体为：
通过每条边上已经获得的四个点的位置进行插值计算，获得各条边上的四个点中的相邻各点之间的中间点的坐标，每条边上的所述四个点包括每条边的端点（即步骤（2）中计算的各顶点）和按照视场角度三等分后获得的两个等分点（即步骤（3）中计算的各等分点）。
所述中间点的计算方式如下：
1）采用差值法计算左边上的点A与B、B与C、C与D的中间点即E、F、G点的坐标E（Xe，Ye）、F（Xf，Yf）、G（Xg，Yg），各中间点位置参见图2，其中：
Xe=（Xa+Xb）/2，Ye=（Ya+Yb）/2；
Xf=（Xb+Xc）/2，Yf=（Yb+Yc）/2；
Xg=（Xc+Xd）/2，Yg=（Yc+Yd）/2；
2）采用差值法计算右边上的点A1与B1、B1与C1、C1与D1的中间点即E1、F1、G1点的坐标E1（Xe1，Ye1）、F1（Xf1，Yf1）、G1（Xg1，Yg1），其中：
Xe1=（Xa1+Xb1）/2，Ye1=（Ya1+Yb1）/2；
Xf1=（Xb1+Xc1）/2，Yf1=（Yb1+Yc1）/2；
Xg1=（Xc1+Xd1）/2，Yg1=（Yc1+Yd1）/2；
3）采用差值法计算顶边上的点A与R、R与S、S与A1的中间点即H、J、K点的坐标H（Xh，Yh）、J（Xj，Yj）、K（Xk，Yk），其中：
Xh=（Xa+Xr）/2，Yh=（Ya+Yr）/2；
Xj=（Xr+Xs）/2，Yj=（Yr+Ys）/2；
Xk=（Xs+Xa1）/2，Yk=（Ys+Ya1）/2；
4）采用差值法计算底边上的点D与R1、R1与S1、S1与D1的中间点即H1、J1、K1点的坐标H1（Xh1，Yh1）、J1（Xj1，Yj1）、K1（Xk1，Yk1），其中：
Xh1=（Xd+Xr1）/2，Yh1=（Yd+Yr1）/2；
Xj1=（Xr1+Xs1）/2，Yj1=（Yr1+Ys1）/2；
Xk1=（Xs1+Xd1）/2，Yk1=（Ys1+Yd1）/2；
上述方式将视频区域划分为36个小四边形。
在无人机位置较高且在空旷地区或低矮目标区域边界上时， 在计算出每条边上的相邻各点之间的中间点的坐标后，在地图上连接每条边上计算出的各点，作为视频边界在地图上的投影。
在无人机飞行高度较低且有高大物体遮挡的情况下，如图2所示，无人机所视最远目标距离为M点，但视频中目标区域被N点树木遮挡，通过图像识别算法识别出无人机视频中的高大目标N点，其所视目标区域只能用N点取代，计算此高大目标N点在视频中的坐标N（Xn，Yn）。所述无人机飞行高度较低是飞行高度h低于50米。
判断N点位于视频区域的顶点区域还是边界区域：
如果N点位于视频区域的顶点区域，则将N点与所述顶点区域的顶点相邻的两个计算后的插值点相连接，如图3所述，连接HN、EN，并将其余的各中间点和顶点顺次相连接，得到视频边界在地图上的投影。
如果N点位于视频区域的边界区域，则将N点与所述边界区域中最近的两个点相连接，如图3所述，连接BN1、FN1，此处为了区分与顶点区域的N的区别，使用N1来表示，并将其余的各中间点和顶点顺次相连接，得到视频边界在地图上的投影。
对于无人机飞行高度较低且有矮小目标（如车、人、动物等小目标）遮挡的情况下，根据测控数据其应视范围可达Q点，则还用Q点作为其所视区域边界，忽略矮小目标的存在。
实施例2：
如图4所示，本申请提供的一种无人机视频图像与三维地图的匹配装置，包括角度计算模块、顶点坐标计算模块、等分点坐标计算模块、投影确定模块。
所述角度计算模块，用于计算摄像机中心线的俯仰角α、摄像机中心线的横滚角β和摄像机中心线相对于地面垂线的角度θ，其中：
α=α1+α2；
β=β1+β2；
θ=（α2+β2）0.5；
α1是无人机的俯仰角，β1是无人机的横滚角；α2是摄像机的俯仰角，β2是摄像机的横滚角。
所述顶点坐标计算模块，用于根据无人机的飞行高度h、摄像机中心线的俯仰角α和横滚角β、摄像机中心线相对于地面垂线的角度θ、视场角度ω来计算无人机拍摄的视频图像四边形的各顶点坐标，顶点位置参见图2。
各顶点坐标的计算方式如下：
左顶点A的坐标为：
A（Xa，Ya）=A（h×tan（θ+ω/2）×sin（α-ω/2）, h×tan（θ+ω/2）×cos（α-ω/2））；
其中，Xa为横坐标，Ya为纵坐标；
右顶点A1的坐标为：
A1（Xa1，Ya1）=A1（h×tan（θ+ω/2）×sin（α+ω/2）, h×tan（θ+ω/2）×cos（α+ω/2））；
其中，Xa1为横坐标，Ya1为纵坐标；
左底点D的坐标为：
D（Xd，Yd）=D（h×tan（θ-ω/2）×sin（α-ω/2）, h×tan（θ-ω/2）×cos（α-ω/2））；
其中，Xd为横坐标，Yd为纵坐标；
右底点D1的坐标为：
D1（Xd1，Yd1）=D1（h×tan（θ+ω/2）×sin（α+ω/2）, h×tan（θ+ω/2）×cos（α+ω/2））；
其中，Xd1为横坐标，Yd1为纵坐标；
所述等分点坐标计算模块，用于将所述视频图像的四边形的各边按照视场角度三等分，计算各边的等分点的坐标，各等分点位置参见图2。
各边的等分点坐标的计算方式如下：对于视频图像的四边形的左边，其按照视场角度三等分后的两个等分点为B点和C点，B点和C点的坐标分别为：
B点坐标为：
B（Xb，Yb）=B（h×tan（θ+ω/6）×sin（α-ω/2）, h×tan（θ+ω/2）×cos（α-ω/2））；
其中，Xb为横坐标，Yb为纵坐标；
C点坐标为：
C（Xc，Yc）=C（h×tan（θ-ω/6）×sin（α-ω/2）, h×tan（θ+ω/2）×cos（α-ω/2））；
其中，Xc为横坐标，Yc为纵坐标；
对于视频图像的四边形的右边，其按照视场角度三等分后的两个等分点为B1点和C1点，B1点和C1的坐标分别为：
B1点坐标为：
B1（Xb1，Yb1）=B1（h×tan（θ+ω/6）×sin（α+ω/2）, h×tan（θ+ω/2）×cos（α+ω/2））；
其中，Xb1为横坐标，Yb1为纵坐标；
C1点坐标为：
C1（Xc1，Yc1）=C1（h×tan（θ-ω/6）×sin（α+ω/2）, h×tan（θ+ω/2）×cos（α+ω/2））；
其中，Xc1为横坐标，Yc1为纵坐标；
对于视频图像的四边形的顶边，其按照视场角度三等分后的两个等分点为R点和S点，R点和S点的坐标分别为：
R点坐标为：
R（Xr，Yr）=R（h×tan（θ+ω/2）×sin（α-ω/6）, h×tan（θ+ω/2）×cos（α-ω/6））；
其中，Xr为横坐标，Yr为纵坐标；
S点坐标为：
S（Xs，Ys）=S（h×tan（θ+ω/2）×sin（α+ω/6）, h×tan（θ+ω/2）×cos（α+ω/6））；
其中，Xs为横坐标，Ys为纵坐标；
对于视频图像的四边形的底边，其按照视场角度三等分后的两个等分点为R1点和S1点，R1点和S1点的坐标分别为：
R1点坐标为:
R1（Xr1，Yr1）=R1（h×tan（θ-ω/2）×sin（α-ω/6）, h×tan（θ-ω/2）×cos（α-ω/6））；
其中，Xr1为横坐标，Yr1为纵坐标；
S1点坐标为：
S1（Xs1，Ys1）=S1（h×tan（θ-ω/2）×sin（α+ω/6）, h×tan（θ-ω/2）×cos（α+ω/6））；
其中，Xs1为横坐标，Ys1为纵坐标。
所述投影确定模块，用于计算视频边界在地图上的投影。
通过每条边上已经获得的四个点的位置进行插值计算，获得各条边上的四个点中的相邻各点之间的中间点的坐标，每条边上的所述四个点包括每条边的端点（即步骤（2）中计算的各顶点）和按照视场角度三等分后获得的两个等分点（即步骤（3）中计算的各等分点）。
所述中间点的计算方式如下：
1）采用差值法计算左边上的点A与B、B与C、C与D的中间点即E、F、G点的坐标E（Xe，Ye）、F（Xf，Yf）、G（Xg，Yg），各中间点位置参见图2，其中：
Xe=（Xa+Xb）/2，Ye=（Ya+Yb）/2；
Xf=（Xb+Xc）/2，Yf=（Yb+Yc）/2；
Xg=（Xc+Xd）/2，Yg=（Yc+Yd）/2；
2）采用差值法计算右边上的点A1与B1、B1与C1、C1与D1的中间点即E1、F1、G1点的坐标E1（Xe1，Ye1）、F1（Xf1，Yf1）、G1（Xg1，Yg1），其中：
Xe1=（Xa1+Xb1）/2，Ye1=（Ya1+Yb1）/2；
Xf1=（Xb1+Xc1）/2，Yf1=（Yb1+Yc1）/2；
Xg1=（Xc1+Xd1）/2，Yg1=（Yc1+Yd1）/2；
3）采用差值法计算顶边上的点A与R、R与S、S与A1的中间点即H、J、K点的坐标H（Xh，Yh）、J（Xj，Yj）、K（Xk，Yk），其中：
Xh=（Xa+Xr）/2，Yh=（Ya+Yr）/2；
Xj=（Xr+Xs）/2，Yj=（Yr+Ys）/2；
Xk=（Xs+Xa1）/2，Yk=（Ys+Ya1）/2；
4）采用差值法计算底边上的点D与R1、R1与S1、S1与D1的中间点即H1、J1、K1点的坐标H1（Xh1，Yh1）、J1（Xj1，Yj1）、K1（Xk1，Yk1），其中：
Xh1=（Xd+Xr1）/2，Yh1=（Yd+Yr1）/2；
Xj1=（Xr1+Xs1）/2，Yj1=（Yr1+Ys1）/2；
Xk1=（Xs1+Xd1）/2，Yk1=（Ys1+Yd1）/2；
上述方式将视频区域划分为36个小四边形。
在无人机位置较高且在空旷地区或低矮目标区域边界上时， 在计算出每条边上的相邻各点之间的中间点的坐标后，在地图上连接每条边上计算出的各点，作为视频边界在地图上的投影。
在无人机飞行高度较低且有高大物体遮挡的情况下，如图2所示，无人机所视最远目标距离为M点，但视频中目标区域被N点树木遮挡，通过图像识别算法识别出无人机视频中的高大目标N点，其所视目标区域只能用N点取代，计算此高大目标N点在视频中的坐标N（Xn，Yn）。所述无人机飞行高度较低是飞行高度h低于50米。
判断N点位于视频区域的顶点区域还是边界区域：
如果N点位于视频区域的顶点区域，则将N点与所述顶点区域的顶点相邻的两个计算后的插值点相连接，如图3所述，连接HN、EN，并将其余的各中间点和顶点顺次相连接，得到视频边界在地图上的投影。
如果N点位于视频区域的边界区域，则将N点与所述边界区域中最近的两个点相连接，如图3所述，连接BN1、FN1，此处为了区分与顶点区域的N的区别，使用N1来表示，并将其余的各中间点和顶点顺次相连接，得到视频边界在地图上的投影。
对于无人机飞行高度较低且有矮小目标（如车、人、动物等小目标）遮挡的情况下，根据测控数据其应视范围可达Q点，则还用Q点作为其所视区域边界，忽略矮小目标的存在。
本领域普通技术人员可以理解上述方法中的全部或部分步骤可通过程序来指令相关硬件完成，所述程序可以存储于计算机可读存储介质中，如只读存储器、磁盘或光盘等，存储于可读存储介质中的程序可以被处理器执行来完成上述方法对应的功能。可选地，上述实施例的全部或部分步骤也可以使用一个或多个集成电路来实现。相应地，上述实施例中的各模块/单元可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。
综上所述，以上仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (13)

1.一种无人机视频图像与三维地图的匹配方法，其特征在于，包括如下步骤：
（1）计算摄像机中心线的俯仰角α、摄像机中心线的横滚角β和摄像机中心线相对于地面垂线的角度θ；
（2）根据无人机的飞行高度h、摄像机中心线的俯仰角α和横滚角β、摄像机中心线相对于地面垂线的角度θ、视场角度ω来计算无人机拍摄的视频图像四边形的各顶点坐标；
（3）将所述视频图像的四边形的各边按照视场角度三等分，计算各边的等分点的坐标；
（4）通过每条边上已经获得的四个点的位置进行插值计算，获得各条边上的四个点中的相邻各点之间的中间点的坐标；
在无人机位置较高且在空旷地区或低矮目标区域边界上的情况下，在地图上连接每条边上计算出的各中间点，得到视频边界在地图上的投影；
在无人机飞行高度较低且有高大物体遮挡的情况下，通过图像识别算法识别出无人机视频中的高大目标N点，判断N点位于视频区域的顶点区域还是边界区域：
如果N点位于视频区域的顶点区域，则将N点与所述顶点区域的顶点相邻的两个所述插值计算后的中间点相连接，并将其余的各中间点和顶点顺次相连接，得到视频边界在地图上的投影；
如果N点位于视频区域的边界区域，则将N点与所述边界区域中最近的两个点相连接，并将其余的各中间点和顶点顺次相连接，得到视频边界在地图上的投影。
2.根据权利要求1所述的一种无人机视频图像与三维地图的匹配方法，其特征在于，所述α、β和θ的计算方式为：
α=α1+α2；
β=β1+β2；
θ=（α2+β2）0.5；
α1是无人机的俯仰角为，β1是无人机的横滚角；α2是摄像机的俯仰角，β2是摄像机的横滚角。
3.根据权利要求2所述的一种无人机视频图像与三维地图的匹配方法，其特征在于，所述计算无人机拍摄的视频图像四边形的各顶点坐标具体为：
左顶点A的坐标为：
A（Xa，Ya）=A（h×tan（θ+ω/2）×sin（α-ω/2）, h×tan（θ+ω/2）×cosα（α-ω/2））；
其中，Xa为横坐标，Ya为纵坐标；
右顶点A1的坐标为：
A1（Xa1，Ya1）=A1（h×tan（θ+ω/2）×sin（α+ω/2）, h×tan（θ+ω/2）×cos（α+ω/2））；
其中，Xa1为横坐标，Ya1为纵坐标；
左底点D的坐标为：
D（Xd，Yd）=D（h×tan（θ-ω/2）×sin（α-ω/2）, h×tan（θ-ω/2）×cos（α-ω/2））；
其中，Xd为横坐标，Yd为纵坐标；
右底点D1的坐标为：
D1（Xd1，Yd1）=D1（h×tan（θ+ω/2）×sin（α+ω/2）, h×tan（θ+ω/2）×cos（α+ω/2））；
其中，Xd1为横坐标，Yd1为纵坐标。
4.根据权利要求3所述的一种无人机视频图像与三维地图的匹配方法，其特征在于，所述计算各边的等分点的坐标具体为：
对于视频图像的四边形的左边，其按照视场角度三等分后的两个等分点为B点和C点，B点和C点的坐标分别为：
B点坐标为：
B（Xb，Yb）=B（h×tan（θ+ω/6）×sin（α-ω/2）, h×tan（θ+ω/2）×cos（α-ω/2））；
其中，Xb为横坐标，Yb为纵坐标；
C点坐标为：
C（Xc，Yc）=C（h×tan（θ-ω/6）×sin（α-ω/2）, h×tan（θ+ω/2）×cos（α-ω/2））；
其中，Xc为横坐标，Yc为纵坐标；
对于视频图像的四边形的右边，其按照视场角度三等分后的两个等分点为B1点和C1点，B1点和C1的坐标分别为：
B1点坐标为：
B1（Xb1，Yb1）=B1（h×tan（θ+ω/6）×sin（α+ω/2）, h×tan（θ+ω/2）×cos（α+ω/2））；
其中，Xb1为横坐标，Yb1为纵坐标；
C1点坐标为：
C1（Xc1，Yc1）=C1（h×tan（θ-ω/6）×sin（α+ω/2）, h×tan（θ+ω/2）×cos（α+ω/2））；
其中，Xc1为横坐标，Yc1为纵坐标；
对于视频图像的四边形的顶边，其按照视场角度三等分后的两个等分点为R点和S点，R点和S点的坐标分别为：
R点坐标为：
R（Xr，Yr）=R（h×tan（θ+ω/2）×sin（α-ω/6）, h×tan（θ+ω/2）×cos（α-ω/6））；
其中，Xr为横坐标，Yr为纵坐标；
S点坐标为：
S（Xs，Ys）=S（h×tan（θ+ω/2）×sin（α+ω/6）, h×tan（θ+ω/2）×cos（α+ω/6））；
其中，Xs为横坐标，Ys为纵坐标；
对于视频图像的四边形的底边，其按照视场角度三等分后的两个等分点为R1点和S1点，R1点和S1点的坐标分别为：
R1点坐标为:
R1（Xr1，Yr1）=R1（h×tan（θ-ω/2）×sin（α-ω/6）, h×tan（θ-ω/2）×cos（α-ω/6））；
其中，Xr1为横坐标，Yr1为纵坐标；
S1点坐标为：
S1（Xs1，Ys1）=S1（h×tan（θ-ω/2）×sin（α+ω/6）, h×tan（θ-ω/2）×cos（α+ω/6））；
其中，Xs1为横坐标，Ys1为纵坐标。
5.根据权利要求4所述的一种无人机视频图像与三维地图的匹配方法，其特征在于，所述通过每条边上已经获得的四个点的位置进行插值计算，获得各条边上的四个点中的相邻各点之间的中间点的坐标具体为：
1）采用差值法计算左边上的点A与B、B与C、C与D的中间点即E、F、G点的坐标E（Xe，Ye）、F（Xf，Yf）、G（Xg，Yg），其中：
Xe=（Xa+Xb）/2，Ye=（Ya+Yb）/2；
Xf=（Xb+Xc）/2，Yf=（Yb+Yc）/2；
Xg=（Xc+Xd）/2，Yg=（Yc+Yd）/2；
2）采用差值法计算右边上的点A1与B1、B1与C1、C1与D1的中间点即E1、F1、G1点的坐标E1（Xe1，Ye1）、F1（Xf1，Yf1）、G1（Xg1，Yg1），其中：
Xe1=（Xa1+Xb1）/2，Ye1=（Ya1+Yb1）/2；
Xf1=（Xb1+Xc1）/2，Yf1=（Yb1+Yc1）/2；
Xg1=（Xc1+Xd1）/2，Yg1=（Yc1+Yd1）/2；
3）采用差值法计算顶边上的点A与R、R与S、S与A1的中间点即H、J、K点的坐标H（Xh，Yh）、J（Xj，Yj）、K（Xk，Yk），其中：
Xh=（Xa+Xr）/2，Yh=（Ya+Yr）/2；
Xj=（Xr+Xs）/2，Yj=（Yr+Ys）/2；
Xk=（Xs+Xa1）/2，Yk=（Ys+Ya1）/2；
4）采用差值法计算底边上的点D与R1、R1与S1、S1与D1的中间点即H1、J1、K1点的坐标H1（Xh1，Yh1）、J1（Xj1，Yj1）、K1（Xk1，Yk1），其中：
Xh1=（Xd+Xr1）/2，Yh1=（Yd+Yr1）/2；
Xj1=（Xr1+Xs1）/2，Yj1=（Yr1+Ys1）/2；
Xk1=（Xs1+Xd1）/2，Yk1=（Ys1+Yd1）/2。
6.根据权利要求1-5任一项所述的一种无人机视频图像与三维地图的匹配方法，其特征在于，所述飞行高度较低是无人机的飞行高度h低于50米。
7.一种无人机视频图像与三维地图的匹配装置，其特征在于，包括角度计算模块、顶点坐标计算模块、等分点坐标计算模块、投影确定模块；
所述角度计算模块，用于计算摄像机中心线的俯仰角α、摄像机中心线的横滚角β和摄像机中心线相对于地面垂线的角度θ；
所述顶点坐标计算模块，用于根据无人机的飞行高度h、摄像机中心线的俯仰角α和横滚角β、摄像机中心线相对于地面垂线的角度θ、视场角度ω来计算无人机拍摄的视频图像四边形的各顶点坐标；
所述等分点坐标计算模块，用于将所述视频图像的四边形的各边按照视场角度三等分，计算各边的等分点的坐标；
所述投影确定模块，用于通过每条边上已经获得的四个点的位置进行插值计算，获得各条边上的四个点中的相邻各点之间的中间点的坐标；
在无人机位置较高且在空旷地区或低矮目标区域边界上的情况下，在地图上连接每条边上计算出的各中间点，得到视频边界在地图上的投影；
在无人机飞行高度较低且有高大物体遮挡的情况下，通过图像识别算法识别出无人机视频中的高大目标N点，判断N点位于视频区域的顶点区域还是边界区域：
如果N点位于视频区域的顶点区域，则将N点与所述顶点区域的顶点相邻的两个所述插值计算后的中间点相连接，并将其余的各中间点和顶点顺次相连接，得到视频边界在地图上的投影；
如果N点位于视频区域的边界区域，则将N点与所述边界区域中最近的两个点相连接，并将其余的各中间点和顶点顺次相连接，得到视频边界在地图上的投影。
8.根据权利要求7所述的一种无人机视频图像与三维地图的匹配装置，其特征在于，所述α、β和θ的计算方式为：
α=α1+α2；
β=β1+β2；
θ=（α2+β2）0.5；
α1是无人机的俯仰角为，β1是无人机的横滚角；α2是摄像机的俯仰角，β2是摄像机的横滚角。
9.根据权利要求8所述的一种无人机视频图像与三维地图的匹配装置，其特征在于，所述计算无人机拍摄的视频图像四边形的各顶点坐标具体为：
左顶点A的坐标为：
A（Xa，Ya）=A（h×tan（θ+ω/2）×sin（α-ω/2）, h×tan（θ+ω/2）×cos（α-ω/2））；
其中，Xa为横坐标，Ya为纵坐标；
右顶点A1的坐标为：
A1（Xa1，Ya1）=A1（h×tan（θ+ω/2）×sin（α+ω/2）, h×tan（θ+ω/2）×cos（α+ω/2））；
其中，Xa1为横坐标，Ya1为纵坐标；
左底点D的坐标为：
D（Xd，Yd）=D（h×tan（θ-ω/2）×sin（α-ω/2）, h×tan（θ-ω/2）×cos（α-ω/2））；
其中，Xd为横坐标，Yd为纵坐标；
右底点D1的坐标为：
D1（Xd1，Yd1）=D1（h×tan（θ+ω/2）×sin（α+ω/2）, h×tan（θ+ω/2）×cos（α+ω/2））；
其中，Xd1为横坐标，Yd1为纵坐标。
10.根据权利要求9所述的一种无人机视频图像与三维地图的匹配装置，其特征在于，所述计算各边的等分点的坐标具体为：
对于视频图像的四边形的左边，其按照视场角度三等分后的两个等分点为B点和C点，B点和C点的坐标分别为：
B点坐标为：
B（Xb，Yb）=B（h×tan（θ+ω/6）×sin（α-ω/2）, h×tan（θ+ω/2）×cos（α-ω/2））；
其中，Xb为横坐标，Yb为纵坐标；
C点坐标为：
C（Xc，Yc）=C（h×tan（θ-ω/6）×sin（α-ω/2）, h×tan（θ+ω/2）×cos（α-ω/2））；
其中，Xc为横坐标，Yc为纵坐标；
对于视频图像的四边形的右边，其按照视场角度三等分后的两个等分点为B1点和C1点，B1点和C1的坐标分别为：
B1点坐标为：
B1（Xb1，Yb1）=B1（h×tan（θ+ω/6）×sin（α+ω/2）, h×tan（θ+ω/2）×cos（α+ω/2））；
其中，Xb1为横坐标，Yb1为纵坐标；
C1点坐标为：
C1（Xc1，Yc1）=C1（h×tan（θ-ω/6）×sin（α+ω/2）, h×tan（θ+ω/2）×cos（α+ω/2））；
其中，Xc1为横坐标，Yc1为纵坐标；
对于视频图像的四边形的顶边，其按照视场角度三等分后的两个等分点为R点和S点，R点和S点的坐标分别为：
R点坐标为：
R（Xr，Yr）=R（h×tan（θ+ω/2）×sin（α-ω/6）, h×tan（θ+ω/2）×cos（α-ω/6））；
其中，Xr为横坐标，Yr为纵坐标；
S点坐标为：
S（Xs，Ys）=S（h×tan（θ+ω/2）×sin（α+ω/6）, h×tan（θ+ω/2）×cos（α+ω/6））；
其中，Xs为横坐标，Ys为纵坐标；
对于视频图像的四边形的底边，其按照视场角度三等分后的两个等分点为R1点和S1点，R1点和S1点的坐标分别为：
R1点坐标为:
R1（Xr1，Yr1）=R1（h×tan（θ-ω/2）×sin（α-ω/6）, h×tan（θ-ω/2）×cos（α-ω/6））；
其中，Xr1为横坐标，Yr1为纵坐标；
S1点坐标为：
S1（Xs1，Ys1）=S1（h×tan（θ-ω/2）×sin（α+ω/6）, h×tan（θ-ω/2）×cos（α+ω/6））；
其中，Xs1为横坐标，Ys1为纵坐标。
11.根据权利要求10所述的一种无人机视频图像与三维地图的匹配装置，其特征在于，所述通过每条边上已经获得的四个点的位置进行插值计算，获得各条边上的四个点中的相邻各点之间的中间点的坐标具体为：
1）采用差值法计算左边上的点A与B、B与C、C与D的中间点即E、F、G点的坐标E（Xe，Ye）、F（Xf，Yf）、G（Xg，Yg），其中：
Xe=（Xa+Xb）/2，Ye=（Ya+Yb）/2；
Xf=（Xb+Xc）/2，Yf=（Yb+Yc）/2；
Xg=（Xc+Xd）/2，Yg=（Yc+Yd）/2；
2）采用差值法计算右边上的点A1与B1、B1与C1、C1与D1的中间点即E1、F1、G1点的坐标E1（Xe1，Ye1）、F1（Xf1，Yf1）、G1（Xg1，Yg1），其中：
Xe1=（Xa1+Xb1）/2，Ye1=（Ya1+Yb1）/2；
Xf1=（Xb1+Xc1）/2，Yf1=（Yb1+Yc1）/2；
Xg1=（Xc1+Xd1）/2，Yg1=（Yc1+Yd1）/2；
3）采用差值法计算顶边上的点A与R、R与S、S与A1的中间点即H、J、K点的坐标H（Xh，Yh）、J（Xj，Yj）、K（Xk，Yk），其中：
Xh=（Xa+Xr）/2，Yh=（Ya+Yr）/2；
Xj=（Xr+Xs）/2，Yj=（Yr+Ys）/2；
Xk=（Xs+Xa1）/2，Yk=（Ys+Ya1）/2；
4）采用差值法计算底边上的点D与R1、R1与S1、S1与D1的中间点即H1、J1、K1点的坐标H1（Xh1，Yh1）、J1（Xj1，Yj1）、K1（Xk1，Yk1），其中：
Xh1=（Xd+Xr1）/2，Yh1=（Yd+Yr1）/2；
Xj1=（Xr1+Xs1）/2，Yj1=（Yr1+Ys1）/2；
Xk1=（Xs1+Xd1）/2，Yk1=（Ys1+Yd1）/2。
12.根据权利要求7-11任一项所述的一种无人机视频图像与三维地图的匹配装置，其特征在于，所述飞行高度较低是无人机的飞行高度h低于50米。
13.一种无人机视频图像与三维地图的匹配装置，其特征在于，所述装置包括：处理器和用于存储可执行指令的存储器；其中，所述可执行指令被执行时所述处理器执行权利要求1-6任一项所述的方法。
CN201811342054.0A 2018-11-12 2018-11-12 一种无人机视频图像与三维地图的匹配方法和装置 Expired - Fee Related CN109523579B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811342054.0A CN109523579B (zh) 2018-11-12 2018-11-12 一种无人机视频图像与三维地图的匹配方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811342054.0A CN109523579B (zh) 2018-11-12 2018-11-12 一种无人机视频图像与三维地图的匹配方法和装置

Publications (2)

Publication Number Publication Date
CN109523579A CN109523579A (zh) 2019-03-26
CN109523579B true CN109523579B (zh) 2021-03-05

Family

ID=65774039

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811342054.0A Expired - Fee Related CN109523579B (zh) 2018-11-12 2018-11-12 一种无人机视频图像与三维地图的匹配方法和装置

Country Status (1)

Country Link
CN (1) CN109523579B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110516018B (zh) * 2019-08-05 2022-03-15 山东开创云计算有限公司 一种河道的电子绘制方法和装置
CN111768339A (zh) * 2020-06-29 2020-10-13 广西翼界科技有限公司 一种无人机航拍图像快速拼接方法
CN113254697B (zh) * 2021-07-14 2021-09-10 四川泓宝润业工程技术有限公司 一种对管道路由所在区域的图像信息进行自动标记的方法
WO2023147376A1 (en) * 2022-01-25 2023-08-03 Cubic Corporation Geo-spatial context for full-motion video
CN117237438A (zh) * 2023-09-18 2023-12-15 共享数据(福建)科技有限公司 一种三维模型和无人机视频数据的范围匹配方法与终端

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101617078B1 (ko) * 2014-02-24 2016-04-29 주식회사 한화 무인 항공기 영상과 지도 영상에 대한 영상 정합 장치 및 방법
CN103954283B (zh) * 2014-04-01 2016-08-31 西北工业大学 基于景象匹配/视觉里程的惯性组合导航方法
CN104006708B (zh) * 2014-05-30 2016-02-17 河南科技大学 一种基于景象匹配的地面目标间接定位方法
CN107202982B (zh) * 2017-05-22 2018-08-07 徐泽宇 一种基于无人机位姿计算的信标布置及图像处理方法
US10515458B1 (en) * 2017-09-06 2019-12-24 The United States Of America, As Represented By The Secretary Of The Navy Image-matching navigation method and apparatus for aerial vehicles

Also Published As

Publication number Publication date
CN109523579A (zh) 2019-03-26

Similar Documents

Publication Publication Date Title
CN109523579B (zh) 一种无人机视频图像与三维地图的匹配方法和装置
EP3407294B1 (en) Information processing method, device, and terminal
EP3096286B1 (en) Image processing apparatus, image processing method, and computer program product
JP7138718B2 (ja) 地物検出装置、地物検出方法および地物検出プログラム
EP3032818B1 (en) Image processing device
EP4016457A1 (en) Positioning method and apparatus
WO2021046716A1 (zh) 目标对象的检测方法、系统、设备及存储介质
EP2442275A2 (en) Method and apparatus for three-dimensional image reconstruction
CN108665499B (zh) 一种基于视差法的近距飞机位姿测量方法
WO2020133172A1 (zh) 图像处理方法、设备及计算机可读存储介质
CN111572633B (zh) 转向角度检测方法、装置及系统
EP2924612A1 (en) Object detection device, object detection method, and computer readable storage medium comprising object detection program
JP2015114954A (ja) 撮影画像解析方法
KR101883188B1 (ko) 선박 위치 결정 방법 및 시스템
CN108225273A (zh) 一种基于传感器先验知识的实时跑道检测方法
WO2021081958A1 (zh) 地形检测方法、可移动平台、控制设备、系统及存储介质
CN109839945A (zh) 无人机降落方法、无人机降落装置及计算机可读存储介质
WO2021016806A1 (zh) 高精度地图定位方法、系统、平台及计算机可读存储介质
CN113436313B (zh) 一种基于无人机的三维重建误差主动修正方法
CN107576329B (zh) 基于机器视觉的固定翼无人机着降引导合作信标设计方法
Del Pizzo et al. Reliable vessel attitude estimation by wide angle camera
CN109003295B (zh) 一种无人机航空影像快速匹配方法
CN116184430A (zh) 一种激光雷达、可见光相机、惯性测量单元融合的位姿估计算法
US20220018950A1 (en) Indoor device localization
CN115131273A (zh) 信息处理方法、测距方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20210305

CF01 Termination of patent right due to non-payment of annual fee