CN109523579A - 一种无人机视频图像与三维地图的匹配方法和装置 - Google Patents

一种无人机视频图像与三维地图的匹配方法和装置 Download PDF

Info

Publication number
CN109523579A
CN109523579A CN201811342054.0A CN201811342054A CN109523579A CN 109523579 A CN109523579 A CN 109523579A CN 201811342054 A CN201811342054 A CN 201811342054A CN 109523579 A CN109523579 A CN 109523579A
Authority
CN
China
Prior art keywords
point
coordinate
tan
follows
video image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811342054.0A
Other languages
English (en)
Other versions
CN109523579B (zh
Inventor
武志锋
郭文刚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BEIJING LIANHAI INFORMATION SYSTEMS Ltd Co
China Electronics Technology Group Corp CETC
Original Assignee
BEIJING LIANHAI INFORMATION SYSTEMS Ltd Co
China Electronics Technology Group Corp CETC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BEIJING LIANHAI INFORMATION SYSTEMS Ltd Co, China Electronics Technology Group Corp CETC filed Critical BEIJING LIANHAI INFORMATION SYSTEMS Ltd Co
Priority to CN201811342054.0A priority Critical patent/CN109523579B/zh
Publication of CN109523579A publication Critical patent/CN109523579A/zh
Application granted granted Critical
Publication of CN109523579B publication Critical patent/CN109523579B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Abstract

一种无人机视频图像与三维地图的匹配方法和装置，用于计算摄像机中心点的俯仰角α、横滚角β和相对于地面垂线的角度θ，并基于上述参数计算无人机拍摄的视频图像四边形的各顶点坐标；将所述视频图像的四边形的各边按照视场角度三等分，计算各边的等分点的坐标；通过每条边上已经获得的四个点的位置进行插值计算，获得各条边上的四个点中的相邻各点之间的中间点的坐标；在无人机位置较高且在空旷地区或低矮目标区域边界上的情况下，在地图上连接每条边上计算出的各中间点，得到视频边界在地图上的投影；在无人机飞行高度较低且有高大物体遮挡的情况下，通过图像识别算法识别出无人机视频中的高大目标N点，判断N点位于视频区域的顶点区域还是边界区域进行区分计算投影区域。上述方式实现了无人机拍摄的视频图像与三维地图上的已标注目标的精确匹配。

Description

一种无人机视频图像与三维地图的匹配方法和装置
技术领域
本申请涉及无人机技术领域，尤其涉及一种无人机视频图像与三维地图的匹配方法和装置。
背景技术
现在无人机发展主要以提高载重、提高航时、提高悬停、提高爬升、提高距离等为主要研究方向，并且取得了较大进展，但对无人机航拍视频图像的后期处理尤其是与三维地图进行匹配都研究的比较少。
在应用中，观测地面同一目标时既需卫星观测，又需无人机进行复核，并将视频图像信息与三维地图信息融合。而将视频图像与地图匹配，视频所视区域与地图区域进行融合，不仅需要识别视频中的主要目标，还要识别视频区域的所有目标，并与地图标识匹配，实现对地图所视目标的复核，将视频所视区域与地图显示区域进行匹配。而在匹配时，无人机视频以矩形图像显示，而其所示区域在地图上并非真正的矩形面，而是类似四边形，因受遮挡物影响每条边并非是以直线存在的，导致地图所示目标与无人机视频图像不匹配尤其是视频边界误差大的问题。
为解决无人机视频区域与地图的精确匹配，本申请开展了对无人机视频区域在三维地图上投影进行地图匹配方面的研究。
发明内容
针对背景技术的不足，本申请提供了一种无人机视频图像与三维地图的匹配方法和装置，实现了无人机拍摄的视频图像与三维地图上的已标注目标的精确匹配。
本申请的一种无人机视频图像与三维地图的匹配方法，包括如下步骤：
计算摄像机中心点的俯仰角α、摄像机中心点的横滚角β和摄像机中心点相对于地面垂线的角度θ。
根据无人机的飞行高度h、摄像机中心点的俯仰角α和横滚角β、摄像机中心点相对于地面垂线的角度θ、视场角度ω来计算无人机拍摄的视频图像四边形的各顶点坐标。
将所述视频图像的四边形的各边按照视场角度三等分，计算各边的等分点的坐标。
通过每条边上已经获得的四个点的位置进行插值计算，获得各条边上的四个点中的相邻各点之间的中间点的坐标；在无人机位置较高且在空旷地区或低矮目标区域边界上的情况下，在地图上连接每条边上计算出的各中间点，得到视频边界在地图上的投影。
在无人机飞行高度较低且有高大物体遮挡的情况下，通过图像识别算法识别出无人机视频中的高大目标N点，判断N点位于视频区域的顶点区域还是边界区域：如果N点位于视频区域的顶点区域，则将N点与所述顶点区域的顶点相邻的两个所述插值计算后的中间点相连接，并将其余的各中间点和顶点顺次相连接，得到视频边界在地图上的投影；如果N点位于视频区域的边界区域，则将N点与所述边界区域中最近的两个点相连接，并将其余的各中间点和顶点顺次相连接，得到视频边界在地图上的投影。
本申请还提供一种无人机视频图像与三维地图的匹配装置，包括角度计算模块、顶点坐标计算模块、等分点坐标计算模块、投影确定模块。
所述角度计算模块，用于计算摄像机中心点的俯仰角α、摄像机中心点的横滚角β和摄像机中心点相对于地面垂线的角度θ。
所述顶点坐标计算模块，用于根据无人机的飞行高度h、摄像机中心点的俯仰角α和横滚角β、摄像机中心点相对于地面垂线的角度θ、视场角度ω来计算无人机拍摄的视频图像四边形的各顶点坐标。
所述等分点坐标计算模块，用于将所述视频图像的四边形的各边按照视场角度三等分，计算各边的等分点的坐标。
所述投影确定模块，用于通过每条边上已经获得的四个点的位置进行插值计算，获得各条边上的四个点中的相邻各点之间的中间点的坐标。
在无人机位置较高且在空旷地区或低矮目标区域边界上的情况下，在地图上连接每条边上计算出的各中间点，得到视频边界在地图上的投影。
在无人机飞行高度较低且有高大物体遮挡的情况下，通过图像识别算法识别出无人机视频中的高大目标N点，判断N点位于视频区域的顶点区域还是边界区域。如果N点位于视频区域的顶点区域，则将N点与所述顶点区域的顶点相邻的两个所述插值计算后的中间点相连接，并将其余的各中间点和顶点顺次相连接，得到视频边界在地图上的投影；如果N点位于视频区域的边界区域，则将N点与所述边界区域中最近的两个点相连接，并将其余的各中间点和顶点顺次相连接，得到视频边界在地图上的投影。
现有应用一般仅根据无人机飞行航线在地图上进行标识，仅仅对无人机的可视范围进行粗略标记。与现有技术相比，本申请通过将无人机拍摄的视频图像进行变形处理，使矩形视频图像在地图上的投影显示为不规则区域，从而实现无人机拍摄的视频图像区域与三维地图区域的精确匹配。
附图说明
图1是本申请的方法流程图；
图2是本申请的视频边界计算示意图；
图3是本申请的高大物体遮挡示意图；
图4是本申请的受遮挡后视频在地图的投影示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。
本申请所提出的一种无人机视频图像与三维地图的匹配方法和装置，主要是对无人机拍摄的视频图像进行后期处理，将无人机拍摄的旋转无固定方向的视频图像目标与三维地图上已标注的目标进行匹配，在地图上呈现视频所视区域，并在地图目标上镶嵌真实的视频目标。
本申请的关键点是在视频处理后，对视频图像根据测控信息、载荷信息进行变形处理，使矩形视频图像在地图上的投影显示为不规则区域，尤其是视频边界容易出现匹配误差，从而实现视频区域与地图区域匹配。
实施例1：
如图1所示，本申请提供的一种无人机视频图像与三维地图的匹配方法，包括如下步骤：
（1）计算摄像机中心点的俯仰角α、摄像机中心点的横滚角β和摄像机中心点相对于地面垂线的角度θ，其中：
α=α1+α2；
β=β1+β2；
θ=（α2+β2）0.5；
α1是无人机的俯仰角为，β1是无人机的横滚角；α2是摄像机的俯仰角，β2是摄像机的横滚角。
（2）根据无人机的飞行高度h、摄像机中心点的俯仰角α和横滚角β、摄像机中心点相对于地面垂线的角度θ、视场角度ω来计算无人机拍摄的视频图像四边形的各顶点坐标，顶点位置参见图2。
各顶点坐标的计算方式如下：
左顶点A的坐标为：
A（Xa，Ya）=A（h×tan（θ+ω/2）×sin（α-ω/2）, h×tan（θ+ω/2）×cos（α-ω/2））；
其中，Xa为横坐标，Ya为纵坐标；
右顶点A1的坐标为：
A1（Xa1，Ya1）=A1（h×tan（θ+ω/2）×sin（α+ω/2）, h×tan（θ+ω/2）×cos（α+ω/2））；
其中，Xa1为横坐标，Ya1为纵坐标；
左底点D的坐标为：
D（Xd，Yd）=D（h×tan（θ-ω/2）×sin（α-ω/2）, h×tan（θ-ω/2）×cos（α-ω/2））；
其中，Xd为横坐标，Yd为纵坐标；
右底点D1的坐标为：
D1（Xd1，Yd1）=D1（h×tan（θ+ω/2）×sin（α+ω/2）, h×tan（θ+ω/2）×cos（α+ω/2））；
其中，Xd1为横坐标，Yd1为纵坐标；
（3）为提高视频图像与地图匹配的精确度，将所述视频图像的四边形的各边按照视场角度三等分，计算各边的等分点的坐标，各等分点位置参见图2。
各边的等分点坐标的计算方式如下：对于视频图像的四边形的左边，其按照视场角度三等分后的两个等分点为B点和C点，B点和C点的坐标分别为：
B点坐标为：
B（Xb，Yb）=B（h×tan（θ+ω/6）×sin（α-ω/2）, h×tan（θ+ω/2）×cos（α-ω/2））；
其中，Xb为横坐标，Yb为纵坐标；
C点坐标为：
C（Xc，Yc）=C（h×tan（θ-ω/6）×sin（α-ω/2）, h×tan（θ+ω/2）×cos（α-ω/2））；
其中，Xc为横坐标，Yc为纵坐标；
对于视频图像的四边形的右边，其按照视场角度三等分后的两个等分点为B1点和C1点，B1点和C1的坐标分别为：
B1点坐标为：
B1（Xb1，Yb1）=B1（h×tan（θ+ω/6）×sin（α+ω/2）, h×tan（θ+ω/2）×cos（α+ω/2））；
其中，Xb1为横坐标，Yb1为纵坐标；
C1点坐标为：
C1（Xc1，Yc1）=C1（h×tan（θ-ω/6）×sin（α+ω/2）, h×tan（θ+ω/2）×cos（α+ω/2））；
其中，Xc1为横坐标，Yc1为纵坐标；
对于视频图像的四边形的顶边，其按照视场角度三等分后的两个等分点为R点和S点，R点和S点的坐标分别为：
R点坐标为：
R（Xr，Yr）=R（h×tan（θ+ω/2）×sin（α-ω/6）, h×tan（θ+ω/2）×cos（α-ω/6））；
其中，Xr为横坐标，Yr为纵坐标；
S点坐标为：
S（Xs，Ys）=S（h×tan（θ+ω/2）×sin（α+ω/6）, h×tan（θ+ω/2）×cos（α+ω/6））；
其中，Xs为横坐标，Ys为纵坐标；
对于视频图像的四边形的底边，其按照视场角度三等分后的两个等分点为R1点和S1点，R1点和S1点的坐标分别为：
R1点坐标为:
R1（Xr1，Yr1）=R1（h×tan（θ-ω/2）×sin（α-ω/6）, h×tan（θ-ω/2）×cos（α-ω/6））；
其中，Xr1为横坐标，Yr1为纵坐标；
S1点坐标为：
S1（Xs1，Ys1）=S1（h×tan（θ-ω/2）×sin（α+ω/6）, h×tan（θ-ω/2）×cos（α+ω/6））；
其中，Xs1为横坐标，Ys1为纵坐标。
（4）计算视频边界在地图上的投影，具体为：
通过每条边上已经获得的四个点的位置进行插值计算，获得各条边上的四个点中的相邻各点之间的中间点的坐标，每条边上的所述四个点包括每条边的端点（即步骤（2）中计算的各顶点）和按照视场角度三等分后获得的两个等分点（即步骤（3）中计算的各等分点）。
所述中间点的计算方式如下：
1）采用差值法计算左边上的点A与B、B与C、C与D的中间点即E、F、G点的坐标E（Xe，Ye）、F（Xf，Yf）、G（Xg，Yg），各中间点位置参见图2，其中：
Xe=（Xa+Xb）/2，Ye=（Ya+Yb）/2；
Xf=（Xb+Xc）/2，Yf=（Yb+Yc）/2；
Xg=（Xc+Xd）/2，Yg=（Yc+Yd）/2；
2）采用差值法计算右边上的点A1与B1、B1与C1、C1与D1的中间点即E1、F1、G1点的坐标E1（Xe1，Ye1）、F1（Xf1，Yf1）、G1（Xg1，Yg1），其中：
Xe1=（Xa1+Xb1）/2，Ye1=（Ya1+Yb1）/2；
Xf1=（Xb1+Xc1）/2，Yf1=（Yb1+Yc1）/2；
Xg1=（Xc1+Xd1）/2，Yg1=（Yc1+Yd1）/2；
3）采用差值法计算顶边上的点A与R、R与S、S与A1的中间点即H、J、K点的坐标H（Xh，Yh）、J（Xj，Yj）、K（Xk，Yk），其中：
Xh=（Xa+Xr）/2，Yh=（Ya+Yr）/2；
Xj=（Xr+Xs）/2，Yj=（Yr+Ys）/2；
Xk=（Xs+Xa1）/2，Yk=（Ys+Ya1）/2；
4）采用差值法计算底边上的点D与R1、R1与S1、S1与D1的中间点即H1、J1、K1点的坐标H1（Xh1，Yh1）、J1（Xj1，Yj1）、K1（Xk1，Yk1），其中：
Xh1=（Xd+Xr1）/2，Yh1=（Yd+Yr1）/2；
Xj1=（Xr1+Xs1）/2，Yj1=（Yr1+Ys1）/2；
Xk1=（Xs1+Xd1）/2，Yk1=（Ys1+Yd1）/2；
上述方式将视频区域划分为36个小四边形。
在无人机位置较高且在空旷地区或低矮目标区域边界上时， 在计算出每条边上的相邻各点之间的中间点的坐标后，在地图上连接每条边上计算出的各点，作为视频边界在地图上的投影。
在无人机飞行高度较低且有高大物体遮挡的情况下，如图2所示，无人机所视最远目标距离为M点，但视频中目标区域被N点树木遮挡，通过图像识别算法识别出无人机视频中的高大目标N点，其所视目标区域只能用N点取代，计算此高大目标N点在视频中的坐标N（Xn，Yn）。所述无人机飞行高度较低是飞行高度h低于50米。
判断N点位于视频区域的顶点区域还是边界区域：
如果N点位于视频区域的顶点区域，则将N点与所述顶点区域的顶点相邻的两个计算后的插值点相连接，如图3所述，连接HN、EN，并将其余的各中间点和顶点顺次相连接，得到视频边界在地图上的投影。
如果N点位于视频区域的边界区域，则将N点与所述边界区域中最近的两个点相连接，如图3所述，连接BN1、FN1，此处为了区分与顶点区域的N的区别，使用N1来表示，并将其余的各中间点和顶点顺次相连接，得到视频边界在地图上的投影。
对于无人机飞行高度较低且有矮小目标（如车、人、动物等小目标）遮挡的情况下，根据测控数据其应视范围可达Q点，则还用Q点作为其所视区域边界，忽略矮小目标的存在。
实施例2：
如图4所示，本申请提供的一种无人机视频图像与三维地图的匹配装置，包括角度计算模块、顶点坐标计算模块、等分点坐标计算模块、投影确定模块。
所述角度计算模块，用于计算摄像机中心点的俯仰角α、摄像机中心点的横滚角β和摄像机中心点相对于地面垂线的角度θ，其中：
α=α1+α2；
β=β1+β2；
θ=（α2+β2）0.5；
α1是无人机的俯仰角为，β1是无人机的横滚角；α2是摄像机的俯仰角，β2是摄像机的横滚角。
所述顶点坐标计算模块，用于根据无人机的飞行高度h、摄像机中心点的俯仰角α和横滚角β、摄像机中心点相对于地面垂线的角度θ、视场角度ω来计算无人机拍摄的视频图像四边形的各顶点坐标，顶点位置参见图2。
各顶点坐标的计算方式如下：
左顶点A的坐标为：
A（Xa，Ya）=A（h×tan（θ+ω/2）×sin（α-ω/2）, h×tan（θ+ω/2）×cos（α-ω/2））；
其中，Xa为横坐标，Ya为纵坐标；
右顶点A1的坐标为：
A1（Xa1，Ya1）=A1（h×tan（θ+ω/2）×sin（α+ω/2）, h×tan（θ+ω/2）×cos（α+ω/2））；
其中，Xa1为横坐标，Ya1为纵坐标；
左底点D的坐标为：
D（Xd，Yd）=D（h×tan（θ-ω/2）×sin（α-ω/2）, h×tan（θ-ω/2）×cos（α-ω/2））；
其中，Xd为横坐标，Yd为纵坐标；
右底点D1的坐标为：
D1（Xd1，Yd1）=D1（h×tan（θ+ω/2）×sin（α+ω/2）, h×tan（θ+ω/2）×cos（α+ω/2））；
其中，Xd1为横坐标，Yd1为纵坐标；
所述等分点坐标计算模块，用于将所述视频图像的四边形的各边按照视场角度三等分，计算各边的等分点的坐标，各等分点位置参见图2。
各边的等分点坐标的计算方式如下：对于视频图像的四边形的左边，其按照视场角度三等分后的两个等分点为B点和C点，B点和C点的坐标分别为：
B点坐标为：
B（Xb，Yb）=B（h×tan（θ+ω/6）×sin（α-ω/2）, h×tan（θ+ω/2）×cos（α-ω/2））；
其中，Xb为横坐标，Yb为纵坐标；
C点坐标为：
C（Xc，Yc）=C（h×tan（θ-ω/6）×sin（α-ω/2）, h×tan（θ+ω/2）×cos（α-ω/2））；
其中，Xc为横坐标，Yc为纵坐标；
对于视频图像的四边形的右边，其按照视场角度三等分后的两个等分点为B1点和C1点，B1点和C1的坐标分别为：
B1点坐标为：
B1（Xb1，Yb1）=B1（h×tan（θ+ω/6）×sin（α+ω/2）, h×tan（θ+ω/2）×cos（α+ω/2））；
其中，Xb1为横坐标，Yb1为纵坐标；
C1点坐标为：
C1（Xc1，Yc1）=C1（h×tan（θ-ω/6）×sin（α+ω/2）, h×tan（θ+ω/2）×cos（α+ω/2））；
其中，Xc1为横坐标，Yc1为纵坐标；
对于视频图像的四边形的顶边，其按照视场角度三等分后的两个等分点为R点和S点，R点和S点的坐标分别为：
R点坐标为：
R（Xr，Yr）=R（h×tan（θ+ω/2）×sin（α-ω/6）, h×tan（θ+ω/2）×cos（α-ω/6））；
其中，Xr为横坐标，Yr为纵坐标；
S点坐标为：
S（Xs，Ys）=S（h×tan（θ+ω/2）×sin（α+ω/6）, h×tan（θ+ω/2）×cos（α+ω/6））；
其中，Xs为横坐标，Ys为纵坐标；
对于视频图像的四边形的底边，其按照视场角度三等分后的两个等分点为R1点和S1点，R1点和S1点的坐标分别为：
R1点坐标为:
R1（Xr1，Yr1）=R1（h×tan（θ-ω/2）×sin（α-ω/6）, h×tan（θ-ω/2）×cos（α-ω/6））；
其中，Xr1为横坐标，Yr1为纵坐标；
S1点坐标为：
S1（Xs1，Ys1）=S1（h×tan（θ-ω/2）×sin（α+ω/6）, h×tan（θ-ω/2）×cos（α+ω/6））；
其中，Xs1为横坐标，Ys1为纵坐标。
所述投影确定模块，用于计算视频边界在地图上的投影。
通过每条边上已经获得的四个点的位置进行插值计算，获得各条边上的四个点中的相邻各点之间的中间点的坐标，每条边上的所述四个点包括每条边的端点（即步骤（2）中计算的各顶点）和按照视场角度三等分后获得的两个等分点（即步骤（3）中计算的各等分点）。
所述中间点的计算方式如下：
1）采用差值法计算左边上的点A与B、B与C、C与D的中间点即E、F、G点的坐标E（Xe，Ye）、F（Xf，Yf）、G（Xg，Yg），各中间点位置参见图2，其中：
Xe=（Xa+Xb）/2，Ye=（Ya+Yb）/2；
Xf=（Xb+Xc）/2，Yf=（Yb+Yc）/2；
Xg=（Xc+Xd）/2，Yg=（Yc+Yd）/2；
2）采用差值法计算右边上的点A1与B1、B1与C1、C1与D1的中间点即E1、F1、G1点的坐标E1（Xe1，Ye1）、F1（Xf1，Yf1）、G1（Xg1，Yg1），其中：
Xe1=（Xa1+Xb1）/2，Ye1=（Ya1+Yb1）/2；
Xf1=（Xb1+Xc1）/2，Yf1=（Yb1+Yc1）/2；
Xg1=（Xc1+Xd1）/2，Yg1=（Yc1+Yd1）/2；
3）采用差值法计算顶边上的点A与R、R与S、S与A1的中间点即H、J、K点的坐标H（Xh，Yh）、J（Xj，Yj）、K（Xk，Yk），其中：
Xh=（Xa+Xr）/2，Yh=（Ya+Yr）/2；
Xj=（Xr+Xs）/2，Yj=（Yr+Ys）/2；
Xk=（Xs+Xa1）/2，Yk=（Ys+Ya1）/2；
4）采用差值法计算底边上的点D与R1、R1与S1、S1与D1的中间点即H1、J1、K1点的坐标H1（Xh1，Yh1）、J1（Xj1，Yj1）、K1（Xk1，Yk1），其中：
Xh1=（Xd+Xr1）/2，Yh1=（Yd+Yr1）/2；
Xj1=（Xr1+Xs1）/2，Yj1=（Yr1+Ys1）/2；
Xk1=（Xs1+Xd1）/2，Yk1=（Ys1+Yd1）/2；
上述方式将视频区域划分为36个小四边形。
在无人机位置较高且在空旷地区或低矮目标区域边界上时， 在计算出每条边上的相邻各点之间的中间点的坐标后，在地图上连接每条边上计算出的各点，作为视频边界在地图上的投影。
在无人机飞行高度较低且有高大物体遮挡的情况下，如图2所示，无人机所视最远目标距离为M点，但视频中目标区域被N点树木遮挡，通过图像识别算法识别出无人机视频中的高大目标N点，其所视目标区域只能用N点取代，计算此高大目标N点在视频中的坐标N（Xn，Yn）。所述无人机飞行高度较低是飞行高度h低于50米。
判断N点位于视频区域的顶点区域还是边界区域：
如果N点位于视频区域的顶点区域，则将N点与所述顶点区域的顶点相邻的两个计算后的插值点相连接，如图3所述，连接HN、EN，并将其余的各中间点和顶点顺次相连接，得到视频边界在地图上的投影。
如果N点位于视频区域的边界区域，则将N点与所述边界区域中最近的两个点相连接，如图3所述，连接BN1、FN1，此处为了区分与顶点区域的N的区别，使用N1来表示，并将其余的各中间点和顶点顺次相连接，得到视频边界在地图上的投影。
对于无人机飞行高度较低且有矮小目标（如车、人、动物等小目标）遮挡的情况下，根据测控数据其应视范围可达Q点，则还用Q点作为其所视区域边界，忽略矮小目标的存在。
本领域普通技术人员可以理解上述方法中的全部或部分步骤可通过程序来指令相关硬件完成，所述程序可以存储于计算机可读存储介质中，如只读存储器、磁盘或光盘等，存储于可读存储介质中的程序可以被处理器执行来完成上述方法对应的功能。可选地，上述实施例的全部或部分步骤也可以使用一个或多个集成电路来实现。相应地，上述实施例中的各模块/单元可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。
综上所述，以上仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (13)

1.一种无人机视频图像与三维地图的匹配方法，其特征在于，包括如下步骤：
（1）计算摄像机中心点的俯仰角α、摄像机中心点的横滚角β和摄像机中心点相对于地面垂线的角度θ；
（2）根据无人机的飞行高度h、摄像机中心点的俯仰角α和横滚角β、摄像机中心点相对于地面垂线的角度θ、视场角度ω来计算无人机拍摄的视频图像四边形的各顶点坐标；
（3）将所述视频图像的四边形的各边按照视场角度三等分，计算各边的等分点的坐标；
（4）通过每条边上已经获得的四个点的位置进行插值计算，获得各条边上的四个点中的相邻各点之间的中间点的坐标；
在无人机位置较高且在空旷地区或低矮目标区域边界上的情况下，在地图上连接每条边上计算出的各中间点，得到视频边界在地图上的投影；
在无人机飞行高度较低且有高大物体遮挡的情况下，通过图像识别算法识别出无人机视频中的高大目标N点，判断N点位于视频区域的顶点区域还是边界区域：
如果N点位于视频区域的顶点区域，则将N点与所述顶点区域的顶点相邻的两个所述插值计算后的中间点相连接，并将其余的各中间点和顶点顺次相连接，得到视频边界在地图上的投影；
如果N点位于视频区域的边界区域，则将N点与所述边界区域中最近的两个点相连接，并将其余的各中间点和顶点顺次相连接，得到视频边界在地图上的投影。
2.根据权利要求1所述的一种无人机视频图像与三维地图的匹配方法，其特征在于，所述α、β和θ的计算方式为：
α=α1+α2；
β=β1+β2；
θ=（α2+β2）0.5；
α1是无人机的俯仰角为，β1是无人机的横滚角；α2是摄像机的俯仰角，β2是摄像机的横滚角。
3.根据权利要求2所述的一种无人机视频图像与三维地图的匹配方法，其特征在于，所述计算无人机拍摄的视频图像四边形的各顶点坐标具体为：
左顶点A的坐标为：
A（Xa，Ya）=A（h×tan（θ+ω/2）×sin（α-ω/2）, h×tan（θ+ω/2）×cosα（α-ω/2））；
其中，Xa为横坐标，Ya为纵坐标；
右顶点A1的坐标为：
A1（Xa1，Ya1）=A1（h×tan（θ+ω/2）×sin（α+ω/2）, h×tan（θ+ω/2）×cos（α+ω/2））；
其中，Xa1为横坐标，Ya1为纵坐标；
左底点D的坐标为：
D（Xd，Yd）=D（h×tan（θ-ω/2）×sin（α-ω/2）, h×tan（θ-ω/2）×cos（α-ω/2））；
其中，Xd为横坐标，Yd为纵坐标；
右底点D1的坐标为：
D1（Xd1，Yd1）=D1（h×tan（θ+ω/2）×sin（α+ω/2）, h×tan（θ+ω/2）×cos（α+ω/2））；
其中，Xd1为横坐标，Yd1为纵坐标。
4.根据权利要求3所述的一种无人机视频图像与三维地图的匹配方法，其特征在于，所述计算各边的等分点的坐标具体为：
对于视频图像的四边形的左边，其按照视场角度三等分后的两个等分点为B点和C点，B点和C点的坐标分别为：
B点坐标为：
B（Xb，Yb）=B（h×tan（θ+ω/6）×sin（α-ω/2）, h×tan（θ+ω/2）×cos（α-ω/2））；
其中，Xb为横坐标，Yb为纵坐标；
C点坐标为：
C（Xc，Yc）=C（h×tan（θ-ω/6）×sin（α-ω/2）, h×tan（θ+ω/2）×cos（α-ω/2））；
其中，Xc为横坐标，Yc为纵坐标；
对于视频图像的四边形的右边，其按照视场角度三等分后的两个等分点为B1点和C1点，B1点和C1的坐标分别为：
B1点坐标为：
B1（Xb1，Yb1）=B1（h×tan（θ+ω/6）×sin（α+ω/2）, h×tan（θ+ω/2）×cos（α+ω/2））；
其中，Xb1为横坐标，Yb1为纵坐标；
C1点坐标为：
C1（Xc1，Yc1）=C1（h×tan（θ-ω/6）×sin（α+ω/2）, h×tan（θ+ω/2）×cos（α+ω/2））；
其中，Xc1为横坐标，Yc1为纵坐标；
对于视频图像的四边形的顶边，其按照视场角度三等分后的两个等分点为R点和S点，R点和S点的坐标分别为：
R点坐标为：
R（Xr，Yr）=R（h×tan（θ+ω/2）×sin（α-ω/6）, h×tan（θ+ω/2）×cos（α-ω/6））；
其中，Xr为横坐标，Yr为纵坐标；
S点坐标为：
S（Xs，Ys）=S（h×tan（θ+ω/2）×sin（α+ω/6）, h×tan（θ+ω/2）×cos（α+ω/6））；
其中，Xs为横坐标，Ys为纵坐标；
对于视频图像的四边形的底边，其按照视场角度三等分后的两个等分点为R1点和S1点，R1点和S1点的坐标分别为：
R1点坐标为:
R1（Xr1，Yr1）=R1（h×tan（θ-ω/2）×sin（α-ω/6）, h×tan（θ-ω/2）×cos（α-ω/6））；
其中，Xr1为横坐标，Yr1为纵坐标；
S1点坐标为：
S1（Xs1，Ys1）=S1（h×tan（θ-ω/2）×sin（α+ω/6）, h×tan（θ-ω/2）×cos（α+ω/6））；
其中，Xs1为横坐标，Ys1为纵坐标。
5.根据权利要求4所述的一种无人机视频图像与三维地图的匹配方法，其特征在于，所述通过每条边上已经获得的四个点的位置进行插值计算，获得各条边上的四个点中的相邻各点之间的中间点的坐标具体为：
1）采用差值法计算左边上的点A与B、B与C、C与D的中间点即E、F、G点的坐标E（Xe，Ye）、F（Xf，Yf）、G（Xg，Yg），其中：
Xe=（Xa+Xb）/2，Ye=（Ya+Yb）/2；
Xf=（Xb+Xc）/2，Yf=（Yb+Yc）/2；
Xg=（Xc+Xd）/2，Yg=（Yc+Yd）/2；
2）采用差值法计算右边上的点A1与B1、B1与C1、C1与D1的中间点即E1、F1、G1点的坐标E1（Xe1，Ye1）、F1（Xf1，Yf1）、G1（Xg1，Yg1），其中：
Xe1=（Xa1+Xb1）/2，Ye1=（Ya1+Yb1）/2；
Xf1=（Xb1+Xc1）/2，Yf1=（Yb1+Yc1）/2；
Xg1=（Xc1+Xd1）/2，Yg1=（Yc1+Yd1）/2；
3）采用差值法计算顶边上的点A与R、R与S、S与A1的中间点即H、J、K点的坐标H（Xh，Yh）、J（Xj，Yj）、K（Xk，Yk），其中：
Xh=（Xa+Xr）/2，Yh=（Ya+Yr）/2；
Xj=（Xr+Xs）/2，Yj=（Yr+Ys）/2；
Xk=（Xs+Xa1）/2，Yk=（Ys+Ya1）/2；
4）采用差值法计算底边上的点D与R1、R1与S1、S1与D1的中间点即H1、J1、K1点的坐标H1（Xh1，Yh1）、J1（Xj1，Yj1）、K1（Xk1，Yk1），其中：
Xh1=（Xd+Xr1）/2，Yh1=（Yd+Yr1）/2；
Xj1=（Xr1+Xs1）/2，Yj1=（Yr1+Ys1）/2；
Xk1=（Xs1+Xd1）/2，Yk1=（Ys1+Yd1）/2。
6.根据权利要求1-5任一项所述的一种无人机视频图像与三维地图的匹配方法，其特征在于，所述飞行高度较低是无人机的飞行高度h低于50米。
7.一种无人机视频图像与三维地图的匹配装置，其特征在于，包括角度计算模块、顶点坐标计算模块、等分点坐标计算模块、投影确定模块；
所述角度计算模块，用于计算摄像机中心点的俯仰角α、摄像机中心点的横滚角β和摄像机中心点相对于地面垂线的角度θ；
所述顶点坐标计算模块，用于根据无人机的飞行高度h、摄像机中心点的俯仰角α和横滚角β、摄像机中心点相对于地面垂线的角度θ、视场角度ω来计算无人机拍摄的视频图像四边形的各顶点坐标；
所述等分点坐标计算模块，用于将所述视频图像的四边形的各边按照视场角度三等分，计算各边的等分点的坐标；
所述投影确定模块，用于通过每条边上已经获得的四个点的位置进行插值计算，获得各条边上的四个点中的相邻各点之间的中间点的坐标；
在无人机位置较高且在空旷地区或低矮目标区域边界上的情况下，在地图上连接每条边上计算出的各中间点，得到视频边界在地图上的投影；
在无人机飞行高度较低且有高大物体遮挡的情况下，通过图像识别算法识别出无人机视频中的高大目标N点，判断N点位于视频区域的顶点区域还是边界区域：
如果N点位于视频区域的顶点区域，则将N点与所述顶点区域的顶点相邻的两个所述插值计算后的中间点相连接，并将其余的各中间点和顶点顺次相连接，得到视频边界在地图上的投影；
如果N点位于视频区域的边界区域，则将N点与所述边界区域中最近的两个点相连接，并将其余的各中间点和顶点顺次相连接，得到视频边界在地图上的投影。
8.根据权利要求7所述的一种无人机视频图像与三维地图的匹配装置，其特征在于，所述α、β和θ的计算方式为：
α=α1+α2；
β=β1+β2；
θ=（α2+β2）0.5；
α1是无人机的俯仰角为，β1是无人机的横滚角；α2是摄像机的俯仰角，β2是摄像机的横滚角。
9.根据权利要求8所述的一种无人机视频图像与三维地图的匹配装置，其特征在于，所述计算无人机拍摄的视频图像四边形的各顶点坐标具体为：
左顶点A的坐标为：
A（Xa，Ya）=A（h×tan（θ+ω/2）×sin（α-ω/2）, h×tan（θ+ω/2）×cos（α-ω/2））；
其中，Xa为横坐标，Ya为纵坐标；
右顶点A1的坐标为：
A1（Xa1，Ya1）=A1（h×tan（θ+ω/2）×sin（α+ω/2）, h×tan（θ+ω/2）×cos（α+ω/2））；
其中，Xa1为横坐标，Ya1为纵坐标；
左底点D的坐标为：
D（Xd，Yd）=D（h×tan（θ-ω/2）×sin（α-ω/2）, h×tan（θ-ω/2）×cos（α-ω/2））；
其中，Xd为横坐标，Yd为纵坐标；
右底点D1的坐标为：
D1（Xd1，Yd1）=D1（h×tan（θ+ω/2）×sin（α+ω/2）, h×tan（θ+ω/2）×cos（α+ω/2））；
其中，Xd1为横坐标，Yd1为纵坐标。
10.根据权利要求9所述的一种无人机视频图像与三维地图的匹配装置，其特征在于，所述计算各边的等分点的坐标具体为：
对于视频图像的四边形的左边，其按照视场角度三等分后的两个等分点为B点和C点，B点和C点的坐标分别为：
B点坐标为：
B（Xb，Yb）=B（h×tan（θ+ω/6）×sin（α-ω/2）, h×tan（θ+ω/2）×cos（α-ω/2））；
其中，Xb为横坐标，Yb为纵坐标；
C点坐标为：
C（Xc，Yc）=C（h×tan（θ-ω/6）×sin（α-ω/2）, h×tan（θ+ω/2）×cos（α-ω/2））；
其中，Xc为横坐标，Yc为纵坐标；
对于视频图像的四边形的右边，其按照视场角度三等分后的两个等分点为B1点和C1点，B1点和C1的坐标分别为：
B1点坐标为：
B1（Xb1，Yb1）=B1（h×tan（θ+ω/6）×sin（α+ω/2）, h×tan（θ+ω/2）×cos（α+ω/2））；
其中，Xb1为横坐标，Yb1为纵坐标；
C1点坐标为：
C1（Xc1，Yc1）=C1（h×tan（θ-ω/6）×sin（α+ω/2）, h×tan（θ+ω/2）×cos（α+ω/2））；
其中，Xc1为横坐标，Yc1为纵坐标；
对于视频图像的四边形的顶边，其按照视场角度三等分后的两个等分点为R点和S点，R点和S点的坐标分别为：
R点坐标为：
R（Xr，Yr）=R（h×tan（θ+ω/2）×sin（α-ω/6）, h×tan（θ+ω/2）×cos（α-ω/6））；
其中，Xr为横坐标，Yr为纵坐标；
S点坐标为：
S（Xs，Ys）=S（h×tan（θ+ω/2）×sin（α+ω/6）, h×tan（θ+ω/2）×cos（α+ω/6））；
其中，Xs为横坐标，Ys为纵坐标；
对于视频图像的四边形的底边，其按照视场角度三等分后的两个等分点为R1点和S1点，R1点和S1点的坐标分别为：
R1点坐标为:
R1（Xr1，Yr1）=R1（h×tan（θ-ω/2）×sin（α-ω/6）, h×tan（θ-ω/2）×cos（α-ω/6））；
其中，Xr1为横坐标，Yr1为纵坐标；
S1点坐标为：
S1（Xs1，Ys1）=S1（h×tan（θ-ω/2）×sin（α+ω/6）, h×tan（θ-ω/2）×cos（α+ω/6））；
其中，Xs1为横坐标，Ys1为纵坐标。
11.根据权利要求10所述的一种无人机视频图像与三维地图的匹配装置，其特征在于，所述通过每条边上已经获得的四个点的位置进行插值计算，获得各条边上的四个点中的相邻各点之间的中间点的坐标具体为：
1）采用差值法计算左边上的点A与B、B与C、C与D的中间点即E、F、G点的坐标E（Xe，Ye）、F（Xf，Yf）、G（Xg，Yg），其中：
Xe=（Xa+Xb）/2，Ye=（Ya+Yb）/2；
Xf=（Xb+Xc）/2，Yf=（Yb+Yc）/2；
Xg=（Xc+Xd）/2，Yg=（Yc+Yd）/2；
2）采用差值法计算右边上的点A1与B1、B1与C1、C1与D1的中间点即E1、F1、G1点的坐标E1（Xe1，Ye1）、F1（Xf1，Yf1）、G1（Xg1，Yg1），其中：
Xe1=（Xa1+Xb1）/2，Ye1=（Ya1+Yb1）/2；
Xf1=（Xb1+Xc1）/2，Yf1=（Yb1+Yc1）/2；
Xg1=（Xc1+Xd1）/2，Yg1=（Yc1+Yd1）/2；
3）采用差值法计算顶边上的点A与R、R与S、S与A1的中间点即H、J、K点的坐标H（Xh，Yh）、J（Xj，Yj）、K（Xk，Yk），其中：
Xh=（Xa+Xr）/2，Yh=（Ya+Yr）/2；
Xj=（Xr+Xs）/2，Yj=（Yr+Ys）/2；
Xk=（Xs+Xa1）/2，Yk=（Ys+Ya1）/2；
4）采用差值法计算底边上的点D与R1、R1与S1、S1与D1的中间点即H1、J1、K1点的坐标H1（Xh1，Yh1）、J1（Xj1，Yj1）、K1（Xk1，Yk1），其中：
Xh1=（Xd+Xr1）/2，Yh1=（Yd+Yr1）/2；
Xj1=（Xr1+Xs1）/2，Yj1=（Yr1+Ys1）/2；
Xk1=（Xs1+Xd1）/2，Yk1=（Ys1+Yd1）/2。
12.根据权利要求7-11任一项所述的一种无人机视频图像与三维地图的匹配装置，其特征在于，所述飞行高度较低是无人机的飞行高度h低于50米。
13.一种无人机视频图像与三维地图的匹配装置，其特征在于，所述装置包括：处理器和用于存储可执行指令的存储器；其中，所述可执行指令被执行时所述处理器执行权利要求1-6任一项所述的方法。
CN201811342054.0A 2018-11-12 2018-11-12 一种无人机视频图像与三维地图的匹配方法和装置 Expired - Fee Related CN109523579B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811342054.0A CN109523579B (zh) 2018-11-12 2018-11-12 一种无人机视频图像与三维地图的匹配方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811342054.0A CN109523579B (zh) 2018-11-12 2018-11-12 一种无人机视频图像与三维地图的匹配方法和装置

Publications (2)

Publication Number Publication Date
CN109523579A true CN109523579A (zh) 2019-03-26
CN109523579B CN109523579B (zh) 2021-03-05

Family

ID=65774039

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811342054.0A Expired - Fee Related CN109523579B (zh) 2018-11-12 2018-11-12 一种无人机视频图像与三维地图的匹配方法和装置

Country Status (1)

Country Link
CN (1) CN109523579B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110516018A (zh) * 2019-08-05 2019-11-29 山东开创云软件有限公司 一种河道的电子绘制方法和装置
CN111768339A (zh) * 2020-06-29 2020-10-13 广西翼界科技有限公司 一种无人机航拍图像快速拼接方法
CN113254697A (zh) * 2021-07-14 2021-08-13 四川泓宝润业工程技术有限公司 一种对管道路由所在区域的图像信息进行自动标记的方法
WO2023147376A1 (en) * 2022-01-25 2023-08-03 Cubic Corporation Geo-spatial context for full-motion video
CN117237438A (zh) * 2023-09-18 2023-12-15 共享数据(福建)科技有限公司 一种三维模型和无人机视频数据的范围匹配方法与终端

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103954283A (zh) * 2014-04-01 2014-07-30 西北工业大学 基于景象匹配/视觉里程的惯性组合导航方法
CN104006708A (zh) * 2014-05-30 2014-08-27 河南科技大学 一种基于景象匹配的地面目标间接定位方法
KR20150101009A (ko) * 2014-02-24 2015-09-03 주식회사 한화 무인 항공기 영상과 지도 영상에 대한 영상 정합 장치 및 방법
CN107202982A (zh) * 2017-05-22 2017-09-26 徐泽宇 一种基于无人机位姿计算的信标布置及图像处理方法
US10515458B1 (en) * 2017-09-06 2019-12-24 The United States Of America, As Represented By The Secretary Of The Navy Image-matching navigation method and apparatus for aerial vehicles

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150101009A (ko) * 2014-02-24 2015-09-03 주식회사 한화 무인 항공기 영상과 지도 영상에 대한 영상 정합 장치 및 방법
CN103954283A (zh) * 2014-04-01 2014-07-30 西北工业大学 基于景象匹配/视觉里程的惯性组合导航方法
CN104006708A (zh) * 2014-05-30 2014-08-27 河南科技大学 一种基于景象匹配的地面目标间接定位方法
CN107202982A (zh) * 2017-05-22 2017-09-26 徐泽宇 一种基于无人机位姿计算的信标布置及图像处理方法
US10515458B1 (en) * 2017-09-06 2019-12-24 The United States Of America, As Represented By The Secretary Of The Navy Image-matching navigation method and apparatus for aerial vehicles

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
KUO-LUNG,HUANG ET.AL: "《Monocular Vision System for Fixed Altitude Flight of UAV》", 《SENSORS》 *
王崇倡，张秀岩，纪亮: "《基于倾斜摄影测量技术三维纹理遮挡处理》", 《测绘与空间地理信息》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110516018A (zh) * 2019-08-05 2019-11-29 山东开创云软件有限公司 一种河道的电子绘制方法和装置
CN110516018B (zh) * 2019-08-05 2022-03-15 山东开创云计算有限公司 一种河道的电子绘制方法和装置
CN111768339A (zh) * 2020-06-29 2020-10-13 广西翼界科技有限公司 一种无人机航拍图像快速拼接方法
CN113254697A (zh) * 2021-07-14 2021-08-13 四川泓宝润业工程技术有限公司 一种对管道路由所在区域的图像信息进行自动标记的方法
WO2023147376A1 (en) * 2022-01-25 2023-08-03 Cubic Corporation Geo-spatial context for full-motion video
CN117237438A (zh) * 2023-09-18 2023-12-15 共享数据(福建)科技有限公司 一种三维模型和无人机视频数据的范围匹配方法与终端

Also Published As

Publication number Publication date
CN109523579B (zh) 2021-03-05

Similar Documents

Publication Publication Date Title
CN109523579A (zh) 一种无人机视频图像与三维地图的匹配方法和装置
Cvišić et al. SOFT‐SLAM: Computationally efficient stereo visual simultaneous localization and mapping for autonomous unmanned aerial vehicles
EP3407294B1 (en) Information processing method, device, and terminal
CN110155053B (zh) 提供用于驾驶车辆的信息的方法和设备
Mousavian et al. 3d bounding box estimation using deep learning and geometry
CN109211241B (zh) 基于视觉slam的无人机自主定位方法
CN111210463B (zh) 基于特征点辅助匹配的虚拟宽视角视觉里程计方法及系统
CN105667518B (zh) 车道检测的方法及装置
CN109887033A (zh) 定位方法及装置
CN108776976B (zh) 一种同时定位与建图的方法、系统及存储介质
Yu et al. A UAV-based crack inspection system for concrete bridge monitoring
US10402978B1 (en) Method for detecting pseudo-3D bounding box based on CNN capable of converting modes according to poses of objects using instance segmentation and device using the same
EP2887315B1 (en) Camera calibration device, method for implementing calibration, program and camera for movable body
WO2020133172A1 (zh) 图像处理方法、设备及计算机可读存储介质
CN111060946A (zh) 用于估计位置的方法和装置
Petit et al. A robust model-based tracker combining geometrical and color edge information
CN107749957A (zh) 无人机航拍画面显示系统和方法
CN109871024A (zh) 一种基于轻量级视觉里程计的无人机位姿估计方法
CN110992405A (zh) 用于输出姿态信息的方法和装置
CN107209930A (zh) 环视图像稳定方法和装置
JP2020119519A (ja) 物体の条件に応じてモードを切り換えることができるｃｎｎ基盤で軍事目的、スマートフォン又は仮想走行に使用される疑似３ｄバウンディングボックスを検出する方法及びこれを利用した装置
WO2021190167A1 (zh) 一种位姿确定方法、装置、介质和设备
Splietker et al. Directional TSDF: Modeling surface orientation for coherent meshes
CN116067367A (zh) 加速同时定位与地图构建的装置和包括该装置的电子设备
Troiani et al. 1-point-based monocular motion estimation for computationally-limited micro aerial vehicles

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20210305

CF01 Termination of patent right due to non-payment of annual fee