CN104457704A - 基于增强地理信息的无人机地面目标定位系统及方法 - Google Patents
基于增强地理信息的无人机地面目标定位系统及方法 Download PDFInfo
- Publication number
- CN104457704A CN104457704A CN201410736694.5A CN201410736694A CN104457704A CN 104457704 A CN104457704 A CN 104457704A CN 201410736694 A CN201410736694 A CN 201410736694A CN 104457704 A CN104457704 A CN 104457704A
- Authority
- CN
- China
- Prior art keywords
- dimensional
- module
- information
- point
- acquisition module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Instructional Devices (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明提供一种基于增强地理信息的无人机地面目标定位系统及方法,系统包括无人机机上系统、数据传输模块和地面站控制系统;所述无人机机上系统通过所述数据传输模块与所述地面站控制系统交互信息;其中,所述无人机机上系统包括实景采集模块、GPS定位模块和姿态采集模块;地面站控制系统包括:电子地图数据库、投影模块、定位模块和遍历模块。优点为:不需要采用复杂的图像处理算法,只需要将实景图像与三维地图进行匹配后,通过简单的拟合方法,即可获得目标点的定位数值,因此,可以大范围对地面场景目标进行精确定位,并且,由于所采用的定位算法简单,因此,定位速度非常快,可满足对目标实时跟踪的需求。
Description
技术领域
本发明属于空间定位技术领域,具体涉及一种基于增强地理信息的无人机地面目标定位系统及方法。
背景技术
利用无人机搭载的视频系统进行目标的远程跟踪与监测是无人机应用领域的一项重要内容。目前,主要方法为:地面控制站接收无人机系统回传的视频影像;然后,采用特定的图像处理算法对视频中的目标进行提取与识别。然而,由于视频影像背景复杂,因此,一方面,现有的图像处理算法复杂,降低了目标定位速度;另一方面,现有的目标定位精度有限,在灾害应急救援或许多军事活动中,现有的目标定位精度已无法满足需求。
发明内容
针对现有技术存在的缺陷,本发明提供一种基于增强地理信息的无人机地面目标定位系统及方法,具有定位速度快以及定位精度高的优点。
本发明采用的技术方案如下:
本发明提供一种基于增强地理信息的无人机地面目标定位系统,包括:无人机机上系统、数据传输模块和地面站控制系统;所述无人机机上系统通过所述数据传输模块与所述地面站控制系统交互信息;
其中,所述无人机机上系统包括实景采集模块、GPS定位模块和姿态采集模块;
所述实景采集模块用于采集锁定目标区域的实景图像;
所述姿态采集模块用于采集所述实景采集模块在采集所述实景图像时的姿态信息;
所述GPS定位模块用于采集所述实景采集模块在采集所述实景图像时的三维地理坐标数据;
所述数据传输模块用于将所述实景图像、所述实景采集模块的姿态信息以及所述实景采集模块的三维地理坐标数据传输到所述地面站控制系统;
所述地面站控制系统包括:
电子地图数据库,用于存储所述无人机的作业飞行区域的三维电子地图;其中,所述电子地图数据库包括两种:
第一电子地图数据库,用于存储三维地形地理信息;
第二电子地图数据库,用于存储三维地物信息,所述三维地物信息包括地物三维地理坐标信息;所述三维地理坐标信息包括高度信息以及二维地理坐标信息;
投影模块,用于根据所述数据传输模块传输的所述实景采集模块的姿态信息以及所述实景采集模块的三维地理坐标数据,将位于屏幕显示窗口外部的所述三维电子地图向通过屏幕显示的所述实景图像进行投影操作,得到显示在屏幕的二维电子地图投影,从而建立所述实景图像、所述二维电子地图投影以及所述三维电子地图之间的映射关系;接收模块,通过屏幕显示所述实景图像,当所述实景图像上的某一目标点P1被鼠标点击时,即为接收到对目标点P1进行定位的请求消息;
定位模块,用于当接收到对实景图像上目标点P1进行定位的请求消息时,调用所述投影模块,获得所述三维电子地图中与所述目标点P1对应的目标点,将该对应的目标点记为目标点P2;
如果当前使用的所述三维电子地图来源于所述第一电子地图数据库,即,所述三维电子地图为存储三维地形地理信息的电子地图,则:通过所述三维电子地图,直接获得所述目标点P2的三维地理坐标数据;
如果当前使用的所述三维电子地图来源于所述第二电子地图数据库,即,所述三维电子地图为存储三维地物信息的电子地图,则进一步判断所述目标点P2是否位于所述三维电子地图中的某一个三维地物覆盖区域,如果位于,则其在所述三维地物上对应点的三维地理坐标数据即为所述目标点P2的三维地理坐标数据,并结束流程;如果不位于,则执行遍历模块;
所述遍历模块用于:以目标点P1为中心,通过八邻域的方式由内向外按设定的步长值逆时针探测,并执行以下步骤:
S1,令i=1;
S2,当探测到探测点Ci时,调用所述投影模块,获得所述三维电子地图中与探测点Ci对应的参考点Di;
S3,判断所述参考点Di是否位于所述三维电子地图中的某一个三维地物覆盖区域,如果不位于,则直接舍弃所述参考点Di,令i=i+1,然后返回执行S 2;如果位于,则执行S4;
S4,获得所述参考点Di所属的三维地物的三维地物ID,然后,判断所述三维地物ID是否位于存储列表中;其中,初始时,所述存储列表为空;如果不位于,则将探测点Ci、参考点Di与三维地物ID的对应关系存储到所述存储列表,然后,令i=i+1,返回执行S 2;如果位于,则舍弃所述参考点Di,令i=i+1,然后返回执行S 2;
重复上述步骤,当所述存储列表中存储的参考点数量达到预设值时,退出循环,执行S5;
S5,设共获得有效的探测点C的数量为N个,分别记为bi(i=1,2,…,N),其对应的参考点D分别记为Di(i=1,2,…,N);
bi为直接在屏幕上选取的点,获得bi的屏幕坐标;
Di为电子地图中属于某一三维地物信息的点,获得Di的三维地理坐标数据;
根据bi和Di,拟合求值,得到所述目标点P2的三维地理坐标数据。
优选的,所述实景采集模块固定在三轴增稳云台。
优选的,所述数据传输模块包括无人机遥测数据传输链路和无线图传模块;所述实景采集模块通过所述无线图传模块与所述地面站控制系统双向通信;所述GPS定位模块和所述姿态采集模块通过所述无人机遥测数据传输链路与所述地面站控制系统双向通信。
本发明还提供一种基于增强地理信息的无人机地面目标定位方法,包括以下步骤:
S1,利用地理信息系统技术,在无人机地面站控制系统中建立地理信息数据库,该地理信息数据库存储有无人机作业飞行区域的地理信息;
S2,通过地面站控制系统跟踪无人机的飞行区域及航迹,并控制实景采集模块的实景采集方向与范围,使实景采集模块实时获取地面目标区域的实景图 像,并通过数据传输模块发送到地面站控制系统中;
此外,无人机在向地面站控制系统发送实景图像时,同时发送实景采集模块采集实景图像时的三维地理坐标数据,以及,实景采集模块采集实景图像时的姿态信息;
S3,地面站控制系统实时接收实景图像、所述实景采集模块的姿态信息以及所述实景采集模块的三维地理坐标数据,并发送到定位软件;
S4,定位软件利用实时三维地理坐标数据与姿态信息,在地理信息数据库中提取目标区域的地理信息,并将地理信息实时叠加到对应的实景图像上,得到现实增强后的实景图像效果;
S5,用户通过鼠标点击在实景图像上选择的目标点或兴趣点,则:定位软件执行对该目标点或兴趣点进行定位的过程,具体定位原理为:
定位软件扫描目标点或兴趣点周围的缓冲区,搜索已经叠加地理信息的缓冲区域,对搜索到已经叠加地理信息的缓冲区域进行插值计算,得到目标点或兴趣点精确的三维地理坐标。
本发明的有益效果如下:
本发明提供的基于增强地理信息的无人机地面目标定位系统及方法,不需要采用复杂的图像处理算法,只需要将实景图像与三维地图进行匹配后,通过简单的拟合方法,即可获得目标点的定位数值,因此,可以大范围对地面场景目标进行精确定位,并且,由于所采用的定位算法简单,因此,定位速度非常快,可满足对目标实时跟踪的需求。
附图说明
图1为本发明提供的基于增强地理信息的无人机地面目标定位系统的结构示意图;
图2为本发明提供的实景图像与三维地图匹配过程示意图;
图3为本发明提供的搜索定位示意图。
具体实施方式
以下结合附图对本发明进行详细说明:
如图1所示,本发明提供一种基于增强地理信息的无人机地面目标定位系 统,包括:无人机机上系统、数据传输模块和地面站控制系统;所述无人机机上系统通过所述数据传输模块与所述地面站控制系统交互信息;
其中,所述无人机机上系统包括实景采集模块、GPS定位模块和姿态采集模块;
所述实景采集模块搭载在无人机的云台上,其中,云台可采用三轴增稳云台,具有自身姿态测量与三轴定向控制功能。通过实景采集模块,采集锁定目标区域的实景图像,如图2所示,符号A为实景图像的一个示例;此处,需要强调的是,实景采集模块可采集目标区域的视频或影像,但无论是视频还是影像,均以图像为最基本的单元,因此,此处将实景采集模块采集到的视频或影像概括为实景图像。
所述姿态采集模块用于采集所述实景采集模块在采集所述实景图像时的姿态信息;
所述GPS定位模块用于采集所述实景采集模块在采集所述实景图像时的三维地理坐标数据;
所述数据传输模块用于将所述实景图像、所述实景采集模块的姿态信息以及所述实景采集模块的三维地理坐标数据传输到所述地面站控制系统;其中,可采用两种传输链路,即:数据传输模块包括无人机遥测数据传输链路和无线图传模块;所述实景采集模块通过所述无线图传模块与所述地面站控制系统双向通信;所述GPS定位模块和所述姿态采集模块通过所述无人机遥测数据传输链路与所述地面站控制系统双向通信。由于实景采集模块采集到的图像较大,因此,本发明中,设置专门用于传输实景图像的无线图传模块,从而保证实景图像快速传输到地面站控制系统。
所述地面站控制系统通过向无人机平台发送指令,控制实景采集模块对用户感兴趣的场景区域进行监控,并实时监控无人机航迹和姿态,得到无人机地理位置以及实景采集模块对实景图像的拍摄姿态参数;然后,地面站控制系统采用增强现实技术,向实景图像叠加地理信息,必要时引入人工交互操作,提高地理信息与实景图像的叠加精度,再利用目标在实景图像上的屏幕坐标,结合叠加的地理信息推算出目标的精确地理位置,从而实现利用空间信息进行地 面移动或静止目标的高精准定位,推算地面目标相对无人机的方位与距离。
具体的,地面站控制系统安装有定位处理软件,定位处理软件具体包括:
电子地图数据库,用于存储所述无人机的作业飞行区域的三维电子地图;其中,所述电子地图数据库包括两种:
第一电子地图数据库,用于存储三维地形地理信息,也就是说,第一电子地图数据库所存储的三维电子地图上,三维电子地图中任何一个位置点均可迅速查找到其对应的实际三维地理坐标。
第二电子地图数据库,用于存储三维地物信息,所述三维地物信息包括地物高度信息以及地物二维地理坐标信息,也就是说,第二电子地图数据库所存储的三维电子地图,使用不同图形表示地物,如图2,B为三维电子地图的简化示意图的一个示例,在图2的B中,每一个图形即对应一个地物,在图形所覆盖区域的任意一个像素点均可直接计算得到实际三维地理坐标;而对于三维电子地图中未被图形所覆盖区域,可称为空白区域,空白区域中的像素点无法对应到实际三维地理坐标。因此,本发明中,当需要对目标进行定位时,根据电子地图数据库所存储的三维电子地图类型的不同,需要采用不同的定位流程,在后续步骤中,针对这两个定位流程进行详细介绍,在此不再赘述。
投影模块,用于根据所述数据传输模块传输的所述实景采集模块的姿态信息以及所述实景采集模块的三维地理坐标数据,将位于屏幕显示窗口外部的所述三维电子地图向通过屏幕显示的所述实景图像进行投影操作,得到显示在屏幕的二维电子地图投影,从而建立所述实景图像、所述二维电子地图投影以及所述三维电子地图之间的映射关系;参考图2,A为显示在二维屏幕上的实景图像,B为三维电子地图,C为实景图像和二维电子地图投影在二维屏幕上的匹配示意图,在图2中,实景图像以屏幕矩形框的纹理贴图方式呈现,而二维电子地图投影是经过透视投影变化后显示在屏幕上,由于透视投影采用的参数和相机拍摄影像时的参数一致,因此,二维电子地图投影与实景图像能够匹配。
接收模块,通过屏幕显示所述实景图像,当所述实景图像上的某一目标点P1被鼠标点击时,即为接收到对目标点P1进行定位的请求消息;在图2中,三角形即为目标点P1。
当在屏幕上显示实景图像后,鼠标可点击屏幕区域的实景图像中的任意一点,本发明提供的定位软件对鼠标的点击动作进行实时监听,一旦监听到某一点被点击时,即为接收到对该进行定位的请求消息。
定位模块,用于当接收到对实景图像上目标点P1进行定位的请求消息时,调用所述投影模块,获得所述三维电子地图中与所述目标点P1对应的目标点,将该对应的目标点记为目标点P2;
如果当前使用的所述三维电子地图来源于所述第一电子地图数据库,即,所述三维电子地图为存储三维地形地理信息的电子地图,则:通过所述三维电子地图,直接获得所述目标点P2的三维地理坐标数据;
如果当前使用的所述三维电子地图来源于所述第二电子地图数据库,即,所述三维电子地图为存储三维地物信息的电子地图,则进一步判断所述目标点P2是否位于所述三维电子地图中的某一个三维地物覆盖区域,如果位于,则其在所述三维地物上对应点的三维地理坐标数据即为所述目标点P2的三维地理坐标数据,并结束流程;如果不位于,则执行遍历模块;
所述遍历模块用于:以目标点P1为中心,通过八邻域的方式由内向外按设定的步长值逆时针探测,其中,步长值根据定位精度以及屏幕上显示的每个三维地物覆盖区域的大小情况综合而定,如图3所示,为需要定位的P1点不位于三维地物覆盖区域的情况,在图3中,将整个屏幕进行格网化处理,每个小方格为正方形,其边长即为步长,长度为L。
对于P1点,在图3中,从其左侧的方格区域C1为搜索起点,沿逆时针方向进行搜索,即,按C2、C3、C4…的顺序搜索,当搜索到C8时,即为完成搜索1个闭合正方形,然后,当本周搜索中最后位置的方格区域的左侧方格区域作为新一轮的搜索起点,即C9为新的搜索起点,如此循环,不断进行搜索。
S1,令i=1;
S2,当探测到探测点Ci时,调用所述投影模块,获得所述三维电子地图中与探测点Ci对应的参考点Di;
S3,判断所述参考点Di是否位于所述三维电子地图中的某一个三维地物覆盖区域,如果不位于,则直接舍弃所述参考点Di,令i=i+1,然后返回执行S 2; 如果位于,则执行S4;
例如,对于C1,通过投影模块获得与C1对应的参考点D1,而D1不位于三维地物覆盖区域,因此,舍弃D1;再搜索到C2,执行同样操作,可见,C2对应的参考点D2也不位于三维地物覆盖区域。在图3中,当搜索到C17时,其所对应的参考点D17属于三维地物W1覆盖区域,因此,对于D17,执行后续步骤。
S4,获得所述参考点Di所属的三维地物的三维地物ID,然后,判断所述三维地物ID是否位于存储列表中;其中,初始时,所述存储列表为空;如果不位于,则将探测点Ci、参考点Di与三维地物ID的对应关系存储到所述存储列表,然后,令i=i+1,返回执行S 2;如果位于,则舍弃所述参考点Di,令i=i+1,然后返回执行S 2;
例如,当搜索到C17时,对应的参考点D17属于三维地物W1覆盖区域,此时,将D17与W1存储到存储列表;然后,进行下一步探测,即:探测C18,并得到其参考点D18,此时,由图可知,D18仍然属于三维地物W1覆盖区域,因此,通过查找存储列表可知,三维地物W1已在存储列表中出现,因此,舍弃D18。在图3中,首先探测到的存储到存储列表的为C17,此处,为简化说明,用符号b表示最终存储到存储列表的有效的参考点,按探测顺序,分别为:b1、b2、b3、b4、b5、b6、b7、b8…;其中,b1即为C17。也就是说,本发明中,在进行遍历时,按照对各个探测点的探测顺序,对于同一三维地物覆盖区域,只选取一个参考点,并且,选取最先属于该三维地物覆盖区域的参考点,该种设计策略的优点为:可有效减少计算量,同时,避免参考点过于集中,有效提高后续插值拟合对目标点定位的速度,且提高定位精度。
重复上述步骤,当所述存储列表中存储的参考点数量达到预设值时,退出循环,执行S5;
S5,设共获得有效的探测点C的数量为N个,分别记为bi(i=1,2,…,N),其对应的参考点D分别记为Di(i=1,2,…,N);
bi为直接在屏幕上选取的点,获得bi的屏幕坐标;
Di为电子地图中属于某一三维地物信息的点,获得Di的三维地理坐标数据;
根据bi和Di,拟合求值,得到所述目标点P2的三维地理坐标数据。
本发明还提供一种基于增强地理信息的无人机地面目标定位方法,包括以下步骤:
S1,利用地理信息系统技术,在无人机地面站控制系统中建立地理信息数据库系统,该地理信息数据库系统存储有无人机作业飞行区域的地理信息;
S2,通过地面站控制系统跟踪无人机的飞行区域及航迹,并控制实景采集模块的实景采集方向与范围,使实景采集模块实时获取地面目标区域的实景图像,并通过数据传输模块发送到地面站控制系统中;
具体的,地面用户实时查看地面站控制系统中的实景视频,并通过人机交互方式,通过地面站控制系统控制无人机及云台的方向与姿态,即:控制实景采集模块的位置以姿态,达到对用户感兴趣的目标区域或某个目标物的监控;
此外,无人机在向地面站控制系统发送实景图像时,同时发送实景采集模块采集所述实景图像时的三维地理坐标数据,以及,实景采集模块采集所述实景图像时的姿态信息;
S3,地面站控制系统实时接收实景图像、所述实景采集模块的姿态信息以及所述实景采集模块的三维地理坐标数据,并发送到定位软件;
S4,定位软件利用实时三维地理坐标数据与姿态信息,在地理信息数据库中提取目标区域的地理信息,并将地理信息实时叠加到对应的实景图像上,得到现实增强后的实景图像效果;
其中,可以通过人工交互操作的方式,提高目标地理信息与实景图像中对应目标的匹配精度;
S5,用户通过鼠标点击在实景图像上选择的目标点或兴趣点,则:定位软件执行对该目标点或兴趣点进行定位的过程,具体定位原理为:
定位软件扫描目标点或兴趣点周围的缓冲区,搜索已经叠加地理信息的缓冲区域,对搜索到已经叠加地理信息的缓冲区域进行插值计算,得到目标点或兴趣点精确的三维地理坐标。
由此可见,本发明提供的基于增强地理信息的无人机地面目标定位系统及方法,不需要采用复杂的图像处理算法,只需要将实景图像与三维地图进行匹 配后,通过简单的拟合方法,即可获得目标点的定位数值,因此,可以大范围对地面场景目标进行精确定位,并且,由于所采用的定位算法简单,因此,定位速度非常快,可满足对目标实时跟踪的需求,可以用于森林防火直接定位火源信息;应用于公安执法与应急处突,直接定位场景目标的地理位置;应用于电力巡线,直接定位故障点,有利于快速抢修;应用于抢险救灾,灾后第一时间获取受灾区域监控信息,通过叠加地理信息还可以直接对比建筑物损毁和区域受灾情况,有利于第一时间部署抢险救灾工作等。
以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视本发明的保护范围。
Claims (4)
1.一种基于增强地理信息的无人机地面目标定位系统,其特征在于,包括:无人机机上系统、数据传输模块和地面站控制系统;所述无人机机上系统通过所述数据传输模块与所述地面站控制系统交互信息;
其中,所述无人机机上系统包括实景采集模块、GPS定位模块和姿态采集模块;
所述实景采集模块用于采集锁定目标区域的实景图像;
所述姿态采集模块用于采集所述实景采集模块在采集所述实景图像时的姿态信息;
所述GPS定位模块用于采集所述实景采集模块在采集所述实景图像时的三维地理坐标数据;
所述数据传输模块用于将所述实景图像、所述实景采集模块的姿态信息以及所述实景采集模块的三维地理坐标数据传输到所述地面站控制系统;
所述地面站控制系统包括:
电子地图数据库,用于存储所述无人机的作业飞行区域的三维电子地图;其中,所述电子地图数据库包括两种:
第一电子地图数据库,用于存储三维地形地理信息;
第二电子地图数据库,用于存储三维地物信息,所述三维地物信息包括地物三维地理坐标信息;所述三维地理坐标信息包括高度信息以及二维地理坐标信息;
投影模块,用于根据所述数据传输模块传输的所述实景采集模块的姿态信息以及所述实景采集模块的三维地理坐标数据,将位于屏幕显示窗口外部的所述三维电子地图向通过屏幕显示的所述实景图像进行投影操作,得到显示在屏幕的二维电子地图投影,从而建立所述实景图像、所述二维电子地图投影以及所述三维电子地图之间的映射关系;接收模块,通过屏幕显示所述实景图像,当所述实景图像上的某一目标点P1被鼠标点击时,即为接收到对目标点P1进行定位的请求消息;
定位模块,用于当接收到对实景图像上目标点P1进行定位的请求消息时,调用所述投影模块,获得所述三维电子地图中与所述目标点P1对应的目标点, 将该对应的目标点记为目标点P2;
如果当前使用的所述三维电子地图来源于所述第一电子地图数据库,即,所述三维电子地图为存储三维地形地理信息的电子地图,则:通过所述三维电子地图,直接获得所述目标点P2的三维地理坐标数据;
如果当前使用的所述三维电子地图来源于所述第二电子地图数据库,即,所述三维电子地图为存储三维地物信息的电子地图,则进一步判断所述目标点P2是否位于所述三维电子地图中的某一个三维地物覆盖区域,如果位于,则其在所述三维地物上对应点的三维地理坐标数据即为所述目标点P2的三维地理坐标数据,并结束流程;如果不位于,则执行遍历模块;
所述遍历模块用于:以目标点P1为中心,通过八邻域的方式由内向外按设定的步长值逆时针探测,并执行以下步骤:
S1,令i=1;
S2,当探测到探测点Ci时,调用所述投影模块,获得所述三维电子地图中与探测点Ci对应的参考点Di;
S3,判断所述参考点Di是否位于所述三维电子地图中的某一个三维地物覆盖区域,如果不位于,则直接舍弃所述参考点Di,令i=i+1,然后返回执行S2;如果位于,则执行S4;
S4,获得所述参考点Di所属的三维地物的三维地物ID,然后,判断所述三维地物ID是否位于存储列表中;其中,初始时,所述存储列表为空;如果不位于,则将探测点Ci、参考点Di与三维地物ID的对应关系存储到所述存储列表,然后,令i=i+1,返回执行S2;如果位于,则舍弃所述参考点Di,令i=i+1,然后返回执行S2;
重复上述步骤,当所述存储列表中存储的参考点数量达到预设值时,退出循环,执行S5;
S5,设共获得有效的探测点C的数量为N个,分别记为bi(i=1,2,…,N),其对应的参考点D分别记为Di(i=1,2,…,N);
bi为直接在屏幕上选取的点,获得bi的屏幕坐标;
Di为电子地图中属于某一三维地物信息的点,获得Di的三维地理坐标数据;
根据bi和Di,拟合求值,得到所述目标点P2的三维地理坐标数据。
2.根据权利要求1所述的基于增强地理信息的无人机地面目标定位系统,其特征在于,所述实景采集模块固定在三轴增稳云台。
3.根据权利要求1所述的基于增强地理信息的无人机地面目标定位系统,其特征在于,所述数据传输模块包括无人机遥测数据传输链路和无线图传模块;所述实景采集模块通过所述无线图传模块与所述地面站控制系统双向通信;所述GPS定位模块和所述姿态采集模块通过所述无人机遥测数据传输链路与所述地面站控制系统双向通信。
4.一种基于增强地理信息的无人机地面目标定位方法,其特征在于,包括以下步骤:
S1,利用地理信息系统技术,在无人机地面站控制系统中建立地理信息数据库,该地理信息数据库存储有无人机作业飞行区域的地理信息;
S2,通过地面站控制系统跟踪无人机的飞行区域及航迹,并控制实景采集模块的实景采集方向与范围,使实景采集模块实时获取地面目标区域的实景图像,并通过数据传输模块发送到地面站控制系统中;
此外,无人机在向地面站控制系统发送实景图像时,同时发送实景采集模块采集实景图像时的三维地理坐标数据,以及,实景采集模块采集实景图像时的姿态信息;
S3,地面站控制系统实时接收实景图像、所述实景采集模块的姿态信息以及所述实景采集模块的三维地理坐标数据,并发送到定位软件;
S4,定位软件利用实时三维地理坐标数据与姿态信息,在地理信息数据库中提取目标区域的地理信息,并将地理信息实时叠加到对应的实景图像上,得到现实增强后的实景图像效果;
S5,用户通过鼠标点击在实景图像上选择的目标点或兴趣点,则:定位软件执行对该目标点或兴趣点进行定位的过程,具体定位原理为:
定位软件扫描目标点或兴趣点周围的缓冲区,搜索已经叠加地理信息的缓冲区域,对搜索到已经叠加地理信息的缓冲区域进行插值计算,得到目标点或兴趣点精确的三维地理坐标。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410736694.5A CN104457704B (zh) | 2014-12-05 | 2014-12-05 | 基于增强地理信息的无人机地面目标定位系统及方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410736694.5A CN104457704B (zh) | 2014-12-05 | 2014-12-05 | 基于增强地理信息的无人机地面目标定位系统及方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN104457704A true CN104457704A (zh) | 2015-03-25 |
CN104457704B CN104457704B (zh) | 2016-05-25 |
Family
ID=52904140
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201410736694.5A Expired - Fee Related CN104457704B (zh) | 2014-12-05 | 2014-12-05 | 基于增强地理信息的无人机地面目标定位系统及方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN104457704B (zh) |
Cited By (44)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105094143A (zh) * | 2015-08-27 | 2015-11-25 | 泉州装备制造研究所 | 基于无人机的地图显示方法和装置 |
CN105203084A (zh) * | 2015-07-02 | 2015-12-30 | 汤一平 | 一种无人机3d全景视觉装置 |
CN105260389A (zh) * | 2015-09-14 | 2016-01-20 | 北京航空航天大学 | 一种无人机侦察图像数据管理及可视化显示方法 |
CN105373132A (zh) * | 2015-11-26 | 2016-03-02 | 北京浩恒征途航空科技有限公司 | 一种基于自动巡航无人机的低空遥感系统及遥感方法 |
CN105551043A (zh) * | 2015-12-17 | 2016-05-04 | 北京猎鹰无人机科技有限公司 | 无人机影像数据实时处理方法 |
CN105549614A (zh) * | 2015-12-17 | 2016-05-04 | 北京猎鹰无人机科技有限公司 | 无人机目标跟踪方法 |
CN105592305A (zh) * | 2015-12-23 | 2016-05-18 | 重庆邮电大学 | 基于多旋翼无人机的三维视频应急通信系统 |
CN105676870A (zh) * | 2016-01-18 | 2016-06-15 | 国家基础地理信息中心 | 一种基于无人机的像控点信息采集方法及系统 |
CN105698762A (zh) * | 2016-01-15 | 2016-06-22 | 中国人民解放军国防科学技术大学 | 一种单机航迹上基于不同时刻观测点的目标快速定位方法 |
CN105847750A (zh) * | 2016-04-13 | 2016-08-10 | 中测新图(北京)遥感技术有限责任公司 | 基于地理编码的无人机视频影像实时显示的方法及装置 |
CN106056574A (zh) * | 2016-05-04 | 2016-10-26 | 上海航天控制技术研究所 | 一种基于面积法的对地姿态解算方法 |
CN106197377A (zh) * | 2016-06-30 | 2016-12-07 | 西安电子科技大学 | 一种无人机对地目标监视及二维三维联动的显示系统 |
CN106339691A (zh) * | 2016-09-07 | 2017-01-18 | 四川天辰智创科技有限公司 | 对物体进行标注的方法及装置 |
CN106777307A (zh) * | 2016-12-30 | 2017-05-31 | 易瓦特科技股份公司 | 目标对象的数据信息获取方法及系统 |
CN106777305A (zh) * | 2016-12-30 | 2017-05-31 | 易瓦特科技股份公司 | 基于无人机构建目标对象标准数据库的方法及设备 |
CN106815335A (zh) * | 2016-12-30 | 2017-06-09 | 易瓦特科技股份公司 | 标准数据库的构建方法及系统 |
CN106845369A (zh) * | 2016-12-30 | 2017-06-13 | 易瓦特科技股份公司 | 应用于无人机获取数据信息的方法及系统 |
CN106844547A (zh) * | 2016-12-30 | 2017-06-13 | 易瓦特科技股份公司 | 获取目标对象标识信息的方法及装置 |
CN106844543A (zh) * | 2016-12-30 | 2017-06-13 | 易瓦特科技股份公司 | 应用于无人机进行标识信息获取的方法及系统 |
CN106844542A (zh) * | 2016-12-30 | 2017-06-13 | 易瓦特科技股份公司 | 基于无人机获取目标对象标识信息的方法及装置 |
CN106874369A (zh) * | 2016-12-30 | 2017-06-20 | 易瓦特科技股份公司 | 基于无人机的标准数据库构建方法及系统 |
CN106874372A (zh) * | 2016-12-30 | 2017-06-20 | 易瓦特科技股份公司 | 基于无人机获取目标对象标识信息的方法及装置 |
CN106931944A (zh) * | 2017-03-21 | 2017-07-07 | 苏州光之翼智能科技有限公司 | 一种无人机实时三维地理测绘系统 |
CN107025262A (zh) * | 2016-12-30 | 2017-08-08 | 易瓦特科技股份公司 | 应用于无人机获取目标对象标准标识信息的方法及装置 |
CN107607939A (zh) * | 2017-09-11 | 2018-01-19 | 江苏如是地球空间信息科技有限公司 | 一种基于真实地图及影像的光学目标跟踪定位雷达装置 |
WO2018098731A1 (zh) * | 2016-11-30 | 2018-06-07 | 深圳益强信息科技有限公司 | 一种基于飞行器的航空侦查目标确定方法及装置 |
CN108168522A (zh) * | 2017-12-11 | 2018-06-15 | 宁波亿拍客网络科技有限公司 | 一种无人机观测目标再搜寻方法及相关方法 |
CN108200415A (zh) * | 2018-03-16 | 2018-06-22 | 广州成至智能机器科技有限公司 | 基于增强现实技术的无人机图像画面处理系统及其方法 |
CN108256411A (zh) * | 2016-12-28 | 2018-07-06 | 沃尔沃汽车公司 | 由摄像机图像车辆定位的方法和系统 |
CN108415454A (zh) * | 2018-02-02 | 2018-08-17 | 福建特力惠信息科技股份有限公司 | 一种无人机实时交互判读的方法及终端 |
CN108475442A (zh) * | 2017-06-29 | 2018-08-31 | 深圳市大疆创新科技有限公司 | 用于无人机航拍的增强现实方法、处理器及无人机 |
CN108537204A (zh) * | 2018-04-20 | 2018-09-14 | 广州林邦信息科技有限公司 | 人类活动监测方法、装置及服务器 |
CN108804675A (zh) * | 2018-06-11 | 2018-11-13 | 成都山河空间信息技术有限公司 | 基于多源空间数据的无人机移动空间信息管理系统和方法 |
CN108846084A (zh) * | 2018-06-11 | 2018-11-20 | 成都山河空间信息技术有限公司 | 一种实景地图的生成系统和方法 |
CN109073762A (zh) * | 2017-09-28 | 2018-12-21 | 深圳市大疆创新科技有限公司 | 定位故障光伏板的方法、设备及无人机 |
CN109387195A (zh) * | 2018-10-19 | 2019-02-26 | 邓生毛 | 一种无卫星支持的定位系统 |
CN109601509A (zh) * | 2018-12-10 | 2019-04-12 | 北京云无忧大数据科技有限公司 | 获取地块信息的方法、装置、存储介质及电子设备 |
CN109656260A (zh) * | 2018-12-03 | 2019-04-19 | 北京采立播科技有限公司 | 一种无人机地理信息数据采集系统 |
CN110299030A (zh) * | 2019-06-28 | 2019-10-01 | 汉王科技股份有限公司 | 手持终端、飞行器及其空域测量方法、控制方法 |
CN110989840A (zh) * | 2019-12-03 | 2020-04-10 | 成都纵横自动化技术股份有限公司 | 数据处理方法、前端设备、后端设备及地理信息系统 |
CN111586360A (zh) * | 2020-05-14 | 2020-08-25 | 佳都新太科技股份有限公司 | 一种无人机投影方法、装置、设备及存储介质 |
CN113762252A (zh) * | 2017-08-18 | 2021-12-07 | 深圳市道通智能航空技术股份有限公司 | 无人机智能跟随目标确定方法、无人机和遥控器 |
CN116614829A (zh) * | 2023-07-18 | 2023-08-18 | 众芯汉创(北京)科技有限公司 | 一种基于5g的无人机巡检通信协同系统及方法 |
WO2024000733A1 (zh) * | 2022-06-30 | 2024-01-04 | 亮风台(上海)信息科技有限公司 | 一种呈现目标对象的标记信息的方法与设备 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101624094A (zh) * | 2009-08-16 | 2010-01-13 | 宋培荣 | 一种减重量、微重量、零重量、负重量材料及其制作方法 |
CN101714300A (zh) * | 2009-07-10 | 2010-05-26 | 贵州盖克无人机有限责任公司 | 一种无人机飞行防撞方法及装置 |
US7773204B1 (en) * | 2006-07-20 | 2010-08-10 | United States Of America As Represented By The Secretary Of The Navy | Apparatus and method for spatial encoding of a search space |
JP2012244837A (ja) * | 2011-05-23 | 2012-12-10 | Mitsubishi Electric Corp | 発電装置、発電システム及び発電方法 |
-
2014
- 2014-12-05 CN CN201410736694.5A patent/CN104457704B/zh not_active Expired - Fee Related
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7773204B1 (en) * | 2006-07-20 | 2010-08-10 | United States Of America As Represented By The Secretary Of The Navy | Apparatus and method for spatial encoding of a search space |
CN101714300A (zh) * | 2009-07-10 | 2010-05-26 | 贵州盖克无人机有限责任公司 | 一种无人机飞行防撞方法及装置 |
CN101624094A (zh) * | 2009-08-16 | 2010-01-13 | 宋培荣 | 一种减重量、微重量、零重量、负重量材料及其制作方法 |
JP2012244837A (ja) * | 2011-05-23 | 2012-12-10 | Mitsubishi Electric Corp | 発電装置、発電システム及び発電方法 |
Cited By (57)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105203084A (zh) * | 2015-07-02 | 2015-12-30 | 汤一平 | 一种无人机3d全景视觉装置 |
CN105094143A (zh) * | 2015-08-27 | 2015-11-25 | 泉州装备制造研究所 | 基于无人机的地图显示方法和装置 |
CN105260389B (zh) * | 2015-09-14 | 2018-07-17 | 北京航空航天大学 | 一种无人机侦察图像数据管理及可视化显示方法 |
CN105260389A (zh) * | 2015-09-14 | 2016-01-20 | 北京航空航天大学 | 一种无人机侦察图像数据管理及可视化显示方法 |
CN105373132A (zh) * | 2015-11-26 | 2016-03-02 | 北京浩恒征途航空科技有限公司 | 一种基于自动巡航无人机的低空遥感系统及遥感方法 |
CN105551043A (zh) * | 2015-12-17 | 2016-05-04 | 北京猎鹰无人机科技有限公司 | 无人机影像数据实时处理方法 |
CN105549614A (zh) * | 2015-12-17 | 2016-05-04 | 北京猎鹰无人机科技有限公司 | 无人机目标跟踪方法 |
CN105549614B (zh) * | 2015-12-17 | 2018-06-05 | 北京猎鹰无人机科技有限公司 | 无人机目标跟踪方法 |
CN105551043B (zh) * | 2015-12-17 | 2018-07-13 | 北京猎鹰无人机科技有限公司 | 无人机影像数据实时处理方法 |
CN105592305A (zh) * | 2015-12-23 | 2016-05-18 | 重庆邮电大学 | 基于多旋翼无人机的三维视频应急通信系统 |
CN105698762A (zh) * | 2016-01-15 | 2016-06-22 | 中国人民解放军国防科学技术大学 | 一种单机航迹上基于不同时刻观测点的目标快速定位方法 |
CN105698762B (zh) * | 2016-01-15 | 2018-02-23 | 中国人民解放军国防科学技术大学 | 一种单机航迹上基于不同时刻观测点的目标快速定位方法 |
CN105676870A (zh) * | 2016-01-18 | 2016-06-15 | 国家基础地理信息中心 | 一种基于无人机的像控点信息采集方法及系统 |
CN105676870B (zh) * | 2016-01-18 | 2018-08-21 | 国家基础地理信息中心 | 一种基于无人机的像控点信息采集方法及系统 |
CN105847750B (zh) * | 2016-04-13 | 2019-01-15 | 中测新图(北京)遥感技术有限责任公司 | 基于地理编码的无人机视频影像实时显示的方法及装置 |
CN105847750A (zh) * | 2016-04-13 | 2016-08-10 | 中测新图(北京)遥感技术有限责任公司 | 基于地理编码的无人机视频影像实时显示的方法及装置 |
CN106056574B (zh) * | 2016-05-04 | 2018-10-02 | 上海航天控制技术研究所 | 一种基于面积法的对地姿态解算方法 |
CN106056574A (zh) * | 2016-05-04 | 2016-10-26 | 上海航天控制技术研究所 | 一种基于面积法的对地姿态解算方法 |
CN106197377A (zh) * | 2016-06-30 | 2016-12-07 | 西安电子科技大学 | 一种无人机对地目标监视及二维三维联动的显示系统 |
CN106339691A (zh) * | 2016-09-07 | 2017-01-18 | 四川天辰智创科技有限公司 | 对物体进行标注的方法及装置 |
WO2018098731A1 (zh) * | 2016-11-30 | 2018-06-07 | 深圳益强信息科技有限公司 | 一种基于飞行器的航空侦查目标确定方法及装置 |
CN108256411A (zh) * | 2016-12-28 | 2018-07-06 | 沃尔沃汽车公司 | 由摄像机图像车辆定位的方法和系统 |
CN106845369A (zh) * | 2016-12-30 | 2017-06-13 | 易瓦特科技股份公司 | 应用于无人机获取数据信息的方法及系统 |
CN106874372A (zh) * | 2016-12-30 | 2017-06-20 | 易瓦特科技股份公司 | 基于无人机获取目标对象标识信息的方法及装置 |
CN107025262A (zh) * | 2016-12-30 | 2017-08-08 | 易瓦特科技股份公司 | 应用于无人机获取目标对象标准标识信息的方法及装置 |
CN106844542A (zh) * | 2016-12-30 | 2017-06-13 | 易瓦特科技股份公司 | 基于无人机获取目标对象标识信息的方法及装置 |
CN106874369A (zh) * | 2016-12-30 | 2017-06-20 | 易瓦特科技股份公司 | 基于无人机的标准数据库构建方法及系统 |
CN106777307A (zh) * | 2016-12-30 | 2017-05-31 | 易瓦特科技股份公司 | 目标对象的数据信息获取方法及系统 |
CN106844543A (zh) * | 2016-12-30 | 2017-06-13 | 易瓦特科技股份公司 | 应用于无人机进行标识信息获取的方法及系统 |
CN106777305A (zh) * | 2016-12-30 | 2017-05-31 | 易瓦特科技股份公司 | 基于无人机构建目标对象标准数据库的方法及设备 |
CN106815335A (zh) * | 2016-12-30 | 2017-06-09 | 易瓦特科技股份公司 | 标准数据库的构建方法及系统 |
CN106844547A (zh) * | 2016-12-30 | 2017-06-13 | 易瓦特科技股份公司 | 获取目标对象标识信息的方法及装置 |
CN106931944A (zh) * | 2017-03-21 | 2017-07-07 | 苏州光之翼智能科技有限公司 | 一种无人机实时三维地理测绘系统 |
CN108475442A (zh) * | 2017-06-29 | 2018-08-31 | 深圳市大疆创新科技有限公司 | 用于无人机航拍的增强现实方法、处理器及无人机 |
CN113762252A (zh) * | 2017-08-18 | 2021-12-07 | 深圳市道通智能航空技术股份有限公司 | 无人机智能跟随目标确定方法、无人机和遥控器 |
CN113762252B (zh) * | 2017-08-18 | 2023-10-24 | 深圳市道通智能航空技术股份有限公司 | 无人机智能跟随目标确定方法、无人机和遥控器 |
CN107607939B (zh) * | 2017-09-11 | 2019-12-13 | 江苏如是地球空间信息科技有限公司 | 一种基于真实地图及影像的光学目标跟踪定位雷达装置 |
CN107607939A (zh) * | 2017-09-11 | 2018-01-19 | 江苏如是地球空间信息科技有限公司 | 一种基于真实地图及影像的光学目标跟踪定位雷达装置 |
US11334077B2 (en) | 2017-09-28 | 2022-05-17 | SZ DJI Technology Co., Ltd. | Method and device for locating faulty photovoltaic panel, and unmanned aerial vehicle |
CN109073762A (zh) * | 2017-09-28 | 2018-12-21 | 深圳市大疆创新科技有限公司 | 定位故障光伏板的方法、设备及无人机 |
CN108168522A (zh) * | 2017-12-11 | 2018-06-15 | 宁波亿拍客网络科技有限公司 | 一种无人机观测目标再搜寻方法及相关方法 |
CN108415454A (zh) * | 2018-02-02 | 2018-08-17 | 福建特力惠信息科技股份有限公司 | 一种无人机实时交互判读的方法及终端 |
CN108415454B (zh) * | 2018-02-02 | 2021-04-27 | 特力惠信息科技股份有限公司 | 一种无人机实时交互判读的方法及终端 |
CN108200415A (zh) * | 2018-03-16 | 2018-06-22 | 广州成至智能机器科技有限公司 | 基于增强现实技术的无人机图像画面处理系统及其方法 |
CN108537204A (zh) * | 2018-04-20 | 2018-09-14 | 广州林邦信息科技有限公司 | 人类活动监测方法、装置及服务器 |
CN108846084A (zh) * | 2018-06-11 | 2018-11-20 | 成都山河空间信息技术有限公司 | 一种实景地图的生成系统和方法 |
CN108804675A (zh) * | 2018-06-11 | 2018-11-13 | 成都山河空间信息技术有限公司 | 基于多源空间数据的无人机移动空间信息管理系统和方法 |
CN109387195A (zh) * | 2018-10-19 | 2019-02-26 | 邓生毛 | 一种无卫星支持的定位系统 |
CN109656260A (zh) * | 2018-12-03 | 2019-04-19 | 北京采立播科技有限公司 | 一种无人机地理信息数据采集系统 |
CN109601509A (zh) * | 2018-12-10 | 2019-04-12 | 北京云无忧大数据科技有限公司 | 获取地块信息的方法、装置、存储介质及电子设备 |
CN110299030A (zh) * | 2019-06-28 | 2019-10-01 | 汉王科技股份有限公司 | 手持终端、飞行器及其空域测量方法、控制方法 |
CN110989840A (zh) * | 2019-12-03 | 2020-04-10 | 成都纵横自动化技术股份有限公司 | 数据处理方法、前端设备、后端设备及地理信息系统 |
CN111586360B (zh) * | 2020-05-14 | 2021-09-10 | 佳都科技集团股份有限公司 | 一种无人机投影方法、装置、设备及存储介质 |
CN111586360A (zh) * | 2020-05-14 | 2020-08-25 | 佳都新太科技股份有限公司 | 一种无人机投影方法、装置、设备及存储介质 |
WO2024000733A1 (zh) * | 2022-06-30 | 2024-01-04 | 亮风台(上海)信息科技有限公司 | 一种呈现目标对象的标记信息的方法与设备 |
CN116614829A (zh) * | 2023-07-18 | 2023-08-18 | 众芯汉创(北京)科技有限公司 | 一种基于5g的无人机巡检通信协同系统及方法 |
CN116614829B (zh) * | 2023-07-18 | 2023-09-15 | 众芯汉创(北京)科技有限公司 | 一种基于5g的无人机巡检通信协同系统及方法 |
Also Published As
Publication number | Publication date |
---|---|
CN104457704B (zh) | 2016-05-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104457704A (zh) | 基于增强地理信息的无人机地面目标定位系统及方法 | |
US7528938B2 (en) | Geospatial image change detecting system and associated methods | |
CN104067145B (zh) | 剪枝机器人系统 | |
US7603208B2 (en) | Geospatial image change detecting system with environmental enhancement and associated methods | |
CN109579843A (zh) | 一种空地多视角下的多机器人协同定位及融合建图方法 | |
CN107808407A (zh) | 基于双目相机的无人机视觉slam方法、无人机及存储介质 | |
CA2573291C (en) | Environmental condition detecting system using geospatial images and associated methods | |
US20070162193A1 (en) | Accuracy enhancing system for geospatial collection value of an image sensor aboard an airborne platform and associated methods | |
CN103226838A (zh) | 地理场景中移动监控目标的实时空间定位方法 | |
CN101335431A (zh) | 基于机载激光雷达数据的架空送电线路优化选线方法 | |
Barazzetti et al. | True-orthophoto generation from UAV images: Implementation of a combined photogrammetric and computer vision approach | |
CN105928493A (zh) | 基于无人机的双目视觉三维测绘系统和方法 | |
CN104932001A (zh) | 一种实时3d核辐射环境重建监测系统 | |
CN107462217B (zh) | 一种面向电力巡检任务的无人机双目视觉障碍物感知方法 | |
Hrabar | An evaluation of stereo and laser‐based range sensing for rotorcraft unmanned aerial vehicle obstacle avoidance | |
CN112305559A (zh) | 基于地面定点激光雷达扫描的输电线距离测量方法、装置、系统和电子设备 | |
CN110889873A (zh) | 一种目标定位方法、装置、电子设备及存储介质 | |
Jin et al. | An Indoor Location‐Based Positioning System Using Stereo Vision with the Drone Camera | |
Zhang et al. | Forest fire detection solution based on UAV aerial data | |
CN114459467B (zh) | 一种未知救援环境中基于vi-slam的目标定位方法 | |
EP4261789A1 (en) | Method for displaying posture of robot in three-dimensional map, apparatus, device, and storage medium | |
CN117557931A (zh) | 一种基于三维场景的表计最优巡检点的规划方法 | |
CN116957360A (zh) | 一种基于无人机的空间观测与重建方法及系统 | |
CN111868656B (zh) | 一种作业控制系统、作业控制方法、装置、设备及介质 | |
Adolf et al. | Meshing and simplification of high resolution urban surface data for UAV path planning |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20160525 Termination date: 20191205 |