CN105549060B - 基于机载光电吊舱位置和姿态的目标定位系统 - Google Patents
基于机载光电吊舱位置和姿态的目标定位系统 Download PDFInfo
- Publication number
- CN105549060B CN105549060B CN201510938847.9A CN201510938847A CN105549060B CN 105549060 B CN105549060 B CN 105549060B CN 201510938847 A CN201510938847 A CN 201510938847A CN 105549060 B CN105549060 B CN 105549060B
- Authority
- CN
- China
- Prior art keywords
- mtd
- mtr
- msub
- mrow
- mtable
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
- G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
- G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
- G01S19/53—Determining attitude
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
- G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
- G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
- G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
- G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
- G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
- G01S19/42—Determining position
- G01S19/421—Determining position by combining or switching between position solutions or signals derived from different satellite radio beacon positioning systems; by combining or switching between position solutions or signals derived from different modes of operation in a single system
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
- G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
- G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
- G01S19/42—Determining position
- G01S19/45—Determining position by combining measurements of signals from the satellite radio beacon positioning system with a supplementary measurement
- G01S19/47—Determining position by combining measurements of signals from the satellite radio beacon positioning system with a supplementary measurement the supplementary measurement being an inertial measurement, e.g. tightly coupled inertial
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Automation & Control Theory (AREA)
- Multimedia (AREA)
- Position Fixing By Use Of Radio Waves (AREA)
Abstract
本发明公开了一种基于机载光电吊舱位置和姿态的目标定位系统，该系统设置在机载光电吊舱内部；该测量系统具有：获得所在机载光电吊舱俯仰角θ和横滚角γ信息的动态倾角获取模块；获得所在机载光电吊舱经度Bc、纬度Lc、高度Hc和偏航角φ信息的定位模块；处理模块根据机载光电吊舱的经纬高以及地面参考点的经度Bm、纬度Lm和高度Hm，最终转化成东北天坐标系(Xwk,Ywk,Zwk)；处理模块根据机载光电吊舱获取的目标图像，获取图像中目标的像素坐标(u,v)；结合吊舱的相机的焦距f、吊舱与相机轴中心成像在海面上的距离Yc以及地面参考点的大地直角坐标系(Xck,Yck,Zck)生成的平移矩阵T1，将目标的像素坐标最终得到目标的实际经纬度和高程，完成目标的测量。
Description
技术领域
本发明涉及一种基于机载光电吊舱位置和姿态信息的目标定位系统。主要涉及专利号：G01测量；测试G01S无线电定向；无线电导航；采用无线电波测距或测速；采用无线电波的反射或再辐射的定位或存在检测；采用其他波的类似装置G01S19/00卫星无线电信标定位系统；利用这种系统传输的信号确定位置、速度或姿态G01S19/38利用卫星无线电信标定位系统传输的信号来确定导航方案G01S19/39传输带有时间戳信息的卫星无线电信标定位系统，例如GPS[全球定位系统],GLONASS[全球导航卫星系统]或GALILEO G01S19/42确定位置。
背景技术
随着船舶、飞机和人员在海上活动的数量、密度不断加大，通航环境日益复杂，加上全球气候异常，发生海上突发事件的概率及复杂性随之增加，使海上救助系统应急抢险救灾能力面临严峻考验。快速发现海上遇险目标、准确进行目标定位是缩短搜救时间，实施高效救助，降低遇险目标危险的首要条件。对于未知地点的海面遇险目标，国内外普遍采用搜救直升机搭载近红外/中红外/远红外或可见光成像设备组成光电吊舱系统在事故海域进行大范围快速扫描的方法进行海面遇险目标远距离搜寻。遇险目标在红外或可见光图像中往往呈现为点状或斑点状的小目标，且目标强度很低，图像信噪比相对也低，目标基本上会被背景和噪声淹没，再加上由于飞机的振动，目标的图像清晰度不高，尤其当恶劣海况下，图像模糊情况更为严重，难以对目标进行准确定位，而目标准确定位又是进行快速搜救的关键，因此，对于海面遇险目标的识别和准确定位一直是海上应急救助的研究热点。
在实际应用中，为了进行海面目标定位，需通过飞机上导航设备的专用接口获取飞机载体的位置姿态信息(也即通常所说的导航信息)，然后采用软件将飞机载体的导航信息经坐标转换为光电吊舱的位置姿态信息，再结合目标的红外或可见光图像进行目标定位。经研究发现，影响目标定位精度的误差因素主要包括：光电吊舱系统的指向误差；光电吊舱系统与飞机载体导航系统之间的安装对准误差；飞机载体导航系统自身的测量误差。其中，飞机载体导航系统自身测量误差为影响定位精度的主要因素。
现有的采用飞机载体导航信息进行目标定位的方法存在以下几个主要问题：
导航信息来源于飞机载体，由于导航系统是专用设备，无论是接口的选配还是数据格式的获取都较为困难。
由于真正与目标定位直接相关的是光电吊舱的位置姿态信息，而引入定位计算的却是飞机载体的导航信息，虽然光电吊舱是安装于飞机载体上，但两者的位置姿态信息并非同步，对位置姿态信息的实时性难以保证。另外，飞机载体的位置姿态信息的获取本身也无法做到实时，根据非实时的位置姿态信息无法计算得到准确的目标定位信息。
飞机载体与光电吊舱是通过减振器相连接，减振器有效地隔离了对光电吊舱目标成像有害的大部分振动，但由于减振器为刚性或金属塑料材质，其自身特性难以获取，因此也需考虑减振器的运动特性，飞机载体的导航信息实际并不能直接等效为光电吊舱的位置姿态。
正是由于存在上述三个问题，通过结合海面目标红外或可见光图像与飞机载体导航信息进行定位的方法难以达到高精度。
发明内容
本发明针对以上问题的提出，而研制的一种基于机载光电吊舱位置和姿态的目标定位系统，该系统设置在机载光电吊舱内部；
该测量系统具有：
获得所在机载光电吊舱俯仰角θ和横滚角γ信息的动态倾角获取模块；
获得所在机载光电吊舱经度Bc、纬度Lc、高度Hc和偏航角φ信息的定位模块；
处理模块根据机载光电吊舱的经纬高以及地面参考点的经度Bm、纬度Lm和高度Hm，经由大地直角坐标系(Xck,Yck,Zck)，最终转化成东北天坐标系(Xwk,Ywk,Zwk)；
处理模块根据机载光电吊舱获取的目标图像，获取图像中目标的像素坐标(u,v)；结合吊舱的相机的焦距f、吊舱与相机轴中心成像在海面上的距离Yc以及地面参考点的大地直角坐标系(Xck,Yck,Zck)生成的平移矩阵T1，将目标的像素坐标经由吊舱坐标系、东北天坐标系和大地直角坐标系，最终得到目标的实际经纬度和高程，完成目标的测量。
作为优选的实施方式，所述的测量仪还包括：获取测量仪自身位置和姿态的陀螺仪和加速度计。
作为优选的实施方式，所述的定位模块与双定位天线连接；所述的定位模块与双定位天线连接；工作时，定位模块接收处于不同位置的定位天线分别传输的定位信息，综合计算得出定位模块所处的位置信息；双定位天线接收基于GPS、格洛纳斯GLONASS、伽利略GALILEO或北斗卫星定位系统的卫星定位信息。
作为优选的实施方式，所述处理模块通过下式：
分别将机载光电吊舱的精度Bc、纬度Lc、高度Hc和地面参考点的经度Bm、纬度Lm和高度Hm转换成机载光电吊舱大地坐标(Xck,Yck,Zck)和地面参考点坐标(Xmk,Ymk,Zmk)；
其中，a＝6378137(米)，e2＝0.0066943799013；
B为地面参考点的纬度，L为地面参考点的经度。
作为优选的实施方式，所述处理模块通过如下公式将机载光电吊舱转换成东北天坐标系下的坐标(Xwk,Ywk,Zwk)：
其中R1为旋转矩阵，T1为平移矩阵
其中，B为地面参考点的纬度，L为地面参考点的经度。
作为优选的实施方式，所述的处理模块将目标在图像中的像素坐标(u,v)结合吊舱的姿态信息，得到目标在东北天坐标下的坐标的过程如下：
根据公式：
将像素坐标素坐标(u,v)转换成图像物理坐标(x,y)；
根据小孔成像和共线方程，结合相机焦距f、吊舱与相机光轴中心成像在海面上的距离YC，得到目标在吊舱坐标系下的坐标(XC，YC，ZC)；
根据光电吊舱的俯仰角θ，偏航角横滚角γ，将目标在光电吊舱坐标系下的坐标(XC，YC，ZC)转为目标在东北天坐标系下的坐标(Xw,Yw,Zw)；
其中，R′代表旋转矩阵，T′代表平移矩阵，(Xwk,Ywk,Zwk)是光电吊舱在东北天坐标系下的坐标。
作为优选的实施方式，所述的处理模块在计算得到东北天坐标系下的坐标(Xw,Yw,Zw)后，通过坐标计算得出目标在大地直角坐标系中的坐标(Xk,Yk,Zk)，过程如下：
其中，R2代表旋转矩阵，L、B分别代表地面参考点的经度和纬度，T2代表平移矩阵,(Xmk,Ymk,Zmk)为地面参考点在大地直角坐标系下坐标；
最后根据如下公式即可得到目标的经纬高(LO,BO,HO)；
其中，为椭球的曲率半径，a＝6378137(米)，e2＝0.0066943799013。
通过采用上述技术方案，本发明公开的一种基于机载光电吊舱位置和姿态的目标定位系统，具有如下的优点及效果：
1采用直接测量光电吊舱本体位置姿态信息进行海面目标定位的方法，从根本上解决了用飞机载体导航信息等效光电吊舱位置姿态信息所引入的定位误差，有效提高定位精度。
2姿态位置测量装置的测量仪直接紧固在光电吊舱内的稳定平台内壳体上，双定位天线安装在光电吊舱与飞机之间安装架的外缘，因此能直接测量得到光电吊舱的全部位置姿态信息，由于所有测量设备均与光电吊舱同步运动，所以隔离了各种飞机载体振动以及减震器对光电吊舱位置姿态测量的影响。
3姿态位置测量装置仅需一根数据线即可与机舱内的外设进行连接，无需经过飞机上的数据接口，获取数据方法简单。
4采用惯性导航技术作为全球定位技术的补充，能够确保全球定位系统受到天气等因素干扰时仍可获得测量装置的准确位置信息。
附图说明
为了更清楚的说明本发明的实施例或现有技术的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做一简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明位置姿态测量设备安装位置图
图2为本发明求解目标在大地坐标系坐标的方法示意图
具体实施方式
为使本发明的实施例的目的、技术方案和优点更加清楚，下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚完整的描述：
图1示出了本发明的位置姿态测量设备在光电吊舱上的安装位置。位置姿态测量设备包括1测量仪、2双定位天线、3天线馈线、4数据线和5 RS422接口。
测量仪1安装在图1所示的光电吊舱内壳壳壁处，安装时需保证不与光电吊舱稳定平台的俯仰框架有任何接触，不阻碍俯仰框架的角度调节，不同内部结构的光电吊舱可根据吊舱内实际情况进行装配。
双定位天线2经由支架安装在光电吊舱与飞机载体接口的安装盘上，安装时保证前后天线在同一水平线上，定位天线通过天线馈线3与测量仪1连接。测量仪1的数据经由数据线4送入位于机舱内的光电吊舱基座，再由光电吊舱基座处的RS422接口5即可将测量仪1的所有数据导出。。
对于海面目标定位的实质是根据光电载荷的位置姿态信息，结合对目标所拍摄的红外/可见光图像，通过旋转矩阵实现坐标系转换，如图2所示，将目标的位置由O1X1Y1Z1坐标系转换为O2X2Y2Z2坐标系，然后解算目标位置，获得目标的经度、纬度和高程信息。具体计算包括如下4个步骤：
步骤1：飞机从停机位置起飞，在海面进行目标搜寻，当发现目标后，对目标进行拍摄，并实时记录光电吊舱的经纬高(Bc,Lc,Hc)和俯仰角θ，偏航角横滚角γ；在地面处，将该设备放置在地面参考点处，在本实施例中该参考点为飞机起飞位置，测量其经纬高(Bm,Lm,Hm)。通过坐标转换分别转换到大地直角坐标系下的光电吊舱坐标(Xck,Yck,Zck)和地面参考点坐标(Xmk,Ymk,Zmk)。
其中，为椭球的曲率半径，a＝6378137(米)，e2＝0.0066943799013
将光电吊舱的大地直角坐标(Xck,Yck,Zck)转变为以地面参考点为原点的东北天坐标系下的坐标(Xwk,Ywk,Zwk),
其中R1为旋转矩阵，T1为平移矩阵
其中，B为地面参考点的纬度，L为地面参考点的经度，(Xmk,Ymk,Zmk)为地面参考点在大地直角坐标系下坐标。经过坐标变换后得到光电吊舱在东北天坐标系下的坐标(Xwk,Ywk,Zwk)。
步骤2：采集到的图像经过目标识别等处理得到目标在图像中的像素坐标(u,v)，结合光电吊舱当时的姿态信息，经过坐标解算，得到目标在东北天坐标下的坐标，解算过程如下：
目标在图像上可以读取的是像素信息(u,v),整个图像的像素中心坐标为(u0,v0)，dx,dy分别表示图像中每个像素的宽高，则可通过坐标转换变为目标的图像物理坐标(x,y)。
根据小孔成像和共线方程，结合相机焦距f、吊舱与相机光轴中心成像在海面上的距离YC，得到目标在吊舱坐标系下的坐标(XC，YC，ZC)。
根据光电吊舱的俯仰角θ，偏航角横滚角γ，将目标在光电吊舱坐标系下的坐标(XC，YC，ZC)转为目标在东北天坐标系下的坐标(Xw,Yw,Zw)。
其中，R′代表旋转矩阵，T′代表平移矩阵，(Xwk,Ywk,Zwk)是光电吊舱在东北天坐标系下的坐标。
步骤3：得到目标在东北天坐标系下的坐标(Xw,Yw,Zw)后，通过坐标解算得出目标在大地直角坐标系中的坐标(Xk,Yk,Zk)，最后通过公式得到目标的经纬高(LO,BO,HO)。
其中，R2代表旋转矩阵，L、B分别代表地面参考点的经度和纬度，T2代表平移矩阵,(Xmk,Ymk,Zmk)为地面参考点在大地直角坐标系下坐标。
最后根据如下公式即可得到目标的经纬高(LO,BO,HO)。
按照上述步骤，在本地进行了目标定位测试试验，采用无人机加装小型光电吊舱飞行，对地面事先选定的4个目标点进行定位，分别利用飞机载体导航信息和本发明所述方法获取的光电吊舱位置姿态信息进行目标位置计算，得到的结果如下表所示。
由测试试验分析结果可见，采用光电吊舱本体的位置姿态信息进行目标定位，在定位准确度上显著优于采用飞机载体的导航信息计算获得的目标位置信息。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。
Claims (6)
1.一种基于机载光电吊舱位置和姿态的目标定位系统，其特征在于该系统设置在机载光电吊舱内部；
该定位系统具有：
获得所在机载光电吊舱俯仰角θ和横滚角γ信息的动态倾角获取模块；
获得所在机载光电吊舱经度Bc、纬度Lc、高度Hc和偏航角φ信息的定位模块；
处理模块根据机载光电吊舱的经纬高以及地面参考点的经度Bm、纬度Lm和高度Hm，经由大地直角坐标系(Xck,Yck,Zck)，最终转化成东北天坐标系(Xwk,Ywk,Zwk)；
处理模块根据机载光电吊舱获取的目标图像，获取图像中目标的像素坐标(u,v)；结合吊舱内相机的焦距f、吊舱与相机轴中心成像在海面上的距离Yc以及地面参考点的大地直角坐标系(Xck,Yck,Zck)生成的平移矩阵T1，将目标的像素坐标经由吊舱坐标系、东北天坐标系和大地直角坐标系的转换，最终得到目标的实际经纬度和高程，完成目标的测量；
所述处理模块通过如下公式将机载光电吊舱转换成东北天坐标系下的坐标(Xwk,Ywk,Zwk)：
<mrow>
<mfenced open = "[" close = "]">
<mtable>
<mtr>
<mtd>
<msub>
<mi>X</mi>
<mrow>
<mi>w</mi>
<mi>k</mi>
</mrow>
</msub>
</mtd>
</mtr>
<mtr>
<mtd>
<msub>
<mi>Y</mi>
<mrow>
<mi>w</mi>
<mi>k</mi>
</mrow>
</msub>
</mtd>
</mtr>
<mtr>
<mtd>
<msub>
<mi>Z</mi>
<mrow>
<mi>w</mi>
<mi>k</mi>
</mrow>
</msub>
</mtd>
</mtr>
<mtr>
<mtd>
<mn>1</mn>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>=</mo>
<mfenced open = "[" close = "]">
<mtable>
<mtr>
<mtd>
<msub>
<mi>R</mi>
<mn>1</mn>
</msub>
</mtd>
<mtd>
<msub>
<mi>T</mi>
<mn>1</mn>
</msub>
</mtd>
</mtr>
<mtr>
<mtd>
<mn>0</mn>
</mtd>
<mtd>
<mn>1</mn>
</mtd>
</mtr>
</mtable>
</mfenced>
<mfenced open = "[" close = "]">
<mtable>
<mtr>
<mtd>
<msub>
<mi>X</mi>
<mrow>
<mi>c</mi>
<mi>k</mi>
</mrow>
</msub>
</mtd>
</mtr>
<mtr>
<mtd>
<msub>
<mi>Y</mi>
<mrow>
<mi>c</mi>
<mi>k</mi>
</mrow>
</msub>
</mtd>
</mtr>
<mtr>
<mtd>
<msub>
<mi>Z</mi>
<mrow>
<mi>c</mi>
<mi>k</mi>
</mrow>
</msub>
</mtd>
</mtr>
<mtr>
<mtd>
<mn>1</mn>
</mtd>
</mtr>
</mtable>
</mfenced>
</mrow>
其中R1为旋转矩阵，T1为平移矩阵
其中，B为地面参考点的纬度，L为地面参考点的经度，(Xmk,Ymk,Zmk)为地面参考点坐标。
2.根据权利要求1所述的基于机载光电吊舱位置和姿态的目标定位系统，其特征还在于所述的动态倾角获取模块还包括：获取动态倾角获取模块自身位置和姿态的陀螺仪和加速度计。
3.根据权利要求1所述的基于机载光电吊舱位置和姿态的目标定位系统，其特征还在于：所述的定位模块与处于不同位置的定位天线连接；
工作时，定位模块接收处于不同位置的定位天线分别传输的定位信息，综合计算得出定位模块所处的位置信息；
双定位天线接收基于GPS、格洛纳斯GLONASS、伽利略GALILEO或北斗卫星定位系统的卫星定位信息。
4.根据权利要求1所述的基于机载光电吊舱位置和姿态的目标定位系统，其特征还在于：
所述处理模块通过下式：
<mfenced open = "" close = "">
<mtable>
<mtr>
<mtd>
<mfenced open = "{" close = "">
<mtable>
<mtr>
<mtd>
<mrow>
<msub>
<mi>X</mi>
<mrow>
<mi>c</mi>
<mi>k</mi>
</mrow>
</msub>
<mo>=</mo>
<mrow>
<mo>(</mo>
<mi>N</mi>
<mo>+</mo>
<msub>
<mi>H</mi>
<mi>c</mi>
</msub>
<mo>)</mo>
</mrow>
<mi>cos</mi>
<mi> </mi>
<msub>
<mi>B</mi>
<mi>c</mi>
</msub>
<mi>cos</mi>
<mi> </mi>
<msub>
<mi>L</mi>
<mi>c</mi>
</msub>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<msub>
<mi>Y</mi>
<mrow>
<mi>c</mi>
<mi>k</mi>
</mrow>
</msub>
<mo>=</mo>
<mrow>
<mo>(</mo>
<mi>N</mi>
<mo>+</mo>
<msub>
<mi>H</mi>
<mi>c</mi>
</msub>
<mo>)</mo>
</mrow>
<mi>cos</mi>
<mi> </mi>
<msub>
<mi>B</mi>
<mi>c</mi>
</msub>
<mi>sin</mi>
<mi> </mi>
<msub>
<mi>L</mi>
<mi>c</mi>
</msub>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<msub>
<mi>Z</mi>
<mrow>
<mi>c</mi>
<mi>k</mi>
</mrow>
</msub>
<mo>=</mo>
<mo>&lsqb;</mo>
<mi>N</mi>
<mrow>
<mo>(</mo>
<mn>1</mn>
<mo>-</mo>
<msup>
<mi>e</mi>
<mn>2</mn>
</msup>
<mo>)</mo>
</mrow>
<mo>+</mo>
<msub>
<mi>H</mi>
<mi>c</mi>
</msub>
<mo>&rsqb;</mo>
<mi>sin</mi>
<mi> </mi>
<msub>
<mi>B</mi>
<mi>c</mi>
</msub>
</mrow>
</mtd>
</mtr>
</mtable>
</mfenced>
</mtd>
<mtd>
<mfenced open = "{" close = "">
<mtable>
<mtr>
<mtd>
<mrow>
<msub>
<mi>X</mi>
<mrow>
<mi>m</mi>
<mi>k</mi>
</mrow>
</msub>
<mo>=</mo>
<mrow>
<mo>(</mo>
<mi>N</mi>
<mo>+</mo>
<msub>
<mi>H</mi>
<mi>m</mi>
</msub>
<mo>)</mo>
</mrow>
<mi>cos</mi>
<mi> </mi>
<msub>
<mi>B</mi>
<mi>m</mi>
</msub>
<mi>cos</mi>
<mi> </mi>
<msub>
<mi>L</mi>
<mi>m</mi>
</msub>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<msub>
<mi>Y</mi>
<mrow>
<mi>m</mi>
<mi>k</mi>
</mrow>
</msub>
<mo>=</mo>
<mrow>
<mo>(</mo>
<mi>N</mi>
<mo>+</mo>
<msub>
<mi>H</mi>
<mi>m</mi>
</msub>
<mo>)</mo>
</mrow>
<mi>cos</mi>
<mi> </mi>
<msub>
<mi>B</mi>
<mi>m</mi>
</msub>
<mi>sin</mi>
<mi> </mi>
<msub>
<mi>L</mi>
<mi>m</mi>
</msub>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<msub>
<mi>Z</mi>
<mrow>
<mi>m</mi>
<mi>k</mi>
</mrow>
</msub>
<mo>=</mo>
<mo>&lsqb;</mo>
<mi>N</mi>
<mrow>
<mo>(</mo>
<mn>1</mn>
<mo>-</mo>
<msup>
<mi>e</mi>
<mn>2</mn>
</msup>
<mo>)</mo>
</mrow>
<mo>+</mo>
<msub>
<mi>H</mi>
<mi>m</mi>
</msub>
<mo>&rsqb;</mo>
<mi>sin</mi>
<mi> </mi>
<msub>
<mi>B</mi>
<mi>m</mi>
</msub>
</mrow>
</mtd>
</mtr>
</mtable>
</mfenced>
</mtd>
</mtr>
</mtable>
</mfenced>
分别将机载光电吊舱的经度Bc、纬度Lc、高度Hc和地面参考点的经度Bm、纬度Lm和高度Hm转换成机载光电吊舱大地坐标(Xck,Yck,Zck)和地面参考点坐标(Xmk,Ymk,Zmk)；
其中，N为椭球的曲率半径，a＝6378137米，e2＝0.0066943799013；
B为地面参考点的纬度。
5.根据权利要求1所述的基于机载光电吊舱位置和姿态的目标定位系统，其特征还在于所述的处理模块将目标在图像中的像素坐标(u,v)结合吊舱的姿态信息，得到目标在东北天坐标系下的坐标，坐标转换过程如下：
根据公式：
<mrow>
<mfenced open = "[" close = "]">
<mtable>
<mtr>
<mtd>
<mi>x</mi>
</mtd>
</mtr>
<mtr>
<mtd>
<mi>y</mi>
</mtd>
</mtr>
<mtr>
<mtd>
<mn>1</mn>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>=</mo>
<mfenced open = "[" close = "]">
<mtable>
<mtr>
<mtd>
<mrow>
<mi>d</mi>
<mi>x</mi>
</mrow>
</mtd>
<mtd>
<mn>0</mn>
</mtd>
<mtd>
<mn>0</mn>
</mtd>
</mtr>
<mtr>
<mtd>
<mn>0</mn>
</mtd>
<mtd>
<mrow>
<mi>d</mi>
<mi>y</mi>
</mrow>
</mtd>
<mtd>
<mn>0</mn>
</mtd>
</mtr>
<mtr>
<mtd>
<mn>0</mn>
</mtd>
<mtd>
<mn>0</mn>
</mtd>
<mtd>
<mn>1</mn>
</mtd>
</mtr>
</mtable>
</mfenced>
<mfenced open = "[" close = "]">
<mtable>
<mtr>
<mtd>
<mn>1</mn>
</mtd>
<mtd>
<mn>0</mn>
</mtd>
<mtd>
<mrow>
<mo>-</mo>
<msub>
<mi>u</mi>
<mn>0</mn>
</msub>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mn>0</mn>
</mtd>
<mtd>
<mn>1</mn>
</mtd>
<mtd>
<mrow>
<mo>-</mo>
<msub>
<mi>v</mi>
<mn>0</mn>
</msub>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mn>0</mn>
</mtd>
<mtd>
<mn>0</mn>
</mtd>
<mtd>
<mn>1</mn>
</mtd>
</mtr>
</mtable>
</mfenced>
<mfenced open = "[" close = "]">
<mtable>
<mtr>
<mtd>
<mi>u</mi>
</mtd>
</mtr>
<mtr>
<mtd>
<mi>v</mi>
</mtd>
</mtr>
<mtr>
<mtd>
<mn>1</mn>
</mtd>
</mtr>
</mtable>
</mfenced>
</mrow>
将像素坐标(u,v)转换成图像物理坐标(x,y)；
根据小孔成像和共线方程，结合相机焦距f、吊舱与相机光轴中心成像在海面上的距离YC，得到目标在吊舱坐标系下的坐标(XC，YC，ZC)；
<mrow>
<mfenced open = "[" close = "]">
<mtable>
<mtr>
<mtd>
<msub>
<mi>X</mi>
<mi>C</mi>
</msub>
</mtd>
</mtr>
<mtr>
<mtd>
<msub>
<mi>Y</mi>
<mi>C</mi>
</msub>
</mtd>
</mtr>
<mtr>
<mtd>
<msub>
<mi>Z</mi>
<mi>C</mi>
</msub>
</mtd>
</mtr>
<mtr>
<mtd>
<mn>1</mn>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>=</mo>
<mfenced open = "[" close = "]">
<mtable>
<mtr>
<mtd>
<mrow>
<msub>
<mi>Y</mi>
<mi>C</mi>
</msub>
<mo>/</mo>
<mi>f</mi>
</mrow>
</mtd>
<mtd>
<mn>0</mn>
</mtd>
<mtd>
<mn>0</mn>
</mtd>
</mtr>
<mtr>
<mtd>
<mn>0</mn>
</mtd>
<mtd>
<mn>0</mn>
</mtd>
<mtd>
<msub>
<mi>Y</mi>
<mi>C</mi>
</msub>
</mtd>
</mtr>
<mtr>
<mtd>
<mn>0</mn>
</mtd>
<mtd>
<mrow>
<mo>-</mo>
<msub>
<mi>Y</mi>
<mi>C</mi>
</msub>
<mo>/</mo>
<mi>f</mi>
</mrow>
</mtd>
<mtd>
<mn>0</mn>
</mtd>
</mtr>
<mtr>
<mtd>
<mn>0</mn>
</mtd>
<mtd>
<mn>0</mn>
</mtd>
<mtd>
<mn>1</mn>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>*</mo>
<mfenced open = "[" close = "]">
<mtable>
<mtr>
<mtd>
<mi>x</mi>
</mtd>
</mtr>
<mtr>
<mtd>
<mi>y</mi>
</mtd>
</mtr>
<mtr>
<mtd>
<mn>1</mn>
</mtd>
</mtr>
</mtable>
</mfenced>
</mrow>
根据光电吊舱的俯仰角θ，偏航角横滚角γ，将目标在光电吊舱坐标系下的坐标(XC，YC，ZC)转为目标在东北天坐标系下的坐标(Xw,Yw,Zw)；
<mrow>
<mfenced open = "[" close = "]">
<mtable>
<mtr>
<mtd>
<msub>
<mi>X</mi>
<mi>w</mi>
</msub>
</mtd>
</mtr>
<mtr>
<mtd>
<msub>
<mi>Y</mi>
<mi>w</mi>
</msub>
</mtd>
</mtr>
<mtr>
<mtd>
<msub>
<mi>Z</mi>
<mi>w</mi>
</msub>
</mtd>
</mtr>
<mtr>
<mtd>
<mn>1</mn>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>=</mo>
<mfenced open = "[" close = "]">
<mtable>
<mtr>
<mtd>
<msup>
<mi>R</mi>
<mo>&prime;</mo>
</msup>
</mtd>
<mtd>
<msup>
<mi>T</mi>
<mo>&prime;</mo>
</msup>
</mtd>
</mtr>
<mtr>
<mtd>
<mn>0</mn>
</mtd>
<mtd>
<mn>1</mn>
</mtd>
</mtr>
</mtable>
</mfenced>
<mfenced open = "[" close = "]">
<mtable>
<mtr>
<mtd>
<msub>
<mi>X</mi>
<mi>c</mi>
</msub>
</mtd>
</mtr>
<mtr>
<mtd>
<msub>
<mi>Y</mi>
<mi>c</mi>
</msub>
</mtd>
</mtr>
<mtr>
<mtd>
<msub>
<mi>Z</mi>
<mi>c</mi>
</msub>
</mtd>
</mtr>
<mtr>
<mtd>
<mn>1</mn>
</mtd>
</mtr>
</mtable>
</mfenced>
</mrow>
其中，R′代表旋转矩阵，T′代表平移矩阵，(Xwk,Ywk,Zwk)是光电吊舱在东北天坐标系下的坐标。
6.根据权利要求1所述的基于机载光电吊舱位置和姿态的目标定位系统，其特征还在于所述的处理模块在计算得到东北天坐标系下的坐标(Xw,Yw,Zw)后，通过坐标计算得出目标在大地直角坐标系中的坐标(Xk,Yk,Zk)，过程如下：
<mrow>
<mfenced open = "[" close = "]">
<mtable>
<mtr>
<mtd>
<msub>
<mi>X</mi>
<mi>k</mi>
</msub>
</mtd>
</mtr>
<mtr>
<mtd>
<msub>
<mi>Y</mi>
<mi>k</mi>
</msub>
</mtd>
</mtr>
<mtr>
<mtd>
<msub>
<mi>Z</mi>
<mi>k</mi>
</msub>
</mtd>
</mtr>
<mtr>
<mtd>
<mn>1</mn>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>=</mo>
<msup>
<mfenced open = "[" close = "]">
<mtable>
<mtr>
<mtd>
<msub>
<mi>R</mi>
<mn>2</mn>
</msub>
</mtd>
<mtd>
<msub>
<mi>T</mi>
<mn>2</mn>
</msub>
</mtd>
</mtr>
<mtr>
<mtd>
<mn>0</mn>
</mtd>
<mtd>
<mn>1</mn>
</mtd>
</mtr>
</mtable>
</mfenced>
<mrow>
<mo>-</mo>
<mn>1</mn>
</mrow>
</msup>
<mfenced open = "[" close = "]">
<mtable>
<mtr>
<mtd>
<msub>
<mi>X</mi>
<mi>w</mi>
</msub>
</mtd>
</mtr>
<mtr>
<mtd>
<msub>
<mi>Y</mi>
<mi>w</mi>
</msub>
</mtd>
</mtr>
<mtr>
<mtd>
<msub>
<mi>Z</mi>
<mi>w</mi>
</msub>
</mtd>
</mtr>
<mtr>
<mtd>
<mn>1</mn>
</mtd>
</mtr>
</mtable>
</mfenced>
</mrow>
其中，R2代表旋转矩阵，L、B分别代表地面参考点的经度和纬度，T2代表平移矩阵,(Xmk,Ymk,Zmk)为地面参考点在大地直角坐标系下坐标；
最后根据如下公式即可得到目标的经纬高(LO,BO,HO)；
<mfenced open = "{" close = "">
<mtable>
<mtr>
<mtd>
<msub>
<mi>L</mi>
<mi>o</mi>
</msub>
<mo>=</mo>
<mi>a</mi>
<mi>r</mi>
<mi>c</mi>
<mi>t</mi>
<mi>a</mi>
<mi>n</mi>
<mo>(</mo>
<mfrac>
<msub>
<mi>Y</mi>
<mi>k</mi>
</msub>
<msub>
<mi>X</mi>
<mi>k</mi>
</msub>
</mfrac>
<mo>)</mo>
</mtd>
</mtr>
<mtr>
<mtd>
<msub>
<mi>H</mi>
<mi>o</mi>
</msub>
<mo>=</mo>
<mi>a</mi>
<mi>r</mi>
<mi>c</mi>
<mi>t</mi>
<mi>a</mi>
<mi>n</mi>
<mo>(</mo>
<mfrac>
<mrow>
<msub>
<mi>Z</mi>
<mi>k</mi>
</msub>
<mo>+</mo>
<msup>
<mi>Ne</mi>
<mn>2</mn>
</msup>
<mi>sin</mi>
<mi> </mi>
<mi>B</mi>
</mrow>
<msqrt>
<mrow>
<msubsup>
<mi>X</mi>
<mi>k</mi>
<mn>2</mn>
</msubsup>
<mo>+</mo>
<msubsup>
<mi>Y</mi>
<mi>k</mi>
<mn>2</mn>
</msubsup>
</mrow>
</msqrt>
</mfrac>
<mo>)</mo>
</mtd>
</mtr>
<mtr>
<mtd>
<msub>
<mi>B</mi>
<mi>o</mi>
</msub>
<mo>=</mo>
<mfrac>
<msqrt>
<mrow>
<msubsup>
<mi>X</mi>
<mi>k</mi>
<mn>2</mn>
</msubsup>
<mo>+</mo>
<msubsup>
<mi>Y</mi>
<mi>k</mi>
<mn>2</mn>
</msubsup>
</mrow>
</msqrt>
<mrow>
<mi>cos</mi>
<mi> </mi>
<mi>B</mi>
</mrow>
</mfrac>
<mo>-</mo>
<mi>N</mi>
</mtd>
</mtr>
</mtable>
</mfenced>
其中，为椭球的曲率半径，a＝6378137米，e2＝0.0066943799013。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510938847.9A CN105549060B (zh) | 2015-12-15 | 2015-12-15 | 基于机载光电吊舱位置和姿态的目标定位系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510938847.9A CN105549060B (zh) | 2015-12-15 | 2015-12-15 | 基于机载光电吊舱位置和姿态的目标定位系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN105549060A CN105549060A (zh) | 2016-05-04 |
| CN105549060B true CN105549060B (zh) | 2017-12-29 |
Family
ID=55828360
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510938847.9A Expired - Fee Related CN105549060B (zh) | 2015-12-15 | 2015-12-15 | 基于机载光电吊舱位置和姿态的目标定位系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN105549060B (zh) |
Families Citing this family (22)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11099126B2 (en) * | 2016-07-17 | 2021-08-24 | B. G. Negev Technologies And Applications Ltd., At Ben-Gurion University | Upconversion system comprising a glow discharge device (GDD) for imaging and communication |
| CN106338286B (zh) * | 2016-10-08 | 2019-08-09 | 北京航天控制仪器研究所 | 一种动基座测量方法 |
| CN106595668B (zh) * | 2016-12-12 | 2019-07-09 | 中国航空工业集团公司洛阳电光设备研究所 | 一种用于光电吊舱的无源定位算法 |
| CN108253940B (zh) * | 2016-12-29 | 2020-09-22 | 东莞前沿技术研究院 | 定位方法及装置 |
| CN106871927B (zh) * | 2017-01-05 | 2020-10-20 | 南京航空航天大学 | 一种无人机光电吊舱安装误差标校方法 |
| CN107589432A (zh) * | 2017-10-16 | 2018-01-16 | 驭势科技（北京）有限公司 | 基于天线阵列的卫星导航算法、导航系统和车辆 |
| CN108680158B (zh) * | 2018-03-30 | 2022-07-26 | 南京航空航天大学 | 一种基于极化域波达因子的飞行器群内近距定位方法 |
| CN108733066B (zh) * | 2018-05-07 | 2021-05-07 | 中国人民解放军国防科技大学 | 一种基于吊舱姿态反馈的目标跟踪控制方法 |
| CN109298630B (zh) * | 2018-09-05 | 2021-07-13 | 哈尔滨工程大学 | 一种无人船用低成本光电吊舱的光学辅助稳像技术 |
| CN109782786B (zh) * | 2019-02-12 | 2021-09-28 | 上海戴世智能科技有限公司 | 一种基于图像处理的定位方法和无人机 |
| CN110160816A (zh) * | 2019-06-05 | 2019-08-23 | 西南交通建设集团股份有限公司 | 摊铺机摊铺作业测速方法 |
| CN110542407A (zh) * | 2019-07-23 | 2019-12-06 | 中国科学院长春光学精密机械与物理研究所 | 一种航拍图像任意像素点定位信息获取方法 |
| CN110503687B (zh) * | 2019-08-12 | 2022-09-20 | 中国科学院光电技术研究所 | 一种空中光电测量平台目标定位方法 |
| CN110672091B (zh) * | 2019-09-29 | 2023-05-23 | 哈尔滨飞机工业集团有限责任公司 | 一种时间域飞机柔性拖曳吊舱定位系统 |
| CN110926462A (zh) * | 2019-11-04 | 2020-03-27 | 中国航空工业集团公司洛阳电光设备研究所 | 一种基于机载光电探测系统地面目标标记方法 |
| CN110967021B (zh) * | 2019-12-16 | 2021-07-16 | 中国兵器科学研究院 | 不依赖主/被动测距的机载光电系统目标地理定位方法 |
| CN111006645A (zh) * | 2019-12-23 | 2020-04-14 | 青岛黄海学院 | 基于运动与结构重建的无人机测绘方法 |
| CN111158036B (zh) * | 2020-01-16 | 2023-02-21 | 吉林大学 | 一种吊舱姿态实时测量、解算与监控装置 |
| CN111327860A (zh) * | 2020-01-21 | 2020-06-23 | 成都纵横自动化技术股份有限公司 | 一种图数同步传输方法和电子设备 |
| CN111521157B (zh) * | 2020-05-29 | 2022-08-05 | 成都赫尔墨斯科技股份有限公司 | 一种飞行器观察区域坐标计算方法及系统 |
| CN112911144B (zh) * | 2021-01-21 | 2022-08-02 | 大连海事大学 | 一种光电吊舱步进不等速自动扫描方法、装置及存储介质 |
| CN113409400A (zh) * | 2021-06-17 | 2021-09-17 | 西安应用光学研究所 | 一种基于自动跟踪的机载光电系统目标地理定位方法 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US3741653A (en) * | 1970-07-06 | 1973-06-26 | Geosystems Inc | Computer-aided laser-based airborne measurement system |
| DE4327038A1 (de) * | 1993-08-12 | 1995-02-16 | Atlas Elektronik Gmbh | Elektrooptisches Zielerfassungsgerät zum Vermessen von Flugzielen |
| US7268723B2 (en) * | 2005-05-20 | 2007-09-11 | The Mitre Corporation | System and method for locating targets using measurements from a space based radar |
| IL207590A (en) * | 2010-08-12 | 2016-11-30 | Rafael Advanced Defense Systems Ltd | A method and system for increasing the size of the area scanned at a given time by an airborne electro-optical photo system |
| CN204598167U (zh) * | 2014-12-31 | 2015-08-26 | 科盾科技股份有限公司 | 一种机载三光电吊舱系统 |
-
2015
- 2015-12-15 CN CN201510938847.9A patent/CN105549060B/zh not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| CN105549060A (zh) | 2016-05-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105549060B (zh) | 基于机载光电吊舱位置和姿态的目标定位系统 | |
| JP6516111B2 (ja) | 船舶補助ドッキング方法およびシステム | |
| CN110395390B (zh) | 一种多旋翼无人机免像控点三维建模与测图的装置及方法 | |
| CN105841688B (zh) | 一种船舶辅助泊岸方法和系统 | |
| GREJNER‐BRZEZINSKA | Direct exterior orientation of airborne imagery with GPS/INS system: Performance analysis | |
| CN110108984B (zh) | 电力巡线激光雷达系统多传感器的空间关系同步方法 | |
| CN103472503B (zh) | 探空仪及基于ins的高空风探测方法 | |
| KR101523017B1 (ko) | 항공영상을 위한 해상 표정기준점 제공장치 | |
| CN106595668A (zh) | 一种用于光电吊舱的无源定位算法 | |
| CN102928861A (zh) | 机载设备用目标定位方法及装置 | |
| CN103760585B (zh) | 一种适用林区的星‑地结合定位方法 | |
| CN107748370A (zh) | 机载微型激光雷达三维测绘装置 | |
| CN107192330A (zh) | 远程测量物体坐标的方法、装置及飞行器 | |
| CN107192377A (zh) | 远程测量物体坐标的方法、装置及飞行器 | |
| CN109974713A (zh) | 一种基于地表特征群的导航方法及系统 | |
| CN110118987A (zh) | 一种定位导航方法、装置及存储介质 | |
| CN115265586A (zh) | 一种用于卫星高度计的定标检验系统 | |
| JP7337444B2 (ja) | 測位方法および測位システム | |
| CN110082033B (zh) | 一种运动状态下的水上载体重心测量装置和方法 | |
| KR102583028B1 (ko) | 위성항법시스템 및 관성측정장치를 이용한 해양기상관측장비, 그리고 그 장비의 구동법 | |
| CN113253285A (zh) | 定点式三维全景成像声呐系统升级为走航式系统的方法 | |
| CN207396737U (zh) | 机载微型激光雷达三维测绘装置 | |
| CN113238202B (zh) | 光子激光三维成像系统的坐标系点云计算方法及其应用 | |
| CN116105685A (zh) | 基于声光遥感和滚轮的潮间带地形无缝一体化测量方法 | |
| CN214473977U (zh) | 卫星数据采集定位装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20171229 Termination date: 20191215 |
|
| CF01 | Termination of patent right due to non-payment of annual fee |