CN107635096A - 一种增加照相重叠率的全景航空相机倾斜成像方法 - Google Patents
一种增加照相重叠率的全景航空相机倾斜成像方法 Download PDFInfo
- Publication number
- CN107635096A CN107635096A CN201710908759.3A CN201710908759A CN107635096A CN 107635096 A CN107635096 A CN 107635096A CN 201710908759 A CN201710908759 A CN 201710908759A CN 107635096 A CN107635096 A CN 107635096A
- Authority
- CN
- China
- Prior art keywords
- mrow
- cos
- sin
- msup
- gamma
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Abstract
本发明公开了一种增加照相重叠率的全景航空相机倾斜成像方法。使用本发明能够使得连续两帧图片能够满足图像的重叠率指标要求,便于事后的图像判读。本发明在计算相机俯仰轴和滚动轴的初始位置时,考虑了载机偏航角对航向重叠率的影响,通过建立坐标系,利用坐标系转换,获得了飞机姿态角对相机拍照起始位置的影响,修正了相机拍照的起始位置;相机在本发明计算得到的拍照起始位置进行拍照后,相邻两帧图像的纵向重叠率达到10%左右,有利于图像拼接,提高航拍效率。
Description
技术领域
本发明涉及航空成像与测控技术领域,具体涉及一种增加照相重叠率的全景航空相机倾斜成像方法。
背景技术
全景航空相机结构上由俯仰轴和滚动轴组成,每个轴安装速率陀螺及角度编码器等传感器,利用直流力矩电机驱动轴系转动。在对地面照相时,俯仰轴前后转动以补偿前向像移,滚动轴按照某个速度转动,带动线阵CCD扫描成像,相机照相原理如图1所示。为了事后判读的需要,连续的两帧图像需要保证一定的航向重叠率,即沿同一航线的相邻图像上有同一地面影像部分。航向重叠率与相机的俯仰轴、滚动轴的拍照初始位置有关。目前,为保证相邻图像具有一定的航向重叠率,在当前帧拍照结束后、下一帧拍照前,根据飞机俯仰角、横滚角和目标倾斜角计算相机俯仰轴和滚动轴的下一帧拍照的初始位置,然后在下一帧拍照前,控制相机俯仰轴和滚动轴转回到计算出的下一帧拍照的初始位置,等待拍照开始。但在试飞过程中,全景倾斜相机航拍的图像重叠率变化较大,甚至连续拍照的两幅图像有拉缝现象,不能满足重叠率指标的要求,不能完成拍照图像区域拼接,给事后图像判读带来不便。
发明内容
有鉴于此,本发明提供了一种增加照相重叠率的全景航空相机倾斜成像方法,考虑了载机偏航角对重叠率的影响,重新计算了相机俯仰轴和滚动轴的拍照起始角,从而使得连续两帧图片能够满足图像的重叠率指标要求,便于事后的图像判读。
本发明的增加照相重叠率的全景航空相机倾斜成像方法,包括如下步骤:
步骤1,在当前帧成像结束、下一帧成像开始前,采用下式计算下一帧相机横滚轴的起始角位置和相机俯仰轴的起始角位置θ:
其中,
α为载机横滚角;β为载机俯仰角;γ为载机偏航角;γ′为载机航向角;Φ为在航向坐标系下的目标横滚角,ψ为在航向坐标系下的目标俯仰角;
步骤2,在下一帧拍照前,控制相机俯仰轴和滚动轴转到步骤1计算得到的初始位置,等待拍照开始;
步骤3,开始下一帧拍照,相机控制其横滚轴、俯仰轴运动,完成下一帧的拍照;
步骤4,重复步骤1~步骤3,完成扫描成像。
有益效果:
本发明在计算相机俯仰轴和滚动轴的初始位置时,考虑了载机偏航角对航向重叠率的影响,通过建立坐标系,利用坐标系转换,获得了飞机姿态角对相机拍照起始位置的影响,修正了相机拍照的起始位置;相机在本发明计算得到的拍照起始位置进行拍照后,相邻两帧图像的纵向重叠率达到10%左右,有利于图像拼接,提高航拍效率。
附图说明
图1为长焦全景航空相机倾斜照相示意图。
图2为坐标变换数学模型。
图3为实拍图像在地理坐标系的投影。
图4为利用本发明技术处理后在地理坐标系的投影。
图5为本发明流程图。
具体实施方式
下面结合附图并举实施例,对本发明进行详细描述。
本发明提供了一种增加照相重叠率的全景航空相机倾斜成像方法。
照相重叠率与拍照起始位置有关,由于全景航空相机只有俯仰轴和滚动轴,现有技术在计算相机俯仰轴、滚动轴拍照初始位置,只考虑了载机俯仰角、横滚角、目标倾斜角,但本发明经分析发现,载机偏航姿态变化也会改变拍照起始角,最终改变照相重叠率。因此,本发明在计算相机俯仰轴和滚动轴的初始位置时,结合载机偏航、俯仰、横滚等姿态变化以及照相目标倾斜角的因素,将载机偏航角补偿到拍照起始位置的计算中,提高航向重叠率。
具体的,本发明首先建立载机地理坐标系、载机航向坐标系、载机坐标系,如图2所示的,利用视轴由载机坐标系到载机地理坐标系的坐标变换过程,计算出飞机姿态角对相机拍照起始位置的影响,得到相机拍照的起始位置;相机在位置速度信号控制下,实现对地面目标的拍照,并满足照相重叠率的要求,便于事后的图像判读。
其中,载机地理坐标系、载机航向坐标系、载机坐标系均为右手坐标系。
载机地理坐标系(B-NED):原点选在载机的质心B,N轴沿当地子午线指向北,E轴在当地水平面内且沿当地纬度线指向东,D轴沿当地参考椭球的法线指向地面。
载机航向坐标系(B-xiyizi):载机地理坐标系B-NED绕D轴旋转γ′(航向角)即为载机航向坐标系。
载机坐标系(B-xbybzb):坐标原点在载机的质心B,xb轴指向机体的机头,yb轴指向机体的右翼,zb轴指向机体的下方。由于受到各种因素影响,飞机在飞行中经常出现偏航、纵摇、横滚等运动,载机坐标系可由航向坐标系旋转得到。
已知载机姿态角(载机横滚角α,载机俯仰角β,载机偏航角γ)、载机航向角γ′,以及相机视轴在航向坐标系下的指向角(目标俯仰角ψ,目标横滚角Φ),视轴单位矢量在载机航向坐标系B-xiyizi下的表示为:
其中,Φ为在航向坐标系下的目标的横滚角或称为摄影倾斜角(相机俯仰轴与竖直方向的夹角),ψ为在航向坐标系下目标的俯仰角,ψ、Φ为事先设定值。
视轴矢量在载机地理坐标系B-NED下的表示为:
其中,γ′为载机航向角,即航向坐标系相对载机地理坐标系(NED)D轴旋转角度,为设定值;
视轴矢量在载机坐标系B-xbybzb下的表示为:
其中,α为载机横滚角;β为载机俯仰角;γ为载机偏航角;可测量获得;
整理后可得:
当相机横滚轴、俯仰轴的初始角位置为时,视轴矢量在视轴坐标系下表示为:
则:
进而可解算出相机横滚轴起始角位置为:
相机俯仰轴的起始角位置为:
相机在位置速度信号控制下进行拍照,位置速度信号是0~3.3V电平信号,3.3V电平代表位置模式,0V电平代表速度模式。在位置速度信号变为3.3V电平后,相机根据飞机姿态角(俯仰角、偏航角和滚转角)、设置的航向角、相机摄影倾斜角,结合公式(1)、(2)、(3)计算相机俯仰轴和滚动轴的拍照起始角,相机控制其横滚轴、俯仰轴力矩电机转到初始位置,等待位置速度信号的速度模式;在速度模式下,俯仰轴控制器控制位角轴力矩电机按照速度摆动,横滚轴按照扫描速度匀速转动,完成相机扫描成像。其中,V为飞行速度,H为照相高度,ρ为相机横滚轴实时角度,即视轴与水平方向夹角。
本发明利用坐标变换计算相机拍照起始角,由于考虑载机偏航角对重叠率的影响,解决了在飞机姿态变化引起照相重叠率低的问题。
某全景航空相机在利用背景中技术进行了实际飞行的拍照图像,统计该次飞行每帧图像附带的多组注释信息,得到飞机姿态角、目标倾斜角、地理经纬度信息、拍照起始角等,根据这些信息,计算机绘制出相机拍照图像在地理坐标系下的投影如图3,图3中左侧是几幅图像按照地理信息拼接示意图(图3(a)是6幅图像拼接,图3(b)是9幅图像拼接),每幅图像有多组注释信息,右侧给出这些图像近端、远端重叠率。从图3可以看出左倾斜12°时图像近端重叠率为3.78%~18.97%,右倾14°时图像近端重叠率为9%~23%,不能满足重叠率大于10%的指标要求。根据注释信息,利用本发明中技术计算相机拍照起始角,依据飞机姿态角、目标倾斜角、地理经纬度信息、重新计算的拍照起始角等信息,计算机重新绘制相机拍照图像在地理坐标系下的投影如图4,可以看出左倾斜12°时图像近端重叠率为12.59%~13.9%,右倾14°时图像近端重叠率为10.4%~17.7%,满足用户需求。
在同一架飞机和相机上,在相似的飞行条件下,利用本发明的技术,对地面重新飞行照相,目标摄影倾斜角12°,经过事后图像审查,相机拍照图像满足重叠率指标11%~13%,满足指标要求。
综上所述,以上仅为本发明的较佳实施例而已,并非用于限定本发明的保护范围。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (1)
1.一种增加照相重叠率的全景航空相机倾斜成像方法,其特征在于,包括如下步骤:
步骤1,在当前帧成像结束、下一帧成像开始前,采用下式计算下一帧相机横滚轴的起始角位置和相机俯仰轴的起始角位置θ:
其中,
<mfenced open = "" close = "">
<mtable>
<mtr>
<mtd>
<mrow>
<mfenced open = "[" close = "]">
<mtable>
<mtr>
<mtd>
<mrow>
<msub>
<mi>LOS</mi>
<mrow>
<mi>b</mi>
<mi>x</mi>
</mrow>
</msub>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<msub>
<mi>LOS</mi>
<mrow>
<mi>b</mi>
<mi>y</mi>
</mrow>
</msub>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<msub>
<mi>LOS</mi>
<mrow>
<mi>b</mi>
<mi>z</mi>
</mrow>
</msub>
</mrow>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>=</mo>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mfenced open = "[" close = "]">
<mtable>
<mtr>
<mtd>
<mrow>
<mi>cos</mi>
<mi>&beta;</mi>
<mi>cos</mi>
<mrow>
<mo>(</mo>
<mi>&gamma;</mi>
<mo>-</mo>
<msup>
<mi>&gamma;</mi>
<mo>&prime;</mo>
</msup>
<mo>)</mo>
</mrow>
<mi>sin</mi>
<mi>&psi;</mi>
<mo>-</mo>
<mi>cos</mi>
<mi>&beta;</mi>
<mi>sin</mi>
<mrow>
<mo>(</mo>
<mi>&gamma;</mi>
<mo>-</mo>
<msup>
<mi>&gamma;</mi>
<mo>&prime;</mo>
</msup>
<mo>)</mo>
</mrow>
<mi>sin</mi>
<mi>&Phi;</mi>
<mi>cos</mi>
<mi>&psi;</mi>
<mo>-</mo>
<mi>sin</mi>
<mi>&beta;</mi>
<mi>cos</mi>
<mi>&Phi;</mi>
<mi>cos</mi>
<mi>&psi;</mi>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<mo>(</mo>
<mo>-</mo>
<mi>cos</mi>
<mi>&alpha;</mi>
<mi>sin</mi>
<mo>(</mo>
<mi>&gamma;</mi>
<mo>-</mo>
<msup>
<mi>&gamma;</mi>
<mo>&prime;</mo>
</msup>
<mo>)</mo>
<mo>+</mo>
<mi>sin</mi>
<mi>&alpha;</mi>
<mi>sin</mi>
<mi>&beta;</mi>
<mi>cos</mi>
<mo>(</mo>
<mi>&gamma;</mi>
<mo>-</mo>
<msup>
<mi>&gamma;</mi>
<mo>&prime;</mo>
</msup>
<mo>)</mo>
<mo>)</mo>
<mi>sin</mi>
<mi>&psi;</mi>
<mo>-</mo>
<mo>(</mo>
<mi>cos</mi>
<mi>&alpha;</mi>
<mi>cos</mi>
<mo>(</mo>
<mi>&gamma;</mi>
<mo>-</mo>
<msup>
<mi>&gamma;</mi>
<mo>&prime;</mo>
</msup>
<mo>)</mo>
<mo>+</mo>
<mi>sin</mi>
<mi>&alpha;</mi>
<mi>sin</mi>
<mi>&beta;</mi>
<mi>sin</mi>
<mo>(</mo>
<mi>&gamma;</mi>
<mo>-</mo>
<msup>
<mi>&gamma;</mi>
<mo>&prime;</mo>
</msup>
<mo>)</mo>
<mo>)</mo>
<mi>sin</mi>
<mi>&Phi;</mi>
<mi>cos</mi>
<mi>&psi;</mi>
<mo>+</mo>
<mi>sin</mi>
<mi>&alpha;</mi>
<mi>cos</mi>
<mi>&beta;</mi>
<mi>cos</mi>
<mi>&Phi;</mi>
<mi>cos</mi>
<mi>&psi;</mi>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<mo>(</mo>
<mi>sin</mi>
<mi>&alpha;</mi>
<mi>sin</mi>
<mo>(</mo>
<mi>&gamma;</mi>
<mo>-</mo>
<msup>
<mi>&gamma;</mi>
<mo>&prime;</mo>
</msup>
<mo>)</mo>
<mo>+</mo>
<mi>cos</mi>
<mi>&alpha;</mi>
<mi>sin</mi>
<mi>&beta;</mi>
<mi>cos</mi>
<mo>(</mo>
<mi>&gamma;</mi>
<mo>-</mo>
<msup>
<mi>&gamma;</mi>
<mo>&prime;</mo>
</msup>
<mo>)</mo>
<mo>)</mo>
<mi>sin</mi>
<mi>&psi;</mi>
<mo>-</mo>
<mo>(</mo>
<mo>-</mo>
<mi>sin</mi>
<mi>&alpha;</mi>
<mi>cos</mi>
<mo>(</mo>
<mi>&gamma;</mi>
<mo>-</mo>
<msup>
<mi>&gamma;</mi>
<mo>&prime;</mo>
</msup>
<mo>)</mo>
<mo>+</mo>
<mi>cos</mi>
<mi>&alpha;</mi>
<mi>sin</mi>
<mi>&beta;</mi>
<mi>sin</mi>
<mo>(</mo>
<mi>&gamma;</mi>
<mo>-</mo>
<msup>
<mi>&gamma;</mi>
<mo>&prime;</mo>
</msup>
<mo>)</mo>
<mo>)</mo>
<mi>sin</mi>
<mi>&Phi;</mi>
<mi>cos</mi>
<mi>&psi;</mi>
<mo>+</mo>
<mi>cos</mi>
<mi>&alpha;</mi>
<mi>cos</mi>
<mi>&beta;</mi>
<mi>cos</mi>
<mi>&Phi;</mi>
<mi>cos</mi>
<mi>&psi;</mi>
</mrow>
</mtd>
</mtr>
</mtable>
</mfenced>
</mtd>
</mtr>
</mtable>
</mfenced>
α为载机横滚角;β为载机俯仰角;γ为载机偏航角;γ′为载机航向角;Φ为在航向坐标系下的目标横滚角,ψ为在航向坐标系下的目标俯仰角;
步骤2,在下一帧拍照前,控制相机俯仰轴和滚动轴转到步骤1计算得到的初始位置,等待拍照开始;
步骤3,开始下一帧拍照,相机控制其横滚轴、俯仰轴运动,完成下一帧的拍照;
步骤4,重复步骤1~步骤3,完成扫描成像。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710908759.3A CN107635096B (zh) | 2017-09-29 | 2017-09-29 | 一种增加照相重叠率的全景航空相机倾斜成像方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710908759.3A CN107635096B (zh) | 2017-09-29 | 2017-09-29 | 一种增加照相重叠率的全景航空相机倾斜成像方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107635096A true CN107635096A (zh) | 2018-01-26 |
CN107635096B CN107635096B (zh) | 2019-09-17 |
Family
ID=61103710
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710908759.3A Active CN107635096B (zh) | 2017-09-29 | 2017-09-29 | 一种增加照相重叠率的全景航空相机倾斜成像方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107635096B (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111272146A (zh) * | 2020-01-17 | 2020-06-12 | 中国科学院长春光学精密机械与物理研究所 | 测绘仪器、测绘方法及装置、终端设备、存储介质 |
CN113658266A (zh) * | 2021-07-27 | 2021-11-16 | 中航西安飞机工业集团股份有限公司 | 一种基于固定相机和单靶标的动轴旋转角视觉测量方法 |
CN113703465A (zh) * | 2020-05-22 | 2021-11-26 | 中国科学院长春光学精密机械与物理研究所 | 大倾角高空对地成像的航向重叠率控制方法、装置及载机 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5270756A (en) * | 1992-02-18 | 1993-12-14 | Hughes Training, Inc. | Method and apparatus for generating high resolution vidicon camera images |
US6694260B1 (en) * | 2003-05-09 | 2004-02-17 | Deere & Company | Inertial augmentation for GPS navigation on ground vehicles |
CN101192064A (zh) * | 2006-11-24 | 2008-06-04 | 中国科学院沈阳自动化研究所 | 小型无人直升机自主飞行控制系统 |
CN101692000A (zh) * | 2009-09-18 | 2010-04-07 | 中国科学院长春光学精密机械与物理研究所 | 影响摆扫式航空相机两条图像间实际重叠率因素的处理方法 |
CN103983252A (zh) * | 2014-03-21 | 2014-08-13 | 北京空间飞行器总体设计部 | 一种深空探测两器释放分离监视系统 |
CN104698849A (zh) * | 2015-02-12 | 2015-06-10 | 中国科学院长春光学精密机械与物理研究所 | 敏捷卫星同轨条带无缝拼接姿态配准与成像匹配算法 |
CN106527457A (zh) * | 2016-11-17 | 2017-03-22 | 天津津航技术物理研究所 | 航空扫描仪扫描控制指令规划方法 |
-
2017
- 2017-09-29 CN CN201710908759.3A patent/CN107635096B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5270756A (en) * | 1992-02-18 | 1993-12-14 | Hughes Training, Inc. | Method and apparatus for generating high resolution vidicon camera images |
US6694260B1 (en) * | 2003-05-09 | 2004-02-17 | Deere & Company | Inertial augmentation for GPS navigation on ground vehicles |
CN101192064A (zh) * | 2006-11-24 | 2008-06-04 | 中国科学院沈阳自动化研究所 | 小型无人直升机自主飞行控制系统 |
CN101692000A (zh) * | 2009-09-18 | 2010-04-07 | 中国科学院长春光学精密机械与物理研究所 | 影响摆扫式航空相机两条图像间实际重叠率因素的处理方法 |
CN103983252A (zh) * | 2014-03-21 | 2014-08-13 | 北京空间飞行器总体设计部 | 一种深空探测两器释放分离监视系统 |
CN104698849A (zh) * | 2015-02-12 | 2015-06-10 | 中国科学院长春光学精密机械与物理研究所 | 敏捷卫星同轨条带无缝拼接姿态配准与成像匹配算法 |
CN106527457A (zh) * | 2016-11-17 | 2017-03-22 | 天津津航技术物理研究所 | 航空扫描仪扫描控制指令规划方法 |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111272146A (zh) * | 2020-01-17 | 2020-06-12 | 中国科学院长春光学精密机械与物理研究所 | 测绘仪器、测绘方法及装置、终端设备、存储介质 |
CN111272146B (zh) * | 2020-01-17 | 2021-06-15 | 中国科学院长春光学精密机械与物理研究所 | 测绘仪器、测绘方法及装置、终端设备、存储介质 |
CN113703465A (zh) * | 2020-05-22 | 2021-11-26 | 中国科学院长春光学精密机械与物理研究所 | 大倾角高空对地成像的航向重叠率控制方法、装置及载机 |
CN113703465B (zh) * | 2020-05-22 | 2023-02-10 | 中国科学院长春光学精密机械与物理研究所 | 大倾角高空对地成像的航向重叠率控制方法、装置及载机 |
CN113658266A (zh) * | 2021-07-27 | 2021-11-16 | 中航西安飞机工业集团股份有限公司 | 一种基于固定相机和单靶标的动轴旋转角视觉测量方法 |
CN113658266B (zh) * | 2021-07-27 | 2023-10-20 | 中航西安飞机工业集团股份有限公司 | 一种基于固定相机和单靶标的动轴旋转角视觉测量方法 |
Also Published As
Publication number | Publication date |
---|---|
CN107635096B (zh) | 2019-09-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107492069B (zh) | 基于多镜头传感器的图像融合方法 | |
CN108344396B (zh) | 一种敏捷卫星斜条带成像模式姿态计算方法 | |
CN101813465B (zh) | 非接触精密测转角的单目视觉测量方法 | |
US20060072176A1 (en) | Creating composite images based on image capture device poses corresponding to captured images | |
CN107635096B (zh) | 一种增加照相重叠率的全景航空相机倾斜成像方法 | |
CN101231456B (zh) | 利用角度传感器纠正全景视频抖动的方法 | |
CN104698849B (zh) | 敏捷卫星同轨条带无缝拼接姿态配准与成像匹配方法 | |
CN101606387A (zh) | 基于连续扫描视线的数字制图系统 | |
CN102927917B (zh) | 多目铁塔视觉测量方法 | |
CN109362234A (zh) | 用于获得球面全景图像的系统和方法 | |
CN105424010A (zh) | 一种无人机视频地理空间信息注册方法 | |
CN104764443A (zh) | 一种光学遥感卫星严密成像几何模型构建方法 | |
CN203845021U (zh) | 飞行器全景航拍装置系统 | |
JPH07170443A (ja) | 航空機搭載総合撮影装置 | |
CN210201937U (zh) | 一种影像采集装置 | |
CN108965708B (zh) | 利用小视场相机实现大视场广域搜索的成像系统及方法 | |
CN107144264A (zh) | 一种用于固定翼无人机采集高清路面图像的航空摄影方法 | |
CN103886208B (zh) | 一种高分辨率光学卫星机动成像偏流角修正方法 | |
CN111578904B (zh) | 一种基于等距螺线的无人机航测方法和系统 | |
CN115511956A (zh) | 一种无人机成像定位方法 | |
CN110223233B (zh) | 一种基于图像拼接的无人机航拍建图方法 | |
CN103778610B (zh) | 一种星载线阵传感器垂轨摆扫影像的几何预处理方法 | |
US20240007752A1 (en) | Variable focal length multi-camera aerial imaging system and method | |
CN105323485B (zh) | 单相机倾斜图像采集装置及采集方法 | |
CN106289156A (zh) | 一种卫星以任意姿态成像时获取摄影点太阳高度角的方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |