CN113703465B - 大倾角高空对地成像的航向重叠率控制方法、装置及载机 - Google Patents

大倾角高空对地成像的航向重叠率控制方法、装置及载机 Download PDF

Info

Publication number
CN113703465B
CN113703465B CN202010440841.XA CN202010440841A CN113703465B CN 113703465 B CN113703465 B CN 113703465B CN 202010440841 A CN202010440841 A CN 202010440841A CN 113703465 B CN113703465 B CN 113703465B
Authority
CN
China
Prior art keywords
coordinate system
angle
course
overlapping rate
carrier
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010440841.XA
Other languages
English (en)
Other versions
CN113703465A (zh
Inventor
张雪菲
王昊
窦智
刘少明
张匀千
孙立东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changchun Institute of Optics Fine Mechanics and Physics of CAS
Original Assignee
Changchun Institute of Optics Fine Mechanics and Physics of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changchun Institute of Optics Fine Mechanics and Physics of CAS filed Critical Changchun Institute of Optics Fine Mechanics and Physics of CAS
Priority to CN202010440841.XA priority Critical patent/CN113703465B/zh
Publication of CN113703465A publication Critical patent/CN113703465A/zh
Application granted granted Critical
Publication of CN113703465B publication Critical patent/CN113703465B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/08—Control of attitude, i.e. control of roll, pitch, or yaw
    • G05D1/0808—Control of attitude, i.e. control of roll, pitch, or yaw specially adapted for aircraft
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/10—Simultaneous control of position or course in three dimensions
    • G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft

Landscapes

  • Engineering & Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明属于航空成像技术领域，提供了一种大倾角高空对地成像的航向重叠率控制方法、装置及载机，包括：建立坐标变换数学模型。航向滤波坐标系、地理坐标系及载机坐标系，然后建立航向滤波坐标系下航向重叠率模型，通过计算框架角的旋转角度并对框架角进行旋转保证重叠率在理论值范围内。本申请中利用已有的航向重叠率算法计算框架角的位置进行重叠率控制，在航向角变化较大时，会出现重叠率波动较大的情况，不利于图像的拼接；利用本发明的方法计算框架角的位置，使图像的航向重叠率达到理论要求值范围内，有利于图像拼接，提高航向重叠率精度。

Description

大倾角高空对地成像的航向重叠率控制方法、装置及载机
技术领域
本发明涉及航空成像技术领域，尤其涉及一种大倾角高空对地成像的航向重叠率控制方法、装置及载机。
背景技术
广域成像的示意图如图1所示。受成像设备瞬时航向视场角的限制，每帧图像的航向收容宽度也相应的受到了限制，如果实现广域对地成像，则需要对相邻两张的航向图像进行拼接，航向重叠率的设定必须合理，过小的重叠率会丢失地面目标，过大的重叠率会造成冗余数据过大，一般设定在12％±3％范围内。一般通过调整两轴框架角的位置，来保证航向重叠率。由于倾斜成像远端比例尺小于近端比例尺，所以通常以近端重叠率作为航向重叠率。
目前，现有的航向重叠率控制算法大多是关于垂直成像方式下的重叠率控制算法的介绍，垂直成像方式下的算法不考虑大倾角引起的坐标变化和地球椭球模型造成的映射偏差，直接利用飞机姿态信息调整两轴框架角的位置，控制相对简单，如果用该算法进行倾斜成像航向重叠率控制，会大概率出现丢失地面目标或重叠率过大的情况。现有的关于倾斜照相重叠率的实现方法是基于地理坐标信息的齐次坐标变换，来解算两轴框架角的调整位置，虽然该算法考虑了倾斜成像和航向角变化等因素，但是该方法未考虑由于航向角变化引起的像旋造成的边缘点偏离，仅适用于航向角变化量较小的情况，在航向角变化较大时，使用该方法进行倾斜成像航向重叠率控制，会出现航向重叠率波动的情况。
航向重叠率与曝光时刻的视轴指向有关，当飞机姿态和航向角发生变化时，如果不调整成像设备的框架角，视轴指向就会偏离，航向重叠率就会发生变化。现有技术在计算框架角位置时，虽然考虑了载机的姿态角、倾斜角和航向角，但其只保证了视场中心点的位置与保证重叠率的理论视轴点重合，未考虑由于航向角变化引起的像旋造成的边缘点偏离，这种偏离角位移会造成重叠率的波动。
故有必要提出一种新的技术方案，以解决上述技术问题。
发明内容
有鉴于此，本发明提出一种大倾角高空对地成像的航向重叠率高精度控制方法，考虑了载机航向角变化引起的像旋造成的边缘点偏离对航向重叠率的影响，以边缘视场视轴为基准重新计算了框架角的位置，从而使得连续两帧图像能够满足图像的重叠率指标要求。
本发明实施例的第一方面提供了一种大倾角高空对地成像的航向重叠率控制方法，所述航向重叠率控制方法包括：
建立航向滤波坐标系、地理坐标系以及载机坐标系，其中，所述地理坐标系的原点载机的质心O，N轴沿当地子午线指向北，E轴在当地水平面内且沿当地纬度线指向东，D轴沿当地参考椭球的法线指向地面，所述航向滤波坐标系由所述地理坐标系绕OD旋转λ得到；
Figure BDA0002504081270000021
其中：λ为初始帧在NED坐标系下的航向角；
获取载机拍摄当前帧图像时，视轴在航向滤波坐标系下的指向角(ψ,φ)；
拍摄下一帧图像时，若载机姿态角相对于拍摄所述当前帧图像时载机姿态角发生变化，则地理坐标系到载机坐标系的坐标变换阵为：
Figure BDA0002504081270000031
其中，(α1,β1,γ1)为载机拍摄下一帧图像时的姿态角；
拍摄下一帧图像时，视轴的坐标可表示为：
Figure BDA0002504081270000032
此时，框架角在所述拍摄下一帧图像时的载机坐标系下的调整角度
Figure BDA0002504081270000033
满足：
Figure BDA0002504081270000034
计算所述框架的调整角度
Figure BDA0002504081270000035
以通过框架角角度的调整保证所拍摄的两帧图像的重叠率在理论值范围内。
本发明实施例的第二方面提供了一种大倾角高空对地成像的航向重叠率控制装置，所述航向重叠率控制装置包括：
模型坐标系建立模块，用于建立航向滤波坐标系、地理坐标系以及载机坐标系，其中，所述地理坐标系的原点载机的质心O，N轴沿当地子午线指向北，E轴在当地水平面内且沿当地纬度线指向东，D轴沿当地参考椭球的法线指向地面，所述航向滤波坐标系由所述地理坐标系绕OD旋转λ得到；
Figure BDA0002504081270000041
其中：λ为初始帧在NED坐标系下的航向角。
数据获取模块，用于获取载机拍摄当前帧图像时，视轴在航向滤波坐标系下的指向角(ψ,φ)；
计算模块，拍摄下一帧图像时，若载机姿态角相对于拍摄所述当前帧图像时载机姿态角发生变化，则地理坐标系到载机坐标系的坐标变换阵为：
Figure BDA0002504081270000042
其中，(α1,β1,γ1)为载机拍摄下一帧图像时的姿态角；
拍摄下一帧图像时，视轴的坐标可表示为：
Figure BDA0002504081270000043
此时，框架角在所述拍摄下一帧图像时的载机坐标系下的调整角度
Figure BDA0002504081270000044
满足：
Figure BDA0002504081270000045
计算所述框架的调整角度
Figure BDA0002504081270000046
以通过框架角角度的调整保证所拍摄的两帧图像的重叠率在理论值范围内。
本发明实施例的第三方面提供了一种载机，所述载机通过如上述第一方面所述的方法调整其进行大倾角高空对地成像时的航向重叠率。
本发明实施例与现有技术相比存在的有益效果：本申请中利用已有的航向重叠率算法计算框架角的位置进行重叠率控制，在航向角变化较大时，会出现重叠率波动较大的情况，不利于图像的拼接；利用本发明的方法计算框架角的位置，使图像的航向重叠率达到理论要求值范围内，有利于图像拼接，提高航向重叠率精度。
附图说明
为了更清楚地说明本发明实施例的技术方法，下面将实施例或现有技术描述中所需要的附图作简单介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图得到其他的附图。
图1为本发明提供的传统广域成像的示意图；
图2为本发明实施例提供的不同坐标系坐标变换数学模型；
图3为本发明实施例提供的航向滤波坐标系下航向重叠率模型；
图4为本发明实施例提供的航向重叠率控制方法中考虑偏离角时位移补偿原理；
图5为本发明实施例提供的载机实际飞行图像对比图。
具体实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定结构、技术之类的具体细节，以便透彻理解本发明提供的实施例。然而，本领域技术人员应当清楚，在没有这些具体细节的其他实施例中也可以实现本发明。在其他情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本发明的描述。
航向重叠率与曝光时刻的视轴指向有关，当飞机姿态和航向角发生变化时，如果不调整成像设备的框架角，视轴指向就会偏离，航向重叠率就会发生变化。现有技术在计算框架角位置时，虽然考虑了载机的姿态角、倾斜角和航向角，但其只保证了视场中心点的位置与保证重叠率的理论视轴点重合，未考虑由于航向角变化引起的像旋造成的边缘点偏离，这种偏离角位移会造成重叠率的波动。因此，本发明在计算成像设备的框架角时，考虑了载机的姿态角、倾斜角和航向角的同时，还将边缘点偏离考虑进去，提高航向重叠率的控制精度。
具体实施步骤如下：
步骤1、如图2所示，建立坐标变换数学模型。航向滤波坐标系O-xLLyLLzLL，地理坐标系O-NED，载机坐标系O-xACyACzAC。
地理坐标系是指原点选在载机的质心O，N轴沿当地子午线指向北，E轴在当地水平面内且沿当地纬度线指向东，D轴沿当地参考椭球的法线指向地面。
航向滤波坐标系是指忽略当前帧与下一帧航向角变化的坐标系，航向滤波坐标系是地理坐标系绕OD旋转λ生成的，坐标变换阵为：
Figure BDA0002504081270000061
设视轴在航向滤波坐标系下的指向角为(ψ,φ)，绕x轴转ψ，绕y轴转φ则视轴在航向滤波坐标系下的坐标表示为：
Figure BDA0002504081270000071
设姿态角为(α,β,γ)，地理坐标系到载机坐标系的坐标变换阵为：
Figure BDA0002504081270000072
步骤2、如图3所示，建立航向滤波坐标系下航向重叠率模型。设视轴在航向滤波坐标系下的指向角为(ψ,0)，设备的航向视场角为2φ，在当前滤波坐标系下，忽略下一帧航向角的变化，保证下一帧成像时，边缘视场的视轴与O1B2重合，这样A1B2占的A1A2比例就是设定的航向重叠率。O1B2在载机坐标系下的坐标表达式为：
Figure BDA0002504081270000073
步骤3、如图4所示，理想情况下，航向角不变化时，下一帧图像应为图中B1B2B3B4包括的面积，此时近端航向重叠率为理论值。当算法未考虑航向角变化时，下一帧图像为图中E1E2E3E4包括的面积，近端航向重叠率为负值，出现数据丢失现象。如现有算法，仅考虑航向角变化，但未考虑像旋造成的边缘点偏离时，下一帧图像如图中C1C2C3C4包括的面积，近端航向重叠率小于理论值，根据航向角不同，重叠率值会出现波动。既考虑航向角变化，又考虑像旋造成的边缘点偏离时，下一帧图像如图中D1D2D3D4包括的面积，近端航向重叠率等于理论值，即使航向角不同，重叠率值也不会出现波动。这样就可以消除偏离角位移会造成重叠率的波动。
载机姿态角变化时，地理坐标系到载机坐标系的坐标变换阵为：
Figure BDA0002504081270000081
O1B2在新载机坐标系下的坐标表达式为：
Figure BDA0002504081270000082
只需要将O1B2在新载机坐标系下的坐标通过旋转框架角转到原坐标下的位置即可，这样就可以精确控制航向重叠率。设备框架角需要调整的位置为
Figure BDA0002504081270000085
则：
Figure BDA0002504081270000083
求解方程后获得框架角控制量信息
Figure BDA0002504081270000084
可以消除航向角变化产生的重叠率波动。
本发明的大倾角高空对地成像的航向重叠率高精度控制算法，利用坐标变换求得边缘视场视轴矢量在航向变化前后坐标系下的变化量，计算框架角的调整量，解决了在航向角变化、飞机姿态变化等引起航向重叠率波动的问题。
利用背景中技术进行了实际飞行的拍照图像，由传感器获取了飞机姿态角、目标倾斜角、框架角等信息，绘制出在地理坐标系下的投影，如图5所示。理想情况下，航向角不变化时，应为图中B1B2B3B4部分，此时近端航向重叠率为理论值12％。当算法未考虑航向角3°变化时，为图中E1E2E3E4部分，近端航向重叠率为负值-82％，出现数据丢失现象。如现有算法，仅考虑航向角3°变化，但未考虑像旋造成的边缘点偏离时，如图中C1C2C3C4部分，近端航向重叠率为10％小于理论值，根据航向角不同，重叠率值会出现波动。既考虑航向角3°变化，又考虑像旋造成的边缘点偏离时，如图中D1D2D3D4部分，近端航向重叠率为12％等于理论值，即使航向角不同，重叠率值也不会出现波动。
本发明提供的大倾角高空对地成像的航向重叠率高精度控制方法，解决了现有方法在航向角变化较大时，重叠率随之波动，导致相邻两幅图像重叠区域过大或者出现拉缝等问题。本方明考虑了载机航向角变化引起的像旋造成的边缘点偏离对航向重叠率的影响，以边缘视场视轴为基准重新计算了框架角的位置，从而使得连续两帧图片能够满足图像的重叠率指标要求。利用本发明的方法计算框架角的位置，使图像的航向重叠率达到12％±1％范围内，有利于图像拼接，提高航向重叠率精度。
综上所述，以上仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
以上实施例仅用于对本发明进行说明，而非限定；尽管参照前述实施例对本发明进行了详细说明，本领域普通技术人员应该理解：其依然可以对前述各实施例所记载的技术方案进行修改，或对其中部分技术特征进行等同替换；而这些修改或替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (3)

1.一种大倾角高空对地成像的航向重叠率控制方法，其特征在于，所述航向重叠率控制方法包括：
建立航向滤波坐标系、地理坐标系以及载机坐标系，其中，所述地理坐标系的原点载机的质心O，N轴沿当地子午线指向北，E轴在当地水平面内且沿当地纬度线指向东，D轴沿当地参考椭球的法线指向地面，所述航向滤波坐标系由所述地理坐标系绕OD旋转λ得到；
Figure FDA0002504081260000011
其中：λ为初始帧在NED坐标系下的航向角；
获取载机拍摄当前帧图像时，视轴在航向滤波坐标系下的指向角(ψ,φ)；
拍摄下一帧图像时，若载机姿态角相对于拍摄所述当前帧图像时载机姿态角发生变化，则地理坐标系到载机坐标系的坐标变换阵为：
Figure FDA0002504081260000012
其中，(α1,β1,γ1)为载机拍摄下一帧图像时的姿态角；
拍摄下一帧图像时，视轴的坐标可表示为：
Figure FDA0002504081260000013
此时，框架角在所述拍摄下一帧图像时的载机坐标系下的调整角度
Figure FDA0002504081260000014
满足：
Figure FDA0002504081260000021
计算所述框架的调整角度
Figure FDA0002504081260000022
以通过框架角角度的调整保证所拍摄的两帧图像的重叠率在理论值范围内。
2.一种大倾角高空对地成像的航向重叠率控制装置，其特征在于，所述航向重叠率控制装置包括：
模型坐标系建立模块，用于建立航向滤波坐标系、地理坐标系以及载机坐标系，其中，所述地理坐标系的原点载机的质心O，N轴沿当地子午线指向北，E轴在当地水平面内且沿当地纬度线指向东，D轴沿当地参考椭球的法线指向地面，所述航向滤波坐标系由所述地理坐标系绕OD旋转λ得到；
Figure FDA0002504081260000023
其中：λ为初始帧在NED坐标系下的航向角；
数据获取模块，用于获取载机拍摄当前帧图像时，视轴在航向滤波坐标系下的指向角(ψ,φ)；
拍摄下一帧图像时，若载机姿态角相对于拍摄所述当前帧图像时载机姿态角发生变化，则地理坐标系到载机坐标系的坐标变换阵为：
Figure FDA0002504081260000024
其中，(α1,β1,γ1)为载机拍摄下一帧图像时的姿态角；
拍摄下一帧图像时，视轴的坐标可表示为：
Figure FDA0002504081260000031
此时，框架角在所述拍摄下一帧图像时的载机坐标系下的调整角度
Figure FDA0002504081260000032
满足：
Figure FDA0002504081260000033
计算所述框架的调整角度
Figure FDA0002504081260000034
以通过框架角角度的调整保证所拍摄的两帧图像的重叠率在理论值范围内。
3.一种载机，其特征在于，所述载机通过如权利要求1所述的方法调整其进行大倾角高空对地成像时的航向重叠率。
CN202010440841.XA 2020-05-22 2020-05-22 大倾角高空对地成像的航向重叠率控制方法、装置及载机 Active CN113703465B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010440841.XA CN113703465B (zh) 2020-05-22 2020-05-22 大倾角高空对地成像的航向重叠率控制方法、装置及载机

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010440841.XA CN113703465B (zh) 2020-05-22 2020-05-22 大倾角高空对地成像的航向重叠率控制方法、装置及载机

Publications (2)

Publication Number Publication Date
CN113703465A CN113703465A (zh) 2021-11-26
CN113703465B true CN113703465B (zh) 2023-02-10

Family

ID=78646191

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010440841.XA Active CN113703465B (zh) 2020-05-22 2020-05-22 大倾角高空对地成像的航向重叠率控制方法、装置及载机

Country Status (1)

Country Link
CN (1) CN113703465B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005156514A (ja) * 2003-11-27 2005-06-16 Kokusai Kogyo Co Ltd 空中写真画像データーセットの構成方法
CN107507132A (zh) * 2017-09-12 2017-12-22 成都纵横自动化技术有限公司 一种无人机航摄影像的实时拼接方法
CN107635096A (zh) * 2017-09-29 2018-01-26 中国科学院长春光学精密机械与物理研究所 一种增加照相重叠率的全景航空相机倾斜成像方法
CN111026165A (zh) * 2019-12-02 2020-04-17 西安应用光学研究所 基于机载光电系统的瞄准线广域扫描控制方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005156514A (ja) * 2003-11-27 2005-06-16 Kokusai Kogyo Co Ltd 空中写真画像データーセットの構成方法
CN107507132A (zh) * 2017-09-12 2017-12-22 成都纵横自动化技术有限公司 一种无人机航摄影像的实时拼接方法
CN107635096A (zh) * 2017-09-29 2018-01-26 中国科学院长春光学精密机械与物理研究所 一种增加照相重叠率的全景航空相机倾斜成像方法
CN111026165A (zh) * 2019-12-02 2020-04-17 西安应用光学研究所 基于机载光电系统的瞄准线广域扫描控制方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
Preparing for space: Increasing technical readiness of low-cost high-performance remote sensing using high-altitude ballooning;StevenHobbs;《Advances in Space Research》;20221230;全文 *
TDI-CCD全景式航空相机对地目标定位的算法;杜言鲁等;《光学学报》(第03期);全文 *
全景式航空相机摄影起始角误差抑制方法;徐正平;《红外 与激光工程》;20130831;第42卷(第8期);全文 *
基于图像匹配的机载遥感影像质量自动检查方法研究;段福洲;《测绘科学》;20101130;第35卷(第6期);全文 *
某型航侦CCD相机图像重叠率波动分析;马广富等;《光电工程》;20100615(第06期);全文 *

Also Published As

Publication number Publication date
CN113703465A (zh) 2021-11-26

Similar Documents

Publication Publication Date Title
US9797980B2 (en) Self-calibrated, remote imaging and data processing system
US8085308B2 (en) Image correction device, method, integrated circuit and system for correcting images captured by a camera provided in a moving object
CA2513514C (en) Compensation for overflight velocity when stabilizing an airborne camera
US8994822B2 (en) Infrastructure mapping system and method
JP6282275B2 (ja) インフラストラクチャマッピングシステム及び方法
JP2008186145A (ja) 空撮画像処理装置および空撮画像処理方法
KR101450702B1 (ko) 지상면의 연직촬영 유지를 통한 고정밀 항공촬영 편집방법이 적용된 시스템
EP2558953A1 (en) Self-calibrated, remote imaging and data processing system
CN106325305A (zh) 对地定位或导航用相机、飞行器及其导航方法和系统
CN110223233B (zh) 一种基于图像拼接的无人机航拍建图方法
CN108801225A (zh) 一种无人机倾斜影像定位方法、系统、介质及设备
CN111247389B (zh) 关于拍摄设备的数据处理方法、装置及图像处理设备
CN110896331A (zh) 一种测量天线工程参数的方法和装置
CN106289156B (zh) 一种卫星以任意姿态成像时获取摄影点太阳高度角的方法
JP5857419B2 (ja) 目標標定装置及び目標標定方法
CN113703465B (zh) 大倾角高空对地成像的航向重叠率控制方法、装置及载机
CN107635096B (zh) 一种增加照相重叠率的全景航空相机倾斜成像方法
CN111444385B (zh) 一种基于影像角点匹配的电子地图实时视频镶嵌方法
USRE49105E1 (en) Self-calibrated, remote imaging and data processing system
CN103335635A (zh) 航摄仪子相机倾斜角度调节方法
JP3527160B2 (ja) 撮影指示システム、撮影指示方法及び記録媒体
CN110191311A (zh) 一种基于多无人机的实时视频拼接方法
US20210341922A1 (en) Optical object tracking on focal plane with dynamic focal length
CN116839595B (zh) 一种创建无人机航线的方法
JP3364257B2 (ja) 空中写真撮影方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant