CN114544006A - 一种基于环境光照条件的低空遥感影像校正系统及方法 - Google Patents

一种基于环境光照条件的低空遥感影像校正系统及方法 Download PDF

Info

Publication number
CN114544006A
CN114544006A CN202210017524.6A CN202210017524A CN114544006A CN 114544006 A CN114544006 A CN 114544006A CN 202210017524 A CN202210017524 A CN 202210017524A CN 114544006 A CN114544006 A CN 114544006A
Authority
CN
China
Prior art keywords
image
cloud layer
remote sensing
acquisition module
cloud
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210017524.6A
Other languages
English (en)
Other versions
CN114544006B (zh
Inventor
艾梦池
周源
曾勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Tongfan Survey Engineering Technology Co ltd
Original Assignee
Shanghai Tongfan Survey Engineering Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Tongfan Survey Engineering Technology Co ltd filed Critical Shanghai Tongfan Survey Engineering Technology Co ltd
Priority to CN202210017524.6A priority Critical patent/CN114544006B/zh
Publication of CN114544006A publication Critical patent/CN114544006A/zh
Application granted granted Critical
Publication of CN114544006B publication Critical patent/CN114544006B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00Radiation pyrometry, e.g. infrared or optical thermometry
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/165Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02ATECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Automation & Control Theory (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种基于环境光照条件的低空遥感影像校正系统,包括:云层观测装置,所述云层观测装置包括影像采集模块、位置姿态采集模块和存储模块,所述存储模块存储记录影像采集模块的数字信息和可交换图像文件信息;控制模块,用于同步控制影像采集模块和位置姿态采集模块的曝光时间;固定装置,安置于无人机顶部,适于将云层观测装置和控制模块固定在无人机上,所述固定装置上设有高反射率贴片,实现数据采集前的几何标定。本发明还提供了一种基于环境光照条件的低空遥感影像校正方法,通过利用同步采集的云层影像,识别云层位置与厚度,辅助多光谱遥感影像消除环境光变化影响,提升遥感影像的相对辐射校正精度与遥感数据,校正产品质量。

Description

一种基于环境光照条件的低空遥感影像校正系统及方法
技术领域
本发明涉及低空多光谱遥感影像相对辐射校正技术领域,尤其涉及一种基于环境光照条件的低空遥感影像校正系统及方法。
背景技术
无人机多光谱遥感影像在进行数据采集过程中,由于其飞行高度与飞行速度的限制,往往在云层下方进行飞行与对地观测。受云层影响,观测过程中环境光变化快、变化幅度大,给无人机遥感影像相对辐射校正造成了困难,导致单次采集影像辐射特性的不一致性,其具体表现在:
无人机遥感影像在进行数据采集过程中的遥感影像极易受到云层移动的影响,导致在单次航路飞行过程中,相对辐射校正受到影响。
现有技术当中,已有针对无人机低空遥感系统的相对辐射方法主要包括黑暗像元法、直方图匹配法与不变目标法等,其中:
黑暗像元法的基本原理为:基于待校正的遥感图像上存在黑暗像元区域、地表朗伯面反射、大气反射均匀一致的反射率很小或辐射亮度值很小的区域,该选取区域所产生的亮度值即视作由于大气辐射影响所产生,代入大气校正模型后,即可得到当前大气校正参数。
直方图匹配法的基本原理为:基于相同目标地物将具有相同的反射率,从而可得到受到大气影响的区域与没有受到大气影响区域的影响因子,继而得到影响区域的大气校正参数,并对影响区域进行归一化。
不变目标法的基本原理为:基于不同时相影像中相同目标地物的相同反射率,利用线性回归的方式,可进行大气校正参数的求解。
以上相对辐射校正方法虽然实现了测量区域内大气参数的求解,但是大气参数的求解均是基于环境光无变化及目标地物辐射照度值没有变化的基础之上进行的。
针对无人机单次航路飞行过程中,环境光的变化所带来的光照度变化,其所引发的大气校正参数会存在不一样的问题。由此,在进行高精度相对辐射校正过程中,需要针对云层出现、运动及变化的影像,仍需亟待解决不同影像中由于云层遮罩不一致,所导致的同一目标地物辐射特性不一致的问题,及同一影像上存在着不同区域云层遮罩条件不一致,所导致的影像不同区块辐射亮度值不一致的问题。
发明内容
本发明提供一种基于环境光照条件的低空遥感影像校正系统,以解决无人机在单次飞行过程中因云层带来环境光变化,导致所产生的相同目标地物具有不同辐射特性的技术问题。
为解决上述问题,本发明提供一种基于环境光照条件的低空遥感影像校正系统,该校正系统包括:
云层观测装置,所述云层观测装置包括影像采集模块、位置姿态采集模块和存储模块,
所述影像采集模块用于采集无人机上方云层的可见光影像,所述位置姿态采集模块用于确定所述影像采集模块的绝对地理位置,所述存储模块用于存储所拍摄的可见光影像和位置信息,并记录影像的可交换图像文件信息;
控制模块,与所述影像采集模块、所述位置姿态采集模块和所述存储模块电性连接,用于同步控制所述影像采集模块和所述位置姿态采集模块的曝光时间;
固定装置,安置于无人机顶部,所述固定装置适于将所述云层观测装置和所述控制模块固定在所述无人机上;
所述固定装置上设有高反射率贴片,所述高反射率贴片与对地观测传感器之间具有固定的几何位置关系,以实现所述影像采集模块与所述对地观测传感器之间的相对位置具有固定的坐标转换关系,并实现数据采集前的几何标定。
优选的,所述影像采集模块包括光学镜头、感光元件和成像元件,所述光学镜头用于将光学影像反射光聚焦至所述感光元件,所述感光元件用于将所述光学镜头采集的光学影像信号转换为电信号后进一步转换为RGB数字信号,所述对地观测传感器用于采集目标地物真值辐射亮度值信号,所述成像元件用于建立RGB数字信号与目标地物真值辐射亮度值信号的数学模型,以获取目标地物的反射率与辐射特性。
优选的,所述位置姿态采集模块为组合惯导装置,所述组合惯导装置安装在所述影像采集模块附近,且与所述影像采集模块刚性链接。
优选的,所述组合惯导装置包括惯性测量装置IMU、全球导航卫星系统GNSS和计算系统,其中:
所述惯性测量装置IMU通过惯性导航解算算法以获取云层影像的位姿信息;
所述全球导航卫星系统GNSS通过GPS动态定位技术解求GPS天线相位中心位置;
所述计算系统通过处理POS系统在飞行中获得的所述惯性测量装置IMU、GPS原始数据以及GPS基准站数据所得到最优的组合导航解,以解算每张影像在曝光瞬间的绝对地理位置。
优选的,所述位置姿态采集模块采用单目SFM方法或双目后方交会方法以获取云层影像的各时刻POS信息;
所述单目SFM方法采用单目影像采集装置,所述单目SFM方法的具体过程包括:
基于具有一定重叠度的曝光影像,提取云层边界作为点、线特征,进行影像的特征提取;
利用所提取的同名特征,进行特征配准,进行同名点对的相对变换矩阵计算;
进行影像的全局优化,得到各拍摄时刻的相对位置与相对姿态;
所述双目后方交会方法采用双目影像采集装置,所述双目后方交会方法的具体过程包括:
基于双目影像采集装置在同时拍摄过程中所产生的立体像对,利用其同名光线相交成对的几何关系,获得拍摄时刻成像单元的绝对地理位置信息;
利用低空对地观测航摄成果中计算得到的POS信息推算云层相机的POS信息。
本发明的另一目的还在于提供一种基于环境光照条件的低空遥感影像校正方法,包括:
S1:边缘识别,云层提取,
采用立体视觉法和图像处理法中一种或者组合,以实现云层边界划分;
S2:云层定位位置转换,
采用单目前方交会或者双目前方交会方法,来确定其云层边缘在地理坐标坐标系中的位置,基于云层观测与对地观测之间的相对固定位置关系,建立云层观测RGB数字信号与目标地物真值辐射亮度值信号的数学模型,通过数学模型将云层观测的影像转换到对地观测的影像中,实现云层观测位置信息与对地观测位置信息的空间位置转换;
S3:云层性质识别,
依据灰度与纹理或辐射亮度或历史数据与观测特征相结合的方法,推算环境光所受到云层影响的阳光遮罩比率;
S4:环境光照校正,所述环境光照校正的具体步骤为:
S41:根据太阳高度角和方位角、云层位置和大小,以及对地观测影像的投影面,判断是否为完全遮罩;
S42:针对对地观测数据的单次曝光所获得的单幅遥感影像,判断该单幅遥感影像是否完全属于环境光的影响范围;
S43:判断所述单幅遥感影像是否被云层完全还是部分区域被云层遮挡;
S44:若所述单幅遥感影像完全被云层遮挡,则根据遮罩系数,纠正各波段影像的辐射亮度;
S45:若所述单幅遥感影像部分区域被云层遮挡,则根据云层位置、性质,对对地观测影像进行分割成不同区块,采用对应云层的遮罩系数,纠正各波段影像在该区块内的辐射亮度。
优选的,所述立体视觉法具体包括:
采用多影像密集匹配的方式,得到云层的三维几何特征,实现二维轮廓的分割。
优选的,所述图像处理法具体包括:
针对云层稀疏、边界较为模糊的云层,利用影像中的辐射、纹理、时相在内的特征,使用支持向量机、马尔科夫随机场模型、多层次语义分割图像分类算法,实现针对云层的类别提取,并根据类别的划分,实现云层的边界提取。
优选的,在步骤S2中,
所述单目前方交会方法的具体内容为:
利用相邻拍摄的单目影像,使用两张像片在地理坐标下的绝对坐标,计算两张影像的外方位元素;
结合云层边缘信息,确定云层同名像素点在地理坐标系下的坐标;
根据已计算出的各像片外方位元素中的角元素组成旋转矩阵;
根据线元素计算影像基线的线分量,求解云层边缘在地理坐标系中的空间坐标;
所述双目前方交会方法的具体内容为:
基于双目影像采集装置,由立体像对中左右两张影像的内、外方位元素;
结合所提取的云层边缘像素坐标位置,在立体像对中找到同名像素位置坐标量测,来确定其云层边缘在地理坐标坐标系中的位置。
优选的,在步骤S3中,依据灰度与纹理方法,估算阳光遮罩比率的具体内容包括:
基于云层边界划分,得到云层边缘在影像中的提取结果;
基于云层定位,得到云层在地理坐标系下的空间位置;
确定环境光受云层遮挡区域与环境光不受云层遮挡区域,推算环境光所受到云层影响的阳光遮罩比率;
其中,依据辐射亮度方法,估算阳光遮罩比率的具体内容包括:
使用已进行辐射定标的感光元件,得到云层影像的辐射亮度值影像,推算环境光所受到云层影响的阳光遮罩比率;
其中,所述历史数据具体包括:飞行区域已有的低空遥感影像、飞行区域目标标志地物的光谱曲线、飞行区域的卫星遥感影像、当前对地观测数据提供标准地物的辐射特性和太阳辐射强度的历史情况。
本发明与现有技术相比具有显著的优点和有益效果,具体体现在以下方面:
1、本发明设计了一套用于低空多光谱遥感影像进行精确相对辐射校正的系统,该系统安置于无人机顶部,可在无人机进行飞行过程中同步采集所在空域的云层图像,并确定环境光变化影响区域与影响因子。同时设计针对精确相对辐射校正系统的相对辐射校正方法,去除环境光变化所导致的同一地物不同辐射特性的问题,并进行基于大气传输模型的相对辐射校正。
2、针对低空遥感的处于云层下方的飞行特性,设计采集云层位置信息、云层属性信息、云层对地面影响范围与程度的云层信息采集系统,同时通过提取云层对地面影响范围与遮罩比率,很好的解决了低空遥感影像在进行数据采集过程中受云层遮罩影响所带来的环境光变化问题,从而大幅度提高了低空遥感数据的数据精度,排除数据采集过程中所受的环境影响。
附图说明
图1为本发明实施例中基于环境光照条件的低空遥感影像校正方法的流程示意图;
图2为本发明实施例中环境光照校正的具体流程示意图;
图3为本发明实施例中基于环境光照条件的低空遥感影像校正系统的机构示意图;
图4为本发明实施例中影像采集模块的结构示意图。
附图标记说明:
1-云层观测装置;11-影像采集模块;111-光学镜头;112-感光元件;113-成像元件;12-位置姿态采集模块;13-存储模块;2-控制模块;3-固定装置;31-高反射率贴片;4-对地观测传感器。
具体实施方式
为使本发明的上述目的、特征和优点能够更为明显易懂,下面结合附图对本发明的具体实施例做详细的说明。
如图3所示,本发明的实施例提供一种基于环境光照条件的低空遥感影像校正系统,该校正系统包括:
云层观测装置1,其中云层观测装置1包括影像采集模块11、位置姿态采集模块12和存储模块13,
影像采集模块11用于采集无人机上方云层的可见光影像,位置姿态采集模块12用于确定影像采集模块11的绝对地理位置,存储模块13用于存储所拍摄的可见光影像和位置信息,并记录影像的可交换图像文件信息,本实施例中存储模块13使用SD卡的存储方式进行可见光影像和位置信息数据的存储。
控制模块2,用于控制影像采集模块11进行相等曝光时间间隔的曝光处理,并控制将影像的EXIF信息与感光元件112所记录的RGB影像保存于存储模块13中;
固定装置3,安置于无人机的顶部,固定装置3适于将云层观测装置1和控制模块2固定在无人机上;
另外,固定装置3上还设有高反射率贴片31,高反射率贴片31与对地观测传感器4之间具有固定的几何位置关系,以实现影像采集模块11与对地观测传感器4之间的相对位置具有固定的坐标转换关系,并可实现数据采集前的几何标定。
需要说明的是,在本实施案例中,低空遥感影像利用无人机挂载多光谱传感器的方式进行。
具体地,请参阅图4所示,影像采集模块11包括光学镜头111、感光元件112和成像元件113,其中光学镜头111用于将光学影像反射光聚焦至所述感光元件112,感光元件112用于将光学镜头111采集的光学影像信号转换为电信号后进一步转换为RGB数字信号,对地观测传感器4用于采集目标地物真值辐射亮度值信号,成像元件113用于建立RGB数字信号与目标地物真值辐射亮度值信号的数学模型,以获取目标地物的反射率与辐射特性。
需要特别说明的是,影像采集模块11可采用单目影像相机或者双目影像相机,以用于进行云层影像的数据采集。在本实施案例中,影像采集模块11包含光学镜头111,其作用在于将光学影像的反射光聚焦至感光元件112上,光学镜头111具有较大视场,较大视场可保证高效率采集天空中的云层分布信息。优选的,本实施例中采用广角镜头作为光学镜头。
与单目影像相机的区别在于,采用双目影像相机时,可采用后方交会方式得到影像采集过程中的空间地理坐标POS,减少曝光次数与曝光重叠度的要求,作为本实施例中的最佳优选方式,本实施例采用单目相机的方式进行云层影像数据的采集。
需要说明的是,光学镜头111的关键参数,例如焦距、景深和光圈,而光圈的稳定性与云层提取的精度成正比。在本发明的实施例当中,光学镜头111可使用一般的标准镜头和广角镜头。同时,根据光圈的分类,可使用固定光圈式镜头、手动光圈式镜头或自动光圈式镜头。更优的,为提高拍摄效率,并在单帧影像中具有较广的视场范围,可采用具有较大视场、短焦距、长景深的广角镜头,即具有较大视角(Field of vision,FOV)。
在本实施案例中,感光元件112即为图像传感器,感光元件112用于将光学镜头111采集的光学影像信号转换为电信号进行存储,也即感光元件112存储光学镜头111所采集的云层分布数字影像。
需要进一步说明的是,数字影像可以采用数字响应值(Digital number)的形式,更具体地,数字影像可以通过RGB数字信号来作为数字响应值的具体表现形式。这样,数字影像存储具有云层分布信息的RGB数字影像。
另外,感光元件112的尺寸、像素、信噪比也将影响数字影像的质量。作为本实施例的最佳优选方式,本发明中的感光元件112可使用电荷耦合元件CCD,或互补金属氧化物半导体感光元件CMOS。其中,电荷耦合元件CCD与互补金属氧化物半导体感光元件CMOS将光学镜头111所采集的光线转换为电荷,并转换为RGB数字信号进行存储。
成像元件113可采集目标地物的辐亮度,针对感光元件112所采集的RGB数字信号,采用的是已经进行绝对辐射标定的感光元件112,该绝对辐射标定的意义在于,该感光元件112在进行数据采集前,已进行过实验室绝对辐射校正,从而建立RGB数字信号与目标地物真值辐射亮度值信号的数学模型,在获得RGB数字信号后,可进行逐像素的辐射校正,从而获得可以表述影像中目标地物的反射率与辐射特性。
具体地,请参阅图2所示,位置姿态采集模块12为组合惯导装置,组合惯导装置安装在影像采集模块11的附近,且与影像采集模块11刚性链接。
在本实施例当中,位置姿态采集模块12用于无人机在飞行过程中采集云层影像的位姿信息,位置姿态采集模块12将采集无人机在飞行过程中基于统一地理坐标系下的空间坐标(XYZ)及姿态信息(yaw,pitch,roll),该空间坐标信息(XYZ)与姿态信息(yaw,pitch,roll)可用于计算云层的具体位置与其在地面的覆盖位置。
具体地,请参阅图2所示,组合惯导装置包括惯性测量装置IMU、全球导航卫星系统GNSS和计算系统,其中:
惯性测量装置IMU包括三个加速度计、三个陀螺仪、数字化电路和中央处理器,
全球导航卫星系统GNSS包括导航卫星和接收机,并采用载波相位差分的GPS动态定位技术解求GPS天线相位中心位置。
更进一步的,位置姿态采集模块12可采用但不限于以下位置信息采集方式:
方式一:位置姿态采集模块12通过组合惯导装置获得位姿信息。
为此,在影像采集模块11的附近安装组合惯导装置,并使两者刚性链接。由此,全球导航卫星系统GNSS采用GPS与惯导结合的方式获取位置姿态信息。
本实施例中,固定装置3采用碳素板材料,搭载影像采集模块11与全球导航卫星系统GNSS进行固连,并安置于无人机的顶部。
其中,在本实施例中,惯性测量装置IMU由三个加速度计、三个陀螺仪、数字化电路和一个执行信号调节及温度补偿功能的中央处理器组成。
全球导航卫星系统GNSS由导航卫星和GNSS接收机组成,导航卫星可采用但不限于GPS和北斗卫星,并采用载波相位差分的GPS动态定位技术解求GPS天线相位中心位置。
计算系统内安装有后处理软件,后处理软件通过处理POS系统在飞行中获得的IMU和GPS原始数据以及GPS基准站数据,得到最优的组合导航解,当POS系统用于摄影测量时,最后还需要利用后处理软件解算每张影像在曝光瞬间的外方位元素。
方式二:位置姿态采集模块12通过单目SFM方法得到POS信息。
在影像采集系统为单目镜头与感光装置时,可采用单目SFM方法得到高精度POS信息。其具体实现方式包括如下步骤:
基于具有一定重叠度的曝光影像,提取云层边界作为点、线特征,进行影像的特征提取;
利用所提取的同名特征,进行特征配准,进行同名点对的相对变换矩阵计算;
最后进行影像的全局优化,得到各拍摄时刻的相对位置与相对姿态,从而获得影像的高精度地理位置。
方式三:位置姿态采集模块12通过双目后方交会方法得到POS信息。
基于双目影像采集模块114,在已知影像采集系统的内方位元素情况下,基于双目在同时拍摄过程中所产生的立体像对,利用其同名光线相交成对的几何关系,获得拍摄时刻成像单元的外方位元素,即为其相邻两影像的相对位置参数。
方式四:利用低空对地观测航摄成果中计算得到的POS信息,推算云层相机的POS信息。
在进行低空飞行过程中,无人机在不同时刻、不同地理位置进行曝光的对地影像,利用航测仪器、影像匹配、解析空中三角测量等方法进行数据加工处理,生成数字正射影像(DOM)等低空对地观测航摄成果,该成果中所包含的无人机不同时刻所处的绝对地理坐标可作为POS数据,结合影像采集模块与对地航摄仪器的相对位置关系,进而推算云层影像的各时刻POS信息。
由此,增加融合上述4种或4种中任意几种技术,以提供初值,交互验证,位姿数据融合等方式,获得更加精确、鲁棒性更高的位置姿态采集方法。
具体地,请参阅图2所示,该存储模块13记录影像采集模块11的感光元件112的数字信号,还包括RGB数字信号。更佳的,若使用可采集辐亮度的成像元件113,则存储云层信息影像的辐射亮度值。
该存储模块13还存储记录EXIF信息,除数字影像的数字响应值,存储模块13记录各影像的EXIF信息,即可交换图像文件,其实际作用为添加其相关拍摄信息的内容,其中拍摄信息的内容包括记录影像的曝光时刻、ISO、曝光间隔等影像信息。
具体地,请参阅图3所示,控制模块2可控制影像采集模块11进行单独触发信号的发射,即按照固定的曝光间隔进行曝光。
在本实施例中,控制模块2控制影像采集模块11进行曝光间隔为1s的影像采集,调节影像采集采用自动白平衡方式,在低空数据采集过程中,影像采集模块11持续采集包含云层信息的RGB影像。
更佳的,控制模块2控制影像采集模块11与对地观测传感器4同步曝光,与按照固定的曝光间隔进行曝光的方式相比,该同步曝光控制方式可简化利用低空对地观测航摄成果中计算得到的POS信息,推算云层相机的POS信息的推算方式,可基于时间同步的方式,直接获取云层影像的POS信息。
具体地,请参阅图3所示,该校正系统包括固定装置3,固定装置3安置于无人机的顶部,并通过固定装置3将云层观测装置1和控制模块2安置于无人机顶部,并保持所有装置处于安全固连的状态,更佳的,固定装置3与对地观测传感器4的相对位置保持不变且可标定。
另外,固定装置3上还具有高反射率贴片31,并与对地观测传感器4具有固定的几何位置关系,可实现云层观测装置1与对地观测传感器4的相对位置具有固定的坐标转换关系,并可实现数据采集前的几何标定。
请参阅图1、2所示,本发明还提供了一种基于环境光照条件的低空遥感影像校正方法,该校正方法包括如下步骤:
S1:云层边缘识别,提取云进行分割,
采用阈值法、立体视觉法和图像处理法中一种或者组合,以实现云层边界划分,提取云后进行云分割。
在本实施例中,云层边缘识别可归属于模式识别的问题,在高分辨率可见光影像中,云区内部在数字影像上将表现为内部纹理单一,在边界部分与天空具有明显的色彩差异。为此,针对拍摄情况的不同与出现云层的不同情况,可采用阈值法、立体视觉法和图像处理法中的一种或者组合方法,来实现云层边界的划分。
作为本实施例最佳的优选方式,可按云层厚度对云进行分割,在对云层的边缘进行分割后,在云层的内部,云层具有的不同厚度,表现在云层在影像中具有不同的数字响应值,具体表现在其RGB影像不同(辐射亮度值影像),当云层越厚,其所具有的数字响应值越大,由此根据该趋势,可对云层厚度进行分割处理,实现云层对环境光的处理更为精确。
S2:云层定位位置转换,
采用单目前方交会或者双目前方交会方法,来确定其云层边缘在地理坐标坐标系中的位置;
在得到云层的位置后,由于飞机顶部具有相对位置固定的高反射率贴片31和对地观测传感器4,通过高反射率贴片31与对地观测传感器4之间的固定几何位置关系,可实现影像采集装置与对地传感器相对位置具有固定的坐标转换关系,从而建立RGB数字信号与目标地物真值辐射亮度值信号的数学模型,通过数学模型将云层观测的影像转换到对地观测的影像中,实现云层观测位置信息与对地观测位置信息的空间位置转换。
S3:云层性质识别,
依据灰度与纹理或辐射亮度或历史数据与观测特征相结合的方法,推算环境光所受到云层影响的阳光遮罩比率;
S4:环境光照校正,所述环境光照校正的具体步骤为:
S41:根据太阳高度角和方位角、云层位置和大小,以及对地观测影像的投影面,判断是否为完全遮罩;
S42:针对对地观测数据的单次曝光所获得的单幅遥感影像,判断该单幅遥感影像是否完全属于环境光的影响范围;
S43:判断所述单幅遥感影像是否被云层完全还是部分区域被云层遮挡;
S44:若所述单幅遥感影像完全被云层遮挡,则根据遮罩系数,纠正各波段影像的辐射亮度;
S45:若所述单幅遥感影像部分区域被云层遮挡,则根据云层位置、性质,对对地观测影像进行分割成不同区块,采用对应云层的遮罩系数,纠正各波段影像在该区块内的辐射亮度。
由此,针对低空遥感的处于云层下方的飞行特性,通过设计采集云层位置信息、云层属性信息、云层对地面影响范围与程度的云层信息采集系统,同时发明了提取云层对地面影响范围与遮罩比率,很好的解决了低空遥感影像在进行数据采集过程中所受云层遮罩影响所带来的环境光变化问题,从而大幅度提高了低空遥感数据的数据精度,排除数据采集过程中所受的环境影响。
具体地,在步骤S1当中,所述立体视觉法具体包括:采用多影像密集匹配的方式,得到云层的三维几何特征,实现二维轮廓的分割。
具体地,在步骤S1当中,所述图像处理法具体包括:
针对云层稀疏、边界较为模糊的云层,利用影像中的辐射、纹理、时相在内的特征,使用支持向量机、马尔科夫随机场模型、多层次语义分割图像分类算法,实现针对云层的类别提取,并根据类别的划分,实现云层的边界提取。
其中在图像处理法当中,较为普遍使用对图像进行处理的是阈值法,所述阈值法具体包括:选取色度、辐射亮度、纹理差异作为特征,并针对地理位置和季节的变化设计动态阈值,从而实现自动分割。
在本实施例当中,基于云层与非云层区域在可见光影像的数字响应值的差异,可采用阈值分割的方法进行云层区域的提取,实现自动分割。
具体地,在步骤S2中,所述单目前方交会方法的具体内容为:
利用相邻拍摄的单目影像,使用两张像片在地理坐标下的绝对坐标,计算两张影像的外方位元素,即两张影像的相对位置关系;
结合在步骤S1中得到的云层边缘信息,确定云层同名像素点在地理坐标系下的坐标;
根据已计算出的各像片外方位元素中的角元素组成旋转矩阵;
根据线元素计算影像基线的线分量,求解云层边缘在地理坐标系中的空间坐标。
更佳的,云层定位可采用双目前方交会方法,所述双目前方交会方法的具体内容为:
基于双目影像采集装置,由立体像对中左右两张影像的内、外方位元素,即通过POS得到的相对位置关系,结合所提取的云层边缘像素坐标位置,在立体像对中找到同名像素位置坐标量测,来确定其云层边缘在地理坐标坐标系中的位置。
具体地,在步骤S3中,依据灰度与纹理方法,估算阳光遮罩比率的具体内容包括:
基于云层边界划分提取,得到云层边缘在影像中的提取结果;
基于云层定位,得到云层在地理坐标系下的空间位置;
由此,可确定环境光受云层遮挡区域与环境光不受云层遮挡区域,由于同一地物在同一拍摄条件下将具有相同的数字响应值(RGB数值),可推算环境光所受到云层影响的阳光遮罩比率,由此以该阳光遮罩比率来说明环境光所受的影响因子。
更佳的,依据辐射亮度方法,估算阳光遮罩比率的具体内容包括:
使用已进行辐射定标的感光元件,得到云层影像的辐射亮度值影像,由于同一地物在同一拍摄条件下将具有相同的数字响应值(辐射亮度值),可推算环境光所受到云层影响的阳光遮罩比率;
更佳的,如飞行区域具有历史数据,历史数据包括但不限于以下数据:该飞行区域的已有的低空遥感影像、该飞行区域目标标志地物的光谱曲线和该飞行区域的卫星遥感影像等,此类历史数据可为当前对地观测数据提供标准地物的辐射特性、太阳辐射强度的历史情况等。有利于判断当前环境光所受影响范围与比率。
具体到本实施例在RGB云层影像中,采用阈值法,即云层与天空在数字响应值上的差异,来进行云层边缘的分割,得到RGB影像中云层边缘的像素值。同时,根据云层内部厚度差异性在RGB影像中所体现的差异性,即根据云层内部的颜色差异,对云层厚度进行分割。基于阈值分割法获得的云层边缘像素值,借助云层定位方法的方法,确定云层所影响的地面区域,其具体方式如下:利用分割得到的云层边缘像素位置,找到连续拍摄的单幅影像中的云层边缘同名像素点,根据同名像素点坐标。利用所搭载的全球导航卫星系统GNSS,得到高精度的POS信息,即连续拍摄的单张影像的相对位置关系。按照已计算出的各像片外方位元素中的角元素组成旋转矩阵,根据线元素计算影像基线的线分量,由此可求解云层边缘在地理坐标系中的空间坐标。在得到云层的边缘的空间坐标后,利用拍摄时间与拍摄地点确认太阳高度角,得到云层在地面的覆盖范围。
在本实施例中,利用RGB云层影像进行环境光遮罩比率计算的具体方式如下:
根据所判断地面受到环境光受云层遮挡区域与环境光不受云层遮挡区域,所挂载多光谱影像中勾选典型地物,该典型地物同时包含受影响区域与不受云层影响区域。由于同一地物在同一拍摄条件下将具有相同的数字响应值,可推算环境光所受到云层影响的阳光遮罩比率。通过该比率,即可得到本次进行环境光校正的参数。
在本实施例中,利用RGB云层影像进行环境光遮罩校正的具体方式如下:基于位置姿态采集模块12中所确定的云层在地表的覆盖范围,与所搭载多光谱遥感影像单幅影像的视场范围,可对单幅影像是否为单幅影像全部遮罩做出判断,若如单幅影像完全被云层遮挡,则利用存储模块13中所计算的阳光遮罩比率系数,进行全影像的统一修正。如可判断部分区域被云层遮挡造成部分影像所接收的环境光存在遮罩比率,则首先确认影像中所受云层影响范围,后针对该区域进行修正。
在本发明的另一个实施例当中,将采用双目影像采集的方式对云层信息进行采集。在进行双目影像数据采集过程中,可利用控制模块2对双目影像采集模块114进行同步触发,在进行触发过程中双目影像采集模块114对云层影像进行采集。
在进行云层空间位置的计算过程中,利用全球导航卫星系统GNSS所结算的空间坐标,结算左右两张相对位置关系。通过立体像对的前方交会方法,结算云层在大地坐标系下的空间位置。
在本发明的又一个实施例当中,通过采用已进行辐射校正的相机来进行云层影像数据采集,已进行辐射校正的相机在进行影像采集过程中,可获得云层的辐射亮度值影像,该辐射亮度值影像可直接反应云层的反射特性,根据反射特性的区别来进行云层边界的划分。
虽然本公开披露如上,但本公开的保护范围并非仅限于此。本领域技术人员在不脱离本公开的精神和范围的前提下,可进行各种变更与修改,这些变更与修改均将落入本发明的保护范围。

Claims (10)

1.一种基于环境光照条件的低空遥感影像校正系统,其特征在于,包括:
云层观测装置(1),所述云层观测装置(1)包括影像采集模块(11)、位置姿态采集模块(12)和存储模块(13),
所述影像采集模块(11)用于采集无人机上方云层的可见光影像,所述位置姿态采集模块(12)用于确定所述影像采集模块(11)的绝对地理位置,所述存储模块(13)用于存储所拍摄的可见光影像和地理信息,并记录影像的可交换图像文件信息;
控制模块(2),与所述影像采集模块(11)、所述位置姿态采集模块(12)和所述存储模块(13)电性连接,用于同步控制所述影像采集模块(11)的曝光时间和所述位置姿态采集模块(12)的姿态信息;
固定装置(3),安置于无人机顶部,所述固定装置(3)适于将所述云层观测装置(1)和所述控制模块(2)固定在所述无人机上;
所述固定装置(3)上设有高反射率贴片(31),所述高反射率贴片(31)与对地观测传感器(4)之间具有固定的几何位置关系,以实现所述影像采集模块(11)与所述对地观测传感器(4)之间的相对位置具有固定的坐标转换关系,并实现数据采集前的几何标定。
2.根据权利要求1所述的基于环境光照条件的低空遥感影像校正系统,其特征在于,所述影像采集模块(11)包括光学镜头(111)、感光元件(112)和成像元件(113),所述光学镜头(111)用于将光学影像反射光聚焦至所述感光元件(112),所述感光元件(112)用于将所述光学镜头(111)采集的光学影像信号转换为电信号后进一步转换为RGB数字信号,所述对地观测传感器(4)用于采集目标地物真值辐射亮度值信号,所述成像元件(113)用于建立RGB数字信号与目标地物真值辐射亮度值信号的数学模型,以获取目标地物的反射率与辐射特性。
3.根据权利要求1所述的基于环境光照条件的低空遥感影像校正系统,其特征在于,所述位置姿态采集模块(12)为组合惯导装置,所述组合惯导装置安装在所述影像采集模块(11)附近,且与所述影像采集模块(11)刚性链接。
4.根据权利要求3所述的基于环境光照条件的低空遥感影像校正系统,其特征在于,所述组合惯导装置包括惯性测量装置IMU、全球导航卫星系统GNSS和计算系统,其中:
所述惯性测量装置IMU通过惯性导航解算算法以获取云层影像的位姿信息;
所述全球导航卫星系统GNSS通过GPS动态定位技术解求GPS天线相位中心位置;
所述计算系统通过处理POS系统在飞行中获得的所述惯性测量装置IMU、GPS原始数据以及GPS基准站数据所得到最优的组合导航解,以解算每张影像在曝光瞬间的绝对地理位置。
5.根据权利要求3所述的基于环境光照条件的低空遥感影像校正系统,其特征在于,所述位置姿态采集模块(12)采用单目SFM方法或双目后方交会方法以获取云层影像的各时刻POS信息;
所述单目SFM方法采用单目影像采集装置,所述单目SFM方法的具体过程包括:
基于具有一定重叠度的曝光影像,提取云层边界作为点、线特征,进行影像的特征提取;
利用所提取的同名特征,进行特征配准,进行同名点对的相对变换矩阵计算;
进行影像的全局优化,得到各拍摄时刻的相对位置与相对姿态;
所述双目后方交会方法采用双目影像采集装置,所述双目后方交会方法的具体过程包括:
基于双目影像采集装置在同时拍摄过程中所产生的立体像对,利用其同名光线相交成对的几何关系,获得拍摄时刻成像单元的绝对地理位置信息;
利用低空对地观测航摄成果中计算得到的POS信息推算云层相机的POS信息。
6.一种基于环境光照条件的低空遥感影像校正方法,其特征在于,包括:
S1:边缘识别,云层提取,
采用立体视觉法和图像处理法中一种或者组合,以实现云层边界划分;
S2:云层定位位置转换,
采用单目前方交会或者双目前方交会方法,来确定其云层边缘在地理坐标坐标系中的位置,基于云层观测与对地观测之间的相对固定位置关系,建立云层观测RGB数字信号与目标地物真值辐射亮度值信号的数学模型,通过数学模型将云层观测的影像转换到对地观测的影像中,实现云层观测位置信息与对地观测位置信息的空间位置转换;
S3:云层性质识别,
依据灰度与纹理或辐射亮度或历史数据与观测特征相结合的方法,推算环境光所受到云层影响的阳光遮罩比率;
S4:环境光照校正,所述环境光照校正的具体步骤为:
S41:根据太阳高度角和方位角、云层位置和大小,以及对地观测影像的投影面,判断是否为完全遮罩;
S42:针对对地观测数据的单次曝光所获得的单幅遥感影像,判断该单幅遥感影像是否完全属于环境光的影响范围;
S43:判断所述单幅遥感影像是否被云层完全还是部分区域被云层遮挡;
S44:若所述单幅遥感影像完全被云层遮挡,则根据遮罩系数,纠正各波段影像的辐射亮度;
S45:若所述单幅遥感影像部分区域被云层遮挡,则根据云层位置、性质,对对地观测影像进行分割成不同区块,采用对应云层的遮罩系数,纠正各波段影像在该区块内的辐射亮度。
7.根据权利要求6所述的基于环境光照条件的低空遥感影像校正方法,其特征在于,所述立体视觉法具体包括:
采用多影像密集匹配的方式,得到云层的三维几何特征,实现二维轮廓的分割。
8.根据权利要求6所述的基于环境光照条件的低空遥感影像校正方法,其特征在于,所述图像处理法具体包括:
针对云层稀疏、边界较为模糊的云层,利用影像中的辐射、纹理、时相在内的特征,使用支持向量机、马尔科夫随机场模型、多层次语义分割图像分类算法,实现针对云层的类别提取,并根据类别的划分,实现云层的边界提取。
9.根据权利要求6所述的基于环境光照条件的低空遥感影像校正方法,其特征在于,在步骤S2中,
所述单目前方交会方法的具体内容为:
利用相邻拍摄的单目影像,使用两张像片在地理坐标下的绝对坐标,计算两张影像的外方位元素;
结合云层边缘信息,确定云层同名像素点在地理坐标系下的坐标;
根据已计算出的各像片外方位元素中的角元素组成旋转矩阵;
根据线元素计算影像基线的线分量,求解云层边缘在地理坐标系中的空间坐标;
所述双目前方交会方法的具体内容为:
基于双目影像采集装置,由立体像对中左右两张影像的内、外方位元素;
结合所提取的云层边缘像素坐标位置,在立体像对中找到同名像素位置坐标量测,来确定其云层边缘在地理坐标坐标系中的位置。
10.根据权利要求6所述的基于环境光照条件的低空遥感影像校正方法,其特征在于,在步骤S3中,依据灰度与纹理方法,估算阳光遮罩比率的具体内容包括:
基于云层边界划分,得到云层边缘在影像中的提取结果;
基于云层定位,得到云层在地理坐标系下的空间位置;
确定环境光受云层遮挡区域与环境光不受云层遮挡区域,推算环境光所受到云层影响的阳光遮罩比率;
其中,依据辐射亮度方法,估算阳光遮罩比率的具体内容包括:
使用已进行辐射定标的感光元件,得到云层影像的辐射亮度值影像,推算环境光所受到云层影响的阳光遮罩比率;
其中,所述历史数据具体包括:飞行区域已有的低空遥感影像、飞行区域目标标志地物的光谱曲线、飞行区域的卫星遥感影像、当前对地观测数据提供标准地物的辐射特性和太阳辐射强度的历史情况。
CN202210017524.6A 2022-01-07 2022-01-07 一种基于环境光照条件的低空遥感影像校正系统及方法 Active CN114544006B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210017524.6A CN114544006B (zh) 2022-01-07 2022-01-07 一种基于环境光照条件的低空遥感影像校正系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210017524.6A CN114544006B (zh) 2022-01-07 2022-01-07 一种基于环境光照条件的低空遥感影像校正系统及方法

Publications (2)

Publication Number Publication Date
CN114544006A true CN114544006A (zh) 2022-05-27
CN114544006B CN114544006B (zh) 2023-12-05

Family

ID=81670051

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210017524.6A Active CN114544006B (zh) 2022-01-07 2022-01-07 一种基于环境光照条件的低空遥感影像校正系统及方法

Country Status (1)

Country Link
CN (1) CN114544006B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116342417A (zh) * 2023-03-22 2023-06-27 广州市城市规划勘测设计研究院 一种航空遥感影像的辐射校正方法及系统
CN117078982A (zh) * 2023-10-16 2023-11-17 山东建筑大学 基于深度学习的大倾角立体像对准密集特征匹配方法

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101894382A (zh) * 2010-07-23 2010-11-24 同济大学 一种集成LiDAR点云的卫星立体影像阴影计算方法
CN102200475A (zh) * 2010-03-24 2011-09-28 赵永超 一种高精度的(极)多元成像系统相对辐射定标方法
CN103810701A (zh) * 2014-01-15 2014-05-21 北京农业信息技术研究中心 一种无人机载成像高光谱几何校正的方法及系统
CN107402069A (zh) * 2017-04-21 2017-11-28 浙江大学 无人机快拍式高光谱遥感系统及一致性辐射校正方法
CN107687900A (zh) * 2017-09-01 2018-02-13 中国科学院上海技术物理研究所 一种适用于机载热红外成像光谱仪大气校正系统和方法
CN107688777A (zh) * 2017-07-21 2018-02-13 同济大学 一种协同多源遥感影像的城市绿地提取方法
CN110070513A (zh) * 2019-04-30 2019-07-30 上海同繁勘测工程科技有限公司 遥感影像的辐射校正方法及系统
CN210242985U (zh) * 2019-06-24 2020-04-03 上海同繁勘测工程科技有限公司 机载辐射校正装置及系统
CN111415309A (zh) * 2020-03-19 2020-07-14 中国矿业大学(北京) 一种基于最小反射率法的高分辨率遥感影像大气校正方法
CN111899194A (zh) * 2020-07-30 2020-11-06 青海省地理空间和自然资源大数据中心 一种遥感影像中云和云阴影的去除方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102200475A (zh) * 2010-03-24 2011-09-28 赵永超 一种高精度的(极)多元成像系统相对辐射定标方法
CN101894382A (zh) * 2010-07-23 2010-11-24 同济大学 一种集成LiDAR点云的卫星立体影像阴影计算方法
CN103810701A (zh) * 2014-01-15 2014-05-21 北京农业信息技术研究中心 一种无人机载成像高光谱几何校正的方法及系统
CN107402069A (zh) * 2017-04-21 2017-11-28 浙江大学 无人机快拍式高光谱遥感系统及一致性辐射校正方法
CN107688777A (zh) * 2017-07-21 2018-02-13 同济大学 一种协同多源遥感影像的城市绿地提取方法
CN107687900A (zh) * 2017-09-01 2018-02-13 中国科学院上海技术物理研究所 一种适用于机载热红外成像光谱仪大气校正系统和方法
CN110070513A (zh) * 2019-04-30 2019-07-30 上海同繁勘测工程科技有限公司 遥感影像的辐射校正方法及系统
CN210242985U (zh) * 2019-06-24 2020-04-03 上海同繁勘测工程科技有限公司 机载辐射校正装置及系统
CN111415309A (zh) * 2020-03-19 2020-07-14 中国矿业大学(北京) 一种基于最小反射率法的高分辨率遥感影像大气校正方法
CN111899194A (zh) * 2020-07-30 2020-11-06 青海省地理空间和自然资源大数据中心 一种遥感影像中云和云阴影的去除方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116342417A (zh) * 2023-03-22 2023-06-27 广州市城市规划勘测设计研究院 一种航空遥感影像的辐射校正方法及系统
CN116342417B (zh) * 2023-03-22 2023-10-03 广州市城市规划勘测设计研究院 一种航空遥感影像的辐射校正方法及系统
CN117078982A (zh) * 2023-10-16 2023-11-17 山东建筑大学 基于深度学习的大倾角立体像对准密集特征匹配方法
CN117078982B (zh) * 2023-10-16 2024-01-26 山东建筑大学 基于深度学习的大倾角立体像对准密集特征匹配方法

Also Published As

Publication number Publication date
CN114544006B (zh) 2023-12-05

Similar Documents

Publication Publication Date Title
CN107316325B (zh) 一种基于图像配准的机载激光点云与影像配准融合方法
US10860871B2 (en) Integrated sensor calibration in natural scenes
CN111436216B (zh) 用于彩色点云生成的方法和系统
CN110926474B (zh) 卫星/视觉/激光组合的城市峡谷环境uav定位导航方法
CN110537365B (zh) 信息处理装置、信息处理方法、信息处理程序、图像处理装置以及图像处理系统
CN114544006B (zh) 一种基于环境光照条件的低空遥感影像校正系统及方法
CN108537885B (zh) 山体创面三维地形数据的获取方法
CN115439424A (zh) 一种无人机航拍视频图像智能检测方法
CN113223145B (zh) 用于行星表面探测的亚像素测量多源数据融合方法及系统
CN112740225B (zh) 一种路面要素确定方法及装置
EP2504735A2 (en) Multi-resolution digital large format camera with multiple detector arrays
CN111693025B (zh) 一种遥感影像数据生成方法、系统及设备
KR20200110120A (ko) 3d-vr 멀티센서 시스템 기반의 도로 시설물 관리 솔루션을 구현하는 시스템 및 그 방법
CN105450933B (zh) 一种气动光学效应中模糊图像的复原装置
KR102239562B1 (ko) 항공 관측 데이터와 지상 관측 데이터 간의 융합 시스템
Kim et al. Investigating applicability of unmanned aerial vehicle to the tidal flat zone
KR101255461B1 (ko) 도로시설물 자동 위치측정 방법
Tommaselli et al. Development and assessment of a data set containing frame images and dense airborne laser scanning point clouds
CN113624231A (zh) 基于异源图像匹配的惯性视觉组合导航定位方法及飞行器
CN117036300A (zh) 基于点云-rgb异源图像多级配准映射的路面裂缝识别方法
US11460302B2 (en) Terrestrial observation device having location determination functionality
CN115950435A (zh) 无人机巡检影像的实时定位方法
CN111412898B (zh) 基于地空耦合的大区域变形摄影测量方法
CN114387532A (zh) 边界的识别方法及其装置、终端、电子设备和无人设备
CN113724311A (zh) 深度图获取方法、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant