CN108230286A - 环境和时段因素对目标红外可探测性的影响快速分析方法 - Google Patents

环境和时段因素对目标红外可探测性的影响快速分析方法 Download PDF

Info

Publication number
CN108230286A
CN108230286A CN201611170077.9A CN201611170077A CN108230286A CN 108230286 A CN108230286 A CN 108230286A CN 201611170077 A CN201611170077 A CN 201611170077A CN 108230286 A CN108230286 A CN 108230286A
Authority
CN
China
Prior art keywords
target
background
infrared
energy attenuation
detectivity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201611170077.9A
Other languages
English (en)
Other versions
CN108230286B (zh
Inventor
刘东红
初宁
杨晨光
刘清华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Research Institute of Mechanical and Electrical Technology
Original Assignee
Beijing Research Institute of Mechanical and Electrical Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Research Institute of Mechanical and Electrical Technology filed Critical Beijing Research Institute of Mechanical and Electrical Technology
Priority to CN201611170077.9A priority Critical patent/CN108230286B/zh
Publication of CN108230286A publication Critical patent/CN108230286A/zh
Application granted granted Critical
Publication of CN108230286B publication Critical patent/CN108230286B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Radiation Pyrometers (AREA)

Abstract

本发明提供一种环境和时段因素对目标红外可探测性的影响快速分析方法，利用可见光纹理影像，对粗粒度场景材质分割指定结果进行调制，自动计算得到目标场景的精细红外材质数据；根据气象调研得到的历史平均温度、平均湿度等气象平均值，自动拟合计算一天中不同时段的气象参数；利用平面投影累积，计算得到目标、背景每个建模面元在红外相机成像焦平面上的总体辐射强度贡献值；引入非对称距离能量衰减模型，计算得到镜头前目标、背景辐射强度；再利用普朗克公式换算得到镜头前目标和背景的黑体等效温差，进一步计算得到目标成像信噪比；通过和探测器的最小可探测信噪比阈值进行比较得到最终目标可探测性结果。

Description

环境和时段因素对目标红外可探测性的影响快速分析方法
技术领域
本发明涉及一种环境和时段因素对目标红外可探测性的影响快速分析方法。
背景技术
一般来说，红外实时图中目标与背景的对比度越大，目标区域的信息量越多，目标的可探测性就越高。红外图像反映的是物体的红外辐射信息，根据普朗克公式知，在红外波段，图像的内容由场景中物体的红外发射率和其温度的高低等决定的。物体的红外发射率是物体固有的物体属性，在相同的光照，温度和拍摄角度条件下，同种材质的物体在红外图像上表现的灰度值几乎相同，从信息论的角度来说，就是没有任何信息量，而不同材质的物体具有不同的红外发射率，在红外图像中不同材质的交汇处表现出灰度值的跳变，局部对比度明显。因此红外目标识别很大程度上取决于目标本身和周围复杂背景的固有材质属性。物体的温度与其所处的环境紧密相关。对同一场景，在不同的时间、天气、光照条件等条件下进行不同角度的拍摄，所成的红外图像在灰度、对比度等会有明显的不同，对目标的可探测性的影响也不同。红外辐射与时间存在紧密联系。一天24小时中，物体的红外辐射强度不一样，直接影响红外图像中目标背景对比度，进而影响着目标的可探测性。相机载体平台在大气层中飞行时，目标的红外辐射需要进过一段大气路径才能到达红外成像系统的传感器，而大气中的气体分子对红外辐射有吸收作用，气溶胶离子对红外辐射有散射作用，雨雾雪等气象因素也会制约目标红外辐射的传输，这些衰减作用将造成目标发出的红外辐射经过大气后到达传感器的辐射能量减少。不同的天气状况，大气的组成成分会有所不同，对红外辐射的衰减作用也就不同，最终表现在红外图像上就是目标背景对比度的差异。传统的环境、时段因素对目标红外可探测性影响分析采用是对目标场景的精确红外建模&成像仿真，首先其必要输入条件就是对目标和背景场景的精细粒度红外材质分类和指定，该操作极其繁琐，需要大量的人工投入，并且人工指定的材质分类结果往往粒度很粗，造成和真实目标场景的红外材质特性差异较大，影响后续的可探测性分析；其次为了对精细材质建模目标场景进行红外成像特性预测，需要进行精细粒度环境、时段遍历，但是对应每个特定仿真时刻的环境温度、环境湿度数据难以保障，而这些数据对于目标场景红外温度场的计算至关重要。以上两方面因素限制了传统红外建模仿真技术在目标红外可探测性分析中的应用。
发明内容
在下文中给出关于本发明的简要概述，以便提供关于本发明的某些方面的基本理解。应当理解，这个概述并不是关于本发明的穷举性概述。它并不是意图确定本发明的关键或重要部分，也不是意图限定本发明的范围。其目的仅仅是以简化的形式给出某些概念，以此作为稍后论述的更详细描述的前序。
为解决上述问题，本发明提出一种环境和时段因素对目标红外可探测性的影响快速分析方法。
一种环境和时段因素对目标红外可探测性的影响快速分析方法，包括：
获取目标/背景场景可见光纹理图像，并对所述可见光纹理图像进行处理，获得材质精粒度指定文件；
获取目标场景所在地的历史气象数据，并根据所述历史气象数据获得当天每个时刻对应的环境温度值和环境湿度值；
根据所述材质精粒度指定文件、每个时刻对应的环境温度值和环境湿度值计算获得目标和背景对于指定相机观测位置的目标辐亮度和背景辐亮度；
建立非对称距离能量衰减模型，计算目标能量衰减系数和背景能量衰减系数，并根据所述目标能量衰减系数、背景能量衰减系数、目标辐亮度和背景辐亮度，计算获得探测器中的目标成像信噪比；
将所述目标成像信噪比与探测器最小信噪比阈值进行比较，根据比较结果判断目标的可探测性。
本发明提供的环境和时段因素对目标红外可探测性的影响快速分析方法，具有可操作性强、计算快捷、准确度高的特点。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为环境和时段因素对目标红外可探测性的影响快速分析方法一种实施例的流程图。
具体实施方式
下面参照附图来说明本发明的实施例。在本发明的一个附图或一种实施方式中描述的元素和特征可以与一个或者更多个其他附图或实施方式中示出的元素和特征相结合。应当注意，为了清楚目的，附图和说明中省略了与本发明无关的、本领域普通技术人员已知的部件和处理的表示和描述。
参考图1，本实施例提供一种环境和时段因素对目标红外可探测性的影响快速分析方法，包括：
步骤S101，获取目标/背景场景可见光纹理图像，并对所述可见光纹理图像进行处理，获得材质精粒度指定文件；
步骤S102，获取目标场景所在地的历史气象数据，并根据所述历史气象数据获得当天每个时刻对应的环境温度值和环境湿度值；
步骤S103，根据所述材质精粒度指定文件、每个时刻对应的环境温度值和环境湿度值计算获得目标和背景对于指定相机观测位置的目标辐亮度和背景辐亮度；
步骤S104，建立非对称距离能量衰减模型，计算目标能量衰减系数和背景能量衰减系数，并根据所述目标能量衰减系数、背景能量衰减系数、目标辐亮度和背景辐亮度，计算获得探测器中的目标成像信噪比；
步骤S105，将所述目标成像信噪比与探测器最小信噪比阈值进行比较，根据比较结果判断目标的可探测性。
进一步地，对所述可见光纹理图像进行处理，获得材质精粒度指定文件，包括：
将所述可见光纹理图像进行粗粒度分割，并保存材质粗分类结果图像；
分别统计所述材质粗分类结果图像中各个图像块在原始的可见光纹理图像中对应图像位置像素集合的均值和方差；
遍历材质粗分类结果图像中每个像素位置对应的波段值，根据对应图像中同样位置的像素灰度值和该像素所属图像块的灰度均值和方差，对材质粗分类结果图像中该像素对应的红外发射率和红外反射率进行调整；
用调整后的红外发射率和红外反射率分别替换对应像素位置的红外发射率和红外反射率，生成材质精粒度指定文件并保存。
进一步地，获取目标场景所在地的历史气象数据，并根据所述历史气象数据获得当天每个时刻对应的环境温度值和环境湿度值，包括：
查询目标场景所在地的历史气象数据，得到仿真时刻当天的平均温度参考值、最大温差、平均湿度参考值和最大湿度值；
对当天每个仿真时刻量化成同一的时间对应量；
分别根据所述当天平均温度参考值和当天平均湿度参考值计算各个时刻对应的环境温度值和环境湿度值。
进一步地，根据所述材质精粒度指定文件、每个时刻对应的环境温度值和环境湿度值计算获得目标和背景对于指定相机观测位置的目标辐亮度和背景辐亮度，包括：
根据所述材质精粒度指定文件、每个时刻对应的环境温度值和环境湿度值，结合仿真时刻和仿真地点，利用标准热平衡方程计算得到目标和背景每一个建模三角面元对应的温度场数据；
将所述温度场数据和每个建模三角面元所对应的红外材质属性，按照相机光轴和面元法向量垂直相对的角度，利用标准红外仿真过程，分别计算每个建模三角面元的目标面元辐射强度以及背景面元辐射强度；
根据相机的透射投影关系，计算每个建模三角面元在相机焦平面上的投影面积、目标面元投影面积以及背景面元投影面积；
根据所述每个建模三角面元目标面元辐射强度、背景面元辐射强度、目标面元投影面积以及背景面元投影面积，分别计算目标和背景对于指定相机观测位置的目标辐亮度和背景辐亮度。
进一步地，建立非对称距离能量衰减模型，计算目标能量衰减系数和背景能量衰减系数，并根据所述目标能量衰减系数、背景能量衰减系数、目标辐亮度和背景辐亮度，计算获得探测器中的目标成像信噪比，包括：
设计非对称距离能量衰减模型，分别计算和探测距离相关的目标能量衰减系数和背景能量衰减系数；
将所述目标能量衰减系数和背景能量衰减系数分别作用于所述目标辐亮度和背景辐亮度，分别获得镜头前目标辐射强度和镜头前背景辐射强度；
根据所述镜头前目标辐射强度和镜头前背景辐射强度，采用普朗克公式计算镜头前目标与背景辐射的等效黑体温差；
根据所述等效黑体温差计算探测器中的目标成像信噪比。
进一步地，将所述目标成像信噪比与探测器最小信噪比阈值进行比较，根据比较结果判断目标的可探测性，包括：
如果所述目标成像信噪比大于或等于所述测器最小信噪比阈值，则认为目标可探测。
本发明提供的环境和时段因素对目标红外可探测性的影响快速分析方法，具有可操作性强、计算快捷、准确度高的特点。
虽然已经详细说明了本发明及其优点，但是应当理解在不超出由所附的权利要求所限定的本发明的精神和范围的情况下可以进行各种改变、替代和变换。而且，本申请的范围不仅限于说明书所描述的过程、设备、手段、方法和步骤的具体实施例。本领域内的普通技术人员从本发明的公开内容将容易理解，根据本发明可以使用执行与在此所述的相应实施例基本相同的功能或者获得与其基本相同的结果的、现有和将来要被开发的过程、设备、手段、方法或者步骤。因此，所附的权利要求旨在它们的范围内包括这样的过程、设备、手段、方法或者步骤。

Claims (6)

1.一种环境和时段因素对目标红外可探测性的影响快速分析方法，其特征在于，包括：
获取目标/背景场景可见光纹理图像，并对所述可见光纹理图像进行处理，获得材质精粒度指定文件；
获取目标场景所在地的历史气象数据，并根据所述历史气象数据获得当天每个时刻对应的环境温度值和环境湿度值；
根据所述材质精粒度指定文件、每个时刻对应的环境温度值和环境湿度值计算获得目标和背景对于指定相机观测位置的目标辐亮度和背景辐亮度；
建立非对称距离能量衰减模型，计算目标能量衰减系数和背景能量衰减系数，并根据所述目标能量衰减系数、背景能量衰减系数、目标辐亮度和背景辐亮度，计算获得探测器中的目标成像信噪比；
将所述目标成像信噪比与探测器最小信噪比阈值进行比较，根据比较结果判断目标的可探测性。
2.根据权利要求1所述的一种环境和时段因素对目标红外可探测性的影响快速分析方法，其特征在于，对所述可见光纹理图像进行处理，获得材质精粒度指定文件，包括：
将所述可见光纹理图像进行粗粒度分割，并保存材质粗分类结果图像；
分别统计所述材质粗分类结果图像中各个图像块在原始的可见光纹理图像中对应图像位置像素集合的均值和方差；
遍历材质粗分类结果图像中每个像素位置对应的波段值，根据对应图像中同样位置的像素灰度值和该像素所属图像块的灰度均值和方差，对材质粗分类结果图像中该像素对应的红外发射率和红外反射率进行调整；
用调整后的红外发射率和红外反射率分别替换对应像素位置的红外发射率和红外反射率，生成材质精粒度指定文件并保存。
3.根据权利要求1所述的一种环境和时段因素对目标红外可探测性的影响快速分析方法，其特征在于，获取目标场景所在地的历史气象数据，并根据所述历史气象数据获得当天每个时刻对应的环境温度值和环境湿度值，包括：
查询目标场景所在地的历史气象数据，得到仿真时刻当天的平均温度参考值、最大温差、平均湿度参考值和最大湿度值；
对当天每个仿真时刻量化成同一的时间对应量；
分别根据所述当天平均温度参考值和当天平均湿度参考值计算各个时刻对应的环境温度值和环境湿度值。
4.根据权利要求1所述的一种环境和时段因素对目标红外可探测性的影响快速分析方法，其特征在于，根据所述材质精粒度指定文件、每个时刻对应的环境温度值和环境湿度值计算获得目标和背景对于指定相机观测位置的目标辐亮度和背景辐亮度，包括：
根据所述材质精粒度指定文件、每个时刻对应的环境温度值和环境湿度值，结合仿真时刻和仿真地点，利用标准热平衡方程计算得到目标和背景每一个建模三角面元对应的温度场数据；
将所述温度场数据和每个建模三角面元所对应的红外材质属性，按照相机光轴和面元法向量垂直相对的角度，利用标准红外仿真过程，分别计算每个建模三角面元的目标面元辐射强度以及背景面元辐射强度；
根据相机的透射投影关系，计算每个建模三角面元在相机焦平面上的投影面积、目标面元投影面积以及背景面元投影面积；
根据所述每个建模三角面元目标面元辐射强度、背景面元辐射强度、目标面元投影面积以及背景面元投影面积，分别计算目标和背景对于指定相机观测位置的目标辐亮度和背景辐亮度。
5.根据权利要求1所述的一种环境和时段因素对目标红外可探测性的影响快速分析方法，其特征在于，建立非对称距离能量衰减模型，计算目标能量衰减系数和背景能量衰减系数，并根据所述目标能量衰减系数、背景能量衰减系数、目标辐亮度和背景辐亮度，计算获得探测器中的目标成像信噪比，包括：
设计非对称距离能量衰减模型，分别计算和探测距离相关的目标能量衰减系数和背景能量衰减系数；
将所述目标能量衰减系数和背景能量衰减系数分别作用于所述目标辐亮度和背景辐亮度，分别获得镜头前目标辐射强度和镜头前背景辐射强度；
根据所述镜头前目标辐射强度和镜头前背景辐射强度，采用普朗克公式计算镜头前目标与背景辐射的等效黑体温差；
根据所述等效黑体温差计算探测器中的目标成像信噪比。
6.根据权利要求1或5所述的一种环境和时段因素对目标红外可探测性的影响快速分析方法，其特征在于，将所述目标成像信噪比与探测器最小信噪比阈值进行比较，根据比较结果判断目标的可探测性，包括：
如果目标成像信噪比大于或等于所述测器最小信噪比阈值，则认为目标可探测。
CN201611170077.9A 2016-12-16 2016-12-16 环境和时段因素对目标红外可探测性的影响快速分析方法 Active CN108230286B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611170077.9A CN108230286B (zh) 2016-12-16 2016-12-16 环境和时段因素对目标红外可探测性的影响快速分析方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611170077.9A CN108230286B (zh) 2016-12-16 2016-12-16 环境和时段因素对目标红外可探测性的影响快速分析方法

Publications (2)

Publication Number Publication Date
CN108230286A true CN108230286A (zh) 2018-06-29
CN108230286B CN108230286B (zh) 2022-01-11

Family

ID=62651687

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611170077.9A Active CN108230286B (zh) 2016-12-16 2016-12-16 环境和时段因素对目标红外可探测性的影响快速分析方法

Country Status (1)

Country Link
CN (1) CN108230286B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109255198A (zh) * 2018-09-30 2019-01-22 上海机电工程研究所 基于数据模型的空天环境建模方法及系统
CN113155770A (zh) * 2021-04-30 2021-07-23 中国人民解放军91977部队 一种光电环境分级系统和方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006177726A (ja) * 2004-12-21 2006-07-06 Nissan Motor Co Ltd 環境評価用赤外線画像作成装置及び環境評価用赤外線画像作成方法、環境評価用レーダ検出結果作成装置及び環境評価用レーダ検出結果作成方法、道路環境評価用データ作成装置及び道路環境評価用データ作成方法
CN101246219A (zh) * 2007-02-16 2008-08-20 福特全球技术公司 利用远红外线图像探测物体的方法和系统

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006177726A (ja) * 2004-12-21 2006-07-06 Nissan Motor Co Ltd 環境評価用赤外線画像作成装置及び環境評価用赤外線画像作成方法、環境評価用レーダ検出結果作成装置及び環境評価用レーダ検出結果作成方法、道路環境評価用データ作成装置及び道路環境評価用データ作成方法
CN101246219A (zh) * 2007-02-16 2008-08-20 福特全球技术公司 利用远红外线图像探测物体的方法和系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
孙少军等: "舰载红外成像探测跟踪系统仿真研究", 《光电技术应用》 *
张晓宏等: "红外导引头探测能力的数学建模", 《光学技术》 *
戢博文等: "红外目标可探测性研究", 《舰船电子工程》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109255198A (zh) * 2018-09-30 2019-01-22 上海机电工程研究所 基于数据模型的空天环境建模方法及系统
CN109255198B (zh) * 2018-09-30 2019-11-08 上海机电工程研究所 基于数据模型的空天环境建模方法及系统
CN113155770A (zh) * 2021-04-30 2021-07-23 中国人民解放军91977部队 一种光电环境分级系统和方法

Also Published As

Publication number Publication date
CN108230286B (zh) 2022-01-11

Similar Documents

Publication Publication Date Title
Hasirlioglu et al. A general approach for simulating rain effects on sensor data in real and virtual environments
CN105095608A (zh) 一种卫星杂散光的测试方法
CN113902663A (zh) 一种自动适应天气的空中小目标动态红外仿真方法及装置
CN109612512A (zh) 一种空基光电系统多模态一体化测试平台及测试方法
Yang et al. An RGB channel operation for removal of the difference of atmospheric scattering and its application on total sky cloud detection
CN106920231A (zh) 一种基于全色图像统计特征的遥感图像云评估方法
Ballestrín et al. Measurement of solar extinction in tower plants with digital cameras
CN108230286A (zh) 环境和时段因素对目标红外可探测性的影响快速分析方法
Varjo et al. Image based visibility estimation during day and night
KR102039048B1 (ko) 모의 위성 영상을 생성하는 장치 및 방법
Gonzalez et al. Automatic observation of cloudiness: Analysis of all-sky images
US7899236B2 (en) Evaluation of optical distortion in a transparency
Babari et al. Computer vision for the remote sensing of atmospheric visibility
Melamed et al. Experimental comparison of three target acquisition models
CN105894447B (zh) 一种获取不同天气条件下的红外图像的方法
CN106652016A (zh) 一种基于辐射几何一体化设计的光学遥感图像仿真方法
CORNÉ et al. Investigation of IR transmittance in different weather conditions and simulation of passive IR imaging for flight scenarios
CN109211408B (zh) 一种基于半实物的深空红外点目标成像仿真方法
KR20210111578A (ko) 지상기반 전천 영상자료를 이용한 야간 전운량 산출방법
CN111504912A (zh) 一种基于图像识别的空气污染观测系统及方法
Schwenger et al. Simulation of laser beam reflection at the sea surface modeling and validation
Gilmore et al. CAMEO-SIM: a broadband scene generation system that is fit for purpose
CN110298082A (zh) 一种通过成像法获取涂层双向反射分布函数仿真参数的方法
Garnier et al. Infrared sensor modeling for realistic thermal image synthesis
CN117077347A (zh) 一种从图到图的卫星红外成像仿真方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant