CN105678240B - 一种用于道路去反光的图像处理方法 - Google Patents

一种用于道路去反光的图像处理方法 Download PDF

Info

Publication number
CN105678240B
CN105678240B CN201511023648.1A CN201511023648A CN105678240B CN 105678240 B CN105678240 B CN 105678240B CN 201511023648 A CN201511023648 A CN 201511023648A CN 105678240 B CN105678240 B CN 105678240B
Authority
CN
China
Prior art keywords
image
road surface
gray level
channel
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201511023648.1A
Other languages
English (en)
Other versions
CN105678240A (zh
Inventor
付方发
王瑶
王进祥
石金进
徐伟哲
韩敏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harbin Institute of Technology
Original Assignee
Harbin Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin Institute of Technology filed Critical Harbin Institute of Technology
Priority to CN201511023648.1A priority Critical patent/CN105678240B/zh
Publication of CN105678240A publication Critical patent/CN105678240A/zh
Application granted granted Critical
Publication of CN105678240B publication Critical patent/CN105678240B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20224—Image subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Abstract

一种用于道路去反光的图像处理方法，涉及图像模式识别领域。满足了对既能实现道路去反光，又能使道路不失真的适用于道路去反光的图像处理方法的需求。通过摄像机得到路面有反光的图像；对路面有反光的图像进行RGB三个通道的分解，获得RGB三个通道的三幅灰度图像；比较三幅灰度图像的同一个像素的灰度值，获得灰度值最小的一幅灰度图像，该灰度图像作为路面的估计镜面反射图像；将路面的估计镜面反射图像中的每一个像素的像素值与标准阈值进行比较，标定路面的估计镜面反射图像的反光部分和不反光部分，获得滤波后的路面镜面反射图像；将路面有反光的图像与滤波后的路面镜面反射图像做差，即获得路面去反光图像。它适用于物体去反光。

Description

一种用于道路去反光的图像处理方法
技术领域
本发明涉及图像模式识别和机器智能领域。
背景技术
在自主驾驶中，车辆能否准确识别出道路是当今的一大难题，路面反光容易造成路面识别算法发生错误，不能正确的识别出道路，容易导致交通事故的发生，所以去除路面反光可以提高道路识别算法的准确性，减少交通事故，为人们出行安全带来了保证。
目前为止只有物体去反光，但是所有的物体去反光的算法并不适用于道路去反光，如果将物体去反光的算法应用在道路去反光上，道路就会变得扭曲和颜色失真。目前针对物体去反光的算法有很多，例如，《基于快速双边滤波的图像高光去除研究》、《基于保边滤波器的单幅图像高光去除》、《Detection of diffuse and specular interfacereflections and inter-reflections by color image segmentation》、《Specularreflection separation using dark channel prior》、《Efficient and RobustSpecular Highlight Removal》和《Shum.Diffuse-specular separation and depthrecovery from image sequences》，前述文献将提出的算法应用于道路去反光，得到的道路发生形变，且颜色失真。其原因在于：物体反光包括镜面反射和漫反射，其中镜面反射大而漫反射小；但是道路反光的镜面反射较小而漫反射较大，过度去反光会造成路面的扭曲和颜色失真。
因此，研发设计一种既能实现道路去反光，又能使道路不扭曲和不失真的适用于道路去反光的图像处理方法是十分必要的。
发明内容
本发明的目的是满足对既能实现道路去反光，又能使道路不扭曲和不失真的适用于道路去反光的图像处理方法的需求，提出了一种用于道路去反光的图像处理方法。
一种用于道路去反光的图像处理方法，它包括下述步骤：
步骤一、通过摄像机得到路面有反光的图像；
步骤二、对路面有反光的图像进行RGB三个通道的分解，分别获得RGB三个通道的三幅灰度图像，即R通道的灰度图像、G通道的灰度图像和B通道的灰度图像；
步骤三、比较三幅灰度图像的同一个像素的灰度值，获得灰度值最小的一幅灰度图像，该灰度图像作为路面的估计镜面反射图像；
步骤三中比较三幅灰度图像的同一个像素的灰度值，获得灰度值最小的一幅灰度图像，该灰度图像作为路面的估计镜面反射图像，其具体过程为：
比较三幅灰度图像的同一像素的灰度值，即比较同一像素的R通道的灰度图像的灰度值、G通道的灰度图像的灰度值和B通道的灰度图像的灰度值，三幅灰度图像的同一像素的灰度值进行两两比较，比较过程为：
若R通道的灰度图像的像素值小于G通道的灰度图像的像素值，继续比较R通道的灰度图像的像素值与B通道的灰度图像的像素值；
若R通道的灰度图像的像素值小于B通道的灰度图像的像素值，则选取R通道的灰度图像作为路面的估计镜面反射图像；
若R通道的灰度图像的像素值大于B通道的灰度图像的像素值，则选取B通道的灰度图像作为路面的估计镜面反射图像；
若R通道的灰度图像的像素值大于G通道的灰度图像的像素值，继续比较G通道的灰度图像的像素值与B通道的灰度图像的像素值；
若G通道的灰度图像的像素值小于B通道的灰度图像的像素值，则选取G通道的灰度图像作为路面的估计镜面反射图像；
若G通道的灰度图像的像素值大于B通道的灰度图像的像素值，则选取B通道的灰度图像作为路面的估计镜面反射图像；
即寻找三幅灰度图像的同一个像素的灰度值中的最小值，即
其中，Idark(x)为灰度图像的最小灰度值；Ic(x)为RGB三个通道的三幅灰度图像中的每一个像素值；g为绿色，r为红色，b为蓝色；x为第n个像素，n为正整数；
步骤四、将路面的估计镜面反射图像中的每一个像素的像素值与标准阈值进行比较，标定路面的估计镜面反射图像的反光部分和不反光部分，获得滤波后的路面镜面反射图像；
步骤四中的将路面的估计镜面反射图像中的每一个像素的像素值与标准阈值进行比较，标定路面的估计镜面反射图像的反光部分和不反光部分，获得滤波后的路面镜面反射图像，其具体过程为：
设定标准阈值d，d∈(195,205)，若路面的估计镜面反射图像的灰度值>d时，则设定路面的估计镜面反射图像的像素值为70；
即Idark(x)>d，则设定Idark(x)＝70；
若路面的估计镜面反射图像的灰度值≤d时，则设定路面的估计镜面反射图像的像素值为0；
即Idark(x)≤d，则设定Idark(x)＝0；
将像素值为70的路面的估计镜面反射图像处标定为白色，即反光部分；将像素值为0的路面的估计镜面反射图像处标定为黑色，即获得滤波后的路面镜面反射图像；
步骤五、将步骤一中的路面有反光的图像与步骤四中的滤波后的路面镜面反射图像做差，即获得路面去反光图像；
步骤五中将步骤一中的路面有反光的图像与步骤四中的滤波后的路面反光图像做差，即获得路面去反光图像，其具体过程为：
Id(x)＝I(x)-Is(x)；
其中，Id(x)为漫反射图像，即路面去反光图像；I(x)是路面有反光的图像；Is(x)为滤波后的路面镜面反射图像。
本发明用来准确识别道路，分割道路，为自主驾驶(不需要人来控制车，车自己就可以识别道路，躲避障碍物)提供了基础。
有益效果：通过本发明所述的方法，能够完全去除道路高光(即反光)，去除高光后，能够准确识别出道路。满足了对既能实现道路去反光，又能使道路不扭曲和不失真的适用于道路去反光的图像处理方法的需求，且通过本方法，最后获得去反光后的图像，图像中将反光的地方做了处理，使道路更加清晰得显现，正确的识别出道路，减少交通事故的发生，为人们出行安全带来了保证。本发明具有良好的实用性。本发明还适用于物体去反光。物体上的反光影响图像匹配，只有将物体的反光去除，才能更好的识别物体。
附图说明
图1为一种适用于道路去反光的算法的流程图；
图2为路面有反光的图像；
图3为路面的暗原色图；
图4为滤波后的路面镜面反射图像；
图5为路面去反光图像。
具体实施方式
具体实施方式一、参照图1至图5具体说明本实施方式，本实施方式所述的一种用于道路去反光的图像处理方法，它包括下述步骤：
步骤一、通过摄像机得到路面有反光的图像；
步骤二、对路面有反光的图像进行RGB三个通道的分解，分别获得RGB三个通道的三幅灰度图像，即R通道的灰度图像、G通道的灰度图像和B通道的灰度图像；
步骤三、比较三幅灰度图像的同一个像素的灰度值，获得灰度值最小的一幅灰度图像，该灰度图像作为路面的估计镜面反射图像；
步骤四、将路面的估计镜面反射图像中的每一个像素的像素值与标准阈值进行比较，标定路面的估计镜面反射图像的反光部分和不反光部分，获得滤波后的路面镜面反射图像；
步骤五、将步骤一中的路面有反光的图像与步骤四中的滤波后的路面镜面反射图像做差，即获得路面去反光图像。
本实施方式中，步骤四中，为了避免路面有反光图像的颜色过暗，不利于后续去反光处理，首先将路面的估计镜面反射图像中的每一个像素的像素值与标准阈值进行比较，标定路面的估计镜面反射图像的反光部分和不反光部分，然后将标定后的图像的所有像素扩大w倍，w的取值在0.45～0.80之间，通过调节w的值，最后得到滤波后的路面镜面反射图像。
本发明所述的用于道路去反光的图像处理方法，通过对路面有反光的图像的处理，将有反光部分在图像中采用白色标注出来，使其不再反光，实现了道路去反光处理。
具体实施方式二、本实施方式是对实施方式一所述的一种适用于道路去反光的算法的进一步说明，本实施方式中，步骤三中比较三幅灰度图像的同一个像素的灰度值，获得灰度值最小的一幅灰度图像，该灰度图像作为路面的估计镜面反射图像，其具体过程为：
比较三幅灰度图像的同一像素的灰度值，即比较同一像素的R通道的灰度图像的灰度值、G通道的灰度图像的灰度值和B通道的灰度图像的灰度值，三幅灰度图像的同一像素的灰度值进行两两比较，比较过程为：
若R通道的灰度图像的像素值小于G通道的灰度图像的像素值，继续比较R通道的灰度图像的像素值与B通道的灰度图像的像素值；
若R通道的灰度图像的像素值小于B通道的灰度图像的像素值，则选取R通道的灰度图像作为路面的估计镜面反射图像；
若R通道的灰度图像的像素值大于B通道的灰度图像的像素值，则选取B通道的灰度图像作为路面的估计镜面反射图像；
若R通道的灰度图像的像素值大于G通道的灰度图像的像素值，继续比较G通道的灰度图像的像素值与B通道的灰度图像的像素值；
若G通道的灰度图像的像素值小于B通道的灰度图像的像素值，则选取G通道的灰度图像作为路面的估计镜面反射图像；
若G通道的灰度图像的像素值大于B通道的灰度图像的像素值，则选取B通道的灰度图像作为路面的估计镜面反射图像；
即寻找三幅灰度图像的同一个像素的灰度值中的最小值，即
其中，Idark(x)为灰度图像的最小灰度值；Ic(x)为RGB三个通道的三幅灰度图像中的每一个像素值；g为绿色，r为红色，b为蓝色；x为第n个像素，n为正整数。
本实施方式中，每幅灰度图像均由n个像素构成，n为大于等于1的正整数。在比较三幅灰度图像的同一个像素的灰度值时，指的是每幅灰度图像的相应像素相减。
具体实施方式三、本实施方式是对实施方式一所述的一种适用于道路去反光的算法的进一步说明，本实施方式中，步骤四中的将路面的估计镜面反射图像中的每一个像素的像素值与标准阈值进行比较，标定路面的估计镜面反射图像的反光部分和不反光部分，获得滤波后的路面镜面反射图像，其具体过程为：
设定标准阈值d，d∈(195,205)，若路面的估计镜面反射图像的灰度值>d时，则设定路面的估计镜面反射图像的像素值为70；
即Idark(x)>d，则设定Idark(x)＝70；
若路面的估计镜面反射图像的灰度值≤d时，则设定路面的估计镜面反射图像的像素值为0；
即Idark(x)≤d，则设定Idark(x)＝0；
将像素值为70的路面的估计镜面反射图像处标定为白色，即反光部分；将像素值为0的路面的估计镜面反射图像处标定为黑色，即获得滤波后的路面镜面反射图像。
本实施方式中，图像由像素组成，像素又有三个通道(RGB)，通过本发明所述的方法，将路面的估计镜面反射图像的灰度值与标准阈值进行比较：若路面的估计镜面反射图像的灰度值≤d的，则设定该处像素值为0；若路面的估计镜面反射图像的灰度值>d，则设定该处像素值为70。图2至图5中，选定的d＝200。
路面去反光图像中，反光的位置的像素值是最大的，因为像素的值代表亮度，所以按照阈值法划分，反光的位置的像素值设为70(表现为白色的部分)，而其他没有反光的地方，它们的像素值设定为0(其位置表现为黑色的)，故能分辨出路面反光图像中的反光部分。
具体实施方式四、本实施方式是对实施方式一所述的一种适用于道路去反光的算法的进一步说明，本实施方式中，步骤五中将步骤一中的路面有反光的图像与步骤四中的滤波后的路面反光图像做差，即获得路面去反光图像，其具体过程为：
Id(x)＝I(x)-Is(x)；
其中，Id(x)为漫反射图像，即路面去反光图像；I(x)是路面有反光的图像；Is(x)为滤波后的路面镜面反射图像。
本实施方式中，将将步骤一中的路面有反光的图像与步骤四中的滤波后的路面镜面反射图像做差，做差就是两个图像的像素对应相减。如图像A与图像B做差，即图像A的所有像素减去图像B的所有像素，图像A与图像B中的像素位置一一对应。

Claims (3)

1.一种用于道路去反光的图像处理方法，包括下述步骤：
步骤一、通过摄像机得到路面有反光的图像；
步骤二、对路面有反光的图像进行RGB三个通道的分解，分别获得RGB三个通道的三幅灰度图像，即R通道的灰度图像、G通道的灰度图像和B通道的灰度图像，
步骤三、比较三幅灰度图像的同一个像素的灰度值，获得灰度值最小的一幅灰度图像，该灰度图像作为路面的估计镜面反射图像；
步骤四、将路面的估计镜面反射图像中的每一个像素的像素值与标准阈值进行比较，标定路面的估计镜面反射图像的反光部分和不反光部分，获得滤波后的路面镜面反射图像；
步骤五、将步骤一中的路面有反光的图像与步骤四中的滤波后的路面镜面反射图像做差，即获得路面去反光图像；
其特征在于，步骤四中的将路面的估计镜面反射图像中的每一个像素的像素值与标准阈值进行比较，标定路面的估计镜面反射图像的反光部分和不反光部分，获得滤波后的路面镜面反射图像，其具体过程为：
设定标准阈值d，d∈(195,205)，若路面的估计镜面反射图像的灰度值>d时，则设定路面的估计镜面反射图像的像素值为70；
即Idark(x)＞d，则设定Idark(x)＝70；
若路面的估计镜面反射图像的灰度值≤d时，则设定路面的估计镜面反射图像的像素值为0；
即Idark(x)≤d，则设定Idark(x)＝0；
将像素值为70的路面的估计镜面反射图像处标定为白色，即反光部分；将像素值为0的路面的估计镜面反射图像处标定为黑色，即获得滤波后的路面镜面反射图像。
2.根据权利要求1所述的一种用于道路去反光的图像处理方法，其特征在于，步骤三中比较三幅灰度图像的同一个像素的灰度值，获得灰度值最小的一幅灰度图像，该灰度图像作为路面的估计镜面反射图像，其具体过程为：
比较三幅灰度图像的同一像素的灰度值，即比较同一像素的R通道的灰度图像的灰度值、G通道的灰度图像的灰度值和B通道的灰度图像的灰度值，三幅灰度图像的同一像素的灰度值进行两两比较，比较过程为：
若R通道的灰度图像的像素值小于G通道的灰度图像的像素值，继续比较R通道的灰度图像的像素值与B通道的灰度图像的像素值；
若R通道的灰度图像的像素值小于B通道的灰度图像的像素值，则选取R通道的灰度图像作为路面的估计镜面反射图像；
若R通道的灰度图像的像素值大于B通道的灰度图像的像素值，则选取B通道的灰度图像作为路面的估计镜面反射图像；
若R通道的灰度图像的像素值大于G通道的灰度图像的像素值，继续比较G通道的灰度图像的像素值与B通道的灰度图像的像素值；
若G通道的灰度图像的像素值小于B通道的灰度图像的像素值，则选取G通道的灰度图像作为路面的估计镜面反射图像；
若G通道的灰度图像的像素值大于B通道的灰度图像的像素值，则选取B通道的灰度图像作为路面的估计镜面反射图像；
即寻找三幅灰度图像的同一个像素的灰度值中的最小值，即
其中，Idark(x)为灰度图像的最小灰度值；Ic(x)为RGB三个通道的三幅灰度图像中的每一个像素值；g为绿色，r为红色，b为蓝色；x为第n个像素，n为正整数。
3.根据权利要求1所述的一种用于道路去反光的图像处理方法，其特征在于，步骤五中将步骤一中的路面有反光的图像与步骤四中的滤波后的路面反光图像做差，即获得路面去反光图像，其具体过程为：
Id(x)＝I(x)-Is(x)；
其中，Id(x)为漫反射图像，即路面去反光图像；I(x)是路面有反光的图像；Is(x)为滤波后的路面镜面反射图像。
CN201511023648.1A 2015-12-30 2015-12-30 一种用于道路去反光的图像处理方法 Active CN105678240B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201511023648.1A CN105678240B (zh) 2015-12-30 2015-12-30 一种用于道路去反光的图像处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201511023648.1A CN105678240B (zh) 2015-12-30 2015-12-30 一种用于道路去反光的图像处理方法

Publications (2)

Publication Number Publication Date
CN105678240A CN105678240A (zh) 2016-06-15
CN105678240B true CN105678240B (zh) 2019-01-18

Family

ID=56298195

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201511023648.1A Active CN105678240B (zh) 2015-12-30 2015-12-30 一种用于道路去反光的图像处理方法

Country Status (1)

Country Link
CN (1) CN105678240B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108090950A (zh) * 2016-11-18 2018-05-29 南京大学 一种优化围棋图像高光污染的方法
CN107818552A (zh) * 2017-11-17 2018-03-20 电子科技大学 一种双目图像的去反光方法
CN110930323B (zh) * 2019-11-07 2023-09-12 华为技术有限公司 图像去反光的方法、装置
CN111080686B (zh) * 2019-12-16 2022-09-02 中国科学技术大学 用于自然场景中图像高光去除的方法
CN115484408A (zh) * 2022-09-07 2022-12-16 北京拙河科技有限公司 一种基于高精度摄像的雪面反光系数生成方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102930514A (zh) * 2012-09-27 2013-02-13 西安电子科技大学 基于大气物理散射模型的快速图像去雾方法
CN103049888A (zh) * 2012-12-07 2013-04-17 西安电子科技大学 基于暗原色结合大气散射光的图像/视频去雾方法
CN104732235A (zh) * 2015-03-19 2015-06-24 杭州电子科技大学 一种消除夜间道路反光干扰的车辆检测方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102930514A (zh) * 2012-09-27 2013-02-13 西安电子科技大学 基于大气物理散射模型的快速图像去雾方法
CN103049888A (zh) * 2012-12-07 2013-04-17 西安电子科技大学 基于暗原色结合大气散射光的图像/视频去雾方法
CN104732235A (zh) * 2015-03-19 2015-06-24 杭州电子科技大学 一种消除夜间道路反光干扰的车辆检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Specular Reflection Separation using Dark Channel Prior;Hyeongwoo Kim等;《IEEE》;20131003;第1460-1467页

Also Published As

Publication number Publication date
CN105678240A (zh) 2016-06-15

Similar Documents

Publication Publication Date Title
CN105678240B (zh) 一种用于道路去反光的图像处理方法
JP4505362B2 (ja) 赤目検出装置および方法並びにプログラム
US9811746B2 (en) Method and system for detecting traffic lights
WO2016054904A1 (zh) 图像处理方法、图像处理装置及显示设备
WO2022027931A1 (zh) 基于视频图像的运动车辆前景检测方法
EP2477139A2 (en) Lane departure warning system and method
CN109087254B (zh) 无人机航拍图像雾霾天空和白色区域自适应处理方法
WO2016037422A1 (zh) 一种视频场景变化的检测方法
US8064654B2 (en) Facial region detection device and correction method for photoprinting
CN111553862B (zh) 一种海天背景图像去雾和双目立体视觉定位方法
CN109948504B (zh) 一种车道线识别方法及装置
KR101875891B1 (ko) 다중 검출 방식을 이용한 얼굴 검출 장치 및 방법
CN103345099A (zh) 一种基于偏振光消光的成像方法
WO2020130799A1 (en) A system and method for licence plate detection
US7221780B1 (en) System and method for human face detection in color graphics images
CN110298812B (zh) 一种图像融合处理的方法及装置
CN109657544B (zh) 一种人脸检测方法和装置
Pandey et al. Traffic sign detection for advanced driver assistance system
JP6354316B2 (ja) 画像検出装置及びプログラム
Zangana A New Skin Color Based Face Detection Algorithm by Combining Three Color Model Algorithms
Naseeba et al. KP Visibility Restoration of Single Hazy Images Captured in Real-World Weather Conditions
Sun et al. Single image fog removal algorithm based on an improved dark channel prior method
RU2807460C9 (ru) Способ контроля цветности документа по его изображению, полученному в неконтролируемых условиях съемки
RU2807460C1 (ru) Способ контроля цветности документа по его изображению, полученному в неконтролируемых условиях съемки
KR101639949B1 (ko) 시각 피로도를 줄일 수 있는 입체 영상 후처리 장치 및 방법

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant