CN111526298B - 一种改善宽动态多场景适应性的方法 - Google Patents

一种改善宽动态多场景适应性的方法 Download PDF

Info

Publication number
CN111526298B
CN111526298B CN202010212608.6A CN202010212608A CN111526298B CN 111526298 B CN111526298 B CN 111526298B CN 202010212608 A CN202010212608 A CN 202010212608A CN 111526298 B CN111526298 B CN 111526298B
Authority
CN
China
Prior art keywords
scene
wide dynamic
mean
luminance
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010212608.6A
Other languages
English (en)
Other versions
CN111526298A (zh
Inventor
李雅芳
梁均林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Infinova Intelligent Technology Co Ltd
Original Assignee
Shenzhen Infinova Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Infinova Intelligent Technology Co Ltd filed Critical Shenzhen Infinova Intelligent Technology Co Ltd
Priority to CN202010212608.6A priority Critical patent/CN111526298B/zh
Publication of CN111526298A publication Critical patent/CN111526298A/zh
Application granted granted Critical
Publication of CN111526298B publication Critical patent/CN111526298B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/741Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)

Abstract

本发明涉及安防监控领域,具体公开了一种改善宽动态多场景适应性的方法,包括以下步骤:步骤S1、判断拍摄的主体所处的场景;步骤S2、根据步骤S1判断得出的结果配置宽动态参数;步骤S3、对步骤S2中经过宽动态处理后的图像进行动态范围压缩,本发明通过预判分类摄像机所处场景情况,属于强光、背光、还是正常场景后,给定合适的相关参数,配置宽动态参数,然后通过压缩动态范围以在显示设备上达到理想的宽动态图像效果,在面对场景变化后能够很好地适应宽动态。

Description

一种改善宽动态多场景适应性的方法
技术领域
本发明涉及安防监控技术领域,尤其涉及一种改善宽动态多场景适应性的方法。
背景技术
在使用监控设备的过程中,并不能保证摄像机的安装位置具有合适的光照条件,实际环境中,存在着高动态范围的环境或者场景。所谓的高动态范围的环境或者场景,是指在这种场景下,强光源(日光、灯具或反光等)照射下的高亮度区域及阴影、逆光等相对亮度较低的区域在图像中同时存在。在这种条件下,因摄像机存在的成像缺陷,即当前图像传感器动态范围不足,摄像机在同一场景中对最亮区域及较暗区域的表现存在局限性,这种局限性具体表现在当使用摄像机对同时包括高、低亮度的区域进行取景时,输出图像在高亮区域由于曝光过度称为一片白色,而在阴暗区域因曝光不足成为一片黑色,此时画面缺少层次,该场景的细节信息无法被准确记录,严重影响图像质量。
宽动态是一种提升上述高动态范围的场景下摄像机动态范围的方法。在安防摄像机中,实现宽动态主要有多曝光图像合成和数字宽动态两种常见的方式。多曝光图像合成的主要思想是在很短的时间内用不同曝光量得到一组低动态范围图像,再使用融合算法将这组低动态范围图像融合成一幅宽动态范围图像。数字宽动态通过拉伸单幅图像对比度的方式使得整幅图像质量提高,获得更加丰富的细节信息。但是,上述的两种方案,都存在面对场景变化后宽动态不能适应的情况。
发明内容
本发明的目的是为了解决现有技术中存在的面对场景变化后宽动态不能适应的缺点,而提出的一种改善宽动态多场景适应性的方法。
为了实现上述目的,本发明采用了如下技术方案:
一种改善宽动态多场景适应性的方法,包括以下步骤:
步骤S1、判断拍摄的主体所处的场景;
步骤S2、根据步骤S1判断得出的结果配置宽动态参数,对图像进行宽动态处理;
步骤S3、对步骤S2中经过宽动态处理后的图像进行动态范围压缩。
优选的,所述步骤S1包括以下步骤:
步骤(1)、统计一帧图像的亮度相关信息:B_mean、B_half、B_twice、H_mean、H_half、H_twice,其中,所述B_mean是一帧图像所有像素的亮度均值,所述B_half是所述亮度均值的一半,所述B_twice是所述亮度均值的两倍,所述H_mean是亮度大于所述B_mean的像素个数占总像素数的比率,所述H_half是所述B_half的像素个数占总像素数的比率,所述H_twice是所述B_twice的像素个数占总像素数的比率;
步骤(2)、定义:H_diff=min(H_twice-H_mean,H_mean-H_half),并对H_mean和H_diff分别划分以下区间并定义符号:
对于H_mean,处于(0,0.25)时为VS,处于(0,0.5)时为S,处于(0.25,0.75)时为M,处于(0.5,1)时为B,处于(0.75,1)时为VB;
对于H_diff,处于(0,0.25)时为VS,处于(0,0.5)时为S,处于(0.25,0.75)时为M,处于(0.5,1)时为B,处于(0.75,1)时为VB;
步骤(3)、根据H_mean和H_diff查询场景判断表,利用所述场景判断表对场景的类型进行判断。
优选的,所述场景包括正常场景、背光场景和强光场景。
优选的,所述判断表以所述H_mean为横轴,H_diff为纵轴,如下:
VS S M B VB
VS 1 -1 -1 -1 -1
S 1 -1 -1 -1 -1
M 0 0 -1 0 0
B 0 0 0 0 0
VB 0 0 0 0 0
其中,当表格中的数值为1时,表示强光场景,当表格中的数值为-1时,表示背光场景,当表格中的数值为0时,表示正常场景。
优选的,当判断为背光场景时,在所述步骤S2中,对长曝光图像统计像素点亮度的分布情况,根据峰值区间将亮度进行分段并计算亮度的加权平均值Yavg,当对于给定目标亮度为Ytar,根据ε=|Yavg-Ytar|调整摄像机曝光量参数,确定曝光时间,设置曝光比,形成宽动态相关参数。
优选的,当判断为强光场景时,在所述步骤S2中,对长曝光图像统计像素点亮度的分布情况,根据峰值区间将亮度进行分段并计算亮度的加权平均值Yavg,当对于给定目标亮度为Ytar,根据ε=|Yavg-Ytar|调整摄像机曝光量参数,确定曝光时间,设置曝光比,形成宽动态相关参数。
优选的,当判断为正常场景时,在所述步骤S2中,不进行宽动态处理,恢复为正常场景摄像机工作模式。
优选的,所述步骤S3中,动态范围压缩将高动态范围的图像压缩到显示器的动态范围,同时保留原图像的细节和对比度。
优选的,所述步骤S3中,得出亮度映射曲线为:
Yout(u,v)=Y(u,v)S(Yavg(u,v))/Yavg(u,v);
S(x)=x+αg(x)-βg(1-x);
Figure BDA0002423331430000041
其中,Y(u,v)为经过宽动态处理后的图像在(u,v)位置处的像素亮度,Yavg为所述像素局部亮度均值,所述α表示暗区强度系数,所述β表示亮区压缩强度。
优选的,所述α的范围为(0.5,1),所述β的范围为(0.5,1),所述k1的范围为(3.5,5.5),所述k2的范围为(1.1,1.4),所述k3的范围为(11,16),所述k4的范围为(1,1.5)。
本发明的有益效果是:
本发明通过预判分类摄像机所处场景情况,属于强光、背光、还是正常场景后,给定合适的相关参数,配置宽动态参数,然后通过压缩动态范围以在显示设备上达到理想的宽动态图像效果,在面对场景变化后能够很好地适应宽动态。
附图说明
图1为本发明提出的一种改善宽动态多场景适应性的方法的逻辑示意图。
具体实施方式
为了便于理解本发明,下面将参照相关附图对本发明进行更全面的描述。附图中给出了本发明的较佳实施方式。但是,本发明可以以许多不同的形式来实现,并不限于本文所描述的实施方式。相反地,提供这些实施方式的目的是使对本发明的公开内容理解的更加透彻全面。
需要说明的是,当元件被称为“固定于”另一个元件,它可以直接在另一个元件上或者也可以存在居中的元件。当一个元件被认为是“连接”另一个元件,它可以是直接连接到另一个元件或者可能同时存在居中元件。本文所使用的术语“垂直的”、“水平的”、“左”、“右”以及类似的表述只是为了说明的目的,并不表示是唯一的实施方式。
除非另有定义,本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述具体的实施方式的目的,不是旨在于限制本发明。本文所使用的术语“及/或”包括一个或多个相关的所列项目的任意的和所有的组合。
请参照图1,一种改善宽动态多场景适应性的方法,包括以下步骤:
步骤S1、判断拍摄的主体所处的场景;
步骤S2、根据步骤S1判断得出的结果配置宽动态参数,,对图像进行宽动态处理;
步骤S3、对步骤S2中经过宽动态处理后的图像进行动态范围压缩。
在步骤S1中,需要进行场景判断,宽动态的多场景适应性依赖于判断拍摄的主体所处的场景。本文将场景划分为三类:第一类:正常场景:如普通室内室外场景;第二类:背光场景:背景亮度远高于拍摄的主体;第三类:强光场景:背景亮度远低于拍摄的主体。
具体的,场景判断的方法如下:
首先统计一帧图像的亮度相关信息信息:B_mean、B_half、B_twice、H_mean、H_half、H_twice,其中,所述B_mean是一帧图像所有像素的亮度均值,所述B_half是所述亮度均值的一半,所述B_twice是所述亮度均值的两倍,所述H_mean是亮度大于所述B_mean的像素个数占总像素数的比率,所述H_half是所述B_half的像素个数占总像素数的比率,所述H_twice是所述B_twice的像素个数占总像素数的比率。
我们定义H_diff=min(H_twice-H_mean,H_mean-H_half);
并对H_mean和H_diff分别划分以下区间并定义符号:
对于H_mean,处于(0,0.25)时为VS,处于(0,0.5)时为S,处于(0.25,0.75)时为M,处于(0.5,1)时为B,处于(0.75,1)时为VB;
对于H_diff,处于(0,0.25)时为VS,处于(0,0.5)时为S,处于(0.25,0.75)时为M,处于(0.5,1)时为B,处于(0.75,1)时为VB。
以H_mean为横轴,H_diff为纵轴得到场景判断表如下:
VS S M B VB
VS 1 -1 -1 -1 -1
S 1 -1 -1 -1 -1
M 0 0 -1 0 0
B 0 0 0 0 0
VB 0 0 0 0 0
其中,当表格中的数值为1时,表示强光场景,当表格中的数值为-1时,表示背光场景,当表格中的数值为0时,表示正常场景。需要说明的是,为保证可靠性,该场景判断部分可适当重复。
在步骤S2中,需要根据步骤S1中的判断结果确定宽动态参数。
具体的,当判断为背光场景时,搭建典型背光场景,对长曝光图像统计像素点亮度的分布情况,根据峰值区间将亮度进行分段并计算亮度的加权平均值,以有3个峰值为例,给出如下计算方式:
Figure BDA0002423331430000081
所述Ymax、Y2、Y3、Yother分别指最大峰、次大峰、第三峰和其它像素的亮度,n1、n2、n3和n0分别是对应峰值宽度内的像素个数,ω1、ω2、ω3、ω0分别是对应的权重,满足约束条件ω1230=1,特别的,令ω1=0。
当给定目标亮度为Ytar,调整与摄像机曝光量相关参数,侧重于曝光时间的调整,直到ε=|Yavg-Ytar|在可接受的范围,且观察图像,其拍摄主体应不欠曝且亮度值在合适的区间范围内,由此确定长曝光时间。设置长短曝光图像曝光比,使曝光比保持在合适的区间,并根据需要选择长短图像融合范围,形成宽动态相关参数。
当判断为强光场景时,搭建典型强光场景,统计短曝光图像像素点亮度的分布情况,根据峰值区间将亮度进行分段并计算亮度的加权平均值,以有3个峰值为例,给出如下计算方式:
Figure BDA0002423331430000082
所述Ymax、Y2、Y3、Yother分别指最大峰、次大峰、第三峰和其它像素的亮度,n1、n2、n3和n0分别是对应峰值宽度内的像素个数,ω1、ω2、ω3、ω0分别是对应的权重,满足约束条件ω1230=1,特别的,令ω0=0。
当给定目标亮度为Ytar,调整与摄像机曝光量相关参数,侧重于曝光时间的调整,直到ε=|Yavg-Ytar|在可接受的范围,且观察图像,其拍摄主体应不欠曝且亮度值在合适的区间范围内,由此确定长曝光时间。设置长短曝光图像曝光比,使曝光比保持在合适的区间,并根据需要选择长短图像融合范围,形成宽动态相关参数。
当判断为正常场景时,不进行宽动态处理,恢复为正常场景摄像机工作模式。
在步骤S3中,对经过宽动态处理后的图像进行动态范围压缩。
具体的,经过宽动态处理后的图像动态范围比较大,直接于显示屏上显示会丢失部分细节,DRC算法的目的是要使真实场景的观察者和显示设备的观察者都能获得相同的视觉感受。DRC算法将高动态范围的图像压缩到显示器的动态范围,同时尽可能的保留原图像的细节和对比度,是宽动态之后的重要步骤。
本实施方式中给出保持映射前后图像局部对比度一致的亮度映射曲线:
Yout(u,v)=Y(u,v)S(Yavg(u,v))/Yavg(u,v);
S(x)=x+αg(x)-βg(1-x);
Figure BDA0002423331430000091
其中,Y(u,v)为经过宽动态处理后的图像在(u,v)位置处的像素亮度,Yavg为所述像素局部亮度均值,所述α表示暗区强度系数,所述β表示亮区压缩强度,k1、k2、k3、k4为调整函数g(x)的参数。
根据第一部分得到的场景分类后,对于背光和强光场景,在各场景下设置合适的参数使经过DRC处理后的图像满足需求。给出各个参数区间范围如下:所述α的范围为(0.5,1),所述β的范围为(0.5,1),所述k1的范围为(3.5,5.5),所述k2的范围为(1.1,1.4),所述k3的范围为(11,16),所述k4的范围为(1,1.5)。
本发明通过预判分类摄像机所处场景情况,属于强光、背光、还是正常场景后,给定合适的相关参数,配置宽动态参数,然后通过压缩动态范围以在显示设备上达到理想的宽动态图像效果,在面对场景变化后能够很好地适应宽动态。
以上所述,仅为本发明较佳的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,根据本发明的技术方案及其发明构思加以等同替换或改变,都应涵盖在本发明的保护范围之内。

Claims (7)

1.一种改善宽动态多场景适应性的方法,其特征在于,包括以下步骤:
步骤S1、判断拍摄的主体所处的场景;
步骤S2、根据步骤S1判断得出的结果配置宽动态参数,对图像进行宽动态处理;
步骤S3、对步骤S2中经过宽动态处理后的图像进行动态范围压缩;
其中,所述步骤S1包括以下步骤:
步骤S11、统计一帧图像的亮度相关信息:B_mean、B_half、B_twice、H_mean、H_half、H_twice,其中,所述B_mean是一帧图像所有像素的亮度均值,所述B_half是所述亮度均值的一半,所述B_twice是所述亮度均值的两倍,所述H_mean是亮度大于所述B_mean的像素个数占总像素数的比率,所述H_half是所述B_half的像素个数占总像素数的比率,所述H_twice是所述B_twice的像素个数占总像素数的比率;
步骤S12、定义:H_diff=min(H_twice-H_mean,H_mean-H_half),并对H_mean和H_diff分别划分以下区间并定义符号:
对于H_mean,处于(0,0.25)时为VS,处于(0,0.5)时为S,处于(0.25,0.75)时为M,处于(0.5,1)时为B,处于(0.75,1)时为VB;
对于H_diff,处于(0,0.25)时为VS,处于(0,0.5)时为S,处于(0.25,0.75)时为M,处于(0.5,1)时为B,处于(0.75,1)时为VB;
步骤S13、根据H_mean和H_diff查询场景判断表,利用所述场景判断表对场景的类型进行判断;
所述场景包括正常场景、背光场景和强光场景;
所述判断表以所述H_mean为横轴,H_diff为纵轴,如下:
VS S M B VB VS 1 -1 -1 -1 -1 S 1 -1 -1 -1 -1 M 0 0 -1 0 0 B 0 0 0 0 0 VB 0 0 0 0 0
其中,当表格中的数值为1时,表示强光场景,当表格中的数值为-1时,表示背光场景,当表格中的数值为0时,表示正常场景。
2.根据权利要求1所述的改善宽动态多场景适应性的方法,其特征在于,当判断为背光场景时,在所述步骤S2中,对长曝光图像统计像素点亮度的分布情况,根据峰值区间将亮度进行分段并计算亮度的加权平均值Yavg,当对于给定目标亮度为Ytar,根据ε=|Yavg-Ytar|调整摄像机曝光量参数,确定曝光时间,设置曝光比,形成宽动态相关参数。
3.根据权利要求2所述的改善宽动态多场景适应性的方法,其特征在于,当判断为强光场景时,在所述步骤S2中,对长曝光图像统计像素点亮度的分布情况,根据峰值区间将亮度进行分段并计算亮度的加权平均值Yavg,当对于给定目标亮度为Ytar,根据ε=|Yavg-Ytar|调整摄像机曝光量参数,确定曝光时间,设置曝光比,形成宽动态相关参数。
4.根据权利要求3所述的改善宽动态多场景适应性的方法,其特征在于,当判断为正常场景时,在所述步骤S2中,不进行宽动态处理,恢复为正常场景摄像机工作模式。
5.根据权利要求1所述的改善宽动态多场景适应性的方法,其特征在于,所述步骤S3中,动态范围压缩将高动态范围的图像压缩到显示器的动态范围,同时保留原图像的细节和对比度。
6.根据权利要求1所述的改善宽动态多场景适应性的方法,其特征在于,所述步骤S3中,得出亮度映射曲线为:
Yout(u,v)=Y(u,v)S(Yavg(u,v))/Yavg(u,v);
S(x)=x+αg(x)-βg(1-x);
Figure FDA0003177027820000031
其中,Y(u,v)为经过宽动态处理后的图像在(u,v)位置处的像素亮度,Yavg为所述像素局部亮度均值,所述α表示暗区强度系数,所述β表示亮区压缩强度。
7.根据权利要求6所述的改善宽动态多场景适应性的方法,其特征在于,所述α的范围为(0.5,1),所述β的范围为(0.5,1),所述k1的范围为(3.5,5.5),所述k2的范围为(1.1,1.4),所述k3的范围为(11,16),所述k4的范围为(1,1.5)。
CN202010212608.6A 2020-03-24 2020-03-24 一种改善宽动态多场景适应性的方法 Active CN111526298B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010212608.6A CN111526298B (zh) 2020-03-24 2020-03-24 一种改善宽动态多场景适应性的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010212608.6A CN111526298B (zh) 2020-03-24 2020-03-24 一种改善宽动态多场景适应性的方法

Publications (2)

Publication Number Publication Date
CN111526298A CN111526298A (zh) 2020-08-11
CN111526298B true CN111526298B (zh) 2021-10-19

Family

ID=71900996

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010212608.6A Active CN111526298B (zh) 2020-03-24 2020-03-24 一种改善宽动态多场景适应性的方法

Country Status (1)

Country Link
CN (1) CN111526298B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103518223A (zh) * 2011-04-18 2014-01-15 高通股份有限公司 高动态范围图像的白平衡优化
CN104980652A (zh) * 2014-04-11 2015-10-14 韩华泰科株式会社 图像处理设备和图像处理方法
CN105898148A (zh) * 2016-05-27 2016-08-24 深圳英飞拓科技股份有限公司 监控宽动态摄像机的图像合成方法及装置
CN108055485A (zh) * 2017-12-20 2018-05-18 上海晔芯电子科技有限公司 多段斜率响应图像传感器的成像恢复方法
CN108322669A (zh) * 2018-03-06 2018-07-24 广东欧珀移动通信有限公司 图像的获取方法及装置、成像装置、计算机可读存储介质和计算机设备

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4979969B2 (ja) * 2006-04-03 2012-07-18 三星電子株式会社 撮像装置および撮像方法
JP4218723B2 (ja) * 2006-10-19 2009-02-04 ソニー株式会社 画像処理装置、撮像装置、画像処理方法およびプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103518223A (zh) * 2011-04-18 2014-01-15 高通股份有限公司 高动态范围图像的白平衡优化
CN104980652A (zh) * 2014-04-11 2015-10-14 韩华泰科株式会社 图像处理设备和图像处理方法
CN105898148A (zh) * 2016-05-27 2016-08-24 深圳英飞拓科技股份有限公司 监控宽动态摄像机的图像合成方法及装置
CN108055485A (zh) * 2017-12-20 2018-05-18 上海晔芯电子科技有限公司 多段斜率响应图像传感器的成像恢复方法
CN108322669A (zh) * 2018-03-06 2018-07-24 广东欧珀移动通信有限公司 图像的获取方法及装置、成像装置、计算机可读存储介质和计算机设备

Also Published As

Publication number Publication date
CN111526298A (zh) 2020-08-11

Similar Documents

Publication Publication Date Title
CN110599433B (zh) 一种基于动态场景的双曝光图像融合方法
US10021313B1 (en) Image adjustment techniques for multiple-frame images
TWI389559B (zh) 前景影像分離方法
CN106454145A (zh) 一种具有场景自适应的自动曝光方法
US7995105B2 (en) Brightness adjusting method
CN106981054B (zh) 一种图像处理方法及电子设备
CN110378859A (zh) 一种新的高动态范围图像生成方法
CN109785240B (zh) 一种低照度图像增强方法、装置及图像处理设备
JP2007067907A (ja) 撮像装置、撮像方法および撮像プログラム、ならびに、画像処理装置、画像処理方法および画像処理プログラム
CN108616689B (zh) 基于人像的高动态范围图像获取方法、装置及设备
CN107820069B (zh) 一种视频监控设备isp调试方法
JP2012109900A (ja) 撮影装置、撮影方法、およびプログラム
CN112565636A (zh) 图像处理方法、装置、设备和存储介质
CN110047060B (zh) 图像处理方法、装置、存储介质及电子设备
Guthier et al. Flicker reduction in tone mapped high dynamic range video
CN110163807A (zh) 一种基于期望亮通道的低照度图像增强方法
CN104299213A (zh) 一种基于低动态图像的细节特征合成高动态图像的方法
JP2008206111A (ja) 撮影装置及び撮影方法
CN111724447B (zh) 一种图像处理方法、系统及电子设备和存储介质
WO2020107646A1 (zh) 图像处理方法
CN115914850A (zh) 增强宽动态图像通透性的方法、电子设备和存储介质
CN111526298B (zh) 一种改善宽动态多场景适应性的方法
WO2022158010A1 (ja) 画像処理方法
Marsi et al. Using a recursive rational filter to enhance color images
CN115696027A (zh) 拍摄方法、装置、控制器、设备和计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant