CN113936328B - 一种面向智慧安防的智能图像识别方法 - Google Patents
一种面向智慧安防的智能图像识别方法 Download PDFInfo
- Publication number
- CN113936328B CN113936328B CN202111557711.5A CN202111557711A CN113936328B CN 113936328 B CN113936328 B CN 113936328B CN 202111557711 A CN202111557711 A CN 202111557711A CN 113936328 B CN113936328 B CN 113936328B
- Authority
- CN
- China
- Prior art keywords
- lip
- value
- image
- region
- eye
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Collating Specific Patterns (AREA)
Abstract
本发明公开了一种面向智慧安防的智能图像识别方法,设置影像采集装置且和安防处置平台进行关联,然后进行人脸信息采集,并对采集的人脸信息进行特征变量提取和模型库构建,对图像质量进行挑选过滤后提取特征点,并针对不同区域的特征变量采用不同的数据处理方式,最终通过识别决策模型进行结果输出,达到准确识别的效果,多维度数据基础保证识别准确率,将图像进行特征变量进行量化处理,通过量化数据比较提高了计算机的比对效率,同时利用信任值评分得到唯一输出结果,降低识别的错误率,提高了识别效率和准确度。
Description
技术领域
本发明涉及安防识别技术,具体为一种面向智慧安防的智能图像识别方法。
背景技术
在人脸识别技术快速发展的情况下,在轨道交通以及公共会场区域都已基本实现了人脸安防识别系统,这种智能人脸识别是基于实名制下的身份登记模式,在这种识别模式下,图像的识别准确性得不到保障,且在社区或园区的安防识别模式上,由于内部流动人员相对固定,能够建立完善的模型库,在这种情况下,现有的人脸安防识别技术由于缺乏多维数据基础且通过图像直接进行比对,识别效率低下,识别率低,为了解决这个问题,本发明提供一种面向智慧安防的智能图像识别方法。
发明内容
本发明的目的在于提供了一种面向智慧安防的智能图像识别方法。
本发明所解决的技术问题为:
(1)如何通过采集多个维度数据并进行质量管控和预处理,增强数据说服力,解决现有技术比对数据单一,输出结果缺乏说服力的问题;
(2)如何对特征点进行误差消除,提高数据精确度;
(3)如何通过对嘴唇区域进行数列表示和识别决策模型中的信任值评分机制,保证决策参数的唯一性,进而保证输出结果的唯一性。
本发明可以通过以下技术方案实现:一种面向智慧安防的智能图像识别方法,具体包括以下步骤:
步骤一:设置影像采集装置且和安防处置平台进行关联,然后进行人脸信息采集,并对采集的人脸信息进行特征变量提取和模型库构建;
步骤二:通过影像采集装置对目标人物进行影像采集,然后传输至安防处置平台进行筛分并进行图像质量评分,对图像质量评分排名前若干位的人物影像进行图像预处理;
步骤三:分别对眼部区域、耳部区域和嘴唇区域的特征点进行提取,并针对不同区域的特征变量采用不同的数据处理方式,降低数据的误差影响,得到识别决策模型的输入变量;
步骤四:将经过处理后的数据导入至训练好的识别决策模型中,按照眼部区域、耳部区域和嘴唇区域的优先级顺序进行筛选决策,最后返回空值或代表采集人员身份信息的唯一标识码,从而完成图像识别。
本发明的进一步技术改进在于:在构建模型库时,将采集人员的特征变量提取后生成决策参数,所述决策参数整合为字符串编码,并根据该字符串编码生成十六位的唯一标识码。
本发明的进一步技术改进在于:所述图像预处理包括滤波降噪、背景剥离、区域放大和灰度归一化处理,在进行图像质量评分时,对清晰度和人脸比例进行数据标准化处理后分别进行加权求和,按照评分值高低筛选出若干张人物影像。
本发明的进一步技术改进在于:在对经过图像预处理后的人物影像进特征点提取时,运用特征点提取模型确定眼部区域、耳部区域和嘴唇区域的轮廓,其中,特征点提取模型结合了主动外观模型和特征相应增强算法。
本发明的进一步技术改进在于:在对眼部区域进行数据处理时,将眼白面积与眼部区域的总面积进行比值运算,同时测量两个瞳孔的中心间距,得到若干张人物影像的参考眼白比例和参考瞳孔间距并进行均值计算。
本发明的进一步技术改进在于:在对耳部区域进行数据处理时,将耳廓形状的相邻特征点进行连线生成耳廓形状图,以其中一点为坐标原点建立空间直角坐标系,从而得到各特征点坐标,进而计算出对应坐标的偏离系数,并根据偏离系数对坐标进行修正,最终构建参考耳廓形状。
本发明的进一步技术改进在于:在对嘴唇区域进行数据处理时,对于参考嘴唇形状的构建方法与构建参考耳廓形状的方法一致,将嘴唇区域的唇纹数量、唇纹粗细和长度及其排布方式转化为唇纹特征数列的长度、项及排布方式。
本发明的进一步技术改进在于:所述识别决策模型在每一个优先级中设置允许误差率,对经过不同方式处理的数据进行决策并输出唯一标识码或空值,当为空值时对目标任务进行路径记录,当出现多个符合条件的唯一标识码时,对其进行信任值评分,并输出信任值最高的唯一标识码。
本发明的进一步技术改进在于:信任值评分的具体操作为:将眼部区域、耳部区域和嘴唇区域的处理数据与唯一标识码对应的采集人员的模型库数据进行偏差值计算,并进行对应的评分影像系数加权运算得到信任值。
与现有技术相比,本发明具备以下有益效果:
1、通过对目标任务影像进行图像质量评分,得出满足质量要求的图像,并对该图像进行预处理后利用特征点提取模型对每一张人物影像的头部轮廓和对应器官(眼部、耳部和嘴唇)的轮廓进行特征点标记,从而确定出眼部区域、耳部区域和嘴唇区域,多方面采集并处理数据,提高图像识别维度,提高识别准确率;
2、通过建立空间直角坐标系获取所有耳部轮廓和嘴唇轮廓的特征点的坐标,并进行偏离系数计算,将特征点的坐标值进行修正,消除角度或光线问题造成的影像失真造成的误差,提高了数据的精确度,为后续的识别和结果输出提供支撑;
3、通过构建数列排布来记录嘴唇区域的唇纹数量、唇纹粗细和长度及其排布方式,使得每一位采集人员对应的数列均具有唯一性,从而保证决策参数的唯一性,且数列的形式展现相对于图像直接比较提高了计算机的比对效率,量化的数据更具有说服力;
4、通过识别决策模型按照一定的优先级顺序对处理后的数据进行识别过滤,并输出结果,根据输出结果匹配不同的应对方式,在输出结果的过程中,当匹配的唯一标识码有多个时,利用信任值评分得到唯一输出结果,降低识别的错误率,提高了识别效率和准确度。
附图说明
为了便于本领域技术人员理解,下面结合附图对本发明作进一步的说明。
图1为本发明的流程示意图。
具体实施方式
为更进一步阐述本发明为实现预定发明目的所采取的技术手段及功效,以下结合附图及较佳实施例,对依据本发明的具体实施方式、结构、特征及其功效,详细说明如下。
请参阅图1所示,一种面向智慧安防的智能图像识别方法,该识别方法具体包括以下步骤:
步骤一:在社区或园区的路口节点、公共活动区域、楼宇中间区域、消防通道区域、门禁区域等地点设置若干高清摄像头,将高清摄像头通过无线通信方式与安防处置平台进行关联,并将获取的人物影像传输至安防处置平台,高清摄像头采用红外线与可见光融合的多光源视频影像获取技术;
步骤二:对社区或园区内的人员进行人脸信息采集并进行实名登记,实名登记时将对应采集人员的年龄一起进行记录,在人脸信息的采集过程中,需要采集人员表现出多种表情,从而获取正常表情状态下的人脸信息,中,对人脸信息进行特征变量选择提取和模型库构建,其具体为:
S21:对采集人员的眼睛部位进行特征变量提取,获取对应采集人员的虹膜色值、眼白占比,瞳孔中心间距;
S22:对采集人员的耳朵部位进行特征变量提取,获取对应采集人员的耳廓形状、两耳间距;
S23:对采集人员的嘴唇部位进行特征变量提取,获取对应采集人员的双唇形状、唇纹数量、对应唇纹粗细和长度及其排布方式;
S24:同时对采集人员的人脸信息进行多角度采集,构建三维人脸模型,并将上述步骤中提取的眼睛部位、耳朵部位和嘴唇部位的特征变量在三维人脸模型上进行特征点标记,并将参数具象化到三维人脸模型中;
S25:将获取的各个特征变量以眼睛部位、耳朵部位、嘴唇部位的优先级顺序进行识别决策模型构建。
步骤三:安防处置平台将对获取的人物影像进行备份,并对其中一份人物影像进行筛分处理,将清晰度和人脸比例小于设定阈值的人物影像进行过滤删除,将清晰度与人脸比例进行数据标准化处理,随后按照不同的配比系数进行加权并求和得到图像质量评分,按照图像质量评分从截取后的人物影像中选取图像质量评分前二十的人物影像,并将这二十张人物影像打包整合为目标人物影像数据集,需要说明的是,现有的高清摄像头工作状态为一秒钟内能够达到二十五到三十帧的拍摄频率;
步骤四:对目标人物影像数据集进行滤波降噪和背景剥离处理后得到清晰且没有背景干扰的目标人物影像数据集,选取目标人物影像中的头部区域的像素点以及头部像素点边缘外侧邻域内的其他像素点作为放大区域影像,从而获取目标人物的虹膜色值,随后将放大区域影像进行灰度归一化处理;
步骤五:将主动外观模型(AAM)与特征相应增强算法(PRFR)进行融合得到的特征点提取模型,将经过步骤四中预处理过的目标人物影像集导入到特征点提取模型中,则特征点提取模型对目标人物影像集中每一张人物影像的头部轮廓和对应器官(眼部、耳部和嘴唇)的轮廓进行特征点标记,从而确定出眼部区域、耳部区域和嘴唇区域;
步骤六:根据标记出的特征点和对应器官区域进行数据处理,具体为:
S61:根据步骤五中提取的眼部区域,计算出眼部区域的总面积和瞳孔面积,进而得出眼白面积,将眼白面积与眼部区域的总面积作比得到参考眼白比例,同时测算出两个瞳孔中心点之间的距离并标记为参考瞳孔间距,分别将二十张人物影像的参考眼白比例与参考瞳孔间距进行均值计算,得到眼白比例均值和瞳孔间距均值;
S62:将表示耳廓形状的相邻特征点之间进行连线,绘制出耳廓形状图,同时测量两侧耳垂根部之间的连线段的距离得到两耳参考间距,同理对二十张人物影像的两耳参考间距进行均值计算,得到两耳间距均值;
S63:将二十个耳廓形状图以某一特征点为坐标原点、以该特征点与相邻点的两条连线所在平面为横纵坐标轴所在平面建立空间直角坐标系,从而得到所有特征点的坐标数据,求取二十个耳廓形状图中每个特征点的各个坐标的平均值,并根据平均值计算坐标的偏离系数,偏离系数的计算公式为:;
将偏离系数去符号化处理后与预设值进行比较,当偏离系数超出预设值,则将该对应坐标进行剔除,对剩余的偏离系数进行求和,提取求和结果的符号,将坐标均值向符号表示方向,变化率为偏离系数求和结果的均值,需要说明的是,“+”表示坐标均值向变大的方向进行调整,“-”表示坐标均值向变小的方向进行调整,每个对应特征点的坐标均调整完毕后,在空间直角坐标系中,根据调整后的坐标值进行耳廓形状构建得到参考耳廓形状;
S64:将嘴唇区域的双唇形状按照上述构建参考耳廓形状的方式对双唇形状进行误差修正,从而得到参考嘴唇形状,通过构建数列排布来记录嘴唇区域的唇纹数量、唇纹粗细和长度及其排布方式,具体为:
a:根据唇纹数量确定数列的长度,即唇纹数量的多少与数列项的个数相当;
c:将数列的项的排列方式与唇纹的排布方式匹配,从而得到一个长度和各项值都确定的唇纹特征数列。
步骤七:分别将步骤六中处理后的数据导入到识别决策模型,识别决策模型基于决策树算法实现,在步骤二构建模型库的同时生成对应的决策参数并在识别决策模型中设定,一个采集人员所对应的决策参数整合为一条字符串编码并根据该字符串编码生成一个十六位的唯一标识码,按照优先级顺序分别将眼部区域、耳部区域和嘴唇区域经处理过的数据导入至识别决策模型中,在每一个优先级中设置允许误差率,即将步骤二中采集的按照允许误差值得出决策参数的取值范围,允许误差率的确定是利用大量人物影像进行比对训练得出;
当数据经过识别决策模型后,输出一个符合条件的唯一标识码,则在显示端自动输出三维人脸模型和采集人员的基本信息;
当数据经过识别决策模型后,返回为null值,则判定目标人物非社区人员或非园区人员,开启路径记录功能,所谓路径记录功能即对该目标人物进行锁定,每间隔一分钟获取其影像并自动在电子地图上标记出其出现地点和时间,进而得出其行进路线;
当数据经过识别决策模型后,输出多个符合条件的唯一标识码,对多个唯一标识码进行信任值评分,信任值评分的标准为眼部区域、耳部区域和嘴唇区域的处理数据与唯一标识码对应的采集人员的模型库数据进行偏差值计算,并进行对应的评分影像系数加权运算得到信任值,将信任值最高的唯一标识码作为最终输出结果,在显示端自动输出三维人脸模型和采集人员的基本信息,显示端具体为一种平板电脑。
以上所述,仅是本发明的较佳实施例而已,并非对本发明作任何形式上的限制,虽然本发明已以较佳实施例揭示如上,然而并非用以限定本发明,任何本领域技术人员,在不脱离本发明技术方案范围内,当可利用上述揭示的技术内容做出些许更动或修饰为等同变化的等效实施例,但凡是未脱离本发明技术方案内容,依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰,均仍属于本发明技术方案的范围内。
Claims (6)
1.一种面向智慧安防的智能图像识别方法,其特征在于:具体包括以下步骤:
步骤一:设置影像采集装置且和安防处置平台进行关联,然后进行人脸信息采集,并对采集的人脸信息进行特征变量提取和模型库构建,具体为:
S21:对采集人员的眼睛部位进行特征变量提取,获取对应采集人员的虹膜色值、眼白占比,瞳孔中心间距;
S22:对采集人员的耳朵部位进行特征变量提取,获取对应采集人员的耳廓形状、两耳间距;
S23:对采集人员的嘴唇部位进行特征变量提取,获取对应采集人员的双唇形状、唇纹数量、对应唇纹粗细和长度及其排布方式;
S24:同时对采集人员的人脸信息进行多角度采集,构建三维人脸模型,并将上述步骤中提取的眼睛部位、耳朵部位和嘴唇部位的特征变量在三维人脸模型上进行特征点标记,并将参数具象化到三维人脸模型中;
S25:将获取的各个特征变量以眼睛部位、耳朵部位、嘴唇部位的优先级顺序进行识别决策模型构建;
步骤二:通过影像采集装置对目标人物进行影像采集,然后传输至安防处置平台进行筛分并进行图像质量评分,对图像质量评分排名前若干位的人物影像进行图像预处理;
步骤三:分别对眼部区域、耳部区域和嘴唇区域的特征点进行提取,并针对不同区域的特征变量采用不同的数据处理方式,降低数据的误差影响,得到识别决策模型的输入变量,具体地:
在对眼部区域进行数据处理时,计算眼部区域的总面积和瞳孔面积,进而得出眼白面积,将眼白面积与眼部区域的总面积作比得到参考眼白比例,同时测算出两个瞳孔中心点之间的距离并标记为参考瞳孔间距,分别将二十张人物影像的参考眼白比例与参考瞳孔间距进行均值计算,得到眼白比例均值和瞳孔间距均值;
在对耳部区域进行数据处理时,将表示耳廓形状的相邻特征点之间进行连线,绘制出耳廓形状图,同时测量两侧耳垂根部之间的连线段的距离得到两耳参考间距,同理对二十张人物影像的两耳参考间距进行均值计算,得到两耳间距均值;
将二十个耳廓形状图以某一特征点为坐标原点、以该特征点与相邻点的两条连线所在平面为横纵坐标轴所在平面建立空间直角坐标系,从而得到所有特征点的坐标数据,求取二十个耳廓形状图中每个特征点的各个坐标的平均值,并根据平均值计算坐标的偏离系数,偏离系数的计算公式为:偏离系数=(原坐标值-坐标均值)/坐标均值;
将偏离系数去符号化处理后与预设值进行比较,当偏离系数超出预设值,则将对应坐标进行剔除,对剩余的偏离系数进行求和,提取求和结果的符号,将坐标均值向符号表示方向,变化率为偏离系数求和结果的均值;
在对嘴唇区域进行数据处理时,对于参考嘴唇形状的构建方法与构建参考耳廓形状的方法一致,将嘴唇区域的唇纹数量、唇纹粗细和长度及其排布方式转化为唇纹特征数列的长度、项及排布方式,具体为:
a:根据唇纹数量确定数列的长度,即唇纹数量的多少与数列项的个数相当;
b:唇纹粗细具体为单个唇纹的平均宽度值,将唇纹的平均宽度值与唇纹长度代入到公式:特征转化值=α*平均宽度值+β*唇纹长度,得到特征转化值,并将特征转化值标记为上述数列的项;
c:将数列的项的排列方式与唇纹的排布方式匹配,从而得到一个长度和各项值都确定的唇纹特征数列;
步骤四:将经过处理后的数据导入至训练好的识别决策模型中,按照眼部区域、耳部区域和嘴唇区域的优先级顺序进行筛选决策,最后返回空值或代表采集人员身份信息的唯一标识码,从而完成图像识别。
2.根据权利要求1所述的一种面向智慧安防的智能图像识别方法,其特征在于,在构建模型库时,将采集人员的特征变量提取后生成决策参数,所述决策参数整合为字符串编码,并根据该字符串编码生成十六位的唯一标识码。
3.根据权利要求1所述的一种面向智慧安防的智能图像识别方法,其特征在于,所述图像预处理包括滤波降噪、背景剥离、区域放大和灰度归一化处理,在进行图像质量评分时,对清晰度和人脸比例进行数据标准化处理后分别进行加权求和,按照评分值高低筛选出若干张人物影像。
4.根据权利要求3所述的一种面向智慧安防的智能图像识别方法,其特征在于,在对经过图像预处理后的人物影像进特征点提取时,运用特征点提取模型确定眼部区域、耳部区域和嘴唇区域的轮廓,其中,特征点提取模型结合了主动外观模型和特征相应增强算法。
5.根据权利要求1所述的一种面向智慧安防的智能图像识别方法,其特征在于,所述识别决策模型在每一个优先级中设置允许误差率,对经过不同方式处理的数据进行决策并输出唯一标识码或空值,当为空值时对目标任务进行路径记录,当出现多个符合条件的唯一标识码时,对其进行信任值评分,并输出信任值最高的唯一标识码。
6.根据权利要求5所述的一种面向智慧安防的智能图像识别方法,其特征在于,信任值评分的具体操作为:将眼部区域、耳部区域和嘴唇区域的处理数据与唯一标识码对应的采集人员的模型库数据进行偏差值计算,并进行对应的评分影像系数加权运算得到信任值。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111557711.5A CN113936328B (zh) | 2021-12-20 | 2021-12-20 | 一种面向智慧安防的智能图像识别方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111557711.5A CN113936328B (zh) | 2021-12-20 | 2021-12-20 | 一种面向智慧安防的智能图像识别方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113936328A CN113936328A (zh) | 2022-01-14 |
CN113936328B true CN113936328B (zh) | 2022-03-15 |
Family
ID=79289223
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111557711.5A Active CN113936328B (zh) | 2021-12-20 | 2021-12-20 | 一种面向智慧安防的智能图像识别方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113936328B (zh) |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107734253A (zh) * | 2017-10-13 | 2018-02-23 | 广东欧珀移动通信有限公司 | 图像处理方法、装置、移动终端和计算机可读存储介质 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104573628A (zh) * | 2014-12-02 | 2015-04-29 | 苏州福丰科技有限公司 | 一种三维人脸识别方法 |
CN104680128B (zh) * | 2014-12-31 | 2022-10-25 | 北京释码大华科技有限公司 | 一种基于四维分析的生物特征识别方法和系统 |
KR101810190B1 (ko) * | 2016-07-14 | 2017-12-18 | 김용상 | 얼굴 인식을 이용한 사용자 인증 방법 및 그 장치 |
CN107766831B (zh) * | 2017-10-31 | 2020-06-30 | Oppo广东移动通信有限公司 | 图像处理方法、装置、移动终端和计算机可读存储介质 |
CN110197544A (zh) * | 2019-05-31 | 2019-09-03 | 安徽柏络智能科技有限公司 | 基于人脸识别的智慧社区安防监控系统 |
CN111510675A (zh) * | 2020-04-13 | 2020-08-07 | 智粤云(广州)数字信息科技有限公司 | 一种基于人脸识别和大数据分析的智慧安防系统 |
-
2021
- 2021-12-20 CN CN202111557711.5A patent/CN113936328B/zh active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107734253A (zh) * | 2017-10-13 | 2018-02-23 | 广东欧珀移动通信有限公司 | 图像处理方法、装置、移动终端和计算机可读存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN113936328A (zh) | 2022-01-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108537743B (zh) | 一种基于生成对抗网络的面部图像增强方法 | |
Savvides et al. | Efficient design of advanced correlation filters for robust distortion-tolerant face recognition | |
EP1271394A2 (en) | Method for automatically locating eyes in an image | |
CN107862282A (zh) | 一种手指静脉识别与安全认证方法及其终端及系统 | |
CN106384106A (zh) | 一种基于三维扫描的反欺诈人脸识别系统 | |
CN109298785A (zh) | 一种监测设备的人机联控系统及方法 | |
CN109784148A (zh) | 活体检测方法及装置 | |
CN107292228A (zh) | 一种加快人脸识别搜索速度的方法 | |
CN111091046A (zh) | 一种基于机器视觉的用户不良坐姿矫正系统 | |
CN114093501B (zh) | 基于同步视频与脑电的儿童运动性癫痫智能辅助分析方法 | |
CN110765838B (zh) | 用于情绪状态监测的面部特征区域实时动态分析方法 | |
CN111563404B (zh) | 用于基于视频的人再识别的全局局部时间表示方法 | |
CN116128814A (zh) | 舌诊图像的标准化采集方法及相关装置 | |
CN117475502B (zh) | 基于矿用的虹膜和人脸融合识别方法及系统 | |
CN113936328B (zh) | 一种面向智慧安防的智能图像识别方法 | |
CN110647813A (zh) | 一种基于无人机航拍的人脸实时检测识别方法 | |
CN111241505A (zh) | 一种终端设备及其登录验证方法、计算机存储介质 | |
CN108921106A (zh) | 一种基于capsule的人脸识别方法 | |
CN112990090A (zh) | 一种人脸活体检测方法及装置 | |
CN108491796A (zh) | 一种时域周期点目标检测方法 | |
CN111325118A (zh) | 一种基于视频进行身份认证的方法及视频设备 | |
CN106845361B (zh) | 一种行人头部识别方法及系统 | |
CN113435361A (zh) | 一种基于深度相机的口罩识别方法 | |
CN112215064A (zh) | 一种用于公共安全防范的人脸识别方法及系统 | |
Punyani et al. | Iris recognition system using morphology and sequential addition based grouping |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |