CN106599901B - 基于深度玻尔兹曼机的协同目标分割与行为识别方法 - Google Patents
基于深度玻尔兹曼机的协同目标分割与行为识别方法 Download PDFInfo
- Publication number
- CN106599901B CN106599901B CN201610878504.2A CN201610878504A CN106599901B CN 106599901 B CN106599901 B CN 106599901B CN 201610878504 A CN201610878504 A CN 201610878504A CN 106599901 B CN106599901 B CN 106599901B
- Authority
- CN
- China
- Prior art keywords
- target
- shape
- behavior
- segmentation
- probability
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Cheminformatics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Probability & Statistics with Applications (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种基于深度玻尔兹曼机的协同目标分割与行为识别方法。该方法,首先利用深度玻尔兹曼机从目标行为训练库中学习行为与动作的多层结构特征,接着以底层图像分割为出发点,根据贝叶斯推理,将目标分割看作最大化条件概率,然后在学习得到的高层先验行为指导下,采用目标形状信息作为底层、中层和高层连接的纽带,并建立总的能量函数,最后通过能量极小化完成目标的同时分割与行为识别。本发明利用底层与高层的协同合作可以同时提高目标分割的精度和行为识别的准确性,解决了在低质量环境下由于噪声、遮挡、光照等多种因素影响下分割效果不佳的问题。
Description
技术领域
本发明涉及计算机视觉技术领域,特别是一种基于深度玻尔兹曼机的协同目标分割与行为识别方法。
背景技术
人类可以在混乱的场景中实现目标的分割、识别和行为理解,但这对于计算机视觉系统却是一个严峻的挑战。主要原因之一是目标的分割、识别和行为理解分别处于图像抽象的底层、中层和高层。处于底层的分割是从图像的数据信息中提取出人们感兴趣的目标,而中层和高层的任务则是根据先验信息识别图像目标,并根据上下文信息分析和理解目标行为。近年来的许多研究表明,目标行为推理过程应该包含目标分割与识别问题,准确的目标分割可以提供完整的目标特征信息供高层分析,而且分割与识别是相互作用同时进行。通过结合高层的先验知识,自上而下来辅助图像分割就变得尤为重要。对于识别和分析熟悉的目标行为,利用目标的先验形状是一种有效的方法。F.Lecumberry等人将多类的先验形状以高阶多模板方式嵌入水平集函数实现同时目标分割与分类。C.Yuan等人通过稀疏字典学习行为特征的方法,结合信息最大化原理实现行为识别。M.Cheng等人把低维流形的学习与动态HMMs模型的训练有机地结合在一起,用于人体姿态估计。L.Gui等人提出基于水平集分割和HMMs相结合的实现从下而上与从上而下的协同推理方法。当面对大量的样本数据,这类方法存在分割精度低,识别稳定性弱等不足,同时由于各种干扰因素的存在,比如噪声、遮挡、背景混乱等,使得这类问题更具有挑战性。
发明内容
本发明的目的在于提供一种克服上述现有技术不足的基于深度玻尔兹曼机的协同目标分割与行为识别方法。
为实现上述目的,本发明的技术方案是:一种基于深度玻尔兹曼机的协同目标分割与行为识别方法,按以下步骤实现:
步骤S1:建立目标的先验行为训练库S,记为S={(Q1,l1),(Q2,l2),…,(Qn,ln)};其中,n为样本个数,Q为目标的行为,l为行为的标记;一个目标行为由T个连续形状构成,即Q={q1,…,qT};形状q采用概率的方式定义,q:Ω→[0,1],其中Ω为图像的定义域,任意x∈Ω,q(x)表示x属于形状的概率;定义Ω中q(x)≥0.5的区域为目标区域,剩余区域为背景区域;假设目标的行为分为K类,用K维向量表示,记为l=(l1;l2;…;lK);
步骤S2:利用深度玻尔兹曼机对目标行为训练库构建学习模型,其中最底层是目标的多张形状,最高层是行为标签;为相应形状q1,…,qT的第一隐含层表示,h2为行为的隐含层表示;通过隐含层构建底层与高层的协同合作;令为学习模型的参数,其中表示qi与之间的权值,W2与W3分别表示与h2、h2与l之间的权值,a2、a3和bi分别为h2、l和qi所在层的偏值;标签层采用softmax分类方法,训练模型的能量方程定义为
步骤S3:以底层多张图像分割为出发点,根据贝叶斯推理,将目标分割看作最大化条件概率Ρ(q1,…,qT|I1,…,IT),即从给定的多张图像I1,…,IT中估计出最佳的目标形状向量q1,…,qT;假设多张图像之间相互独立,利用贝叶斯推理可得
最大化条件概率转换为最小化
上式右边第一项称为先验形状约束项,记为Es(q1,…,qT)=-logP(q1,…,qT),第二项为数据项
步骤S4:根据非参数灰度模型,计算数据项Ed(q1,…,qT);假设每张图像中像素之间是相互独立的;从图像It中估计形状qt,表示为
logP(It|qt)=∫ΩqtlogPin(It)+(1-qt)logPout(It)dx
上式qt表示目标形状,1-qt表示背景;概率Pin(It(x))表示每个像素点属于目标的概率,Pout(It(x))表示每个像素点属于背景的概率;如果以一维方式表示It∈Rm×1和qt∈Rm ×1,m为图像的像素点个数,记那么,
通常待分割的目标在不同图像中会呈现不同的姿态,引入循环移位的思想解决分割过程中目标出现的形变;
步骤S5:由于目标行为的各个动作之间存在相关性,假设服从玻尔兹曼分布P(q1,…,qT)∝exp(-EDBM(q1,…,qT)),那么
Es(q1,…,qT)=-logP(q1,…,qT)=EDBM(q1,…,qT)
采用目标形状信息作为底层、中层和高层连接的纽带,利用深度玻尔兹曼机学习得到的模型作为高层先验项,合并底层数据项得到总的计算模型
步骤S6:以上模型包含四类未知参数,采用交替迭代和近似推理的方法求解,具体求解方程如下:
(1)
(2)
(3)
(4)
(5)
在本发明一实施例中,所述步骤S4中,引入循环移位的思想解决分割过程中目标出现的形变,具体方式为:假设qt为先验形状,为位移循环元,循环移位用卷积表示,采用来表示目标的形状,解决目标位移对齐问题;同理,将形状的直角坐标转换为极坐标,坐标变换记为Γ,为旋转循环元,在极坐标下用循环移位来表示目标形状解决目标旋转对齐问题。
相较于现有技术,本发明具有以下有益效果:
1)利用深度玻尔兹曼机有效捕捉先验知识(行为与动作)的层次结构信息,采用目标形状信息作为底层变分图像分割、中层目标识别和高层行为理解的纽带,通过推理和产生机理实现底层、中层和高层的协同合作;
2)建立统一的计算模型,通过变分法,使得目标分割与行为理解变成求解能量最小值的问题。在图像质量较差或者有干扰的情况下,可以有效获取目标特征信息,从而提高目标分割与识别的精度和行为理解的准确性。
附图说明
图1为本发明中基于四层玻尔兹曼机的学习模型。
图2为本发明中基于深度玻尔兹曼机的协同目标分割与行为识别方法的流程图。
图3为10个手拼单词(Chile,China,Congo,Egypt,Haiti,India,Italy,Kenya,Libya,Sudan)的样本形状,一行对应一个单词的手势形状。
图4为本发明实施例中目标分割的效果图。
具体实施方式
下面结合附图,对本发明的技术方案进行具体说明。
如图1-4所示,本发明的一种基于深度玻尔兹曼机的协同目标分割与行为识别方法,按以下步骤实现:
步骤S1:建立目标的先验行为训练库S,记为S={(Q1,l1),(Q2,l2),…,(Qn,ln)};其中,n为样本个数,Q为目标的行为,l为行为的标记;一个目标行为由T个连续形状构成,即Q={q1,…,qT},如手指拼写一个单词CHINA(行为),由5个字母手势(动作)构成;形状q采用概率的方式定义,q:Ω→[0,1],其中Ω为图像的定义域,任意x∈Ω,q(x)表示x属于形状的概率;定义Ω中q(x)≥0.5的区域为目标区域,剩余区域为背景区域;假设目标的行为分为K类,用K维向量表示,记为l=(l1;l2;…;lK);
步骤S2:利用深度玻尔兹曼机对目标行为训练库构建学习模型,其中最底层是目标的多张形状(以四层为例,见图1),最高层是行为标签;为相应形状q1,…,qT的第一隐含层表示,h2为行为的隐含层表示;通过隐含层构建底层与高层的协同合作;令为学习模型的参数,其中表示qi与之间的权值,W2与W3分别表示与h2、h2与l之间的权值,a2、a3和bi分别为h2、l和qi所在层的偏值;标签层采用softmax分类方法,训练模型的能量方程定义为
步骤S3:以底层多张图像分割为出发点,根据贝叶斯推理,将目标分割看作最大化条件概率Ρ(q1,…,qT|I1,…,IT),即从给定的多张图像I1,…,IT中估计出最佳的目标形状向量q1,…,qT;假设多张图像之间相互独立,利用贝叶斯推理可得
最大化条件概率可以转换为最小化
上式右边第一项称为先验形状约束项,记为Es(q1,…,qT)=-logP(q1,…,qT),第二项为数据项
步骤S4:根据非参数灰度模型,计算数据项Ed(q1,…,qT);假设每张图像中像素之间是相互独立的;从图像It中估计形状qt,可以表示为
logP(It|qt)=∫ΩqtlogPin(It)+(1-qt)logPout(It)dx
上式qt表示目标形状,1-qt表示背景;概率Pin(It(x))表示每个像素点属于目标的概率,Pout(It(x))表示每个像素点属于背景的概率;如果以一维方式表示It∈Rm×1和qt∈Rm ×1,m为图像的像素点个数,记那么,
通常待分割的目标在不同图像中会呈现不同的姿态,可以引入循环移位的思想解决分割过程中目标会有形变,如位移、旋转等情况;假设qt为先验形状,为位移循环元,循环移位可以用卷积表示,采用来表示目标的形状,解决目标位移对齐问题;同理,将形状的直角坐标转换为极坐标,坐标变换记为Γ,为旋转循环元,在极坐标下用循环移位来表示目标形状可以解决目标旋转对齐问题;以先位移后旋转为例,形变后的形状可以表示为
步骤S5:由于目标行为的各个动作之间存在相关性,假设服从玻尔兹曼分布P(q1,…,qT)∝exp(-EDBM(q1,…,qT)),那么
Es(q1,…,qT)=-logP(q1,…,qT)=EDBM(q1,…,qT)
采用目标形状信息作为底层、中层和高层连接的纽带,利用深度玻尔兹曼机学习得到的模型作为高层先验项,合并底层数据项得到总的计算模型
步骤S6:以上模型包含四类未知参数,可以采用交替迭代和近似推理的方法求解,具体求解方程如下:
(1)
(2)
(3)
(4)
(5)
以下为本发明的具体实施过程。
如图2所示,本发明的基于深度玻尔兹曼机的协同目标分割与行为识别方法,具体实现步骤如下:
1、构造一个目标行为的训练库,包含10种行为,分别对应10个手拼单词(Chile,China,Congo,Egypt,Haiti,India,Italy,Kenya,Libya,Sudan),每个单词包含5个手拼字母图像,每个图像大小为50*50。训练库包含500个行为,部分样本集数据如附图3所示。
2、构建四层深度玻尔兹曼机,其中第一隐含层有5个分支,每个分支的结点数为300,第二隐含层的结点数为1200,最高层为标签层,标签层的维数为10。每层的迭代次数为500.
3、输入测试图像I1,…,I5,并转换为一维表示。
4、初始化形状序列q1,…,q5为先验形状的平均形状,并转换为一维表示。
5、得到每张图像的目标区域与背景区域,并计算Pin(It)和Pout(It),t=1,…,5。
6、采用循环移位的方法计算形变项解决位移和旋转变换。
7、根据底层图像I1,…,I5和q1,…,q5,计算e1,…,e5。
8、计算隐含层
9、计算隐含层
10、计算标签层
11、计算隐含层
12、计算目标形状
13、重复步骤5)-12)直至满足迭代次数要求。
14、转换q1,…,q5至二维形状,即为目标的形状序列,l为目标行为标签。
图4是上述目标分割与行为识别实例的效果图,实验图像的分辨率为50×50,图4第1行为原始图像,显然原始图像由于光照、噪声、阻挡(第二幅图像)等因素影响,手目标的特征并不明显。图4第2行、第3行、第4行、第5行、第6行图像分别对应为该算法1,3,5,7,20次迭代得到的结果(迭代次数和识别结果见图的左上角),分割结果中形状轮廓线为红色部分,识别结果为2对应训练类别里面的第2个单词(China)。从图4可以看到,本实施例中算法得到的目标轮廓与真实图像的吻合程度较高,结合高层先验行为和底层灰度特征,并利用循环移位捕捉手的位置,从而提高了目标分割的精度确。
以上是本发明的较佳实施例,凡依本发明技术方案所作的改变,所产生的功能作用未超出本发明技术方案的范围时,均属于本发明的保护范围。
Claims (2)
1.一种基于深度玻尔兹曼机的协同目标分割与行为识别方法,其特征在于:按以下步骤实现:
步骤S1:建立目标的先验行为训练库S,记为S={(Q1,l1),(Q2,l2),…,(Qn,ln)};其中,n为样本个数,Q为目标的行为,l为行为的标记;一个目标行为由T个连续形状构成,即Q={q1,…,qT};形状q采用概率的方式定义,q:Ω→[0,1],其中Ω为图像的定义域,任意x∈Ω,q(x)表示x属于形状的概率;定义Ω中q(x)≥0.5的区域为目标区域,剩余区域为背景区域;假设目标的行为分为K类,用K维向量表示,记为l=(l1;l2;…;lK);
步骤S2:利用深度玻尔兹曼机对目标行为训练库构建学习模型,其中最底层是目标的多张形状,最高层是行为标签;为相应形状q1,…,qT的第一隐含层表示,h2为行为的隐含层表示;通过隐含层构建底层与高层的协同合作;令为学习模型的参数,其中表示qi与之间的权值,W2与W3分别表示与h2、h2与l之间的权值,a2、a3和bi分别为h2、l和qi所在层的偏值;标签层采用softmax分类方法,训练模型的能量方程定义为
步骤S3:以底层多张图像分割为出发点,根据贝叶斯推理,将目标分割看作最大化条件概率P(q1,…,qT|I1,…,IT),即从给定的多张图像I1,…,IT中估计出最佳的目标形状向量q1,…,qT;假设多张图像之间相互独立,利用贝叶斯推理可得
最大化条件概率转换为最小化
上式右边第一项称为先验形状约束项,记为Es(q1,…,qT)=-logP(q1,…,qT),第二项为数据项
步骤S4:根据非参数灰度模型,计算数据项Ed(q1,…,qT);假设每张图像中像素之间是相互独立的;从图像It中估计形状qt,表示为
logP(It|qt)=∫ΩqtlogPin(It)+(1-qt)logPout(It)dx
上式qt表示目标形状,1-qt表示背景;概率Pin(It(x))表示每个像素点属于目标的概率,Pout(It(x))表示每个像素点属于背景的概率;以一维方式表示It∈Rm×1和qt∈Rm×1,m为图像的像素点个数,记那么,
通常待分割的目标在不同图像中会呈现不同的姿态,引入循环移位的思想解决分割过程中目标出现的形变;
步骤S5:由于目标行为的各个动作之间存在相关性,假设服从玻尔兹曼分布P(q1,…,qT)∝exp(-EDBM(q1,…,qT)),那么
Es(q1,…,qT)=-logP(q1,…,qT)=EDBM(q1,…,qT)
采用目标形状信息作为底层、中层和高层连接的纽带,利用深度玻尔兹曼机学习得到的模型作为高层先验项,合并底层数据项得到总的计算模型
步骤S6:以上模型包含四类未知参数,采用交替迭代和近似推理的方法求解,具体求解方程如下:
(1)
(2)
(3)
(4)
(5)
2.根据权利要求1所述的一种基于深度玻尔兹曼机的协同目标分割与行为识别方法,其特征在于:所述步骤S4中,引入循环移位的思想解决分割过程中目标出现的形变,具体方式为:假设qt为先验形状,为位移循环元,循环移位用卷积表示,采用来表示目标的形状,解决目标位移对齐问题;同理,将形状的直角坐标转换为极坐标,坐标变换记为Γ,为旋转循环元,在极坐标下用循环移位来表示目标形状解决目标旋转对齐问题。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610878504.2A CN106599901B (zh) | 2016-10-09 | 2016-10-09 | 基于深度玻尔兹曼机的协同目标分割与行为识别方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610878504.2A CN106599901B (zh) | 2016-10-09 | 2016-10-09 | 基于深度玻尔兹曼机的协同目标分割与行为识别方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106599901A CN106599901A (zh) | 2017-04-26 |
CN106599901B true CN106599901B (zh) | 2019-06-07 |
Family
ID=58555847
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610878504.2A Active CN106599901B (zh) | 2016-10-09 | 2016-10-09 | 基于深度玻尔兹曼机的协同目标分割与行为识别方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106599901B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107330907B (zh) * | 2017-06-28 | 2018-04-13 | 陕西师范大学 | 一种结合深度学习形状先验的mrf图像分割方法 |
CN109727256B (zh) * | 2018-12-10 | 2020-10-27 | 浙江大学 | 一种基于玻尔兹曼和目标先验知识的图像分割识别方法 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102811343A (zh) * | 2011-06-03 | 2012-12-05 | 南京理工大学 | 一种基于行为识别的智能视频监控系统 |
WO2014205231A1 (en) * | 2013-06-19 | 2014-12-24 | The Regents Of The University Of Michigan | Deep learning framework for generic object detection |
CN104268568A (zh) * | 2014-09-17 | 2015-01-07 | 电子科技大学 | 基于独立子空间网络的行为识别方法 |
CN104463248A (zh) * | 2014-12-09 | 2015-03-25 | 西北工业大学 | 基于深度玻尔兹曼机提取高层特征的高分辨率遥感图像飞机检测方法 |
CN105160662A (zh) * | 2015-08-19 | 2015-12-16 | 西安电子科技大学 | 基于局部高斯和玻尔兹曼的水平集图像分割方法 |
CN105894469A (zh) * | 2016-03-31 | 2016-08-24 | 福州大学 | 基于外部块自编码学习和内部块聚类的去噪方法 |
-
2016
- 2016-10-09 CN CN201610878504.2A patent/CN106599901B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102811343A (zh) * | 2011-06-03 | 2012-12-05 | 南京理工大学 | 一种基于行为识别的智能视频监控系统 |
WO2014205231A1 (en) * | 2013-06-19 | 2014-12-24 | The Regents Of The University Of Michigan | Deep learning framework for generic object detection |
CN104268568A (zh) * | 2014-09-17 | 2015-01-07 | 电子科技大学 | 基于独立子空间网络的行为识别方法 |
CN104463248A (zh) * | 2014-12-09 | 2015-03-25 | 西北工业大学 | 基于深度玻尔兹曼机提取高层特征的高分辨率遥感图像飞机检测方法 |
CN105160662A (zh) * | 2015-08-19 | 2015-12-16 | 西安电子科技大学 | 基于局部高斯和玻尔兹曼的水平集图像分割方法 |
CN105894469A (zh) * | 2016-03-31 | 2016-08-24 | 福州大学 | 基于外部块自编码学习和内部块聚类的去噪方法 |
Non-Patent Citations (1)
Title |
---|
基于同向梯度扩散的图像去噪方法;曾勋勋;《福州大学学报(自然科学版)》;20060511;第34卷(第2期);全文 |
Also Published As
Publication number | Publication date |
---|---|
CN106599901A (zh) | 2017-04-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106682598B (zh) | 一种基于级联回归的多姿态的人脸特征点检测方法 | |
CN107220995B (zh) | 一种基于orb图像特征的icp快速点云配准算法的改进方法 | |
Zhu et al. | Evaluating spatiotemporal interest point features for depth-based action recognition | |
CN100407798C (zh) | 三维几何建模系统和方法 | |
CN104392223B (zh) | 二维视频图像中的人体姿态识别方法 | |
Li et al. | LPSNet: a novel log path signature feature based hand gesture recognition framework | |
CN110852182B (zh) | 一种基于三维空间时序建模的深度视频人体行为识别方法 | |
Li et al. | Multiview-based 3-D action recognition using deep networks | |
CN105956560A (zh) | 一种基于池化多尺度深度卷积特征的车型识别方法 | |
CN113128424B (zh) | 基于注意力机制的图卷积神经网络动作识别方法 | |
CN102426480A (zh) | 一种人机交互系统及其实时手势跟踪处理方法 | |
CN111967533B (zh) | 一种基于场景识别的草图图像翻译方法 | |
Xu et al. | Robust hand gesture recognition based on RGB-D Data for natural human–computer interaction | |
CN112990154B (zh) | 一种数据处理方法、计算机设备以及可读存储介质 | |
Zhao et al. | Deep Adaptive Log‐Demons: Diffeomorphic Image Registration with Very Large Deformations | |
CN113312973A (zh) | 一种手势识别关键点特征提取方法及系统 | |
CN110135277A (zh) | 一种基于卷积神经网络的人体行为识别方法 | |
CN106529486A (zh) | 一种基于三维形变人脸模型的种族识别方法 | |
Kalash et al. | Relative saliency and ranking: Models, metrics, data and benchmarks | |
CN106599901B (zh) | 基于深度玻尔兹曼机的协同目标分割与行为识别方法 | |
Sooai et al. | Comparison of recognition accuracy on dynamic hand gesture using feature selection | |
Liu et al. | Key algorithm for human motion recognition in virtual reality video sequences based on hidden markov model | |
Wu et al. | Context-based local-global fusion network for 3D point cloud classification and segmentation | |
CN107146215A (zh) | 一种基于颜色直方图和凸包的显著性检测方法 | |
CN113158870B (zh) | 2d多人姿态估计网络的对抗式训练方法、系统及介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |