CN114782702A - 一种基于三层lstm推敲网络的图像语义理解算法 - Google Patents
一种基于三层lstm推敲网络的图像语义理解算法 Download PDFInfo
- Publication number
- CN114782702A CN114782702A CN202210289121.7A CN202210289121A CN114782702A CN 114782702 A CN114782702 A CN 114782702A CN 202210289121 A CN202210289121 A CN 202210289121A CN 114782702 A CN114782702 A CN 114782702A
- Authority
- CN
- China
- Prior art keywords
- network
- layer
- output
- lstm
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 claims abstract description 17
- 230000000007 visual effect Effects 0.000 claims description 18
- 230000003044 adaptive effect Effects 0.000 claims description 8
- 230000008569 process Effects 0.000 claims description 6
- 239000013598 vector Substances 0.000 claims description 6
- 230000004913 activation Effects 0.000 claims description 5
- 238000013527 convolutional neural network Methods 0.000 claims description 4
- 238000012935 Averaging Methods 0.000 claims description 2
- 238000011176 pooling Methods 0.000 claims description 2
- 238000012545 processing Methods 0.000 claims description 2
- 238000003672 processing method Methods 0.000 claims 2
- 230000006870 function Effects 0.000 abstract description 7
- 238000003058 natural language processing Methods 0.000 abstract 1
- 238000004364 calculation method Methods 0.000 description 7
- 230000007246 mechanism Effects 0.000 description 4
- 241000282326 Felis catus Species 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 244000025254 Cannabis sativa Species 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 238000004040 coloring Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 238000005498 polishing Methods 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000011435 rock Substances 0.000 description 1
- 239000004576 sand Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/205—Parsing
- G06F40/211—Syntactic parsing, e.g. based on context-free grammar [CFG] or unification grammars
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
- G06F40/284—Lexical analysis, e.g. tokenisation or collocates
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Probability & Statistics with Applications (AREA)
- Bioinformatics & Computational Biology (AREA)
- Image Analysis (AREA)
Abstract
本发明属于图像描述领域,具体为一种基于三层LSTM推敲网络的图像语义理解方法。图像语义理解算法通过为图片生成文字描述来挖掘图片深层的语义信息,该领域的发展同时依赖于计算机视觉技术和自然语言处理技术的发展,当前主要使用编解码框架来实现图片生成文字描述的功能,然而即使当前的图像语义理解算法已经能够完整的表达出图像中的内容,但是表达的内容往往不够细腻,生成的词汇不能够精准的表达出图片的内容和属性以及相互关系。因此本发明对基于编解码框架的的图像语义理解算法进行了相应改进,通过引入一层推敲层网络对原始生成的描述进行推敲和润色,提高解码器的表达能力,从而使得生成的描述语句的表达更加细腻准确。
Description
技术领域
本发明属于图像描述领域,具体涉及一种基于三层LSTM推敲网络的图像语义理解方法。
背景技术
图像语义理解算法主要是通过给图片生成一句描述语句来挖掘图片深层语义信息,受机器翻译领域使用编解码框架的影响,学者们将这一框架迁移到图像语义理解领域,使用卷积神经网络作为编码器提取图像特征,使用循环神经网络作为解码器将提取的图像特征解码成文字描述,编解码框架成为当前图像语义理解领域最流行的框架,本发明的图像语义理解算法也将基于编解码框架结构进行改进。
发明内容
本发明要解决的技术问题是:基于编解码框架的图像语义理解算法框架对解码器进行改进,改进后算法的描述效果比原算法更好。
本发明基于Top-down Attention的编解码框架进行改进,包括以下步骤:
步骤1:输入一张图像,使用卷积神经网络提取该图像特征;
其中步骤1的具体步骤为:
步骤101:使用Faster R-CNN网络处理图像,取最后k个感兴趣区域的图像特征为输出特征。
步骤2:将步骤1提取到的图像特征进行平均池化操作得到全局特征;
其中步骤2的具体步骤为:
步骤201:将步骤101中K个感兴趣区域的特征取平均得到全局特征。
步骤3:将步骤2中的全局特征和上一时刻生成的单词的词向量以及第三层 LSTM上一时刻的隐藏层的输出拼接之后输入第一层LSTM网络;
步骤4:将步骤1提取的图像特征和第一层LSTM网络的隐藏层输出一起输入到第一层LSTM和第二层LSTM网络之间的注意力网络;
其中步骤4的具体步骤为:
步骤401:注意力网络使用双曲正切tanh激活函数处理图像特征和第一层 LSTM网络的隐藏层输出得到输入图像特征各个分量的权重;
步骤402:注意力网络将权重和对应的图像特征分量相乘再累加作为注意力网络的输出。
步骤5:将步骤4中的注意力网络的输出和第一层LSTM网络隐藏层输出一起输入第二层LSTM网络;
步骤6:将步骤1中提取的图像特征和第二层LSTM网络的隐藏层输出以及“视觉哨兵”一起输入第二层LSTM和第三层LSTM网络之间的自适应注意力网络;
其中步骤6的具体步骤为:
步骤601:自适应注意力网络使用双曲正切tanh激活函数处理图像特征、“视觉哨兵”和第二层LSTM网络的隐藏层输出得到输入图像特征各个分量和“视觉哨兵”对应的权重;
步骤602:自适应注意力网络将权重和对应的图像特征分量以及“视觉哨兵”相乘再累加作为注意力网络的输出。
步骤7:将自适应注意力网络的输出和第二层LSTM网络的隐藏层输出一起输入第三层LSTM网络;
步骤8:将第三层LSTM网络当前时刻的隐藏层输出和自适应注意力网络的输出做残差连接之后输入到softmax层,得到单词的概率分布;
其中步骤8的具体步骤为:
步骤801:将自适应注意力网络的输出和第三层LSTM网络的输出隐藏层相加作为softmax层的输入。
步骤9:根据步骤8中的单词的概率分布,取分布值最大的概率对应的单词,得到当前时刻的单词;
其中步骤9的具体步骤为:
步骤901:从单词的概率分布中使用argmax函数获取最大值对应的索引,从词汇表中取索引对应的单词即为当前时刻的单词。
步骤10:将每个时刻的输出的单词按序组成描述语句,直到输出语句的单词长度达到最大长度或者单词为结束符标志时,结束输出。
综上所述,由于采用了上述技术方案,本发明的有益效果是:
(1)解决了传统解码器生成描述过于粗糙表达能力不足的问题,从而使得生成的描述更加精准,表达更加和丰富;
(2)使用第三层LSTM网络对前两层的输出进行打磨润色,生成的语句描述将会更加细腻。
附图说明
图1基于三层LSTM推敲网络的图像语义理解方法的网络框架图
图2生成描述示例图
图3初始描述层网络架构图
图4推敲层网络架构图
具体实施方式
基于三层LSTM推敲网络的图像语义理解方法的的网络结构如图1所示。
在基于编解码框架的图像语义理解算法中,现有的研究往往采用一层或者两层的LSTM网络来对编码器提取的图像特征进行解码操作,将图像特征解码为文字描述输出,目前较少有通过三层LSTM网络来处理图像特征作为解码器的;当前的解码器生成的文字描述基本能表达出图片中的内容,但是往往描述的表达过于粗糙,虽然描述了实体,但是实体名称不能准确的表示图片中的目标,或者动词的表述不够精准,如图2所示,使用编解码框架对图2左侧图片生成的描述为“a cat sit on the rock near the tree”,该语句基本描述了图片的内容,但是表达上存在粗糙不够细腻的问题,对于“cat”的动作采用“sit on”不如“stand on”准确细致,而图中“cat”的附近是“grass”而不是“tree”,这样的描述语句虽然在内容完整性上面表达了图片内容,但是表达过于粗糙甚至错误,对于理解图片内容也是不利的。
人类在创作的过程中往往会先草拟出比较粗糙的内容,然后再在此基础上进行打磨推敲和润色,从而创作出更加精致的作品,同时受机器翻译领域推敲网络的启发,可以在top-down两层LSTM解码器框架之上,引入第三层LSTM作为推敲层网络,对前两层的输出进行推敲和润色处理从而生成更加细致的描述,在此将前两层LSTM称之为“初始描述层”,初始描述层的网络架构如图3所示,该网络设计与经典的top-down结构基本一致,不同之处在于考虑到上一时刻注意力机制的结果可能影响到当前时刻的注意力的分配,将注意力网络的输出重新作为注意力网络的输入,其中,[;]表示拼接操作,拼接之后的代替了top-down原论文中的参与注意力机制的计算,即,而初始描述层的其它计算与top-down原论文中的解码器计算方式完全一致。
如图4所示为推敲层的网络结构,在该层除了增加一层LSTM网络之外,还引入了自适应注意力机制,在生成的语句描述中,除了具体性的词语还有抽象性的单词,一般来说,具体性的单词与图片中包含的实物相关,如“桌子”和“草地”等,因此通过对图像特征赋予不同的权值可以很好的指导单词生成,同时通过可视化的分析还可以使得神经网络生成单词的过程从“黑盒”变得更加具有可解释性。但是描述语句中还有一些抽象性的,比如在“Agroup of people stand next to each other”中,“people”是具体类的单词,而“of”和“to”等都是抽象性的虚词,它们的生成并不依赖具体的实物,而是由句子语法和先前生成的词语决定,引入视觉哨兵可以使得句子里面生成的每个单词都能得到更好的指导,即在生成单词时会自适应的选择关注图片特征还是语言模型,从而提升描述生成的质量。
为了能使系统决定是否关注图片还是视觉哨兵,类似于LSTM内部门控结构的设计,引入哨兵门gt,它的表达式如公式(1)所示:
其中Wx和Wh是需要学习的参数,xt是上一层LSTM的输入,在这里是上一层融合特征Vft和第一层LSTM隐藏状态的拼接,δ是sigmoid激活函数,这样 gt的取值范围为0-1之间,起到门控单元的作用。视觉哨兵st的表达式如公式(2) 所示:
st=gt⊙tanh(mt) (2)
其中mt为LSTM的记忆单元,它包含了LSTM中存储的视觉和语义信息,⊙表示向量元素间的点乘操作。
前面我们介绍了视觉哨兵的概念,并且给出了视觉哨兵具体的计算方法,我们将在此基础上进一步介绍基于视觉哨兵的自适应注意力机制,如图4所示,自适应注意力的输出为它是视觉哨兵st和融合特征Vft的线性组合,具体如公式(3)所示:
其中βt是t时刻的门控单元,其取值范围在0-1之间,Vft为第一层注意力网络的输出,公式(3)可以解释为t时刻,对于生成的单词yt,语言模型的贡献占比为βt×100%,而图像特征的占比为(1-βt)×100%,结合前面的分析,生成抽象性词语时,βt应该相对较大,而当生成具体类词语时,βt应该相对较小。
其中“[;]”表示拼接。
其中Wp为需要学习的参数。
Claims (7)
1.一种基于三层LSTM推敲网络的图像语义理解算法,其特征在于,包括下列步骤:
步骤1:输入一张图像,使用卷积神经网络提取该图像特征;
步骤2:将步骤1提取到的图像特征进行平均池化操作得到全局特征;
步骤3:将步骤2中的全局特征和上一时刻生成的单词的词向量以及第三层LSTM上一时刻的隐藏层的输出拼接之后输入第一层LSTM网络;
步骤4:将步骤1提取的图像特征和第一层LSTM网络的隐藏层输出一起输入到第一层LSTM和第二层LSTM网络之间的注意力网络;
步骤5:将步骤4中的注意力网络的输出和第一层LSTM网络隐藏层输出一起输入第二层LSTM网络;
步骤6:将步骤1中提取的图像特征和第二层LSTM网络的隐藏层输出以及“视觉哨兵”一起输入第二层LSTM和第三层LSTM网络之间的自适应注意力网络;
步骤7:将自适应注意力网络的输出和第二层LSTM网络的隐藏层输出一起输入第三层LSTM网络;
步骤8:将第三层LSTM网络当前时刻的隐藏层输出和自适应注意力网络的输出做残差连接之后输入到softmax层,得到单词的概率分布;
步骤9:根据步骤8中的单词的概率分布,取分布值最大的概率对应的单词,得到当前时刻的单词;
步骤10:将每个时刻的输出的单词按序组成描述语句,直到输出语句的单词长度达到最大长度或者单词为结束符标志时,结束输出。
2.根据权利要求1所述的一种基于三层LSTM推敲网络的图像语义理解算法,其特征在于,所述步骤1中提取图像特征的方法具体为:
步骤101:使用Faster R-CNN网络处理图像,取最后k个感兴趣区域的图像特征为输出特征。
3.根据权利要求1所述的一种基于三层LSTM推敲网络的图像语义理解算法,其特征在于,所述步骤2中获取全局特征的方法具体为:
步骤201:将步骤101中K个感兴趣区域的特征取平均得到全局特征。
4.根据权利要求1所述的一种基于三层LSTM推敲网络的图像语义理解算法,其特征在于,所述步骤4中注意力网络处理的方法具体为:
步骤401:注意力网络使用双曲正切tanh激活函数处理图像特征和第一层LSTM网络的隐藏层输出得到输入图像特征各个分量的权重;
步骤402:注意力网络将权重和对应的图像特征分量相乘再累加作为注意力网络的输出。
5.根据权利要求1所述的一种基于三层LSTM推敲网络的图像语义理解算法,其特征在于,所述步骤6中自适应注意力网络处理的方法具体为:
步骤601:自适应注意力网络使用双曲正切tanh激活函数处理图像特征、“视觉哨兵”和第二层LSTM网络的隐藏层输出得到输入图像特征各个分量和“视觉哨兵”对应的权重;
步骤602:自适应注意力网络将权重和对应的图像特征分量以及“视觉哨兵”相乘再累加作为注意力网络的输出。
6.根据权利要求1所述的一种基于三层LSTM推敲网络的图像语义理解算法,其特征在于,所述步骤8中残差连接的方法具体为:
步骤801:将自适应注意力网络的输出和第三层LSTM网络的输出隐藏层相加作为softmax层的输入。
7.根据权利要求1所述的一种基于三层LSTM推敲网络的图像语义理解算法,其特征在于,所述步骤9中得到当前时刻单词的方法具体为:
步骤901:从单词的概率分布中使用argmax函数获取最大值对应的索引,从词汇表中取索引对应的单词即为当前时刻的单词。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210289121.7A CN114782702A (zh) | 2022-03-23 | 2022-03-23 | 一种基于三层lstm推敲网络的图像语义理解算法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210289121.7A CN114782702A (zh) | 2022-03-23 | 2022-03-23 | 一种基于三层lstm推敲网络的图像语义理解算法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114782702A true CN114782702A (zh) | 2022-07-22 |
Family
ID=82425378
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210289121.7A Pending CN114782702A (zh) | 2022-03-23 | 2022-03-23 | 一种基于三层lstm推敲网络的图像语义理解算法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114782702A (zh) |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20170150235A1 (en) * | 2015-11-20 | 2017-05-25 | Microsoft Technology Licensing, Llc | Jointly Modeling Embedding and Translation to Bridge Video and Language |
US20180143966A1 (en) * | 2016-11-18 | 2018-05-24 | Salesforce.Com, Inc. | Spatial Attention Model for Image Captioning |
WO2018094296A1 (en) * | 2016-11-18 | 2018-05-24 | Salesforce.Com, Inc. | Sentinel long short-term memory |
WO2020244287A1 (zh) * | 2019-06-03 | 2020-12-10 | 中国矿业大学 | 一种图像语义描述的生成方法 |
CN113515951A (zh) * | 2021-07-19 | 2021-10-19 | 同济大学 | 基于知识增强注意力网络和组级语义的故事描述生成方法 |
US20220058332A1 (en) * | 2019-09-16 | 2022-02-24 | Tencent Technology (Shenzhen) Company Limited | Image processing method and apparatus, and storage medium |
CN114220095A (zh) * | 2021-12-21 | 2022-03-22 | 一拓通信集团股份有限公司 | 一种基于实例分割的图像语义描述改进方法 |
-
2022
- 2022-03-23 CN CN202210289121.7A patent/CN114782702A/zh active Pending
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20170150235A1 (en) * | 2015-11-20 | 2017-05-25 | Microsoft Technology Licensing, Llc | Jointly Modeling Embedding and Translation to Bridge Video and Language |
US20180143966A1 (en) * | 2016-11-18 | 2018-05-24 | Salesforce.Com, Inc. | Spatial Attention Model for Image Captioning |
WO2018094296A1 (en) * | 2016-11-18 | 2018-05-24 | Salesforce.Com, Inc. | Sentinel long short-term memory |
WO2020244287A1 (zh) * | 2019-06-03 | 2020-12-10 | 中国矿业大学 | 一种图像语义描述的生成方法 |
US20220058332A1 (en) * | 2019-09-16 | 2022-02-24 | Tencent Technology (Shenzhen) Company Limited | Image processing method and apparatus, and storage medium |
CN113515951A (zh) * | 2021-07-19 | 2021-10-19 | 同济大学 | 基于知识增强注意力网络和组级语义的故事描述生成方法 |
CN114220095A (zh) * | 2021-12-21 | 2022-03-22 | 一拓通信集团股份有限公司 | 一种基于实例分割的图像语义描述改进方法 |
Non-Patent Citations (2)
Title |
---|
HAITAO JIA: "Applying Curriculum Learning on Path-based Knowledge Graph Reasoning Algorithems", 《2021 3RD INTERNATIONAL CONFERENCE ON NATURAL LANGUAGE PROCESSING (ICNLP)》, 17 September 2021 (2021-09-17) * |
贾海涛: "基于数据挖掘的动环监控系统告警相关性研究", 《硕士优秀论文数据库》, 15 June 2018 (2018-06-15) * |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108415977B (zh) | 一个基于深度神经网络及强化学习的生成式机器阅读理解方法 | |
CN107967262A (zh) | 一种神经网络蒙汉机器翻译方法 | |
CN110321563B (zh) | 基于混合监督模型的文本情感分析方法 | |
CN111859978A (zh) | 一种基于深度学习的情感文本生成方法 | |
CN112183058B (zh) | 基于bert句子向量输入的诗词生成方法及装置 | |
CN113140020B (zh) | 一种基于伴随监督生成对抗网络的文本生成图像的方法 | |
CN110688861A (zh) | 一种多特征融合的句子级译文质量估计方法 | |
CN113343705A (zh) | 一种基于文本语义的细节保持图像生成方法及系统 | |
CN114791958B (zh) | 一种基于变分自编码器的零样本跨模态检索方法 | |
CN114139497A (zh) | 一种基于bertsum模型的文本摘要提取方法 | |
CN112200664A (zh) | 基于ernie模型和dcnn模型的还款预测方法 | |
CN115759119B (zh) | 一种金融文本情感分析方法、系统、介质和设备 | |
CN113657115A (zh) | 一种基于讽刺识别和细粒度特征融合的多模态蒙古文情感分析方法 | |
CN113468854A (zh) | 一种多文档自动摘要生成方法 | |
CN114708474A (zh) | 一种融合局部和全局特征的图像语义理解算法 | |
CN114692568A (zh) | 一种基于深度学习的序列标注方法及应用 | |
CN114220095A (zh) | 一种基于实例分割的图像语义描述改进方法 | |
CN115204143B (zh) | 一种基于prompt的文本相似度计算方法及系统 | |
CN114782702A (zh) | 一种基于三层lstm推敲网络的图像语义理解算法 | |
CN116258147A (zh) | 一种基于异构图卷积的多模态评论情感分析方法及系统 | |
CN114254657B (zh) | 一种翻译方法及其相关设备 | |
CN115840815A (zh) | 基于指针关键信息的自动摘要生成方法 | |
CN112464673B (zh) | 融合义原信息的语言含义理解方法 | |
CN114972907A (zh) | 基于强化学习和对比学习的图像语义理解及文本生成 | |
CN114169320A (zh) | 一种基于词向量矩阵分解技术的多源数据融合方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |