CN111666974A - 图像匹配方法、装置、计算机设备及存储介质 - Google Patents
图像匹配方法、装置、计算机设备及存储介质 Download PDFInfo
- Publication number
- CN111666974A CN111666974A CN202010357547.2A CN202010357547A CN111666974A CN 111666974 A CN111666974 A CN 111666974A CN 202010357547 A CN202010357547 A CN 202010357547A CN 111666974 A CN111666974 A CN 111666974A
- Authority
- CN
- China
- Prior art keywords
- image
- mutual information
- information response
- feature map
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 81
- 230000004044 response Effects 0.000 claims abstract description 197
- 238000010586 diagram Methods 0.000 claims abstract description 120
- 238000003062 neural network model Methods 0.000 claims abstract description 64
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 63
- 238000012216 screening Methods 0.000 claims abstract description 22
- 230000005764 inhibitory process Effects 0.000 claims abstract description 11
- 238000012549 training Methods 0.000 claims description 16
- 238000004590 computer program Methods 0.000 claims description 13
- 238000012545 processing Methods 0.000 claims description 9
- 230000001629 suppression Effects 0.000 claims description 9
- 238000001914 filtration Methods 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 2
- 238000011176 pooling Methods 0.000 description 12
- 230000008569 process Effects 0.000 description 10
- 230000006870 function Effects 0.000 description 7
- 239000011159 matrix material Substances 0.000 description 7
- 238000005457 optimization Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000011478 gradient descent method Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 238000012952 Resampling Methods 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- Software Systems (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Mathematical Physics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Multimedia (AREA)
- Probability & Statistics with Applications (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种图像匹配方法、装置、计算机设备及存储介质，获取待匹配图像和模板图像；获取目标神经网络模型，目标神经网络模型包括卷积神经网络和互信息响应网络；将待匹配图像和模板图像分别输入至目标神经网络模型的卷积神经网络中，得到第一特征图和第二特征图；将第一特征图和第二特征图分别输入至目标神经网络模型的互信息响应网络中，计算第一特征图和第二特征图之间的互信息响应，得到第一特征图中的互信息响应区域；基于第一互信息响应值，采用非极大抑制方法对第一特征图中的互信息响应区域进行筛选，得到目标区域；从而解决了图像匹配的耗时长、效率低以及结果不精准的问题，提高了图像匹配的效率和准确性。
Description
技术领域
本发明涉及智能决策领域，尤其涉及一种图像匹配方法、装置、计算机设备及存储介质。
背景技术
在计算机视觉领域，在给定区域内搜索想要的目标是一种常见的任务。目前，这项任务的解决方案很多，而模板匹配是其中最常用的一种方法。模板匹配是研究某一特定对象物的模板图像位于待匹配图像中的位置，进而识别对象物，它是图像处理中最基本、最常用的匹配方法。但是，现有的模板匹配技术大多需要以给定模型为基础，并需要遍历整个搜索图之后，将最为相似的子图作为匹配结果返回，如此，整个匹配过程需要耗费大量时间，匹配效率低；此外，还有部分模板匹配使用灰度图计算二者的相关性度量，但该方案会造成一部分图像信息的损失，进而使得匹配结果不够精准。
发明内容
本发明实施例提供一种图像匹配方法、装置、计算机设备及存储介质，以解决图像匹配的耗时长、效率低以及结果不精准的问题。
一种图像匹配方法，包括：
获取待匹配图像和模板图像；
获取目标神经网络模型，所述目标神经网络模型包括卷积神经网络和互信息响应网络；
将所述待匹配图像和所述模板图像分别输入至所述目标神经网络模型的所述卷积神经网络中，得到第一特征图和第二特征图，其中，所述第一特征图为所述待匹配图像的特征图，所述第二特征图为所述模板图像的特征图；
将所述第一特征图和所述第二特征图分别输入至所述目标神经网络模型的所述互信息响应网络中，计算所述第一特征图和所述第二特征图之间的互信息响应，得到所述第一特征图中的互信息响应区域，所述互信息响应区域包括第一互信息响应值；
基于所述第一互信息响应值，采用非极大抑制方法对所述第一特征图中的所述互信息响应区域进行筛选，得到目标区域，其中，所述目标区域为所述待匹配图像从所述模板图像中匹配到的目标对象所在的区域。
一种图像匹配装置，包括：
第一获取模块，用于获取待匹配图像和模板图像；
第二获取模块，用于获取目标神经网络模型，所述目标神经网络模型包括卷积神经网络和互信息响应网络；
第一输入模块，用于将所述待匹配图像和所述模板图像分别输入至所述目标神经网络模型的所述卷积神经网络中，得到第一特征图和第二特征图，其中，所述第一特征图为所述待匹配图像的特征图，所述第二特征图为所述模板图像的特征图；
第二输入模块，用于将所述第一特征图和所述第二特征图分别输入至所述目标神经网络模型的所述互信息响应网络中，计算所述第一特征图和所述第二特征图之间的互信息响应，得到所述第一特征图中的互信息响应区域，所述互信息响应区域包括第一互信息响应值；
筛选模块，用于基于所述第一互信息响应值，采用非极大抑制方法对所述第一特征图中的所述互信息响应区域进行筛选，得到目标区域，其中，所述目标区域为所述待匹配图像从所述模板图像中匹配到的目标对象所在的区域。
一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述图像匹配方法。
一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述图像匹配方法。
上述图像匹配方法、装置、计算机设备及存储介质，获取待匹配图像和模板图像；获取目标神经网络模型，目标神经网络模型包括卷积神经网络和互信息响应网络；将待匹配图像和模板图像分别输入至目标神经网络模型的卷积神经网络中，得到第一特征图和第二特征图，其中，第一特征图为待匹配图像的特征图，第二特征图为模板图像的特征图；将第一特征图和第二特征图分别输入至目标神经网络模型的互信息响应网络中，计算第一特征图和第二特征图之间的互信息响应，得到第一特征图中的互信息响应区域，互信息响应区域包括第一互信息响应值；基于第一互信息响应值，采用非极大抑制方法对第一特征图中的互信息响应区域进行筛选，得到目标区域，其中，目标区域为待匹配图像从模板图像中匹配到的目标对象所在的区域；本方案通过采用卷积神经网络和互信息响应网络结合的模型，对待匹配图像和模板图像进行特征提取，然后计算待匹配图像的特征和模板图像的特征之间的互信息响应，从而实现了从模板图像中快速准确地匹配到的待匹配图像的目标区域；大大节省了计算量和计算时间，能够更好的适用于背景复杂多变的图像匹配场景，从而提高了图像匹配的效率和准确性。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明一实施例中图像匹配方法的一应用环境示意图；
图2是本发明一实施例中图像匹配方法的一示例图；
图3是本发明一实施例中图像匹配方法的另一示例图；
图4是本发明一实施例中图像匹配方法的另一示例图；
图5是本发明一实施例中图像匹配方法的另一示例图；
图6是本发明一实施例中图像匹配装置的一原理框图；
图7是本发明一实施例中图像匹配装置的另一原理框图；
图8是本发明一实施例中图像匹配装置的另一原理框图；
图9是本发明一实施例中计算机设备的一示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例提供的图像匹配方法，该图像匹配方法可应用如图1所示的应用环境中。具体地，该图像匹配方法应用在图像匹配系统中，该图像匹配系统包括如图1所示的客户端和服务端，客户端与服务端通过网络进行通信，用于解决图像匹配结果不精准的问题。其中，客户端又称为用户端，是指与服务器相对应,为客户提供本地服务的程序。客户端可安装在但不限于各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备上。服务端可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一实施例中，如图2所示，提供一种图像匹配方法，以该方法应用在图1中的服务端为例进行说明，包括如下步骤：
S10：获取待匹配图像和模板图像。
其中，待匹配图像为待进行匹配的图像。具体地，待匹配图像可以是先通过客户端的图像采集工具实时采集的图像数据，也可以是客户端预先采集并保存的图像数据，或者是本地直接上传或者发送到客户端的图像数据。模板图像为预先设定的用于进行匹配的标准图像数据。模板图像中包含有待匹配图像需进行搜索匹配的对象。可以理解地，在一具体实施例中，待匹配图像中包含有待匹配对象，在将待匹配图像与模板图像进行匹配的过程中，从模板图像中搜索出与待匹配图像中的待匹配对象相似度最高的对象作为待匹配图像的目标对象。
S20：获取目标神经网络模型，目标神经网络模型包括卷积神经网络和互信息响应网络。
其中，目标神经网络模型为采用卷积神经网络和互信息响应网络训练得到的模型，用于对待匹配图像和模板图像进行图像匹配。其中，卷积神经网络(ConvolutionalNeural Networks,CNN)是一类包含卷积计算且具有深度结构的前馈神经网络(Feedforward Neural Networks)。卷积神经网络包含输入层、卷积层、池化层和全连接层+Softmax(分类网络)。
具体地，输入层用于输入图像，将图像处理成n×n个像素点的值。卷积层用于对输入的图像进行特征提取，其内部包含多个卷积核，组成卷积核的每个元素都对应一个权重系数和一个偏差量(bias vector)。通过卷积运算，原始特征增强，同时也降低了噪声，当卷积核不同时，提取到图像中的特征不同。优选地，在本实施例中，卷积神经网络中的卷积层采用3*3卷积块。池化层用于将局部像素值平均化来实现子抽样，可以在一定程度上保证网络的特征被提取，同时降低运算量，从而减少了网络结构过拟合的风险。全连接层用于对输入进行点积之后加入偏置，然后经过一个激活函数传输给输出层的神经元。输出层用于得到输出向量。全连接层将权重矩阵与输入向量相乘再加上偏置，将nn个实数映射为KK个实数(分数)，即每维特征的重要程度、对最终分数的影响程度，通过对特征加权求和得到每个类别的分数；Softmax(分类网络)用于将KK个实数映射为KK个的实数的概率，同时保证它们之和为1。
其中，互信息(Mutual Information)是信息论里一种有用的信息度量，它是指两个事件集合之间的相关性。互信息响应网络为自定义设定的用于计算两个图像之间的互信息响应的网络。在本实施例中，互信息响应网络设定在卷积神经网络的Softmax后面的一层，根据Softmax的输出向量计算出二者之间互信息响应值。例如：互信息响应网络为：
InfoMAX(s|t)<-θ*softmax(Feature_source|Feature_template)；
InfoMAX(t|s)<-θ*softmax(Feature_template|Feature_source)。
S30：将待匹配图像和模板图像分别输入至目标神经网络模型的卷积神经网络中，得到第一特征图和第二特征图，其中，第一特征图为待匹配图像的特征图，第二特征图为模板图像的特征图。
具体地，将待匹配图像和模板图像分别输入至目标神经网络模型的卷积神经网络中，待匹配图像和模板图像从输入层到卷积层进行卷积操作，通过卷积操作可得到待匹配图像的卷积层输出特征和模板图像的卷积层输出特征；然后将待匹配图像的卷积层输出特征和模板图像的卷积层输出特征输入池化层进行池化操作，得到池化层输出特征；再将待匹配图像的池化层输出特征和模板图像的池化层输出特征输入到全连接层，全连接层通过对待匹配图像的池化层输出特征和模板图像的池化层输出特征进行加权求和，得到待匹配图像中每个类别的分数和模板图像中每个类别的分数，最后经过Softmax(分类网络)映射为概率；得到第一特征图和第二特征图，其中，第一特征图为待匹配图像的特征图，第二特征图为模板图像的特征图。
S40：将第一特征图和第二特征图分别输入至目标神经网络模型的互信息响应网络中，计算第一特征图和第二特征图之间的互信息响应，得到第一特征图中的互信息响应区域，互信息响应区域包括第一互信息响应值。
具体地，在经过卷积神经网络对待匹配图像和模板图像进行特征提取，得到第一特征图和第二特征图之后，再将第一特征图和第二特征图输入至目标神经网络模型的互信息响应网络中，计算第一特征图和第二特征图之间的互信息响应，从而得到第一特征图中的互信息响应区域。可以理解地，计算第一特征图和第二特征图之间的互信息响应是指计算第一特征图和第二特征图之间的相关性。具体地，第一特征图和第二特征图的互信息为I(A,B)＝H(A)+H(B)-H(A,B)，当A,B互信息I最大时，即相关性最大时，则第一特征图和第二特征图配准。其中，互信息响应区域为第一特征图和第二特征图之间具有相关性的区域。互信息响应区域包括第一互信息响应值。在第一特征图中的互信息响应区域内包括有若干候选对象区域，每一候选对象区域对应一个第一互信息响应值。其中，第一互信息响应值用于反映所对应的候选对象区域与第二特征图的相关性程度。
S50：基于第一互信息响应值，采用非极大抑制方法对第一特征图中的互信息响应区域进行筛选，得到目标区域，其中，目标区域为待匹配图像从模板图像中匹配到的目标对象所在的区域。
其中，非极大值抑制(Non-Maximum Suppression，NMS)方法是一种局部最大搜索的方法。局部代表的是一个邻域，邻域有两个参数可变，一是邻域的维数，二是邻域的大小。非极大值抑制(Non-Maximum Suppression，NMS)方法主要目的是为了消除多余的框，找到最佳的物体检测的位置。具体地，在得到第一特征图中的互信息响应区域之后，该互信息响应区域内包括有若干若干候选对象区域，每一若干候选对象区域均对应有第一互信息响应值；基于每一候选对象区域对应的第一互信息响应值，采用非极大抑制方法对互信息响应区域中的每一候选对象区域进行筛选，筛选出互信息响应值最大的区域，作为目标区域。或者，预先设定一个互信息响应阈值，在对第一特征图中的互信息响应区域中的每一候选对象区域进行筛选的过程中，将第一互信息响应值大于互信息响应阈值的候选对象区域确定为目标区域。其中，目标区域为待匹配图像从模板图像中匹配到的目标对象所在的区域。
在本实施例中，获取待匹配图像和模板图像；获取目标神经网络模型，目标神经网络模型包括卷积神经网络和互信息响应网络；将待匹配图像和模板图像分别输入至目标神经网络模型的卷积神经网络中，得到第一特征图和第二特征图，其中，第一特征图为待匹配图像的特征图，第二特征图为模板图像的特征图；将第一特征图和第二特征图分别输入至目标神经网络模型的互信息响应网络中，计算第一特征图和第二特征图之间的互信息响应，得到第一特征图中的互信息响应区域，互信息响应区域包括第一互信息响应值；基于第一互信息响应值，采用非极大抑制方法对第一特征图中的互信息响应区域进行筛选，得到目标区域，其中，目标区域为待匹配图像从模板图像中匹配到的目标对象所在的区域；本方案通过采用卷积神经网络和互信息响应网络结合的模型，对待匹配图像和模板图像进行特征提取，然后计算待匹配图像的特征和模板图像的特征之间的互信息响应，从而实现了从模板图像中快速准确地匹配到的待匹配图像的目标区域；大大节省了计算量和计算时间，能够更好的适用于背景复杂多变的图像匹配场景，从而提高了图像匹配的效率和准确性。
在一实施例中，如图3所示，在获取目标神经网络模型之前，该图像匹配方法，还具体包括如下步骤：
S11：获取样本图像数据，样本图像数据包括目标样本图像和模板样本图像。
其中，样本图像数据是指用于进行模型训练的图像数据。样本图像数据可以为预先采集的两个存在相同特征对象的图像，也可以为直接从图像库中获取的两个相似图像。具体地，样本图像数据包括目标样本图像和目标模板图像。目标样本图像和目标模板图像之间存在相似/相同的特征对象。
优选地，在获取到样本图像数据之后，为了保证后续进行模型训练的准确性，可以先对样本图像数据中的目标样本图像和模板样本图像进行预处理。对目标样本图像和模板样本图像进行预处理包括：分别对目标样本图像和模板样本图像进行2倍下采样处理，从而可保证在尽可能不损失图像信息的同时又能减少后续模型训练的时间；然后再对目标样本图像和模板样本图像进行数值归一化处理，以消除图像上奇异像素点所导致的不良影响。
进一步地，为了保目标样本图像和模板样本图像具有相同的空间分辨率、尺寸大小，需要对目标样本图像进行重采样滤波操作，将滤波器中校对机的空间分辨率和尺寸大小设置为与模板样本图像相对应的空间分辨率和尺寸大小。
S12：获取预设的神经网络模型，神经网络模型包括卷积神经网络和互信息响应网络。
其中，卷积神经网络模型是由卷积神经网络和互信息响应网络组成，用于对样本图像数据进行训练的模型。卷积神经网络为用于对目标样本图像和模板样本图像进行特征提取的网络。卷积神经网络包含输入层、卷积层、池化层和全连接层+Softmax(分类网络)。卷积神经网络中的卷积层采用3*3卷积块。互信息响应网络为自定义设定的用于计算两个图像之间的互信息响应的网络。互信息响应网络设定在卷积神经网络的Softmax后面的一层，根据Softmax的输出向量计算出二者之间的互信息响应值。
S13：利用目标样本图像和模板样本图像对卷积神经网络进行训练，得到第一样本特征图和第二样本特征图，其中，第一样本特征图为目标样本图像的特征图，第二样本特征图为模板样本图像的特征图。
具体地，利用目标样本图像和模板样本图像，采用梯度下降法对卷积神经网络进行训练，得到第一样本特征图和第二样本特征图。具体地，先对卷积神经网络进行权值的初始化；目标样本图像和模板样本图像经过卷积层、池化层和全连接层的向前传播得到输出值；然后求出卷积神经网络的输出值与目标值之间的误差；当误差大于期望值时，将误差传回卷积神经网络中，依次求得全连接层，池化层和卷积层的误差；当误差等于或小于我们的期望值时结束训练；得到第一样本特征图和第二样本特征图。
其中，第一样本特征图为在采用目标样本图像对卷积神经网络进行训练的过程中所提取出来的特征矩阵，第二样本特征图在采用模板样本图像对卷积神经网络进行训练的过程中所提取出来的特征采用。可以理解地，第一样本特征图和第二样本特征图均为向量矩阵。
S14：将第一样本特征图和第二样本特征图输入至互信息响应网络中，计算第一样本特征图和第二样本特征图之间的第二互信息响应值，并根据第二互信息响应值对互信息响应网络中的权值参数进行调整，直至第二互信息响应值满足预设条件，得到目标神经网络模型。
具体地，将第一样本特征图和第二样本特征图输入至互信息响应网络中，计算第一样本特征图和第二样本特征图之间的第二互信息值响应值。在计算第一样本特征图和第二样本特征图的第二互信息值响应值时，根据得到的第二互信息响应值对互信息响应网络中的权重参数进行调节，通过调整不同的权重参数来使得第二互信息响应值满足预设条件，得到目标神经网络模型。其中，预设条件为对第二互信息值响应值进行不断的搜索优化直至最大。其中，第二互信息值响应值搜索优化过程具体为：判断互信息响应网络中的权值参数是否满足收敛条件，若是，则优化结束，得到目标神经网络模型，反之，则进入优化器，采用随机梯度下降法对第二互信息响应值进行优化，直到满足收敛条件，优化结束，得到目标神经网络模型。
在本实施例中，获取样本图像数据，样本图像数据包括目标样本图像和模板样本图像；获取预设的卷积神经网络模型，卷积神经网络模型包括卷积神经网络和互信息响应网络；利用目标样本图像和模板样本图像对卷积神经网络进行训练，得到第一样本特征图和第二样本特征图，其中，第一样本特征图为目标样本图像的特征图，第二样本特征图为模板样本图像的特征图；将第一样本特征图和第二样本特征图输入到互信息响应网络中，计算第一样本特征图和第二样本特征图之间的第二互信息响应值，并根据第二互信息响应值对互信息响应网络中的权值参数进行调整，直至第二互信息响应值满足预设条件，得到目标神经网络模型；通过样本图像数据对卷积神经网络和互信息响应网络进行训练，得到目标神经网络模型，通过该目标神经网络模型可实现对图像进行特征提取和计算图像特征之间的互信息响应，从而提高了图像匹配的效率和准确性。
在一实施例中，如图4所示，基于互信息响应值，采用非极大抑制方法对第一特征图中的互信息响应区域进行筛选，得到目标区域，具体包括如下步骤：
S501：根据第一预设策略确定互信息响应阈值。
其中，第一预设策略是指预先设定的用于评估互信息响应值是否满足条件的策略。基于第一预设策略确定互信息响应阈值。其中，互信息响应阈值为互信息响应的最大值。具体地，第一预设策略可以为根据第一特征图中的互信息响应区域所包含的互信息响应值确定互信息响应阈值；也可以为根据匹配的目标区域所需的精准度确定互信息响应阈值。可以理解地。若对匹配的目标区域的精准度的要求较高，则可将互信息响应阈值设定为较大值，若对匹配的目标区域的精准度的要求较低，则可将互信息响应阈值设定为较小值。
S502：利用非极大值抑制法对第一特征图中的互信息响应区域进行筛选，将第一互信息响应值大于互信息响应阈值的区域确定为目标区域，其中，目标区域为待匹配图像从模板图像中匹配到的目标对象所在的区域。
具体地，在确定了第一特征图中的互信息响应区域之后，由于该互信息响应区域内所包含有若干候选对象区域，每一候选对象区域对应一个第一互信息响应值；因此，在本步骤中，采用非极大值抑制法对互信息响应区域中的每一候选对象区域进行筛选，将第一互信息响应区域中互信息响应值大于互信息响应阈值的候选对象区域确定为目标区域。例如：若互信息响应阈值设定为200，将互信息响应区域中的每一第一互信息响应值与互信息响应阈值200进行比较，将大于互信息响应阈值200的第一互信息响应值所对应的候选对象区域确定为目标区域。
在本实施例中，根据第一预设策略确定互信息响应阈值；利用非极大值抑制法对第一特征图中的互信息响应区域进行筛选，将互信息响应值大于互信息响应阈值的区域确定为目标区域，其中，目标区域为待匹配图像从模板图像中匹配到的目标对象所在的区域；从而提高了所确定的目标区域的精准度。
在一实施例中，如图5所示，在将待匹配图像和模板图像分别输入至目标神经网络模型的卷积神经网络中，得到第一特征图和第二特征图之后，以及在将第一特征图和第二特征图输入至目标神经网络模型的互信息响应网络中之前，该图像匹配方法，还具体包括如下步骤：
S21：若第一特征图和第二特征图的大小不同，则根据第二预设策略确定目标特征大小。
具体地，由于第一特征图和第二特征图是由待匹配图像和模板图像经过卷积神经网络后所生成的，因此第一特征图和第二特征图可能存在大小不同的情况。在本实施例中，需要重新对齐第一特征图和第二特征图的大小。具体地，若第一特征图和第二特征图的大小不同，则先根据第二预设策略确定一目标特征大小。其中，第二预设策略为用于确定目标特征大小的策略。目标特征大小是指预先设定的用于对第一特征图和第二特征图的大小进行标准化的基准大小。在本实施例中，由于第一特征图和第二特征图均为一向量矩阵，因此目标特征大小也为一具体的向量矩阵。可选地，第二预设策略可以将目标特征大小设定为与第一特征图的大小相同，也可以将目标特征大小设定为与第二特征图的大小相同，还可以为根据实际情况自定义设定。
S22：采用reshape方法对第一特征图和第二特征图进行处理，得到与目标特征大小相同的第一目标特征图和与目标特征大小相同的第二目标特征图。
其中，reshape是MATLAB中将指定的矩阵变换成特定维数矩阵一种函数，且矩阵中元素个数不变，函数可以重新调整矩阵的行数、列数和维数。函数语法为B＝reshape(A,size)是指返回一个和A元素相同的n维数组，但是由向量size来决定重构数组维数的大小。由于第一特征图和第二特征图均为向量矩阵，因此，在本步骤中，在确定了目标特征大小之后，采用reshape方法对第一特征图和第二特征图进行处理，重新调整第一特征图和第二特征图的矩阵的行数、列数和维数，得到与目标特征大小相同的第一目标特征图和与目标特征大小相同的第二目标特征图。
在本实施例中，若第一特征图和第二特征图的大小不同，则根据第二预设策略确定目标特征大小；采用reshape方法对第一特征图和第二特征图进行处理，得到与目标特征大小相同的第一目标特征图和与目标特征大小相同的第二目标特征图；从而提高了后续采用第一特征图和第二特征图进行模型训练的准确性。
在一实施例中，在利用目标样本图像和模板样本图像对卷积神经网络进行训练，得到第一样本特征图和第二样本特征图之前，该图像匹配方法，还具体包括如下步骤：
利用预设初始化模型对卷积神经网络的卷积层中的权重参数进行初始化处理。
其中，预设初始化模型是指预先训练好的用于对卷积神经网络的卷积层中的权重参数进行初始化的模型。预设初始化模型优选为ImageNet模型。具体地，采用在ImageNet图像数据集上预训练得到的权重对卷积神经网络的卷积层中的权重参数进行初始化；从而进一步提高了生成的目标神经网络模型的准确性。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
在一实施例中，提供一种图像匹配装置，该图像匹配装置与上述实施例中图像匹配方法一一对应。如图6所示，该图像匹配装置包括第一获取模块10、第二获取模块20、第一输入模块30、第二输入模块40和筛选模块50。
各功能模块详细说明如下：
第一获取模块10，用于获取待匹配图像和模板图像；
第二获取模块20，用于获取目标神经网络模型，目标神经网络模型包括卷积神经网络和互信息响应网络；
第一输入模块30，用于将待匹配图像和模板图像分别输入至目标神经网络模型的卷积神经网络中，得到第一特征图和第二特征图，其中，第一特征图为待匹配图像的特征图，第二特征图为模板图像的特征图；
第二输入模块40，用于将第一特征图和第二特征图分别输入至目标神经网络模型的互信息响应网络中，计算第一特征图和第二特征图之间的互信息响应，得到第一特征图中的互信息响应区域，互信息响应区域包括第一互信息响应值；
筛选模块50，用于基于第一互信息响应值，采用非极大抑制方法对第一特征图中的互信息响应区域进行筛选，得到目标区域，其中，目标区域为待匹配图像从模板图像中匹配到的目标对象所在的区域。
优选地，如图7所示，该图像匹配装置还包括：
第三获取模块11，用于获取样本图像数据，样本图像数据包括目标样本图像和模板样本图像；
第四获取模块12，用于获取预设的神经网络模型，神经网络模型包括卷积神经网络和互信息响应网络；
训练模块13，用于利用目标样本图像和模板样本图像对卷积神经网络进行训练，得到第一样本特征图和第二样本特征图，其中，第一样本特征图为目标样本图像的特征图，第二样本特征图为模板样本图像的特征图；
计算模块14，用于将第一样本特征图和第二样本特征图输入至互信息响应网络中，计算第一样本特征图和第二样本特征图之间的第二互信息响应值，并根据第二互信息响应值对互信息响应网络中的权值参数进行调整，直至第二互信息响应值满足预设条件，得到目标神经网络模型。
优选地，如图8所示，筛选模块50包括：
确定单元501，用于根据第一预设策略确定互信息响应阈值；
筛选单元502，用于利用非极大值抑制法对第一特征图中的互信息响应区域进行筛选，将第一互信息响应值大于互信息响应阈值的区域确定为目标区域，其中，目标区域为待匹配图像从模板图像中匹配到的目标对象所在的区域。
优选地，该图像匹配装置还包括：
确定模块，用于在第一特征图和第二特征图的大小不同时，根据第二预设策略确定目标特征大小；
处理模块，用于采用reshape方法对第一特征图和第二特征图进行处理，得到与目标特征大小相同的第一目标特征图和与目标特征大小相同的第二目标特征图。
优选地，该图像匹配装置还包括：
初始化模块，用于利用预设初始化模型对卷积神经网络的卷积层中的权重参数进行初始化处理。
关于图像匹配装置的具体限定可以参见上文中对于图像匹配方法的限定，在此不再赘述。上述图像匹配装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图9所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储上述实施例中的图像匹配方法所使用到的数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种图像匹配方法。
在一个实施例中，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述实施例中的图像匹配方法。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述实施例中的图像匹配方法。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。
以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。
Claims (10)
1.一种图像匹配方法，其特征在于，包括：
获取待匹配图像和模板图像；
获取目标神经网络模型，所述目标神经网络模型包括卷积神经网络和互信息响应网络；
将所述待匹配图像和所述模板图像分别输入至所述目标神经网络模型的所述卷积神经网络中，得到第一特征图和第二特征图，其中，所述第一特征图为所述待匹配图像的特征图，所述第二特征图为所述模板图像的特征图；
将所述第一特征图和所述第二特征图分别输入至所述目标神经网络模型的所述互信息响应网络中，计算所述第一特征图和所述第二特征图之间的互信息响应，得到所述第一特征图中的互信息响应区域，所述互信息响应区域包括第一互信息响应值；
基于所述第一互信息响应值，采用非极大抑制方法对所述第一特征图中的所述互信息响应区域进行筛选，得到目标区域，其中，所述目标区域为所述待匹配图像从所述模板图像中匹配到的目标对象所在的区域。
2.如权利要求1所述的图像匹配方法，其特征在于，所述在获取目标神经网络模型之前，所述图像匹配方法还包括：
获取样本图像数据，样本图像数据包括目标样本图像和模板样本图像；
获取预设的神经网络模型，所述神经网络模型包括卷积神经网络和互信息响应网络；
利用所述目标样本图像和所述模板样本图像对所述卷积神经网络进行训练，得到第一样本特征图和第二样本特征图，其中，所述第一样本特征图为所述目标样本图像的特征图，所述第二样本特征图为所述模板样本图像的特征图；
将所述第一样本特征图和所述第二样本特征图输入至所述互信息响应网络中，计算所述第一样本特征图和所述第二样本特征图之间的第二互信息响应值，并根据所述第二互信息响应值对所述互信息响应网络中的权值参数进行调整，直至所述第二互信息响应值满足预设条件，得到目标神经网络模型。
3.如权利要求1所述的图像匹配方法，其特征在于，所述基于所述互信息响应值，采用非极大抑制方法对所述第一特征图中的所述互信息响应区域进行筛选，得到目标区域，包括：
根据第一预设策略确定互信息响应阈值；
利用非极大值抑制法对所述第一特征图中的所述互信息响应区域进行筛选，将所述第一互信息响应值大于所述互信息响应阈值的区域确定为目标区域，其中，所述目标区域为所述待匹配图像从所述模板图像中匹配到的目标对象所在的区域。
4.如权利要求1所述的图像匹配方法，其特征在于，在将所述待匹配图像和所述模板图像分别输入至所述目标神经网络模型的所述卷积神经网络中，得到第一特征图和第二特征图之后，以及在将所述第一特征图和所述第二特征图输入至所述目标神经网络模型的所述互信息响应网络中之前，所述图像匹配方法还包括：
若所述第一特征图和所述第二特征图的大小不同，则根据第二预设策略确定目标特征大小；
采用reshape方法对所述第一特征图和所述第二特征图进行处理，得到与所述目标特征大小相同的第一目标特征图和与所述目标特征大小相同的第二目标特征图。
5.如权利要求2所述的图像匹配方法，其特征在于，所述在利用所述目标样本图像和所述模板样本图像对所述卷积神经网络进行训练，得到第一样本特征图和第二样本特征图之前，所述图像匹配方法还包括：
利用预设初始化模型对所述卷积神经网络的卷积层中的权重参数进行初始化处理。
6.一种图像匹配装置，其特征在于，包括：
第一获取模块，用于获取待匹配图像和模板图像；
第二获取模块，用于获取目标神经网络模型，所述目标神经网络模型包括卷积神经网络和互信息响应网络；
第一输入模块，用于将所述待匹配图像和所述模板图像分别输入至所述目标神经网络模型的所述卷积神经网络中，得到第一特征图和第二特征图，其中，所述第一特征图为所述待匹配图像的特征图，所述第二特征图为所述模板图像的特征图；
第二输入模块，用于将所述第一特征图和所述第二特征图分别输入至所述目标神经网络模型的所述互信息响应网络中，计算所述第一特征图和所述第二特征图之间的互信息响应，得到所述第一特征图中的互信息响应区域，所述互信息响应区域包括第一互信息响应值；
筛选模块，用于基于所述第一互信息响应值，采用非极大抑制方法对所述第一特征图中的所述互信息响应区域进行筛选，得到目标区域，其中，所述目标区域为所述待匹配图像从所述模板图像中匹配到的目标对象所在的区域。
7.如权利要求6所述的图像匹配装置，其特征在于，
第三获取模块，用于获取样本图像数据，样本图像数据包括目标样本图像和模板样本图像；
第四获取模块，用于获取预设的神经网络模型，所述神经网络模型包括卷积神经网络和互信息响应网络；
训练模块，用于利用所述目标样本图像和所述模板样本图像对所述卷积神经网络进行训练，得到第一样本特征图和第二样本特征图，其中，所述第一样本特征图为所述目标样本图像的特征图，所述第二样本特征图为所述模板样本图像的特征图；
计算模块，用于将所述第一样本特征图和所述第二样本特征图输入至所述互信息响应网络中，计算所述第一样本特征图和所述第二样本特征图之间的第二互信息响应值，并根据所述第二互信息响应值对所述互信息响应网络中的权值参数进行调整，直至所述第二互信息响应值满足预设条件，得到目标神经网络模型。
8.如权利要求6所述的图像匹配装置，其特征在于，所述筛选模块包括：
确定单元，用于根据第一预设策略确定互信息响应阈值；
筛选单元，用于利用非极大值抑制法对所述第一特征图中的所述互信息响应区域进行筛选，将所述第一互信息响应值大于所述互信息响应阈值的区域确定为目标区域，其中，所述目标区域为所述待匹配图像从所述模板图像中匹配到的目标对象所在的区域。
9.一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至5任一项所述图像匹配方法。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至5任一项所述图像匹配方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010357547.2A CN111666974A (zh) | 2020-04-29 | 2020-04-29 | 图像匹配方法、装置、计算机设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010357547.2A CN111666974A (zh) | 2020-04-29 | 2020-04-29 | 图像匹配方法、装置、计算机设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111666974A true CN111666974A (zh) | 2020-09-15 |
Family
ID=72383053
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010357547.2A Pending CN111666974A (zh) | 2020-04-29 | 2020-04-29 | 图像匹配方法、装置、计算机设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111666974A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112508846A (zh) * | 2020-10-30 | 2021-03-16 | 北京市商汤科技开发有限公司 | 缺陷检测方法及装置、电子设备和存储介质 |
| CN112734726A (zh) * | 2020-09-29 | 2021-04-30 | 首都医科大学附属北京天坛医院 | 一种血管造影的分型方法、装置以及设备 |
| CN113516697A (zh) * | 2021-07-19 | 2021-10-19 | 北京世纪好未来教育科技有限公司 | 图像配准的方法、装置、电子设备及计算机可读存储介质 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109191491A (zh) * | 2018-08-03 | 2019-01-11 | 华中科技大学 | 基于多层特征融合的全卷积孪生网络的目标跟踪方法及系统 |
| WO2019128508A1 (zh) * | 2017-12-28 | 2019-07-04 | Oppo广东移动通信有限公司 | 图像处理方法、装置、存储介质及电子设备 |
-
2020
- 2020-04-29 CN CN202010357547.2A patent/CN111666974A/zh active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019128508A1 (zh) * | 2017-12-28 | 2019-07-04 | Oppo广东移动通信有限公司 | 图像处理方法、装置、存储介质及电子设备 |
| CN109191491A (zh) * | 2018-08-03 | 2019-01-11 | 华中科技大学 | 基于多层特征融合的全卷积孪生网络的目标跟踪方法及系统 |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112734726A (zh) * | 2020-09-29 | 2021-04-30 | 首都医科大学附属北京天坛医院 | 一种血管造影的分型方法、装置以及设备 |
| CN112734726B (zh) * | 2020-09-29 | 2024-02-02 | 首都医科大学附属北京天坛医院 | 一种血管造影的分型方法、装置以及设备 |
| CN112508846A (zh) * | 2020-10-30 | 2021-03-16 | 北京市商汤科技开发有限公司 | 缺陷检测方法及装置、电子设备和存储介质 |
| CN113516697A (zh) * | 2021-07-19 | 2021-10-19 | 北京世纪好未来教育科技有限公司 | 图像配准的方法、装置、电子设备及计算机可读存储介质 |
| CN113516697B (zh) * | 2021-07-19 | 2024-02-02 | 北京世纪好未来教育科技有限公司 | 图像配准的方法、装置、电子设备及计算机可读存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109241903B (zh) | 样本数据清洗方法、装置、计算机设备及存储介质 | |
| CN109829894B (zh) | 分割模型训练方法、oct图像分割方法、装置、设备及介质 | |
| CN108805828B (zh) | 图像处理方法、装置、计算机设备和存储介质 | |
| CN108304847B (zh) | 图像分类方法及装置、个性化推荐方法及装置 | |
| CN110047069B (zh) | 一种图像检测装置 | |
| CN109063742B (zh) | 蝴蝶识别网络构建方法、装置、计算机设备及存储介质 | |
| CN111666974A (zh) | 图像匹配方法、装置、计算机设备及存储介质 | |
| CN111860670A (zh) | 域自适应模型训练、图像检测方法、装置、设备及介质 | |
| EP4099220A1 (en) | Processing apparatus, method and storage medium | |
| CN109086653B (zh) | 手写模型训练方法、手写字识别方法、装置、设备及介质 | |
| CN112699941B (zh) | 植物病害严重程度图像分类方法、装置、设备和存储介质 | |
| CN110942012A (zh) | 图像特征提取方法、行人重识别方法、装置和计算机设备 | |
| WO2021159748A1 (zh) | 模型压缩方法、装置、计算机设备及存储介质 | |
| CN111062324A (zh) | 人脸检测方法、装置、计算机设备和存储介质 | |
| CN111898703A (zh) | 多标签视频分类方法、模型训练方法、装置及介质 | |
| CN111860582B (zh) | 图像分类模型构建方法、装置、计算机设备和存储介质 | |
| CN112861718A (zh) | 一种轻量级特征融合人群计数方法及系统 | |
| CN112446379A (zh) | 一种动态大场景自适应智能处理方法 | |
| WO2023173544A1 (zh) | 基于人工智能的行人重识别方法、装置、设备及存储介质 | |
| CN110929730A (zh) | 图像处理方法、装置、计算机设备和存储介质 | |
| Xie et al. | MWA-MNN: Multi-patch Wavelet Attention Memristive Neural Network for image restoration | |
| CN110929779B (zh) | 重建神经元质量检测方法、有序点云分类方法及装置 | |
| CN110276802B (zh) | 医学图像中病症组织定位方法、装置与设备 | |
| CN111079930A (zh) | 数据集质量参数的确定方法、装置及电子设备 | |
| CN113076823B (zh) | 一种年龄预测模型的训练方法、年龄预测方法及相关装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |