CN114842267A - 基于标签噪声域自适应的图像分类方法及系统 - Google Patents

基于标签噪声域自适应的图像分类方法及系统 Download PDF

Info

Publication number
CN114842267A
CN114842267A CN202210567062.5A CN202210567062A CN114842267A CN 114842267 A CN114842267 A CN 114842267A CN 202210567062 A CN202210567062 A CN 202210567062A CN 114842267 A CN114842267 A CN 114842267A
Authority
CN
China
Prior art keywords
sample
domain
noise
source domain
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210567062.5A
Other languages
English (en)
Inventor
汪云云
桂旭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Posts and Telecommunications
Original Assignee
Nanjing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Posts and Telecommunications filed Critical Nanjing University of Posts and Telecommunications
Priority to CN202210567062.5A priority Critical patent/CN114842267A/zh
Publication of CN114842267A publication Critical patent/CN114842267A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Abstract

本发明提供一种基于标签噪声域自适应的图像分类方法及系统，通过分别获得源域的图像数据样本构成的源域数据集、目标域的图像数据样本构成的目标域数据集，且源域的图像数据样本中包含标签噪声；构建图像分类模型，对源域的图像数据样本进行自适应噪声检测并获得样本权重，采用阈值法划分源域数据集为噪声样本集和干净样本集，对干净样本集进行自适应噪声校正后，计算图像数据样本对源域和目标域任务对齐过程中对类别领域的贡献权重，由所得贡献权重与样本权重获得总模型损失，训练获得鲁棒噪声域适应模型；由所得鲁棒噪声域适应模型，获得目标域的图像分类结果；本发明能够降低标签噪声对源域和目标域任务对齐的影响，有效提高图像分类的准确率。

Description

基于标签噪声域自适应的图像分类方法及系统
技术领域
本发明涉及一种基于标签噪声域自适应的图像分类方法及系统，属于图像处理技术领域。
背景技术
域自适应(Domain Adaptation)学习作为迁移学习的一个重要分支，域自适应学习能够更具象的指出迁移的目标：找出同质数据集/任务的关联关系。域自适应学习尝试使用标签丰富的源域来帮助标签稀缺的目标域学习，在许多任务上取得了显著的性能提升。
近年来，SOTA无监督领域自适应方法大致分为三类：基于差异性度量的方法、基于分类器与域判别器博弈对抗的方法以及基于重构生成跨域特征的方法。基于差异性度量的方法，旨在度量域间分布差异，通过缩小分布差异达到源域与目标域在特征空间的对齐。基于分类其与域判别器博弈对抗的方法，通过对抗学习方式提取域不变特征，基于域不变特征训练分类器，使得经源域数据训练分类器对于目标域也有很好的鲁棒性。基于重构生成跨域特征的方法，属于样本层面的对抗方法，基于GAN(Generative Adversarial Network，生成对抗网络)生成与目标域相似度高的样本，能有效生成目标域特征。
然而，目前大多数的域自适应方法仍然假设源域中的丰富标记都是正确的，但是精确的人工标注耗时耗力，通常难以收集，因而限制了域自适应方法在图像分类的现实任务中的应用。
现实任务中，丰富的图像数据更容易从社交媒体和网络中获取，而此类图像的数据集难以满足数据都是正确标注这一条件。图像分类模型训练中会向高损失样本倾斜，即更高置信度的标签噪声样本，因此，传统的领域自适应方法在图像分类处理中不能达到很好的效果。
在图像分类处理中，由于图像数据样本中标签噪声的存在，一方面极大地影响了图像分类模型的学习，另一方面极大地干扰了类别领域特征的学习，从而导致图像分类的准确率相对较低，有待提升分类精度。
上述问题是在图像分类过程中应当予以考虑并解决的问题。
发明内容
本发明的目的是提供一种基于标签噪声域自适应的图像分类方法及系统解决现有技术中存在的域自适应方法在图像分类任务中准确率低，精度不足，有待提高的问题。
本发明的技术解决方案是：
一种基于标签噪声域自适应的图像分类方法，包括以下步骤，
S1、对源域和目标域中的图片数据进行预处理，分别获得源域的图像数据样本构成的源域数据集、目标域的图像数据样本构成的目标域数据集，且源域的图像数据样本中包含标签噪声；
S2、构建图像分类模型，对源域的图像数据样本进行自适应噪声检测并获得样本权重，由所得样本权重采用阈值法划分源域数据集为噪声样本集和干净样本集，对干净样本集进行自适应噪声校正后，计算图像数据样本对源域和目标域任务对齐过程中对类别领域的贡献权重，由所得贡献权重与样本权重获得总模型损失，直至总模型损失收敛训练获得鲁棒噪声域适应模型；
S3、由步骤S2所得鲁棒噪声域适应模型对目标域的的图像数据样本进行图像分类，输出对目标域的图像数据样本预测的标签，即获得目标域的图像分类结果。
进一步地，步骤S2中，训练获得鲁棒噪声域适应模型，具体为，
S21、初始化多层感知分类器和元网络，由特征提取器、多层感知分类器和元网络共同构建解决标签噪声场景的图像分类模型；
S22、自适应噪声检测，将源域的图像数据样本输入步骤S21所构建的图像分类模型得到概率输出，根据概率输出的结果计算样本损失，基于干净样本相比于噪声样本拥有更小损失的特性，采用仅含一层隐藏层的神经网络作为元网络，通过元学习行为根据梯度方向自适应的获得样本权重，由所得样本权重采用阈值法划分源域数据集为噪声样本集和干净样本集；
S23、自适应噪声校正，对步骤S22所得干净样本集计算原型中心，并用其校正噪声样本集，获得修正后的概率向量；
S24、计算图像数据样本对源域和目标域任务对齐的贡献权重，具体为，将目标域的图像数据样本输入步骤S21所构建的图像分类模型得到伪标签向量；进而对步骤S22所得干净样本集使用基于真实标签的one-hot向量，对步骤S22所得噪声样本集使用步骤S23所得修正后的概率向量，对目标域的图像数据样本使用伪标签向量，计算图像数据样本对源域和目标域任务对齐过程中对类别领域的贡献权重；
S25、使用步骤S22所得样本权重加权源域图像样本的交叉熵损失；
S26、由步骤S24所得贡献权重，获得基于局部最大均值差异的任务对齐损失；
S27、设置动态平衡参数λ平衡S25所得的源域图像样本的交叉熵损失和S26所得的基于局部最大均值差异的任务对齐损失，计算总模型损失并进行反向传播，更新网络参数；判断总模型损失是否收敛，当总模型损失收敛时，更新流程结束并得到最终分类模型即鲁棒噪声域适应模型；当总模型损失不收敛时，返回步骤S22。
进一步地，步骤S22中，基于干净样本相比于噪声样本拥有更小损失的特性，采用仅含一层隐藏层的神经网络作为元网络，通过元学习行为根据梯度方向自适应的获得样本权重，由所得样本权重采用阈值法划分源域的数据集为噪声样本集和干净样本集，具体为，
S221、对于源域的图像数据样本，通过元网络的权重函数
Figure BDA0003657186500000031
映射样本权重，输入为样本损失，输出为样本权重
Figure BDA0003657186500000032
其中
Figure BDA0003657186500000033
为源域样本，元网络函数参数α依赖其在验证集
Figure BDA0003657186500000034
上学习性能，即：
Figure BDA0003657186500000035
其中，V为验证集样本的个数，且V小于源域域总的图像数据样本个数，Hvali(·，·)是计算在验证集上的交叉熵损失，验证集
Figure BDA0003657186500000036
由正确标注的源域样本组成，
Figure BDA0003657186500000037
和
Figure BDA0003657186500000038
分别为验证集中的图像样本和图像标签，
Figure BDA0003657186500000039
为网络更新中受元网络函数参数α影响的分类器参数，
Figure BDA00036571865000000310
表示元网络函数参数α的解空间；
S222、设置阈值thres，若步骤S221所得样本权重
Figure BDA00036571865000000311
将
Figure BDA00036571865000000312
标记为噪声实例；反之，标记为干净实例，即
Figure BDA0003657186500000041
其中，
Figure BDA0003657186500000042
和
Figure BDA0003657186500000043
分别代表源域的数据集被拆分后的干净样本集和噪声样本集。
进一步地，步骤S23中，对步骤S22所得干净样本集计算原型中心，并用其校正噪声样本集，获得修正后的概率向量，具体为，
S231、对步骤S22源域的样本集划分为干净样本集
Figure BDA0003657186500000044
的每一类，计算原型中心
Figure BDA0003657186500000045
S232、对于步骤S22源域的样本集划分为噪声样本集
Figure BDA0003657186500000046
的每个噪声样本，基于原型分类器校正其类别标签，修正后的概率向量对应类别c的概率预测计算如下：
Figure BDA0003657186500000047
其中，K为类别总数，
Figure BDA0003657186500000048
为干净样本集
Figure BDA0003657186500000049
的第j类的原型中心，Φ1(·，·)用于衡量源域实例与某个特定类原型间的相似性。
进一步地，步骤S24中，计算图像数据样本对源域和目标域任务对齐过程中对类别领域的贡献权重，即：
Figure BDA00036571865000000410
其中，P是用于噪声校正的原型分类器，G是用于源域/目标域分类的分类器，
Figure BDA00036571865000000411
和
Figure BDA00036571865000000412
分别为源域数据集被拆分后的干净样本集和噪声样本集，F为特征提取器，Xt为目标域的数据集。
进一步地，步骤S25中，使用步骤S22所得样本权重加权源域图像样本的交叉熵损失：
Figure BDA00036571865000000413
其中，
Figure BDA0003657186500000051
是由
Figure BDA0003657186500000052
参数化的权重函数，
Figure BDA0003657186500000053
是由网络参数θ参数化的分类模型，包括特征提取器F和分类器G，
Figure BDA0003657186500000054
和
Figure BDA0003657186500000055
分别为源域数据集中的图像样本和图像标签，ns为源于数据集样本个数。
进一步地，步骤S26中，由步骤S24所得贡献权重，获得基于局部最大均值差异的任务对齐损失
Figure BDA0003657186500000056
Figure BDA0003657186500000057
其中，K为类别总数，Xs代表所有源域中的图像数据样本，Xt代表所有目标域中的图像数据样本，Φ2是从特征空间到再生核希尔伯特空间的映射，
Figure BDA0003657186500000058
和
Figure BDA0003657186500000059
分别表示源域和目标域实例在源域和目标域任务对齐中对k类的贡献权重，
Figure BDA00036571865000000510
和
Figure BDA00036571865000000511
分别为源域样本和目标域样本。
进一步地，源域实例在源域和目标域任务对齐中对k类的贡献权重
Figure BDA00036571865000000512
目标域实例在源域和目标域任务对齐中对k类的贡献权重
Figure BDA00036571865000000513
均通过下式计算获得：
Figure BDA00036571865000000514
其中，
Figure BDA00036571865000000515
表示数据集的样本分布，
Figure BDA00036571865000000516
表示第i个样本对类别k的贡献权重，由步骤S24计算而得。
进一步地，步骤S27中，设置动态平衡参数λ平衡S25所得的源域图像样本的交叉熵损失和S26所得的基于局部最大均值差异的任务对齐损失，计算总模型损失并进行反向传播，更新网络参数，具体为，
S271、由平衡参数λ平衡分类损失
Figure BDA00036571865000000517
和任务对齐损失
Figure BDA00036571865000000518
计算获得总模型损失为
Figure BDA00036571865000000519
并进行反向传播；
S272、图像分类模型参数由如下公式更新：
Figure BDA0003657186500000061
其中，λ为平衡参数，平衡分类学习损失和任务对齐学习损失在训练过程中的权重，ηθ表示参数θ梯度下降速率，
Figure BDA0003657186500000062
(·)表示θ的梯度；
S273、样本损失的权重函数由如下公式更新：
Figure BDA0003657186500000063
其中，ηα为参数α的梯度下降速率，
Figure BDA0003657186500000064
表示α的梯度，Jvali(·，·)是计算在验证集上的交叉熵损失，
Figure BDA0003657186500000065
和
Figure BDA0003657186500000066
分别为验证集中的图像样本和图像标签，
Figure BDA0003657186500000067
为网络更新中受元网络函数参数α影响的分类器参数，
Figure BDA0003657186500000068
为分类模型对样本
Figure BDA0003657186500000069
的预测。
一种采用上述任一项所述的基于标签噪声域自适应的图像分类方法的系统，包括数据预处理模块、模型训练模块和图像分类处理模块，
数据预处理模块：对源域和目标域中的图片数据进行预处理，分别获得源域的图像数据样本构成的源域数据集、目标域的图像数据样本构成的目标域数据集，且源域的图像数据样本中包含标签噪声；
模型训练模块：构建图像分类模型，对源域的图像数据样本进行自适应噪声检测并获得样本权重，由所得样本权重采用阈值法划分源域数据集为噪声样本集和干净样本集，对干净样本集进行自适应噪声校正后，计算图像数据样本对源域和目标域任务对齐过程中对类别领域的贡献权重，由所得贡献权重与样本权重获得总模型损失，直至总模型损失收敛训练获得鲁棒噪声域适应模型；
图像分类处理模块：由所得鲁棒噪声域适应模型对目标域的的图像数据样本进行图像分类，输出对目标域的图像数据样本预测的标签，即获得目标域的图像分类结果。
本发明的有益效果是：该种基于标签噪声域自适应的图像分类方法及系统，能够降低标签噪声的影响，有效提高图像分类的准确率。该方法，针对源域的图像数据样本存在标签噪声，通过自适应噪声检测，基于元网络加权样本损失，降低噪声样本对分类器的贡献；通过自适应噪声校正修正噪声样本，使得噪声样本获得更高置信度的标签，重新投入学习，降低噪声样本对源域和目标域任务对齐的影响，使得优化得到的最终的鲁棒噪声域适应模型，能够在这种更接近真实场景的情况下具有更好的泛化性能，从而能够获得更准确的图像分类结果。
附图说明
图1是本发明实施例基于标签噪声域自适应的图像分类方法的流程示意图。
图2是实施例中鲁棒噪声域适应模型的说明示意图。
图3是实施例方法与经典卷积神经网络AlextNet、度量域适应方法DAN、对抗域适应方法DANN和ADDA的性能比较示意图
具体实施方式
下面结合附图详细说明本发明的优选实施例。
实施例
一种基于标签噪声域自适应的图像分类方法，如图1，包括以下步骤，
S1、对源域和目标域中的图片数据进行预处理，分别获得源域的图像数据样本构成的源域数据集、目标域的图像数据样本构成的目标域数据集，且源域的图像数据样本中包含标签噪声；
在模型训练前，将图片数据通过改变大小、随机裁剪等预处理方式统一成网络模型输入所要求的格式，同时源域的图像数据样本带有噪声标签，目标域的图像数据样本没有噪声标签。
S2、构建图像分类模型，对源域的图像数据样本进行自适应噪声检测并获得样本权重，由所得样本权重采用阈值法划分数据集为噪声样本集和干净样本集，对干净样本集进行自适应噪声校正后，计算图像数据样本对源域和目标域任务对齐过程中对类别领域的贡献权重，由所得贡献权重与样本权重获得总模型损失，直至总模型损失收敛训练获得鲁棒噪声域适应模型；如图2；
S21、初始化分类器和元网络，由特征提取器、分类器和元网络共同构建解决标签噪声场景的图像分类模型。首先使用ImageNet预训练的ResNet50作为特征提取器，预训练特征提取器，使得特征提取器具备优秀的特征提取能力，随机初始化分类器和元网络，组成所使用的分类模型。接着进行分类模型的冷启动，进行领域自适应的训练，使得模型初步具备特征提取和分类能力。
S22、自适应噪声检测，将源域的图像数据样本输入步骤S21所构建的图像分类模型得到概率输出，根据概率输出的结果计算样本损失，基于干净样本相比于噪声样本拥有更小损失的特性，采用仅含一层隐藏层的神经网络作为元网络，通过元学习行为根据梯度方向自适应的获得样本权重，由所得样本权重采用阈值法划分源域数据集为噪声样本集和干净样本集；
步骤S22中，基于干净样本相比于噪声样本拥有更小损失的特性，采用仅含一层隐藏层的神经网络作为元网络，通过元学习行为根据梯度方向自适应的获得样本权重，由所得样本权重采用阈值法划分源域的数据集为噪声样本集和干净样本集，具体为，
S221、对于源域的图像数据样本，通过元网络的权重函数
Figure BDA0003657186500000081
映射样本权重，输入为样本损失，输出为样本权重
Figure BDA0003657186500000082
其中
Figure BDA0003657186500000083
为源域样本，元网络函数参数α依赖其在验证集
Figure BDA0003657186500000084
上学习性能，即：
Figure BDA0003657186500000085
其中，V为验证集样本的个数，且V小于源域域总的图像数据样本个数，Jvali(·，·)是计算在验证集上的交叉熵损失，验证集
Figure BDA0003657186500000086
由正确标注的源域样本组成，
Figure BDA0003657186500000087
和
Figure BDA0003657186500000088
分别为验证集中的图像样本和图像标签，
Figure BDA0003657186500000089
为网络更新中受元网络函数参数α影响的分类器参数，
Figure BDA00036571865000000810
表示元网络函数参数α的解空间；
S222、设置阈值thres，若步骤S221所得样本权重
Figure BDA00036571865000000811
将
Figure BDA00036571865000000812
标记为噪声实例；反之，标记为干净实例，即
Figure BDA00036571865000000813
其中，
Figure BDA00036571865000000814
和
Figure BDA00036571865000000815
分别代表源域的数据集被拆分后的干净样本集和噪声样本集。
S23、自适应噪声校正，对步骤S22所得干净样本集计算原型中心，并用其校正噪声样本集，获得修正后的概率向量；
S231、对步骤S22源域的样本集划分为干净样本集
Figure BDA00036571865000000816
的每一类，计算原型中心
Figure BDA00036571865000000817
S232、对于步骤S22源域的样本集划分为噪声样本集
Figure BDA0003657186500000091
的每个噪声样本，基于原型分类器校正其类别标签，修正后的概率向量对应类别c的概率预测计算如下：
Figure BDA0003657186500000092
其中，K为类别总数，
Figure BDA0003657186500000093
为干净样本集
Figure BDA0003657186500000094
的第j类的原型中心，Φ1(·，·)用于衡量源域实例与某个特定类原型间的相似性。
S24、计算图像数据样本对源域和目标域任务对齐的贡献权重，具体为，将目标域的图像数据样本输入步骤S21所构建的图像分类模型得到伪标签向量；进而对步骤S22所得干净样本集使用基于真实标签的one-hot向量，对步骤S22所得噪声样本集使用步骤S23所得修正后的概率向量，对目标域的图像数据样本使用伪标签向量，计算图像数据样本对源域和目标域任务对齐过程中对类别领域的贡献权重；即：
Figure BDA0003657186500000095
其中，P是用于噪声校正的原型分类器，G是用于源域/目标域分类的分类器，
Figure BDA0003657186500000096
和
Figure BDA0003657186500000097
分别为源域数据集被拆分后的干净样本集和噪声样本集，，F为特征提取器，Xt为目标域的数据集。
S25、使用步骤S22所得样本权重加权源域图像样本的交叉熵损失；以减少模型向高损失样本倾斜，即减少高置信度的噪声样本对模型训练的贡献权重；步骤S25中，使用步骤S22所得样本权重加权源域图像样本的交叉熵损失：
Figure BDA0003657186500000098
其中，
Figure BDA0003657186500000099
是由
Figure BDA00036571865000000910
参数化的权重函数，
Figure BDA00036571865000000911
是由网络参数θ参数化的分类模型，包括特征提取器F和分类器G，
Figure BDA00036571865000000912
和
Figure BDA00036571865000000913
分别为源域数据集中的图像样本和图像标签，ns为源于数据集样本个数。
S26、由步骤S24所得贡献权重，获得基于局部最大均值差异的任务对齐损失，以加强源域和目标域之前相同类别的特征对齐和不同类别间的特征差异；
步骤S26中，由步骤S24所得贡献权重，获得基于局部最大均值差异的任务对齐损失
Figure BDA0003657186500000101
Figure BDA0003657186500000102
其中，K为类别总数，Xs代表所有源域中的图像数据样本，Xt代表所有目标域中的图像数据样本，Φ2是从特征空间到再生核希尔伯特空间的映射，
Figure BDA0003657186500000103
和
Figure BDA0003657186500000104
分别表示源域和目标域实例在源域和目标域任务对齐中对k类的贡献权重，
Figure BDA0003657186500000105
和
Figure BDA0003657186500000106
分别为源域样本和目标域样本。
源域实例在源域和目标域任务对齐中对k类的贡献权重
Figure BDA0003657186500000107
目标域实例在源域和目标域任务对齐中对k类的贡献权重
Figure BDA0003657186500000108
均通过下式计算获得：
Figure BDA0003657186500000109
其中，
Figure BDA00036571865000001010
表示数据集的样本分布，
Figure BDA00036571865000001011
表示第i个样本对类别k的贡献权重，由步骤S24计算而得。
S27、设置动态平衡参数λ平衡S25所得的源域图像样本的交叉熵损失和S26所得的基于局部最大均值差异的任务对齐损失，计算总模型损失并进行反向传播，更新网络参数；判断总模型损失是否收敛，当总模型损失收敛时，更新流程结束并得到最终分类模型即鲁棒噪声域适应模型；当总模型损失不收敛时，返回步骤S22。
步骤S27中，设置动态平衡参数λ平衡S25所得的源域图像样本的交叉熵损失和S26所得的基于局部最大均值差异的任务对齐损失，计算总模型损失并进行反向传播，更新网络参数，具体为，
S271、由平衡参数λ平衡分类损失
Figure BDA0003657186500000111
和任务对齐损失
Figure BDA0003657186500000112
计算获得总模型损失为
Figure BDA0003657186500000113
并进行反向传播；
S272、图像分类模型参数由如下公式更新：
Figure BDA0003657186500000114
其中，λ为平衡参数，平衡分类学习损失和任务对齐学习损失在训练过程中的权重，ηθ表示参数θ梯度下降速率，
Figure BDA0003657186500000115
(·)表示θ的梯度；
S273、样本损失的权重函数由如下公式更新：
Figure BDA0003657186500000116
其中，ηα为参数α的梯度下降速率，
Figure BDA0003657186500000117
(·)表示α的梯度，Jvali(·，·)是计算在验证集上的交叉熵损失，
Figure BDA0003657186500000118
和
Figure BDA0003657186500000119
分别为验证集中的图像样本和图像标签，
Figure BDA00036571865000001110
为网络更新中受元网络函数参数α影响的分类器参数，
Figure BDA00036571865000001111
为分类模型对样本
Figure BDA00036571865000001112
的预测。
S3、由步骤S2所得鲁棒噪声域适应模型对目标域的的图像数据样本进行图像分类，输出对目标域的图像数据样本预测的标签，即获得目标域的图像分类结果。
该种基于标签噪声域自适应的图像分类方法，能够降低标签噪声的影响，有效提高图像分类的准确率。该方法，针对源域样本存在标签噪声，通过自适应噪声检测，基于元网络加权样本损失，降低噪声样本对分类器的贡献；通过自适应噪声校正修正噪声样本，使得噪声样本获得更高置信度的标签，重新投入学习，降低噪声样本对源域和目标域任务对齐的影响，使得优化得到的最终的鲁棒噪声域适应模型，能够在这种更接近真实场景的情况下具有更好的泛化性能，从而能够获得更准确的图像分类结果。
实施例还提供一种采用上述任一项所述的基于标签噪声域自适应的图像分类方法的系统，包括数据预处理模块、模型训练模块和图像分类处理模块，
数据预处理模块：对源域和目标域中的图片数据进行预处理，分别获得源域的图像数据样本构成的源域数据集、目标域的图像数据样本构成的目标域数据集，且源域的图像数据样本中包含标签噪声；
模型训练模块：构建图像分类模型，对源域的图像数据样本进行自适应噪声检测并获得样本权重，由所得样本权重采用阈值法划分源域数据集为噪声样本集和干净样本集，对干净样本集进行自适应噪声校正后，计算图像数据样本对源域和目标域任务对齐过程中对类别领域的贡献权重，由所得贡献权重与样本权重获得总模型损失，直至总模型损失收敛训练获得鲁棒噪声域适应模型；
图像分类处理模块：由所得鲁棒噪声域适应模型对目标域的的图像数据样本进行图像分类，输出对目标域的图像数据样本预测的标签，即获得目标域的图像分类结果。
该种基于标签噪声域自适应的图像分类系统中，如图2，模型训练模块用于训练获得鲁棒噪声域适应模型。在训练模型过程，特征提取器F对输入的图像数据样本提取特征后，将提取的特征输入至多层感知分类器G；多层感知分类器对特征提取器所提取的特征，输出概率向量给元网络M；元网络M仅用于在训练过程中，根据多层感知分类器G输出的概率向量计算得到的样本损失，对源域的图像数据样本进行自适应噪声检测并获得样本权重，由所得样本权重采用阈值法划分源域数据集为噪声样本集和干净样本集，再由原型分类器P对干净样本集进行自适应噪声校正后，计算图像数据样本对源域和目标域任务对齐过程中对类别领域的贡献权重，由样本权重获得源域图像样本的交叉熵损失，并由所得贡献权重获得基于局部最大均值差异的任务对齐损失，进而由任务对齐损失和交叉熵损失获得总模型损失，进行反向传播，更新网络参数，直至总模型损失收敛，训练获得鲁棒噪声域适应模型。
该种基于标签噪声域自适应的图像分类系统中，图像分类处理模块用于输出目标域的图像数据样本的图像分类结果。模型训练模块获得的鲁棒噪声域适应模型包括特征提取器和多层感知分类器，特征提取器对目标域的图像数据样本提取特征后，将提取的特征输入至多层感知分类器；多层感知分类器，输出对目标域的图像数据样本预测的标签，即获得目标域的图像分类结果。
该种基于标签噪声域自适应的图像分类方法及系统，将含有标签噪声的源域知识迁移至无标签的目标域，以用于目标域的图像数据样本的分类。通过构建端到端的网络模型，将源域的图像数据样本和目标域的图像数据样本输入到共同的特征提取器和多层感知分类器中。进而在训练生成模型时主要包含两个学习阶段：自适应标签噪声检测、自适应标签噪声矫正；首先通过自适应噪声检测识别噪声样本，基于干净样本相比于噪声样本拥有更小损失的特性，采用元网络(Meta Network)加权实例损失减少噪声样本对分类学习的贡献，同时基于阈值法划分数据集以进一步减少噪声样本对任务拉近的影响。接着通过自适应标签噪声校正修正噪声样本，使得噪声样本获得更为准确的标签，并重新投入学习。经过分类模型的迭代优化，最终将收敛后得到的最终模型进行目标图像分类，获得分类结果。
实施例的该种基于标签噪声域自适应的图像分类方法，以Digits数据集为例，进行实验仿真如下：
为模拟源域存在噪声的领域自适应图像分类任务学习场景，手动污染Digits数据集。以40％噪声标签的Digits数据集为例，由实施例方法处理如下：
S1、数据预处理将源域的图像数据样本和目标域的图像数据样本都转成大小为32*32的、三通道的图片；
S2、构建图像分类模型，对图像数据样本进行自适应噪声检测，自适应噪声校正，基于元网络加权样本损失，降低噪声样本对分类器的贡献，基于阈值法划分数据集以进一步减少噪声样本对任务拉近的影响，训练获得鲁棒噪声域适应模型；
S21、使用LeNet模型作为特征提取器F，在与本任务无关的大型数据集上，基于样本和对应的真实标签预训练特征提取器，并随即初始化多层感知分类器G权重函数w；
S22、将源域样本和噪声标签输入至特征提取器和分类器训练，迭代8次后完成模型的冷启动；计算源域样本的交叉熵损失，将样本损失输入至元网络M的权重函数得到样本权重，即噪声置信度；基于权重设立阈值2/batch_size分离噪声样本和源域样本，其中batch_size为训练中样本块的大小；
S23、对步骤S22中得到的干净样本集根据类别分类计算各自类别的原型中心
Figure BDA0003657186500000131
对步骤S22得到的噪声样本集，计算与各个类别原型中心的距离，基于原型分类器修正。
S24、计算图像数据样本对源域和目标域任务对齐的贡献权重，具体为，对于源域中的干净样本，使用其真实标签的one-hot向量，对于源域中的噪声样本，使用原型分类器校正的概率向量，对于目标域中的无标签样本，使用分类模型输出的伪标签概率向量，计算图像数据样本对源域和目标域任务对齐过程中对类别领域的贡献权重。
S25、源域/目标域样本输入分类模型中，得到样本特征，结合步骤S24样本对类别领域的贡献权重，计算局部最大均值差异；通过局部最大均值差异LMMD，计算源域与目标域间的条件分布差异，并缩小域间的分布距离，实现源域知识向目标域的迁移。
S26、采用步骤S24计算的贡献权重加权源域样本的交叉熵分类损失，最小化步骤S25的局部最大均值差异，计算任务对齐损失，平衡分类损失和任务对齐损失计算总模型损失为
Figure BDA0003657186500000141
S27、整体损失计算梯度，反向传播更新网络参数，每20轮更新一次所有目标域数据的伪标签，每50轮计算一次目标域数据每一类的平均准确率，直至损失收敛。保存最优的目标域模型，作为鲁棒噪声域适应模型。
S3、由所得鲁棒噪声域适应模型，输出对目标域图像数据样本预测的标签，即目标域上的图像分类结果。
图3是实施例方法与经典卷积神经网络AlextNet、深度域适应网络DAN、对抗训练神经网络DANN和对抗判别域适应ADDA，在Digits数据集上三种迁移任务下的性能比较示意图。其中，mnist、svhn、usps表示Digits上三个不同的域，符号→表示一组迁移任务，如mnist→svhn表示从噪声数据集mnist迁移至无标签数据集svhn，AVG表示三个迁移任务的平均性能。图3中，实施例的该种基于标签噪声域自适应的图像分类方法为RoDAC，在Digits数据集下的三个迁移任务中，与传统领域自适应方法相比，实施例方法达到了更高的平均分类准确率，在三个任务的平均性能上达到了最高值。
以上所述仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种基于标签噪声域自适应的图像分类方法，其特征在于：包括以下步骤，
S1、对源域和目标域中的图片数据进行预处理，分别获得源域的图像数据样本构成的源域数据集、目标域的图像数据样本构成的目标域数据集，且源域的图像数据样本中包含标签噪声；
S2、构建图像分类模型，对源域的图像数据样本进行自适应噪声检测并获得样本权重，由所得样本权重采用阈值法划分源域数据集为噪声样本集和干净样本集，对干净样本集进行自适应噪声校正后，计算图像数据样本对源域和目标域任务对齐过程中对类别领域的贡献权重，由所得贡献权重与样本权重获得总模型损失，直至总模型损失收敛训练获得鲁棒噪声域适应模型；
S3、由步骤S2所得鲁棒噪声域适应模型对目标域的的图像数据样本进行图像分类，输出对目标域的图像数据样本预测的标签，即获得目标域的图像分类结果。
2.如权利要求1所述的基于标签噪声域自适应的图像分类方法，其特征在于：步骤S2中，训练获得鲁棒噪声域适应模型，具体为，
S21、初始化多层感知分类器和元网络，由特征提取器、多层感知分类器和元网络共同构建解决标签噪声场景的图像分类模型；
S22、自适应噪声检测，将源域的图像数据样本输入步骤S21所构建的图像分类模型得到概率输出，根据概率输出的结果计算样本损失，基于干净样本相比于噪声样本拥有更小损失的特性，采用仅含一层隐藏层的神经网络作为元网络，通过元学习行为根据梯度方向自适应的获得样本权重，由所得样本权重采用阈值法划分源域数据集为噪声样本集和干净样本集；
S23、自适应噪声校正，对步骤S22所得干净样本集计算原型中心，并用其校正噪声样本集，获得修正后的概率向量；
S24、计算图像数据样本对源域和目标域任务对齐的贡献权重，具体为，将目标域的图像数据样本输入步骤S21所构建的图像分类模型得到伪标签向量；进而对步骤S22所得干净样本集使用基于真实标签的one-hot向量，对步骤S22所得噪声样本集使用步骤S23所得修正后的概率向量，对目标域的图像数据样本使用伪标签向量，计算图像数据样本对源域和目标域任务对齐过程中对类别领域的贡献权重；
S25、使用步骤S22所得样本权重加权源域图像样本的交叉熵损失；
S26、由步骤S24所得贡献权重，获得基于局部最大均值差异的任务对齐损失；
S27、设置动态平衡参数λ平衡S25所得的源域图像样本的交叉熵损失和S26所得的基于局部最大均值差异的任务对齐损失，计算总模型损失并进行反向传播，更新网络参数；判断总模型损失是否收敛，当总模型损失收敛时，更新流程结束并得到最终分类模型即鲁棒噪声域适应模型；当总模型损失不收敛时，返回步骤S22。
3.如权利要求2所述的基于标签噪声域自适应的图像分类方法，其特征在于：步骤S22中，基于干净样本相比于噪声样本拥有更小损失的特性，采用仅含一层隐藏层的神经网络作为元网络，通过元学习行为根据梯度方向自适应的获得样本权重，由所得样本权重采用阈值法划分源域的数据集为噪声样本集和干净样本集，具体为，
S221、对于源域的图像数据样本，通过元网络的权重函数
Figure FDA0003657186490000021
映射样本权重，输入为样本损失，输出为样本权重
Figure FDA0003657186490000022
其中
Figure FDA0003657186490000023
为源域样本，元网络函数参数α依赖其在验证集
Figure FDA0003657186490000024
上学习性能，即：
Figure FDA0003657186490000025
其中，V为验证集样本的个数，且V小于源域域总的图像数据样本个数，Jvali(·，·)是计算在验证集上的交叉熵损失，验证集
Figure FDA0003657186490000026
由正确标注的源域样本组成，
Figure FDA0003657186490000027
和
Figure FDA0003657186490000028
分别为验证集中的图像样本和图像标签，
Figure FDA0003657186490000029
为网络更新中受元网络函数参数α影响的分类器参数，
Figure FDA00036571864900000210
表示元网络函数参数α的解空间；
S222、设置阈值thres，若步骤S221所得样本权重
Figure FDA00036571864900000211
将
Figure FDA00036571864900000212
标记为噪声实例；反之，标记为干净实例，即
Figure FDA00036571864900000213
其中，
Figure FDA00036571864900000214
和
Figure FDA00036571864900000215
分别代表源域的数据集被拆分后的干净样本集和噪声样本集。
4.如权利要求2所述的基于标签噪声域自适应的图像分类方法，其特征在于：步骤S23中，对步骤S22所得干净样本集计算原型中心，并用其校正噪声样本集，获得修正后的概率向量，具体为，
S231、对步骤S22源域的样本集划分为干净样本集
Figure FDA0003657186490000031
的每一类，计算原型中心
Figure FDA0003657186490000032
S232、对于步骤S22源域的样本集划分为噪声样本集
Figure FDA0003657186490000033
的每个噪声样本，基于原型分类器校正其类别标签，修正后的概率向量对应类别c的概率预测计算如下：
Figure FDA0003657186490000034
其中，K为类别总数，
Figure FDA0003657186490000035
为干净样本集
Figure FDA0003657186490000036
的第j类的原型中心，Φ1(.，.)用于衡量源域实例与某个特定类原型间的相似性。
5.如权利要求2所述的基于标签噪声域自适应的图像分类方法，其特征在于：步骤S24中，计算图像数据样本对源域和目标域任务对齐过程中对类别领域的贡献权重，即：
Figure FDA0003657186490000037
其中，P是用于噪声校正的原型分类器，G是用于源域/目标域分类的分类器，
Figure FDA0003657186490000038
科
Figure FDA0003657186490000039
分别为源域数据集被拆分后的干净样本集和噪声样本集，F为特征提取器，Xt为目标域的数据集。
6.如权利要求2-5任一项所述的基于标签噪声域自适应的图像分类方法，其特征在于：步骤S25中，使用步骤S22所得样本权重加权源域图像样本的交叉熵损失：
Figure FDA00036571864900000310
其中，
Figure FDA00036571864900000311
是由
Figure FDA00036571864900000312
参数化的权重函数，
Figure FDA00036571864900000313
是由网络参数θ参数化的分类模型，包括特征提取器F和分类器G，
Figure FDA00036571864900000314
和
Figure FDA00036571864900000315
分别为源域数据集中的图像样本和图像标签，ns为源于数据集样本个数。
7.如权利要求2-5任一项所述的基于标签噪声域自适应的图像分类方法，其特征在于：步骤S26中，由步骤S24所得贡献权重，获得基于局部最大均值差异的任务对齐损失
Figure FDA0003657186490000041
Figure FDA0003657186490000042
其中，K为类别总数，Xs代表所有源域中的图像数据样本，Xt代表所有目标域中的图像数据样本，Φ2是从特征空间到再生核希尔伯特空间的映射，
Figure FDA0003657186490000043
和
Figure FDA0003657186490000044
分别表示源域和目标域实例在源域和目标域任务对齐中对k类的贡献权重，
Figure FDA0003657186490000045
和
Figure FDA0003657186490000046
分别为源域样本和目标域样本。
8.如权利要求7所述的基于标签噪声域自适应的图像分类方法，其特征在于：源域实例在源域和目标域任务对齐中对k类的贡献权重
Figure FDA0003657186490000047
目标域实例在源域和目标域任务对齐中对k类的贡献权重
Figure FDA0003657186490000048
均通过下式计算获得：
Figure FDA0003657186490000049
其中，
Figure FDA00036571864900000410
表示数据集的样本分布，
Figure FDA00036571864900000411
表示第i个样本对类别k的贡献权重，由步骤S24计算而得。
9.如权利要求2-5任一项所述的基于标签噪声域自适应的图像分类方法，其特征在于：步骤S27中，设置动态平衡参数λ平衡S25所得的源域图像样本的交叉熵损失和S26所得的基于局部最大均值差异的任务对齐损失，计算总模型损失并进行反向传播，更新网络参数，具体为，
S271、由平衡参数λ平衡分类损失
Figure FDA00036571864900000412
和任务对齐损失
Figure FDA00036571864900000413
计算获得总模型损失为
Figure FDA00036571864900000414
并进行反向传播；
S272、图像分类模型参数由如下公式更新：
Figure FDA00036571864900000415
其中，λ为平衡参数，平衡分类学习损失和任务对齐学习损失在训练过程中的权重，ηθ表示参数θ梯度下降速率，
Figure FDA0003657186490000051
表示θ的梯度；
S273、样本损失的权重函数由如下公式更新：
Figure FDA0003657186490000052
其中，ηα为参数α的梯度下降速率，
Figure FDA0003657186490000053
表示α的梯度，Jvali(·，·)是计算在验证集上的交叉熵损失，
Figure FDA0003657186490000054
和
Figure FDA0003657186490000055
分别为验证集中的图像样本和图像标签，
Figure FDA0003657186490000056
为网络更新中受元网络函数参数α影响的分类器参数，
Figure FDA0003657186490000057
为分类模型对样本
Figure FDA0003657186490000058
的预测。
10.一种采用权利要求1-9任一项所述的基于标签噪声域自适应的图像分类方法的系统，其特征在于，包括数据预处理模块、模型训练模块和图像分类处理模块，
数据预处理模块：对源域和目标域中的图片数据进行预处理，分别获得源域的图像数据样本构成的源域数据集、目标域的图像数据样本构成的目标域数据集，且源域的图像数据样本中包含标签噪声；
模型训练模块：构建图像分类模型，对源域的图像数据样本进行自适应噪声检测并获得样本权重，由所得样本权重采用阈值法划分源域数据集为噪声样本集和干净样本集，对干净样本集进行自适应噪声校正后，计算图像数据样本对源域和目标域任务对齐过程中对类别领域的贡献权重，由所得贡献权重与样本权重获得总模型损失，直至总模型损失收敛训练获得鲁棒噪声域适应模型；
图像分类处理模块：由所得鲁棒噪声域适应模型对目标域的的图像数据样本进行图像分类，输出对目标域的图像数据样本预测的标签，即获得目标域的图像分类结果。
CN202210567062.5A 2022-05-23 2022-05-23 基于标签噪声域自适应的图像分类方法及系统 Pending CN114842267A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210567062.5A CN114842267A (zh) 2022-05-23 2022-05-23 基于标签噪声域自适应的图像分类方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210567062.5A CN114842267A (zh) 2022-05-23 2022-05-23 基于标签噪声域自适应的图像分类方法及系统

Publications (1)

Publication Number Publication Date
CN114842267A true CN114842267A (zh) 2022-08-02

Family

ID=82571980

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210567062.5A Pending CN114842267A (zh) 2022-05-23 2022-05-23 基于标签噪声域自适应的图像分类方法及系统

Country Status (1)

Country Link
CN (1) CN114842267A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114998602A (zh) * 2022-08-08 2022-09-02 中国科学技术大学 基于低置信度样本对比损失的域适应学习方法及系统
CN115331065A (zh) * 2022-10-13 2022-11-11 南京航空航天大学 基于解码器迭代筛选的鲁棒噪声多标签图像学习方法
CN115577797A (zh) * 2022-10-18 2023-01-06 东南大学 一种基于本地噪声感知的联邦学习优化方法及系统
CN116798132A (zh) * 2023-07-28 2023-09-22 智慧眼科技股份有限公司 一种闪光活体检测模型的构建方法、系统和检测方法
CN116863313A (zh) * 2023-09-05 2023-10-10 湖北大学 基于标签增量精炼和对称评分的目标重识别方法及系统
CN117132841A (zh) * 2023-10-26 2023-11-28 之江实验室 一种保守渐进的领域自适应图像分类方法和装置
CN117671673A (zh) * 2023-11-21 2024-03-08 江南大学 一种基于自适应张量子空间的小样本宫颈细胞分类方法

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114998602B (zh) * 2022-08-08 2022-12-30 中国科学技术大学 基于低置信度样本对比损失的域适应学习方法及系统
CN114998602A (zh) * 2022-08-08 2022-09-02 中国科学技术大学 基于低置信度样本对比损失的域适应学习方法及系统
CN115331065B (zh) * 2022-10-13 2023-03-24 南京航空航天大学 基于解码器迭代筛选的鲁棒噪声多标签图像学习方法
CN115331065A (zh) * 2022-10-13 2022-11-11 南京航空航天大学 基于解码器迭代筛选的鲁棒噪声多标签图像学习方法
CN115577797B (zh) * 2022-10-18 2023-09-26 东南大学 一种基于本地噪声感知的联邦学习优化方法及系统
CN115577797A (zh) * 2022-10-18 2023-01-06 东南大学 一种基于本地噪声感知的联邦学习优化方法及系统
CN116798132A (zh) * 2023-07-28 2023-09-22 智慧眼科技股份有限公司 一种闪光活体检测模型的构建方法、系统和检测方法
CN116798132B (zh) * 2023-07-28 2024-02-27 智慧眼科技股份有限公司 一种闪光活体检测模型的构建方法、系统和检测方法
CN116863313A (zh) * 2023-09-05 2023-10-10 湖北大学 基于标签增量精炼和对称评分的目标重识别方法及系统
CN116863313B (zh) * 2023-09-05 2024-01-12 湖北大学 基于标签增量精炼和对称评分的目标重识别方法及系统
CN117132841A (zh) * 2023-10-26 2023-11-28 之江实验室 一种保守渐进的领域自适应图像分类方法和装置
CN117132841B (zh) * 2023-10-26 2024-03-29 之江实验室 一种保守渐进的领域自适应图像分类方法和装置
CN117671673A (zh) * 2023-11-21 2024-03-08 江南大学 一种基于自适应张量子空间的小样本宫颈细胞分类方法

Similar Documents

Publication Publication Date Title
CN114842267A (zh) 基于标签噪声域自适应的图像分类方法及系统
US11468262B2 (en) Deep network embedding with adversarial regularization
CN108875807B (zh) 一种基于多注意力多尺度的图像描述方法
Liu et al. Connecting image denoising and high-level vision tasks via deep learning
CN109583501B (zh) 图片分类、分类识别模型的生成方法、装置、设备及介质
CN108399428B (zh) 一种基于迹比准则的三元组损失函数设计方法
CN111753881B (zh) 一种基于概念敏感性量化识别对抗攻击的防御方法
CN112861945B (zh) 一种多模态融合谎言检测方法
CN111651762A (zh) 一种基于卷积神经网络的pe恶意软件检测方法
CN114926680B (zh) 一种基于AlexNet网络模型的恶意软件分类方法及系统
CN114004333A (zh) 一种基于多假类生成对抗网络的过采样方法
CN114998602A (zh) 基于低置信度样本对比损失的域适应学习方法及系统
CN116468938A (zh) 一种在标签带噪数据上鲁棒的图像分类方法
CN113723070A (zh) 文本相似度模型训练方法、文本相似度检测方法及装置
CN112926661A (zh) 一种增强图像分类鲁棒性的方法
CN113987236B (zh) 基于图卷积网络的视觉检索模型的无监督训练方法和装置
CN116912568A (zh) 基于自适应类别均衡的含噪声标签图像识别方法
CN115565019A (zh) 基于深度自监督生成对抗的单通道高分辨sar图像地物分类方法
CN111222583A (zh) 一种基于对抗训练与关键路径提取的图像隐写分析方法
Ma et al. Enhancing the security of image steganography via multiple adversarial networks and channel attention modules
CN115862015A (zh) 文字识别系统的训练方法及装置、文字识别方法及装置
Abdollahi et al. Image steganography based on smooth cycle-consistent adversarial learning
CN113705197B (zh) 一种基于位置增强的细粒度情感分析方法
US11847804B1 (en) System and method for matching a voice sample to a facial image
CN117690178B (zh) 一种基于计算机视觉的人脸图像识别方法与系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination