CN116740452A - 一种基于图像修复的图像分类方法、系统和存储介质 - Google Patents

一种基于图像修复的图像分类方法、系统和存储介质 Download PDF

Info

Publication number
CN116740452A
CN116740452A CN202310728926.1A CN202310728926A CN116740452A CN 116740452 A CN116740452 A CN 116740452A CN 202310728926 A CN202310728926 A CN 202310728926A CN 116740452 A CN116740452 A CN 116740452A
Authority
CN
China
Prior art keywords
image
training
restoration
module
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310728926.1A
Other languages
English (en)
Other versions
CN116740452B (zh
Inventor
程彦皓
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shumei Tianxia Beijing Technology Co ltd
Beijing Nextdata Times Technology Co ltd
Original Assignee
Shumei Tianxia Beijing Technology Co ltd
Beijing Nextdata Times Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shumei Tianxia Beijing Technology Co ltd, Beijing Nextdata Times Technology Co ltd filed Critical Shumei Tianxia Beijing Technology Co ltd
Priority to CN202310728926.1A priority Critical patent/CN116740452B/zh
Publication of CN116740452A publication Critical patent/CN116740452A/zh
Application granted granted Critical
Publication of CN116740452B publication Critical patent/CN116740452B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/34—Smoothing or thinning of the pattern; Morphological operations; Skeletonisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/94—Hardware or software architectures specially adapted for image or video understanding
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Abstract

本发明公开了一种基于图像修复的图像分类方法、系统和存储介质，包括：基于多个训练图像，对包含图像特征提取器、图像修复模块和图像分类模块的深度学习模型进行训练，得到训练好的深度学习模型；其中，所述图像特征提取器分别与所述图像修复模块和所述图像分类模块连接；将所述训练好的深度学习模型中的图像修复模块删除，得到目标图像分类模型；将待测图像输入至所述目标图像分类模型，得到所述待测图像的图像分类结果。本发明解决了图像遮挡所造成的图像分类错误的问题，提高了图像分类的精准度。

Description

一种基于图像修复的图像分类方法、系统和存储介质
技术领域
本发明涉及深度学习技术领域，尤其涉及一种基于图像修复的图像分类方法、系统和存储介质。
背景技术
近年来，深度学习方法在图像分类领域取得了令人瞩目的成就，并在工业界取得了广泛应用。但是，图像遮挡问题一直困扰着现有方法，当目标出现大规模遮挡时，基于深度学习的图像分类方法往往由于遮挡造成输入有效特征太少，造成分类错误，限制了其在某些场景下的应用。
因此，亟需提供一种技术方案解决上述问题。
发明内容
为解决上述技术问题，本发明提供了一种基于图像修复的图像分类方法、系统和存储介质。
本发明的一种基于图像修复的图像分类方法的技术方案如下：
S1、基于多个训练图像，对包含图像特征提取器、图像修复模块和图像分类模块的深度学习模型进行训练，得到训练好的深度学习模型；其中，所述图像特征提取器分别与所述图像修复模块和所述图像分类模块连接；
S2、将所述训练好的深度学习模型中的图像修复模块删除，得到目标图像分类模型；
S3、将待测图像输入至所述目标图像分类模型，得到所述待测图像的图像分类结果。
本发明的一种基于图像修复的图像分类方法的有益效果如下：
本发明的方法解决了图像遮挡所造成的图像分类错误的问题，提高了图像分类的精准度。
在上述方案的基础上，本发明的一种基于图像修复的图像分类方法还可以做如下改进。
进一步，步骤S1包括：
S11、分别从每个训练图像中去除部分图像，得到多个残缺图像；
S12、将任一训练图像对应的残缺图像输入至所述图像特征提取器，得到第一特征图并输入至所述图像修复模块，得到所述任一训练图像的修复图像，并根据所述任一训练图像和所述任一图像的修复图像，得到所述任一训练图像的第一损失；
S13、基于所述任一训练图像的第一损失，对所述图像特征提取器和所述图像修复模块进行参数优化，得到第一优化图像特征提取器和第一图像修复模块；
S14、将所述任一训练图像输入至所述第一优化图像特征提取器，得到第二特征图并输入至所述图像分类模块，得到所述任一训练图像的训练预测类别，并根据所述任一训练图像的训练预测类别和真实标签类别，得到所述任一训练图像的第二损失；
S15、基于所述任一训练图像的第二损失，对所述第一优化图像特征提取器和所述图像分类模块进行参数优化，得到第二优化图像特征提取器和第一图像分类模块；
S16、将所述第二优化图像特征提取器作为所述优化图像特征提取器、所述第一图像修复模块作为所述图像修复模块、所述第一图像分类模块作为所述图像分类模块；
S17、重复执行S12-S16，直至所有的训练图像对所述深度学习模型完成一次迭代训练时，返回执行S11，直至所述深度学习模型达到最大迭代次数时，将所述深度学习模型确定为所述训练好的深度学习模型。
进一步，步骤S11包括：
S111、将所述任一训练图像进行切割，得到所述任一训练图像的多个图像块；
S112、从所述任一训练图像的所有图像块中，随机选取多个图像块作为所述任一训练图像的部分图像并舍弃，得到所述任一训练图像对应的残缺图像；
S113、重复执行S111-S112，直至得到每个训练图像对应的残缺图像。
进一步，所述图像修复模块包括：依次连接设置的第一全连接层、第二全连接层和resize层；将任一训练图像的第一特征图输入至所述图像修复模块，得到所述任一训练图像的修复图像的步骤，包括：
将所述任一训练图像的第一特征图输入至所述第一全连接层，并通过所述第一全连接层和所述第二全连接层进行处理，得到所述任一训练图像的中间特征图并输入至所述resize层进行处理，得到所述任一训练图像的修复图像。
进一步，所述图像特征提取器为：Transformer网络。
本发明的一种基于图像修复的图像分类系统的技术方案如下：
包括：训练单元、处理单元和检测单元；
所述训练单元用于：基于多个训练图像，对包含图像特征提取器、图像修复模块和图像分类模块的深度学习模型进行训练，得到训练好的深度学习模型；其中，所述图像特征提取器分别与所述图像修复模块和所述图像分类模块连接；
所述处理单元用于：将所述训练好的深度学习模型中的图像修复模块删除，得到目标图像分类模型；
所述检测单元用于：将待测图像输入至所述目标图像分类模型，得到所述待测图像的图像分类结果。
本发明的一种基于图像修复的图像分类系统的有益效果如下：
本发明的系统解决了图像遮挡所造成的图像分类错误的问题，提高了图像分类的精准度。
在上述方案的基础上，本发明的一种基于图像修复的图像分类系统还可以做如下改进。
进一步，所述训练单元包括：第一训练单元、第二训练单元、第三训练单元、第四训练单元、第五训练单元、第六训练单元和迭代训练单元；
所述第一训练单元用于：分别从每个训练图像中去除部分图像，得到多个残缺图像；
所述第二训练单元用于：将任一训练图像对应的残缺图像输入至所述图像特征提取器，得到第一特征图并输入至所述图像修复模块，得到所述任一训练图像的修复图像，并根据所述任一训练图像和所述任一图像的修复图像，得到所述任一训练图像的第一损失；
所述第三训练单元用于：基于所述任一训练图像的第一损失，对所述图像特征提取器和所述图像修复模块进行参数优化，得到第一优化图像特征提取器和第一图像修复模块；
所述第四训练单元用于：将所述任一训练图像输入至所述第一优化图像特征提取器，得到第二特征图并输入至所述图像分类模块，得到所述任一训练图像的训练预测类别，并根据所述任一训练图像的训练预测类别和真实标签类别，得到所述任一训练图像的第二损失；
所述第五训练单元用于：基于所述任一训练图像的第二损失，对所述第一优化图像特征提取器和所述图像分类模块进行参数优化，得到第二优化图像特征提取器和第一图像分类模块；
所述第六训练单元用于：将所述第二优化图像特征提取器作为所述优化图像特征提取器、所述第一图像修复模块作为所述图像修复模块、所述第一图像分类模块作为所述图像分类模块；
所述第七训练单元用于：重复调用所述第二训练单元至所述第六训练单元，直至所有的训练图像对所述深度学习模型完成一次迭代训练时，返回执行所述第一训练单元，直至所述深度学习模型达到最大迭代次数时，将所述深度学习模型确定为所述训练好的深度学习模型。
进一步，所述第一训练单元包括：图像切割单元、图像处理单元和迭代处理单元；
所述图像切割单元用于：将所述任一训练图像进行切割，得到所述任一训练图像的多个图像块；
所述图像处理单元用于：从所述任一训练图像的所有图像块中，随机选取多个图像块作为所述任一训练图像的部分图像并舍弃，得到所述任一训练图像对应的残缺图像；
所述迭代处理单元用于：重复调用所述图像切割单元和所述图像处理单元，直至得到每个训练图像对应的残缺图像。
进一步，所述图像修复模块包括：依次连接设置的第一全连接层、第二全连接层和resize层；所述第二训练单元具体用于：
将所述任一训练图像的第一特征图输入至所述第一全连接层，并通过所述第一全连接层和所述第二全连接层进行处理，得到所述任一训练图像的中间特征图并输入至所述resize层进行处理，得到所述任一训练图像的修复图像。
本发明的一种存储介质的技术方案如下：
存储介质中存储有指令，当计算机读取所述指令时，使所述计算机执行如本发明的一种基于图像修复的图像分类方法的步骤。
附图说明
图1示出了本发明提供的一种基于图像修复的图像分类方法的实施例的流程示意图；
图2示出了本发明提供的一种基于图像修复的图像分类方法的实施例中的深度学习模型的结构示意图；
图3示出了本发明提供的一种基于图像修复的图像分类方法的实施例中的目标分类模型的结构示意图；
图4示出了本发明提供的一种基于图像修复的图像分类方法的实施例中步骤S11的流程示意图；
图5示出了本发明提供的一种基于图像修复的图像分类方法的实施例中的步骤S111的流程示意图；
图6示出了本发明提供的一种基于图像修复的图像分类方法的实施例中的Transformer网络的结构示意图；
图7示出了本发明提供的一种基于图像修复的图像分类方法的实施例中的图像修复任务的原理示意图；
图8示出了本发明提供的一种基于图像修复的图像分类方法的实施例中的图像分类任务的原理示意图；
图9示出了本发明提供的一种基于图像修复的图像分类系统的实施例的结构示意图。
具体实施方式
图1示出了本发明提供的一种基于图像修复的图像分类方法的实施例的流程示意图。如图1所示，包括如下步骤：
S1、基于多个训练图像，对包含图像特征提取器、图像修复模块和图像分类模块的深度学习模型进行训练，得到训练好的深度学习模型。
其中，①训练图像为：任意选取的图像。②如图2所示，深度学习模型包括：图像特征提取器、图像修复模块和图像分类模块，图像特征提取器分别与图像修复模块和图像分类模块连接。
S2、将所述训练好的深度学习模型中的图像修复模块删除，得到目标图像分类模型。
其中，如图3所示，目标图像分类模型包括：训练好的图像特征提取器和图像分类模块。
S3、将待测图像输入至所述目标图像分类模型，得到所述待测图像的图像分类结果。
其中，待测图像为：任意选取的需要进行图像分类的图像。
需要说明的是，由于删除了训练好的深度学习模型中的图像修复模块，所以在实际使用时，目标图像分类模型的参数量与运算量与正常的图像分类模型没有差别，没有额外开销。
较优地，如图4所示，步骤S1包括：
S11、分别从每个训练图像中去除部分图像，得到多个残缺图像。
具体地，如图5所示，步骤S11包括：
S111、将所述任一训练图像进行切割，得到所述任一训练图像的多个图像块。
具体地，将任一训练图像进行图像切割，得到16×16大小的多个图像块。
S112、从所述任一训练图像的所有图像块中，随机选取多个图像块作为所述任一训练图像的部分图像并舍弃，得到所述任一训练图像对应的残缺图像。
具体地，从任一训练图像的所有图像块中，按照预设比例随机选取多个图像块，将选取的多个图像块作为该训练图像的部分图像并舍弃，得到该训练图像的残缺图像。
需要说明的是，①预设比例默认设置为50％，假设图像块的数量为20个，则随机选取10个图像块作为部分图像并舍弃。②在残缺图像中对存在的图像块进行位置编码，便于后续模型的训练。
S113、重复执行S111-S112，直至得到每个训练图像对应的残缺图像。
具体地，对于每个训练图像，分别执行S111-S112的步骤，直至得到每个训练图像对应的残缺图像。
S12、将任一训练图像对应的残缺图像输入至所述图像特征提取器，得到第一特征图并输入至所述图像修复模块，得到所述任一训练图像的修复图像，并根据所述任一训练图像和所述任一图像的修复图像，得到所述任一训练图像的第一损失。
其中，①图像特征提取器为：Transformer网络，具体结构如图6所示。②第一特征图为：残缺图像输入至所述图像特征提取器进行特征提取后所得到的特征图。③第一损失为：任一训练图像和所述任一图像的修复图像之间的L2 Loss。
需要说明的是，如图7所示，在执行图像修复任务时，图像分类模块冻结，不参与训练。
S13、基于所述任一训练图像的第一损失，对所述图像特征提取器和所述图像修复模块进行参数优化，得到第一优化图像特征提取器和第一图像修复模块。
其中，根据损失对模型参数进行优化的过程为现有技术，在此不过多赘述。
S14、将所述任一训练图像输入至所述第一优化图像特征提取器，得到第二特征图并输入至所述图像分类模块，得到所述任一训练图像的训练预测类别，并根据所述任一训练图像的训练预测类别和真实标签类别，得到所述任一训练图像的第二损失。
其中，①第二特征图为：训练图像输入至第一优化图像特征提取器进行特征提取后所得到的特征图。②第二损失为：训练图像的训练预测类别和真实标签类别之间的CELoss。
需要说明的是，如图8所示，在执行图像分类任务时，图像修复模块冻结，不参与训练。
S15、基于所述任一训练图像的第二损失，对所述第一优化图像特征提取器和所述图像分类模块进行参数优化，得到第二优化图像特征提取器和第一图像分类模块。
其中，根据损失对模型参数进行优化的过程为现有技术，在此不过多赘述。
S16、将所述第二优化图像特征提取器作为所述优化图像特征提取器、所述第一图像修复模块作为所述图像修复模块、所述第一图像分类模块作为所述图像分类模块。
具体地，当一张训练图像分别输入图像修复模块和图像分类模块完成一次训练时，将所述第二优化图像特征提取器作为所述优化图像特征提取器、所述第一图像修复模块作为所述图像修复模块、所述第一图像分类模块作为所述图像分类模块，以便于下一张训练图像在现有的模型参数的基础上进行训练。
S17、重复执行S12-S16，直至所有的训练图像对所述深度学习模型完成一次迭代训练时，返回执行S11，直至所述深度学习模型达到最大迭代次数时，将所述深度学习模型确定为所述训练好的深度学习模型。
其中，最大迭代次数根据实际需求进行设定，在此不设限制。
具体地，当每个训练图像执行完成S12-S16的步骤时，说明所有的训练图像对深度学习模型完成了一次迭代训练，此时返回步骤S11重新执行生成残缺图像的步骤并进行训练，直至深度学习模型达到最大迭代次数时，将深度学习模型确定为训练好的深度学习模型。
较优地，所述图像修复模块包括：依次连接设置的第一全连接层、第二全连接层和resize层。
将任一训练图像的第一特征图输入至所述图像修复模块，得到所述任一训练图像的修复图像的步骤，包括：
将所述任一训练图像的第一特征图输入至所述第一全连接层，并通过所述第一全连接层和所述第二全连接层进行处理，得到所述任一训练图像的中间特征图并输入至所述resize层进行处理，得到所述任一训练图像的修复图像。
需要说明的是，全连接层和resize层的功能与作用为现有技术。例如，训练图像的输入尺寸为3*384*384，其中3表示RGB三通道，即训练图像包含442368个数值。图像修复模块依次通过第一全连接层和第二全连接层，得到442368个输出并输入至resize层进行处理，得到3*384*384的矩阵(修复图像)。
本实施例的技术方案解决了图像遮挡所造成的图像分类错误的问题，提高了图像分类的精准度。
图9示出了本发明提供的一种基于图像修复的图像分类系统的实施例的结构示意图。如图9所示，该系统200包括：训练单元210、处理单元220和检测单元230。
所述训练单元210用于：基于多个训练图像，对包含图像特征提取器、图像修复模块和图像分类模块的深度学习模型进行训练，得到训练好的深度学习模型；其中，所述图像特征提取器分别与所述图像修复模块和所述图像分类模块连接；
所述处理单元220用于：将所述训练好的深度学习模型中的图像修复模块删除，得到目标图像分类模型；
所述检测单元230用于：将待测图像输入至所述目标图像分类模型，得到所述待测图像的图像分类结果。
较优地，所述训练单元210包括：第一训练单元211、第二训练单元212、第三训练单元213、第四训练单元214、第五训练单元215、第六训练单元216和迭代训练单元217；
所述第一训练单元211用于：分别从每个训练图像中去除部分图像，得到多个残缺图像；
所述第二训练单元212用于：将任一训练图像对应的残缺图像输入至所述图像特征提取器，得到第一特征图并输入至所述图像修复模块，得到所述任一训练图像的修复图像，并根据所述任一训练图像和所述任一图像的修复图像，得到所述任一训练图像的第一损失；
所述第三训练单元213用于：基于所述任一训练图像的第一损失，对所述图像特征提取器和所述图像修复模块进行参数优化，得到第一优化图像特征提取器和第一图像修复模块；
所述第四训练单元214用于：将所述任一训练图像输入至所述第一优化图像特征提取器，得到第二特征图并输入至所述图像分类模块，得到所述任一训练图像的训练预测类别，并根据所述任一训练图像的训练预测类别和真实标签类别，得到所述任一训练图像的第二损失；
所述第五训练单元215用于：基于所述任一训练图像的第二损失，对所述第一优化图像特征提取器和所述图像分类模块进行参数优化，得到第二优化图像特征提取器和第一图像分类模块；
所述第六训练单元216用于：将所述第二优化图像特征提取器作为所述优化图像特征提取器、所述第一图像修复模块作为所述图像修复模块、所述第一图像分类模块作为所述图像分类模块；
所述第七训练单元217用于：重复调用所述第二训练单元212至所述第六训练单元216，直至所有的训练图像对所述深度学习模型完成一次迭代训练时，返回执行所述第一训练单元211，直至所述深度学习模型达到最大迭代次数时，将所述深度学习模型确定为所述训练好的深度学习模型。
较优地，所述第一训练单元211包括：图像切割单元2111、图像处理单元2112和迭代处理单元2113。
所述图像切割单元用于：将所述任一训练图像进行切割，得到所述任一训练图像的多个图像块；
所述图像处理单元用于：从所述任一训练图像的所有图像块中，随机选取多个图像块作为所述任一训练图像的部分图像并舍弃，得到所述任一训练图像对应的残缺图像；
所述迭代处理单元用于：重复调用所述图像切割单元和所述图像处理单元，直至得到每个训练图像对应的残缺图像。
较优地，所述图像修复模块包括：依次连接设置的第一全连接层、第二全连接层和resize层；所述第二训练单元具体用于：
将所述任一训练图像的第一特征图输入至所述第一全连接层，并通过所述第一全连接层和所述第二全连接层进行处理，得到所述任一训练图像的中间特征图并输入至所述resize层进行处理，得到所述任一训练图像的修复图像。
本实施例的技术方案解决了图像遮挡所造成的图像分类错误的问题，提高了图像分类的精准度。
上述关于本发明提供的一种基于图像修复的图像分类系统200的实施例中的各参数和各个模块实现相应功能的步骤，可参考上文中提供的一种基于图像修复的图像分类方法的实施例中的各参数和步骤，在此不做赘述。
本发明实施例提供的一种存储介质，包括：存储介质中存储有指令，当计算机读取所述指令时，使所述计算机执行如一种基于图像修复的图像分类方法的步骤，具体可参考上文中提供的一种基于图像修复的图像分类方法的实施例中的各参数和步骤，在此不做赘述。
计算机存储介质例如：优盘、移动硬盘等。
所属技术领域的技术人员知道，本发明可以实现为方法、系统和存储介质。
因此，本发明可以具体实现为以下形式，即：可以是完全的硬件、也可以是完全的软件(包括固件、驻留软件、微代码等)，还可以是硬件和软件结合的形式，本文一般称为“电路”、“模块”或“系统”。此外，在一些实施例中，本发明还可以实现为在一个或多个计算机可读介质中的计算机程序产品的形式，该计算机可读介质中包含计算机可读的程序代码。可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)，只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种基于图像修复的图像分类方法，其特征在于，包括：
S1、基于多个训练图像，对包含图像特征提取器、图像修复模块和图像分类模块的深度学习模型进行训练，得到训练好的深度学习模型；其中，所述图像特征提取器分别与所述图像修复模块和所述图像分类模块连接；
S2、将所述训练好的深度学习模型中的图像修复模块删除，得到目标图像分类模型；
S3、将待测图像输入至所述目标图像分类模型，得到所述待测图像的图像分类结果。
2.根据权利要求1所述的基于图像修复的图像分类方法，其特征在于，步骤S1包括：
S11、分别从每个训练图像中去除部分图像，得到多个残缺图像；
S12、将任一训练图像对应的残缺图像输入至所述图像特征提取器，得到第一特征图并输入至所述图像修复模块，得到所述任一训练图像的修复图像，并根据所述任一训练图像和所述任一图像的修复图像，得到所述任一训练图像的第一损失；
S13、基于所述任一训练图像的第一损失，对所述图像特征提取器和所述图像修复模块进行参数优化，得到第一优化图像特征提取器和第一图像修复模块；
S14、将所述任一训练图像输入至所述第一优化图像特征提取器，得到第二特征图并输入至所述图像分类模块，得到所述任一训练图像的训练预测类别，并根据所述任一训练图像的训练预测类别和真实标签类别，得到所述任一训练图像的第二损失；
S15、基于所述任一训练图像的第二损失，对所述第一优化图像特征提取器和所述图像分类模块进行参数优化，得到第二优化图像特征提取器和第一图像分类模块；
S16、将所述第二优化图像特征提取器作为所述优化图像特征提取器、所述第一图像修复模块作为所述图像修复模块、所述第一图像分类模块作为所述图像分类模块；
S17、重复执行S12-S16，直至所有的训练图像对所述深度学习模型完成一次迭代训练时，返回执行S11，直至所述深度学习模型达到最大迭代次数时，将所述深度学习模型确定为所述训练好的深度学习模型。
3.根据权利要求2所述的基于图像修复的图像分类方法，其特征在于，步骤S11包括：
S111、将所述任一训练图像进行切割，得到所述任一训练图像的多个图像块；
S112、从所述任一训练图像的所有图像块中，随机选取多个图像块作为所述任一训练图像的部分图像并舍弃，得到所述任一训练图像对应的残缺图像；
S113、重复执行S111-S112，直至得到每个训练图像对应的残缺图像。
4.根据权利要求2所述的基于图像修复的图像分类方法，其特征在于，所述图像修复模块包括：依次连接设置的第一全连接层、第二全连接层和resize层；将任一训练图像的第一特征图输入至所述图像修复模块，得到所述任一训练图像的修复图像的步骤，包括：
将所述任一训练图像的第一特征图输入至所述第一全连接层，并通过所述第一全连接层和所述第二全连接层进行处理，得到所述任一训练图像的中间特征图并输入至所述resize层进行处理，得到所述任一训练图像的修复图像。
5.根据权利要求1-4任一项所述的基于图像修复的图像分类方法，其特征在于，所述图像特征提取器为：Transformer网络。
6.一种基于图像修复的图像分类系统，其特征在于，包括：训练单元、处理单元和检测单元；
所述训练单元用于：基于多个训练图像，对包含图像特征提取器、图像修复模块和图像分类模块的深度学习模型进行训练，得到训练好的深度学习模型；其中，所述图像特征提取器分别与所述图像修复模块和所述图像分类模块连接；
所述处理单元用于：将所述训练好的深度学习模型中的图像修复模块删除，得到目标图像分类模型；
所述检测单元用于：将待测图像输入至所述目标图像分类模型，得到所述待测图像的图像分类结果。
7.根据权利要求6所述的基于图像修复的图像分类系统，其特征在于，所述训练单元包括：第一训练单元、第二训练单元、第三训练单元、第四训练单元、第五训练单元、第六训练单元和迭代训练单元；
所述第一训练单元用于：分别从每个训练图像中去除部分图像，得到多个残缺图像；
所述第二训练单元用于：将任一训练图像对应的残缺图像输入至所述图像特征提取器，得到第一特征图并输入至所述图像修复模块，得到所述任一训练图像的修复图像，并根据所述任一训练图像和所述任一图像的修复图像，得到所述任一训练图像的第一损失；
所述第三训练单元用于：基于所述任一训练图像的第一损失，对所述图像特征提取器和所述图像修复模块进行参数优化，得到第一优化图像特征提取器和第一图像修复模块；
所述第四训练单元用于：将所述任一训练图像输入至所述第一优化图像特征提取器，得到第二特征图并输入至所述图像分类模块，得到所述任一训练图像的训练预测类别，并根据所述任一训练图像的训练预测类别和真实标签类别，得到所述任一训练图像的第二损失；
所述第五训练单元用于：基于所述任一训练图像的第二损失，对所述第一优化图像特征提取器和所述图像分类模块进行参数优化，得到第二优化图像特征提取器和第一图像分类模块；
所述第六训练单元用于：将所述第二优化图像特征提取器作为所述优化图像特征提取器、所述第一图像修复模块作为所述图像修复模块、所述第一图像分类模块作为所述图像分类模块；
所述第七训练单元用于：重复调用所述第二训练单元至所述第六训练单元，直至所有的训练图像对所述深度学习模型完成一次迭代训练时，返回执行所述第一训练单元，直至所述深度学习模型达到最大迭代次数时，将所述深度学习模型确定为所述训练好的深度学习模型。
8.根据权利要求7所述的基于图像修复的图像分类系统，其特征在于，所述第一训练单元包括：图像切割单元、图像处理单元和迭代处理单元；
所述图像切割单元用于：将所述任一训练图像进行切割，得到所述任一训练图像的多个图像块；
所述图像处理单元用于：从所述任一训练图像的所有图像块中，随机选取多个图像块作为所述任一训练图像的部分图像并舍弃，得到所述任一训练图像对应的残缺图像；
所述迭代处理单元用于：重复调用所述图像切割单元和所述图像处理单元，直至得到每个训练图像对应的残缺图像。
9.根据权利要求7所述的基于图像修复的图像分类系统，其特征在于，所述图像修复模块包括：依次连接设置的第一全连接层、第二全连接层和resize层；所述第二训练单元具体用于：
将所述任一训练图像的第一特征图输入至所述第一全连接层，并通过所述第一全连接层和所述第二全连接层进行处理，得到所述任一训练图像的中间特征图并输入至所述resize层进行处理，得到所述任一训练图像的修复图像。
10.一种存储介质，其特征在于，所述存储介质中存储有指令，当计算机读取所述指令时，使所述计算机执行如权利要求1至5中任一项所述的基于图像修复的图像分类方法。
CN202310728926.1A 2023-06-19 2023-06-19 一种基于图像修复的图像分类方法、系统和存储介质 Active CN116740452B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310728926.1A CN116740452B (zh) 2023-06-19 2023-06-19 一种基于图像修复的图像分类方法、系统和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310728926.1A CN116740452B (zh) 2023-06-19 2023-06-19 一种基于图像修复的图像分类方法、系统和存储介质

Publications (2)

Publication Number Publication Date
CN116740452A true CN116740452A (zh) 2023-09-12
CN116740452B CN116740452B (zh) 2023-12-22

Family

ID=87902553

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310728926.1A Active CN116740452B (zh) 2023-06-19 2023-06-19 一种基于图像修复的图像分类方法、系统和存储介质

Country Status (1)

Country Link
CN (1) CN116740452B (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8204297B1 (en) * 2009-02-27 2012-06-19 Kla-Tencor Corp. Methods and systems for classifying defects detected on a reticle
CN112464893A (zh) * 2020-12-10 2021-03-09 山东建筑大学 一种复杂环境下的拥挤度分类方法
CN112528764A (zh) * 2020-11-25 2021-03-19 杭州欣禾圣世科技有限公司 人脸表情识别方法、系统、装置及可读存储介质
CN112861785A (zh) * 2021-03-09 2021-05-28 中山大学 一种基于实例分割和图像修复的带遮挡行人重识别方法
WO2022073453A1 (zh) * 2020-10-10 2022-04-14 武汉大学 一种面向身份识别的人脸质量感知方法及系统
CN114663678A (zh) * 2022-04-19 2022-06-24 杭州电子科技大学 一种基于eco-gan的图像增强系统及方法
CN115035567A (zh) * 2022-04-28 2022-09-09 合肥的卢深视科技有限公司 模型训练、残缺人脸图像识别和重建方法、设备及介质
US20220309642A1 (en) * 2021-03-29 2022-09-29 Beijing Xiaomi Mobile Software Co., Ltd. Repair method and repair apparatus for flexible panel, device and storage medium
CN116152542A (zh) * 2022-10-10 2023-05-23 马上消费金融股份有限公司 图像分类模型的训练方法、装置、设备及存储介质

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8204297B1 (en) * 2009-02-27 2012-06-19 Kla-Tencor Corp. Methods and systems for classifying defects detected on a reticle
WO2022073453A1 (zh) * 2020-10-10 2022-04-14 武汉大学 一种面向身份识别的人脸质量感知方法及系统
CN112528764A (zh) * 2020-11-25 2021-03-19 杭州欣禾圣世科技有限公司 人脸表情识别方法、系统、装置及可读存储介质
CN112464893A (zh) * 2020-12-10 2021-03-09 山东建筑大学 一种复杂环境下的拥挤度分类方法
CN112861785A (zh) * 2021-03-09 2021-05-28 中山大学 一种基于实例分割和图像修复的带遮挡行人重识别方法
US20220309642A1 (en) * 2021-03-29 2022-09-29 Beijing Xiaomi Mobile Software Co., Ltd. Repair method and repair apparatus for flexible panel, device and storage medium
CN114663678A (zh) * 2022-04-19 2022-06-24 杭州电子科技大学 一种基于eco-gan的图像增强系统及方法
CN115035567A (zh) * 2022-04-28 2022-09-09 合肥的卢深视科技有限公司 模型训练、残缺人脸图像识别和重建方法、设备及介质
CN116152542A (zh) * 2022-10-10 2023-05-23 马上消费金融股份有限公司 图像分类模型的训练方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN116740452B (zh) 2023-12-22

Similar Documents

Publication Publication Date Title
CN108664981B (zh) 显著图像提取方法及装置
CN110781960B (zh) 视频分类模型的训练方法、分类方法、装置及设备
CN109685805B (zh) 一种图像分割方法及装置
CN113516529B (zh) 异常订单确定方法、装置、存储介质及电子设备
CN114781650B (zh) 一种数据处理方法、装置、设备以及存储介质
CN115100739B (zh) 人机行为检测方法、系统、终端设备及存储介质
CN115098717A (zh) 三维模型检索方法、装置、电子设备及存储介质
CN116740452B (zh) 一种基于图像修复的图像分类方法、系统和存储介质
CN114168318A (zh) 存储释放模型的训练方法、存储释放方法及设备
US11360940B2 (en) Method and apparatus for biological sequence processing fastq files comprising lossless compression and decompression
CN114494782A (zh) 图像处理方法、模型训练方法、相关装置及电子设备
CN112288748A (zh) 一种语义分割网络训练、图像语义分割方法及装置
CN116627445B (zh) 识别服务器带外安装操作系统进度的方法、装置及产品
CN109766255B (zh) 设备状态分析方法、装置、存储介质及电子设备
CN110297777B (zh) 输入法的测评方法和装置
CN117151197A (zh) 一种模型压缩方法、装置、设备及介质
CN114757360A (zh) 数据的特征分析方法、装置及电子设备
CN115762488A (zh) 一种语音识别方法、系统、存储介质和电子设备
CN114241243A (zh) 图像分类模型的训练方法、装置、电子设备和存储介质
CN114494817A (zh) 图像处理方法、模型训练方法、相关装置及电子设备
CN117744715A (zh) 一种目标检测网络的压缩方法、装置、设备及介质
CN113935940A (zh) 一种面板缺陷分类模型的生成方法及面板缺陷分类方法
CN114419580A (zh) 障碍物关联方法、装置、电子设备及存储介质
CN115273055A (zh) 一种目标对象识别方法、装置、设备及介质
CN117093628A (zh) 向量检索方法、装置、设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant