CN108805828B - 图像处理方法、装置、计算机设备和存储介质 - Google Patents

图像处理方法、装置、计算机设备和存储介质 Download PDF

Info

Publication number
CN108805828B
CN108805828B CN201810493278.5A CN201810493278A CN108805828B CN 108805828 B CN108805828 B CN 108805828B CN 201810493278 A CN201810493278 A CN 201810493278A CN 108805828 B CN108805828 B CN 108805828B
Authority
CN
China
Prior art keywords
image
occlusion
feature
model
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810493278.5A
Other languages
English (en)
Other versions
CN108805828A (zh
Inventor
邰颖
丁守鸿
李绍欣
李安平
李季檩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201810493278.5A priority Critical patent/CN108805828B/zh
Publication of CN108805828A publication Critical patent/CN108805828A/zh
Application granted granted Critical
Publication of CN108805828B publication Critical patent/CN108805828B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及一种图像处理方法、装置、计算机设备和存储介质，所述方法包括：获取待处理图像，将待处理图像输入已训练的图像去遮挡模型，已训练的图像去遮挡模型生成与待处理图像不同尺度的至少一个中间图像，已训练的图像去遮挡模型对待处理图像和多个中间图像进行特征提取，得到多个特征图，对各个特征图进行融合，得到融合特征图，已训练的图像去遮挡模型根据已训练的模型参数和融合特征图生成当前残差图像，已训练的模型参数是通过对图像去遮挡模型采用残差学习训练生成的，已训练的图像去遮挡模型根据当前残差图像和待处理图像输出去遮挡图像，提高了遮挡图像的去遮挡效果，得到更为准确的去遮挡图像。

Description

图像处理方法、装置、计算机设备和存储介质
技术领域
本申请涉及计算机技术领域，特别是涉及一种图像处理方法、装置、计算机设备和存储介质。
背景技术
随着计算机技术的发展，图像处理技术已经应用到各个领域中，如应用到银行、证券、金融社保、交通、教育、电子商务、高考、机场、地铁等场景。对存在图像遮挡的图像进行图像识别时，需要将被遮挡的图像恢复成去遮挡的图像，传统的图像去遮挡技术主要是对遮挡图像直接进行学习，得到恢复后的图像，恢复的图像不够准确。
发明内容
基于此，有必要针对上述技术问题，提供一种提高图像去遮挡精准度的图像处理方法、装置、计算机设备和存储介质。
一种图像处理方法，包括：
获取待处理图像，将待处理图像输入已训练的图像去遮挡模型；
已训练的图像去遮挡模型生成与待处理图像不同尺度的至少一个中间图像；
已训练的图像去遮挡模型对待处理图像和至少一个中间图像进行特征提取，得到多个特征图，对各个特征图进行融合，得到融合特征图；
已训练的图像去遮挡模型根据已训练的模型参数和融合特征图生成当前残差图像，已训练的模型参数是通过对图像去遮挡模型采用残差学习训练生成的；
已训练的图像去遮挡模型根据当前残差图像和待处理图像输出去遮挡图像。
一种图像处理装置，包括：
数据获取模块，用于获取待处理图像，将待处理图像输入已训练的图像去遮挡模型；
尺度变换模块，用于已训练的图像去遮挡模型生成与待处理图像不同尺度的至少一个中间图像；
特征融合模块，用于已训练的图像去遮挡模型对待处理图像和多个中间图像进行特征提取，得到多个特征图，对各个特征图进行融合，得到融合特征图；
残差学习模块，用于已训练的图像去遮挡模型根据已训练的模型参数和融合特征图生成当前残差图像，已训练的模型参数是通过对图像去遮挡模型采用残差学习训练生成的；
图像去遮挡模块，用于已训练的图像去遮挡模型根据当前残差图像和待处理图像输出去遮挡图像。
一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行以下步骤：
获取待处理图像，将待处理图像输入已训练的图像去遮挡模型；
已训练的图像去遮挡模型生成与待处理图像不同尺度的至少一个中间图像；
已训练的图像去遮挡模型对待处理图像和至少一个中间图像进行特征提取，得到多个特征图，对各个特征图进行融合，得到融合特征图；
已训练的图像去遮挡模型根据已训练的模型参数和融合特征图生成当前残差图像，已训练的模型参数是通过对图像去遮挡模型采用残差学习训练生成的；
已训练的图像去遮挡模型根据当前残差图像和待处理图像输出去遮挡图像。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行以下步骤：
获取待处理图像，将待处理图像输入已训练的图像去遮挡模型；
已训练的图像去遮挡模型生成与待处理图像不同尺度的至少一个中间图像；
已训练的图像去遮挡模型对待处理图像和至少一个中间图像进行特征提取，得到多个特征图，对各个特征图进行融合，得到融合特征图；
已训练的图像去遮挡模型根据已训练的模型参数和融合特征图生成当前残差图像，已训练的模型参数是通过对图像去遮挡模型采用残差学习训练生成的；
已训练的图像去遮挡模型根据当前残差图像和待处理图像输出去遮挡图像。
上述图像处理方法、装置、计算机设备和存储介质，通过获取待处理图像，将待处理图像输入已训练的图像去遮挡模型，已训练的图像去遮挡模型生成与待处理图像不同尺度的至少一个中间图像，已训练的图像去遮挡模型对待处理图像和多个中间图像进行特征提取，得到多个特征图，对各个特征图进行融合，得到融合特征图，已训练的图像去遮挡模型根据已训练的模型参数和融合特征图生成当前残差图像，已训练的模型参数是通过对图像去遮挡模型采用残差学习训练生成的，已训练的图像去遮挡模型根据当前残差图像和待处理图像输出去遮挡图像。通过已训练的图像去遮挡模型对待处理图像进行尺度变换得到不同尺度的中间图像，对待处理图像和中间图像进行特征提取，通过特征融合算法将提取到的特征进行融合，采用多个特征图融合后的融合特征图进行图像重构，得到残差图像，得到的残差图像细节信息更为丰富，且学习得到残差图像，能够简化网络学习难度，根据残差图像和遮挡图像生成去遮挡图像，提高了遮挡图像的去遮挡效果，得到更为精确的去遮挡图像。
附图说明
图1为一个实施例中图像处理方法的应用环境图；
图2为一个实施例中图像处理方法的流程示意图；
图3为一个实施例中已训练的图像去遮挡模型的生成步骤的流程示意图；
图4为另一个实施例中已训练的图像去遮挡模型的生成步骤的流程示意图；
图5为一个实施例融合特征图的生成步骤的流程示意图；
图6为一个实施例中去遮挡图像生成步骤的流程示意图；
图7为一个实施例中去遮挡模型的整体结构图；
图8为一个实施例中图像去遮挡模型的示意图；
图9为一个实施例中图像处理装置的结构框图；
图10为另一个实施例中图像处理装置的结构框图；
图11为再一个实施例中图像处理装置的结构框图；
图12为一个实施例中尺度变换模块的结构框图；
图13为一个实施例中特征融合模块的结构框图；
图14为一个实施例中判别模块的结构框图；
图15为一个实施例中计算机设备的结构框图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。
图1为一个实施例中图像处理方法的应用环境图。参照图1，包括终端110和服务器120。终端110和服务器120通过网络连接。终端110获取待处理图像，将获取待处理图像，将待处理图像输入已训练的图像去遮挡模型，已训练的图像去遮挡模型生成与待处理图像不同尺度的至少一个中间图像，已训练的图像去遮挡模型对待处理图像和多个中间图像进行特征提取，得到多个特征图，对各个特征图进行融合，得到融合特征图，已训练的图像去遮挡模型根据已训练的模型参数和融合特征图生成当前残差图像，已训练的模型参数是通过对图像去遮挡模型采用残差学习训练生成的，已训练的图像去遮挡模型根据当前残差图像和待处理图像输出去遮挡图像。终端110可以将去遮挡后的图像通过网络发送至服务器120。
上述通过已训练的图像去遮挡模型对待处理图像进行尺度变换、特征提取、特征融合和得到去遮挡图像均可在终端110或服务器120中进行。
终端110具体可以是台式终端或移动终端，移动终端具体可以手机、平板电脑、笔记本电脑等中的至少一种。服务器120可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
如图2所示，在一个实施例中，提供了一种图像处理方法。本实施例主要以该方法应用于上述图1中的终端110(或服务器120)来举例说明。参照图2，该图像处理方法具体包括以下步骤：
步骤S202，获取待处理图像，将待处理图像输入已训练的图像去遮挡模型。
其中，待处理图像是指图像中的目标主体被遮挡的图像，目标主体包括但不限于人脸、人物、车子、动物或风景等。待处理图像可以是但不限于从网上下载的图像、采集设备采集的图像，待处理图像包括但不限于网纹图像、水印图像、雨点图像或噪点图像等等。已训练的图像去遮挡模型是指通过对大量的包含遮挡物的图像进行训练得到的模型参数确定的图像去遮挡模型。
在一个实施例中，待处理图像的遮挡物可以只包括一种，如遮挡物仅包含网纹或包含雨点等等，遮挡物也可以包括多种，如遮挡物包括网纹、雨点、噪点或水印中的至少两种。包括多个遮挡物时，各个遮挡物所在的遮挡区域的组合形式不限，如可以不同的遮挡物分别分布在整个图像区域，或第一图像区域包含第一遮挡物，第二图像区域包含第二遮挡物，其中第一图像区域和第二图像区域是不重叠的图像区域。
具体地，获取待处理图像，将待处理图像输入已训练的图像去遮挡模型。在输入已训练的图像去遮挡模型之前还可以对待处理图像进行预处理，预处理包括但不限于将图像归一化至预设尺寸，将像素归一化至预设范围区间，如[-1,1]，对像素进行归一化处理可以减低数据处理的数量级，从而加快数据的处理速度。
步骤S204，已训练的图像去遮挡模型生成与待处理图像不同尺度的至少一个中间图像。
具体地，中间图像是对待处理图像进行尺度变换得到的变换图像，对图像进行尺度变换是指改变图像的尺度，中间图像可以包括是一个或多个，尺度变换包括将尺度进行放大或缩小中的至少一种。尺度缩小或放大是减少或增加图像的像素点，如将尺度为60*60像素的图像缩小为30*30或放大为120*120像素的图像。尺度缩小或放大的比例可根据需求自定义。通过已训练的图像去遮挡模型中设置的尺度变换比例对待处理图像进行尺度变换，得到一个或多个不同尺度的中间图像。
步骤S206，已训练的图像去遮挡模型对待处理图像和至少一个中间图像进行特征提取，得到多个特征图，对各个特征图进行融合，得到融合特征图。
其中，特征提取是根据特征提取算法对包含特定形状或纹理的图像进行特征提取。如待处理图像为网纹图像时，可提取图像的网纹特征，待处理图像为雨点图像时，可提取图像的雨点特征，特征提取算法包括但不限于基于模板匹配算法、卷积运算、池化运算等算法。分别对待处理图像和一个或多个中间图像进行特征提取后得到的多个特征图。特征融合是指对各个特征图进行融合，包括但不限于将各个特征图中各个特征值对应进行加权求和，或根据各个特征图形成多通道特征图。融合特征图是指对各个特征图进行特征融合之后的得到的特征图。
具体地，通过已训练的图像去遮挡模型中的特征提取模块对待处理图像和中间图像进行特征提取，得到与原始图像对应的特征图和与中间图像对应的特征图，前者的特征图与后者的特征图的尺度可以一致也可以不一致，当尺度一致时，可对各个特征值对应融合，当尺度不一致时，根据两个特征图中各个特征值之间的对应关系进行特征融合，得到融合后的特征图。通过对同一图像的不同尺度的图像进行图像特征提取，可以得到更丰富的图像特征，根据多个不同尺度图像对应的特征图进行图像恢复时，可以提供更丰富的局部信息，恢复出更为准确的图像。
步骤S208，已训练的图像去遮挡模型根据已训练的模型参数和融合特征图生成当前残差图像，已训练的模型参数是通过对图像去遮挡模型采用残差学习训练生成的。
其中，已训练的模型参数是指已训练的图像去遮挡模型对应的模型参数，该模型参数是通过对被遮挡的图像进行残差学习得到的，残差学习是指学习遮挡图像中的遮挡物，如遮挡图像为网纹图像时，残差学习是指学习图像中的网纹特征，得到的残差图像为网纹图像，残差图像的大部分像素都是0，是一个稀疏矩阵，可简化网络学习难度，控制模型复杂度。。
具体地，根据已训练的图像去遮挡模型对应的模型参数对融合特征图进行图像处理，具体的图像处理方式包括但不限于多融合特征图进行卷积运算或池化运算等。对融合特征图进行图像处理后得到残差图像。相对于直接学习包含遮挡物的整个图像，学习得到恢复的去遮挡图像，残差图像更容易学习，可以降低学习难度。
步骤S210，已训练的图像去遮挡模型根据当前残差图像和待处理图像输出去遮挡图像。
其中，去遮挡图像是图像去遮挡模型输出的去除了遮挡物的图像，如图像为包含网纹的遮挡图像或包含雨点的遮挡图像，则去遮挡图像是指去除了网纹或雨点的图像。
具体地，通过已训练的图像去遮挡模型对当前残差图像和待处理图像进行图像处理得到去除遮挡物的去遮挡图像。对当前残差图像和待处理图像进行图像处理包括但不限于对当前残差图像和待处理图像进行加权处理，如用待处理图像减去当前残差图像得到去遮挡图像。
上述图像处理方法，获取待处理图像，将待处理图像输入已训练的图像去遮挡模型，已训练的图像去遮挡模型生成与待处理图像不同尺度的至少一个中间图像，已训练的图像去遮挡模型对待处理图像和至少一个中间图像进行特征提取，得到多个特征图，对各个特征图进行融合，得到融合特征图，已训练的图像去遮挡模型根据已训练的模型参数和融合特征图生成当前残差图像，已训练的模型参数是通过对图像去遮挡模型采用残差学习训练生成的，已训练的图像去遮挡模型根据当前残差图像和所述待处理图像输出去遮挡图像。通过已训练的图像去遮挡模型对输入的待处理图像进行尺度变换，得到一个或多个中间图像，对多个图像进行特征提取，得到多个特征图，对多个特征图进行融合，可以得到包含更多特征的融合特征图，对融合特征图进行重构得到残差图像，残差图像是一个包含许多像素点为0的图像，学习难度下降，根据待处理图像和残差图像得到去除遮挡物的图像，可以提高去遮挡图像的去除效果，得到更准确的去遮挡图像。
在一个实施例中，如图3所示，已训练的图像去遮挡模型的生成步骤包括：
步骤S302，获取训练图对集合，所述训练图对集合中的各个训练图对包括遮挡训练图像和对应的无遮挡训练图像。
其中，训练图对集合为多个训练图对组成的图像集合，每个训练图对包括遮挡训练图像和对应的无遮挡训练图像。遮挡训练图像是指包含遮挡物的训练图像，每个包含遮挡物的训练图像存在对应的不包含遮挡物的训练图像，如包含网纹的图像存在一个对应的真实无网纹图像。
具体地，在获取训练图对集合之前，可以建立各个遮挡训练图像和无遮挡训练图像的对应关系，终端或服务器获取已经存在对应关系的遮挡训练图像和对应的无遮挡训练图像。
步骤S303，通过原始图像去遮挡模型生成与遮挡训练图像不同尺度的至少一个中间训练图像。
具体地，原始图像去遮挡模型是指需要进行训练的模型，该模型对应的模型参数还需要根据输入的训练图像的训练情况调整。原始图像去遮挡模型可以是卷积神经网络或深度学习神经网络等。中间训练图像是指通过原始图像去遮挡模型对遮挡训练图像进行尺度变换，得到的一个或多个图像。
步骤S306，对遮挡训练图像和对应的至少一个中间训练图像进行特征提取，得到多个特征图，对同一遮挡训练图像对应的各个特征图进行融合，得到融合训练特征图。
具体地，根据原始图像去遮挡模型对各个遮挡训练图像和对应的至少一个中间图像进行特征提取。其中特征提取是指根据预先自定义的特征提取算法进行特征提取，特征提取算法包括但不限于方向梯度直方图(Histogram of Oriented Gradient,HOG)特征提取算法、局部二值模式(Local Binary Pattern，LBP)提取算法或haar特征提取算法等中的一种或多种。对同一遮挡训练图像对应的特征图进行特征融合，得到此遮挡训练图像对应的融合训练特征图。各个遮挡训练图像对应的特征图包括对遮挡训练图像进行特征提取，得到的特征图，和对与遮挡训练图像对应的至少一个中间图像进行特征提取，得到的中间图像对应的特征图。对同一幅图像进行尺度变换，并对多个尺度的图像进行特征提取，可以得到更多图像特征，提高特征的准确度。
步骤S308，根据当前模型参数和融合训练特征图生成残差训练图像。
具体地，当前模型参数是指原始图像去遮挡模型正在执行模型训练时，模型对应的参数。根据当前模型参数对融合训练特征图进行图像处理，得到对应残差训练图像，残差训练图像与遮挡训练图像对应，如遮挡训练图像可以是包含遮挡物雨点的图像，残差训练图像为雨点图像。
步骤S310，根据残差训练图像和对应的遮挡训练图像生成去遮挡训练图像。
具体地，通过原始图像去遮挡模型对残差训练图像和对应的遮挡训练图像进行图像处理，得到去遮挡训练图。具体的图像处理方式可以是对残差训练图像和对应的遮挡训练图像进行加权，得到去遮挡训练图像，其中加权的加权系数可以根据需求自定义，如可以用遮挡训练图像直接减去残差训练图像，得到去遮挡训练图像。
步骤S312，将去遮挡训练图像和对应的无遮挡训练图像输入判别网络模型，根据判别网络模型的判别结果，计算判别网络模型的对抗误差。
其中，判别网络模型是指可以对输入的图像进行判别的网络模型，如对输入图像为原始真实图像还是合成图像进行判别。合成图像是指通过图像合成算法自动合成的图像。判别结果是指判别网络模型对输入的图像进行识别后得到的识别结果，判别网络模型包括二分类网络模型和多分类网络模型。对抗误差是指根据判别网络中对各个图像对的识别结果对应的识别概率确定的误差。
步骤S314，将去遮挡训练图像和对应的无遮挡训练图像输入特征对比网络模型，特征对比网络模型输出对应的特征差。
具体地，采用特征提取算法分别对去遮挡训练图像和对应的无遮挡训练图像进行特征提取，得到去遮挡训练图像的特征向量和对应的无遮挡训练图像的特征向量，对两个特征向量进行比对，得到对应的特征差。计算两个特征向量的特征差的算法可以根据需求自定义，如对两个特征向量中各个特征值对应的差值进行加权求和得到对应的特征差，或是计算两个特征向量中各个特征值对应的差值，根据自定义算法对差值进行计算得到对应的特征差。对图像的特征进行对比，使得原始图像去遮挡模型输出的去遮挡图像与真实的无遮挡图像，能够保持一定程度的差异，对图像进行识别时，能够区分出不同类型的图像。
步骤S316，根据对抗误差和特征差调整原始图像去遮挡模型的当前模型参数和判别网络模型的参数，直到满足收敛条件，得到已训练的模型参数，根据已训练的模型参数得到已训练的图像去遮挡模型。
其中，原始图像去遮挡模型的当前模型参数正在进行模型训练的模型参数，判别网络模型的参数是指判别网路正在进行模型训练时的模型参数。满足收敛条件是指满足预先自定义设置的参数对应的参数条件，参数条件包括但不限于原始图像去遮挡模型、判别网络模型和特征对比网络模型三个模型对应的模型误差的误差范围或是对三个模型对应的误差进行加权求和到的误差值的误差范围等。已训练的模型参数是指原始图像去遮挡模型的当前模型参数满足收敛条件时对应的模型参数。
具体地，根据对抗误差和特征差确定原始图像去遮挡模型和判别网络模型的训练结果，当训练结果不满足收敛条件时，根据对抗误差和特征差调整原始图像去遮挡模型的当前模型参数和判别网络模型的参数，当训练结果满足收敛条件时，得到原始图像去遮挡模型对应的已训练的模型参数，将原始图像去遮挡模型的参数修改为已训练的模型参数时，得到已训练的图像去遮挡模型。
在一个实施例中，根据对抗误差和特征差调整原始图像去遮挡模型的当前模型参数和判别网络模型的参数，包括：对原始图像去遮挡模型的当前模型参数和判别网络模型的参数进行调整时，可以交替进行，如对原始图像去遮挡模型的当前模型参数进行更新时，则保持判别网络模型的参数不变，或原始图像去遮挡模型的当前模型参数保持不变，判别网络模型的参数进行更新。
在一个实施例中，如图4所示，已训练的图像去遮挡模型的生成步骤还包括：
步骤S315，获取去遮挡训练图像和对应的无遮挡训练图像之间的像素差。
具体地，根据自定义算法计算去遮挡训练图像和对应的无遮挡训练图像各个像素点之间的像素误差，得到去遮挡训练图像和对应的无遮挡训练图像之间的像素差。像素差可以是对各个像素点之间的像素误差进行加权求和得到的误差值。
在一个具体的实施例中，如像素差F的具体计算公式可以为：
其中，为训练图像对的数目，为第个无遮挡训练图像，为第个去遮挡训练图像。
步骤S316包括：
步骤S3162，根据对抗误差、特征差和像素差计算得到总误差。
具体地，根据自定义算法计算对抗误差、特征差和像素差的总误差，如根据各个模型对整个网络模型影响因子分配对应的权重，根据对抗误差、特征差和像素差对应的权重进行加权求和。
步骤S3164，当总误差不满足收敛条件时，根据对抗误差和像素差更新原始图像去遮挡模型的当前模型参数。
具体地，总误差不满足收敛条件是指总误差与预先设置的误差不匹配，如预先设置的误差为0.15，而计算得到的总误差等于0.2时，则不满足收敛条件。当总误差不满足收敛条件，根据对抗误差和像素差更新原始图像去遮挡模型的当前模型参数，是指根据对抗误差与目标输出对抗误差以及像素差与目标输出像素差的差别调整原始图像去遮挡模型的当前模型参数。
步骤S3166，根据对抗误差更新判别网络模型的参数直到总误差满足收敛条件。
具体地，根据对抗误差与目标输出对抗误差的差值更新判别网络模型的参数，根据更新的原始图像去遮挡模型的当前模型参数和判别网络模型的参数对遮挡训练图像进行学习，计算学习后得到对抗误差、特征差和像素差对应的总误差，对总误差是否满足收敛条件进行再次验证，当总误差满足收敛条件时，结束训练。
像素差是对真实无遮挡图像和图像去遮挡模型输出的去遮挡图像直接进行对比的结果，能够直观的反应两者的差别。根据像素差、对抗误差和特征差三个不同模型的误差共同确定对模型进行更新，从多个维度信息确定的模型参数，更为准确性，从而提高模型的精确度。
在一个实施例中，如图5所示，步骤S204包括：
步骤S2042，对待处理图像进行尺度变换生成第一中间图像。
具体地，对待处理图像进行尺度变换得到第一中间图像，第一中间图像可以是对待处理图像尺度放大后的图像，也可以是对待处理图像进行尺度缩小后的图像，对图像进行尺度放大还是缩小，以及缩放比例根据需求自定义设置。
步骤S206包括：
步骤S2062，对待处理图像进行特征提取，得到第一特征图，对第一中间图像进行特征提取，得到第二特征图，第一特征图与第二特征图的尺度相同，将第一特征图和第二特征图进行加权得到融合特征图。
具体地，对待处理图像采用第一特征提取算法进行特征提取，得到第一特征图，对第一中间图像采用第二特征提取算法进行特征提取，得到第二特征图，其中第一特征提取算法与第二特征提取算法不相同，其第一特征图与第二特征图的尺度一致。如待处理图像对应的第一特征图对应的尺度为30*30，则第二特征图对应的尺度也为30*30。根据自定义算法分别给第一特征图中各个特征值和第二特征图中各个特征值分配对应的权重，根据各个特征值对应的权重和两个特征图中各个特征值的对应关系进行加权求和，得到融合特征图。
在一个实施例中，如图6所示，已训练的图像去遮挡模型包括至少三个卷积层，步骤S206包括：
步骤S2064，通过已训练的图像去遮挡模型中的第一卷积层对待处理图像进行卷积运算，得到第一卷积特征图。
具体地，第一卷积层是指已训练的图像去遮挡模型其中一个卷积层，第一卷积层可以包括一个会多个子卷积层。卷积运算是指利用卷积核进行乘积的运算。经过卷积核对待处理图像进行卷积运算可以降低特征维度，不同的卷积窗口对同一个图像进行卷积后得到的不同特征图，具有不同的特征提取能力。
步骤S2066，通过已训练的图像去遮挡模型中的第二卷积层对与待处理图像对应的至少一个中间图像进行卷积运算，得到第二卷积特征图，对第一卷积特征图和第二卷积特征图进行特征融合，得到融合特征图。
具体地，第二卷积层是指已训练的图像去遮挡模型其中一个卷积层，第二卷积层可以包括一个会多个子卷积层。第二卷积层与第一卷积层的卷积核的个数和/或参数不一致，通过第二卷积层对待处理图像对应的一个或多个中间图像进行卷积运算，其中第二卷积层可以包括多个卷积层，采用对应的卷积层对对应的中间图像进行处理，得到各个中间图像对应的第二卷积特征图像。对第一卷积特征图和第二卷积特征图进行加权求和，得到对应的融合后的特征图。
步骤S208包括：
步骤S2082，将融合特征图输入已训练的图像去遮挡模型中的第三卷积层，通过第三卷积层对融合特征图进行卷积运算，得到当前残差图像。
具体地，将融合特征图输入已训练的图像去遮挡模型中的第三卷积层，其中其第三卷积层包括一层或多层子卷积层，每一层子卷积层的卷积核相同或不同，通过第三卷积层的卷积核对融合特征图进行卷积运算，得到当前残差图像。
在一个实施例中，步骤S312，包括
步骤S3122，将当前去遮挡训练图像和对应的当前无遮挡图像输入判别网络模型，得到当前去遮挡训练图像对应的第一识别概率和当前无遮挡图像的第二识别概率，根据第一识别概率和对应的第二识别概率进行计算，得到当前训练图对对应的对抗误差，计算训练图对集合中的各个训练图对对应的对抗误差，根据各个训练图对对应的对抗误差得到所述判别网络模型的对抗误差。
具体地，将当前去遮挡图像和对应的当前无遮挡图像输入判别网络模型，通过判别网络模型分别对当前去遮挡图像和对应的当前无遮挡图像进行识别，得到当前去遮挡图像的识别概率和对应的当前无遮挡图像的识别概率，将当前去遮挡图像的识别概率作为第一识别概率，和对应的当前无遮挡图像的识别概率作为第二识别概率。根据自定义算法对第一识别概率和第二识别概率进行计算得当前训练图像对对应的对抗误差，如直接对第一识别概率和第二识别概率进行求和得到当前训练图像对对应的对抗误差，或对第一识别概率和第二识别概率进行后处理，根据后处理结果得到当前训练图像对对应的对抗误差。采用与当前训练图像对对应的对抗误差相同的数据计算方法计算各个训练图像对对应的对抗误差，对得到的各个训练图像对对应的对抗误差进行加权求和得到判别网络模型的对抗误差。
在一个具体的实施例中，根据自定义算法对各个训练图像对对应的识别概率进行运算，如分别对各个训练图像对的各个图像对应的识别概率进行对数运算，得到各个训练图像对对应的对抗误差，对各个训练图像对对应的对抗误差进行加权求和，得到判别网络模型的对抗误差。计算判别网络模型对应的对抗误差E的具体公式如下所示：
其中，N表示去遮挡图像或无遮挡图像的数目，表示第n个无遮挡图像，表示第n个无遮挡图像的识别概率，表示第n个去遮挡图像的识别概率，表示第n个遮挡图像，表示与对应的去遮挡图像，是与对应的无遮挡图像。
在一个具体的实施例中，如图7所示，为一个去遮挡模型的整体结构图，包括图像去遮挡模型410、判别网络模型420和特征对比网络模型430，其中图像去遮挡模型410用于对输入的遮挡图像进行去遮挡处理，得到去遮挡图像，判别网络模型420用于对输入的图像进行类别判定，输出结果为0或1，输出为0时表示输入的图像为图像去遮挡模型410生成的图像，输出为1时表示输入图像为真实的无遮挡图像，特征对比网络模型430用于对图像去遮挡模型410输出的去遮挡图像和对应的无遮挡图像进行特征比对，输出结果为两个类型特征的误差。
以图像去遮挡模型410为网纹去除模型为例，模型的输入图像为网纹图像，输出图像为去网纹图像。图像去遮挡模型410将输入的网纹图像经过尺度变换，得到一个与网纹图像不同尺度的中间图像，如图8所示，网纹图像为G1，中间图像为G2，通过第一特征提取算法对网纹图像G1进行特征提取得到第一特征图，通过第二特征提取算法对中间图像为G2进行特征提取，得到第二特征图，其中第一特征图与第二特征图对应相加得到对应的融合特征图，对融合特征图进行一层或多层卷积运算，得到残差图像，通过网纹图像为G1减去残差图像得到去网纹图像。
判别网络420的输入图像为真实无网纹图像或图像去遮挡模型410输出的去网纹图像，输出结果为0或1，其中0表示去网纹图像，1表示真实无网纹图像。
特征比对网络模型430用于对图像去遮挡模型410输出的去网纹图像和对应的真实无网纹图像进行特征比对，输出结果为两个类型特征的误差。对由图像去网纹模型410、判别网络模型420和特征对比网络模型430组成的模型进行训练可以采用基于批梯度下降法(Mini-batches Learning)进行前向计算，得到由图像去网纹模型410输出的去网纹图像与真实无网纹图像的像素差，根据判别网络模型420计算得到的对抗网络误差和特征对比网络模型430计算的去网纹图像与真实无网纹图像的特征差，计算像素差、对抗网络误差和特征差的和，得到总误差，当总误差不满足模型收敛条件时，基于像素差和对抗网络误差通过Adam算法更新图像去网纹模型410的模型参数，基于对抗网络误差通过Adam算法更新判别网络模型420的参数，直到模型收敛。在训练由图像去网纹模型410、判别网络模型420和特征对比网络模型430组成的模型时可以采用端到端的训练方式进行。
在一个实施例中，如图9所示，提供了一种图像处理装置200，装置包括：
数据获取模块202，用于获取待处理图像，将待处理图像输入已训练的图像去遮挡模型。
尺度变换模块204，用于已训练的图像去遮挡模型生成与待处理图像不同尺度的至少一个中间图像。
特征融合模块206，用于已训练的图像去遮挡模型对待处理图像和至少一个中间图像进行特征提取，得到多个特征图，对各个特征图进行融合，得到融合特征图。
残差学习模块208，用于已训练的图像去遮挡模型根据已训练的模型参数和融合特征图生成当前残差图像，已训练的模型参数是通过对图像去遮挡模型采用残差学习训练生成的。
图像去遮挡模块210，用于已训练的图像去遮挡模型根据当前残差图像和待处理图像输出去遮挡图像。
在一个实施例中，如图10所示，上述图像处理装置200还包括：
训练数据获取模块302，用于获取训练图对集合，训练图对集合中的各个训练图对包括遮挡训练图像和对应的无遮挡训练图像。
第一尺度变换模块304，用于通过原始图像去遮挡模型生成与遮挡训练图像不同尺度的至少一个中间训练图像。
第一特征融合模块306，用于对遮挡训练图像和对应的多个中间训练图像进行特征提取，得到多个特征图，对同一遮挡训练图像对应的各个特征图进行融合，得到融合训练特征图。
残差学习训练模块308，用于根据当前模型参数和融合训练特征图生成残差训练图像。
第一图像去遮挡模块310，用于根据残差训练图像和对应的遮挡训练图像生成去遮挡训练图像。
判别模块312，用于将去遮挡训练图像或无遮挡训练图像输入判别网络模型，根据判别网络模型的判别结果，计算判别网络模型的对抗误差。
特征对比模块314，用于将去遮挡训练图像和对应的无遮挡训练图像输入特征对比网络模型，特征对比网络模型输出对应的特征差。
模型更新确定模块316，用于根据对抗误差和特征差调整原始图像去遮挡模型的当前模型参数和判别网络模型的参数，直到满足收敛条件，得到已训练的模型参数，根据已训练的模型参数得到已训练的图像去遮挡模型。
在一个实施例中，如图11所示，上述图像处理装置200还包括：
像素差获取模块209，用于获取去遮挡训练图像和对应的无遮挡训练图像之间的像素差。
模型更新确定模块210还用于根据对抗误差、特征差和像素差计算得到总误差，当总误差不满足收敛条件时，根据对抗误差和像素差更新原始图像去遮挡模型的当前模型参数，根据对抗误差更新判别网络模型的参数直到总误差满足收敛条件。
在一个实施例中，如图12所示，尺度变换模块204包括：
尺度变换单元2042，对待处理图像进行尺度变换生成第一中间图像。
特征融合模块206包括：
特征提取单元2062，用于对待处理图像进行特征提取，得到第一特征图，对第一中间图像进行特征提取，得到第二特征图，第一特征图与第二特征图的尺度相同。
特征融合单元2064，用于将第一特征图和第二特征图进行加权得到融合特征图。
在一个实施例中，如图13所示，特征融合模块206还包括：
第一特征提取单元2066，用于通过已训练的图像去遮挡模型中的第一卷积层对待处理图像进行卷积运算，得到第一卷积特征图，通过已训练的图像去遮挡模型中的第二卷积层对与待处理图像对应的至少一个中间图像进行卷积运算，得到第二卷积特征图。
第一特征融合单元2068，用于对第一卷积特征图和第二卷积特征图进行特征融合，得到融合后的特征图。
残差学习模块208还包括：
残差学习单元2082，用于将融合特征图输入已训练的图像去遮挡模型中的第三卷积层，通过第三卷积层对融合特征图进行卷积运算，得到当前残差图像。
在一个实施例中，如图14所示，判别模块312包括：
概率计算单元3122，用于将当前去遮挡训练图像和对应的当前无遮挡图像输入判别网络模型，得到当前去遮挡训练图像对应的第一识别概率和当前无遮挡图像的第二识别概率。
图像对对抗误差计算单元3124，用于根据第一识别概率和对应的第二识别概率进行运算，得到当前训练图对对应的对抗误差。
网络对抗误差计算单元3126，用于计算所述训练图对集合中的各个训练图对对应的对抗误差，根据各个训练图对对应的对抗误差得到所述判别网络模型的对抗误差。
图15示出了一个实施例中计算机设备的内部结构图。该计算机设备具体可以是图1中的终端110(或服务器120)。如图9所示，该计算机设备包括该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、输入装置和显示屏。其中，存储器包括非易失性存储介质和内存储器。该计算机设备的非易失性存储介质存储有操作系统，还可存储有计算机程序，该计算机程序被处理器执行时，可使得处理器实现图像处理方法。该内存储器中也可储存有计算机程序，该计算机程序被处理器执行时，可使得处理器执行图像处理方法。计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图15中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，本申请提供的图像处理装置可以实现为一种计算机程序的形式，计算机程序可在如图15所示的计算机设备上运行。计算机设备的存储器中可存储组成该图像处理装置的各个程序模块，比如，图9所示的数据获取模块202、尺度变换模块204、特征融合模块206、残差学习模块208和图像去遮挡模块210。各个程序模块构成的计算机程序使得处理器执行本说明书中描述的本申请各个实施例的图像处理方法中的步骤。
例如，图15所示的计算机设备可以通过如图9所示的图像处理装置中的数据获取模块202执行获取待处理图像，将待处理图像输入已训练的图像去遮挡模型。计算机设备可通过尺度变换模块204执行已训练的图像去遮挡模型生成与待处理图像不同尺度的至少一个中间图像。计算机设备可通过特征融合模块206执行已训练的图像去遮挡模型对待处理图像和至少一个中间图像进行特征提取，得到多个特征图，对各个特征图进行融合，得到融合特征图。计算机设备可通过残差学习模块208执行已训练的图像去遮挡模型根据已训练的模型参数和融合特征图生成当前残差图像，已训练的模型参数是通过对图像去遮挡模型采用残差学习训练生成的。计算机设备可通过图像去遮挡模块210执行已训练的图像去遮挡模型根据当前残差图像和待处理图像输出去遮挡图像。
在一个实施例中，提供了计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行以下步骤：获取待处理图像，将待处理图像输入已训练的图像去遮挡模型，已训练的图像去遮挡模型生成与待处理图像不同尺度的至少一个中间图像，已训练的图像去遮挡模型对待处理图像和至少一个中间图像进行特征提取，得到多个特征图，对各个特征图进行融合，得到融合特征图，已训练的图像去遮挡模型根据已训练的模型参数和融合特征图生成当前残差图像，已训练的模型参数是通过对图像去遮挡模型采用残差学习训练生成的，已训练的图像去遮挡模型根据当前残差图像和待处理图像输出去遮挡图像。
在一个实施例中，所述计算机程序还使得所述处理器执行以下步骤：获取训练图对集合，训练图对集合中的各个训练图对包括遮挡训练图像和对应的无遮挡训练图像，通过原始图像去遮挡模型生成与遮挡训练图像不同尺度的至少一个中间训练图像，对遮挡训练图像和对应的多个中间训练图像进行特征提取，得到多个特征图，对同一遮挡训练图像对应的各个特征图进行融合，得到融合训练特征图，根据当前模型参数和融合训练特征图生成残差训练图像，根据残差训练图像和对应的遮挡训练图像生成去遮挡训练图像，将去遮挡训练图像和对应的无遮挡训练图像输入判别网络模型，根据判别网络模型的判别结果，计算判别网络模型的对抗误差，将去遮挡训练图像和对应的无遮挡训练图像输入特征对比网络模型，特征对比网络模型输出对应的特征差，根据对抗误差和特征差调整原始图像去遮挡模型的当前模型参数和判别网络模型的参数，直到满足收敛条件，得到已训练的模型参数，根据已训练的模型参数得到已训练的图像去遮挡模型。
在一个实施例中，所述计算机程序还使得所述处理器执行以下步骤：获取去遮挡训练图像和对应的无遮挡训练图像之间的像素差，根据对抗误差和特征差调整图像去遮挡模型的当前模型参数和判别网络模型的参数，直到满足收敛条件，得到已训练的模型参数，包括：根据对抗误差、特征差和像素差计算得到总误差，当总误差不满足收敛条件时，根据对抗误差和像素差更新原始图像去遮挡模型的当前模型参数，根据对抗误差更新判别网络模型的参数直到总误差满足收敛条件。
在一个实施例中，已训练的图像去遮挡模型生成与待处理图像不同尺度的至少一个中间图像，包括：对待处理图像进行尺度变换生成第一中间图像，已训练的图像去遮挡模型对待处理图像和对应的至少一个中间图像进行特征提取，得到多个特征图，对各个特征图进行融合，得到融合特征图，包括：对待处理图像进行特征提取，得到第一特征图，对第一中间图像进行特征提取，得到第二特征图，第一特征图与第二特征图的尺度相同，将第一特征图和第二特征图进行加权得到融合特征图。
在一个实施例中，已训练的图像去遮挡模型包括至少三个卷积层，已训练的图像去遮挡模型对待处理图像和至少一个中间图像进行特征提取，得到多个特征图，对各个特征图进行融合，得到融合特征图，包括：通过已训练的图像去遮挡模型中的第一卷积层对待处理图像进行卷积运算，得到第一卷积特征图，通过已训练的图像去遮挡模型中的第二卷积层对与待处理图像对应的至少一个中间图像进行卷积运算，得到第二卷积特征图，对第一卷积特征图和第二卷积特征图进行特征融合，得到融合后的特征图，已训练的图像去遮挡模型根据已训练的模型参数和融合特征图生成当前残差图像，包括：将融合特征图输入已训练的图像去遮挡模型中的第三卷积层，通过第三卷积层对融合特征图进行卷积运算，得到当前残差图像。
在一个实施例中，将去遮挡训练图像和对应的无遮挡训练图像输入判别网络模型，根据判别网络模型的判别结果，计算判别网络模型的对抗误差，包括：将当前去遮挡训练图像和对应的当前无遮挡图像输入判别网络模型，得到当前去遮挡训练图像对应的第一识别概率和当前无遮挡图像的第二识别概率，根据第一识别概率和对应的第二识别概率进行运算，得到当前训练图对对应的对抗误差，计算所述训练图对集合中的各个训练图对对应的对抗误差，根据各个训练图对对应的对抗误差得到所述判别网络模型的对抗误差。
在一个实施例中，待处理图像为包含遮挡物的遮挡图像，遮挡物包括网纹、水印、噪点中的至少一种。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行以下步骤：获取待处理图像，将待处理图像输入已训练的图像去遮挡模型，已训练的图像去遮挡模型生成与待处理图像不同尺度的至少一个中间图像，已训练的图像去遮挡模型对待处理图像和至少一个中间图像进行特征提取，得到多个特征图，对各个特征图进行融合，得到融合特征图，已训练的图像去遮挡模型根据已训练的模型参数和融合特征图生成当前残差图像，已训练的模型参数是通过对图像去遮挡模型采用残差学习训练生成的，已训练的图像去遮挡模型根据当前残差图像和待处理图像输出去遮挡图像。
在一个实施例中，所述计算机程序还使得所述处理器执行以下步骤：获取训练图对集合，训练图对集合中的各个训练图对包括遮挡训练图像和对应的无遮挡训练图像，通过原始图像去遮挡模型生成与遮挡训练图像不同尺度的至少一个中间训练图像，对遮挡训练图像和对应的多个中间训练图像进行特征提取，得到多个特征图，对同一遮挡训练图像对应的各个特征图进行融合，得到融合训练特征图，根据当前模型参数和融合训练特征图生成残差训练图像，根据残差训练图像和对应的遮挡训练图像生成去遮挡训练图像，将去遮挡训练图像和对应的无遮挡训练图像输入判别网络模型，根据判别网络模型的判别结果，计算判别网络模型的对抗误差，将去遮挡训练图像和对应的无遮挡训练图像输入特征对比网络模型，特征对比网络模型输出对应的特征差，根据对抗误差和特征差调整原始图像去遮挡模型的当前模型参数和判别网络模型的参数，直到满足收敛条件，得到已训练的模型参数，根据已训练的模型参数得到已训练的图像去遮挡模型。
在一个实施例中，所述计算机程序还使得所述处理器执行以下步骤：获取去遮挡训练图像和对应的无遮挡训练图像之间的像素差，根据对抗误差和特征差调整图像去遮挡模型的当前模型参数和判别网络模型的参数，直到满足收敛条件，得到已训练的模型参数，包括：根据对抗误差、特征差和像素差计算得到总误差，当总误差不满足收敛条件时，根据对抗误差和像素差更新原始图像去遮挡模型的当前模型参数，根据对抗误差更新判别网络模型的参数直到总误差满足收敛条件。
在一个实施例中，已训练的图像去遮挡模型生成与待处理图像不同尺度的至少一个中间图像，包括：对待处理图像进行尺度变换生成第一中间图像，已训练的图像去遮挡模型对待处理图像和至少一个中间图像进行特征提取，得到多个特征图，对各个特征图进行融合，得到融合特征图，包括：对待处理图像进行特征提取，得到第一特征图，对第一中间图像进行特征提取，得到第二特征图，第一特征图与第二特征图的尺度相同，将第一特征图和第二特征图进行加权得到融合特征图。
在一个实施例中，已训练的图像去遮挡模型包括至少三个卷积层，已训练的图像去遮挡模型对待处理图像和至少一个中间图像进行特征提取，得到多个特征图，对各个特征图进行融合，得到融合特征图，包括：通过已训练的图像去遮挡模型中的第一卷积层对待处理图像进行卷积运算，得到第一卷积特征图，通过已训练的图像去遮挡模型中的第二卷积层对与待处理图像对应的至少一个中间图像进行卷积运算，得到第二卷积特征图，对第一卷积特征图和第二卷积特征图进行特征融合，得到融合后的特征图，已训练的图像去遮挡模型根据已训练的模型参数和融合特征图生成当前残差图像，包括：将融合特征图输入已训练的图像去遮挡模型中的第三卷积层，通过第三卷积层对融合特征图进行卷积运算，得到当前残差图像。
在一个实施例中，将去遮挡训练图像和对应的无遮挡训练图像输入判别网络模型，根据判别网络模型的判别结果，计算判别网络模型的对抗误差，包括：将当前去遮挡训练图像和对应的当前无遮挡图像输入判别网络模型，得到当前去遮挡训练图像对应的第一识别概率和当前无遮挡图像的第二识别概率，根据第一识别概率和对应的第二识别概率进行运算，得到当前训练图对对应的对抗误差，计算所述训练图对集合中的各个训练图对对应的对抗误差，根据各个训练图对对应的对抗误差得到所述判别网络模型的对抗误差。
在一个实施例中，待处理图像为包含遮挡物的遮挡图像，遮挡物包括网纹、水印、噪点中的至少一种。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (15)

1.一种图像处理方法，包括：
获取待处理图像，将所述待处理图像输入已训练的图像去遮挡模型；
所述已训练的图像去遮挡模型生成与所述待处理图像不同尺度的至少一个中间图像，中间图像是对所述待处理图像直接进行尺度变换得到的变换图像，尺度变换包括将尺度进行放大或缩小中的至少一种，尺度缩小或放大是减少或增加图像的像素点；
所述已训练的图像去遮挡模型分别对所述待处理图像和同一图像对应的至少一个中间图像进行特征提取，得到多个特征图，对各个所述特征图进行融合，得到融合特征图；
所述已训练的图像去遮挡模型根据已训练的模型参数和所述融合特征图生成当前残差图像，所述已训练的模型参数是通过对所述图像去遮挡模型采用残差学习训练生成的，残差学习是指学习遮挡图像中的遮挡物，当遮挡图像为网纹图像时，残差学习是指学习图像中的网纹特征，得到的残差图像为网纹图像；
所述已训练的图像去遮挡模型根据所述当前残差图像和所述待处理图像输出去遮挡图像。
2.根据权利要求1所述的方法，其特征在于，已训练的图像去遮挡模型的生成步骤包括：
获取训练图对集合，所述训练图对集合中的各个训练图对包括遮挡训练图像和对应的无遮挡训练图像；
通过原始图像去遮挡模型生成与所述遮挡训练图像不同尺度的至少一个中间训练图像；
对所述遮挡训练图像和对应的多个中间训练图像进行特征提取，得到多个特征图，对同一遮挡训练图像对应的各个特征图进行融合，得到融合训练特征图；
根据当前模型参数和所述融合训练特征图生成残差训练图像；
根据所述残差训练图像和对应的所述遮挡训练图像生成去遮挡训练图像；
将所述去遮挡训练图像和对应的所述无遮挡训练图像输入判别网络模型，根据所述判别网络模型的判别结果，计算所述判别网络模型的对抗误差；
将所述去遮挡训练图像和对应的所述无遮挡训练图像输入特征对比网络模型，所述特征对比网络模型输出对应的特征差；
根据所述对抗误差和所述特征差调整所述原始图像去遮挡模型的所述当前模型参数和所述判别网络模型的参数，直到满足收敛条件，得到所述已训练的模型参数，根据所述已训练的模型参数得到所述已训练的图像去遮挡模型。
3.根据权利要求2所述的方法，其特征在于，所述已训练的图像去遮挡模型的生成步骤还包括：
获取去遮挡训练图像和对应的无遮挡训练图像之间的像素差；
所述根据所述对抗误差和所述特征差调整所述图像去遮挡模型的所述当前模型参数和所述判别网络模型的参数，直到满足收敛条件，得到所述已训练的模型参数，包括：
根据所述对抗误差、所述特征差和所述像素差计算得到总误差；
当所述总误差不满足收敛条件时，根据所述对抗误差和所述像素差更新所述原始图像去遮挡模型的所述当前模型参数；
根据所述对抗误差更新所述判别网络模型的参数直到所述总误差满足收敛条件。
4.根据权利要求1所述的方法，其特征在于，所述已训练的图像去遮挡模型生成与所述待处理图像不同尺度的至少一个中间图像，包括：
对所述待处理图像进行尺度变换生成第一中间图像；
所述已训练的图像去遮挡模型对所述待处理图像和至少一个中间图像进行特征提取，得到多个特征图，对各个所述特征图进行融合，得到融合特征图，包括：
对所述待处理图像进行特征提取，得到第一特征图；
对所述第一中间图像进行特征提取，得到第二特征图，所述第一特征图与所述第二特征图的尺度相同；
将所述第一特征图和所述第二特征图进行加权得到所述融合特征图。
5.根据权利要求1所述的方法，其特征在于，所述已训练的图像去遮挡模型包括至少三个卷积层，所述已训练的图像去遮挡模型对所述待处理图像和至少一个中间图像进行特征提取，得到多个特征图，对各个所述特征图进行融合，得到融合特征图，包括：
通过所述已训练的图像去遮挡模型中的第一卷积层对所述待处理图像进行卷积运算，得到第一卷积特征图；
通过所述已训练的图像去遮挡模型中的第二卷积层对与所述待处理图像对应的至少一个中间图像进行卷积运算，得到第二卷积特征图；
对所述第一卷积特征图和所述第二卷积特征图进行特征融合，得到所述融合特征图；
所述已训练的图像去遮挡模型根据已训练的模型参数和所述融合特征图生成当前残差图像，包括：
将所述融合特征图输入所述已训练的图像去遮挡模型中的第三卷积层，通过所述第三卷积层对所述融合特征图进行卷积运算，得到所述当前残差图像。
6.根据权利要求2所述的方法，其特征在于，所述将所述去遮挡训练图像和对应的所述无遮挡训练图像输入判别网络模型，根据所述判别网络模型的判别结果，计算所述判别网络模型的对抗误差，包括：
将当前去遮挡训练图像和对应的当前无遮挡图像输入所述判别网络模型，得到所述当前去遮挡训练图像对应的第一识别概率和所述当前无遮挡图像的第二识别概率；
根据所述第一识别概率和对应的第二识别概率进行计算，得到当前训练图对对应的对抗误差；
计算所述训练图对集合中的各个训练图对对应的对抗误差，根据各个训练图对对应的对抗误差得到所述判别网络模型的对抗误差。
7.根据权利要求1所述的方法，其特征在于，所述待处理图像为包含遮挡物的遮挡图像，所述遮挡物包括网纹、水印、噪点中的至少一种。
8.一种图像处理装置，其特征在于，所述装置包括：
数据获取模块，用于获取待处理图像，将所述待处理图像输入已训练的图像去遮挡模型；
尺度变换模块，用于所述已训练的图像去遮挡模型生成与所述待处理图像不同尺度的至少一个中间图像，中间图像是对所述待处理图像直接进行尺度变换得到的变换图像，尺度变换包括将尺度进行放大或缩小中的至少一种，尺度缩小或放大是减少或增加图像的像素点；
特征融合模块，用于所述已训练的图像去遮挡模型分别对所述待处理图像和同一图像对应的至少一个中间图像进行特征提取，得到多个特征图，对各个所述特征图进行融合，得到融合特征图；
残差学习模块，用于所述已训练的图像去遮挡模型根据已训练的模型参数和所述融合特征图生成当前残差图像，所述已训练的模型参数是通过对所述图像去遮挡模型采用残差学习训练生成的，残差学习是指学习遮挡图像中的遮挡物，当遮挡图像为网纹图像时，残差学习是指学习图像中的网纹特征，得到的残差图像为网纹图像；
图像去遮挡模块，用于所述已训练的图像去遮挡模型根据所述当前残差图像和所述待处理图像输出去遮挡图像。
9.根据权利要求8所述的装置，其特征在于，所述装置还包括：
训练数据获取模块，用于获取训练图对集合，所述训练图对集合中的各个训练图对包括遮挡训练图像和对应的无遮挡训练图像；
第一尺度变换模块，用于通过原始图像去遮挡模型生成与所述遮挡训练图像不同尺度的至少一个中间训练图像；
第一特征融合模块，用于对所述遮挡训练图像和对应的多个中间训练图像进行特征提取，得到多个特征图，对同一遮挡训练图像对应的各个特征图进行融合，得到融合训练特征图；
残差学习训练模块，用于根据当前模型参数和所述融合训练特征图生成残差训练图像；
第一图像去遮挡模块，用于根据所述残差训练图像和对应的所述遮挡训练图像生成去遮挡训练图像；
判别模块，用于将所述去遮挡训练图像和对应的无遮挡训练图像输入判别网络模型，根据所述判别网络模型的判别结果，计算所述判别网络模型的对抗误差；
特征对比模块，用于将所述去遮挡训练图像和对应的无遮挡训练图像输入特征对比网络模型，所述特征对比网络模型输出对应的特征差；
模型更新确定模块，用于根据所述对抗误差和所述特征差调整所述原始图像去遮挡模型的所述当前模型参数和所述判别网络模型的参数，直到满足收敛条件，得到所述已训练的模型参数，根据所述已训练的模型参数得到所述已训练的图像去遮挡模型。
10.根据权利要求9所述的装置，其特征在于，所述装置还包括：
像素差获取模块，用于获取去遮挡训练图像和对应的无遮挡训练图像之间的像素差；
模型更新确定模块还用于根据所述对抗误差、所述特征差和所述像素差计算得到总误差，当所述总误差不满足收敛条件时，根据所述对抗误差和所述像素差更新所述原始图像去遮挡模型的所述当前模型参数，根据所述对抗误差更新所述判别网络模型的参数直到所述总误差满足收敛条件。
11.根据权利要求9所述的装置，其特征在于，所述尺度变换模块包括：
尺度变换单元，对所述待处理图像进行尺度变换生成第一中间图像；
所述特征融合模块包括：
特征提取单元，用于对所述待处理图像进行特征提取，得到第一特征图，对所述第一中间图像进行特征提取，得到第二特征图，所述第一特征图与所述第二特征图的尺度相同；
特征融合单元，用于将所述第一特征图和所述第二特征图进行加权得到所述融合特征图。
12.根据权利要求11所述的装置，其特征在于，所述特征融合模块还包括：
第一特征提取单元，用于通过所述已训练的图像去遮挡模型中的第一卷积层对所述待处理图像进行卷积运算，得到第一卷积特征图，通过所述已训练的图像去遮挡模型中的第二卷积层对与所述待处理图像对应的至少一个中间图像进行卷积运算，得到第二卷积特征图；
第一特征融合单元，用于对所述第一卷积特征图和所述第二卷积特征图进行特征融合，得到所述融合特征图；
所述残差学习模块还用于将所述融合特征图输入所述已训练的图像去遮挡模型中的第三卷积层，通过所述第三卷积层对所述融合特征图进行卷积运算，得到所述当前残差图像。
13.根据权利要求8所述的装置，其特征在于，判别模块还用于将当前去遮挡训练图像和对应的当前无遮挡图像输入判别网络模型，得到所述当前去遮挡训练图像对应的第一识别概率和所述当前无遮挡图像的第二识别概率，根据所述第一识别概率和对应的第二识别概率进行运算，得到当前训练图对对应的对抗误差，计算所述训练图对集合中的各个训练图对对应的对抗误差，根据各个训练图对对应的对抗误差得到所述判别网络模型的对抗误差。
14.一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如权利要求1至7中任一项所述方法的步骤。
15.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求1至7中任一项所述方法的步骤。
CN201810493278.5A 2018-05-22 2018-05-22 图像处理方法、装置、计算机设备和存储介质 Active CN108805828B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810493278.5A CN108805828B (zh) 2018-05-22 2018-05-22 图像处理方法、装置、计算机设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810493278.5A CN108805828B (zh) 2018-05-22 2018-05-22 图像处理方法、装置、计算机设备和存储介质

Publications (2)

Publication Number Publication Date
CN108805828A CN108805828A (zh) 2018-11-13
CN108805828B true CN108805828B (zh) 2023-08-04

Family

ID=64091319

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810493278.5A Active CN108805828B (zh) 2018-05-22 2018-05-22 图像处理方法、装置、计算机设备和存储介质

Country Status (1)

Country Link
CN (1) CN108805828B (zh)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111626400B (zh) * 2019-02-28 2024-03-15 佳能株式会社 多层神经网络模型的训练和应用方法、装置及存储介质
JP7218215B2 (ja) * 2019-03-07 2023-02-06 株式会社日立製作所 画像診断装置、画像処理方法及びプログラム
CN111753601B (zh) * 2019-03-29 2024-04-12 华为技术有限公司 一种图像处理的方法、装置以及存储介质
CN110222753B (zh) * 2019-05-28 2022-07-29 北京金山数字娱乐科技有限公司 字符识别验证方法、系统、计算机设备、存储介质和芯片
CN112016577A (zh) * 2019-05-30 2020-12-01 华为技术有限公司 图像处理方法和装置
CN110532897B (zh) * 2019-08-07 2022-01-04 北京科技大学 零部件图像识别的方法和装置
CN113033582B (zh) * 2019-12-09 2023-09-26 杭州海康威视数字技术股份有限公司 模型训练方法、特征提取方法及装置
CN111292262B (zh) * 2020-01-19 2023-10-13 腾讯科技（深圳）有限公司 图像处理方法、装置、电子设备以及存储介质
CN111339897B (zh) * 2020-02-21 2023-07-21 腾讯科技（深圳）有限公司 活体识别方法、装置、计算机设备和存储介质
CN111325667B (zh) * 2020-03-09 2023-05-30 Oppo广东移动通信有限公司 图像处理方法及相关产品
CN111582200B (zh) * 2020-05-12 2023-11-21 北京邮电大学 人体姿态估计方法、装置、电子设备及介质
CN111783949A (zh) * 2020-06-24 2020-10-16 北京百度网讯科技有限公司 基于迁移学习的深度神经网络的训练方法和装置
CN111915545B (zh) * 2020-08-06 2022-07-05 中北大学 一种多波段图像的自监督学习融合方法
CN112950481B (zh) * 2021-04-22 2022-12-06 上海大学 一种基于图像拼接网络的水花遮挡图像数据集采集方法
CN114266946A (zh) * 2021-12-31 2022-04-01 智慧眼科技股份有限公司 遮挡条件下的特征识别方法、装置、计算机设备及介质

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10528846B2 (en) * 2016-11-14 2020-01-07 Samsung Electronics Co., Ltd. Method and apparatus for analyzing facial image
CN106709875B (zh) * 2016-12-30 2020-02-18 北京工业大学 一种基于联合深度网络的压缩低分辨率图像复原方法
CN106910176B (zh) * 2017-03-02 2019-09-13 中科视拓（北京）科技有限公司 一种基于深度学习的人脸图像去遮挡方法
CN107609598A (zh) * 2017-09-27 2018-01-19 武汉斗鱼网络科技有限公司 图像鉴别模型训练方法、装置及可读存储介质
CN107993210A (zh) * 2017-11-30 2018-05-04 北京小米移动软件有限公司 图像修复方法、装置及计算机可读存储介质
CN107977932B (zh) * 2017-12-28 2021-04-23 北京工业大学 一种基于可鉴别属性约束生成对抗网络的人脸图像超分辨率重建方法

Also Published As

Publication number Publication date
CN108805828A (zh) 2018-11-13

Similar Documents

Publication Publication Date Title
CN108805828B (zh) 图像处理方法、装置、计算机设备和存储介质
CN110047069B (zh) 一种图像检测装置
CN107529650B (zh) 闭环检测方法、装置及计算机设备
CN109829506B (zh) 图像处理方法、装置、电子设备和计算机存储介质
CN110516541B (zh) 文本定位方法、装置、计算机可读存储介质和计算机设备
CN108171663B (zh) 基于特征图最近邻替换的卷积神经网络的图像填充系统
CN110909595B (zh) 面部动作识别模型训练方法、面部动作识别方法
CN111340195A (zh) 网络模型的训练方法及装置、图像处理方法及存储介质
CN111783779B (zh) 图像处理方法、装置和计算机可读存储介质
CN111860582B (zh) 图像分类模型构建方法、装置、计算机设备和存储介质
CN112733652B (zh) 图像目标识别方法、装置、计算机设备及可读存储介质
CN112241646A (zh) 车道线识别方法、装置、计算机设备和存储介质
CN113421276A (zh) 一种图像处理方法、装置及存储介质
CN111652245B (zh) 车辆轮廓检测方法、装置、计算机设备及存储介质
CN115605878A (zh) 使用基于自注意力的神经网络处理图像
CN111666974A (zh) 图像匹配方法、装置、计算机设备及存储介质
CN114820363A (zh) 图像处理方法和装置
CN111242228A (zh) 高光谱图像分类方法、装置、设备及存储介质
CN113496472A (zh) 图像去雾模型构建、道路图像去雾方法、装置及车辆
CN115861044B (zh) 基于生成对抗网络的复杂云层背景仿真方法、装置和设备
Luo et al. Piecewise linear regression-based single image super-resolution via Hadamard transform
CN110084816B (zh) 物体分割方法、装置、计算机可读存储介质和计算机设备
CN117037244A (zh) 人脸安全检测方法、装置、计算机设备和存储介质
CN111598100A (zh) 车架号识别方法、装置、计算机设备和存储介质
CN111488888B (zh) 图像特征提取方法以及人脸特征生成设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant