CN114758136B - 目标去除模型建立方法、装置及可读存储介质 - Google Patents

目标去除模型建立方法、装置及可读存储介质 Download PDF

Info

Publication number
CN114758136B
CN114758136B CN202210660752.5A CN202210660752A CN114758136B CN 114758136 B CN114758136 B CN 114758136B CN 202210660752 A CN202210660752 A CN 202210660752A CN 114758136 B CN114758136 B CN 114758136B
Authority
CN
China
Prior art keywords
target
neural network
image
removal
binary mask
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210660752.5A
Other languages
English (en)
Other versions
CN114758136A (zh
Inventor
高思斌
范晓
杨作兴
艾国
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen MicroBT Electronics Technology Co Ltd
Original Assignee
Shenzhen MicroBT Electronics Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen MicroBT Electronics Technology Co Ltd filed Critical Shenzhen MicroBT Electronics Technology Co Ltd
Priority to CN202210660752.5A priority Critical patent/CN114758136B/zh
Publication of CN114758136A publication Critical patent/CN114758136A/zh
Application granted granted Critical
Publication of CN114758136B publication Critical patent/CN114758136B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例提出目标去除模型建立方法、装置及可读存储介质。方法包括：将各原始图像分别输入已训练好的目标分割神经网络，将得到的二值掩膜预测图像和对应的原始图像输入待训练的第一目标去除神经网络，将得到的目标去除粗略图像和对应的二值掩膜预测图像输入待训练的第二目标去除神经网络，将得到的目标去除精细图像和对应的标准图像输入待训练的判别器神经网络进行目标去除判别处理；调整第一目标去除神经网络、第二目标去除神经网络和判别器神经网络的参数，直至收敛，将收敛时的目标分割神经网络、第一目标去除神经网络和第二目标去除神经网络构成的模型作为最终使用的目标去除模型。本发明实施例提高了目标去除的精度。

Description

目标去除模型建立方法、装置及可读存储介质
技术领域
本发明涉及图像处理技术领域，尤其涉及目标去除模型建立方法、装置及可读存储介质。
背景技术
在实际应用中，若图像中存在特定目标如：敏感标志物、水印、商标等，需要将这些目标去除。
现有的目标去除方法为：S1，先采集图像数据和制作目标移除的Mask掩码图，再制作超分辨图像训练数据集和制作图像修复训练数据集；S2，设计图像超分辨算法模型，并使用步骤S1的制作的超分辨图像训练数据集来训练超分辨算法模型；S3，设计图像修复算法模型，并使用步骤S1的制作的图像修复训练数据集来训练图像修复算法模型；S4，根据步骤S2及步骤S3设计的图像超分辨算法模型和图像修复算法模型来构建图像修复推导框架，然后输入待修复图像和Mask掩码图到所述图像修复推导框架进行计算，得到修复后的图像。这种方法的缺点是：只针对去除水印等相似目标，应用场景受限；且移除效果不佳、局部细节不够逼真。
发明内容
本发明实施例提出目标去除模型建立方法、装置及可读存储介质，以提高目标去除的精度。
本发明实施例的技术方案是这样实现的：
一种目标去除模型建立方法，该方法包括：
获取原始图像集，该原始图像集中包含多帧原始图像，每帧原始图像中包含至少一个目标；
获取每帧原始图像分别对应的不包含目标的标准图像，得到原始图像集对应的标准图像集；
将原始图像集中的各原始图像分别输入已训练好的目标分割神经网络进行目标和背景的分割，得到对应的二值掩膜预测图像；
将二值掩膜预测图像和对应的原始图像输入待训练的第一目标去除神经网络进行目标去除处理，得到对应的目标去除粗略图像；
将目标去除粗略图像和对应的二值掩膜预测图像输入待训练的第二目标去除神经网络进行目标去除处理，得到对应的目标去除精细图像；
将目标去除精细图像和对应的标准图像输入待训练的判别器神经网络进行目标去除判别处理，得到目标去除判别结果；
调整所述目标分割神经网络、第一目标去除神经网络、第二目标去除神经网络和判别器神经网络的参数，直至收敛，将收敛时的目标分割神经网络、第一目标去除神经网络、第二目标去除神经网络、和判别器神经网络构成的模型作为最终使用的目标去除模型。
所述获取原始图像集之后、所述将原始图像集中的各原始图像分别输入已训练好的目标分割神经网络进行目标分割处理之前，进一步包括：
分别对每帧原始图像中的目标和背景进行二值掩膜处理，得到原始图像集对应的二值掩膜标注图像集；
将原始图像集中的各原始图像分别输入待训练的目标分割神经网络进行目标分割处理；
根据待训练的目标分割神经网络输出的二值掩膜预测图像和对应的二值掩膜标注图像，计算第一损失函数值；
根据第一损失函数值调整待训练的目标分割神经网络的参数，直至目标分割神经网络收敛。
所述根据待训练的目标分割神经网络输出的二值掩膜预测图像和对应的二值掩膜标注图像，计算第一损失函数值，包括：
根据待训练的目标分割神经网络输出的二值掩膜预测图像和对应的二值掩膜标注图像，计算所述目标分割神经网络的像素角度的损失函数值；
计算待训练的目标分割神经网络输出的二值掩膜预测图像和对应的二值掩膜标注图像的局部相似度；
计算待训练的目标分割神经网络输出的二值掩膜预测图像和对应的二值掩膜标注图像的整体相似度；
对所述目标分割神经网络的像素角度的损失函数值、所述局部相似度和所述整体相似度进行加权求和计算，得到第一损失函数值。
所述根据待训练的目标分割神经网络输出的二值掩膜预测图像和对应的二值掩膜标注图像，计算所述目标分割神经网络的像素角度的损失函数值，包括：
计算：
Figure 55216DEST_PATH_IMAGE001
其中，l pixel 为所述目标分割神经网络的像素角度的损失函数值，P(a,b)为待训练的目标分割神经网络输出的二值掩膜预测图像上的像素点(a,b)的像素值，a、b分别为像素点的纵坐标、横坐标，L(a,b)为对应的二值掩膜标注图像上的像素点(a,b)的像素值，ln为自然对数运算符，H、W分别为待训练的目标分割神经网络输出的二值掩膜预测图像和对应的二值掩膜标注图像的高度和宽度，H、W的单位为像素，α和γ为预设超参数；
所述计算待训练的目标分割神经网络输出的二值掩膜预测图像和对应的二值掩膜标注图像的局部相似度，包括：
计算：
Figure 796645DEST_PATH_IMAGE002
其中，l ssim 为待训练的目标分割神经网络输出的二值掩膜预测图像和对应的二值掩膜标注图像的局部相似度；I为分别在二值掩膜预测图像和二值掩膜标注图像上滑动的滑动窗的总数，i为滑动窗的序号；µ x i 为待训练的目标分割神经网络输出的二值掩膜预测图像中的第i个滑动窗内所有像素点的像素值均值，µ y i 为对应的二值掩膜标注图像中的第i个滑动窗内所有像素点的像素值均值；σ x i 为待训练的目标分割神经网络输出的二值掩膜预测图像中的第i个滑动窗内所有像素点的像素值方差，σ y i 为对应的二值掩膜标注图像中的第i个滑动窗内所有像素点的像素值方差；σ xy i 表示待训练的目标分割神经网络输出的二值掩膜预测图像和对应的二值掩膜标注图像中的第i个滑动窗内所有像素点的像素值协方差；C 1和C 2为预设常数；
所述计算待训练的目标分割神经网络输出的二值掩膜预测图像和对应的二值掩膜标注图像的整体相似度，包括：
计算
Figure 366166DEST_PATH_IMAGE003
其中，l iou 为待训练的目标分割神经网络输出的二值掩膜预测图像和对应的二值掩膜标注图像的整体相似度，P(a,b)为待训练的目标分割神经网络输出的二值掩膜预测图像上的像素点(a,b)的像素值，a、b分别为像素点的纵坐标、横坐标，L(a,b)为对应的二值掩膜标注图像上的像素点(a,b)的像素值，H、W分别为待训练的目标分割神经网络输出的二值掩膜预测图像和对应的二值掩膜标注图像的高度和宽度，H、W的单位为像素。
所述得到对应的目标去除粗略图像之后、所述调整所述第一目标去除神经网络、第二目标去除神经网络和判别器神经网络的参数之前，进一步包括：
根据目标去除粗略图像和对应的标准图像，计算第二损失函数值；
所述得到对应的目标去除精细图像之后、所述调整所述第一目标去除神经网络、第二目标去除神经网络和判别器神经网络的参数之前，进一步包括：
根据目标去除精细图像和对应的标准图像，计算第三损失函数值；
所述得到目标去除判别结果之后、所述调整所述第一目标去除神经网络、第二目标去除神经网络和判别器神经网络的参数之前，进一步包括：
根据目标去除精细图像和对应的标准图像，计算第四损失函数值；
所述调整所述第一目标去除神经网络、第二目标去除神经网络和判别器神经网络的参数，包括：
根据根据第二损失函数值调整第一目标去除神经网络的参数，根据第三损失函数值调整第二目标去除神经网络的参数，根据第四损失函数值调整判别器神经网络的参数。
所述根据目标去除粗略图像和对应的标准图像，计算第二损失函数值，包括：
根据目标去除粗略图像和对应的标准图像，计算第一目标去除神经网络的L1损失函数值、语义损失函数值和风格损失函数值；
对所述L1损失函数值、所述语义损失函数值和所述风格损失函数值进行加权求和计算，得到第二损失函数值。
所述根据目标去除粗略图像和对应的标准图像，计算第一目标去除神经网络的L1损失函数值、语义损失函数值和风格损失函数值，包括：
计算：
Figure 188760DEST_PATH_IMAGE004
Figure 894548DEST_PATH_IMAGE005
Figure 809807DEST_PATH_IMAGE006
其中，l l1为所述L1损失函数值，l content 为所述语义损失函数值，l style 为所述风格损失函数值，H、W和C分别为目标去除粗略图像和标准图像的高度、宽度和通道数，P o 为目标去除粗略图像的所有像素点的像素值构成的向量，L o 为标准图像的所有像素点的像素值构成的向量；|| ||1为1范数运算符；f i P 、f i L 为分别将P o 、L o 输入预先训练好的分类网络得到的输出特征，N为f i P 、f i L 的数目，|| ||2为2范数运算符，T为转置运算符。
所述第一目标去除神经网络和第二目标去除神经网络的结构和参数相同。
所述将收敛时的目标分割神经网络、第一目标去除神经网络和第二目标去除神经网络构成的模型作为最终使用的目标去除模型之后，进一步包括：
将待去除目标的第一图像输入目标分割神经网络进行目标和背景的分割，得到第一图像的二值掩模图像；
将第一图像的二值掩模图像和第一图像输入第一目标去除神经网络进行目标去除处理，得到第一图像的目标去除粗略图像；
将第一图像的二值掩模图像和第一图像的目标去除粗略图像输入第二目标去除神经网络进行目标去除处理，得到第一图像的目标去除精细图像。
一种目标去除模型建立装置，该装置包括：
训练准备模块，用于获取原始图像集，该原始图像集中包含多帧原始图像，每帧原始图像中包含至少一个目标；获取每帧原始图像分别对应的不包含目标的标准图像，得到原始图像集对应的标准图像集；
二值掩膜预测模块，用于将原始图像集中的各原始图像分别输入已训练好的目标分割神经网络进行目标和背景的分割，得到对应的二值掩膜预测图像；
粗略去除模块，用于将二值掩膜预测图像和对应的原始图像输入待训练的第一目标去除神经网络进行目标去除处理，得到对应的目标去除粗略图像；
精细去除模块，用于将目标去除粗略图像和对应的二值掩膜预测图像输入待训练的第二目标去除神经网络进行目标去除处理，得到对应的目标去除精细图像；
判别模块，用于将目标去除精细图像和对应的标准图像输入待训练的判别器神经网络进行目标去除判别处理，得到目标去除判别结果；
调整模块，用于调整所述第一目标去除神经网络、第二目标去除神经网络和判别器神经网络的参数，直至收敛，将收敛时的目标分割神经网络、第一目标去除神经网络和第二目标去除神经网络构成的模型作为最终使用的目标去除模型。
一种非瞬时计算机可读存储介质，所述非瞬时计算机可读存储介质存储指令，所述指令在由处理器执行时使得所述处理器执行如上任一项所述的方法的步骤。
本发明实施例中，通过将二值掩膜预测图像和对应的原始图像输入第一目标去除神经网络进行粗略的目标去除处理，再将得到的目标去除粗略图像和二值掩膜预测图像输入第二目标去除神经网络进行精细的目标去除处理，再将目标去除精细图像和对应的标准图像输入判别器神经网络进行目标去除判别处理，调整第一目标去除神经网络、第二目标去除神经网络和判别器神经网络的参数，从而提高了最终得到的目标去除模型的精度。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的目标去除模型建立方法流程图；
图2为本发明实施例提供的目标去除模型建立装置的结构示意图；
图3为本发明实施例提供的一种电子设备的示例性结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等（如果存在）是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含。例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其他步骤或单元。
下面以具体实施例对本发明的技术方案进行详细说明。下面几个具体实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例不再赘述。
图1为本发明实施例提供的目标去除模型建立方法流程图，其具体步骤如下：
步骤101：获取原始图像集，该原始图像集中包含多帧原始图像，每帧原始图像中包含至少一个目标。
步骤102：获取每帧原始图像分别对应的不包含目标的标准图像，得到原始图像集对应的标准图像集。
在实际应用中，通常不包含目标的标准图像是可以直接获取到的，此时，在标准图像上添加目标（如：水印、敏感标志物、水印、商标等）就可以得到包含目标的原始图像。
步骤103：将原始图像集中的原始图像输入已训练好的目标分割神经网络进行目标和背景的分割，得到对应的二值掩膜预测图像。
一可选实施例中，目标分割神经网络可采用基于vit修改的SETR（SEgmentationTRansformer，分割转换器）网络。
步骤104：将二值掩膜预测图像和对应的原始图像输入待训练的第一目标去除神经网络进行目标去除处理，得到对应的目标去除粗略图像。
步骤105：将目标去除粗略图像和对应的二值掩膜预测图像输入待训练的第二目标去除神经网络进行目标去除处理，得到对应的目标去除精细图像。
一可选实施例中，第一目标去除神经网络和第二目标去除神经网络可采用unet网络。
步骤106：将目标去除精细图像和对应的标准图像输入待训练的判别器神经网络进行目标去除判别处理，得到目标去除判别结果。
目标去除判别结果是目标去除精细图像和对应的标准图像的相似度，二者越相似表明第二目标去除神经网络输出的目标去除精细图像越好、越逼真。
一可选实施例中，判别器神经网络可采用PGGAN（ Progressive GAN，渐近式增长生成对抗网络）的判别器网络，损失函数使用PGGAN标准损失函数。
步骤107：调整目标分割神经网络、第一目标去除神经网络、第二目标去除神经网络和判别器神经网络的参数，重复步骤103-107，直至目标分割神经网络、第一目标去除神经网络、第二目标去除神经网络和判别器神经网络收敛，将收敛时的目标分割神经网络、第一目标去除神经网络和第二目标去除神经网络构成的模型作为最终使用的目标去除模型。其中，第一目标去除神经网络、第二目标去除神经网络和判别器神经网络是一起训练并收敛，目标分割网络是单独训练收敛的。
上述实施例中，通过将二值掩膜预测图像和对应的原始图像输入第一目标去除神经网络进行粗略的目标去除处理，再将得到的目标去除粗略图像和二值掩膜预测图像输入第二目标去除神经网络进行精细的目标去除处理，再将目标去除精细图像和对应的标准图像输入判别器神经网络进行目标去除判别处理，调整第一目标去除神经网络、第二目标去除神经网络和判别器神经网络的参数，从而提高了最终得到的目标去除模型的精度，从而使得目标去除模型的目标去除效果更好，去除目标后的图像更加逼真。本申请可以将目标去除，所述目标例如水印、敏感标志物、商标等。
一可选实施例中，步骤101之后、步骤103之前，进一步包括：分别对每帧原始图像中的目标和背景进行二值掩膜处理，例如：将目标以1表示，将背景以0表示，得到原始图像集对应的二值掩膜标注图像集；将原始图像集中的各原始图像分别输入待训练的目标分割神经网络进行目标分割处理；且，步骤103之后、步骤107之前，进一步包括：根据待训练的目标分割神经网络输出的二值掩膜预测图像和对应的二值掩膜标注图像，计算第一损失函数值；根据第一损失函数值调整待训练的目标分割神经网络的参数，直至目标分割神经网络收敛。
一可选实施例中，根据待训练的目标分割神经网络输出的二值掩膜预测图像和对应的二值掩膜标注图像，计算第一损失函数值，包括：
步骤01：根据待训练的目标分割神经网络输出的二值掩膜预测图像和对应的二值掩膜标注图像，计算目标分割神经网络的像素角度的损失函数值。
一可选实施例中，步骤01可通过如下方式实现：
计算：
Figure 335467DEST_PATH_IMAGE007
其中，l pixel 为目标分割神经网络的像素角度的损失函数值，P(a,b)为待训练的目标分割神经网络输出的二值掩膜预测图像上的像素点(a,b)的像素值，a、b分别为像素点的纵坐标、横坐标，L(a,b)为对应的二值掩膜标注图像上的像素点(a,b)的像素值，ln为自然对数运算符，H、W分别为待训练的目标分割神经网络输出的二值掩膜预测图像和对应的二值掩膜标注图像的高度和宽度，H、W的单位为像素，α和γ为预设超参数，通常，α∈(0,1)，γ∈[1,10])。
步骤02：计算二值掩膜预测图像和对应的二值掩膜标注图像的局部相似度。
一可选实施例中，步骤02可通过如下方式实现：
计算：
Figure 414281DEST_PATH_IMAGE008
其中，l ssim 为待训练的目标分割神经网络输出的二值掩膜预测图像和对应的二值掩膜标注图像的局部相似度；I为分别在待训练的目标分割神经网络输出的二值掩膜预测图像和对应的二值掩膜标注图像上滑动的滑动窗的总数，例如：K为预设的滑动窗的大小，且该滑动窗分别在待训练的目标分割神经网络输出的二值掩膜预测图像和对应的二值掩膜标注图像上滑动，相邻两个滑动窗不重叠，i为滑动窗的序号；µ x i 为待训练的目标分割神经网络输出的二值掩膜预测图像中的第i个滑动窗内所有像素点的像素值均值，µ y i 为对应的二值掩膜标注图像中的第i个滑动窗内所有像素点的像素值均值；σ x i 为待训练的目标分割神经网络输出的二值掩膜预测图像中的第i个滑动窗内所有像素点的像素值方差，σ y i 为对应的二值掩膜标注图像中的第i个滑动窗内所有像素点的像素值方差；σ xy i 表示待训练的目标分割神经网络输出的二值掩膜预测图像和对应的二值掩膜标注图像中的第i个滑动窗内所有像素点的像素值协方差；K的取值根据图像大小和精度要求等设定，C 1和C 2为预设常数，通常，C 1∈(0,1)，C 2∈(0,1)，例如：C 1=0.0001，C 2=0.0009。
步骤03：计算待训练的目标分割神经网络输出的二值掩膜预测图像和对应的二值掩膜标注图像的整体相似度。
一可选实施例中，步骤03可通过如下方式实现：
计算
Figure 725308DEST_PATH_IMAGE009
其中，l iou 为待训练的目标分割神经网络输出的二值掩膜预测图像和对应的二值掩膜标注图像的整体相似度，P(a,b)为待训练的目标分割神经网络输出的二值掩膜预测图像上的像素点(a,b)的像素值，a、b分别为像素点的纵坐标、横坐标，L(a,b)为对应的二值掩膜标注图像上的像素点(a,b)的像素值，H、W分别为待训练的目标分割神经网络输出的二值掩膜预测图像和对应的二值掩膜标注图像的高度和宽度，H、W的单位为像素。
步骤04：对目标分割神经网络的像素角度的损失函数值、待训练的目标分割神经网络输出的二值掩膜预测图像和对应的二值掩膜标注图像的局部相似度、以及待训练的目标分割神经网络输出的二值掩膜预测图像和对应的二值掩膜标注图像的整体相似度进行加权求和计算，得到第一损失函数值。
例如：
l seg =λ pixel l pixel + λ ssim l ssim + λ iou l iou
其中，l seg 为第一损失函数值，λ pixel 、λ ssim 、λ iou 为权值，通常λ pixel ∈(0,1)，λ ssim ∈(0,1)，λ iou ∈(0,1)。
且，步骤104之后、步骤107之前，进一步包括：根据目标去除粗略图像和对应的标准图像，计算第二损失函数值；
且，步骤105之后、步骤107之前，进一步包括：根据目标去除精细图像和对应的标准图像，计算第三损失函数值；
且，步骤106之后、步骤107之前，进一步包括：根据目标去除精细图像和对应的标准图像，计算第四损失函数值；其中，计算第四损失函数和第三损失函数采用的算法不同。
且，步骤107中，调整第一目标去除神经网络、第二目标去除神经网络和判别器神经网络的参数，包括：根据第二损失函数值调整第一目标去除神经网络的参数，根据第三损失函数值调整第二目标去除神经网络的参数，根据第四损失函数值调整判别器神经网络的参数。
上述实施例中，通过第二损失函数值、第三损失函数值和第四损失函数值，分别调整第一目标去除神经网络、第二目标去除神经网络和判别器神经网络的参数，从而保证了最终得到的目标去除模型的精度。
一可选实施例中，根据目标去除粗略图像和对应的标准图像，计算第二损失函数值，包括：根据目标去除粗略图像和对应的标准图像，计算第一目标去除神经网络的L1（LAD，最小绝对值偏差）损失函数值、语义损失函数值和风格损失函数值；对L1损失函数值、语义损失函数值和风格损失函数值进行加权求和计算，得到第二损失函数值。
其中，第一目标去除神经网络的L1损失函数值可通过如下方式计算：
Figure 496955DEST_PATH_IMAGE010
第一目标去除神经网络的语义损失函数值可通过如下方式计算：
Figure 509910DEST_PATH_IMAGE011
第一目标去除神经网络的风格损失函数值可通过如下方式计算：
Figure 392416DEST_PATH_IMAGE012
其中，l l1为L1损失函数值，l content 为语义损失函数值，l style 为风格损失函数值，H、W和C分别为目标去除粗略图像和标准图像的高度、宽度和通道数，P o 为目标去除粗略图像的所有像素点的像素值构成的向量，L o 为标准图像的所有像素点的像素值构成的向量；|| ||1为1范数运算符；f i P 、f i L 为分别将P o 、L o 输入预先训练好的分类网络（如VGG（VisualGeometry Group）网络）得到的输出特征，N为f i P 、f i L 的数目，|| ||2为2范数运算符，T为转置运算符。其中，分类网络可采用已有的ImageNet标准数据集训练得到。
l remove =λ l1 l l1 + λ content l content + λ style l style
其中，l remove 为第二损失函数值，λ l1、λ content 、λ style 为权值，通常，λ l1∈(0,1)，λ content ∈(0,1)，λ style ∈(0,1)。
一可选实施例中，根据目标去除精细图像和对应的标准图像，计算第三损失函数值，包括：根据目标去除精细图像和对应的标准图像，计算第二目标去除神经网络的L1损失函数值、语义损失函数值和风格损失函数值；对L1损失函数值、语义损失函数值和风格损失函数值进行加权求和计算，得到第三损失函数值。
其中，第二目标去除神经网络的L1损失函数值可通过如下方式计算：
Figure 56484DEST_PATH_IMAGE013
第二目标去除神经网络的语义损失函数值可通过如下方式计算：
Figure 999032DEST_PATH_IMAGE014
第二目标去除神经网络的风格损失函数值可通过如下方式计算：
Figure 764863DEST_PATH_IMAGE015
其中，l l1 '为L1损失函数值，l content '为语义损失函数值，l style '为风格损失函数值，H、W和C分别为目标去除精细图像和标准图像的高度、宽度和通道数，P o '为目标去除精细图 像的所有像素点的像素值构成的向量，L o 为标准图像的所有像素点的像素值构成的向量；| | ||1为1范数运算符；f i P' 、f i L 为分别将P o '、L o 输入预先训练好的分类网络（如VGG网络）得到 的输出特征，N为f i P' 、f i L 的数目，
Figure 185480DEST_PATH_IMAGE016
为2范数运算符，T为转置运算符。其中，分类网络可采 用已有的ImageNet标准数据集训练得到。
l remove '=λ l1'l l1' + λ content 'l content ' + λ style 'l style '
其中，l remove '为第二损失函数值，λ l1'、λ content '、λ style '为权值，通常，λ l1'∈(0,1)，λ content '∈(0,1)，λ style '∈(0,1)。
在实际应用中，为了节省缓存，第一目标去除神经网络和第二目标去除神经网络可为同一神经网络，即第一目标去除神经网络和第二目标去除神经网络的结构和参数相同，这样，在存储时，只需存储一个目标去除神经网络即可。此时，在训练时，需要根据第二损失函数值同时调整第一目标去除神经网络和第二目标去除神经网络的参数，根据第三损失函数值同时调整第一目标去除神经网络和第二目标去除神经网络的参数。
在步骤107得到目标去除模型之后，就可使用该模型对任意包含目标的图像进行目标去除处理了，具体步骤如下：
将待去除目标的第一图像输入目标分割神经网络进行目标和背景的分割，得到第一图像的二值掩模图像；将第一图像的二值掩模图像和第一图像输入第一目标去除神经网络进行目标去除处理，得到第一图像的目标去除粗略图像；
将第一图像的二值掩模图像和第一图像的目标去除粗略图像输入第二目标去除神经网络进行目标去除处理，得到第一图像的目标去除精细图像。
本申请该实施例可以将目标去除，所述目标例如水印、敏感标志物、商标等。
图2为本发明实施例提供的目标去除模型建立装置的结构示意图，该装置主要包括：
训练准备模块21，用于获取原始图像集，该原始图像集中包含多帧原始图像，每帧原始图像中包含至少一个目标；获取每帧原始图像分别对应的不包含目标的标准图像，得到原始图像集对应的标准图像集。
二值掩膜预测模块22，用于将原始图像集中的各原始图像分别输入已训练好的目标分割神经网络进行目标和背景的分割，得到对应的二值掩膜预测图像。
粗略去除模块23，用于将二值掩膜预测图像和对应的原始图像输入待训练的第一目标去除神经网络进行目标去除处理，得到对应的目标去除粗略图像。
精细去除模块24，用于将目标去除粗略图像和对应的二值掩膜预测图像输入待训练的第二目标去除神经网络进行目标去除处理，得到对应的目标去除精细图像。
判别模块25，用于将目标去除精细图像和对应的标准图像输入待训练的判别器神经网络进行目标去除判别处理，得到目标去除判别结果。
调整模块26，用于调整目标分割神经网络、第一目标去除神经网络、第二目标去除神经网络和判别器神经网络的参数，直至收敛，将收敛时的目标分割神经网络、第一目标去除神经网络和第二目标去除神经网络构成的模型作为最终使用的目标去除模型。其中，第一目标去除神经网络、第二目标去除神经网络和判别器神经网络是一起训练并收敛，目标分割网络是单独训练收敛的。
一可选实施例中，训练准备模块21获取原始图像集之后，进一步用于：分别对每帧原始图像中的目标和背景进行二值掩膜处理，得到原始图像集对应的二值掩膜标注图像集；将原始图像集中的各原始图像分别输入待训练的目标分割神经网络进行目标分割处理；根据待训练的目标分割神经网络输出的二值掩膜预测图像和对应的二值掩膜标注图像，计算第一损失函数值；根据第一损失函数值调整待训练的目标分割神经网络的参数，直至目标分割神经网络收敛。
调整模块26进一步用于：根据目标去除粗略图像和对应的标准图像，计算第二损失函数值；根据目标去除精细图像和对应的标准图像，计算第三损失函数值；根据目标去除精细图像和对应的标准图像，计算第四损失函数值；
调整模块26调整第一目标去除神经网络、第二目标去除神经网络和判别器神经网络的参数，包括：根据第二损失函数值调整第一目标去除神经网络的参数，根据第三损失函数值调整第二目标去除神经网络的参数，根据第四损失函数值调整判别器神经网络的参数。
一可选实施例中，调整模块26根据待训练的目标分割神经网络输出的二值掩膜预测图像和对应的二值掩膜标注图像，计算第一损失函数值，包括：根据待训练的目标分割神经网络输出的二值掩膜预测图像和对应的二值掩膜标注图像，计算目标分割神经网络的像素角度的损失函数值；计算待训练的目标分割神经网络输出的二值掩膜预测图像和对应的二值掩膜标注图像的局部相似度；计算待训练的目标分割神经网络输出的二值掩膜预测图像和对应的二值掩膜标注图像的整体相似度；对目标分割神经网络的像素角度的损失函数值、局部相似度和整体相似度进行加权求和计算，得到第一损失函数值。
一可选实施例中，调整模块26根据待训练的目标分割神经网络输出的二值掩膜预测图像和对应的二值掩膜标注图像，计算目标分割神经网络的像素角度的损失函数值，包括：
计算：
Figure 658050DEST_PATH_IMAGE007
其中，l pixel 为目标分割神经网络的像素角度的损失函数值，P(a,b)为待训练的目标分割神经网络输出的二值掩膜预测图像上的像素点(a,b)的像素值，a、b分别为像素点的纵坐标、横坐标，L(a,b)为对应的二值掩膜标注图像上的像素点(a,b)的像素值，ln为自然对数运算符，H、W分别为待训练的目标分割神经网络输出的二值掩膜预测图像和对应的二值掩膜标注图像的高度和宽度，H、W的单位为像素，α和γ为预设超参数，通常，α∈(0,1)，γ∈[1,10])；
调整模块26计算待训练的目标分割神经网络输出的二值掩膜预测图像和对应的二值掩膜标注图像的局部相似度，包括：
计算：
Figure 318969DEST_PATH_IMAGE017
其中，l ssim 为待训练的目标分割神经网络输出的二值掩膜预测图像和对应的二值掩膜标注图像的局部相似度；I为分别在待训练的目标分割神经网络输出的二值掩膜预测图像和对应的二值掩膜标注图像上滑动的滑动窗的总数，例如：K为预设的滑动窗的大小，且该滑动窗分别在待训练的目标分割神经网络输出的二值掩膜预测图像和对应的二值掩膜标注图像上滑动，相邻两个滑动窗不重叠，i为滑动窗的序号；µ x i 为待训练的目标分割神经网络输出的二值掩膜预测图像中的第i个滑动窗内所有像素点的像素值均值，µ y i 为对应的二值掩膜标注图像中的第i个滑动窗内所有像素点的像素值均值；σ x i 为待训练的目标分割神经网络输出的二值掩膜预测图像中的第i个滑动窗内所有像素点的像素值方差，σ y i 为对应的二值掩膜标注图像中的第i个滑动窗内所有像素点的像素值方差；σ xy i 表示待训练的目标分割神经网络输出的二值掩膜预测图像和对应的二值掩膜标注图像中的第i个滑动窗内所有像素点的像素值协方差；K的取值根据图像大小和精度要求等设定，C 1和C 2为预设常数，通常，C 1∈(0,1)，C 2∈(0,1)，例如：C 1=0.0001，C 2=0.0009；
调整模块26计算待训练的目标分割神经网络输出的二值掩膜预测图像和对应的二值掩膜标注图像的整体相似度，包括：
计算
Figure 244200DEST_PATH_IMAGE018
其中，l iou 为待训练的目标分割神经网络输出的二值掩膜预测图像和对应的二值掩膜标注图像的整体相似度，P(a,b)为待训练的目标分割神经网络输出的二值掩膜预测图像上的像素点(a,b)的像素值，a、b分别为像素点的纵坐标、横坐标，L(a,b)为对应的二值掩膜标注图像上的像素点(a,b)的像素值，H、W分别为待训练的目标分割神经网络输出的二值掩膜预测图像和对应的二值掩膜标注图像的高度和宽度，H、W的单位为像素。
一可选实施例中，调整模块26根据目标去除粗略图像和对应的标准图像，计算第二损失函数值，包括：根据目标去除粗略图像和对应的标准图像，计算第一目标去除神经网络的L1损失函数值、语义损失函数值和风格损失函数值；对L1损失函数值、语义损失函数值和风格损失函数值进行加权求和计算，得到第二损失函数值。
一可选实施例中，调整模块26根据目标去除粗略图像和对应的标准图像，计算第一目标去除神经网络的L1损失函数值、语义损失函数值和风格损失函数值，包括：
计算：
Figure 530825DEST_PATH_IMAGE019
Figure 592322DEST_PATH_IMAGE020
Figure 474344DEST_PATH_IMAGE021
其中，l l1为L1损失函数值，l content 为语义损失函数值，l style 为风格损失函数值，H、W和C分别为目标去除粗略图像和标准图像的高度、宽度和通道数，P o 为目标去除粗略图像的所有像素点的像素值构成的向量，L o 为标准图像的所有像素点的像素值构成的向量；|| ||1为1范数运算符；f i P 、f i L 为分别将P o 、L o 输入预先训练好的分类网络得到的输出特征，N为f i P 、f i L 的数目，|| ||2为2范数运算符，T为转置运算符。
一可选实施例中，第一目标去除神经网络和第二目标去除神经网络的结构和参数相同。
一可选实施例中，上述装置进一步包括：目标去除处理模块，用于将待去除目标的第一图像输入目标分割神经网络进行目标和背景的分割，得到第一图像的二值掩模图像；将第一图像的二值掩模图像和第一图像输入第一目标去除神经网络进行目标去除处理，得到第一图像的目标去除粗略图像；将第一图像的二值掩模图像和第一图像的目标去除粗略图像输入第二目标去除神经网络进行目标去除处理，得到第一图像的目标去除精细图像。
本申请实施例还提供一种计算机程序产品，包括计算机程序或指令，该计算机程序或指令被处理器执行时实现如上任一实施例所述的方法的步骤。
本申请实施例还提供一种非瞬时计算机可读存储介质，所述计算机可读存储介质存储指令，所述指令在由处理器执行时可执行如上任一实施例所述的方法中的步骤。实际应用中，所述的计算机可读介质可以是上述实施例各设备/装置/系统所包含的，也可以是单独存在，而未装配入该设备/装置/系统中。其中，在计算机可读存储介质中存储指令，其存储的指令在由处理器执行时可执行如上任一实施例所述的方法中的步骤。
根据本申请公开的实施例，计算机可读存储介质可以是非易失性的计算机可读存储介质，例如可以包括但不限于：便携式计算机磁盘、硬盘、随机访问存储器（RAM）、只读存储器（ROM）、可擦式可编程只读存储器（EPROM或闪存）、便携式紧凑磁盘只读存储器（CD-ROM）、光存储器件、磁存储器件，或者上述的任意合适的组合，但不用于限制本申请保护的范围。在本申请公开的实施例中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
如图3所示，本发明实施例还提供一种电子设备。如图3所示，其示出了本发明实施例所涉及的电子设备的结构示意图，具体来讲：
该电子设备可以包括一个或一个以上处理核心的处理器31、一个或一个以上计算机可读存储介质的存储器32以及存储在存储器上并可在处理器上运行的计算机程序。在执行所述存储器32的程序时，可以实现如上任一实施例所述的方法。
具体的，实际应用中，该电子设备还可以包括电源33、输入输出单元34等部件。本领域技术人员可以理解，图3中示出的电子设备的结构并不构成对该电子设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。其中：
处理器31是该电子设备的控制中心，利用各种接口和线路连接整个电子设备的各个部分，通过运行或执行存储在存储器32内的软件程序和/或模块，以及调用存储在存储器32内的数据，执行服务器的各种功能和处理数据，从而对该电子设备进行整体监控。
存储器32可用于存储软件程序以及模块，即上述计算机可读存储介质。处理器31通过运行存储在存储器32的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器32可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序等；存储数据区可存储根据服务器的使用所创建的数据等。此外，存储器32可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器32还可以包括存储器控制器，以提供处理器31对存储器32的访问。
该电子设备还包括给各个部件供电的电源33，可以通过电源管理系统与处理器31逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源33还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
该电子设备还可包括输入输出单元34，该输入单元输出34可用于接收输入的数字或字符信息，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。该输入单元输出34还可以用于显示由用户输入的信息或提供给用户的信息以及各种图像用户接口，这些图形用户接口可以由图形、文本、图标、视频和其任意组合来构成。
本申请附图中的流程图和框图，示出了按照本申请公开的各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或者代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应该注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连接地表示的方框实际上可以基本并行地执行，它们有时也可以按照相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或者流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
本领域技术人员可以理解，本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合，即使这样的组合或结合没有明确记载于本申请中。特别地，在不脱离本申请精神和教导的情况下，本申请的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合，所有这些组合和/或结合均落入本申请公开的范围。
本文中应用了具体实施例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思路，并不用于限制本申请。对于本领域的技术人员来说，可以依据本发明的思路、精神和原则，在具体实施方式及应用范围上进行改变，其所做的任何修改、等同替换、改进等，均应包含在本申请保护的范围之内。

Claims (10)

1.一种目标去除模型建立方法，其特征在于，该方法包括：
获取原始图像集，该原始图像集中包含多帧原始图像，每帧原始图像中包含至少一个目标；
获取每帧原始图像分别对应的不包含目标的标准图像，得到原始图像集对应的标准图像集；
将原始图像集中的各原始图像分别输入已训练好的目标分割神经网络进行目标和背景的分割，得到对应的二值掩膜预测图像；
将二值掩膜预测图像和对应的原始图像输入待训练的第一目标去除神经网络进行目标去除处理，得到对应的目标去除粗略图像；
将目标去除粗略图像和对应的二值掩膜预测图像输入待训练的第二目标去除神经网络进行目标去除处理，得到对应的目标去除精细图像；
将目标去除精细图像和对应的标准图像输入待训练的判别器神经网络进行目标去除判别处理，得到目标去除判别结果；
调整所述目标分割神经网络、第一目标去除神经网络、第二目标去除神经网络和判别器神经网络的参数，直至收敛，将收敛时的目标分割神经网络、第一目标去除神经网络、第二目标去除神经网络、和判别器神经网络构成的模型作为最终使用的目标去除模型；
所述第一目标去除神经网络和第二目标去除神经网络的结构和参数相同；
所述得到对应的目标去除粗略图像之后、所述调整所述第一目标去除神经网络、第二目标去除神经网络和判别器神经网络的参数之前，进一步包括：
根据目标去除粗略图像和对应的标准图像，计算第二损失函数值；
所述得到对应的目标去除精细图像之后、所述调整所述第一目标去除神经网络、第二目标去除神经网络和判别器神经网络的参数之前，进一步包括：
根据目标去除精细图像和对应的标准图像，计算第三损失函数值；
所述调整所述第一目标去除神经网络、第二目标去除神经网络和判别器神经网络的参数，包括：
根据第二损失函数值同时调整第一目标去除神经网络和第二目标去除神经网络的参数，根据第三损失函数值同时调整第一目标去除神经网络和第二目标去除神经网络的参数。
2.根据权利要求1所述的方法，其特征在于，所述获取原始图像集之后、所述将原始图像集中的各原始图像分别输入已训练好的目标分割神经网络进行目标分割处理之前，进一步包括：
分别对每帧原始图像中的目标和背景进行二值掩膜处理，得到原始图像集对应的二值掩膜标注图像集；
将原始图像集中的各原始图像分别输入待训练的目标分割神经网络进行目标分割处理；
根据待训练的目标分割神经网络输出的二值掩膜预测图像和对应的二值掩膜标注图像，计算第一损失函数值；
根据第一损失函数值调整待训练的目标分割神经网络的参数，直至目标分割神经网络收敛。
3.根据权利要求2所述的方法，其特征在于，所述根据待训练的目标分割神经网络输出的二值掩膜预测图像和对应的二值掩膜标注图像，计算第一损失函数值，包括：
根据待训练的目标分割神经网络输出的二值掩膜预测图像和对应的二值掩膜标注图像，计算所述目标分割神经网络的像素角度的损失函数值；
计算待训练的目标分割神经网络输出的二值掩膜预测图像和对应的二值掩膜标注图像的局部相似度；
计算待训练的目标分割神经网络输出的二值掩膜预测图像和对应的二值掩膜标注图像的整体相似度；
对所述目标分割神经网络的像素角度的损失函数值、所述局部相似度和所述整体相似度进行加权求和计算，得到第一损失函数值。
4.根据权利要求3所述的方法，其特征在于，所述根据待训练的目标分割神经网络输出的二值掩膜预测图像和对应的二值掩膜标注图像，计算所述目标分割神经网络的像素角度的损失函数值，包括：
计算：
Figure DEST_PATH_IMAGE001
其中，l pixel 为所述目标分割神经网络的像素角度的损失函数值，P(a,b)为待训练的目标分割神经网络输出的二值掩膜预测图像上的像素点(a,b)的像素值，a、b分别为像素点的纵坐标、横坐标，L(a,b)为对应的二值掩膜标注图像上的像素点(a,b)的像素值，ln为自然对数运算符，H、W分别为待训练的目标分割神经网络输出的二值掩膜预测图像和对应的二值掩膜标注图像的高度和宽度，H、W的单位为像素，α和γ为预设超参数；
所述计算待训练的目标分割神经网络输出的二值掩膜预测图像和对应的二值掩膜标注图像的局部相似度，包括：
计算：
Figure 402935DEST_PATH_IMAGE002
其中，l ssim 为待训练的目标分割神经网络输出的二值掩膜预测图像和对应的二值掩膜标注图像的局部相似度；I为分别在二值掩膜预测图像和二值掩膜标注图像上滑动的滑动窗的总数，i为滑动窗的序号；µ x i 为待训练的目标分割神经网络输出的二值掩膜预测图像中的第i个滑动窗内所有像素点的像素值均值，µ y i 为对应的二值掩膜标注图像中的第i个滑动窗内所有像素点的像素值均值；σ x i 为待训练的目标分割神经网络输出的二值掩膜预测图像中的第i个滑动窗内所有像素点的像素值方差，σ y i 为对应的二值掩膜标注图像中的第i个滑动窗内所有像素点的像素值方差；σ xy i 表示待训练的目标分割神经网络输出的二值掩膜预测图像和对应的二值掩膜标注图像中的第i个滑动窗内所有像素点的像素值协方差；C 1和C 2为预设常数；
所述计算待训练的目标分割神经网络输出的二值掩膜预测图像和对应的二值掩膜标注图像的整体相似度，包括：
计算
Figure DEST_PATH_IMAGE003
其中，l iou 为待训练的目标分割神经网络输出的二值掩膜预测图像和对应的二值掩膜标注图像的整体相似度，P(a,b)为待训练的目标分割神经网络输出的二值掩膜预测图像上的像素点(a,b)的像素值，a、b分别为像素点的纵坐标、横坐标，L(a,b)为对应的二值掩膜标注图像上的像素点(a,b)的像素值，H、W分别为待训练的目标分割神经网络输出的二值掩膜预测图像和对应的二值掩膜标注图像的高度和宽度，H、W的单位为像素。
5.根据权利要求1所述的方法，其特征在于，
所述得到目标去除判别结果之后、所述调整所述第一目标去除神经网络、第二目标去除神经网络和判别器神经网络的参数之前，进一步包括：
根据目标去除精细图像和对应的标准图像，计算第四损失函数值；
所述调整所述第一目标去除神经网络、第二目标去除神经网络和判别器神经网络的参数，进一步包括：
根据第四损失函数值调整判别器神经网络的参数。
6.根据权利要求5所述的方法，其特征在于，所述根据目标去除粗略图像和对应的标准图像，计算第二损失函数值，包括：
根据目标去除粗略图像和对应的标准图像，计算第一目标去除神经网络的L1损失函数值、语义损失函数值和风格损失函数值；
对所述L1损失函数值、所述语义损失函数值和所述风格损失函数值进行加权求和计算，得到第二损失函数值。
7.根据权利要求6所述的方法，其特征在于，所述根据目标去除粗略图像和对应的标准图像，计算第一目标去除神经网络的L1损失函数值、语义损失函数值和风格损失函数值，包括：
计算：
Figure 382393DEST_PATH_IMAGE004
Figure DEST_PATH_IMAGE005
Figure 162130DEST_PATH_IMAGE006
其中，l l1为所述L1损失函数值，l content 为所述语义损失函数值，l style 为所述风格损失函数值，H、W和C分别为目标去除粗略图像和标准图像的高度、宽度和通道数，P o 为目标去除粗略图像的所有像素点的像素值构成的向量，L o 为标准图像的所有像素点的像素值构成的向量；|| ||1为1范数运算符；f i P 、f i L 为分别将P o 、L o 输入预先训练好的分类网络得到的输出特征，N为f i P 、f i L 的数目，|| ||2为2范数运算符，T为转置运算符。
8.根据权利要求1所述的方法，其特征在于，所述将收敛时的目标分割神经网络、第一目标去除神经网络和第二目标去除神经网络构成的模型作为最终使用的目标去除模型之后，进一步包括：
将待去除目标的第一图像输入目标分割神经网络进行目标和背景的分割，得到第一图像的二值掩模图像；
将第一图像的二值掩模图像和第一图像输入第一目标去除神经网络进行目标去除处理，得到第一图像的目标去除粗略图像；
将第一图像的二值掩模图像和第一图像的目标去除粗略图像输入第二目标去除神经网络进行目标去除处理，得到第一图像的目标去除精细图像。
9.一种目标去除模型建立装置，其特征在于，该装置包括：
训练准备模块，用于获取原始图像集，该原始图像集中包含多帧原始图像，每帧原始图像中包含至少一个目标；获取每帧原始图像分别对应的不包含目标的标准图像，得到原始图像集对应的标准图像集；
二值掩膜预测模块，用于将原始图像集中的各原始图像分别输入已训练好的目标分割神经网络进行目标和背景的分割，得到对应的二值掩膜预测图像；
粗略去除模块，用于将二值掩膜预测图像和对应的原始图像输入待训练的第一目标去除神经网络进行目标去除处理，得到对应的目标去除粗略图像；
精细去除模块，用于将目标去除粗略图像和对应的二值掩膜预测图像输入待训练的第二目标去除神经网络进行目标去除处理，得到对应的目标去除精细图像；所述第一目标去除神经网络和第二目标去除神经网络的结构和参数相同；
判别模块，用于将目标去除精细图像和对应的标准图像输入待训练的判别器神经网络进行目标去除判别处理，得到目标去除判别结果；
调整模块，用于调整所述第一目标去除神经网络、第二目标去除神经网络和判别器神经网络的参数，直至收敛，将收敛时的目标分割神经网络、第一目标去除神经网络和第二目标去除神经网络构成的模型作为最终使用的目标去除模型；
所述调整模块调整所述第一目标去除神经网络、第二目标去除神经网络和判别器神经网络的参数之前，进一步用于：
根据目标去除粗略图像和对应的标准图像，计算第二损失函数值；
所述调整模块调整所述第一目标去除神经网络、第二目标去除神经网络和判别器神经网络的参数之前，进一步用于：
根据目标去除精细图像和对应的标准图像，计算第三损失函数值；
所述调整模块调整所述第一目标去除神经网络、第二目标去除神经网络和判别器神经网络的参数，包括：
根据第二损失函数值同时调整第一目标去除神经网络和第二目标去除神经网络的参数，根据第三损失函数值同时调整第一目标去除神经网络和第二目标去除神经网络的参数。
10.一种非瞬时计算机可读存储介质，所述非瞬时计算机可读存储介质存储指令，其特征在于，所述指令在由处理器执行时使得所述处理器执行如权利要求1至8中任一项所述的方法的步骤。
CN202210660752.5A 2022-06-13 2022-06-13 目标去除模型建立方法、装置及可读存储介质 Active CN114758136B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210660752.5A CN114758136B (zh) 2022-06-13 2022-06-13 目标去除模型建立方法、装置及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210660752.5A CN114758136B (zh) 2022-06-13 2022-06-13 目标去除模型建立方法、装置及可读存储介质

Publications (2)

Publication Number Publication Date
CN114758136A CN114758136A (zh) 2022-07-15
CN114758136B true CN114758136B (zh) 2022-10-18

Family

ID=82336423

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210660752.5A Active CN114758136B (zh) 2022-06-13 2022-06-13 目标去除模型建立方法、装置及可读存储介质

Country Status (1)

Country Link
CN (1) CN114758136B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115082758B (zh) * 2022-08-19 2022-11-11 深圳比特微电子科技有限公司 目标检测模型的训练方法、目标检测方法、装置和介质

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8073277B2 (en) * 2007-06-21 2011-12-06 The University Of Southern Mississippi Apparatus and methods for image restoration
US10755391B2 (en) * 2018-05-15 2020-08-25 Adobe Inc. Digital image completion by learning generation and patch matching jointly
CN108846355B (zh) * 2018-06-11 2020-04-28 腾讯科技（深圳）有限公司 图像处理方法、人脸识别方法、装置和计算机设备
CN109584178A (zh) * 2018-11-29 2019-04-05 腾讯科技（深圳）有限公司 图像修复方法、装置和存储介质
CN110660066B (zh) * 2019-09-29 2023-08-04 Oppo广东移动通信有限公司 网络的训练方法、图像处理方法、网络、终端设备及介质
CN112419135B (zh) * 2020-11-19 2024-07-12 广州华多网络科技有限公司 水印识别在线训练、制样、去除方法及装置、设备、介质
CN112614066A (zh) * 2020-12-23 2021-04-06 文思海辉智科科技有限公司 图像修复方法、装置及电子设备
CN112927122A (zh) * 2021-04-14 2021-06-08 北京小米移动软件有限公司 水印去除方法、装置及存储介质
CN113706542A (zh) * 2021-07-14 2021-11-26 温州医科大学附属眼视光医院 基于卷积神经网络及混合损失函数的眼球分割方法及装置
CN113935919A (zh) * 2021-10-15 2022-01-14 哈尔滨理工大学 一种基于gan网络的图像修复算法
CN113793286B (zh) * 2021-11-18 2022-05-10 成都索贝数码科技股份有限公司 一种基于多阶注意力神经网络的媒体图像水印移除方法
CN114049280A (zh) * 2021-11-25 2022-02-15 广州华多网络科技有限公司 图像消除修复方法及其装置、设备、介质、产品
CN114511463B (zh) * 2022-02-11 2024-04-02 陕西师范大学 一种数字图像修复方法、装置、设备及可读存储介质

Also Published As

Publication number Publication date
CN114758136A (zh) 2022-07-15

Similar Documents

Publication Publication Date Title
CN110188760B (zh) 一种图像处理模型训练方法、图像处理方法及电子设备
EP3989111A1 (en) Video classification method and apparatus, model training method and apparatus, device and storage medium
US20230237841A1 (en) Occlusion Detection
CN111144215B (zh) 图像处理方法、装置、电子设备及存储介质
EP3204888A1 (en) Spatial pyramid pooling networks for image processing
CN113379786B (zh) 图像抠图方法、装置、计算机设备及存储介质
CN110390327B (zh) 前景提取方法、装置、计算机设备及存储介质
CN111553923B (zh) 一种图像处理方法、电子设备及计算机可读存储介质
KR102010085B1 (ko) 수퍼픽셀을 이용한 미세조직의 라벨링 이미지 생성방법 및 생성장치
US10769784B2 (en) Image analyzing method and electrical device
CN111383232A (zh) 抠图方法、装置、终端设备及计算机可读存储介质
CN114758136B (zh) 目标去除模型建立方法、装置及可读存储介质
CN110689518A (zh) 宫颈细胞图像筛查方法、装置、计算机设备及存储介质
CN113222149A (zh) 模型训练方法、装置、设备和存储介质
CN112651953A (zh) 图片相似度计算方法、装置、计算机设备及存储介质
CN114549557A (zh) 一种人像分割网络训练方法、装置、设备及介质
CN105354228A (zh) 相似图搜索方法及装置
İmamoğlu et al. Saliency detection by forward and backward cues in deep-CNN
CN112465050B (zh) 一种图像模板选择方法、装置、设备及存储介质
CN112966687B (zh) 图像分割模型训练方法、装置及通信设备
CN113592881A (zh) 图片指代性分割方法、装置、计算机设备和存储介质
US20220392127A1 (en) Image annotation method
CN114494782A (zh) 图像处理方法、模型训练方法、相关装置及电子设备
CN108701206B (zh) 用于面部对准的系统和方法
CN112487943B (zh) 关键帧去重的方法、装置和电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant