CN116977247A - 图像处理方法、装置、电子设备及存储介质 - Google Patents

图像处理方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN116977247A
CN116977247A CN202211407353.4A CN202211407353A CN116977247A CN 116977247 A CN116977247 A CN 116977247A CN 202211407353 A CN202211407353 A CN 202211407353A CN 116977247 A CN116977247 A CN 116977247A
Authority
CN
China
Prior art keywords
image
decoder
initial
loss value
trained
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211407353.4A
Other languages
English (en)
Inventor
林愉欢
汪铖杰
刘永
李嘉麟
吴凯
聂强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202211407353.4A priority Critical patent/CN116977247A/zh
Publication of CN116977247A publication Critical patent/CN116977247A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种图像处理方法、装置、电子设备及存储介质。本申请的实施例涉及人工智能的机器学习以及云技术等技术领域，本发明实施例可应用于云技术、人工智能、智慧出行、辅助驾驶等各种场景。该方法包括：根据目标图像，确定具有缺失区域的破损图像，缺失区域中像素点的像素值为目标值；将破损图像输入目标编码器，得到编码结果；将编码结果输入目标解码器，得到填充图像；根据填充图像对破损图像的缺失区域进行填充处理，得到填充后的图像。通过第一损失值和第二损失值训练得到目标编码器以及目标解码器，使得根据目标编码器以及目标解码器获得的填充后的图像更加真实，提高了通过填充后的图像训练获得的零件检测模型的识别效果。

Description

图像处理方法、装置、电子设备及存储介质
技术领域
本申请涉及图像处理技术领域，更具体地，涉及一种图像处理方法、装置、电子设备及存储介质。
背景技术
目前，可以通过检测模型对待识别零件(或待识别商品等)的图像进行识别，以确定待识别零件(或待识别商品等)所包括的缺陷信息，例如通过零件检测模型检测零件的裂纹。
但由于零件或商品还未进行量产、物料管理以及缺陷类别的长尾分布等原因，导致难以获取到足够多的具有缺陷的零件或商品，继而获取的训练样本的数量也较少，从而导致根据训练样本训练获得的检测模型的识别效果较差。
为了提高训练样本的数量，可以通过缺陷生成模型，对具有缺失区域的原始图像进行处理，以生成对应缺失区域的、且包括缺陷信息的填充图像，再根据填充图像对具有缺失区域的原始图像进行填充处理，得到填充后的图像，填充后的图像可以作为训练样本，从而实现了对训练样本的扩充。
但是，采用该方法得到的填充图像中的缺陷信息与真实的缺陷信息的匹配度较低，使得根据填充图像以及原始图像得到的填充后的图像的真实性和还原性较差，从而导致通过填充后的图像训练获得的检测模型的识别效果依旧较差。
发明内容
有鉴于此，本申请实施例提出了一种图像处理方法、装置、电子设备及存储介质。
第一方面，本申请实施例提供了一种图像处理方法，方法包括：根据目标图像，确定具有缺失区域的破损图像，缺失区域中像素点的像素值为目标值；将破损图像输入目标编码器，得到编码结果；将编码结果输入目标解码器，得到填充图像，填充图像是与缺失区域对应的、且包括缺陷信息的图像，目标编码器是通过第一损失值和第二损失值对初始编码器进行训练获得，目标解码器是通过第一损失值和第二损失值对初始缺陷解码器进行训练获得，第一损失值用于表征初始编码器保留上下文信息的能力，第二损失值用于表征初始缺陷解码器生成的图像预测为真实图像的准确度；根据填充图像对破损图像的缺失区域进行填充处理，得到填充后的图像。
第二方面，本申请实施例提供了一种图像处理装置，装置包括：确定模块，根据目标图像，确定具有缺失区域的破损图像，缺失区域中像素点的像素值为目标值；编码模块，用于将破损图像输入目标编码器，得到编码结果；解码模块，用于将编码结果输入目标解码器，得到填充图像，填充图像是与缺失区域对应的、且包括缺陷信息的图像，目标编码器是通过第一损失值和第二损失值对初始编码器进行训练获得，目标解码器是通过第一损失值和第二损失值对初始缺陷解码器进行训练获得，第一损失值用于表征初始编码器保留上下文信息的能力，第二损失值用于表征初始缺陷解码器生成的图像预测为真实图像的准确度；填充模块，用于根据填充图像对破损图像的缺失区域进行填充处理，得到填充后的图像。
可选地，装置还包括训练模块，用于获取具有真实的缺陷信息的真实样本图像以及破损样本图像，破损样本图像是将真实样本图像中的样本缺陷区域去除后得到，样本缺陷区域是指真实样本图像中包括真实的缺陷信息的区域；通过初始编码器，对破损样本图像进行处理，得到样本隐藏编码；将样本隐藏编码输入初始全局解码器，得到初始全局解码器输出的重建图像；将样本隐藏编码输入初始缺陷解码器，得到初始缺陷解码器输出的填充样本图像，填充样本图像与样本缺陷区域对应；根据填充样本图像对破损样本图像的样本缺失区域进行填充处理，得到预测样本图像；根据真实样本图像、破损样本图像、重建图像以及预测样本图像，对初始缺陷解码器、初始全局解码器以及初始编码器进行训练，得到训练后的缺陷解码器、训练后的全局解码器以及训练后的编码器；获取训练后的缺陷解码器作为目标解码器，并获取训练后的编码器，作为目标编码器。
可选地，训练模块，还用于将破损样本图像输入初始编码器，得到初始编码器输出的均值向量和方差向量；对均值向量和方差向量进行重构，得到重构后的样本隐藏编码。
可选地，训练模块，还用于从初始编码器的分布中确定噪声向量，噪声向量的维度与方差向量的维度相匹配；计算方差向量与噪声向量的乘积；计算乘积与均值向量的和，作为样本隐藏编码。
可选地，训练模块，还用于通过第一判别器，确定针对填充样本图像的判别结果以及针对样本缺陷区域的判别结果；通过第二判别器，确定针对预测样本图像的判别结果以及针对真实样本图像的判别结果；固定初始编码器、初始全局解码器以及初始缺陷解码器的参数；根据填充样本图像的判别结果、样本缺陷区域的判别结果、预测样本图像的判别结果以及真实样本图像的判别结果，对第一判别器以及第二判别器进行训练，得到练后的第一判别器以及训练后的第二判别器；固定训练后的第一判别器的参数以及训练后的第二判别器的参数；根据训练后的第一判别器、训练后的第二判别器、破损样本图像以及重建图像，对初始缺陷解码器、初始全局解码器以及初始编码器进行训练，得到训练后的缺陷解码器、训练后的全局解码器以及训练后的编码器。
可选地，训练模块，还用于根据填充样本图像的判别结果以及样本缺陷区域的判别结果，确定第三损失值，第三损失值用于指示第一判别器判别的准确性；根据预测样本图像的判别结果以及真实样本图像的判别结果，确定第四损失值，第四损失值用于指示第二判别器判别的准确性；根据第三损失值对第一判别器进行训练，得到训练后的第一判别器；根据第四损失值对第二判别器进行训练，得到训练后的第二判别器。
可选地，训练模块，还用于根据破损样本图像以及重建图像，获取第一损失值；获取填充样本图像，并根据训练后的第一判别器以及填充样本图像，确定第二损失值；通过训练后的第二判别器以及预测样本图像，确定五损失值，第五损失值指示预测样本图像预测为真实图像的准确性；根据第一损失值、第二损失值以及第五损失值，对初始编码器、初始全局解码器以及初始缺陷解码器进行训练，得到训练后的缺陷解码器、训练后的全局解码器以及训练后的编码器。
可选地，训练模块，还用于根据破损样本图像以及重建图像，计算均绝对值损失值或均方误差损失值，作为第一损失值。
可选地，训练模块，还用于根据破损样本图像，获取第六损失值，第六损失值用于指示目标分布与标准正态分布的匹配度，目标分布通过初始编码器获得的；根据第一损失值、第二损失值以及第五损失值以及第六损失值，对初始编码器、初始全局解码器以及初始缺陷解码器进行训练，得到训练后的缺陷解码器、训练后的全局解码器以及训练后的编码器。
可选地，训练模块，还用于获取针对破损样本图像均值向量和方差向量，均值向量和方差向量是通过初始编码器对破损样本图像处理后获得；根据均值向量和方差向量，计算离散损失值，作为第六损失值。
可选地，确定模块，还用于获取对应目标图像的预置掩码，预置掩码用于指示缺失区域被掩盖；通过预置掩码对缺失区域进行掩盖处理，得到破损图像。
第三方面，本申请实施例提供了一种电子设备，包括处理器以及存储器；一个或多个程序被存储在存储器中并被配置为由处理器执行以实现上述的方法。
第四方面，本申请实施例提供了一种计算机可读存储介质，计算机可读存储介质中存储有程序代码，其中，在程序代码被处理器运行时执行上述的方法。
第五方面，本申请实施例提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。电子设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该电子设备执行上述的方法。
本申请实施例提供的一种图像处理方法、装置、电子设备及存储介质，第一损失值用于表征初始编码器保留上下文信息的能力，第二损失值用于表征初始缺陷解码器生成的图像预测为真实图像的准确度，通过第一损失值和第二损失值对初始编码器进行训练，并通过第一损失值和第二损失值对初始缺陷解码器进行训练，使得训练获得的目标编码器的可以保留足够多的上下文信息、且目标解码器生成的图像为真实图像的可能性较高，从而使得根据目标编码器以及目标解码器获得的填充图像中的缺陷信息与真实的缺陷信息更匹配，进而使得填充后的图像的真实性和还原性较高，提高了通过填充后的图像训练获得的零件检测模型的识别效果。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示出了本申请实施例提出的应用场景的示意图；
图2示出了本申请一个实施例提出的一种图像处理方法的流程图；
图3示出了本申请实施例中一种目标图像的示意图；
图4示出了本申请实施例中一种破损图像的示意图；
图5示出了本申请实施例中一种填充图像的示意图；
图6示出了本申请实施例中一种填充后的图像的示意图；
图7示出了本申请实施例中目标编码器以及目标解码器的一种训练方法的流程图；
图8示出了本申请实施例中目标编码器以及目标解码器的又一种训练方法的流程图；
图9示出了本申请实施例中目标编码器以及目标解码器的再一种训练方法的流程图；
图10示出了本申请实施例中一种真实样本图像的示意图；
图11示出了本申请实施例中一种破损样本图像的示意图；
图12示出了本申请实施例中缺陷图像生成模型的一种训练过程的示意图；
图13示出了本申请实施例中又一种填充图像的示意图；
图14示出了本申请实施例中又一种填充后的图像的示意图；
图15示出了本申请实施例中一种目标图像与填充后的图像的对比图；
图16示出了本申请一个实施例提出的一种图像处理装置的框图；
图17示出了用于执行根据本申请实施例的图像处理方法的电子设备的结构框图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。根据本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
在以下的描述中，所涉及的术语“第一\第二”仅仅是是区别类似的对象，不代表针对对象的特定排序，可以理解地，“第一\第二”在允许的情况下可以互换特定的顺序或先后次序，以使这里描述的本申请实施例能够以除了在这里图示或描述的以外的顺序实施。
除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本申请实施例的目的，不是旨在限制本申请。
需要说明的是：在本文中提及的“多个”是指两个或两个以上。“和/或”描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
本申请公开了一种信息选取方法、装置、电子设备及存储介质，涉及人工智能的机器学习以及云技术等。
人工智能(Artificial Intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
机器学习(Machine Learning,ML)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。
云技术(Cloud technology)是指在广域网或局域网内将硬件、软件、网络等系列资源统一起来，实现数据的计算、储存、处理和共享的一种托管技术。
云技术(Cloud technology)基于云计算商业模式应用的网络技术、信息技术、整合技术、管理平台技术、应用技术等的总称，可以组成资源池，按需所用，灵活便利。云计算技术将变成重要支撑。技术网络系统的后台服务需要大量的计算、存储资源，如视频网站、图片类网站和更多的门户网站。伴随着互联网行业的高度发展和应用，将来每个物品都有可能存在自己的识别标志，都需要传输到后台系统进行逻辑处理，不同程度级别的数据将会分开处理，各类行业数据皆需要强大的系统后盾支撑，只能通过云计算来实现。
云存储(cloud storage)是在云计算概念上延伸和发展出来的一个新的概念，分布式云存储系统(以下简称存储系统)是指通过集群应用、网格技术以及分布存储文件系统等功能，将网络中大量各种不同类型的存储设备(存储设备也称之为存储节点)通过应用软件或应用接口集合起来协同工作，共同对外提供数据存储和业务访问功能的一个存储系统。
目前，存储系统的存储方法为：创建逻辑卷，在创建逻辑卷时，就为每个逻辑卷分配物理存储空间，该物理存储空间可能是某个存储设备或者某几个存储设备的磁盘组成。客户端在某一逻辑卷上存储数据，也就是将数据存储在文件系统上，文件系统将数据分成许多部分，每一部分是一个对象，对象不仅包含数据而且还包含数据标识(ID，ID entity)等额外的信息，文件系统将每个对象分别写入该逻辑卷的物理存储空间，且文件系统会记录每个对象的存储位置信息，从而当客户端请求访问数据时，文件系统能够根据每个对象的存储位置信息让客户端对数据进行访问。
存储系统为逻辑卷分配物理存储空间的过程，具体为：按照对存储于逻辑卷的对象的容量估量(该估量往往相对于实际要存储的对象的容量有很大余量)和独立冗余磁盘阵列(RAID，Redundant Array of Independent Disk)的组别，预先将物理存储空间划分成分条，一个逻辑卷可以理解为一个分条，从而为逻辑卷分配了物理存储空间。
目前，可以通过检测模型对待识别零件(或待识别商品等)的图像进行识别，以确定待识别零件(或待识别商品等)所包括的缺陷信息，例如通过零件检测模型检测零件的裂纹。
但由于零件或商品还未进行量产、物料管理以及缺陷类别的长尾分布等原因，导致难以获取到足够多的具有缺陷的零件或商品，继而获取的训练样本的数量较少，使得根据训练样本训练检测模型的训练过程不充分，导致检测模型的检测效果较差，检测模型的零件过杀率较高以及零件漏检率较高等情况的发生。
零件过杀率：分子为合格(ok)的零件被算法模型错判为不合格(ng)零件的个数。分母为检测的总零件数或者为检测的总合格零件数。零件漏检率：分子为不合格(ng)零件被算法模型错判为合格(ok)零件的个数。分母为检测的总零件数或者为检测的全部不合格零件数目。
为了提高训练样本的数量，可以通过缺陷生成模型，对具有缺失区域的原始图像进行处理，以生成对应缺失区域的、且包括缺陷信息的填充图像，再根据填充图像对具有缺失区域的原始图像进行填充处理，得到填充后的图像，填充后的图像可以作为训练样本，从而实现了对训练样本的扩充。
但是，采用该方法得到的填充图像中的缺陷信息与真实的缺陷信息的匹配度较低，使得根据填充图像以及原始图像得到的填充后的图像的真实性和还原性较差，从而导致通过填充后的图像训练获得的检测模型的识别效果依旧较差。
针对上述问题，发明人提出了本申请的图像处理方法，通过表征初始编码器保留上下文信息的能力的第一损失值以及表征初始缺陷解码器生成的图像预测为真实图像的准确度的第二损失值对初始编码器以及初始缺陷解码器进行训练，使得训练获得的目标编码器的可以保留足够多的上下文信息、且目标解码器生成的图像为真实图像的可能性较高，从而使得根据目标编码器以及目标解码器获得的填充图像中的缺陷信息与真实的缺陷信息更匹配，进而使得填充后的图像的真实性和还原性较高，提高了通过填充后的图像训练获得的零件检测模型的识别效果。
如图1所示，本申请实施例所适用的应用场景包括终端20和服务端10，终端20和服务端10通过有线网络或者无线网络通信连接。终端20可以是智能手机、平板电脑、笔记本电脑、台式电脑、智能家电、车载终端、飞行器、可穿戴设备终端、虚拟现实设备以及其他可以进行页面展示的终端设备，或者运行其他可以调用页面展示应用的其他应用(例如即时通讯应用、购物应用、搜索应用、游戏应用、论坛应用、地图交通应用等)。
服务端10可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN(Content Delivery Network，内容分发网络)、以及大数据和人工智能平台等基础云计算服务的云服务器。服务端10可以用于为终端20运行的应用提供服务。
其中，终端20可以向服务端10发送目标图像，由此，服务端10可以根据该目标图像生成填充后的图像，之后服务端10可以根据填充后的图像训练检测模型。
在一些实施方式中，终端20可以将获取到的目标图像存储于云存储系统中，在执行本申请的图像处理方法时，由服务端10从云存储系统中获取目标图像。
另外，得到填充后的图像之后，可以将填充后的图像存储于云存储系统中，以待填充后的图像数量较多，由服务端10从云存储系统中获取填充后的图像，并根据填充后的图像训练检测模型。
其中，目标图像可以是针对检测对象的、且不包括真实的缺陷信息的图像，目标对象可以是指待进行检测的零件、物品、商品、车辆以及建筑物等，缺陷信息可以是指缺失、裂痕、凹痕以及凸起等。
可选地，目标图像也可以是包括真实的缺陷信息的图像，从而使得生成的填充后的图像既包括真实缺陷信息，也包括生成的缺陷信息。
在另一实施方式中，终端20可以获取目标图像，并由终端20根据目标图像，得到填充后的图像，之后再由终端20根据填充后的图像训练检测模型。
为了方便表述，下述各个实施例中，以图像处理由电子设备执行为例进行说明。
请参阅图2，图2示出了本申请一个实施例提出的一种图像处理方法的流程图，该方法可以应用于电子设备，电子设备可以是图1中的终端20或服务端10，该方法包括：
S110、根据目标图像，确定具有缺失区域的破损图像，缺失区域中像素点的像素值为目标值。
如上，目标图像可以是针对目标对象的图像，目标图像可以包括真实的缺陷信息，目标图像也可以不包括真实的缺陷信息。在本申请中，目标值可以是指零，即缺失区域中像素点的像素值为零。
可以是在检测对象对应的点位设置摄像机，通过摄像机对检测对象进行拍摄，得到目标图像。点位是指检测对象(例如零件、商品、物品以及建筑物等)和摄像机某个固定关系下的拍摄，不同点位意味着摄像机和检测对象的相对位置不同，所呈现的图片(也即目标图像)也不同。一般为了捕捉检测对象可能出现缺陷信息的位置，设置不同的点位来覆盖这些的可能出现缺陷信息的位置。
作为一种实施方式，S110可以包括：根据目标图像的尺寸，确定针对目标图像的选定框，将目标图像中被选定框框选的区域确定为目标区域，再将目标区域的像素值调整为目标值，得到破损图像；也即，破损图像中的缺失区域是将目标图像的目标区域的像素值调整为目标值之后得到的。
针对同一个目标图像，可以随机设定尺寸不同或者位置不同的选定框，从而可以在目标区域中确定出不同的目标区域，使得获得的缺失区域不同，从而得到不同的破损图像，可以实现通过少量目标图像，得到大量破损图像的效果。需要说明的是，随机设定的选定框是针对检测对象的，由于目标图像可能会包括检测对象以外的区域，随机设定的选定框是针对检测对象所在的区域的。
作为一种实施方式，S110可以包括：根据目标图像，确定具有缺失区域的破损图像，包括：获取对应目标图像的预置掩码，预置掩码用于指示缺失区域被掩盖；通过预置掩码对缺失区域进行掩盖处理，得到破损图像。
掩码(mask)是指一张和对应图像等大的图像(一般为二进制的格式)，即，掩码中的一个点对应与该掩码对应图像中的一个像素点；掩码上任意一点的值，表明了对应图像中与该点对应的像素点是否被掩盖(掩盖是指将像素值归零，不掩盖是指保持原像素值)。例如，掩码是二进制的格式，值为1的点代表对应该点的像素值需要掩盖，值为0的点代表对应该点的像素值需要掩盖(0，1代表的意义也可以反过来，本申请不做限定)。
预置掩码可以是指针对目标图像的掩码，预置掩码可以是二进制的格式，预置掩码中为1的点代表对应该点的像素值需要掩盖，值为0的点代表对应该点的像素值需要掩盖，通过预置掩码，将目标图像中与值1对应的像素点的像素值保持不变，将目标图像中与值0对应的像素点的像素值调整为目标值，得到破损图像，也即，此时，破损图像是指通过预置掩码进行掩盖处理过后的图像，又叫Masked image。
如图3和图4所示，图3为目标图像，图4为图3中的目标图像对应的破损图像，图4中的401即是指缺失区域。
可以理解的是，针对同一个目标图像，可以随机设定多种不同的预置掩码(例如值0的点的数量不同或值0的点的位置不同)，来获得不同的破损图像，从而实现根据同一个目标图像，生成多个不同破损图像。需要说明的是，随机设定的预置掩码是针对检测对象的，由于目标图像可能会包括检测对象以外的区域，随机设定的预置掩码是针对检测对象所在的区域的。
S120、将破损图像输入目标编码器，得到编码结果。
S130、将编码结果输入目标解码器，得到填充图像。
其中，填充图像是与缺失区域对应的、且包括缺陷信息的图像，目标编码器是通过第一损失值和第二损失值对初始编码器进行训练获得，目标解码器是通过第一损失值和第二损失值对初始缺陷解码器进行训练获得，第一损失值用于表征初始编码器保留上下文信息的能力，第二损失值用于表征初始缺陷解码器生成的图像预测为真实图像的准确度。
在本实施例中，可以通过包括目标编码器和目标解码器的缺陷图像生成模型，对破损图像进行处理，得到填充图像。可以将破损图像输入目标编码器，得到目标编码器输出的隐空间表示，隐空间表示可以包括破损图像对应的K维(K是超参数，例如K可以是32或64等)均值向量和K维方差向量，并在目标编码器的K维分布中确定K维的噪声向量，通过K维的噪声向量、破损图像对应的K维均值向量和K维方差向量，得到K维的隐藏编码，该K维的隐藏编码作为编码结果。例如K＝3时，均值向量μ＝[0.1,0.05,-0.2]，方差向量σ＝[1.2,0.5,0.8]。
得到编码结果之后，将编码结果输入目标解码器，得到目标解码器输出的填充图像，该填充图像包括生成的缺陷信息，该填充图像与缺失区域对应，用于填充在缺失区域中。
如图5所示，图5为图3所示的目标图像对应的填充图像，填充图像中包括生成的缺陷信息501。
可以获取具有真实的缺陷信息的第一样本图像以及第二样本图像，第二样本图像是将第一样本图像中的第一缺陷区域去除后得到，第一缺陷区域是指第一样本图像中包括真实的缺陷信息的区域。
首先，将第二样本图像输入初始编码器，得到输出的隐空间表示，隐空间表示可以包括第一样本图像对应的K维均值向量和K维方差向量，并在K维标准正态分布中确定K维的噪声向量，通过K维的噪声向量、第一样本图像对应的K维均值向量和K维方差向量，得到K维的隐藏编码，该K维的隐藏编码作为第一样本结果，并根据第一样本结果以及第二样本图像，确定第一损失值。
同时，还可以将第一样本结果输入初始缺陷解码器，得到初始缺陷解码器输出的第二样本结果(第二样本结果是一个图像，用于填充于第二样本图像中对应第一缺陷区域的区域)，将第二样本结果填充于第二样本图像中对应第一缺陷区域的区域，得到填充的样本图像，然后通过判别器(可以是通过的判别器或针对于检测对象的判别器)确定填充的样本图像的判别结果，根据填充的样本图像的判别结果确定第二损失值。
得到第一损失值和第二损失值之后，通过第一损失值和第二损失值对初始缺陷解码器以及初始编码器进行训练，得到初始缺陷解码器对应的目标解码器以及初始编码器对应的目标编码器。
S140、根据填充图像对破损图像的缺失区域进行填充处理，得到填充后的图像。
得到填充图像之后，可以将填充图像填充于缺失区域中，以实现破损图像的缺失区域进行填充处理，得到充后的图像。
需要说明的是，得到的填充图像的尺寸可能与缺失区域的尺寸不同，可以根据缺失区域的尺寸，对填充图像进行尺寸调整，以使填充图像与缺失区域的尺寸相同，再将调整后的填充图像填充于缺失区域中，得到填充后的图像。
如图6所示，图6为图3所示的目标图像对应的填充后的图像，图6中包括生成的缺陷信息601。
作为一种实施方式，得到填充后的图像之后，可以根据填充后的图像训练检测模型，训练获得的检测模型可以用于检测检测对象是否存在缺陷信息。
在本实施例中，第一损失值用于表征初始编码器保留上下文信息的能力，第二损失值用于表征初始缺陷解码器生成的图像预测为真实图像的准确度，通过第一损失值和第二损失值对初始编码器进行训练，并通过第一损失值和第二损失值对初始缺陷解码器进行训练，使得训练获得的目标编码器的可以保留足够多的上下文信息、且目标解码器生成的图像为真实图像的可能性较高，从而使得根据目标编码器以及目标解码器获得的填充图像中的缺陷信息与真实的缺陷信息更匹配，进而使得填充后的图像的真实性和还原性较高，提高了通过填充后的图像训练获得的零件检测模型的识别效果。
请参阅图7，图7示出了本申请实施例中目标编码器以及目标解码器的一种训练方法的流程图，该方法可以应用于电子设备，电子设备可以是图1中的终端20或服务端10，该方法包括：
S210、获取具有真实的缺陷信息的真实样本图像以及破损样本图像。
其中，破损样本图像是将真实样本图像中的样本缺陷区域去除后得到，样本缺陷区域是指真实样本图像中的缺陷区域，缺陷区域(defect area)是指检测对象(例如零件)的缺陷信息对应的外接矩形所包括的内容，也即，缺陷区域是指包括真实的缺陷信息的区域。
在本实施例中，可以获取具有真实的缺陷信息的检测对象，然后对具有真实的缺陷信息的检测对象进行拍摄，得到真实样本图像，并在真实样本图像中确定包括真实的缺陷信息的区域，作为样本缺陷区域，之后将真实样本图像中包括真实的缺陷信息所在的样本缺陷区域去除，得到去除样本缺陷区域的破损样本图像。其中，去除样本缺陷区域可以是指将样本缺陷区域中的像素点的像素值调整为目标值。
根据真实样本图像得到破损样本图像的过程可以参照S110的描述，其中，针对真实样本图像的选定框不再是随机的，其用于框选真实的缺陷信息；针对真实样本图像的掩码也不再是随机的，其用于指示真实的缺陷信息被掩盖。
S220、通过初始编码器，对破损样本图像进行处理，得到样本隐藏编码。
在本申请中，可以配置初始模型，初始模型包括初始编码器、初始缺陷解码器以及初始全局解码器。
可以将破损样本图像依次输入初始编码器，得到样本隐藏编码，其中，初始编码器的处理过程可以包括：将破损样本图像输入初始编码器，得到初始编码器输出的均值向量(可以是K维的均值向量)和方差向量(可以是K维的方差向量)；对均值向量和方差向量进行重构，得到重构后的样本隐藏编码。其中，重构过程可以包括：从初始编码器的分布中确定与方差向量的维度相匹配的噪声向量(也就是指K维的噪声向量)；计算方差向量与噪声向量的乘积；计算乘积与均值向量的和，作为样本隐藏编码。
可以理解的是，上述重构过程可以表述为公式一，公式一如下：
z＝μ+σ∈一
其中，z为样本隐藏编码，∈为噪声向量，μ为破损样本图像对应的均值向量，σ为破损样本图像对应的方差向量。初始编码器的分布可以是接近于标准正态分布的分布。
在本申请中，初始编码器可以是指VAE(Variational Auto-Encoder，变分自编码器)。VAE是一种基于编码器和解码器的生成架构，其与Auto-Encoder的区别在于对于VAE编码器编码的空间用KL loss(离散损失)做了约束，使VAE编码器的分布与一个标准正态分布更加相近，使得VAE编码器得在隐空间中的解释性更强，有了平滑的自然过渡。
S230、将样本隐藏编码输入初始全局解码器，得到初始全局解码器输出的重建图像；将样本隐藏编码输入初始缺陷解码器，得到初始缺陷解码器输出的填充样本图像，填充样本图像与样本缺陷区域对应。
将样本隐藏编码输入初始全局解码器，得到重建图像，重建图像与破损样本图像相对应，重建图像包括与样本缺失区域对应的重建区域，重建区域中的像素点的像素值为目标值。
将样本隐藏编码输入初始缺陷解码器，得到填充样本图像，填充样本图像用于填充于样本缺陷区域，填充样本图像可以包括生成的正常信息以及缺陷信息。其中，初始全局解码器以及初始缺陷解码器可以是通用的解码器，初始全局解码器以及初始缺陷解码器中的参数可以是处于初始状态的。
例如，真实样本图像为零件A对应的拍摄图像B1作为真实样本图像，真实样本图像B1包括样本缺陷区域b1，根据拍摄图像B1得到破损样本图像B,；将破损样本图像B2依次输入初始编码器以及初始全局解码器，得到重建图像B3，重建图像B3包括重建区域b2，重建区域b2与样本缺陷区域b1大小相同，且重建区域b2在重建图像B3中的位置与样本缺陷区域b1在真实样本图像B1中的位置相对应，重建区域b2与样本缺陷区域b1中的像素点的像素值均为目标值，将破损样本图像B2依次输入初始编码器以及初始缺陷解码器，得到填充样本图像B4，填充样本图像B4与真实样本图像B1中的样本缺陷区域b1对应，且填充样本图像B4中的生成的缺陷信息与真实样本图像B1包括的真实的缺陷信息相对应。
S240、根据填充样本图像对破损样本图像的样本缺失区域进行填充处理，得到预测样本图像。
其中，根据填充样本图像对破损样本图像的样本缺失区域进行填充处理，得到预测样本图像的过程，与上文S140中获得填充后的图像的过程类似，此处不再赘述。
S250、根据真实样本图像、破损样本图像、重建图像以及预测样本图像，对初始缺陷解码器、初始全局解码器以及初始编码器进行训练，得到训练后的缺陷解码器、训练后的全局解码器以及训练后的编码器。
得到真实样本图像、破损样本图像、重建图像以及预测样本图像之后，通过真实样本图像、破损样本图像、重建图像以及预测样本图像，确定第一损失值以及第二损失值，通过第一损失值以及第二损失值，对初始模型中的初始缺陷解码器、初始全局解码器以及初始编码器进行训练，得到训练后的缺陷解码器、训练后的全局解码器以及训练后的编码器。
例如，可以通过破损样本图像以及重建图像，确定第一损失值，并获取填充样本图像，通过预置的判别器(预置的判别器可以是通用的判别器，用于确定填充样本图像是否为真实的图像)确定填充样本图像的判别结果，并根据输出的填充样本图像的判别结果，确定第二损失值。
S260、获取训练后的缺陷解码器作为目标解码器，并获取训练后的编码器，作为目标编码器。
对初始模型中的初始缺陷解码器、初始全局解码器以及初始编码器进行训练，得到训练后的缺陷解码器、训练后的全局解码器以及训练后的编码器，获取训练后的缺陷解码器作为目标解码器，并获取训练后的编码器，作为目标编码器，可以将目标编码器和目标解码器合并，作为缺陷图像生成模型。
在本实施例中，引入了全局解码器，使得根据真实样本图像、破损样本图像、重建图像以及预测样本图像，对初始缺陷解码器、初始全局解码器以及初始编码器进行训练，训练过程更加完善且充分，从而使得训练后的缺陷解码器、训练后的全局解码器以及训练后的编码器的编解码效果较好，进而提高了目标解码器以及目标编码器的编解码效果，使得得到的填充后的图像更加准确。
请参阅图8，图8示出了本申请实施例中目标编码器以及目标解码器的又一种训练方法的流程图，该方法可以应用于电子设备，电子设备可以是图1中的终端20或服务端10，该方法包括：
S310、获取具有真实的缺陷信息的真实样本图像以及破损样本图像；通过初始编码器，对破损样本图像进行处理，得到样本隐藏编码；将样本隐藏编码输入初始全局解码器，得到初始全局解码器输出的重建图像；将样本隐藏编码输入初始缺陷解码器，得到初始缺陷解码器输出的填充样本图像；根据填充样本图像对破损样本图像的样本缺失区域进行填充处理，得到预测样本图像。
其中，S310的描述参照上文S210-S240的描述，此处不再赘述。
S320、通过第一判别器，确定针对填充样本图像的判别结果以及针对样本缺陷区域的判别结果；通过第二判别器，确定针对预测样本图像的判别结果以及针对真实样本图像的判别结果。
在本实施例中，初始模型还可以包括第一判别器以及第二判别器，此时，初始模型构成了生成对抗网络：初始编码器、初始缺陷解码器以及初始全局解码器构成生成网络G，第一判别器以及第二判别器构成判别网络D。
可以将填充样本图像输入第一判别器，得到针对填充样本图像的判别结果，针对填充样本图像的判别结果为填充样本图像预测为真实图像的概率或填充样本图像预测为生成图像的概率；可以将样本缺陷区域输入第一判别器，得到针对样本缺陷区域的判别结果，针对样本缺陷区域的判别结果为样本缺陷区域预测为真实图像的概率或填充样本图像预测为生成图像的概率。
可以将填充样本图像输入第二判别器，得到针对预测样本图像的判别结果，针对预测样本图像的判别结果为预测样本图像预测为真实图像的概率或预测样本图像预测为生成图像的概率；可以将真实样本图像输入第二判别器，得到针对真实样本图像的判别结果，针对真实样本图像的判别结果为真实样本图像预测为真实图像的概率或真实样本图像预测为生成图像的概率。
S330、固定初始编码器、初始全局解码器以及初始缺陷解码器的参数；根据填充样本图像的判别结果、样本缺陷区域的判别结果、预测样本图像的判别结果以及真实样本图像的判别结果，对第一判别器以及第二判别器进行训练，得到练后的第一判别器以及训练后的第二判别器。
首先，固定初始编码器、初始全局解码器以及初始缺陷解码器的参数，然后根据填充样本图像的判别结果以及样本缺陷区域的判别结果，对第一判别器训练，得到训练后第一判别器，同时，通过预测样本图像的判别结果以及真实样本图像的判别结果，对第二判别器训练，得到训练后第二判别器。
作为一种实施方式，可以根据填充样本图像的判别结果以及样本缺陷区域的判别结果，确定第三损失值，第三损失值用于指示第一判别器判别的准确性；根据预测样本图像的判别结果以及真实样本图像的判别结果，确定第四损失值，第四损失值用于指示第二判别器判别的准确性；根据第三损失值对第一判别器进行训练，得到训练后的第一判别器；根据第四损失值对第二判别器进行训练，得到训练后的第二判别器。
其中，确定第三损失值以及第四损失值的损失函数参照公式二，公式二如下：
maxDV(D)＝Ex～Pdata(x)[log D(x)]+E∈～P∈(∈)[log(1-D(G(∈)))]二
其中，在V(D)为第三损失值时，D(x)是针对样本缺陷区域的判别结果，D(G(∈))是针对填充样本图像的判别结果，x为样本缺陷区域，Pdata(x)为标准正态分布，P∈(∈)为确定噪声向量∈时通过初始编码器得到的分布；在V(D)为第四损失值时，D(x)是针对真实样本图像的判别结果，D(G(∈))是针对预测样本图像的判别结果，x为真实样本图像。
另外，也可以通过JS散度来确定第三损失值以及第四损失值。
得到第三损失值之后，根据第三损失值对第一判别器的参数进行调整，得到训练后的第一判别器，得到第四损失值之后，根据第四损失值对第二判别器的参数进行调整，得到训练后的第二判别器。
可以是在迭代次数达到预设次数时，停止对第一判别器和第二判别器的训练，得到训练后的第一判别器以及训练后的第二判别器。其中，预设次数可以是基于需求设定的，例如1000次。
也可以是在第一判别器以及第二判别器的判别能力较高时，停止对第一判别器和第二判别器的训练，得到训练后的第一判别器以及训练后的第二判别器，其中，第一判别器的判别能力较高可以是指第一判别器输出的针对生成的图像的判别结果为生成图像的概率超过第一阈值，且，第一判别器输出的针对真实的图像的判别结果为生成图像的概率低于第二阈值，本申请对第一阈值以及第二阈值不做限定；第二判别器的判别能力较高可以是指第二判别器输出的针对生成的图像的判别结果为生成图像的概率超过第三阈值，且，第二判别器输出的针对真实的图像的判别结果为生成图像的概率低于第四阈值，本申请对第三阈值以及第四阈值不做限定。
S340、固定训练后的第一判别器的参数以及训练后的第二判别器的参数；根据训练后的第一判别器、训练后的第二判别器、破损样本图像以及重建图像，对初始缺陷解码器、初始全局解码器以及初始编码器进行训练，得到训练后的缺陷解码器、训练后的全局解码器以及训练后的编码器。
得到训练后的第一判别器的参数以及训练后的第二判别器之后，固定训练后的第一判别器的参数以及训练后的第二判别器的参数，再根据破损样本图像以及重建图像，确定第一损失值以及第二损失值，通过定第一损失值以及第二损失值初始缺陷解码器、初始全局解码器以及初始编码器进行训练，得到训练后的缺陷解码器、训练后的全局解码器以及训练后的编码器。
S350、获取训练后的缺陷解码器作为目标解码器，并获取训练后的编码器，作为目标编码器。
其中，S350的描述参照上文S260的描述，此处不再赘述。
在本实施例中，通过第三损失值和第四损失值，对第一判别器以及第二判别器进行训练，得到练后的第一判别器以及训练后的第二判别器；使得训练后的第一判别器以及训练后的第二判别器的判断准确性较高，从而根据第一判别器以及训练后的第二判别器，对初始缺陷解码器、初始全局解码器以及初始编码器进行训练，得到训练后的缺陷解码器、训练后的全局解码器以及训练后的编码器的准确性较高，提高了目标编码器以及目标解码器的编解码效果和准确性。
请参阅图9，图9示出了本申请实施例中目标编码器以及目标解码器的再一种训练方法的流程图，该方法可以应用于电子设备，电子设备可以是图1中的终端20或服务端10，该方法包括：
S410、获取具有真实的缺陷信息的真实样本图像以及破损样本图像；通过初始编码器，对破损样本图像进行处理，得到样本隐藏编码；将样本隐藏编码输入初始全局解码器，得到初始全局解码器输出的重建图像；将样本隐藏编码输入初始缺陷解码器，得到初始缺陷解码器输出的填充样本图像；根据填充样本图像对破损样本图像的样本缺失区域进行填充处理，得到预测样本图像；通过第一判别器，确定针对填充样本图像的判别结果以及针对样本缺陷区域的判别结果；通过第二判别器，确定针对预测样本图像的判别结果以及针对真实样本图像的判别结果；固定初始编码器、初始全局解码器以及初始缺陷解码器的参数；根据填充样本图像的判别结果、样本缺陷区域的判别结果、预测样本图像的判别结果以及真实样本图像的判别结果，对第一判别器以及第二判别器进行训练，得到练后的第一判别器以及训练后的第二判别器。
S420、根据破损样本图像以及重建图像，获取第一损失值。
可以根据破损样本图像以及重建图像，计算绝对值损失或均方误差损失值，作为第一损失值。
例如，破损样本图像包括100个像素点，重建图像包括100个像素点，获取破损样本图像中的每个初始像素点以及重建图像中与每个初始像素点对应的重建像素点，计算每个初始像素点以及与该初始像素点对应的重建像素点的差，得到100个差值，将100个差值分别做绝对值，再将100个差值的绝对值求和，得到第一损失值。
又如，破损样本图像包括200个像素点，重建图像包括200个像素点，获取破损样本图像中的每个初始像素点以及重建图像中与每个初始像素点对应的重建像素点，计算每个初始像素点以及与该初始像素点对应的重建像素点的差，得到100个差值，将100个差值分别做平方，得到100个平方结果，再将100个平方结果求和，得到第一损失值。
S430、获取填充样本图像，并根据训练后的第一判别器以及填充样本图像，确定第二损失值；通过训练后的第二判别器以及预测样本图像，确定五损失值。
其中，第五损失值指示预测样本图像预测为真实图像的准确性。
可以将填充样本图像输入训练后的第一判别器，得到训练后的第一判别器输出的判别结果，训练后的第一判别器输出的判别结果为填充样本图像预测为真实图像的概率或填充样本图像预测为生成图像的概率。根据训练后的第一判别器输出的判别结果，确定第二损失值。
可以将预测样本图像输入训练后的第二判别器，得到训练后的第二判别器输出的判别结果，训练后的第二判别器输出的判别结果为预测样本图像预测为真实图像的概率或预测样本图像预测为生成图像的概率。根据训练后的第二判别器输出的判别结果，确定第五损失值。
其中，确定第二损失值和第五损失值的损失函数可以参照公式三，公式三如下：
minGV(G)＝E∈～P∈(∈)[log(1-D(G(∈)))]三
其中，V(G)为第二损失值时，G(∈)为训练后的第一判别器输出的填充样本图像的判别结果；V(G)为第五损失值时，G(∈)为训练后的第二判别器输出的预测样本图像的判别结果。
另外，也可以通过JS散度来计算第二损失值和第五损失值。
需要说明的是，在本实施例中，确定第二损失值的填充样本图像可以是之前用于训练第一判别器的图像，也可以是根据新的破损样本图像得到的；同理，确定第五损失值的预测样本图像可以是之前用于训练第二判别器的图像，也可以是根据新的破损样本图像得到的。
S440、根据第一损失值、第二损失值以及第五损失值，对初始编码器、初始全局解码器以及初始缺陷解码器进行训练，得到训练后的缺陷解码器、训练后的全局解码器以及训练后的编码器。
得到第一损失值、第二损失值以及第五损失值之后，通过第一损失值、第二损失值以及第五损失值，对初始编码器、初始全局解码器以及初始缺陷解码器进行训练，得到训练后的缺陷解码器、训练后的全局解码器以及训练后的编码器，训练后的缺陷解码器、训练后的全局解码器以及训练后的编码器具有较好的编解码能力。
作为一种实施方式，S440可以包括：根据破损样本图像，获取第六损失值，第六损失值用于指示目标分布与标准正态分布的匹配度，目标分布通过初始编码器获得的；根据第一损失值、第二损失值以及第五损失值以及第六损失值，对初始编码器、初始全局解码器以及初始缺陷解码器进行训练，得到训练后的缺陷解码器、训练后的全局解码器以及训练后的编码器。
其中，根据破损样本图像，获取第六损失值可以包括：获取针对破损样本图像均值向量和方差向量，均值向量和方差向量是通过初始编码器对破损样本图像处理后获得；根据均值向量和方差向量，计算离散损失值，作为第六损失值。
其中，根据破损样本图像的均值向量和方差向量，计算第六损失值的过程参照公式四，公式四如下：
其中，Vc为第六损失值，i为n个破损样本图像中的第i个破损样本图像，σi破损样本图像i的方差向量，μi破损样本图像i的均值向量。
在本申请中，目标编码器部分最主要的目标是为了确定缺陷信息的分布，即缺陷信息的形态必须和上下文信息相匹配，使得后续生成的缺陷信息能够和周边不是缺陷信息的部分相匹配，符合零件的实际构造，而引入表征初始编码器保留上下文信息的能力第一损失值可好的实现这种约束。
第二损失值实际是基于局部图像(填充样本图像)确定的，也叫做局部对抗损失。用局部对抗损失来约束，使得生成的填充样本图像与原真实样本图像的样本缺失区域较好的匹配，从而实现对初始缺陷编码器的约束。
第五损失值是基于整个图像(预测样本图像)确定的，也叫做全局对抗损失，用全局对抗损失来约束，使得生成的填充样本图像与原破损样本图像的边缘部分衔接更加自然，从而实现对初始缺陷编码器的约束。
同时，引入第六损失值来约束初始编码器的分布，使得初始编码器的分布更加贴近于标准正态分布，实现对初始编码器的约束。
得到第一损失值、第二损失值以及第五损失值以及第六损失值之后，可以对第一损失值、第二损失值以及第五损失值以及第六损失值求和，得到最终损失值，在通过最终损失值对初始编码器、初始全局解码器以及初始缺陷解码器进行训练，得到训练后的缺陷解码器、训练后的全局解码器以及训练后的编码器。
可以是在迭代次数达到设定次数时，停止对初始编码器、初始全局解码器以及初始缺陷解码器进行训练，得到训练后的缺陷解码器、训练后的全局解码器以及训练后的编码器。其中，设定次数可以是基于需求设定的，例如1000次。
也可以是在初始编码器、初始全局解码器以及初始缺陷解码器的编解码能力较高时，停止对初始编码器、初始全局解码器以及初始缺陷解码器进行训练，得到训练后的缺陷解码器、训练后的全局解码器以及训练后的编码器。其中，初始编码器、初始全局解码器以及初始缺陷解码器的编解码能力较高可以是指：初始缺陷编码器输出的填充样本图像被训练后的第一判别器预测为真实图像的概率达到第五阈值，且，初始全局编码器输出的预测样本图像被训练后的第二判别器预测为真实图像的概率达到第六阈值；其中，本申请对第五阈值以及第六阈值不做限定。
S450、获取训练后的缺陷解码器作为目标解码器，并获取训练后的编码器，作为目标编码器。
其中，S450的描述参照上文S260的描述，此处不再赘述。
在本实施例中，除了引入第一损失值以及第二损失值，还引入指示预测样本图像预测为真实图像的准确性的第五损失值，对初始编码器、初始全局解码器以及初始缺陷解码器进行训练，使得训练后的缺陷解码器、训练后的全局解码器以及训练后的编码器的编解码能力较高。同时，还引入了指示标准正态分布与通过初始编码器获得的分布的匹配度的第六损失值，使得训练得后的编码器的隐空间更加规范，提高了训练后的编码器的编码能力。
为了更加清楚的解释本申请的技术方案，下面结合一示例性场景对本申请的图像处理方法进行解释，在该场景中，检测对象为零件。
1、模型训练过程
可以对具有真实的缺陷信息的零件进行拍摄，将得到的拍摄图像作为真实样本图像T1，真实样本图像如图10所示，其包括真实的缺陷信息1001。在真实样本图像中确定出样本缺陷区域T3，并将样本缺陷区域T3去除，得到破损样本图像T2，破损样本图像T2如图11所示。
如图12所示，将破损样本图像T2输入初始编码器1201，得到针对破损样本图像T2的均值向量和方差向量，从初始编码器的分布中确定噪声向量，并根据均值向量、方差向量与噪声向量，得到样本隐藏编码T4；然后，将样本隐藏编码T4输入初始全局解码器1202，得到重构图像T5，同时，将样本隐藏编码T3输入初始缺陷解码器1203，得到填充样本图像T6，可以根据填充样本图像T6对破损样本图像T2的样本缺失区域T3进行填充处理，得到预测样本图像T7。
此时，可以固定初始编码器1201、初始全局解码器1202以及初始缺陷解码器1203的参数，通过第一判别器1204，确定针对填充样本图像的判别结果以及针对样本缺陷区域的判别结果，并根据填充样本图像的判别结果以及样本缺陷区域的判别结果，确定第三损失值(按照公式二计算)；通过第二判别器1205，确定针对预测样本图像的判别结果以及针对真实样本图像的判别结果，并根据预测样本图像的判别结果以及真实样本图像的判别结果，确定第四损失值(按照公式二计算)；根据第三损失值对第一判别器1204进行训练，得到训练后的第一判别器；根据第四损失值对第二判别器1205进行训练，得到训练后的第二判别器。
得到训练后的第一判别器以及训练后的第二判别器，固定训练后的第一判别器的参数以及训练后的第二判别器的参数，根据破损样本图像T2以及重建图像T5，计算均绝对值损失值或均方误差损失值，得到第一损失值；通过训练后的第一判别器确定填充样本图像T6的判别结果，根据训练后的第一判别器针对填充样本图像T6的判别结果，确定第二损失值(按照公式三计算)；通过训练后的第二判别器，确定预测样本图像T8的判别结果，根据训练后的第二判别器针对预测样本图像T7的判别结果，确定第五损失值(按照公式三计算)；根据破损样本图像T2，通过离散损失值计算方法(公式四)，获取第六损失值。
得到第一损失值、第二损失值、第五损失值以及第六损失值之后，计算第一损失值、第二损失值、第五损失值以及第六损失值之和，作为最终损失值，通过最终损失值对初始编码器、初始全局解码器以及初始缺陷解码器进行训练，得到训练后的缺陷解码器、训练后的全局解码器以及训练后的编码器，训练结束后，将获取训练后的缺陷解码器作为目标解码器，并获取训练后的编码器，作为目标编码器，并将目标编码器和目标解码器进行合并，得到缺陷图像生成模型。
2、填充后的图像获得过程
可以获取真实样本图像T1作为目标图像，如图10所示，并将样本缺陷区域T3作为缺失区域，从而得到破损图像T8，此时，破损图像T8与上述样本破损图像T2相同，如图11所示。
将样本破损图像输入目标编码器，得到目标编码器输出的隐空间表示，隐空间表示可以包括破损图像对应的K维均值向量和K维方差向量，并在目标编码器的K维分布中确定K维的噪声向量，通过K维的噪声向量、破损图像对应的K维均值向量和K维方差向量，得到K维的隐藏编码，该K维的隐藏编码作为编码结果。
得到编码结果之后，将编码结果输入目标解码器，得到目标解码器输出的填充图像T9，如图13所示，该填充图像包括生成的缺陷信息1301，该填充后的图像与缺失区域对应，用于填充在缺失区域中。
之后，将根据填充图像T9对破损图像T8的缺失区域进行填充处理，得到填充后的图像，填充后的图像如图14所示，其包括生成的缺陷信息1301，生成的缺陷信息1301与目标图像中真实的缺陷信息1001相近，表明填充后的图像与原目标图像相似度较高，填充后的图像还原性和真实性较高。
在另一场景中，获取包括真实的缺陷信息的目标图像，该目标图像如图15中的a所示，真实的缺陷信息为1501，真实的缺陷信息为一个裂纹，根据本申请的方法对包括真实的缺陷信息的目标图像进行处理，得到填充后的图像，填充后的图像如图15中的b所示，填充后的图像包括生成的缺陷信息1502，生成的缺陷信息也为一个裂纹。真实的缺陷信息1501与生成的缺陷信息1502相似度极高，填充后的图像还原性和真实性较高。
请参阅图16，图16示出了本申请一个实施例提出的一种图像处理装置的框图，所述装置1100包括：
确定模块1110，根据目标图像，确定具有缺失区域的破损图像，缺失区域中像素点的像素值为目标值；
编码模块1120，用于将破损图像输入目标编码器，得到编码结果；
解码模块1130，用于将编码结果输入目标解码器，得到填充图像，填充图像是与缺失区域对应的、且包括缺陷信息的图像，目标编码器是通过第一损失值和第二损失值对初始编码器进行训练获得，目标解码器是通过第一损失值和第二损失值对初始缺陷解码器进行训练获得，第一损失值用于表征初始编码器保留上下文信息的能力，第二损失值用于表征初始缺陷解码器生成的图像预测为真实图像的准确度；
填充模块1140，用于根据填充图像对破损图像的缺失区域进行填充处理，得到填充后的图像。
可选地，装置还包括训练模块，用于获取具有真实的缺陷信息的真实样本图像以及破损样本图像，破损样本图像是将真实样本图像中的样本缺陷区域去除后得到，样本缺陷区域是指真实样本图像中包括真实的缺陷信息的区域；通过初始编码器，对破损样本图像进行处理，得到样本隐藏编码；将样本隐藏编码输入初始全局解码器，得到初始全局解码器输出的重建图像；将样本隐藏编码输入初始缺陷解码器，得到初始缺陷解码器输出的填充样本图像，填充样本图像与样本缺陷区域对应；根据填充样本图像对破损样本图像的样本缺失区域进行填充处理，得到预测样本图像；根据真实样本图像、破损样本图像、重建图像以及预测样本图像，对初始缺陷解码器、初始全局解码器以及初始编码器进行训练，得到训练后的缺陷解码器、训练后的全局解码器以及训练后的编码器；获取训练后的缺陷解码器作为目标解码器，并获取训练后的编码器，作为目标编码器。
可选地，训练模块，还用于将破损样本图像输入初始编码器，得到初始编码器输出的均值向量和方差向量；对均值向量和方差向量进行重构，得到重构后的样本隐藏编码。
可选地，训练模块，还用于从初始编码器的分布中确定噪声向量，噪声向量的维度与方差向量的维度相匹配；计算方差向量与噪声向量的乘积；计算乘积与均值向量的和，作为样本隐藏编码。
可选地，训练模块，还用于通过第一判别器，确定针对填充样本图像的判别结果以及针对样本缺陷区域的判别结果；通过第二判别器，确定针对预测样本图像的判别结果以及针对真实样本图像的判别结果；固定初始编码器、初始全局解码器以及初始缺陷解码器的参数；根据填充样本图像的判别结果、样本缺陷区域的判别结果、预测样本图像的判别结果以及真实样本图像的判别结果，对第一判别器以及第二判别器进行训练，得到练后的第一判别器以及训练后的第二判别器；固定训练后的第一判别器的参数以及训练后的第二判别器的参数；根据训练后的第一判别器、训练后的第二判别器、破损样本图像以及重建图像，对初始缺陷解码器、初始全局解码器以及初始编码器进行训练，得到训练后的缺陷解码器、训练后的全局解码器以及训练后的编码器。
可选地，训练模块，还用于根据填充样本图像的判别结果以及样本缺陷区域的判别结果，确定第三损失值，第三损失值用于指示第一判别器判别的准确性；根据预测样本图像的判别结果以及真实样本图像的判别结果，确定第四损失值，第四损失值用于指示第二判别器判别的准确性；根据第三损失值对第一判别器进行训练，得到训练后的第一判别器；根据第四损失值对第二判别器进行训练，得到训练后的第二判别器。
可选地，训练模块，还用于根据破损样本图像以及重建图像，获取第一损失值；获取填充样本图像，并根据训练后的第一判别器以及填充样本图像，确定第二损失值；通过训练后的第二判别器以及预测样本图像，确定五损失值，第五损失值指示预测样本图像预测为真实图像的准确性；根据第一损失值、第二损失值以及第五损失值，对初始编码器、初始全局解码器以及初始缺陷解码器进行训练，得到训练后的缺陷解码器、训练后的全局解码器以及训练后的编码器。
可选地，训练模块，还用于根据破损样本图像以及重建图像，计算均绝对值损失值或均方误差损失值，作为第一损失值。
可选地，训练模块，还用于根据破损样本图像，获取第六损失值，第六损失值用于指示目标分布与标准正态分布的匹配度，目标分布通过初始编码器获得的；根据第一损失值、第二损失值以及第五损失值以及第六损失值，对初始编码器、初始全局解码器以及初始缺陷解码器进行训练，得到训练后的缺陷解码器、训练后的全局解码器以及训练后的编码器。
可选地，训练模块，还用于获取针对破损样本图像均值向量和方差向量，均值向量和方差向量是通过初始编码器对破损样本图像处理后获得；根据均值向量和方差向量，计算离散损失值，作为第六损失值。
可选地，确定模块1110，还用于获取对应目标图像的预置掩码，预置掩码用于指示缺失区域被掩盖；通过预置掩码对缺失区域进行掩盖处理，得到破损图像。
需要说明的是，本申请中装置实施例与前述方法实施例是相互对应的，装置实施例中具体的原理可以参见前述方法实施例中的内容，此处不再赘述。
图17示出了用于执行根据本申请实施例的图像处理方法的电子设备的结构框图。该电子设备可以是图1中的终端20或服务端10等，需要说明的是，图17示出的电子设备的计算机系统1200仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。
如图17所示，计算机系统1200包括中央处理单元(Central Processing Unit，CPU)1201，其可以根据存储在只读存储器(Read-Only Memory，ROM)1202中的程序或者从存储部分1208加载到随机访问存储器(Random Access Memory，RAM)1203中的程序而执行各种适当的动作和处理，例如执行上述实施例中的方法。在RAM 1203中，还存储有系统操作所需的各种程序和数据。CPU 1201、ROM 1202以及RAM 1203通过总线1204彼此相连。输入/输出(Input/Output，I/O)接口1205也连接至总线1204。
以下部件连接至I/O接口1205：包括键盘、鼠标等的输入部分1206；包括诸如阴极射线管(Cathode Ray Tube，CRT)、液晶显示器(Liquid Crystal Display，LCD)等以及扬声器等的输出部分1207；包括硬盘等的存储部分1208；以及包括诸如LAN(Local AreaNetwork，局域网)卡、调制解调器等的网络接口卡的通信部分1209。通信部分1209经由诸如因特网的网络执行通信处理。驱动器1210也根据需要连接至I/O接口1205。可拆卸介质1211，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器1210上，以使于从其上读出的计算机程序根据需要被安装入存储部分1208。
特别地，根据本申请的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本申请的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分1209从网络上被下载和安装，和/或从可拆卸介质1211被安装。在该计算机程序被中央处理单元(CPU)1201执行时，执行本申请的系统中限定的各种功能。
需要说明的是，本申请实施例所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(Erasable Programmable Read Only Memory，EPROM)、闪存、光纤、便携式紧凑磁盘只读存储器(Compact Disc Read-Only Memory，CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、有线等等，或者上述的任意合适的组合。
附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。其中，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本申请实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现，所描述的单元也可以设置在处理器中。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定。
作为另一方面，本申请还提供了一种计算机可读存储介质，该计算机可读介质可以是上述实施例中描述的电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。上述计算机可读存储介质承载计算机可读指令，当该计算机可读存储指令被处理器执行时，实现上述任一实施例中的方法。
根据本申请实施例的一个方面，提供了计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。电子设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该电子设备执行上述任一实施例中的方法。
应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本申请的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本申请实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台电子设备(可以是个人计算机、服务器、触控终端、或者网络设备等)执行根据本申请实施方式的方法。
本领域技术人员在考虑说明书及实践这里公开的实施方式后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。
最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不驱使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (14)

1.一种图像处理方法，其特征在于，所述方法包括：
根据目标图像，确定具有缺失区域的破损图像，所述缺失区域中像素点的像素值为目标值；
将所述破损图像输入目标编码器，得到编码结果；
将所述编码结果输入目标解码器，得到填充图像，所述填充图像是与所述缺失区域对应的、且包括缺陷信息的图像，所述目标编码器是通过第一损失值和第二损失值对初始编码器进行训练获得，所述目标解码器是通过所述第一损失值和所述第二损失值对初始缺陷解码器进行训练获得，所述第一损失值用于表征所述初始编码器保留上下文信息的能力，所述第二损失值用于表征所述初始缺陷解码器生成的图像预测为真实图像的准确度；
根据所述填充图像对所述破损图像的缺失区域进行填充处理，得到填充后的图像。
2.根据权利要求1所述的方法，其特征在于，所述目标编码器以及所述目标解码器的训练方法，包括：
获取具有真实的缺陷信息的真实样本图像以及破损样本图像，所述破损样本图像是将所述真实样本图像中的样本缺陷区域去除后得到，所述样本缺陷区域是指所述真实样本图像中包括所述真实的缺陷信息的区域；
通过所述初始编码器，对所述破损样本图像进行处理，得到样本隐藏编码；
将所述样本隐藏编码输入初始全局解码器，得到所述初始全局解码器输出的重建图像；
将所述样本隐藏编码输入所述初始缺陷解码器，得到所述初始缺陷解码器输出的填充样本图像，所述填充样本图像与所述样本缺陷区域对应；
根据所述填充样本图像对所述破损样本图像的样本缺失区域进行填充处理，得到预测样本图像；
根据所述真实样本图像、所述破损样本图像、所述重建图像以及所述预测样本图像，对所述初始缺陷解码器、所述初始全局解码器以及所述初始编码器进行训练，得到训练后的缺陷解码器、训练后的全局解码器以及训练后的编码器；
获取所述训练后的缺陷解码器作为目标解码器，并获取所述训练后的编码器，作为所述目标编码器。
3.根据权利要求2所述的方法，其特征在于，所述通过所述初始编码器，对所述破损样本图像进行处理，得到样本隐藏编码，包括：
将所述破损样本图像输入所述初始编码器，得到所述初始编码器输出的均值向量和方差向量；
对所述均值向量和所述方差向量进行重构，得到重构后的样本隐藏编码。
4.根据权利要求3所述的方法，其特征在于，所述对所述均值向量和所述方差向量进行重构，得到重构后的样本隐藏编码，包括：
从所述初始编码器的分布中确定噪声向量，所述噪声向量的维度与所述方差向量的维度相匹配；
计算所述方差向量与所述噪声向量的乘积；
计算所述乘积与所述均值向量的和，作为所述样本隐藏编码。
5.根据权利要求2所述的方法，其特征在于，所述根据所述真实样本图像、所述破损样本图像、所述重建图像以及所述预测样本图像，对所述初始缺陷解码器、所述初始全局解码器以及所述初始编码器进行训练，得到训练后的缺陷解码器、训练后的全局解码器以及训练后的编码器，包括：
通过第一判别器，确定针对所述填充样本图像的判别结果以及针对所述样本缺陷区域的判别结果；
通过第二判别器，确定针对所述预测样本图像的判别结果以及针对所述真实样本图像的判别结果；
固定所述初始编码器、所述初始全局解码器以及所述初始缺陷解码器的参数；
根据所述填充样本图像的判别结果、所述样本缺陷区域的判别结果、所述预测样本图像的判别结果以及所述真实样本图像的判别结果，对所述第一判别器以及所述第二判别器进行训练，得到练后的第一判别器以及训练后的第二判别器；
固定所述训练后的第一判别器的参数以及训练后的第二判别器的参数；
根据所述训练后的第一判别器、所述训练后的第二判别器、破损样本图像以及所述重建图像，对所述初始缺陷解码器、所述初始全局解码器以及所述初始编码器进行训练，得到训练后的缺陷解码器、训练后的全局解码器以及训练后的编码器。
6.根据权利要求5所述的方法，其特征在于，所述根据所述填充样本图像的判别结果、所述样本缺陷区域的判别结果、所述预测样本图像的判别结果以及所述真实样本图像的判别结果，对所述第一判别器以及所述第二判别器进行训练，得到练后的第一判别器以及训练后的第二判别器，包括：
根据所述填充样本图像的判别结果以及所述样本缺陷区域的判别结果，确定第三损失值，所述第三损失值用于指示所述第一判别器判别的准确性；
根据所述预测样本图像的判别结果以及所述真实样本图像的判别结果，确定第四损失值，所述第四损失值用于指示所述第二判别器判别的准确性；
根据所述第三损失值对所述第一判别器进行训练，得到训练后的第一判别器；
根据所述第四损失值对所述第二判别器进行训练，得到训练后的第二判别器。
7.根据权利要求5所述的方法，其特征在于，所述根据所述训练后的第一判别器、所述训练后的第二判别器、破损样本图像以及所述重建图像，对所述初始缺陷解码器、所述初始全局解码器以及所述初始编码器进行训练，得到训练后的缺陷解码器、训练后的全局解码器以及训练后的编码器，包括：
根据所述破损样本图像以及所述重建图像，获取所述第一损失值；
获取所述填充样本图像，并根据训练后的第一判别器以及所述填充样本图像，确定第二损失值；
通过所述训练后的第二判别器以及所述预测样本图像，确定五损失值，所述第五损失值指示所述预测样本图像预测为真实图像的准确性；
根据所述第一损失值、所述第二损失值以及所述第五损失值，对所述初始编码器、所述初始全局解码器以及所述初始缺陷解码器进行训练，得到训练后的缺陷解码器、训练后的全局解码器以及训练后的编码器。
8.根据权利要求7所述的方法，其特征在于，所述根据所述破损样本图像以及所述重建图像，获取所述第一损失值，包括：
根据所述破损样本图像以及所述重建图像，计算均绝对值损失值或均方误差损失值，作为所述第一损失值。
9.根据权利要求7所述的方法，其特征在于，所述根据所述第一损失值、所述第二损失值以及所述第五损失值，对所述初始编码器、所述初始全局解码器以及所述初始缺陷解码器进行训练，得到训练后的缺陷解码器、训练后的全局解码器以及训练后的编码器，包括：
根据所述破损样本图像，获取第六损失值，所述第六损失值用于指示目标分布与标准正态分布的匹配度，所述目标分布通过所述初始编码器获得的；
根据所述第一损失值、所述第二损失值以及所述第五损失值以及所述第六损失值，对所述初始编码器、所述初始全局解码器以及所述初始缺陷解码器进行训练，得到训练后的缺陷解码器、训练后的全局解码器以及训练后的编码器。
10.根据权利要求9所述的方法，其特征在于，所述根据所述破损样本图像，获取第六损失值，包括：
获取针对所述破损样本图像均值向量和方差向量，所述均值向量和所述方差向量是通过所述初始编码器对所述破损样本图像处理后获得；
根据所述均值向量和所述方差向量，计算离散损失值，作为所述第六损失值。
11.根据权利要求1所述的方法，其特征在于，所述根据目标图像，确定具有缺失区域的破损图像，包括：
获取对应所述目标图像的预置掩码，所述预置掩码用于指示所述缺失区域被掩盖；
通过所述预置掩码对所述缺失区域进行掩盖处理，得到所述破损图像。
12.一种图像处理装置，其特征在于，所述装置包括：
确定模块，根据目标图像，确定具有缺失区域的破损图像，所述缺失区域中像素点的像素值为目标值；
编码模块，用于将所述破损图像输入目标编码器，得到编码结果；
解码模块，用于将所述编码结果输入目标解码器，得到填充图像，所述填充图像是与所述缺失区域对应的、且包括缺陷信息的图像，所述目标编码器是通过第一损失值和第二损失值对初始编码器进行训练获得，所述目标解码器是通过所述第一损失值和所述第二损失值对初始缺陷解码器进行训练获得，所述第一损失值用于表征所述初始编码器保留上下文信息的能力，所述第二损失值用于表征所述初始缺陷解码器生成的图像预测为真实图像的准确度；
填充模块，用于根据所述填充图像对所述破损图像的缺失区域进行填充处理，得到填充后的图像。
13.一种电子设备，其特征在于，包括：
一个或多个处理器；
存储器；
一个或多个应用程序，其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序配置用于执行如权利要求1-11中任一项所述的方法。
14.一种计算机可读取存储介质，其特征在于，所述计算机可读取存储介质中存储有程序代码，所述程序代码可被处理器调用执行如权利要求1-11中任一项所述的方法。
CN202211407353.4A 2022-11-10 2022-11-10 图像处理方法、装置、电子设备及存储介质 Pending CN116977247A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211407353.4A CN116977247A (zh) 2022-11-10 2022-11-10 图像处理方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211407353.4A CN116977247A (zh) 2022-11-10 2022-11-10 图像处理方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN116977247A true CN116977247A (zh) 2023-10-31

Family

ID=88477221

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211407353.4A Pending CN116977247A (zh) 2022-11-10 2022-11-10 图像处理方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN116977247A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117556267A (zh) * 2024-01-12 2024-02-13 闪捷信息科技有限公司 缺失样本数据填充方法、装置、存储介质和电子设备

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117556267A (zh) * 2024-01-12 2024-02-13 闪捷信息科技有限公司 缺失样本数据填充方法、装置、存储介质和电子设备
CN117556267B (zh) * 2024-01-12 2024-04-02 闪捷信息科技有限公司 缺失样本数据填充方法、装置、存储介质和电子设备

Similar Documents

Publication Publication Date Title
CN111241989B (zh) 图像识别方法及装置、电子设备
CN111754596B (zh) 编辑模型生成、人脸图像编辑方法、装置、设备及介质
US20200117906A1 (en) Space-time memory network for locating target object in video content
WO2022105125A1 (zh) 图像分割方法、装置、计算机设备及存储介质
CN111222500B (zh) 一种标签提取方法及装置
CN111898696A (zh) 伪标签及标签预测模型的生成方法、装置、介质及设备
CN111709408A (zh) 图像真伪检测方法和装置
CN111275784B (zh) 生成图像的方法和装置
CN111078940A (zh) 图像处理方法、装置、计算机存储介质及电子设备
CN111488810A (zh) 人脸识别方法、装置、终端设备及计算机可读介质
CN114627412A (zh) 基于误差重构实现无监督深度伪造视频检测处理的方法、装置、处理器及其计算机存储介质
CN117217368A (zh) 预测模型的训练方法、装置、设备、介质及程序产品
CN116977247A (zh) 图像处理方法、装置、电子设备及存储介质
CN114972016A (zh) 图像处理方法、装置、计算机设备、存储介质及程序产品
CN114359775A (zh) 关键帧检测方法、装置、设备及存储介质、程序产品
Zou et al. 360$^{\circ} $ Image Saliency Prediction by Embedding Self-Supervised Proxy Task
CN115601759A (zh) 端到端文本识别方法、装置、设备及存储介质
CN112052863B (zh) 一种图像检测方法及装置、计算机存储介质、电子设备
CN115018734A (zh) 视频修复方法和视频修复模型的训练方法、装置
CN114677611A (zh) 数据识别方法、存储介质及设备
CN113542527A (zh) 一种人脸图像传输方法、装置、电子设备及存储介质
CN116704588B (zh) 面部图像的替换方法、装置、设备及存储介质
Tan et al. BSIRNet: A road extraction network with bidirectional spatial information reasoning
CN117557689B (zh) 图像处理方法、装置、电子设备及存储介质
US20230298326A1 (en) Image augmentation method, electronic device and readable storage medium

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination