CN113379627B - 图像增强模型的训练方法和对图像进行增强的方法 - Google Patents

图像增强模型的训练方法和对图像进行增强的方法 Download PDF

Info

Publication number
CN113379627B
CN113379627B CN202110634868.7A CN202110634868A CN113379627B CN 113379627 B CN113379627 B CN 113379627B CN 202110634868 A CN202110634868 A CN 202110634868A CN 113379627 B CN113379627 B CN 113379627B
Authority
CN
China
Prior art keywords
image
value
enhanced
model
network model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110634868.7A
Other languages
English (en)
Other versions
CN113379627A (zh
Inventor
束长勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN202110634868.7A priority Critical patent/CN113379627B/zh
Publication of CN113379627A publication Critical patent/CN113379627A/zh
Application granted granted Critical
Publication of CN113379627B publication Critical patent/CN113379627B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本公开提供了一种图像增强模型的训练方法和对图像进行增强的方法、装置、设备和存储介质，涉及人工智能技术领域，具体涉及计算机视觉和深度学习技术领域，可应用于图像处理场景下。图像增强模型的训练方法包括：针对当前训练轮次，以样本图像分别作为教师网络模型和学生网络模型的输入，分别获得第一增强图像和第二增强图像；基于第一增强图像和第二增强图像对学生网络模型进行训练，获得针对当前训练轮次的训练后学生网络模型；以及基于针对当前轮次的训练后学生网络模型参数的第一取值和前一训练轮次确定的图像增强模型参数的第二取值，确定当前训练轮次中图像增强模型参数的取值。其中，图像增强模型的初始模型与学生网络模型的初始模型相同。

Description

图像增强模型的训练方法和对图像进行增强的方法
技术领域
本公开涉及人工智能技术领域，具体涉及计算机视觉和深度学习技术领域，可应用于图像处理场景下。
背景技术
随着电子技术的发展，将模糊图像变为清晰图像的技术在安防、摄像等领域得到了广泛的应用。该将模糊图像变为清晰图像的技术一般对电子设备的处理效率要求很高，需要在云端部署很大的算力。由于高处理效率的要求，通常难以实现对图像的实时处理，且无法在终端设备等处理效率低的设备上部署该技术。
发明内容
提供了一种便于降低算力要求的图像增强模型的训练方法和对图像进行增强的方法、装置、设备和存储介质。
根据本公开的一个方面，提供了一种图像增强模型的训练方法，包括：针对当前训练轮次：以样本图像分别作为教师网络模型和学生网络模型的输入，分别获得第一增强图像和第二增强图像；基于第一增强图像和第二增强图像，对学生网络模型进行训练，获得针对当前训练轮次的训练后学生网络模型；以及基于针对当前训练轮次的训练后学生网络模型的参数的第一取值和前一训练轮次确定的图像增强模型的参数的第二取值，确定当前训练轮次中图像增强模型的参数的取值，其中，图像增强模型的初始模型与学生网络模型的初始模型相同。
根据本公开的另一个方面，提供了一种对图像进行增强的方法，包括：将待增强图像输入图像增强模型；以及采用图像增强模型对待增强图像进行处理，获得待增强图像的第三增强图像，其中，图像增强模型是上述的图像增强模型的训练方法训练的。
根据本公开的另一个方面，提供了一种图像增强模型的训练装置，包括：增强图像获得模块，用于针对当前训练轮次，以样本图像分别作为教师网络模型和学生网络模型的输入，分别获得第一增强图像和第二增强图像；模型训练模块，用于基于第一增强图像和第二增强图像，对学生网络模型进行训练，获得针对当前训练轮次的训练后学生网络模型；以及参数取值确定模块，用于基于针对当前训练轮次的训练后学生网络模型的参数的第一取值和前一训练轮次确定的图像增强模型的参数的第二取值，确定当前训练轮次中图像增强模型的参数的取值。其中，图像增强模型的初始模型与学生网络模型的初始模型相同。
根据本公开的另一个方面，提供了一种对图像进行增强的装置，包括：图像输入模块，用于将待增强图像输入图像增强模型；以及图像增强模块，用于采用图像增强模型对待增强图像进行处理，获得待增强图像的第三增强图像，其中，图像增强模型是采用上述的图像增强模型的训练装置训练的。
根据本公开的另一个方面，提供了一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行本公开提供的图像增强模型的训练方法和对图像进行增强的方法。
根据本公开的另一个方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，计算机指令用于使计算机执行本公开提供的图像增强模型的训练方法和对图像进行增强的方法。
根据本公开的另一个方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现本公开提供的图像增强模型的训练方法和对图像进行增强的方法。
应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案，不构成对本公开的限定。其中：
图1是根据本公开实施例的图像增强模型的训练方法和对图像进行增强的方法、装置的应用场景示意图；
图2是根据本公开实施例的图像增强模型的训练方法的流程示意图；
图3是根据本公开实施例的对学生网络模型进行训练的原理示意图；
图4是根据本公开实施例的确定第一损失函数的取值的原理示意图；
图5是根据本公开实施例的确定第二子函数的取值的原理示意图；
图6是根据本公开另一实施例的对学生网络模型进行训练的原理示意图；
图7是根据本公开实施例的对图像进行增强的方法的原理示意图；
图8是根据本公开实施例的图像增强模型的训练装置的结构框图；
图9是根据本公开实施例的对图像进行增强的装置的结构框图；以及
图10是用来实施本公开实施例的图像增强模型的训练方法和/或对图像进行增强的方法的电子设备的框图。
具体实施方式
以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
本公开提供了一种图像增强模型的训练方法，包括至少一个训练轮次。每个训练轮次包括图像增强阶段、模型训练阶段和参数取值确定阶段。在图像增强阶段中，以样本图像分别作为教师网络模型和学生网络模型的输入，分别获得第一增强图像和第二增强图像。在模型训练阶段中，基于第一增强图像和第二增强图像，对学生网络模型进行训练，获得针对当前训练轮次的训练后学生网络模型。在参数取值确定阶段中，基于针对当前训练轮次的训练后学生网络模型的参数的第一取值和前一训练轮次确定的图像增强模型的参数的第二取值，确定当前训练轮次中图像增强模型的参数的取值。其中，图像增强模型的初始模型与学生网络模型的初始模型相同。
以下将结合图1对本公开提供的方法和装置的应用场景进行描述。
图1是根据本公开实施例的图像增强模型的训练方法和/或对图像进行增强的方法和装置的应用场景示意图。
如图1所示，该应用场景100包括终端设备110，该终端设备可以为具有处理功能的任意电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机、台式计算机和服务器等等。
该终端设备110例如可以对输入的图像120进行处理，具体可以对输入的图像进行增强处理，以将原来不清晰的图像变得清晰或强调某些感兴趣的特征，得到增强图像130。其中，该终端设备110例如可以采用图像增强模型来对输入的图像120进行增强处理。该对图像进行增强的技术例如可以应用于安防、摄影和/或美颜等多个领域。
根据本公开的实施例，如图1所示，该应用场景100还可以包括服务器140。终端设备110可以通过网络与服务器140通信连接，网络可以包括有线或无线通信链路。
示例性地，服务器140可以用于训练图像增强模型，并响应于终端设备110发送的模型获取请求，将训练好的图像增强模型150发送给终端设备110。
示例性地，服务器例如可以是提供各种服务的服务器，例如可以为对终端设备110上运行的应用程序提供支持的后台管理服务器。例如，该服务器可以是云服务器，也可以为分布式系统的服务器，或者是结合了区块链的服务器。
根据本公开的实施例，如图1所示，该应用场景100还可以包括数据库160，该数据库160例如可以维护有海量的清晰图像-非清晰图像对。服务器140例如可以访问该数据库160，并从海量的清晰图像-非清晰图像对中随机抽取部分图像对，将清晰图像作为非清晰图像的标签生成训练样本，并以该训练样本对图像增强模型进行训练。
在一实施例中，终端设备110与服务器140例如可以为同一设备，该同一设备中包括用于识别图像中文字的第一处理模块和训练文字识别模型的第二处理模块。该第一处理模块和第二处理模块之间可以通过网络协议进行通信。
需要说明的是，本公开所提供的图像增强模型的训练方法可以由服务器140执行。相应地，本公开所提供的图像增强模型的训练装置可以设置于服务器140中。本公开所提供的对图像进行增强的方法可以由终端设备110执行。相应地，本公开所提供的对图像进行增强的装置可以设置于终端设备110中。
应该理解，图1中的终端设备、服务器和数据库的数目和类型仅仅是示意性的。根据实现需要，可以具有任意数目和类型的终端设备、服务器和数据库。
图2是根据本公开实施例的图像增强模型的训练方法的流程示意图。
如图2所示，该实施例的图像增强模型的训练方法200包括循环执行的操作S210～操作S230，以对图像增强模型进行至少一个轮次的训练，每个训练轮次均执行操作S210～操作S230。在一实施例中，该方法200还可以包括在操作S230之后执行的操作S240，以确定是否完成图像增强模型的训练。
在操作S210，以样本图像分别作为教师网络模型和学生网络模型的输入，分别获得第一增强图像和第二增强图像。
根据本公开的实施例，样本图像可以为清晰度较低的任意图像。该样本图像例如可以为自然风景图像、建筑物图像、动物图像或人脸图像等，本公开对该样本图像的类型不做限定。
根据本公开的实施例，教师网络模型和学生网络模型分别为应用于迁移学习技术的教师-学生网络模型中复杂度较高的模型和复杂度较低的模型。其中，教师网络模型具有较好的性能和泛化能力，通过以该教师网络模型作为一个软目标(soft target)来指导学生网络模型的学习和训练，从而可以使得训练好的学生网络模型具有与教师网络模型相近的性能。该迁移学习技术例如还可以表示为模型压缩技术或知识蒸馏(KnowledgeDistillation)技术等。
根据本公开的实施例，教师网络模型和学生网络模型例如均可以为渐进式面部超分辨率模型(Progressive Face Super-Resolution，PSFR)。在一实施例中，学生网络模型可以与教师网络模型具有相同的深度，但学生网络模型的通道数小于教师网络模型的通道数；或者，学生网络模型可以与教师网络模型具有相同的通道数，但学生网络模型的深度低于教师网络模型。可以理解的是，上述教师网络模型和学生网络模型的类型仅作为示例以利于理解本公开，本公开对此不做限定。
该实施例可以将样本图像分别输入教师网络模型和学生网络模型，以分别得到第一增强图像和第二增强图像。
根据本公开的实施例，教师网络模型可以是采用大量的训练样本预先训练得到的。该训练样本与样本图像类似，且该训练样本可以具有指示实际增强图像的标签，在训练教师网络模型时，以训练样本作为教师网络模型的输入，通过比对教师网络模型输出的预测增强图像与训练样本的标签指示的实际增强图像，来对教师网络模型进行训练。该训练方法与相关技术中图像增强模型的训练方法类似，在此不再赘述。
在操作S220，基于第一增强图像和第二增强图像，对学生网络模型进行训练，获得针对当前训练轮次的训练后学生网络模型。
根据本公开的实施例，在得到第一增强图像和第二增强图像后，可以确定该第一增强图像和第二增强图像的差异，并基于该差异，采用梯度下降算法或前向传播算法等来对学生网络模型进行训练。
根据本公开的实施例，第一增强图像和第二增强图像之间的差异例如可以采用结构相似(SSIM)损失函数、L1损失函数、L2损失函数和学习感知图像块相似度(LearnedPerceptual Image Patch Similarity，PLIPS)损失函数等中的任一损失函数来表示。
在操作S230，基于针对当前训练轮次的训练后学生网络模型的参数的第一取值和前一训练轮次确定的图像增强模型的参数的第二取值，确定当前训练轮次中图像增强模型的参数的取值。
根据本公开的实施例，图像增强模型例如可以为学生网络模型的动态更新的孪生网络模型。该图像增强模型的初始模型与学生网络模型的初始模型相同。
根据本公开的实施例，可以将第一取值和第二取值的平均值作为当前训练轮次中图像增强模型的参数的取值。或者，操作S230可以先基于预先分配的权重，确定第一取值和第二取值的加权和，并将该加权和作为当前训练轮次中图像增强模型的参数的取值。其中，预先分配的权重可以根据实际需求进行设定，本公开对此不做限定。
示例性地，设定wtwin_(t-1)、Wtwin_t分别为第(t-1)轮次中、第t轮次中图像增强模型的参数的取值，α为权重参数，wt为第t轮次中学生网络模型的参数的取值，则Wtwin_t可以通过以下公式确定：
Wtwin_t＝(1-α)*Wtwin_(t-1)+α*Wt。
在完成操作S210～操作S230后，可以通过操作S240判断图像增强模型是否满足预定条件，以此来确定是否需要继续进行下一训练轮次的训练。
其中，预定条件例如可以为当前训练轮次中图像增强模型的参数的取值和前一训练轮次中图像增强模型的参数的取值之间的差值小于预定差值。或者，该预定条件可以为第二增强图像与第一增强图像之间的差异小于预定差异。若满足预定条件，则确定完成对图像增强模型的训练。若不满足预定条件，则获取新的样本图像返回执行操作S210，以对图像增强模型执行下一训练轮次的训练。可以理解的是，上述预定条件仅作为示例以利于理解本公开，根据实际需求，可以选择任意的预定条件、预定差值和预定差异，本公开对此不做限定。
本公开实施例的图像增强模型的训练方法，在基于教师网络模型对学生网络模型进行训练后，并非直接将训练的学生网络模型作为图像增强模型，而是基于该学生网络模型中参数的取值来动态调整图像增强模型中参数的取值，并将动态调整后的图像增强模型作为对图像进行增强处理的模型，可以避免在模型训练中随机噪声等对模型泛化能力的影响。并因此，可以在一定程度上提高图像增强模型的泛化能力，使得训练得到的图像增强模型可以适用于更为宽泛的应用场景。
图3是根据本公开实施例的对学生网络模型进行训练的原理示意图。
在一实施例中，样本图像具有指示实际增强图像的标签，在对学生网络模型进行训练时，可以同时考虑第一增强图像和第二增强图像之间的差异及第二增强图像与样本图像的标签所指示的实际增强图像之间的差异，以此不仅可以基于教师网络模型指导学生网络模型的训练，还可以使得学生网络模型输出的增强图像更为贴合实际增强图像，并因此在一定程度上提高学生网络模型的准确性。再者，学生网络模型由于复杂度的限制，输出的增强图像中可能会出现具有栅格的情况，该实施例通过比对第二增强图像与实际增强图像之间的差异来对学生增强模型进行训练，可以使得训练得到的学生增强模型在对图像进行增强处理时不会引入栅格等噪声，提高图像增强的精度。
示例性地，可以先基于第一增强图像和第二增强图像之间的差异，确定第一损失函数的取值，并基于第二增强图像和实际增强图像之间的差异，确定第二损失函数的取值。随之基于第一损失函数的取值和第二损失函数的取值，对学生网络模型进行训练。
例如，第一损失函数和第二损失函数均可以为SSIM损失函数、L1损失函数、L2损失函数和PLIPS损失函数等中的任一损失函数。在得到第一损失函数的取值和第二损失函数的取值后，可以将该两个取值的和作为学生网络模型的整体损失，并基于该整体损失对学生网络模型进行训练。
在一实施例中，在获得第一增强图像和第二增强图像时，还可以参考预先得到的样本图像的分割信息，以此使得得到的增强图像可以强调感兴趣的特征，使得感兴趣特征更为清晰。基于此，该实施例的图像增强模型的训练方法可以在获得第一增强图像和第二增强图像之前，可以以样本图像作为图像分割模型的输入，获得第一分割图像。其中，图像分割模型可以采用基于阈值的分割算法、基于边缘检测的分割算法或基于深度学习的分割算法等。具体地，该图像分割模型例如可以采用Adaboost算法、VGG网络等构建得到。
在得到第一分割图像后，该实施例可以以第一分割图和样本图像作为教师网络模型的输入，获得第一增强图像。同时，以第一分割图和样本图像作为学生网络模型的输入，获得第二增强图像。以此可以使得学生网络模型能够学习到图像分割算法得到的分割图像的分割信息，使得训练好的学生网络模型在对图像进行增强处理时，考虑该分割信息，提高增强图像的准确性。
如图3所示，在一实施例300中，在对学生网络模型进行训练时，可以先将样本图像301作为图像分割模型310的输入，经由该图像分割模型310处理后获得第一分割图像302。在得到第一分割图像302后，可以将样本图像301和第一分割图像302作为教师网络模型320的输入，经由该教师网络模型320处理后，可以得到第一增强图像303。同时，将样本图像301和第一分割图像302作为学生网络模型330的输入，经由该学生网络模型330处理后，可以得到第二增强图像304。在得到第一增强图像303和第二增强图像304后，可以根据第一增强图像303和第二增强图像304之间的差异，来确定第一损失函数的取值305，并根据第二增强图像304和标签指示的实际增强图像306来确定第二损失函数的取值307。根据该第一损失函数的取值305和第二损失函数的取值307的加权和得到学生网络模型的损失值308，基于该损失值308，采用反向传播算法或梯度下降算法等可以对学生网络模型进行训练。
例如，在将样本图像301和第一分割图像302输入教师网络模型或学生网络模型之前，可以对该样本图像301和第一分割图像302进行融合，将融合得到的图像作为教师网络模型或学生网络模型的输入。例如，若样本图像301为3*512*512尺寸的图像，经由图像分割模型310处理后，可以得到尺寸为19*512*512的第一分割图像302。则可以将该样本图像和第一分割图像按通道融合，得到尺寸为22*512*512的融合图。
本公开实施例通过在采用模型对图像进行增强时，考虑图像分割模型获得的分割信息，并综合考虑教师网络模型和学生网络模型的输出之间的差异及学生网络模型的输出与实际增强图像之间的差异，可以使得学生网络模型学习到更为准确的图像信息，并因此可以进一步提高训练得到的学生网络模型的精度。
图4是根据本公开实施例的确定第一损失函数的取值的原理示意图。
在一实施例中，在确定第一增强图像与第二增强图像之间的差异时，不仅可以根据前述的任一损失函数来确定两个图像之间的整体差异，还可以基于图像分割算法得到的第一分割图像，来考虑第一增强图像与第二增强图像之间的局部差异，以此使得基于差异确定的第一损失函数的取值更为精准，便于提高学生网络模型的训练精度。这是由于学生网络模型的结构复杂度较低，容量有限，通常输出的增强图像中无法很好的体现各局部特征。例如，若样本图像为人脸图像，增强效果对五官比较敏感，但受限于结构的复杂度，学生网络模型输出的增强图像中可能会存在眼珠无通孔或者眼珠无光、牙齿排布不准确等情况。该实施例旨在通过考虑局部差异，来引导学生网络模型学习到样本图像中更为重要的信息，并因此使得训练后的学生网络模型对局部特征的修复具有更好的泛化能力。
示例性地，前述的第一损失函数可以包括第一子函数和第二子函数，以分别表示整体差异和局部差异。整体差异可以通过前文描述的任一损失函数来体现，局部差异例如可以通过感知(Perceptual)损失函数来体现。例如，在确定第一损失函数的取值时，可以先基于第一增强图像和第二增强图像之间的差异，确定第一子函数的取值。随之基于第一分割图像和深度卷积神经网络模型，分别获得针对第一增强图像的第一特征数据和针对第二增强图像的第二特征数据，以基于第一特征数据和第二特征数据，确定第二子函数的取值。在得到第一子函数的取值和第二子函数的取值后，例如可以基于该两个子函数的取值，确定第一损失函数的取值。
例如，可以将两个子函数的取值的加权和作为第一损失函数的取值。深度卷积神经网络模型例如可以为VGG模型，该VGG模型可以为VGG16或VGG19等。其中，确定两个子函数的取值的加权和时用到的权重和深度卷积神经网络模型的类型仅作为示例以利于理解本公开，本公开对此不做限定。
示例性地，可以通过将第一增强图像和第一分割图像作为深度卷积神经网络模型的输入，获得第一特征数据。并通过将第二增强图像和第一分割图像作为深度卷积神经网络模型的输入，获得第二特征数据。其中，可以将第一增强图像和第一分割图像进行融合，将第二增强图像和第一分割图像进行融合，并将融合后的图像作为深度卷积神经网络模型的输入。
示例性地，第一特征数据和第二特征数据可以为深度卷积神经网络模型的前若干层网络提取的低层次特征。这是由于Perceptual可以用来比较看起来相似的两个不同的图像，且类似于VGG的图像分类网络在前若干层捕获的低层次特征对于比较非常相似的图像相较于其他层更为有用。相应地，第一特征数据可以包括多个第一数据，每个第一数据为输入第一增强图像后，深度卷积神经网络模型的前若干层中任一层捕获的低层次特征。类似地，第二特征数据可以包括多个第二数据，每个第二数据为输入第二增强图像后，深度卷积神经网络模型的前若干层中任一层捕获的低层次特征。其中，前若干层的个数例如可以根据深度卷积神经网络模型的类型来确定，或者可以根据实际需求进行设定，本公开对此不做限定。
例如，由于该多个第一数据与多个第二数据均为基于前若干层捕获的低层次特征，则多个第一数据与多个第二数据一一对应，相对应的第一数据和第二数据为同一层捕获的特征。该实施例可以在得到多个第一数据和多个第二数据后，确定相对应的第一数据和第二数据之间的差异，得到多个差异。将该多个差异的平均值或者该多个差异的和作为第二子函数的取值。
例如，在得到多个第一数据和多个第二数据后，还可以采用第一分割图像分别对第一数据和第二数据进行加权，使得加权后的第一数据和第二数据可以更为关注第一分割图像的分割信息。并因此提高基于加权后的第一数据和第二数据确定的第二子函数的取值的准确性。具体地，可以以第一分割图像作为权重，分别确定多个第一数据中每个第一数据的加权值。同时以第一分割图像作为权重，分别确定多个第二数据中每个第二数据的加权值。随之针对任一第一数据和对应于该任一第一数据的第二数据，基于该任一第一数据的加权值与对应于该任一第一数据的第二数据的加权值之间的差异，获得一个损失值，最后确定获得的多个损失值的和为第二子函数的取值。
示例性地，如图4所示，该实施例400在确定第二子函数的取值时，可以将第一增强图像401和第一分割图像402作为深度卷积神经网络模型410的输入，得到该深度卷积神经网络模型410的前n层中各层的输出信息，得到n个第一数据404。随后以第一分割图像402作为权重，计算该第一分割图像402的像素矩阵与n个第一数据404中每个第一数据的对应元素相乘，可以得到矩阵形式的一个第一加权值，总共得到n个第一加权值405。类似地，可以将第二增强图像403和第一分割图像402作为深度卷积神经网络模型410的输入，得到该深度卷积神经网络模型410的前n层中各层的输出信息，得到n个第二数据406。以第一分割图像402作为权重，计算该第一分割图像402的像素矩阵与n个第二数据406中每个第二数据的对应元素相乘，可以得到矩阵形式的一个第二加权值，总共得到n个第二加权值407。基于n个第一加权值405中任一第一加权值和对应的第二加权值，可以得到一个损失值，从而总共得到n个损失值408。最后将该n个损失值408的和作为第二子函数的取值409。其中，n为大于1的任意自然数，本公开对此不做限定。
例如，在第一分割图像的像素矩阵与第一数据的维度不相等时，还可以通过对第一分割图像的像素矩阵进行多维缩放(Multiple Dimensional Scaling，MDS)，来使得第一分割图像的像素矩阵与第一数据的维度相等。
例如，可以采用L2损失函数来确定任一第一加权值和对应的第二加权值之间的差异，得到一个损失值。设定
Figure BDA0003103877610000122
为深度神经网络模型中第i层捕获的特征，HQT为第一增强图像，HQS为第二增强特征，M为第一分割图像的像素矩阵，则第二子函数LfacialMask的取值可以表示为：
Figure BDA0003103877610000121
图5是根据本公开实施例的确定第二子函数的取值的原理示意图。
在一实施例中，在确定第二增强图像与实际增强图像之间的差异时，可以调用预定判别器，以此提高确定的第二损失函数的取值的准确性。
示例性地，如图5所示，该实施例500在确定第二子函数的取值时，可以以第二增强图像501作为预定判别器510的输入，获得针对第二增强图像501的第一概率503。并以实际增强图像502作为预定判别器510的输入，获得针对实际增强图像502的第二概率504。随之可以基于该第一概率503和第二概率504确定第二损失函数的取值505。
示例性地，预定判别器510可以为生成式对抗网络(Generative AdversarialNetworks，GAN)中的判别器。该预定判别器的输出为输入图像为真实图像的概率。在该实施例中，可以将学生网络模型作为GAN的生成器，第二损失函数可以为GAN的损失函数。
本公开实施例通过引入预定判别器来确定第二损失函数的取值，并基于该第二损失函数的取值来训练学生网络模型，可以使得学生网络模型输出的增强图像与实际增强图像更为贴合，并因此可以避免输出的增强图像存在栅格的情况，提高训练后学生网络模型和图像增强模型的精度。
图6是根据本公开另一实施例的对学生网络模型进行训练的原理示意图。
如图6所示，该实施例600中，在对学生网络模型进行训练时，涉及到图像分割模型610、教师网络模型620、学生网络模型630和图像增强模型640。在对学生网络模型训练之前，可以预训练教师网络模型620，该教师网络模型为PSFR模型。在训练得到教师网络模型后，设定与该教师网络模型的架构相同，但通道数为教师网络模型的一半的模型作为学生网络模型630的初始模型。同时，将该学生网络模型630的初始模型的孪生神经网络作为图像增强模型640的初始模型。
在对学生网络模型进行训练时，每个训练轮次中，可以先将样本图像601输入图像分割模型610中，经由该图像分割模型610处理后输出得到第一分割图像602。随之融合第一分割图像602和样本图像601，得到融合后图像603。
在得到融合后图像603后，分别将该融合后图像603输入教师网络模型620和学生网络模型630中，经由教师网络模型620处理后得到第一增强图像604，经由学生网络模型630处理后得到第二增强图像605。同时获取样本图像601的标签指示的实际增强图像606。
在得到第一增强图像604、第二增强图像605和实际增强图像606后，可以确定第一增强图像604与第二增强图像605之间的LPIPS损失，得到LPIPS损失的取值607。同时，可以将第一增强图像604和第一分割图像602进行融合，并将第二增强图像605和第一分割图像602进行融合，得到两个融合图像。随后分别将该两个融合图像输入VGG19模型中，基于VGG19模型中前若干层的输出，得到加权VGG19损失的取值608。可以理解的是，该加权VGG19损失的取值608可以为前述描述的第二子函数的取值，在此不再赘述。同时，还可以将第二增强图像605和实际增强图像606分别输入GAN模型中的判别器中，基于判别器输出的两个概率得到GAN损失的取值609。该GAN损失的取值609可以为前文描述的第二损失函数的取值，在此不再赘述。
在得到各损失后，将LPIPS损失的取值607、加权VGG19损失的取值608和GAN损失的取值609相加，基于相加得到的和来对学生网络模型进行训练。在完成对学生网络模型的当前训练轮次的训练后，可以基于训练后的学生网络模型中参数的取值来调整图像增强模型640中参数的取值，从而实现对图像增强模型640的训练。
通过本公开实施例的方法，可以降低图像增强模型对算力的需求，并通过综合多种类型的损失来调整学生网络模型，并基于学生网络模型调整图像增强模型，可以在一定程度上使得图像增强模型的精度高于复杂度高的教师网络模型。
基于上述的图像增强模型的训练方法，本公开还提供了一种对图像进行增强的方法。以下将结合图7对该方法进行详细描述。
图7是根据本公开实施例的对图像进行增强的方法的原理示意图。
如图7所示，该实施例的对图像进行增强的方法700可以包括操作S710～操作S720。
在操作S710，将待增强图像输入图像增强模型。其中，图像增强模型是采用前文描述的图像增强模型的训练方法训练得到的。
在操作S720，采用图像增强模型对待增强图像进行处理，获得待增强图像的第三增强图像。该获得第三增强图像的方法与前文描述的获得第一增强图像和第二增强图像的方法类似，在此不再赘述。该实施例可以将该第三增强图像作为待增强图像的增强后图像，以在下游应用中使用。
在一实施例中，该对图像进行增强的方法700还可以包括以下操作：以待增强图像作为图像分割模型的输入，获得第二分割图像。在得到第二分割图像后，可以将第二分割图像和待增强图像融合后输入图像增强模型。以此使得图像增强模型可以充分学习待增强图像的分割信息，并因此提高确定的第三增强图像的精度。
基于上文描述的图像增强模型的训练方法，本公开还提供了一种图像增强模型的训练装置。以下将结合图8对该装置进行详细描述。
图8是根据本公开实施例的图像增强模型的训练装置的结构框图。
如图8所示，该实施例的图像增强模型的训练装置800可以包括增强图像获得模块810、模型训练模块820和参数取值确定模块830。
增强图像获得模块810用于针对当前训练轮次，以样本图像分别作为教师网络模型和学生网络模型的输入，分别获得第一增强图像和第二增强图像。在一实施例中，增强图像获得模块810可以用于执行前文描述的操作S210，在此不再赘述。
模型训练模块820用于基于第一增强图像和第二增强图像，对学生网络模型进行训练，获得针对当前训练轮次的训练后学生网络模型。在一实施例中，模型训练模块820可以用于执行前文描述的操作S220，在此不再赘述。
参数取值确定模块830用于基于针对当前训练轮次的训练后学生网络模型的参数的第一取值和前一训练轮次确定的图像增强模型的参数的第二取值，确定当前训练轮次中图像增强模型的参数的取值。其中，图像增强模型的初始模型与学生网络模型的初始模型相同。在一实施例中，参数取值确定模块830可以用于执行前文描述的操作S230，在此不再赘述。
根据本公开的实施例，上述参数取值确定模块830可以包括加权和确定子模块和取值确定子模块。加权和确定子模块用于基于预先分配的权重，确定第一取值和所述第二取值的加权和。取值确定子模块用于根据加权和为当前训练轮次中图像增强模型的参数的取值。
根据本公开的实施例，样本图像具有指示实际增强图像的标签。上述模型训练模块820可以包括第一取值确定子模块、第二取值确定子模块和训练子模块。第一取值确定子模块用于基于第一增强图像和第二增强图像之间的差异，确定第一损失函数的取值。第二取值确定子模块用于基于第二增强图像和实际增强图像之间的差异，确定第二损失函数的取值。训练子模块用于基于第一损失函数的取值和第二损失函数的取值，对学生网络模型进行训练。
根据本公开的实施例，上述图像增强模型的训练装置800还可以包括第一分割图像获得模块，用于以样本图像作为图像分割模型的输入，获得第一分割图像。上述增强图像获得模块810可以包括第一增强子模块和第二增强子模块。第一增强子模块用于以第一分割图和样本图像作为教师网络模型的输入，获得第一增强图像。第二增强子模块用于以第一分割图和样本图像作为学生网络模型的输入，获得第二增强图像。
根据本公开的实施例，上述第一损失函数包括第一子函数和第二子函数。上述第一取值确定子模块可以包括第一确定单元、特征数据获得单元、第二确定单元和第三确定单元。第一确定单元用于基于第一增强图像和第二增强图像之间的差异，确定第一子函数的取值。特征数据获得单元用于基于第一分割图像和深度卷积神经网络模型，分别获得针对第一增强图像的第一特征数据和针对第二增强图像的第二特征数据。第二确定单元用于基于第一特征数据和第二特征数据，确定第二子函数的取值。第三确定单元用于基于第一子函数的取值和第二子函数的取值，确定第一损失函数的取值。
根据本公开的实施例，上述特征数据获得单元具体用于：以第一增强图像和第一分割图像作为深度卷积神经网络模型的输入，获得第一特征数据；以第二增强图像和第一分割图像作为深度卷积神经网络模型的输入，获得第二特征数据。
根据本公开的实施例，上述第一特征数据包括多个第一数据，第二特征数据包括分别对应于多个第一数据的多个第二数据。上述第二确定单元包括加权值确定子单元、损失值获得子单元和取值确定子单元。加权值确定子单元用于以第一分割图像作为权重，分别确定多个第一数据中每个第一数据的加权值；并以第一分割图像作为权重，分别确定多个第一数据中每个第二数据的加权值。损失值获得子单元用于针对任一第一数据和对应于该任一第一数据的第二数据，基于任一第一数据的加权值与对应于该任一第一数据的第二数据的加权值之间的差异，获得一个损失值。取值确定子单元用于确定获得的多个损失值的和为第二子函数的取值。
根据本公开的实施例，上述第二取值确定子模块可以包括第一概率获得单元、第二概率获得单元和取值确定单元。第一概率获得单元用于以第二增强图像作为预定判别器的输入，获得针对第二增强图像的第一概率。第二概率获得单元用于以实际增强图像作为预定判别器的输入，获得针对实际增强图像的第二概率。取值确定单元用于基于第一概率和第二概率，确定第二损失函数的取值。
根据本公开的实施例，第一子函数为学习感知图像块相似度损失函数；第二子函数为L2损失函数。
基于上文描述的对图像进行增强的方法，本公开还提供了一种对图像进行增强的装置。以下将结合图9对该装置进行详细描述。
图9是根据本公开实施例的对图像进行增强的装置的结构框图。
如图9所示，该实施例的对图像进行增强的装置900可以包括图像输入模块910和图像增强模块920。
图像输入模块910用于将待增强图像输入图像增强模型。其中，图像增强模型是采用前文描述的图像增强模型的训练装置训练的。在一实施例中，图像输入模块910可以用于执行前文描述的操作S710，在此不再赘述。
图像增强模块920用于采用图像增强模型对待增强图像进行处理，获得待增强图像的第三增强图像。在一实施例中，图像增强模块920可以用于执行前文描述的操作S720，在此不再赘述。
根据本公开的实施例，上述对图像进行增强的装置900还可以包括第二分割图像获得模块，用于以待增强图像作为图像分割模型的输入，获得第二分割图像。其中，图像输入模块910用于将第二分割图像和待增强图像输入图像增强模型。
需要说明的是，本公开的技术方案中，所涉及的用户个人信息的获取、存储和应用等，均符合相关法律法规的规定，且不违背公序良俗。
根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
图10示出了可以用来实施本公开的实施例的图像增强模型的训练方法和/或对图像进行增强的方法的示例电子设备1000的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
如图10所示，设备1000包括计算单元1001，其可以根据存储在只读存储器(ROM)1002中的计算机程序或者从存储单元1008加载到随机访问存储器(RAM)1003中的计算机程序，来执行各种适当的动作和处理。在RAM 1003中，还可存储设备1000操作所需的各种程序和数据。计算单元1001、ROM 1002以及RAM 1003通过总线1004彼此相连。输入/输出(I/O)接口1005也连接至总线1004。
设备1000中的多个部件连接至I/O接口1005，包括：输入单元1006，例如键盘、鼠标等；输出单元1007，例如各种类型的显示器、扬声器等；存储单元1008，例如磁盘、光盘等；以及通信单元1009，例如网卡、调制解调器、无线通信收发机等。通信单元1009允许设备1000通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元1001可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元1001的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元1001执行上文所描述的各个方法和处理，例如图像增强模型的训练方法和/或对图像进行增强的方法。例如，在一些实施例中，图像增强模型的训练方法和/或对图像进行增强的方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元1008。在一些实施例中，计算机程序的部分或者全部可以经由ROM 1002和/或通信单元1009而被载入和/或安装到设备1000上。当计算机程序加载到RAM 1003并由计算单元1001执行时，可以执行上文描述的图像增强模型的训练方法和/或对图像进行增强的方法的一个或多个步骤。备选地，在其他实施例中，计算单元1001可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行图像增强模型的训练方法和/或对图像进行增强的方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。其中，服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务(″Virtual Private Server″，或简称″VPS″)中，存在的管理难度大，业务扩展性弱的缺陷。服务器也可以为分布式系统的服务器，或者是结合了区块链的服务器。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims (20)

1.一种图像增强模型的训练方法，包括：
针对当前训练轮次：以样本图像分别作为教师网络模型和学生网络模型的输入，分别获得第一增强图像和第二增强图像；
基于所述第一增强图像和所述第二增强图像，对所述学生网络模型进行训练，获得针对当前训练轮次的训练后学生网络模型；以及
基于所述针对当前训练轮次的训练后学生网络模型的参数的第一取值和前一训练轮次确定的图像增强模型的参数的第二取值，确定当前训练轮次中所述图像增强模型的参数的取值，
其中，所述图像增强模型的初始模型与所述学生网络模型的初始模型相同；
其中，对所述学生网络模型进行训练包括：
基于所述第一增强图像和所述第二增强图像之间的差异，确定第一损失函数的取值；以及
基于所述第一损失函数的取值，对所述学生网络模型进行训练；
其中，所述方法还包括：以所述样本图像作为图像分割模型的输入，获得第一分割图像；
分别获得针对所述样本图像的第一增强图像和第二增强图像包括：
以所述第一分割图和所述样本图像作为所述教师网络模型的输入，获得所述第一增强图像；以及
以所述第一分割图和所述样本图像作为所述学生网络模型的输入，获得所述第二增强图像；
其中，所述第一损失函数包括第一子函数和第二子函数；确定第一损失函数的取值包括：
基于所述第一增强图像和所述第二增强图像之间的差异，确定所述第一子函数的取值；
基于所述第一分割图像和深度卷积神经网络模型，分别获得针对所述第一增强图像的第一特征数据和针对所述第二增强图像的第二特征数据；
基于所述第一特征数据和所述第二特征数据，确定所述第二子函数的取值；以及
基于所述第一子函数的取值和所述第二子函数的取值，确定所述第一损失函数的取值。
2. 根据权利要求1所述的方法，其中，确定当前训练轮次中所述图像增强模型的参数的取值包括：
基于预先分配的权重，确定所述第一取值和所述第二取值的加权和；以及
确定所述加权和为所述当前训练轮次中所述图像增强模型的参数的取值。
3. 根据权利要求1所述的方法，其中，所述样本图像具有指示实际增强图像的标签；对所述学生网络模型进行训练还包括：
基于所述第二增强图像和所述实际增强图像之间的差异，确定第二损失函数的取值；以及
基于所述第一损失函数的取值和所述第二损失函数的取值，对所述学生网络模型进行训练。
4. 根据权利要求1所述的方法，其中，
获得针对所述第一增强图像的第一特征数据包括：以所述第一增强图像和所述第一分割图像作为所述深度卷积神经网络模型的输入，获得第一特征数据；以及
获得针对所述第二增强图像的第二特征值包括：以所述第二增强图像和所述第一分割图像作为所述深度卷积神经网络模型的输入，获得第二特征数据。
5.根据权利要求1或4所述的方法，其中，所述第一特征数据包括多个第一数据，所述第二特征数据包括分别对应于所述多个第一数据的多个第二数据；确定所述第二子函数的取值包括：
以所述第一分割图像作为权重，分别确定所述多个第一数据中每个第一数据的加权值；
以所述第一分割图像作为权重，分别确定所述多个第二数据中每个第二数据的加权值；
针对任一第一数据和对应于所述任一第一数据的第二数据，基于所述任一第一数据的加权值与对应于所述任一第一数据的第二数据的加权值之间的差异，获得一个损失值；以及
确定获得的多个损失值的和为所述第二子函数的取值。
6.根据权利要求3所述的方法，其中，确定第二损失函数的取值包括：
以所述第二增强图像作为预定判别器的输入，获得针对所述第二增强图像的第一概率；
以所述实际增强图像作为所述预定判别器的输入，获得针对所述实际增强图像的第二概率；以及
基于所述第一概率和所述第二概率，确定所述第二损失函数的取值。
7.根据权利要求1所述的方法，其中，所述第一子函数为学习感知图像块相似度损失函数；所述第二子函数为L2损失函数。
8. 一种对图像进行增强的方法，包括：
将待增强图像输入图像增强模型；以及
采用所述图像增强模型对所述待增强图像进行处理，获得所述待增强图像的第三增强图像，
其中，所述图像增强模型是采用权利要求1~7中任一项所述的方法训练的。
9.根据权利要求8所述的方法，还包括：
以所述待增强图像作为图像分割模型的输入，获得第二分割图像，
其中，所述将待增强图像输入图像增强模型包括：将所述第二分割图像和所述待增强图像输入所述图像增强模型。
10.一种图像增强模型的训练装置，包括：
增强图像获得模块，用于针对当前训练轮次，以样本图像分别作为教师网络模型和学生网络模型的输入，分别获得第一增强图像和第二增强图像；
模型训练模块，用于基于所述第一增强图像和所述第二增强图像，对所述学生网络模型进行训练，获得针对当前训练轮次的训练后学生网络模型；以及
参数取值确定模块，用于基于针对当前训练轮次的训练后学生网络模型的参数的第一取值和前一训练轮次确定的图像增强模型的参数的第二取值，确定当前训练轮次中所述图像增强模型的参数的取值，
其中，所述图像增强模型的初始模型与所述学生网络模型的初始模型相同；
其中，所述模型训练模块包括：
第一取值确定子模块，用于基于所述第一增强图像和所述第二增强图像之间的差异，确定第一损失函数的取值；以及
训练子模块，用于基于所述第一损失函数的取值，对所述学生网络模型进行训练；
其中，所述装置还包括第一分割图像获得模块，用于以所述样本图像作为图像分割模型的输入，获得第一分割图像；
所述增强图像获得模块包括：
第一增强子模块，用于以所述第一分割图和所述样本图像作为所述教师网络模型的输入，获得所述第一增强图像；以及
第二增强子模块，用于以所述第一分割图和所述样本图像作为所述学生网络模型的输入，获得所述第二增强图像；
其中，所述第一损失函数包括第一子函数和第二子函数；所述第一取值确定子模块包括：
第一确定单元，用于基于所述第一增强图像和所述第二增强图像之间的差异，确定所述第一子函数的取值；
特征数据获得单元，用于基于所述第一分割图像和深度卷积神经网络模型，分别获得针对所述第一增强图像的第一特征数据和针对所述第二增强图像的第二特征数据；
第二确定单元，用于基于所述第一特征数据和所述第二特征数据，确定所述第二子函数的取值；以及
第三确定单元，用于基于所述第一子函数的取值和所述第二子函数的取值，确定所述第一损失函数的取值。
11. 根据权利要求10所述的装置，其中，参数取值确定模块包括：
加权和确定子模块，用于基于预先分配的权重，确定所述第一取值和所述第二取值的加权和；以及
取值确定子模块，用于根据所述加权和为所述当前训练轮次中所述图像增强模型的参数的取值。
12. 根据权利要求10所述的装置，其中，所述样本图像具有指示实际增强图像的标签；所述模型训练模块还包括：
第二取值确定子模块，用于基于所述第二增强图像和所述实际增强图像之间的差异，确定第二损失函数的取值；以及
所述训练子模块，用于基于所述第一损失函数的取值和所述第二损失函数的取值，对所述学生网络模型进行训练。
13.根据权利要求10所述的装置，其中，所述特征数据获得单元具体用于：
以所述第一增强图像和所述第一分割图像作为所述深度卷积神经网络模型的输入，获得第一特征数据；
以所述第二增强图像和所述第一分割图像作为所述深度卷积神经网络模型的输入，获得第二特征数据。
14.根据权利要求10或13所述的装置，其中，所述第一特征数据包括多个第一数据，所述第二特征数据包括分别对应于所述多个第一数据的多个第二数据；所述第二确定单元包括：
加权值确定子单元，用于以所述第一分割图像作为权重，分别确定所述多个第一数据中每个第一数据的加权值；并以所述第一分割图像作为权重，分别确定所述多个第一数据中每个第二数据的加权值；
损失值获得子单元，用于针对任一第一数据和对应于所述任一第一数据的第二数据，基于所述任一第一数据的加权值与对应于所述任一第一数据的第二数据的加权值之间的差异，获得一个损失值；以及
取值确定子单元，用于确定获得的多个损失值的和为所述第二子函数的取值。
15.根据权利要求12所述的装置，其中，第二取值确定子模块包括：
第一概率获得单元，用于以所述第二增强图像作为预定判别器的输入，获得针对所述第二增强图像的第一概率；
第二概率获得单元，用于以所述实际增强图像作为所述预定判别器的输入，获得针对所述实际增强图像的第二概率；以及
取值确定单元，用于基于所述第一概率和所述第二概率，确定所述第二损失函数的取值。
16.根据权利要求10所述的装置，其中，所述第一子函数为学习感知图像块相似度损失函数；所述第二子函数为L2损失函数。
17. 一种对图像进行增强的装置，包括：
图像输入模块，用于将待增强图像输入图像增强模型；以及
图像增强模块，用于采用所述图像增强模型对所述待增强图像进行处理，获得所述待增强图像的第三增强图像，
其中，所述图像增强模型是采用权利要求10~16中任一项所述的装置训练的。
18.根据权利要求17所述的装置，还包括：
第二分割图像获得模块，用于以所述待增强图像作为图像分割模型的输入，获得第二分割图像，
其中，所述图像输入模块用于：将所述第二分割图像和所述待增强图像输入所述图像增强模型。
19. 一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1~9中任一项所述的方法。
20.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1~9中任一项所述的方法。
CN202110634868.7A 2021-06-07 2021-06-07 图像增强模型的训练方法和对图像进行增强的方法 Active CN113379627B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110634868.7A CN113379627B (zh) 2021-06-07 2021-06-07 图像增强模型的训练方法和对图像进行增强的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110634868.7A CN113379627B (zh) 2021-06-07 2021-06-07 图像增强模型的训练方法和对图像进行增强的方法

Publications (2)

Publication Number Publication Date
CN113379627A CN113379627A (zh) 2021-09-10
CN113379627B true CN113379627B (zh) 2023-06-27

Family

ID=77576246

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110634868.7A Active CN113379627B (zh) 2021-06-07 2021-06-07 图像增强模型的训练方法和对图像进行增强的方法

Country Status (1)

Country Link
CN (1) CN113379627B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114020950B (zh) * 2021-11-03 2023-04-28 北京百度网讯科技有限公司 图像检索模型的训练方法、装置、设备以及存储介质
CN114463584B (zh) * 2022-01-29 2023-03-24 北京百度网讯科技有限公司 图像处理、模型训练方法、装置、设备、存储介质及程序
CN115578614B (zh) * 2022-10-21 2024-03-12 北京百度网讯科技有限公司 图像处理模型的训练方法、图像处理方法和装置
CN116385274B (zh) * 2023-06-06 2023-09-12 中国科学院自动化研究所 多模态影像引导的脑血管造影质量增强方法和装置

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110163110A (zh) * 2019-04-23 2019-08-23 中电科大数据研究院有限公司 一种基于迁移学习和深度特征融合的行人重识别方法
CN111178370A (zh) * 2019-12-16 2020-05-19 深圳市华尊科技股份有限公司 车辆检索方法及相关装置
CN111476268A (zh) * 2020-03-04 2020-07-31 中国平安人寿保险股份有限公司 翻拍识别模型训练、图像识别方法、装置、设备及介质
KR20200123507A (ko) * 2019-04-15 2020-10-30 계명대학교 산학협력단 교사-학생 프레임워크 기반의 소프트 타겟 학습방법을 이용한 보행자 포즈 방향 추정 방법 및 시스템
CN112149696A (zh) * 2019-06-26 2020-12-29 北京百度网讯科技有限公司 图嵌入模型的训练方法及装置
CN112465111A (zh) * 2020-11-17 2021-03-09 大连理工大学 一种基于知识蒸馏和对抗训练的三维体素图像分割方法
CN112541928A (zh) * 2020-12-18 2021-03-23 上海商汤智能科技有限公司 网络训练方法及装置、图像分割方法及装置和电子设备
WO2021056916A1 (zh) * 2019-09-29 2021-04-01 浪潮电子信息产业股份有限公司 一种医学图像分割方法、装置、设备及可读存储介质
CN112801212A (zh) * 2021-03-02 2021-05-14 东南大学 一种基于小样本半监督学习的白细胞分类计数方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200123507A (ko) * 2019-04-15 2020-10-30 계명대학교 산학협력단 교사-학생 프레임워크 기반의 소프트 타겟 학습방법을 이용한 보행자 포즈 방향 추정 방법 및 시스템
CN110163110A (zh) * 2019-04-23 2019-08-23 中电科大数据研究院有限公司 一种基于迁移学习和深度特征融合的行人重识别方法
CN112149696A (zh) * 2019-06-26 2020-12-29 北京百度网讯科技有限公司 图嵌入模型的训练方法及装置
WO2021056916A1 (zh) * 2019-09-29 2021-04-01 浪潮电子信息产业股份有限公司 一种医学图像分割方法、装置、设备及可读存储介质
CN111178370A (zh) * 2019-12-16 2020-05-19 深圳市华尊科技股份有限公司 车辆检索方法及相关装置
CN111476268A (zh) * 2020-03-04 2020-07-31 中国平安人寿保险股份有限公司 翻拍识别模型训练、图像识别方法、装置、设备及介质
CN112465111A (zh) * 2020-11-17 2021-03-09 大连理工大学 一种基于知识蒸馏和对抗训练的三维体素图像分割方法
CN112541928A (zh) * 2020-12-18 2021-03-23 上海商汤智能科技有限公司 网络训练方法及装置、图像分割方法及装置和电子设备
CN112801212A (zh) * 2021-03-02 2021-05-14 东南大学 一种基于小样本半监督学习的白细胞分类计数方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Knowledge Squeezed Adversarial Network Compression;Shu Changyong 等;arXiv:1904.05100v2;全文 *
分类激活图增强的图像分类算法;杨萌林;张文生;;计算机科学与探索(01);全文 *

Also Published As

Publication number Publication date
CN113379627A (zh) 2021-09-10

Similar Documents

Publication Publication Date Title
CN113379627B (zh) 图像增强模型的训练方法和对图像进行增强的方法
CN111950723B (zh) 神经网络模型训练方法、图像处理方法、装置及终端设备
CN114494784A (zh) 深度学习模型的训练方法、图像处理方法和对象识别方法
CN113393371B (zh) 一种图像处理方法、装置及电子设备
CN113627536B (zh) 模型训练、视频分类方法，装置，设备以及存储介质
US20230047748A1 (en) Method of fusing image, and method of training image fusion model
CN114792355A (zh) 虚拟形象生成方法、装置、电子设备和存储介质
CN114120413A (zh) 模型训练方法、图像合成方法、装置、设备及程序产品
CN116994319A (zh) 训练模型的方法和人脸识别方法、设备、介质
CN114758130B (zh) 图像处理及模型训练方法、装置、设备和存储介质
CN116402914A (zh) 用于确定风格化图像生成模型的方法、装置及产品
CN116363429A (zh) 图像识别模型的训练方法、图像识别方法、装置及设备
CN116611491A (zh) 目标检测模型的训练方法、装置、电子设备和存储介质
CN116229095A (zh) 一种模型训练方法、视觉任务处理方法、装置及设备
CN115019057A (zh) 图像特征提取模型确定方法及装置、图像识别方法及装置
CN114359811A (zh) 数据鉴伪方法、装置、电子设备以及存储介质
CN114093006A (zh) 活体人脸检测模型的训练方法、装置、设备以及存储介质
CN113610856A (zh) 训练图像分割模型和图像分割的方法和装置
CN114550236B (zh) 图像识别及其模型的训练方法、装置、设备和存储介质
CN113343979B (zh) 用于训练模型的方法、装置、设备、介质和程序产品
CN116229209B (zh) 目标模型的训练方法、目标检测方法及装置
CN116091773B (zh) 图像分割模型的训练方法、图像分割方法和装置
CN116188875B (zh) 图像分类方法、装置、电子设备、介质和产品
CN113221920B (zh) 图像识别方法、装置、设备、存储介质以及计算机程序产品
CN116306977A (zh) 样本的选择方法、装置、设备以及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant