CN115861121A - 模型训练方法、图像处理方法、装置、电子设备和介质 - Google Patents
模型训练方法、图像处理方法、装置、电子设备和介质 Download PDFInfo
- Publication number
- CN115861121A CN115861121A CN202211649205.3A CN202211649205A CN115861121A CN 115861121 A CN115861121 A CN 115861121A CN 202211649205 A CN202211649205 A CN 202211649205A CN 115861121 A CN115861121 A CN 115861121A
- Authority
- CN
- China
- Prior art keywords
- image
- model
- loss
- feature
- enhanced
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012549 training Methods 0.000 title claims abstract description 69
- 238000000034 method Methods 0.000 title claims abstract description 63
- 238000003672 processing method Methods 0.000 title claims description 9
- 238000012545 processing Methods 0.000 claims abstract description 37
- 238000000605 extraction Methods 0.000 claims abstract description 20
- 238000010276 construction Methods 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 2
- 230000000694 effects Effects 0.000 abstract description 8
- 230000008569 process Effects 0.000 description 14
- 238000010586 diagram Methods 0.000 description 11
- 230000006870 function Effects 0.000 description 9
- 238000004891 communication Methods 0.000 description 6
- 238000010295 mobile communication Methods 0.000 description 5
- 230000000052 comparative effect Effects 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 230000007547 defect Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000002708 enhancing effect Effects 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000001629 suppression Effects 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 2
- 230000014759 maintenance of location Effects 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 238000011084 recovery Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000013140 knowledge distillation Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000012806 monitoring device Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
Abstract
本公开提供一种模型训练方法、图像处理方法、装置、电子设备和计算机可读存储介质，涉及图像处理技术领域。该方法包括：将原始图像输入至图像增强模型获得网络重建图像，根据原始图像和所述网络重建图像确定负样本对，根据原始图像的增强图像和网络重建图像确定正样本对；将原始图像、原始图像的增强图像和网络重建图像输入至特征提取模型，得到第一特征图像、第二特征图像和第三特征图像；根据负样本对构建模型重建损失，并基于负样本对和正样本对，利用第一特征图像、第二特征图像和第三特征图像构建模型对比损失；结合模型重建损失和模型对比损失确定图像增强模型的目标损失，基于目标损失训练图像增强模型。本公开能提升图像增强处理效果。
Description
技术领域
本公开涉及图像处理技术领域，具体涉及一种模型训练方法、图像处理方法、模型训练装置、图像处理装置、电子设备和计算机可读存储介质。
背景技术
随着影像技术的高速发展，影像设备的功能越来越强大，用户对图像质量的要求逐渐提高。但是，由于多种原因，图像中常存在过暗、细节无法清晰呈现、噪声过大等缺陷对图像质量造成影响。因此对图像进行增强处理成为获得高质量图像的必要操作之一。
目前，相关技术的图像增强算法对图像信息的挖掘不够充分，存在网络的学习表征能力不足的缺点，图像增强效果不佳，影响用户的观看感受。
发明内容
本公开的目的在于提供一种模型训练方法、图像处理方法、模型训练装置、图像处理装置、电子设备和计算机可读存储介质，进而至少在一定程度上提高图像的增强效果。
根据本公开的第一方面，提供一种模型训练方法，包括：将原始图像输入至图像增强模型获得网络重建图像，根据原始图像和所述网络重建图像确定负样本对，并根据所述原始图像的增强图像和所述网络重建图像确定正样本对；将所述原始图像、所述原始图像的增强图像和所述网络重建图像输入至特征提取模型，分别得到第一特征图像、第二特征图像和第三特征图像；根据所述负样本对构建模型重建损失，并基于所述负样本对和所述正样本对，利用所述第一特征图像、所述第二特征图像和所述第三特征图像构建模型对比损失；结合所述模型重建损失和所述模型对比损失确定所述图像增强模型的目标损失，以基于所述目标损失训练所述图像增强模型。
根据本公开的第二方面，提供一种图像处理方法，包括：获取待增强图像；将所述待增强图像输入至目标图像增强模型，获得目标图像；所述目标图像增强模型是根据上述中任一项所述的模型训练方法对图像增强模型训练获得的。
根据本公开的第三方面，提供一种模型训练装置，包括：图像重建模块，用于将原始图像输入至图像增强模型获得网络重建图像，根据原始图像和所述网络重建图像确定负样本对，并根据所述原始图像的增强图像和所述网络重建图像确定正样本对；特征提取模块，用于将所述原始图像、所述原始图像的增强图像和所述网络重建图像输入至特征提取模型，分别得到第一特征图像、第二特征图像和第三特征图像；损失构建模块，用于根据所述负样本对构建模型重建损失，并基于所述负样本对和所述正样本对，利用所述第一特征图像、所述第二特征图像和所述第三特征图像构建模型对比损失；训练模块，用于结合所述模型重建损失和所述模型对比损失确定所述图像增强模型的目标损失，以基于所述目标损失训练所述图像增强模型。
根据本公开的第四方面，提供一种图像处理装置，包括：获取模块，用于获取待增强图像；图像增强模块，用于将所述待增强图像输入至目标图像增强模型，获得目标图像；所述目标图像增强模型是根据上述中任一项所述的模型训练方法对图像增强模型训练获得的。
根据本公开的第五方面，提供一种电子设备，包括：处理器；以及存储器，用于存储一个或多个程序，当一个或多个程序被一个或多个处理器执行时，使得一个或多个处理器实现上述的方法。
根据本公开的第六方面，提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述的方法。
本公开的示例性实施例所提供的图像处理方案，模型训练时，根据原始图像和网络重建图像确定负样本对，并根据原始图像的增强图像和网络重建图像确定正样本对，以负样本对构建模型重建损失，并基于负样本对和正样本对，利用经特征提取模型提取获得的低维空间表示的第一特征图像、第二特征图像和第三特征图像构建模型的模型对比损失，以结合模型重建损失和模型对比损失确定目标损失并用于训练图像增强模型。模型训练后，利用训练完成的目标图像增强模型对待增强图像进行增强处理。一方面，基于对比学习引入了原始图像的增强图像与网络重建图像作为正样本对，而原始图像和网络重建图像作为负样本对，使得在模型训练中额外地将负样本引入作为监督信息，增加了模型的学习维度，可充分挖掘待增强的原始图像中的信息；并且结合正样本对、负样本对的对比学习，引导模型输出在表示空间中远离负样本、接近正样本的结果，进一步提高模型的图像细节恢复和抑制噪声的能力，获得极好的增强效果；另一方面，本方案作为端到端的图像增强方法，流程简单、图像处理效率高。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：
图1示出了可以应用本公开实施例的一种图像处理方案及装置所涉及的示例性应用环境的示意图；
图2示意性示出相关技术的基于深度学习的增强去噪方法的示意图；
图3示意性示出本公开示例性实施例中一种模型训练方法的流程图；
图4示意性示出本公开示例性实施例中一种正负样本对构建的示意图；
图5示意性示出本公开示例性实施例中一种基于对比学习训练U-Net模型的示意图；
图6示意性示出本公开示例性实施例中一种图像处理方法的流程图；
图7示意性示出本公开示例性实施例中模型训练装置的组成示意图；
图8示意性示出本公开示例性实施例中图像处理装置的组成示意图；
图9示出了可以应用本公开实施例的一种电子设备的示意图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。
此外，附图仅为本公开的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
图1示出了可以应用本公开实施例的一种图像处理方案所涉及阶段的示意图。本公开实施例涉及模型训练阶段和应用模型阶段。
如图1所示，在模型训练阶段还包括正样本对、负样本对构建阶段。原始图像输入至图像增强模型获得网络重建图像，根据原始图像、原始图像的增强图像和网络重建图像构建正样本对和负样本对，以利用正样本对和负样本对进行图像增强模型的训练，直到满足模型训练完成的条件，如直到模型收敛，得到训练后的目标图像增强模型。
在训练过程中，通过特征提取模型对原始图像、原始图像的增强图像和网络重建图像进行特征提取，但特征提取模型的参数为固定的，不参与训练及模型参数的更新。在模型应用阶段，利用训练后的目标图像增强模型对待增强图像进行处理，获得目标图像。
其中，可以由终端设备执行本公开的模型训练阶段和模型应用阶段。原始图像、待增强图像可以是由终端设备采集，也可以是终端设备从网络下载或接收其它终端设备发送的图像。终端设备可以为具有图像处理功能的智能设备，例如可以为智能手机、电脑、平板电脑、智能手表、车载设备、可穿戴设备、监控设备等智能设备，终端设备还可以被称为移动终端、终端、移动设备等，本公开对终端设备的类型不做限制。
当然，模型训练阶段和模型应用阶段也可以是服务器执行。模型训练及应用过程中所用的相关信息可以由终端设备上传至服务器。可以为提供本公开实施例中图像处理相关服务的后台系统，可以包括便携式计算机、台式计算机、智能手机等具有计算功能的一台电子设备或多台电子设备形成的集群。本公开实施例中，以图像处理方案(包括模型训练阶段和模型应用阶段)由终端设备来执行为例进行说明。
在相关技术中，为解决夜景或低光照拍摄图像的低质量的问题，需要对图像进行增强并去噪处理。传统的图像增强流程一般包括：首先获取图像raw数据，然后对图像进行如白平衡、去马赛克、去噪、锐化、颜色空间转换和伽马矫正等处理流程，以获得亮度提升、细节清晰和低噪声的目标图像。但传统的图像增强处理的流程较长，增强去噪效果不如基于深度学习的方法显著。而相关技术的基于深度学习的增强去噪方法，使用暗光样本图像和暗光增强图像作为训练样本，如图2所示，将图像raw数据进行重排后输入至卷积神经网络，以对暗光图像进行重建，得到增强的夜景图像。其中，利用暗光增强图像和网络重建图像构建网络损失进行模型训练，但是该方法不仅依赖充足的数据，对数据的信息挖掘不够充分，导致了模型在保留图像颜色、图像细节、抑制噪声方面存在缺陷，进而影响图像增强效果。
基于上述一个或多个问题，本公开示例性实施例提供了一种模型训练方法。参考图3所示，该模型训练方法可以包括以下步骤S310至步骤S340：
在步骤S310中，将原始图像输入至图像增强模型获得网络重建图像，根据原始图像和网络重建图像确定负样本对，并根据原始图像的增强图像和网络重建图像确定正样本对。
在本公开的示例性实施例中，原始图像是需要进行图像增强和去噪处理的图像，如低光照或夜景场景下拍摄的图像，可以由终端设备拍摄获得，也可以从服务端或其它终端设备接收获得，对此不做特殊限制。原始图像的增强图像是指与原始图像具有相同拍摄场景且经图像增强处理后的图像，本公开实施例以原始图像的增强图像作为训练真值标签。
在一些可能的实施例中，可基于原始图像的同一拍摄场景获得原始图像的增强图像，并且增强图像的曝光时长大于原始图像的曝光时长。
示例性的，对于同一拍摄场景，原始图像的曝光时长为1/30至1/10秒，而增强图像的曝光时长为原始图像的曝光时长的100倍至300倍，即增强图像的曝光时长为10秒至30秒。当然，本公开实施例可根据实际需要设置具体的曝光时长，对此不做特殊限定。
其中，针对同一拍摄场景，可获取曝光时长满足预设曝光时长的图像作为原始图像的增强图像。
在一些可能的实施例中，还可以在原始图像的同一拍摄场景下，获取在不同曝光时间的多个候选增强图像，并从多个候选增强图像中选择不存在运动对象的图像作为原始图像的增强图像。
由于原始图像的增强图像的曝光时长大于原始图像的曝光时长，为避免因增加曝光时长导致拍摄运动的对象引入运动模糊，进而影响增强图像的成像质量，但对于静态的对象又具有较高的成像质量，因此通过从多个候选增强图像中剔除存在运动对象的图像的方式获得增强图像，确保增强图像的质量。
在一些可能的实施例中，还提供一种获取增强图像的实现方式，可以响应针对原始图像的增强图像的图像增强调整操作，按照图像增强调整操作对应的增强类型对原始图像的增强图像进行图像增强处理。
其中，在不同拍摄场景类型下，图像增强所关注的关键内容不同，用户可通过图像增强调整操作，改变增强图像对应的增强内容，包括但不限于色温增强、饱和度增强、亮度增强、对比度增强等中的至少一项，以进一步的获得满足需求的增强图像。
图像增强调整操作还可以是对图像增强程度的调整，用户选择不同的图像增强程度，以获得对应不同增强程度的增强图像。
进一步的，可基于原始图像、增强图像和网络重建图像构建正样本对和负样本对。如图4示出了根据本公开示例性实施例的一种正负样本对构建的示意图。
参见图4所示，以网络重建图像为锚点图像，根据原始图像和网络重建图像构建负样本对，并根据增强图像和网络重建图像构建正样本对。基于正样本对和负样本对进行模型训练，在网络中额外引入负样本作为监督信息，增加网络学习的维度。
在步骤S320中，将原始图像、原始图像的增强图像和网络重建图像输入至特征提取模型，分别得到第一特征图像、第二特征图像和第三特征图像。
在本公开的示例性实施例中，特征提取模型为参数固定且不参与模型训练和模型参数更新的预设模型，可以为VGG模型、ResNet模型、Overfeat模型、AlexNet模型等中的任一项，对此不做特殊限制。
利用特征提取模型可将原始图像、增强图像和网络重建图像降维至低维的表示空间中的第一特征图像、第二特征图像和第三特征图像。基于此，在模型训练过程中，对于负样本对，第一特征图像和第三特征图像之间的特征应尽可能地接近甚至一致；对于正样本对，第二特征图像和第三特征图像之间的特征应尽可能地远离，进而通过对比学习充分挖掘原始图像的信息(即暗光数据)，提高网络的细节恢复能力和抑制噪声能力。
在步骤S330中，根据负样本对构建模型重建损失，并基于负样本对和正样本对，利用第一特征图像、第二特征图像和第三特征图像构建模型对比损失。
在本公开的示例性实施例中，可基于负样本对构建模型重建损失，可按照公式(1)构建模型重建损失：
Lrec＝|O-I| (1)
其中，Lrec为模型重建损失，O为网络重建图像，I为原始图像，O-I为网络重建图像的像素信息与对应的原始图像的像素信息的差值。
基于负样本对和正样本对，利用第一特征图像、第二特征图像和第三特征图像构建模型对比损失可以包括：
根据第一特征图像和第三特征图像构建负样本对所对应的第一损失；
基于第二特征图像和第三特征图像构建正样本对所对应的第二损失；
结合第一损失和第二损失确定目标损失。
其中，基于负样本对和正样本对，可通过公式(2)利用第一特征图像、第二特征图像和第三特征图像构建模型对比损失：
Lconstrastive＝|Fo-Fg|+max(0,m-|Fo-Fi|) (2)
其中，Lconstrastive为模型对比损失，Fo为第三特征图像，Fg为第二特征图像，Fi为第一特征图像，max(0,m-|Fo-Fi|)为第一损失，|Fo-Fg|为第二损失，m为预设的边缘距离参数。
在步骤S340中，结合模型重建损失和模型对比损失确定图像增强模型的目标损失，以基于目标损失训练图像增强模型。
在本公开的示例性实施例中，在获得模型重建损失和模型对比损失后，可根据模型重建损失和模型对比损失构建图像增强模型的目标损失，以基于目标损失对图像增强模型的参数进行调整，获得目标图像增强模型。
可选地，可按照公式(3)构建图像增强模型的目标损失：
L＝Lrec+Lconstrastive (3)
值得说明的是，本公开实施例还可以根据实际需要，选择模型重建损失和模型对比损失之间的组合比例，对此不做特殊限制。
本公开示例性实施例的图像增强模型可以为U-Net模型，或者引入注意力机制的U-Net模型，或者结合知识蒸馏的U-Net模型，当然图像增强模型还可以为其它卷积神经网络等，本公开实施例对图像增强模型的网络结构不做特殊限定。
图5示出了根据本公开示例性实施例的一种基于对比学习训练U-Net模型的示意图，下面结合图5对本公开示例性实施例的模型训练方法进行说明。
首先，将暗光图像(原始图像)输入至U-Net模型，输出网络重建图像(作为锚点图像)；
其次，根据正样本(原始图像的增强图像)和锚点图像构建正样本对，并根据负样本(暗光图像)和锚点图像构建负样本对。
接着，将暗光图像、增强图像和锚点图像输入至特征提取模型(如VGG19)，得到低维空间表示的第一特征图像、第二特征图像和第三特征图像。
进一步的，根据负样本对构建模型重建损失，并根据正样本对和负样本对，利用第一特征图像和第三特征图像构建负样本对所对应的第一损失，并利用第二特征图像和第三特征图像构建正样本所对应的第二损失，结合第一损失和第二损失构建U-Net模型的目标损失。
最后，基于U-Net模型的目标损失对U-Net模型进行训练，获得目标U-Net模型。
其中，继续参见图5所示，在模型的训练过程中，基于正样本和负样本的对比学习，使得第二特征图像和第三特征图像之间的特征距离逐渐拉进，第一特征图像和第三特征图像之间的特征距离逐渐推远，充分挖掘暗光图像中的信息并用于监督训练，进一步提高网络的图像增强能力。
值得说明的是，图5中的圆形区域的直径为预设的边缘距离参数，可用于指示第一特征图像与所述第三特征图像之间的最远特征距离。基于此，在一种示例性实施例中，还可以响应于针对第一特征图像与第三特征图像之间的特征距离的调整操作，按照调整后的特征距离，利用第一特征图像和第三特征图像构建负样本对所对应的第一损失。
本公开示例性实施例通过调整第一特征图像与第三特征图像之间的特征距离，对于模型对比损失中的第一损失的范围进行限制，尽可能地挖掘暗光图像(负样本)的监督作用。
需要说明的是，图5涉及的各阶段的具体实施细节已在上述的示例性实施例中详细记载，在此不再赘述。
由以上可知，本公开实施例所提供的图像处理方案，模型训练时，根据原始图像和网络重建图像确定负样本对，并根据原始图像的增强图像和网络重建图像确定正样本对，先以负样本对构建模型重建损失，并基于负样本对和正样本对，利用经特征提取模型提取获得的低维空间表示的第一特征图像、第二特征图像和第三特征图像构建模型的模型对比损失，以结合模型重建损失和模型对比损失确定目标损失并用于训练图像增强模型。模型训练后，利用训练完成的目标图像增强模型对待增强图像进行增强处理。
一方面，基于对比学习引入了原始图像的增强图像与网络重建图像可作为正样本对，而原始图像和网络重建图像可作为负样本对，使得在模型训练中额外地将负样本引入作为监督信息，增加了模型的学习维度，可充分挖掘待增强的原始图像中的信息；并且结合正、负样本对的对比学习，引导模型输出在表示空间中远离负样本、接近正样本的结果，进一步提高模型的图像细节恢复和抑制噪声的能力，获得极好的增强效果；另一方面，本方案作为端到端的图像增强方法，流程简单、图像处理效率高。
在本公开的示例性实施例中，还提供了一种图像处理方法，如图6所示，本公开示例性实施例的图像处理方法可包括步骤S610和步骤S620：
步骤S610：获取待增强图像；
步骤S620：将待增强图像输入至目标图像增强模型，获得目标图像；目标图像增强模型是根据模型训练方法对图像增强模型训练获得的。
其中，在步骤S620中，根据模型训练方法对图像增强模型训练获得目标图像增强模型的具体实施细节已在上述的模型训练方法的示例性实施例中记载，在此不再赘述。
通过本公开示例性实施例的图像处理方法，利用已训练的目标图像增强模型对待增强图像进行处理，与传统的图像增强流程相比，通过端到端的图像增强处理，极大简化处理流程，提升处理效率，且目标增强模型的训练过程中通过正样本对和负样本对的对比训练，增加了模型在学习负样本信息维度的表现，提升模型对待增强图像的处理效果。
需要注意的是，上述附图仅是根据本公开示例性实施例的方法所包括的处理的示意性说明，而不是限制目的。易于理解，上述附图所示的处理并不表明或限制这些处理的时间顺序。另外，也易于理解，这些处理可以是例如在多个模块中同步或异步执行的。
进一步的，参考图7所示，本公开的示例性实施方式中提供一种模型训练装置700，包括图像重建模块710、特征提取模块720、损失构建模块730和训练模块740。其中：
图像重建模块710，用于将原始图像输入至图像增强模型获得网络重建图像，根据原始图像和所述网络重建图像确定负样本对，并根据所述原始图像的增强图像和所述网络重建图像确定正样本对；
特征提取模块720，用于将所述原始图像、所述原始图像的增强图像和所述网络重建图像输入至特征提取模型，分别得到第一特征图像、第二特征图像和第三特征图像；
损失构建模块730，用于根据所述负样本对构建模型重建损失，并基于所述负样本对和所述正样本对，利用所述第一特征图像、所述第二特征图像和所述第三特征图像构建模型对比损失；
训练模块740，用于结合所述模型重建损失和所述模型对比损失确定所述图像增强模型的目标损失，以基于所述目标损失训练所述图像增强模型。
在一示例性实施例中，模型训练装置700还包括：
图像获取模块，用于采集原始图像；基于所述原始图像的同一拍摄场景获取所述原始图像的增强图像；其中，所述增强图像的曝光时长大于所述原始图像的曝光时长。
在一示例性实施例中，图像获取模块用于：针对所述同一拍摄场景，获取曝光时长满足预设曝光时长的所述原始图像的增强图像。
在一示例性实施例中，图像获取模块用于：获取所述同一拍摄场景下在不同曝光时间的多个候选增强图像；从所述多个候选增强图像中选择不存在运动对象的图像作为所述原始图像的增强图像。
在一示例性实施例中，所述模型训练装置还包括：
调节模块，用于响应针对所述原始图像的增强图像的图像增强调整操作，按照所述图像增强调整操作对应的增强类型对所述原始图像的增强图像进行图像增强处理。
在一示例性实施例中，损失构建模块730用于：根据所述第一特征图像和所述第三特征图像构建所述负样本对所对应的第一损失；基于所述第二特征图像和所述第三特征图像构建所述正样本对所对应的第二损失；结合所述第一损失和所述第二损失确定所述目标损失。
在一示例性实施例中，损失构建模块730还用于：响应于针对所述第一特征图像与所述第三特征图像之间的特征距离的调整操作，按照调整后的特征距离，利用所述第一特征图像和所述第三特征图像构建所述负样本对所对应的第一损失。
此外，在本公开示例性实施例中还提供一种图像处理装置，如图8所示，图像处理装置800可以包括获取模块810和图像增强模块820，具体的：
获取模块810，用于获取待增强图像；
图像增强模块820，用于将所述待增强图像输入至目标图像增强模型，获得目标图像；所述目标图像增强模型是根据以上示例性实施例中的模型训练方法对图像增强模型训练获得的。
上述装置中各模块的具体细节在方法部分实施方式中已经详细说明，未披露的细节内容可以参见方法部分的实施方式内容，因而不再赘述。
所属技术领域的技术人员能够理解，本公开的各个方面可以实现为系统、方法或程序产品。因此，本公开的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。
本公开的示例性实施方式中还提供一种用于上述方法的电子设备，该电子设备可以是上述影像设备或服务器。一般的，该电子设备至少包括处理器和存储器，存储器用于存储处理器的可执行指令，处理器配置为经由执行可执行指令来执行上述方法。
下面以图9中的移动终端900为例，对本公开实施例中的电子设备的构造进行示例性说明。本领域技术人员应当理解，除了特别用于移动目的的部件之外，图9中的构造也能够应用于固定类型的设备。在另一些实施方式中，移动终端900可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件、软件或软件和硬件的组合实现。各部件间的接口连接关系只是示意性示出，并不构成对移动终端900的结构限定。在另一些实施方式中，移动终端也可以采用与图9不同的接口连接方式，或多种接口连接方式的组合。
如图9所示，移动终端900具体可以包括：处理器901、存储器902、总线903、移动通信模块904、天线1、无线通信模块905、天线2、显示屏906、摄像模块907、音频模块908、电源模块909、传感器模块910。
处理器901可以包括一个或多个处理单元，例如：处理器901可以包括AP(Application Processor，应用处理器)、调制解调处理器、GPU(Graphics ProcessingUnit，图形处理器)、ISP(Image Signal Processor，图像信号处理器)、控制器、编码器、解码器、DSP(Digital Signal Processor，数字信号处理器)、基带处理器和/或NPU(Neural-Network Processing Unit，神经网络处理器)等。
编码器可以对图像或视频进行编码(即压缩)，以减小数据大小，便于存储或发送。解码器可以对图像或视频的编码数据进行解码(即解压缩)，以还原出图像或视频数据。移动终端900可以支持一种或多种编码器和解码器，例如：JPEG(Joint PhotographicExperts Group，联合图像专家组)、PNG(Portable Network Graphics，便携式网络图形)、BMP(Bitmap，位图)等图像格式，MPEG(Moving Picture Experts Group，动态图像专家组)1、MPEG10、H.1063、H.1064、HEVC(High Efficiency Video Coding，高效率视频编码)等视频格式。
处理器901可以通过总线903与存储器902或其他部件形成连接。
存储器902可以用于存储计算机可执行程序代码，可执行程序代码包括指令。处理器901通过运行存储在存储器902的指令，执行移动终端900的各种功能应用以及数据处理。存储器902还可以存储应用数据，例如存储图像，视频等文件。
移动终端900的通信功能可以通过移动通信模块904、天线1、无线通信模块905、天线2、调制解调处理器以及基带处理器等实现。天线1和天线2用于发射和接收电磁波信号。移动通信模块904可以提供应用在移动终端900上3G、4G、5G等移动通信解决方案。无线通信模块905可以提供应用在移动终端900上的无线局域网、蓝牙、近场通信等无线通信解决方案。
显示屏906用于实现显示功能，如显示用户界面、图像、视频等，以及显示异常提示信息。摄像模块907用于实现拍摄功能，如拍摄图像、视频等，以采集场景图像。音频模块908用于实现音频功能，如播放音频，采集语音等。电源模块909用于实现电源管理功能，如为电池充电、为设备供电、监测电池状态等。传感器模块910可以包括一种或多种传感器，用于实现相应的感应检测功能。
此外，本公开的示例性实施方式还提供了一种计算机可读存储介质，其上存储有能够实现本说明书上述方法的程序产品。在一些可能的实施方式中，本公开的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当程序产品在终端设备上运行时，程序代码用于使终端设备执行本说明书上述“示例性方法”部分中描述的根据本公开各种示例性实施方式的步骤。
需要说明的是，本公开所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。
此外，可以以一种或多种程序设计语言的任意组合来编写用于执行本公开操作的程序代码，程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其他实施例。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由权利要求指出。
Claims (12)
1.一种模型训练方法，其特征在于，包括：
将原始图像输入至图像增强模型获得网络重建图像，根据原始图像和所述网络重建图像确定负样本对，并根据所述原始图像的增强图像和所述网络重建图像确定正样本对；
将所述原始图像、所述原始图像的增强图像和所述网络重建图像输入至特征提取模型，分别得到第一特征图像、第二特征图像和第三特征图像；
根据所述负样本对构建模型重建损失，并基于所述负样本对和所述正样本对，利用所述第一特征图像、所述第二特征图像和所述第三特征图像构建模型对比损失；
结合所述模型重建损失和所述模型对比损失确定所述图像增强模型的目标损失，以基于所述目标损失训练所述图像增强模型。
2.根据权利要求1所述的方法，其特征在于，在所述将原始图像输入至图像增强模型获得网络重建图像之前，还包括：
采集原始图像；
基于所述原始图像的同一拍摄场景获取所述原始图像的增强图像；
其中，所述增强图像的曝光时长大于所述原始图像的曝光时长。
3.根据权利要求2所述的方法，其特征在于，所述基于所述原始图像的同一拍摄场景获取所述原始图像的增强图像，包括：
针对所述同一拍摄场景，获取曝光时长满足预设曝光时长的所述原始图像的增强图像。
4.根据权利要求2所述的方法，其特征在于，所述基于所述原始图像的同一拍摄场景获取所述原始图像的增强图像，包括：
获取所述同一拍摄场景下在不同曝光时间的多个候选增强图像；
从所述多个候选增强图像中选择不存在运动对象的图像作为所述原始图像的增强图像。
5.根据权利要求2所述的方法，其特征在于，所述模型训练方法还包括：
响应针对所述原始图像的增强图像的图像增强调整操作，按照所述图像增强调整操作对应的增强类型对所述原始图像的增强图像进行图像增强处理。
6.根据权利要求1所述的方法，其特征在于，所述基于所述负样本对和所述正样本对，利用所述第一特征图像、所述第二特征图像和所述第三特征图像构建模型对比损失，包括：
根据所述第一特征图像和所述第三特征图像构建所述负样本对所对应的第一损失；
基于所述第二特征图像和所述第三特征图像构建所述正样本对所对应的第二损失；
结合所述第一损失和所述第二损失确定所述目标损失。
7.根据权利要求6所述的方法，其特征在于，所述根据所述第一特征图像和所述第三特征图像构建所述负样本对所对应的第一损失，还包括：
响应于针对所述第一特征图像与所述第三特征图像之间的特征距离的调整操作，按照调整后的特征距离，利用所述第一特征图像和所述第三特征图像构建所述负样本对所对应的第一损失。
8.一种图像处理方法，其特征在于，包括：
获取待增强图像；
将所述待增强图像输入至目标图像增强模型，获得目标图像；所述目标图像增强模型是根据权利要求1至7中任一项所述的模型训练方法对图像增强模型训练获得的。
9.一种模型训练装置，其特征在于，包括：
图像重建模块，用于将原始图像输入至图像增强模型获得网络重建图像，根据原始图像和所述网络重建图像确定负样本对，并根据所述原始图像的增强图像和所述网络重建图像确定正样本对；
特征提取模块，用于将所述原始图像、所述原始图像的增强图像和所述网络重建图像输入至特征提取模型，分别得到第一特征图像、第二特征图像和第三特征图像；
损失构建模块，用于根据所述负样本对构建模型重建损失，并基于所述负样本对和所述正样本对，利用所述第一特征图像、所述第二特征图像和所述第三特征图像构建模型对比损失；
训练模块，用于结合所述模型重建损失和所述模型对比损失确定所述图像增强模型的目标损失，以基于所述目标损失训练所述图像增强模型。
10.一种图像处理装置，其特征在于，包括：
获取模块，用于获取待增强图像；
图像增强模块，用于将所述待增强图像输入至目标图像增强模型，获得目标图像；所述目标图像增强模型是根据权利要求1至7中任一项所述的模型训练方法对图像增强模型训练获得的。
11.一种电子设备，其特征在于，包括：
处理器；以及
存储器，用于存储所述处理器的可执行指令；
其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1至8中任一项所述的方法。
12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至8中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211649205.3A CN115861121A (zh) | 2022-12-20 | 2022-12-20 | 模型训练方法、图像处理方法、装置、电子设备和介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211649205.3A CN115861121A (zh) | 2022-12-20 | 2022-12-20 | 模型训练方法、图像处理方法、装置、电子设备和介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115861121A true CN115861121A (zh) | 2023-03-28 |
Family
ID=85674906
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211649205.3A Pending CN115861121A (zh) | 2022-12-20 | 2022-12-20 | 模型训练方法、图像处理方法、装置、电子设备和介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115861121A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116188346A (zh) * | 2023-05-04 | 2023-05-30 | 安翰科技(武汉)股份有限公司 | 内窥镜图像的画质增强方法及装置 |
-
2022
- 2022-12-20 CN CN202211649205.3A patent/CN115861121A/zh active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116188346A (zh) * | 2023-05-04 | 2023-05-30 | 安翰科技(武汉)股份有限公司 | 内窥镜图像的画质增强方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111580765B (zh) | 投屏方法、投屏装置、存储介质、被投屏设备与投屏设备 | |
| CN111598776B (zh) | 图像处理方法、图像处理装置、存储介质与电子设备 | |
| CN113473126B (zh) | 视频流的处理方法、装置、电子设备及计算机可读介质 | |
| CN110889809B (zh) | 图像处理方法及装置、电子设备、存储介质 | |
| KR20190010040A (ko) | 전자 장치 및 전자 장치에서 하이 다이나믹 레인지 이미지 데이터를 압축하는 방법 | |
| CN113706414A (zh) | 视频优化模型的训练方法和电子设备 | |
| CN111768351A (zh) | 图像去噪方法、图像去噪装置、存储介质与电子设备 | |
| CN115861121A (zh) | 模型训练方法、图像处理方法、装置、电子设备和介质 | |
| CN115086567A (zh) | 延时摄影方法和装置 | |
| CN113962859A (zh) | 一种全景图生成方法、装置、设备及介质 | |
| CN113705665A (zh) | 图像变换网络模型的训练方法和电子设备 | |
| CN112750092A (zh) | 训练数据获取方法、像质增强模型与方法及电子设备 | |
| CN111738951A (zh) | 图像处理方法及装置 | |
| CN112565603B (zh) | 图像处理方法、装置及电子设备 | |
| CN112261417B (zh) | 视频推送方法及系统、设备及可读存储介质 | |
| CN113409203A (zh) | 图像模糊程度确定方法、数据集构建方法与去模糊方法 | |
| CN116824004A (zh) | 图标生成方法及装置、存储介质、电子设备 | |
| CN115719316A (zh) | 图像处理方法及装置、电子设备和计算机可读存储介质 | |
| CN115278189A (zh) | 图像色调映射方法及装置、计算机可读介质和电子设备 | |
| CN113747242B (zh) | 图像处理方法、装置、电子设备及存储介质 | |
| CN115471435A (zh) | 图像融合方法及装置、计算机可读介质和电子设备 | |
| CN114240750A (zh) | 视频分辨率提升方法及装置、存储介质及电子设备 | |
| CN114359100A (zh) | 图像色彩增强方法、装置、存储介质与电子设备 | |
| CN113658128A (zh) | 图像模糊程度确定方法、数据集构建方法与去模糊方法 | |
| CN113658073A (zh) | 图像去噪处理方法、装置、存储介质与电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |