CN111210382B - 图像处理方法、装置、计算机设备和存储介质 - Google Patents
图像处理方法、装置、计算机设备和存储介质 Download PDFInfo
- Publication number
- CN111210382B CN111210382B CN202010005252.9A CN202010005252A CN111210382B CN 111210382 B CN111210382 B CN 111210382B CN 202010005252 A CN202010005252 A CN 202010005252A CN 111210382 B CN111210382 B CN 111210382B
- Authority
- CN
- China
- Prior art keywords
- image
- model
- domain
- target
- coding
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims abstract description 283
- 238000003672 processing method Methods 0.000 title claims abstract description 25
- 238000003860 storage Methods 0.000 title claims abstract description 15
- 238000012549 training Methods 0.000 claims abstract description 180
- 238000000034 method Methods 0.000 claims abstract description 55
- 238000006243 chemical reaction Methods 0.000 claims description 38
- 230000002441 reversible effect Effects 0.000 claims description 26
- 238000004590 computer program Methods 0.000 claims description 12
- 238000013473 artificial intelligence Methods 0.000 abstract description 14
- 230000000694 effects Effects 0.000 abstract description 11
- 238000010586 diagram Methods 0.000 description 27
- 230000008859 change Effects 0.000 description 19
- 238000005516 engineering process Methods 0.000 description 19
- 230000006870 function Effects 0.000 description 16
- 230000008569 process Effects 0.000 description 15
- 238000010801 machine learning Methods 0.000 description 8
- 241000282414 Homo sapiens Species 0.000 description 5
- 230000004913 activation Effects 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 4
- 238000003062 neural network model Methods 0.000 description 4
- 238000011160 research Methods 0.000 description 4
- 125000004122 cyclic group Chemical group 0.000 description 3
- 230000003247 decreasing effect Effects 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 238000003709 image segmentation Methods 0.000 description 3
- 230000002829 reductive effect Effects 0.000 description 3
- 230000001360 synchronised effect Effects 0.000 description 3
- 239000000654 additive Substances 0.000 description 2
- 230000000996 additive effect Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 2
- 101150113005 cyc2 gene Proteins 0.000 description 2
- 238000009795 derivation Methods 0.000 description 2
- 238000011478 gradient descent method Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000001131 transforming effect Effects 0.000 description 2
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 1
- 208000027418 Wounds and injury Diseases 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000006378 damage Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000001939 inductive effect Effects 0.000 description 1
- 208000014674 injury Diseases 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000013526 transfer learning Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/04—Context-preserving transformations, e.g. by using an importance map
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
本申请涉及一种图像处理方法、装置、计算机设备和存储介质，涉及人工智能，方法包括：获取原始图像，将原始图像输入到待训练的目标图像处理模型中进行处理，得到目标图像；获取目标参考模型，目标参考模型是根据输入到模型的图像与模型输出的图像的差异训练得到的；将原始图像输入到目标参考模型中，得到对应的参考信息；根据目标信息与参考信息的差异得到第一模型损失值，目标信息包括目标图像或者将目标图像输入到目标参考模型中进行编码得到的编码特征中的至少一个；根据第一模型损失值调整目标图像处理模型中的模型参数，得到更新后的目标图像处理模型，以利用更新后的目标图像处理模型进行图像处理。上述方法可以提高图像处理效果。
Description
技术领域
本申请涉及计算机领域，特别是涉及图像处理方法、装置、计算机设备和存储介质。
背景技术
随着多媒体技术和网络技术的飞速发展和广泛应用，人们在日常生活和生产活动大量使用图像信息。为了提高图像质量，需要对图像进行图像处理，例如对图像进行域转换，域转换是一种将图像从源域转换为目标域的方法，例如，可以将冬天的图像转换为夏天的图像。
目前，可以通过人工智能，利用机器学习模型对图像进行处理，将图像输入到模型中，得到处理后的图像，然而，经常存在处理后的图像的内容与处理前的图像内容变化很大的情况，例如转换后的图像会发生扭曲，导致图像处理效果差。
发明内容
基于此，有必要针对上述图像处理效果差的问题，提供一种图像处理方法、装置、计算机设备和存储介质。
一种图像处理方法，所述方法包括：获取原始图像，将所述原始图像输入到待训练的目标图像处理模型中进行处理，得到目标图像；获取目标参考模型，所述目标参考模型是根据输入到模型的图像与模型输出的图像的差异训练得到的；将所述原始图像输入到所述目标参考模型中，得到对应的参考信息；根据目标信息与所述参考信息的差异得到第一模型损失值，所述目标信息包括所述目标图像或者将所述目标图像输入到所述目标参考模型中进行编码得到的编码特征中的至少一个；根据所述第一模型损失值调整所述目标图像处理模型中的模型参数，得到更新后的目标图像处理模型，以利用所述更新后的目标图像处理模型进行图像处理。
一种图像处理装置，所述装置包括：目标图像获取模块，用于获取原始图像，将所述原始图像输入到待训练的目标图像处理模型中进行处理，得到目标图像；目标参考模型获取模块，用于获取目标参考模型，所述目标参考模型是根据输入到模型的图像与模型输出的图像的差异训练得到的；参考信息得到模块，用于将所述原始图像输入到所述目标参考模型中，得到对应的参考信息；第一模型损失值得到模块，用于根据目标信息与所述参考信息的差异得到第一模型损失值，所述目标信息包括所述目标图像或者将所述目标图像输入到所述目标参考模型中进行编码得到的编码特征中的至少一个；第一调整模块，用于根据所述第一模型损失值调整所述目标图像处理模型中的模型参数，得到更新后的目标图像处理模型，以利用所述更新后的目标图像处理模型进行图像处理。
在一些实施例中，所述第一模型损失值得到模块用于：计算所述目标图像与所述参考图像之间的图像差异，根据所述图像差异得到第一模型损失值。
在一些实施例中，所述目标参考模型包括第一图像域对应的第一参考模型以及第二图像域对应的第二参考模型，所述原始图像为所述第一图像域的图像，所述目标图像为所述第二图像域的图像；所述参考信息得到模块用于：将所述原始图像输入到所述第一参考模型对应的第一编码模型中，编码得到第一目标编码特征；将所述第一目标编码特征输入到所述第二参考模型对应的第二解码模型中，得到解码输出的所述参考图像。
在一些实施例中，所述装置还包括：第二调整模块，用于沿着从所述第二解码模型到所述第一编码模型的方向，根据所述第一模型损失值进行模型参数调整，得到调整后的第二解码模型以及调整后的第一编码模型。
在一些实施例中，所述目标参考模型包括第一图像域对应的第一参考模型以及第二图像域对应的第二参考模型，所述原始图像为所述第一图像域的图像，所述目标图像为所述第二图像域的图像，所述参考信息包括参考编码特征，所述参考信息得到模块用于：将所述原始图像输入到所述第一参考模型中的第一编码模型中，编码得到所述参考编码特征；其中，所述目标信息包括将所述目标图像输入到所述第二参考模型中的第二编码模型中，编码得到的第二目标编码特征。
在一些实施例中，所述装置还包括以下模块的至少一个：第一编码模型调整模块，用于根据所述第一模型损失值对所述第一编码模型的模型参数进行调整，得到调整后的第一编码模型；或者第二编码模型调整模块，用于根据所述第一模型损失值对所述第二编码模型的模型参数进行调整，得到调整后的第二编码模型。
在一些实施例中，所述第一参考模型的得到模块用于：利用待训练的第一编码模型对第一训练图像进行编码，得到第一训练编码特征，所述第一训练图像为第一图像域的图像；利用待训练的第一解码模型对所述第一训练编码特征进行解码，得到第一输出图像；根据所述第一训练图像与所述第一输出图像的差异计算得到第二模型损失值；根据所述第二模型损失值调整所述待训练的第一编码模型以及所述待训练的第一解码模型的模型参数，得到所述第一参考模型。
在一些实施例中，所述第二参考模型的得到模块包括：利用待训练的第二编码模型对第二训练图像进行编码，得到第二训练编码特征，所述第二训练图像为第二图像域的图像；利用待训练的第二解码模型对所述第二训练编码特征进行解码，得到第二输出图像；根据所述第二训练图像与所述第二输出图像的差异计算得到第三模型损失值；根据所述第三模型损失值调整所述待训练的第二编码模型以及所述待训练的第二解码模型的模型参数，得到所述第二参考模型。
在一些实施例中，所述装置还包括：第一中间图像得到模块，用于将第一图像域的第一初始图像输入到初始图像处理模型中，得到第一中间图像；反向图像处理模型获取模块，用于获取所述初始图像处理模型对应的反向图像处理模型，所述初始图像处理模型用于将第一图像域的图像转换为第二图像域的图像，所述反向图像处理模型用于将所述第二图像域的图像转换为所述第一图像域的图像；第一处理图像得到模块，用于将所述第一中间图像输入到所述反向图像处理模型中，得到所述第一图像域的第一处理图像；第四模型损失值得到模块，用于根据所述第一图像域的第一初始图像与所述第一图像域的第一处理图像的差异得到第四模型损失值；初始图像处理模型调整模块，用于根据所述第四模型损失值调整所述初始图像处理模型的模型参数，将调整后的初始图像处理模型作为待训练的目标图像处理模型。
在一些实施例中，所述装置还包括：第二中间图像得到模块，用于将所述第二图像域的第二初始图像输入到所述反向图像处理模型中，得到第二中间图像；第二处理图像得到模块，用于将所述第二中间图像输入到所述初始图像处理模型中，得到所述第二图像域的第二处理图像；反向图像处理模型调整模块，用于根据所述第二图像域的第二初始图像与所述第二图像域的第二处理图像的差异得到第五模型损失值，根据所述第五模型损失值调整所述反向图像处理模型的模型参数。
在一些实施例中，所述装置还包括：请求接收模块，用于接收图像跨域转换请求，所述图像跨域转换请求用于请求将待转换的图像转换为第二图像域的图像；待转换图像获取模块，用于获取所述图像跨域转换请求对应的待转换图像；转换模块，用于将所述待转换图像输入到所述目标图像处理模型中，得到所述第二图像域的转换图像。
一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行上述图像处理方法的步骤。
一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行上述图像处理方法的步骤。
上述图像处理方法、装置、计算机设备和存储介质，由于目标参考模型是根据输入到模型的图像与模型输出的图像的差异训练得到的，因此目标参考模型能够使得图像的内容变化小，而目标信息包括目标图像或者将目标图像输入到目标参考模型中进行编码得到的编码特征中的至少一个，故基于目标信息与参考信息的差异得到的模型损失值进行模型参数的调整，相当于能够朝着降低图像处理模型处理得到的图像的内容变化程度的方向调整模型参数，提升了训练得到的图像处理模型的图像处理效果。
附图说明
图1为一些实施例中提供的图像处理方法的应用环境图；
图2为一些实施例中图像处理方法的流程图；
图3为一些实施例中利用VAE辅助CycleGAN训练时的网络模型架构图；
图4为一些实施例中联合目标参考模型以及目标图像处理模型进行训练的示意图；
图5为一些实施例中联合目标参考模型以及反向图像处理模型进行训练的示意图；
图6为一些实施例中联合目标参考模型以及目标图像处理模型进行训练的示意图；
图7为一些实施例中训练得到待训练的目标图像处理模型的流程图；
图8A为一些实施例中循环生成对抗网络的原理示意图；
图8B为一些训练初始图像处理模型的原理示意图；
图8C为一些实施例中训练反向图像处理模型的原理示意图；
图9为一些实施例中训练得到第一参考模型的流程图；
图10为一些实施例中训练第一参考模型以及第二参考模型的原理示意图；
图11为一些实施例中目标图像处理模型处理得到的图像与原图的对比图；
图12为一些实施例中图像处理装置的结构框图；
图13为一些实施例中计算机设备的内部结构框图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
可以理解，本申请所使用的术语“第一”、“第二”等可在本文中用于描述各种元件，但除非特别说明，这些元件不受这些术语限制。这些术语仅用于将第一个元件与另一个元件区分。举例来说，在不脱离本申请的范围的情况下，可以将第一图像称为第二图像，且类似地，可将第二图像称为第一图像。
人工智能(Artificial Intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
计算机视觉技术(Computer Vision,CV)计算机视觉是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、OCR、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建等技术，还包括常见的人脸识别、指纹识别等生物特征识别技术。
机器学习(Machine Learning,ML)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。
随着人工智能技术研究和进步，人工智能技术在多个领域展开研究和应用，例如常见的智能家居、智能穿戴设备、虚拟助理、智能音箱、智能营销、无人驾驶、自动驾驶、无人机、机器人、智能医疗、智能客服等，相信随着技术的发展，人工智能技术将在更多的领域得到应用，并发挥越来越重要的价值。
本申请实施例提供的方案涉及人工智能的计算机视觉技术，具体通过如下实施例进行说明:
图1为一些实施例中提供的图像处理方法的应用环境图，如图1所示，在该应用环境中，包括终端110以及服务器120。
终端110可以向服务器120发送图像跨域转换请求，服务器120上存储有目标图像处理模型，目标图像处理模型是采用本申请实施例提供的模型训练方法进行训练得到的，因此服务器120可以获取图像跨域转换请求对应的待转换图像，将待转换图像输入到目标图像处理模型中，得到第二图像域的转换图像，将第二图像域的转换图像返回至终端110中，服务器120也可以将第二图像域的转换图像发送到其他终端中。
服务器120可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群，可以是提供云服务器、云数据库、云存储和CDN等基础云计算服务的云服务器。终端110可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表等，但并不局限于此。终端110与服务器120可以通过网络等通讯连接方式进行连接，本申请在此不做限制。
可以理解，本申请实施例提供的目标图像处理模型也可以部署于终端110中。
如图2所示，在一些实施例中，提出了一种图像处理方法，本实施例主要以该方法应用于上述图1中的服务器120来举例说明。具体可以包括以下步骤：
步骤S202，获取原始图像，将原始图像输入到待训练的目标图像处理模型中进行处理，得到目标图像。
具体地，原始图像是指利用目标图像处理模型处理之前的图像，图像处理模型用于对图像进行处理。例如图像处理可以是图像增强或者图像转换中的至少一个。图像转换可以是图像跨域转换，图像跨域转换是指将图像由源域转换为目标域。域(domain)可以是根据图像相关信息进行划分的，具体可以根据需要划分。同一个域的图像具有至少一个相同的图像相关信息。图像相关信息可以是任意与图像有关的信息，例如可以根据图像的属性或者图像的来源中的至少一个进行域划分。图像的属性可以包括表情属性、拍摄时间属性、天气属性、亮度属性或者颜色属性中的至少一个。拍摄时间属性根据图像拍摄的时间确定。例如，时间属性可以是白天或者黑夜，也可以是冬天或者夏天等。表情属性可以包括伤心、难过、不解或者愤怒中的至少一个。原始图像可以包括一个或多个，多个是指至少两个。目标图像处理模型可以是全卷积神经网络模型(Fully Convolutional Network，FCN)。FCN完全由卷积层和池化层组成。
在一些实施例中，图像的来源可以根据采集途径区分，采集途径包括图像的采集设备或者图像采集人员中的至少一个。例如一个图像采集设备采集的图像对应一个域。图像的跨域转换可以是将一个来源(源域)的图像转换为符合另一个来源(目标域)的标准的图像。举个实际的例子，在医疗领域，同一类型但是不同型号的设备采集的图像的质量可能是不同的，或者不同图像采集人员采集得到的图像的质量是不同的。例如，对于A医院的设备采集的图像，当需要用B医院的图像识别设备识别图像内容时，由于B医院的图像识别设备是与B医院的设备采集的图像适配的，因此需要将A医院采集的图像转换为符合B医院采集图像的图像标准的图像。
在一些实施例中，图像处理模型可以用于对图像进行模态转换，模态可以根据图像的属性确定。例如图像的属性可以包括图像风格。可以利用图像处理模型将图像由源风格转换为目标风格。图像的风格包括卡通风格、真实风格、素描风格、漫画风格或者二次元风格的至少一个。例如，图像处理模型可以用于将素描的图像转换为二次元风格的图像
在一些实施例中，图像处理模型的目标为在对图像进行处理时，减少图像的内容的变化，即需要保证图像内容的不变性。例如，如果要将白天的图像转换为黑夜的图像，将A医院采集的图像转换为B医院采集的图像时，需要保证转换后的图像的内容变化尽可能的小，以避免图像处理后，图像内容发生太大变化。
在一些实施例中，图像处理模型可以是生成对抗网络(Generative AdversarialNetwork，GAN)中的生成网络模型，例如可以是循环生成对抗网络(Cycle-ConsistentAdversarial Network，CycleGAN)中的任一个生成网络模型。生成对抗网络通过让两个机器学习模型相互博弈的方式进行学习，得到期望的机器学习模型。生成对抗网络包括生成网络模型(Generator)与判别网络模型(Discriminator)。生成网络模型的目标是根据输入得到所期望的输出。判别网络模型的目标是将生成网络的输出从真实的图像中尽可能分辨出来。判别网络模型的输入包括生成网络模型的输出以及真实的图像。两个网络模型相互对抗学习、不断调整参数，最终目的是生成网络模型要尽可能地欺骗判别网络模型，使判别网络模型无法判断生成网络模型的输出结果是否真实。CycleGAN可以包括两个单向GAN网络。两个单向GAN网络共享生成网络模型，并各自带一个判别模型，即循环生成对抗网络包括两个生成网络模型以及两个判别网络模型。
在一些实施例中，待训练的目标图像处理模型可以是完全没有经过训练的模型，也可以是经过训练的模型，但需要进一步进行训练。例如，当目标图像处理模型为CycleGAN的生成网络模型时，可以利用传统的训练方法对CycleGAN进行训练，但由于传统的训练方法容易使得CycleGAN中的生成网络模型生成的图像变形，因此需要对该模型参数进行进一步调整，以改善变形，故可以采用本申请实施例的方法进行模型的训练。
在一些实施例中，可以是先用单独训练的方法例如传统的方法训练得到收敛的CycleGAN模型，再利用本申请实施例提供的方法对CycleGAN中的生成网络模型进行训练。或者单独训练CycleGAN与本申请实施例提供的采用联合训练的方法对CycleGAN中的生成网络模型进行训练也可以是交替进行的，例如，先利用传统的方法训练CycleGAN第一预设次数(例如一次)，再利用本申请实施例提供的联合训练方法对CycleGAN中的生成网络模型训练第二预设次数(例如一次)，完成一轮训练，再进行下一轮的训练。
步骤S204，获取目标参考模型，目标参考模型是根据输入到模型的图像与模型输出的图像的差异训练得到的。
具体地，目标参考模型是用于参考得到模型损失值的模型，用于在对待训练的目标图像处理模型进行训练时，辅助进行训练。目标参考模型可以是VAE(Variational Auto-encoder，变分自编码器)模型，VAE是一种基于神经网络编码和解码的无监督学习算法。目标参考模型是根据输入到模型的图像与模型输出的图像的差异训练得到的，例如可以根据输入到模型的图像与模型输出的图像的差异计算得到模型损失值，利用该损失值，根据梯度下降方法，朝着使损失值下降的方向调整模型的参数，得到目标参考模型。其中，模型损失值与图像的差异成正相关关系，差异越大，则损失值越大。损失值是根据损失函数得到的，损失函数(loss function)是用于表示事件的“风险”或“损失”的函数。
在一些实施例中，目标参考模型可以包括编码模型(encoder)以及解码模型(decoder)，编码模型用于对输入的图像进行编码，得到编码特征，解码模型用于对编码特征进行解码，得到图像。
在一些实施例中，目标参考模型包括第一图像域对应的第一参考模型以及第二图像域对应的第二参考模型。第一参考模型包括第一编码模型以及第一解码模型，第二参考模型包括第二编码模型以及第二解码模型。第一编码模型用于对第一图像域的图像进行编码，第二编码模型用于对第二图像域的图像进行编码。第一编码模型与第一解码模型是联合训练得到的。第二编码模型与第二解码模型是联合训练得到的。例如，可以将第一图像域的第一训练图像输入到第一编码模型中，将得到的编码特征输入到第一解码模型中，得到第一输出图像，根据第一输出图像与第一训练图像的差异得到模型损失值，根据模型损失值反向调整第一解码模型以及第一编码模型的模型参数。第二参考模型的训练过程可以参照第一参考模型的训练过程，具体不再赘述。
步骤S206，将原始图像输入到目标参考模型中，得到对应的参考信息。
具体地，参考信息是将初始图像输入目标参考模型中，得到的信息。目标参考模型可能具有多层处理层，因此参考信息可以是任一处理层输出的信息。即将初始图像输入到目标参考模型后，当目标参考模型有多层网络层时，可以是经过所有的网络层或者是部分网络层后输出参考信息。例如，当目标参考模型包括编码模型以及解码模型时，参考信息可以包括编码模型或者解码模型输出的至少一个信息。即可以将编码特征输入的编码特征作为参考信息，也可以将解码模型输出的解码图像作为参考信息。
在一些实施例中，原始图像是第一图像域的图像，因此目标参考模型包括第一图像域的编码模型，用于对第一图像域的图像进行编码，以提高编码得到的特征的准确性，可以将原始图像输入到第一图像域的编码模型中，得到的编码特征作为参考信息。
在一些实施例中，当目标参考模型包括第一图像域对应的第一参考模型以及第二图像域对应的第二参考模型时，可以根据图像的图像域确定图像所要输入的编码模型。例如，如果原始图像是第一图像域的图像，则将原始图像输入到第一编码模型中。
步骤S208，根据目标信息与参考信息的差异得到第一模型损失值，目标信息包括目标图像或者将目标图像输入到目标参考模型中进行编码得到的编码特征中的至少一个。
具体地，第一模型损失值是根据目标信息与参考信息的差异得到的，如果目标信息为目标图像，参考信息为解码模型输出的参考图像，则可以根据图像中相同位置的像素的像素值差值得到模型损失值。例如，可以将像素差值的平方和作为第一模型损失值。
目标信息可以包括输入到目标参考模型中进行编码得到的编码特征，即可以将目标图像输入到目标参考模型中，经过目标参考模型的编码模型进行编码得到编码特征，作为目标信息。当目标参考模型包括第一图像域对应的第一参考模型以及第二图像域对应的第二参考模型时，可以根据图像的图像域确定图像所要输入的编码模型。例如，如果目标图像是第二图像域的图像，则将目标图像输入到第二编码模型中。
在一些实施例中，目标图像是第二图像域的图像，因此目标参考模型包括第二图像域的编码模型，用于对第二图像域的图像进行编码，以提高编码得到的特征的准确性，可以将目标图像输入到第二图像域的编码模型中，将得到的编码特征作为目标信息。
步骤S210，根据第一模型损失值调整目标图像处理模型中的模型参数，得到更新后的目标图像处理模型，以利用更新后的目标图像处理模型进行图像处理。
具体地，可以采用梯度下降方法，朝着使模型损失值下降的方向调整目标图像处理模型中的模型参数，得到更新后的目标图像处理模型。得到更新后的目标图像处理模型后，可以利用该更新后的目标图像处理模型进行图像的处理。例如，可以将第一风格的图像转换为第二风格的图像，或者将第一医疗设备采集的图像转换为符合第二医疗设备采集的图像的标准的图像。可以理解，模型的训练可以是迭代多次的，即更新后的目标图像处理模型可以是迭代训练的，当满足模型收敛条件时再停止训练，模型收敛条件可以是模型损失值的变化小于预设损失值变化，也可以是当模型参数的变化小于预设参数变化值。例如当原始图像包括多个时，则可以训练多次，每次利用多个原始图像进行模型训练。
在一些实施例中，目标图像处理模型以及目标参考模型可以是经过多次训练得到的。可以是先预先训练得到收敛的目标参考模型，再训练目标图像处理模型。目标图像处理模型以及目标参考模型的训练过程也可以是交替进行的。例如可以利用至少一个训练样本训练目标参考模型第三预设次数(例如一次)，再利用至少一个训练样本训练目标图像处理模型第四预设次数(例如一次)，完成一轮模型训练。然后再继续下一轮的模型训练，直至训练后的目标图像处理模型收敛。
上述图像处理方法，由于目标参考模型是根据输入到模型的图像与模型输出的图像的差异训练得到的，因此目标参考模型能够使得图像的内容变化小，而目标信息包括目标图像或者将目标图像输入到目标参考模型中进行编码得到的编码特征中的至少一个，故基于目标信息与参考信息的差异得到的模型损失值进行模型参数的调整，相当于能够朝着降低图像处理模型处理得到的图像的内容变化程度的方向调整模型参数，提升了训练得到的图像处理模型的图像处理效果。
本申请实施例提供的方法可以在无监督的情况下进行模型的训练，即在没有与配对的图像进行监督的情况下，也可以对待训练的目标图像处理模型进行训练，并且还可以减少图像的内容变化。
在一些实施例中，图像处理方法还可以包括以下步骤：接收将第一图像域的图像转换为第二图像域的图像的图像跨域转换请求；获取图像跨域转换请求对应的待转换图像；将待转换图像输入到目标图像处理模型中，得到第二图像域的转换图像。
具体地，图像跨域转换请求用于请求图像由源域转换为目标域，图像跨域转换请求可以携带待转换的图像，也可以携带待转换的图像的标识，以根据图像的标识获取待转换的图像。由于目标图像处理模型是根据本申请实施例提供的方法更新后的模型，因此可以使得处理得到的图像的内容变化度满足条件。得到第二图像域的转换图像后，可以将第二图像域的转换图像返回给发送图像跨域转换请求的第一终端，也可以将第二图像域的转换图像发送到第二终端。例如，发送到与图像跨域转换请求的第一终端进行会话的第二终端。
在一些实施例中，当目标图像处理模型为CycleGAN中的图像生成模型，目标参考模型为VAE模型时,图3示出了利用VAE辅助CycleGAN训练时的网络模型架构图。A代表第一图像域，B代表第二图像域，因此GAB表示将第一图像域的图像转换为第二图像域的图像处理模型。GBA表示将第二图像域的图像转换为第一图像域的反向图像处理模型。EA代表对第一图像域的图像进行编码的第一编码模型，DA代表将编码特征转换为A图像域的图像的第一解码模型。EB代表对第二图像域的图像进行编码的第二编码模型，DB代表将编码特征转换为B图像域的图像的第二解码模型。
在一些实施例中，可以先训练得到收敛的目标参考模型，再训练目标图像处理模型，由于目标图像处理模型容易使生成的图像变形，因此可以基于目标参考模型对目标图像处理模型进行参数的进一步调整。
在一些实施例中，目标参考模型的训练、目标图像处理模型的训练、以及利用目标参考模型辅助目标图像处理模型训练是交替或者同时进行的，例如，第一步可以是单独训练CycleGAN、第二步是单独训练VAE、第三步利用VAE辅助CycleGAN训练，第三步中得到的模型损失值也可以用于VAE模型的参数调整。即可以联合训练得到VAE模型以及CycleGAN模型，提高模型训练效率效率的同时使得得到的模型图像处理效果好。以下根据图4～图6进一步介绍利用目标参考模型辅助目标图像处理模型训练的训练过程。根据图7～8C介绍目标图像处理模型的训练过程，根据图9介绍目标参考处理模型的训练过程。
在一些实施例中，参考信息包括目标参考模型输出的参考图像，目标信息包括目标图像，根据目标信息与参考信息的差异得到第一模型损失值包括：计算目标图像与参考图像之间的图像差异，根据图像差异得到第一模型损失值。
具体地，图像差异用于表示图像之间内容的变化，根据图像差异计算得到第一模型损失值的方法可以根据需要进行设置，例如计算得到L1 loss(1泛数损失)。可以根据图像中相同位置的像素的像素值差值得到模型损失值。例如，可以将像素差值的平方和作为第一模型损失值。
在一些实施例中，目标参考模型包括第一图像域对应的第一参考模型以及第二图像域对应的第二参考模型，原始图像为第一图像域的图像，目标图像为第二图像域的图像；将原始图像输入到目标参考模型中，得到对应的参考信息包括：将原始图像输入到第一参考模型对应的第一编码模型中，得到第一目标编码特征；将第一目标编码特征输入到第二参考模型对应的第二解码模型中，得到解码输出的参考图像。
具体地，第一图像域对应的第一参考模型是指该参考模型中的编码模型是用于对第一图像域的图像进行编码的，其解码模型解码得到第一图像域的图像。第二图像域对应的第二参考模型是指该参考模型中的编码模型是用于对第二图像域的图像进行编码的，其解码模型解码得到第二图像域的图像。由于原始图像是第一图像域的图像，因此需要将原始图像输入到第一参考模型对应的第一编码模型中，得到对应的第一目标编码特征，再将第一目标编码特征输入到第二参考模型对应的第二解码模型中，得到解码输出的参考图像。由于第二解码模型是第二参考模型对应的，因此解码出来的图像是第二图像域的，使得参考图像与目标图像的图像域是相同的，故根据目标图像与参考图像得到的第一模型损失值，能够准确反映参考图像与目标图像的差异性，且由于目标参考模型是根据输入到模型的图像与模型输出的图像的差异训练得到的，期望为保证输入图像与输出图像的内容一致性，因此得到的第一模型损失值能够反映目标图像与初始图像的内容的差异，根据该第一模型损失值调整目标图像处理模型中的模型参数，能够提高目标图像处理模型处理得到的图像与原图像的一致性。
当目标图像处理模型是用于进行跨域转换的模型时，即需要使转换得到的目标图像与原始图像的图像域不同，但内容变化小(例如将同一栋楼的夜晚图像转换为白天图像)，如果没有配对的图像组成样本进行有监督的训练，则需要采用无监督算法进行训练，但如果根据目标图像与原始图像的图像域的差异得到损失值调整目标图像处理模型模型参数，则会使得目标图像处理模型会学习到使目标图像的图像域与原始图像的图像域相同，背离跨域转换的目的。而本申请实施例提供的方法，可以利用第一参考模型的第一编码模型对初始图像进行编码，用第二参考模型的第二解码模型进行解码，得到参考图像，使得参考图像与目标图像位于同一图像域，因此可以通过参考图像与目标图像的内容差异间接得到反映内容变化的第一损失值。
在一些实施例中，也可以根据第一模型损失值对第二解码模型以及第一编码模型的参数进行调整。在根据第一模型损失值对第二解码模型以及第一编码模型的参数进行调整时，可以沿着从第二解码模型到第一编码模型的方向，朝着使第一模型损失值变小的方进行调整。即可以将第一编码模型以及第二解码模型当成一个模型进行参数的调整。从第二解码模型的最后一层网络层开始进行反向传播，传播的路径为第二解码模型到第一编码模型。
如图4所示，为一些实施例中，为联合目标参考模型以及目标图像处理模型进行训练的示意图。需要说明的是，图4的网络模型结构与图3的是一致的，但为了简洁性，在图中没有示出模型。除△B对应的虚线外，其他虚线表示BP(BackPropagation,反向传播)方向,△B表示B图像域的图像差异。将A图像域的图像转换到B图像域的图像有两种路径，第一种途径是利用CycleGAN的GAB生成B1图像，第二种途径是利用EA和DB生成的B2图像。在联合训练过程中，期望GAB生成的B1等于VAE生成的B2图像。因此损失函数可以用公式(1)表示，Lossjoint1表示第一模型损失值，x用于表示进行模型训练的训练图像，P(A)表示A图像域(第一图像域)的图像，即x为来自A图像域的训练样本。EA表示对A图像域的图像进行编码的编码模型(第一编码模型)，DB表示第二参考模型中的第二解码模型。GAB表示将第一图像域(A图像域)的图像转换为第二图像域(B图像域)的图像处理模型，因此GAB(x)表示将x输入到GAB中，所输出的图像。Ex～P(A)中的E表示求期望(expectation)，Ex～P(A)表示求期望对应的x是从A图像域(第一图像域)中的图像中取样得到的。四个“丨”组成的符号表示求L1 loss。
lossjoint1＝Ex～p(A)||DB(EA(x))-GAB(x)|| (1)
在一些实施例中，可以理解，由于cycleGAN有两个生成网络模型，另一个生成网络模型(反向图像处理模型)，其训练过程也可以参考目标图像处理模型的方法进行调整，区别在于图像的处理方向不同。
在一些实施例中，也可以根据反向图像处理模型的损失值对第一解码模型以及第二编码模型的参数进行调整。在对第一解码模型以及第二编码模型的参数进行调整时，可以沿着从第一解码模型到第二编码模型的方向，朝着使模型损失值变小的方进行调整。即可以将第一解码模型到第二编码模型当成一个模型进行参数的调整。从第一解码模型的最后一层网络层开始进行反向传播，传播的路径为第一解码模型到第二编码模型。
如图5所示，为一些实施例中，为联合目标参考模型以及反向图像处理模型进行训练的示意图。反向图像处理模型对应的损失函数可以用公式(2)表示。Lossjoint2表示联合训练时，反向图像处理模型对应的损失值，x用于表示进行模型训练的训练图像，P(B)表示B图像域(第二图像域)的图像，即x为来自B图像域的训练样本。EB表示对B图像域的图像进行编码的编码模型(第二编码模型)，DA表示第一参考模型中的第一解码模型，GBA表示将第二图像域(B图像域)的图像转换为第一图像域(A图像域)的图像处理模型，因此GBA(x)表示将x输入到GBA中，所输出的图像。Ex～P(B)中的E表示求期望(expectation)Ex～P(B)表示求期望对应的x是从B图像域(第二图像域)中的图像中取样得到的。四个“丨”组成的符号表示求L1 loss。△A表示A图像域的图像差异，除△A对应的虚线外，其他虚线表示BP(BackPropagation,反向传播)方向。
lossjoint2＝Ex～p(B)||DA(EB(x))-GBA(x)|| (2)
在一些实施例中，目标参考模型包括第一图像域对应的第一参考模型以及第二图像域对应的第二参考模型，原始图像为第一图像域的图像，目标图像为第二图像域的图像，参考信息包括参考编码特征，将原始图像输入到目标参考模型中，得到对应的参考信息包括：将原始图像输入到第一参考模型中的第一编码模型中，编码得到参考编码特征；其中，目标信息包括将目标图像输入到第二参考模型中的第二编码模型中，得到的第二目标编码特征。
具体地，参考信息可以是参考编码特征，参考编码特征是第一编码模型编码得到的特征。因此需要将目标图像输入到第二编码模型中，得到第二目标编码特征，通过比较第二目标编码特征与参考编码特征的差异，得到第一模型损失值。由于编码模型是用于编码得到表示图像的内容的特征的，因此根据第二目标编码特征与参考编码特征的差异，可以确定内容的变化程度，故根据该模型损失值对目标图像处理模型的参数进行调整，相当于朝着使内容变化小的方向调整模型参数，故能够提高得到的目标图像处理模型的处理效果。
在一些实施例中，还可以根据第一模型损失值对第一编码模型的模型参数进行调整，得到调整后的第一编码模型；或者根据第一模型损失值对第二编码模型的模型参数进行调整，得到调整后的第二编码模型。即可以根据第一模型损失值对第一编码模型或者第二编码模型中的至少一个进行参数调整。
例如，如图6所示，为一些实施中，联合目标参考模型以及目标图像处理模型进行训练的示意图。Z空间指深度特征空间，即编码得到的特征空间。虚线表示BP(Back-Propagation,反向传播)方向，△Z表示Z空间的特征差异。对于相同内容，但不同图像域的图像，需要使得A图像区域的图像和B图像中的对应图像在Z空间中的编码特征应该尽可能的一致，因此其损失函数可以表示如公式(3)，LossZ1表示第一模型损失值，EA表示对A图像域的图像进行编码的编码模型(第一编码模型),EB表示对B图像域的图像进行编码的编码模型(第二编码模型)。GAB表示将第一图像域(A图像域)的图像转换为第二图像域(B图像域)的图像处理模型，因此GAB(x)表示将x输入到GAB中，所输出的图像。Ex～P(A)中的E表示求期望(expectation)，Ex～P(A)表示求期望对应的x是从A图像域(第一图像域)中的图像中取样得到的。
lossZ1＝Ex～p(A)||EA(x)-EB(GAB(x))|| (3)
可以理解，由于CycleGAN有两个生成网络模型，另一个生成网络模型(反向图像处理模型)，其训练过程也可以参考目标图像处理模型的方法进行调整，区别在于图像的处理方向不同。故训练时，其对应的损失值函数可以用公式(4)表示，LossZ2表示反向图像处理模型对应的模型损失值，EA表示对A图像域的图像进行编码的编码模型(第一编码模型),EB表示对B图像域的图像进行编码的编码模型(第二编码模型)。GBA表示将第二图像域(B图像域)的图像转换为第一图像域(A图像域)的图像处理模型，因此GBA(x)表示将x输入到GBA中，所输出的图像。Ex～P(B)中的E表示求期望(expectation)，Ex～P(B)表示求期望对应的x是从B图像域(第二图像域)中的图像中取样得到的。
lossZ2＝Ex～p(B)||EB(x)-EA(GBA(x))|| (4)
在一些实施例中，也可以是联合公式(1)与公式(3)得到联合训练时，目标图像处理模型的目标损失函数。因此第一模型损失值可以是公式(1)得到的损失值与公式(3)得到的损失值进行加权求和得到的，权重根据需要设置，例如都为1。也可以联合公式(2)与公式(4)得到联合训练时，反向图像处理模型的目标损失函数。
在一些实施例中，待训练的目标图像处理模型可以是已经利用样本训练过的模型，在此基础上再利用目标参考模型辅助进行训练，例如可以单独训练CycleGAN，将训练的CycleGAN中的生成网络模型作为待训练的目标图像处理模型。如何训练得到待训练的目标图像处理模型的步骤如图7所示，包括如下步骤：
步骤S702，将第一图像域的第一初始图像输入到初始图像处理模型中，得到第一中间图像。
具体地，第一中间图像是初始图像处理模型处理得到的图像。图像处理模型可以是CycleGAN中的图像生成网络模型。
步骤S704，获取初始图像处理模型对应的反向图像处理模型，初始图像处理模型用于将第一图像域的图像转换为第二图像域的图像，反向图像处理模型用于将第二图像域的图像转换为第一图像域的图像。
具体地，初始图像处理模型对应的反向图像处理模型是指处理的方向是相反的，例如初始图像处理模型用于将第一图像域的图像转换为第二图像域的图像，则反向图像处理模型用于将第二图像域的图像转换为第一图像域的图像。举个实际的例子，假设初始图像处理模型用于将白天的图像转换为黑夜的图像，则反向图像处理模型用于将黑夜的图像转换为白天的图像。
例如，初始图像处理模型以及反向图像处理模型为循环生成对抗网络中的图像生成网络模型。如图8A所示，为一些实施例中循环生成对抗网络的原理示意图。G和F表示两个生成网络模型，X为第一图像域的图像，Y为第二图像域的图像，DX为用于对第一图像域的图像进行判别的第一判别模型，DY为用于对第二图像域的图像进行判别的第二判别模型。G生成网络模型(初始图像处理模型)用于将第一图像域的图像转换为第二图像域的图像。F生成网络模型(反向图像处理模型)用于将第二图像域的图像转换为第一图像域的图像。
步骤S706，将第一中间图像输入到反向图像处理模型中，得到第一图像域的第一处理图像。
具体地，第一处理图像是反向图像处理模型处理得到的图像，由于初始图像处理模型用于将第一图像域的图像转换为第二图像域的图像，因此第一中间图像为第二图像域的图像，再将第一中间图像输入到反向图像处理模型进行处理后，得到的是第一图像域的第一处理图像
步骤S708，根据第一图像域的第一初始图像与第一图像域的第一处理图像的差异得到第四模型损失值。
具体地，可以根据第一初始图像与第一图像域的第一处理图像的差异得到第四模型损失值。还可以结合其他损失值得到第四模型损失值，因为第一处理图像是循环到原图像的图像域的，因此可以称为循环一致性损失。例如可以获取根据判别器判别第一中间图像为第二图像域的图像的概率得到的损失值得到第四模型损失值。
步骤S710，根据第四模型损失值调整初始图像处理模型的模型参数，将调整后的初始图像处理模型作为待训练的目标图像处理模型。
具体地，朝着使第四模型损失值变小的方向调整模型的参数，由于第四模型损失值根据第一图像域的第一初始图像与第一图像域的第一处理图像的差异得到，因此能够反映这两个图像的内容差异，朝着使该损失值变小的方向调整模型的参数，能够使得这两个图像的内容差异越来越小。即调整的方向为模型在进行图像处理，例如风格转换时，可以同时保留物体的轮廓。
可以理解，还可以根据第四模型损失值调整反向图像处理模型的模型参数。
如图8B所示，为一些实施例中训练初始图像处理模型的原理示意图。可以将X图像输入到G生成网络模型中,得到第二图像域的图像
将
输入到F网络模型中，得到第一图像域的
以及将
输入到第二判别模型即DY中，得到
为第二图像域的图像的概率。还可以将第二图像域的真实图像Y输入到第二判别模型DY中，得到Y为第二图像域的图像的概率。例如，第二判别模型DY的模型损失函数可以如公式(5)所示。图8B中，对于第一生成网络模型(G生成网络模型)以及第二生成网络模型(F生成网络模型)的损失值，则可以根据第一循环一致性损失值得到。第一循环一致性损失的损失可以根据X与转换得到的
的差异得到，如公式(6)所示。公式(5)以及(6)中，Ld1为第二判别模型DY的模型损失，y＇表示
Lcyc1为循环一致性损失，F(G(x))表示将X输入到G中得到的图像再输入到F中得到的图像，即第一图像域的
四个“丨”外加下标1的符号表示获取的是L1 loss，Dy(y)表示将y输入到Dy中，所得到的概率，Dy(y＇)表示将y＇输入到Dy中，所得到的概率，log表示对数。
Ld1＝log(Dy(y))+log(1-Dy(y′)) (5)
Lcyc1＝||F(G(x))-x||1， (6)
在一些实施例中，还可以对反向图像处理模型进行模型训练，例如，CycleGAN中包括两个图像生成模型，可以将CycleGAN中的另一个生成网络模型作为待训练的反向图像处理模型。训练步骤包括：将第二图像域的第二初始图像输入到反向图像处理模型中，得到第二中间图像；将第二中间图像输入到初始图像处理模型中，得到第二图像域的第二处理图像；根据第二图像域的第二初始图像与第二图像域的第二处理图像的差异得到第五模型损失值，根据第五模型损失值调整反向图像处理模型的模型参数。
具体地，得到第五模型损失值可以参考得到第四模型损失值的步骤，区别在于图像的处理方向是相反的。例如，如图8C所示，为一些实施例中训练反向图像处理模型的示意图。图8B与图8C的区别为训练的方向是相反的。因此，参照公式(5)与公式(6)，第一判别模型DX的模型损失Ld2可以如公式(7)所示，第一生成网络模型(G生成网络模型)以及第二生成网络模型(F生成网络模型)的循环一致性损失值Lcyc2如公式(8)所示。训练循环生成对抗网络的过程可以包括图8B与图8C表示的训练过程。x＇表示
G(F(x))表示将X输入到F中得到的图像再输入到G中得到的图像。四个“丨”外加下标1的符号表示获取的是L1 loss，Dx(x)表示将x输入到Dx中，所得到的概率，Dx(x＇)表示将x＇输入到Dx中，所得到的概率，log表示对数。
Ld2＝log(Dx(x))+log(1-Dx(x′)) (7)
Lcyc2＝||G(F(y))-y||1， (8)
可以理解，还可以根据第五模型损失值调整初始图像处理模型的模型参数。
在一些实施例中，当目标参考图像包括第一参考模型以及第二参考模型时，第一参考模型以及第二参考模型可以是分别训练得到的，第一参考模型根据输入到该模型中的图像与模型输出的图像的差异训练得到的，第二参考模型也是根据输入到该模型中的图像与模型输出的图像的差异训练得到的。区别在于输入到这两个参考模型的图像域是不一样的。例如，可以利用第一图像域的图像对第一参考模型进行训练，利用第二图像域的图像对第二参考模型进行训练。
以下将结合图9对训练得到第一参考模型的步骤进行进一步说明。在一些实施例中，如图9所示，第一图像域对应的第一参考模型的得到步骤包括：
步骤S902，利用待训练的第一编码模型对第一训练图像进行编码，得到第一训练编码特征，第一训练图像为第一图像域的图像。
具体地，第一编码模型用于对第一图像域的图像进行编码，第一图像域可以根据实际需要可以为任意图像域的图像，例如当需要将夜晚拍摄的图像转换为白天拍摄的图像时，则第一图像域为夜晚图像。第二图像域为白天图像。第一训练图像可以是一个或多个，具体根据需要设置，例如可以是1万个。编码模型用于将图像编码为深度特征。
步骤S904，利用待训练的第一解码模型对第一训练编码特征进行解码，得到第一输出图像。
具体地，模型训练时，第一解码模型用于对第一编码模型编码得到编码特征进行解码，解码后输出图像。
步骤S906，根据第一训练图像与第一输出图像的差异计算得到第二模型损失值。
具体地，第一训练图像与第一输出图像的差异可以是根据像素值的差异得到。该差异表示第一训练图像与第一输出图像的内容差异。例如，得到第二模型损失值的损失函数可以用公式(9)表示。公式(9)中,x用于表示进行模型训练的训练图像，P(A)表示A图像域(第一图像域)的图像，即x为来自A图像域的训练样本。EA表示对A图像域的图像进行编码的编码模型(第一编码模型)，DA表示与第一编码模型联合训练的第一解码模型。四个“丨”组成的符号表示求L1 loss。lossVAE1表示第二模型损失值。VAE表示该模型为VAE模型，Ex～P(A)中的E表示求期望(expectation)，Ex～P(A)表示求期望对应的x是从A图像域(第一图像域)中的图像中取样得到的。
lossVAE1＝Ex～P(A)||DA(EA(x))-x|| (9)
步骤S908，根据第二模型损失值调整待训练的第一编码模型以及待训练的第一解码模型的模型参数，得到第一参考模型。
具体地，调整后的第一编码模型以及调整后的第一解码模型组成第一参考模型。在调整模型参数时，朝着使损失值下降的方向进行调整。可以理解，模型的训练可以是迭代多次的，即第一参考模型可以是迭代训练得到的，当满足模型收敛条件时再停止训练，例如当第一训练图像包括多个时，则可以训练多次，每次利用多个初始图像进行模型训练。本申请实施例中，通过根据第一训练图像与第一输出图像的差异计算得到第二模型损失值，可以朝着使第一参考模型输出的图像与输入的图像的差异越来越小的方向调整模型参数，进而使得根据目标信息与参考信息的差异得到的第一模型损失值更准确的反映图像内容的变化程度，因此提升了更新后的目标图像处理模型的图像处理效果。
在一些实施例中，第二参考模型的得到步骤包括：利用待训练的第二编码模型对第二训练图像进行编码，得到第二训练编码特征，第二训练图像为第二图像域的图像；利用待训练的第二解码模型对第二训练编码特征进行解码，得到第二输出图像；根据第二训练图像与第二输出图像的差异计算得到第三模型损失值；根据第二模型损失值调整待训练的第二编码模型以及待训练的第二解码模型的模型参数，得到第二参考模型。
具体地，第二图像域对应的第二编码图像用于对第二图像域的图像进行编码。模型训练时，第二解码模型用于对第二编码模型编码得到编码特征进行解码，解码后输出图像。第一训练图像与第一输出图像的差异可以是根据像素值的差异得到。该差异表示第一训练图像与第一输出图像的内容差异。例如，得到第二模型损失值的损失函数可以用公式(10)表示。公式(10)中,x表示用于进行模型训练的训练图像，P(B)表示B图像域(第二图像域)的图像，即x为来自B图像域的训练样本。EB表示对B图像域(第二图像域)的图像进行编码的编码模型(第二编码模型)，DB表示与第二编码模型联合训练的第二解码模型。四个“丨”组成的符号表示求L1 loss。lossVAE2表示第三模型损失值。VAE表示该模型为VAE模型，Ex～P(B)中的E表示求期望(expectation)，Ex～P(B)表示求期望对应的x是从B图像域(第二图像域)中的图像中取样得到的。
lossVAE2＝Ex～P(B)||DB(EB(x))-x|| (10)
调整后的第二编码模型以及调整后的第二解码模型组成第二参考模型。在调整模型参数时，朝着使损失值下降的方向进行调整。可以理解，模型的训练可以是迭代多次的，即第二参考模型可以是迭代训练得到的，当满足模型收敛条件时再停止训练，例如当第二训练图像包括多个时，则可以训练多次，每次利用多个训练图像进行模型训练。
本申请实施例中，当目标图像处理模型为进行跨域转换的模型时，由于目标图像是第二图像域的图像，因此如果需要将目标图像输入到目标图像处理模型中，可以利用相同图像域的编码模型(第二图像域的第二编码模型)对该目标图像进行编码处理，使得图像的编码更加准确，因此通过根据第二训练图像与第二输出图像的差异计算得到第三模型损失值，可以朝着使第二参考模型输出的图像与输入的图像的差异越来越小的方向调整模型参数，进而使得根据目标信息与参考信息的差异得到的第二模型损失值更准确的反映图像内容的变化程度，提升了更新后的目标图像处理模型的图像处理效果。
如图10所示，为一些实施例中训练第一参考模型以及第二参考模型的原理示意图，除△A以及△B对应的虚线外，其他虚线代表反向传播的方向，△A表示A图像域的图像差异，△B表示B图像域的图像差异。
在一些实施例中，目标图像处理模型以及目标参考模型可以是深度神经网络模型，例如目标参考模型可以为VAE模型。VAE中的编码模型与解码模型每层的的结构以及属性如表一所示,其中Conv表示卷积层，ReLU表示激活函数，DConv为反卷积层，N为模型的通道数目，K为卷积核大小，S为步长(stride)大小，例如第二行表示编码器的第一层为卷积层以及relu激活层的组合，N64,K4,S1表示第一层的通道数为64，卷积核大小为4，步长为1。
表一
| 编码器层数 | 结构 | 模型属性 |
| 1 | Conv,ReLU | N64,K4,S1 |
| 2 | Conv,ReLU | N128,K4,S2 |
| 3 | Conv,ReLU | N192,K4,S2 |
| 4 | Conv,ReLU | N256,K4,S2 |
| 5 | Conv, | N256,K1,S1 |
| 解码器层数 | 结构 | 模型属性 |
| 1 | DConv,ReLU | N256,K1,S1 |
| 2 | DConv,ReLU | N192,K4,S2 |
| 3 | DConv,ReLU | N128,K3,S1 |
| 4 | DConv,ReLU | N64,K4,S2 |
| 5 | Conv, | N3,K3,S1 |
在一些实施例中，CycleGAN中U-Net的网络结构如表二所示,U-Net是一种深度学习分割网络，由于其结构为U型，因此被称为U-Net，可以用于医学图像分割任务。U-Net可分为contraction层(收缩层)，bottleneck(瓶颈层)和expansion(扩张层)三层。其中Conv为卷积层，ReLU和Leaky均为激活函数，DConv为反卷积层。
表二
| U-Net层数 | 结构 | 模型属性 |
| 1 | Conv, | N64,K4,S2 |
| 2 | LeakyReLU,Conv | N128,K4,S2 |
| 3 | LeakyReLU,Conv | N256,K4,S2 |
| 4 | LeakyReLU,Conv | N512,K4,S2 |
| 5 | LeakyReLU,Conv | N512,K4,S2 |
| 6 | ReLU,DConv | N512,K4,S2 |
| 7 | ReLU,DConv | N256,K4,S2 |
| 8 | ReLU,DConv | N128,K4,S2 |
| 9 | ReLU,DConv | N64,K4,S2 |
| 10 | ReLU,DConv,tanh | N3,K4,S2 |
在一些实施例中，CycleGAN中判别器的网络结构如表三所示,其中Conv表示卷积层，LeakyReLU表示激活函数，DConv表示反卷积层。判别器采用可以采用PatchGAN结构，PatchGAN用于判别感受野是真是假。例如判别器可以将图像映射为30x30的矩阵，矩阵中每一个元素对应原图像感受野的一个patch(块)，因此相当于从原图中取多个patch做判别，得到判别效果更强的判别器。
表三
| 判别器层数 | 结构 | 模型属性 |
| 1 | Conv,LeakyReLU | N64,K4,S2 |
| 2 | Conv,LeakyReLU | N128,K4,S2 |
| 3 | Conv,LeakyReLU | N256,K4,S2 |
| 4 | Conv,LeakyReLU | N512,K4,S2 |
| 5 | Conv | N1,K4,S1 |
可以理解，本申请实施例中，对于同一图像域，对目标参考模型以及目标图像处理模型进行模型训练的图像可以是同一批图像，也可以不是同一批图像，即上述的原始图像、第一训练图像或者第一初始图像等图像可以是相同的图像也可以是不同的图像。训练时的图像个数可以根据需要设置，例如可以是1万个。在训练模型时，可以采用SGD(StochasticGradient Descent)梯度下降法求解神经网络模型的卷积模板参数w和偏置参数b，在每次迭代过程中，计算预测结果误差并反向传播到卷积神经网络模型，计算梯度并更新卷积神经网络模型的参数，从而得到模型。
本申请实施例提供的模型可以搭载于云环境中。本申请实施例提供的模型，在对图像进行模态转换时，可以提高生成的转换图像的质量，减少得到的转换图像的扭曲程度，且可以在不需要额外的标签数据的情况下训练得到图像处理模型。例如，一般情况下非配对数据的跨模态转换有非常重要的意义，因为一般而言，配对的图像的数量是有限的，因此需要在无监督情况下进行数据增强，提升模型性能，同时也能作为一种域适应算法，为跨模态的图像分割与图像识别带来便利。例如，当数据集较小时，CycleGAN本身便难以准确定位关键信息，进而造成图像的扭曲或变形，为了在无监督前提下解决跨模态转换生成的图像的几何形状扭曲，可以采用本申请实施例中提供的模型联合训练的方法，利用VAE辅助计算得到的损失值，来表示CycleGAN中的生成网络模型生成的图像对应的扭曲损失值，通过该扭曲损失值调整CycleGAN中生成网络模型的参数，既可以使CycleGAN中生成网络模型生成的图像不易扭曲，又保持了生成图像质量高的优点。
当图像处理模型为图像增强模型时，经过本申请实施例提供的图像处理模型进行图像处理，得到的图像可以用于图像检测或者图像分割，例如检测图像中目标对象的位置，目标对象例如可以是人。
以下以一个具体的实施例对本申请提供的图像处理方法进行说明，包括以下步骤：
1、训练CycleGAN模型，将训练得到的CycleGAN中的生成网络模型作为待训练的目标图像处理模型。
具体地，可以根据图7对应的实施例训练得到的CycleGAN，将得到的一个生成网络模型作为待训练的目标图像处理模型，另一个作为反向图像处理模型。
2、训练目标参考模型。
具体地，可以根据图9对应的实施例训练得到的VAE模型作为目标参考模型。其中，步骤1以及步骤2可以是同步进行的。也可以先执行步骤2，再执行步骤1。
3、对目标图像处理模型与目标参考模型进行联合优化。
例如，可以根据图4的示意图对目标图像处理模型、对目标参考模型中的第二解码模型以及第一编码模型的参数进行优化。根据图5的示意图对反向图像处理模型、对目标参考模型中的第一解码模型以及第二编码模型的参数进行调整。根据图6的示意图对目标图像处理模型、第一编码模型以及第二编码模型的参数进行优化。还还可以对反向图像处理模型、第一编码模型以及第二编码模型的参数进行优化。其中，步骤3中的多种优化方式的顺序可以根据需要设置。
4、迭代步骤1、2以及3，直至满足模型收敛条件。
例如可以是第一模型损失值小于预设损失值时则停止迭代。本申请实施例提供的目标图像处理模型可以用于对图像进行增强，例如，如图11所示，如果利用更新后的目标图像处理模型对原图处理，可以在减少图像内容变化的情况下进行图像增强，得到增强的图像，处理后的图像光亮度好，可以更清楚看到图像中的内容。
如图12所示，在一个实施例中，提供了一种图像处理装置，该图像处理装置可以集成于上述的服务器120中，具体可以包括目标图像获取模块1202、目标参考模型获取模块1204、参考信息得到模块1206、第一模型损失值得到模块1208以及第一调整模块1210。
目标图像获取模块1202，用于获取原始图像，将原始图像输入到待训练的目标图像处理模型中进行处理，得到目标图像。
目标参考模型获取模块1204，用于获取目标参考模型，目标参考模型是根据输入到模型的图像与模型输出的图像的差异训练得到的。
参考信息得到模块1206，用于将原始图像输入到目标参考模型中，得到对应的参考信息。
第一模型损失值得到模块1208，用于根据目标信息与参考信息的差异得到第一模型损失值，目标信息包括目标图像或者将目标图像输入到目标参考模型中进行编码得到的编码特征中的至少一个。
第一调整模块1210，用于根据第一模型损失值调整目标图像处理模型中的模型参数，得到更新后的目标图像处理模型，以利用更新后的目标图像处理模型进行图像处理。
在一些实施例中，第一模型损失值得到模块1208用于：计算目标图像与参考图像之间的图像差异，根据图像差异得到第一模型损失值。
在一些实施例中，目标参考模型包括第一图像域对应的第一参考模型以及第二图像域对应的第二参考模型，原始图像为第一图像域的图像，目标图像为第二图像域的图像；参考信息得到模块1206用于：将原始图像输入到第一参考模型对应的第一编码模型中，编码得到第一目标编码特征；将第一目标编码特征输入到第二参考模型对应的第二解码模型中，得到解码输出的参考图像。
在一些实施例中，装置还包括：第二调整模块，用于沿着从第二解码模型到第一编码模型的方向，根据第一模型损失值进行模型参数调整，得到调整后的第二解码模型以及调整后的第一编码模型。
在一些实施例中，目标参考模型包括第一图像域对应的第一参考模型以及第二图像域对应的第二参考模型，原始图像为第一图像域的图像，目标图像为第二图像域的图像，参考信息包括参考编码特征，参考信息得到模块用于：将原始图像输入到第一参考模型中的第一编码模型中，编码得到参考编码特征；其中，目标信息包括将目标图像输入到第二参考模型中的第二编码模型中，编码得到的第二目标编码特征。
在一些实施例中，装置还包括以下模块的至少一个：第一编码模型调整模块，用于根据第一模型损失值对第一编码模型的模型参数进行调整，得到调整后的第一编码模型；或者第二编码模型调整模块，用于根据第一模型损失值对第二编码模型的模型参数进行调整，得到调整后的第二编码模型。
在一些实施例中，第一参考模型的得到模块用于：利用待训练的第一编码模型对第一训练图像进行编码，得到第一训练编码特征，第一训练图像为第一图像域的图像；利用待训练的第一解码模型对第一训练编码特征进行解码，得到第一输出图像；根据第一训练图像与第一输出图像的差异计算得到第二模型损失值；根据第二模型损失值调整待训练的第一编码模型以及待训练的第一解码模型的模型参数，得到第一参考模型。
在一些实施例中，第二参考模型的得到模块包括：利用待训练的第二编码模型对第二训练图像进行编码，得到第二训练编码特征，第二训练图像为第二图像域的图像；利用待训练的第二解码模型对第二训练编码特征进行解码，得到第二输出图像；根据第二训练图像与第二输出图像的差异计算得到第三模型损失值；根据第三模型损失值调整待训练的第二编码模型以及待训练的第二解码模型的模型参数，得到第二参考模型。
在一些实施例中，装置还包括：第一中间图像得到模块，用于将第一图像域的第一初始图像输入到初始图像处理模型中，得到第一中间图像；反向图像处理模型获取模块，用于获取初始图像处理模型对应的反向图像处理模型，初始图像处理模型用于将第一图像域的图像转换为第二图像域的图像，反向图像处理模型用于将第二图像域的图像转换为第一图像域的图像；第一处理图像得到模块，用于将第一中间图像输入到反向图像处理模型中，得到第一图像域的第一处理图像；第四模型损失值得到模块，用于根据第一图像域的第一初始图像与第一图像域的第一处理图像的差异得到第四模型损失值；初始图像处理模型调整模块，用于根据第四模型损失值调整初始图像处理模型的模型参数，将调整后的初始图像处理模型作为待训练的目标图像处理模型。
在一些实施例中，装置还包括：第二中间图像得到模块，用于将第二图像域的第二初始图像输入到反向图像处理模型中，得到第二中间图像；第二处理图像得到模块，用于将第二中间图像输入到初始图像处理模型中，得到第二图像域的第二处理图像；反向图像处理模型调整模块，用于根据第二图像域的第二初始图像与第二图像域的第二处理图像的差异得到第五模型损失值，根据第五模型损失值调整反向图像处理模型的模型参数。
在一些实施例中，装置还包括：请求接收模块，用于接收图像跨域转换请求，图像跨域转换请求用于请求将待转换的图像转换为第二图像域的图像；待转换图像获取模块，用于获取图像跨域转换请求对应的待转换图像；转换模块，用于将待转换图像输入到目标图像处理模型中，得到第二图像域的转换图像。
图13示出了一些实施例中计算机设备的内部结构图。该计算机设备具体可以是图1中的服务器120。如图13所示，该计算机设备包括通过系统总线连接的处理器、存储器以及网络接口。其中，存储器包括非易失性存储介质和内存储器。该计算机设备的非易失性存储介质存储有操作系统，还可存储有计算机程序，该计算机程序被处理器执行时，可使得处理器实现图像处理方法。该内存储器中也可储存有计算机程序，该计算机程序被处理器执行时，可使得处理器执行图像处理方法。
本领域技术人员可以理解，图13中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一些实施例中，本申请提供的图像处理装置可以实现为一种计算机程序的形式，计算机程序可在如图13所示的计算机设备上运行。计算机设备的存储器中可存储组成该图像处理装置的各个程序模块，比如，图12所示的1202、目标参考模型获取模块1204、参考信息得到模块1206、第一模型损失值得到模块1208以及第一调整模块1210。各个程序模块构成的计算机程序使得处理器执行本说明书中描述的本申请各个实施例的图像处理方法中的步骤。例如，图12所示的计算机设备可以通过如图12所示的图像处理装置中的目标图像获取模块1202获取原始图像，将原始图像输入到待训练的目标图像处理模型中进行处理，得到目标图像。通过目标参考模型获取模块1204获取目标参考模型，目标参考模型是根据输入到模型的图像与模型输出的图像的差异训练得到的。通过参考信息得到模块1206将原始图像输入到目标参考模型中，得到对应的参考信息。通过第一模型损失值得到模块1208根据目标信息与参考信息的差异得到第一模型损失值，目标信息包括目标图像或者将目标图像输入到目标参考模型中进行编码得到的编码特征中的至少一个。通过第一调整模块1210根据第一模型损失值调整目标图像处理模型中的模型参数，得到更新后的目标图像处理模型，以利用更新后的目标图像处理模型进行图像处理。
在一些实施例中，提供了一种计算机设备，包括存储器和处理器，存储器存储有计算机程序，计算机程序被处理器执行时，使得处理器执行上述图像处理方法的步骤。此处图像处理方法的步骤可以是上述各个实施例的图像处理方法中的步骤。
在一些实施例中，提供了一种计算机可读存储介质，存储有计算机程序，计算机程序被处理器执行时，使得处理器执行上述图像处理方法的步骤。此处图像处理方法的步骤可以是上述各个实施例的图像处理方法中的步骤。
应该理解的是，虽然本申请各实施例的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，各实施例中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。
Claims (16)
1.一种图像处理方法，所述方法包括：
获取原始图像，将所述原始图像输入到待训练的目标图像处理模型中进行处理，得到目标图像；所述原始图像为第一图像域的图像；
获取目标参考模型，所述目标参考模型是根据输入到模型的图像与模型输出的图像的差异训练得到的；所述目标图像为第二图像域的图像；所述目标参考模型包括第一图像域对应的第一参考模型以及第二图像域对应的第二参考模型；
将所述原始图像输入到所述目标参考模型中，得到对应的参考信息；所述参考信息包括将所述原始图像输入到所述第一参考模型中的第一编码模型中，编码得到的参考编码特征；
根据目标信息与所述参考信息的差异得到第一模型损失值，所述目标信息包括将所述目标图像输入到所述第二参考模型中的第二编码模型进行编码得到的编码特征；
根据所述第一模型损失值调整所述目标图像处理模型中的模型参数，得到更新后的目标图像处理模型，以利用所述更新后的目标图像处理模型进行图像处理。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括以下步骤的至少一个：
根据所述第一模型损失值对所述第一编码模型的模型参数进行调整，得到调整后的第一编码模型；或者
根据所述第一模型损失值对所述第二编码模型的模型参数进行调整，得到调整后的第二编码模型。
3.根据权利要求1所述的方法，其特征在于，所述第一参考模型的得到步骤包括：
利用待训练的第一编码模型对第一训练图像进行编码，得到第一训练编码特征，所述第一训练图像为第一图像域的图像；
利用待训练的第一解码模型对所述第一训练编码特征进行解码，得到第一输出图像；
根据所述第一训练图像与所述第一输出图像的差异计算得到第二模型损失值；
根据所述第二模型损失值调整所述待训练的第一编码模型以及所述待训练的第一解码模型的模型参数，得到所述第一参考模型。
4.根据权利要求1所述的方法，其特征在于，所述第二参考模型的得到步骤包括：
利用待训练的第二编码模型对第二训练图像进行编码，得到第二训练编码特征，所述第二训练图像为第二图像域的图像；
利用待训练的第二解码模型对所述第二训练编码特征进行解码，得到第二输出图像；
根据所述第二训练图像与所述第二输出图像的差异计算得到第三模型损失值；
根据所述第三模型损失值调整所述待训练的第二编码模型以及所述待训练的第二解码模型的模型参数，得到所述第二参考模型。
5.根据权利要求1所述的方法，其特征在于，所述方法还包括：
将第一图像域的第一初始图像输入到初始图像处理模型中，得到第一中间图像；
获取所述初始图像处理模型对应的反向图像处理模型，所述初始图像处理模型用于将第一图像域的图像转换为第二图像域的图像，所述反向图像处理模型用于将所述第二图像域的图像转换为所述第一图像域的图像；
将所述第一中间图像输入到所述反向图像处理模型中，得到所述第一图像域的第一处理图像；
根据所述第一图像域的第一初始图像与所述第一图像域的第一处理图像的差异得到第四模型损失值；
根据所述第四模型损失值调整所述初始图像处理模型的模型参数，将调整后的初始图像处理模型作为待训练的目标图像处理模型。
6.根据权利要求5所述的方法，其特征在于，所述方法还包括：
将所述第二图像域的第二初始图像输入到所述反向图像处理模型中，得到第二中间图像；
将所述第二中间图像输入到所述初始图像处理模型中，得到所述第二图像域的第二处理图像；
根据所述第二图像域的第二初始图像与所述第二图像域的第二处理图像的差异得到第五模型损失值，根据所述第五模型损失值调整所述反向图像处理模型的模型参数。
7.根据权利要求1所述的方法，其特征在于，所述方法还包括：
接收图像跨域转换请求，所述图像跨域转换请求用于请求将待转换的图像转换为第二图像域的图像；
获取所述图像跨域转换请求对应的待转换图像；
将所述待转换图像输入到所述目标图像处理模型中，得到所述第二图像域的转换图像。
8.一种图像处理装置，所述装置包括：
目标图像获取模块，用于获取原始图像，将所述原始图像输入到待训练的目标图像处理模型中进行处理，得到目标图像；所述原始图像为第一图像域的图像；
目标参考模型获取模块，用于获取目标参考模型，所述目标参考模型是根据输入到模型的图像与模型输出的图像的差异训练得到的；所述目标图像为第二图像域的图像；所述目标参考模型包括第一图像域对应的第一参考模型以及第二图像域对应的第二参考模型；
参考信息得到模块，用于将所述原始图像输入到所述目标参考模型中，得到对应的参考信息；所述参考信息包括将所述原始图像输入到所述第一参考模型中的第一编码模型中，编码得到的参考编码特征；
第一模型损失值得到模块，用于根据目标信息与所述参考信息的差异得到第一模型损失值，所述目标信息包括将所述目标图像输入到所述第二参考模型中的第二编码模型进行编码得到的编码特征；
第一调整模块，用于根据所述第一模型损失值调整所述目标图像处理模型中的模型参数，得到更新后的目标图像处理模型，以利用所述更新后的目标图像处理模型进行图像处理。
9.根据权利要求8所述的装置，其特征在于，所述装置还用于：
根据所述第一模型损失值对所述第一编码模型的模型参数进行调整，得到调整后的第一编码模型；或者
根据所述第一模型损失值对所述第二编码模型的模型参数进行调整，得到调整后的第二编码模型。
10.根据权利要求8所述的装置，其特征在于，所述第一参考模型的得到模块用于：
利用待训练的第一编码模型对第一训练图像进行编码，得到第一训练编码特征，所述第一训练图像为第一图像域的图像；
利用待训练的第一解码模型对所述第一训练编码特征进行解码，得到第一输出图像；
根据所述第一训练图像与所述第一输出图像的差异计算得到第二模型损失值；
根据所述第二模型损失值调整所述待训练的第一编码模型以及所述待训练的第一解码模型的模型参数，得到所述第一参考模型。
11.根据权利要求8所述的装置，其特征在于，所述第二参考模型的得到模块用于：
利用待训练的第二编码模型对第二训练图像进行编码，得到第二训练编码特征，所述第二训练图像为第二图像域的图像；
利用待训练的第二解码模型对所述第二训练编码特征进行解码，得到第二输出图像；
根据所述第二训练图像与所述第二输出图像的差异计算得到第三模型损失值；
根据所述第三模型损失值调整所述待训练的第二编码模型以及所述待训练的第二解码模型的模型参数，得到所述第二参考模型。
12.根据权利要求8所述的装置，其特征在于，所述装置还用于：
将第一图像域的第一初始图像输入到初始图像处理模型中，得到第一中间图像；
获取所述初始图像处理模型对应的反向图像处理模型，所述初始图像处理模型用于将第一图像域的图像转换为第二图像域的图像，所述反向图像处理模型用于将所述第二图像域的图像转换为所述第一图像域的图像；
将所述第一中间图像输入到所述反向图像处理模型中，得到所述第一图像域的第一处理图像；
根据所述第一图像域的第一初始图像与所述第一图像域的第一处理图像的差异得到第四模型损失值；
根据所述第四模型损失值调整所述初始图像处理模型的模型参数，将调整后的初始图像处理模型作为待训练的目标图像处理模型。
13.根据权利要求12所述的装置，其特征在于，所述装置还用于：
将所述第二图像域的第二初始图像输入到所述反向图像处理模型中，得到第二中间图像；
将所述第二中间图像输入到所述初始图像处理模型中，得到所述第二图像域的第二处理图像；
根据所述第二图像域的第二初始图像与所述第二图像域的第二处理图像的差异得到第五模型损失值，根据所述第五模型损失值调整所述反向图像处理模型的模型参数。
14.根据权利要求8所述的装置，其特征在于，所述装置还用于：
接收图像跨域转换请求，所述图像跨域转换请求用于请求将待转换的图像转换为第二图像域的图像；
获取所述图像跨域转换请求对应的待转换图像；
将所述待转换图像输入到所述目标图像处理模型中，得到所述第二图像域的转换图像。
15.一种计算机设备，其特征在于，包括存储器和处理器，所述存储器中存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行权利要求1至7中任一项权利要求所述图像处理方法的步骤。
16.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行权利要求1至7中任一项权利要求所述图像处理方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010005252.9A CN111210382B (zh) | 2020-01-03 | 2020-01-03 | 图像处理方法、装置、计算机设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010005252.9A CN111210382B (zh) | 2020-01-03 | 2020-01-03 | 图像处理方法、装置、计算机设备和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111210382A CN111210382A (zh) | 2020-05-29 |
| CN111210382B true CN111210382B (zh) | 2022-09-30 |
Family
ID=70787198
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010005252.9A Active CN111210382B (zh) | 2020-01-03 | 2020-01-03 | 图像处理方法、装置、计算机设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111210382B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113177567B (zh) * | 2020-11-11 | 2021-09-17 | 苏州知云创宇信息科技有限公司 | 一种基于云计算服务的图像数据处理方法及系统 |
| CN112862110B (zh) * | 2021-02-11 | 2024-01-30 | 脸萌有限公司 | 模型生成方法、装置和电子设备 |
| CN113705290A (zh) * | 2021-02-26 | 2021-11-26 | 腾讯科技（深圳）有限公司 | 图像处理方法、装置、计算机设备和存储介质 |
| CN113643400B (zh) * | 2021-08-23 | 2022-05-24 | 哈尔滨工业大学（威海） | 一种图像生成方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108564127A (zh) * | 2018-04-19 | 2018-09-21 | 腾讯科技（深圳）有限公司 | 图像转换方法、装置、计算机设备及存储介质 |
| CN110135574A (zh) * | 2018-02-09 | 2019-08-16 | 北京世纪好未来教育科技有限公司 | 神经网络训练方法、图像生成方法及计算机存储介质 |
| CN110580487A (zh) * | 2018-06-08 | 2019-12-17 | Oppo广东移动通信有限公司 | 神经网络的训练方法、构建方法、图像处理方法和装置 |
| CN110599492A (zh) * | 2019-09-19 | 2019-12-20 | 腾讯科技（深圳）有限公司 | 图像分割模型的训练方法、装置、电子设备及存储介质 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102403494B1 (ko) * | 2017-04-27 | 2022-05-27 | 에스케이텔레콤 주식회사 | 생성적 대립 네트워크에 기반한 도메인 간 관계를 학습하는 방법 |
-
2020
- 2020-01-03 CN CN202010005252.9A patent/CN111210382B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110135574A (zh) * | 2018-02-09 | 2019-08-16 | 北京世纪好未来教育科技有限公司 | 神经网络训练方法、图像生成方法及计算机存储介质 |
| CN108564127A (zh) * | 2018-04-19 | 2018-09-21 | 腾讯科技（深圳）有限公司 | 图像转换方法、装置、计算机设备及存储介质 |
| CN110580487A (zh) * | 2018-06-08 | 2019-12-17 | Oppo广东移动通信有限公司 | 神经网络的训练方法、构建方法、图像处理方法和装置 |
| CN110599492A (zh) * | 2019-09-19 | 2019-12-20 | 腾讯科技（深圳）有限公司 | 图像分割模型的训练方法、装置、电子设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111210382A (zh) | 2020-05-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111210382B (zh) | 图像处理方法、装置、计算机设备和存储介质 | |
| CN111401216B (zh) | 图像处理、模型训练方法、装置、计算机设备和存储介质 | |
| CN110363068B (zh) | 一种基于多尺度循环生成式对抗网络的高分辨行人图像生成方法 | |
| EP4246458A1 (en) | System for three-dimensional geometric guided student-teacher feature matching (3dg-stfm) | |
| CN111582044A (zh) | 基于卷积神经网络和注意力模型的人脸识别方法 | |
| US20210326571A1 (en) | Fast and robust friction ridge impression minutiae extraction using feed-forward convolutional neural network | |
| CN114663440A (zh) | 一种基于深度学习的眼底图像病灶分割方法 | |
| CN114445420A (zh) | 编解码结构结合注意力机制的图像分割模型及其训练方法 | |
| CN114418030A (zh) | 图像分类方法、图像分类模型的训练方法及装置 | |
| CN113822953A (zh) | 图像生成器的处理方法、图像生成方法及装置 | |
| CN111325766A (zh) | 三维边缘检测方法、装置、存储介质和计算机设备 | |
| CN113570497A (zh) | 图像处理方法、装置、计算机设备和存储介质 | |
| CN115731574A (zh) | 基于中间模态的参数共享和特征学习的跨模态行人重识别方法 | |
| CN114972016A (zh) | 图像处理方法、装置、计算机设备、存储介质及程序产品 | |
| CN114821736A (zh) | 基于对比学习的多模态人脸识别方法、装置、设备及介质 | |
| CN112016592B (zh) | 基于交叉领域类别感知的领域适应语义分割方法及装置 | |
| CN113160032A (zh) | 一种基于生成对抗网络的无监督多模态图像转换方法 | |
| CN114627531A (zh) | 一种基于人脸重构和Gabor遮挡字典的人脸识别方法 | |
| CN114419249A (zh) | 物体三维形状重建方法、装置、设备及存储介质 | |
| CN114283301A (zh) | 一种基于Transformer的自适应医学影像分类方法及系统 | |
| CN113936333A (zh) | 一种基于人体骨架序列的动作识别算法 | |
| CN112633229A (zh) | 一种基于spd流形的行人重识别系统 | |
| CN113822790A (zh) | 一种图像处理方法、装置、设备及计算机可读存储介质 | |
| Wu et al. | Learning age semantic factor to enhance group-based representations for cross-age face recognition | |
| CN117974693A (zh) | 图像分割方法、装置、计算机设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |