CN115345782A - 图像处理方法、装置、计算机、可读存储介质及程序产品 - Google Patents

图像处理方法、装置、计算机、可读存储介质及程序产品 Download PDF

Info

Publication number
CN115345782A
CN115345782A CN202210967272.3A CN202210967272A CN115345782A CN 115345782 A CN115345782 A CN 115345782A CN 202210967272 A CN202210967272 A CN 202210967272A CN 115345782 A CN115345782 A CN 115345782A
Authority
CN
China
Prior art keywords
image
resolution
sample
model
template
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210967272.3A
Other languages
English (en)
Inventor
贺珂珂
朱俊伟
储文青
邰颖
汪铖杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202210967272.3A priority Critical patent/CN115345782A/zh
Publication of CN115345782A publication Critical patent/CN115345782A/zh
Priority to PCT/CN2023/111212 priority patent/WO2024032494A1/zh
Priority to US18/417,916 priority patent/US20240153041A1/en
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)

Abstract

本申请实施例公开了一种图像处理方法、装置、计算机、可读存储介质及程序产品，涉及人工智能领域，该方法包括：采用第一源图像样本、第一模板图像样本及第一标准合成图像训练得到第一参数调整模型，将第一参数调整模型与第一分辨率更新层组合成第一更新模型；采用第二分辨率下的第二源图像样本、第二模板图像样本及第三分辨率下的第二标准合成图像，将第一更新模型调整为第二参数调整模型；将第二参数调整模型与第二分辨率更新层组合成第二更新模型；采用第四分辨率下的第三源图像样本、第三模板图像样本及第五分辨率下的第三标准合成图像，将第二更新模型调整为目标图像融合模型。采用本申请，可以提高图像融合后的清晰度及显示效果。

Description

图像处理方法、装置、计算机、可读存储介质及程序产品
技术领域
本申请涉及计算机技术领域，尤其涉及一种图像处理方法、装置、计算机、可读存储介质及程序产品。
背景技术
现在，视频换脸有非常多的应用场景，例如影视人像制作、游戏人物设计、虚拟形象及隐私保护等等。例如，在影视制作中，有一些专业的镜头可能一般人无法完成，就需要专业人士完成，后期就可以通过换脸技术实现影视制作；或者，在视频(如直播或视频通话等)中，可以采用虚拟人物对用户的视频画面进行换脸操作，得到用户的虚拟形象，并通过该虚拟形象进行视频等等。目前的换脸方法，一般是通过256分辨率的换脸算法进行换脸处理，导致生成的图像的较为模糊，尤其是现在对于视频等的清晰度要求越来越高，使得换脸之后的图像的清晰度较低，显示效果较差。
发明内容
本申请实施例提供了一种图像处理方法、装置、计算机、可读存储介质及程序产品，可以提高融合后图像的清晰度及显示效果。
本申请实施例一方面提供了一种图像处理方法，该方法包括：
获取第一分辨率下的第一源图像样本、第一模板图像样本及第一标准合成图像，采用第一源图像样本、第一模板图像样本及第一标准合成图像对初始图像融合模型进行参数调整，得到第一参数调整模型，在第一参数调整模型中插入第一分辨率更新层，得到第一更新模型；
获取第二分辨率下的第二源图像样本及第二模板图像样本，获取第三分辨率下的第二标准合成图像，采用第二源图像样本、第二模板图像样本及第二标准合成图像对第一更新模型进行参数调整，得到第二参数调整模型；第二分辨率大于或等于第一分辨率，第三分辨率大于第一分辨率；
在第二参数调整模型中插入第二分辨率更新层，得到第二更新模型；
获取第四分辨率下的第三源图像样本及第三模板图像样本，获取第五分辨率下的第三标准合成图像，采用第三源图像样本、第三模板图像样本及第三标准合成图像对第二更新模型进行参数调整，得到目标图像融合模型；目标图像融合模型用于将一个图像中的对象融合进另一个图像中；第四分辨率大于或等于第三分辨率，第五分辨率大于或等于第四分辨率。
本申请实施例一方面提供了一种图像处理方法，该方法包括：
获取源图像及模板图像，将源图像及模板图像输入目标图像融合模型，通过目标图像融合模型对源图像与模板图像进行融合，得到目标合成图像；目标图像融合图像是采用第三源图像样本、第三模板图像样本及第三标准合成图像，对第二更新模型进行参数调整所得到的，第三源图像样本及第三模板图像样本的分辨率为第四分辨率，第三标准合成图像的分辨率为第五分辨率；第二更新模型是通过在第二参数调整模型中插入第二分辨率更新层得到的；第二参数调整模型是采用第二源图像样本、第二模板图像样本及第二标准合成图像，对第一更新模型进行参数调整所得到的，第二源图像样本及第二模板图像样本的分辨率为第二分辨率，第二标准合成图像的分辨率为第三分辨率；第一更新模型是在第一参数调整模型中插入第一分辨率更新层得到的；第一参数调整模型是采用第一源图像样本、第一模板图像样本及第一标准合成图像，对初始图像融合模型进行参数调整所得到的，第一源图像样本、第一模板图像样本及第一标准合成图像的分辨率为第一分辨率。
本申请实施例一方面提供了一种图像处理装置，该装置包括：
第一样本获取模块，用于获取第一分辨率下的第一源图像样本、第一模板图像样本及第一标准合成图像；
第一参数调整模块，用于采用第一源图像样本、第一模板图像样本及第一标准合成图像对初始图像融合模型进行参数调整，得到第一参数调整模型；
第一模型更新模块，用于在第一参数调整模型中插入第一分辨率更新层，得到第一更新模型；
第二样本获取模块，用于获取第二分辨率下的第二源图像样本及第二模板图像样本，获取第三分辨率下的第二标准合成图像；
第二参数调整模块，用于采用第二源图像样本、第二模板图像样本及第二标准合成图像对第一更新模型进行参数调整，得到第二参数调整模型；第二分辨率大于或等于第一分辨率，第三分辨率大于第一分辨率；
第二模型更新模块，用于在第二参数调整模型中插入第二分辨率更新层，得到第二更新模型；
第三样本获取模块，用于获取第四分辨率下的第三源图像样本及第三模板图像样本，获取第五分辨率下的第三标准合成图像；
第三参数调整模块，用于采用第三源图像样本、第三模板图像样本及第三标准合成图像对第二更新模型进行参数调整，得到目标图像融合模型；目标图像融合模型用于将一个图像中的对象融合进另一个图像中；第四分辨率大于或等于第三分辨率，第五分辨率大于或等于第四分辨率。
其中，该第一参数调整模块，包括：
第一预测单元，用于将第一源图像样本、第一模板图像样本输入初始图像融合模型中进行预测，得到第一分辨率下的第一预测合成图像；
第一调整单元，用于通过第一预测合成图像与第一标准合成图像，对初始图像融合模型进行参数调整，得到第一参数调整模型。
其中，该第一预测单元，包括：
特征组合子单元，用于将第一源图像样本与第一模板图像样本输入初始图像融合模型中，对第一源图像样本与第一模板图像样本进行特征组合，得到第一样本组合特征；
特征编码子单元，用于在初始图像融合模型中，对第一样本组合特征进行编码处理，得到第一样本对象更新特征；
特征识别子单元，用于识别第一源图像样本中目标对象类型所对应的第一样本对象识别特征；
图像预测子单元，用于将第一样本对象识别特征与第一样本对象更新特征进行特征融合，预测第一分辨率下的第一预测合成图像。
其中，该图像预测子单元，包括：
参数获取子单元，用于获取第一样本对象识别特征所对应的第一统计参数，获取第一样本对象更新特征所对应的第二统计参数；
特征调整子单元，用于采用第一统计参数与第二统计参数对第一样本对象更新特征进行调整，得到第一初始样本融合特征；
特征解码子单元，用于对第一初始样本融合特征进行解码处理，得到第一分辨率下的第一预测合成图像。
其中，该第一调整单元，包括：
相似获取子单元，用于获取第一预测合成图像所对应的第一预测样本融合特征，获取第一预测样本融合特征与第一样本对象识别特征之间的特征相似度；
第一损失子单元，用于根据特征相似度生成第一损失函数，基于第一损失函数对初始图像融合模型进行参数调整，得到第一参数调整模型。
其中，该第一调整单元，包括：
第二损失子单元，用于根据第一预测合成图像与第一标准合成图像之间的像素差异值，生成第二损失函数；
第三损失子单元，用于通过图像判别器对第一标准合成图像及第一预测合成图像进行图像判别，基于判别结果生成第三损失函数；
第四损失子单元，用于通过图像判别器对第一预测合成图像进行图像判别，基于判别结果生成第四损失函数；
模型调整子单元，用于采用第二损失函数、第三损失函数及第四损失函数，对初始图像融合模型进行参数调整，得到第一参数调整模型。
其中，该第二样本获取模块，包括：
样本确定单元，用于若第二分辨率等于第一分辨率，则将第一源图像样本确定为第二分辨率下的第二源图像样本，将第一模板图像样本确定为第二分辨率下的第二模板图像样本；
样本增强单元，用于对第一标准合成图像进行分辨率增强处理，得到第三分辨率下的第二标准合成图像。
其中，该第二样本获取模块，包括：
源增强单元，用于若第二分辨率大于第一分辨率，则对第一源图像样本进行分辨率增强处理，得到第二分辨率下的第二源图像样本；
模板增强单元，用于对第一模板图像样本进行分辨率增强处理，得到第二分辨率下的第二模板图像样本；
标准增强单元，用于对第一标准合成图像进行分辨率增强处理，得到第三分辨率下的第二标准合成图像。
其中，该第三参数调整模块，包括：
层调整单元，用于采用第三源图像样本、第三模板图像样本及第三标准合成图像对第二更新模型中的第二分辨率更新层进行参数调整，得到第三参数调整模型；
模型微调单元，用于获取第五分辨率下的第四源图像样本及第四模板图像样本，获取第四源图像样本与第四模板图像样本在第五分辨率下的第四标准合成图像，采用第四源图像样本、第四模板图像样本及第四标准合成图像，对第三参数调整模型进行微调，得到目标图像融合模型。
其中，该第一样本获取模块，包括：
图像获取单元，用于获取第一源输入图像及第一模板输入图像；
对象检测单元，用于对第一源输入图像进行目标对象检测，得到第一源输入图像中目标对象类型所对应的目标对象区域，对第一源输入图像中的目标对象区域进行裁剪，得到第一分辨率下的第一源图像样本；
待融合检测单元，用于对第一模板输入图像进行检测，得到第一模板输入图像中目标对象类型所对应的待融合区域，对第一模板输入图像中的待融合区域进行裁剪，得到第一分辨率下的第一模板图像样本；
标准获取单元，用于获取第一源图像样本与第一模板图像样本，在第一分辨率下的第一标准合成图像。
本申请实施例一方面提供了一种图像处理装置，该装置包括：
图像获取模块，用于获取源图像及模板图像；
图像合成模块，用于将源图像及模板图像输入目标图像融合模型，通过目标图像融合模型对源图像与模板图像进行融合，得到目标合成图像；目标图像融合图像是采用第三源图像样本、第三模板图像样本及第三标准合成图像，对第二更新模型进行参数调整所得到的，第三源图像样本及第三模板图像样本的分辨率为第四分辨率，第三标准合成图像的分辨率为第五分辨率；第二更新模型是通过在第二参数调整模型中插入第二分辨率更新层得到的；第二参数调整模型是采用第二源图像样本、第二模板图像样本及第二标准合成图像，对第一更新模型进行参数调整所得到的，第二源图像样本及第二模板图像样本的分辨率为第二分辨率，第二标准合成图像的分辨率为第三分辨率；第一更新模型是在第一参数调整模型中插入第一分辨率更新层得到的；第一参数调整模型是采用第一源图像样本、第一模板图像样本及第一标准合成图像，对初始图像融合模型进行参数调整所得到的，第一源图像样本、第一模板图像样本及第一标准合成图像的分辨率为第一分辨率。
其中，该图像获取模块，包括：
视频拆分单元，用于获取组成原始视频的至少两个视频帧图像，将至少两个视频帧图像确定为模板图像，获取源图像；模板图像的数量为至少两个，目标合成图像包括至少两个模板图像分别对应的目标合成图像；
该装置还包括：
视频生成模块，用于将至少两个目标合成图像进行组合，得到原始视频所对应的对象更新视频。
其中，该图像合成模块，包括：
特征组合单元，用于将源图像及模板图像输入目标图像融合模型，在目标图像融合模型中，对源图像与模板图像进行特征组合，得到组合特征；
特征处理单元，用于对组合特征进行编码处理，得到对象更新特征，识别源图像中目标对象类型所对应的对象识别特征；
特征融合单元，用于将对象识别特征与对象更新特征进行特征融合，预测目标合成图像。
本申请实施例一方面提供了一种计算机设备，包括处理器、存储器、输入输出接口；
处理器分别与存储器和输入输出接口相连，其中，输入输出接口用于接收数据及输出数据，存储器用于存储计算机程序，处理器用于调用该计算机程序，以使包含该处理器的计算机设备执行本申请实施例一方面中的图像处理方法。
本申请实施例一方面提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，该计算机程序适于由处理器加载并执行，以使得具有该处理器的计算机设备执行本申请实施例一方面中的图像处理方法。
本申请实施例一方面提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行本申请实施例一方面中的各种可选方式中提供的方法。换句话说，该计算机指令被处理器执行时实现本申请实施例一方面中的各种可选方式中提供的方法。
实施本申请实施例，将具有如下有益效果：
在本申请实施例中，获取第一分辨率下的第一源图像样本、第一模板图像样本及第一标准合成图像，采用第一源图像样本、第一模板图像样本及第一标准合成图像对初始图像融合模型进行参数调整，得到第一参数调整模型，在第一参数调整模型中插入第一分辨率更新层，得到第一更新模型；获取第二分辨率下的第二源图像样本及第二模板图像样本，获取第三分辨率下的第二标准合成图像，采用第二源图像样本、第二模板图像样本及第二标准合成图像对第一更新模型进行参数调整，得到第二参数调整模型；第二分辨率大于或等于第一分辨率，第三分辨率大于第一分辨率；在第二参数调整模型中插入第二分辨率更新层，得到第二更新模型；获取第四分辨率下的第三源图像样本及第三模板图像样本，获取第五分辨率下的第三标准合成图像，采用第三源图像样本、第三模板图像样本及第三标准合成图像对第二更新模型进行参数调整，得到目标图像融合模型；目标图像融合模型用于将一个图像中的对象融合进另一个图像中；第四分辨率大于或等于第三分辨率，第五分辨率大于或等于第四分辨率。通过以上过程，可以采用能够大量获取到的第一分辨率下的样本进行初步的模型训练，利用第一分辨率下的样本的海量数据，保证模型的鲁棒性及准确性；进一步通过不同分辨率进行逐渐递进训练，即，采用第二分辨率下的样本及第四分辨率下的样本等，逐步对初步训练的模型进行逐渐递进训练，使得最终的模型可以得到第五分辨率下的合成图像，实现图像的增强，同时，采用了难以获取的少量高分辨率的样本实现图像的增强，从而可以在保证模型的鲁棒性的情况下，提高融合后图像的清晰度及显示效果，提高模型的效果。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种图像处理的网络交互架构图；
图2是本申请实施例提供的一种图像处理场景示意图；
图3是本申请实施例提供的一种图像处理的模型训练方法流程图；
图4a是本申请实施例提供的一种模型训练场景示意图；
图4b是本申请实施例提供的另一种模型训练场景示意图；
图5是本申请实施例提供的一种图像处理的方法流程图；
图6是本申请实施例提供的一种图像合成场景示意图；
图7是本申请实施例提供的一种视频更新场景示意图；
图8是本申请实施例提供的一种模型训练装置示意图；
图9是本申请实施例提供的一种图像处理装置示意图；
图10是本申请实施例提供的一种计算机设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
其中，若在本申请中需要收集对象(如用户等)数据，则在收集前、收集中，显示提示界面或者弹窗，该提示界面或者弹窗用于提示用户当前正在搜集XXXX数据，仅仅在获取到用户对该提示界面或者弹窗发出确认操作后，开始执行数据获取的相关的步骤，否则结束。而且，对于获取到的用户数据，会在合理合法的场景或用途等上进行使用。可选的，在一些需要使用用户数据但未得到用户授权的场景中，还可以向用户请求授权，在授权通过时，再使用用户数据。
其中，本申请可以涉及人工智能领域的机器学习技术，通过机器学习技术实现对模型的训练及使用等。
其中，人工智能(Artificial Intelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习、自动驾驶、智慧交通等几大方向。
机器学习(Machine Learning，ML)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。例如，本申请中对于目标区域预测模型及目标媒体修复模型等的训练及使用等，通过对模型进行训练，以使得模型不断学习新的知识或技能，进而得到训练好的模型，以用于数据修复。例如，本申请就是对用于进行图像间融合的技术的学习，以得到训练好的目标图像融合模型，从而使得该目标图像融合模型可以用于将一个图像中的对象融合进另一个图像中。
随着人工智能技术研究和进步，人工智能技术在多个领域展开研究和应用，例如常见的智能家居、智能穿戴设备、虚拟助理、智能音箱、智能营销、无人驾驶、自动驾驶、无人机、机器人、智能医疗、智能客服、车联网、自动驾驶、智慧交通等，相信随着技术的发展，人工智能技术将在更多的领域得到应用，并发挥越来越重要的价值。
其中，本申请中的视频换脸是指将一个图像中的人脸的相关特征，融入到另一个图像中，换脸的定义是将输入的源图像source换到模板图像的人脸的模框(template)上，并使得输出的人脸结果(result)(即融合后的图像中的人脸)保持模板图像中人脸的表情、角度及背景等信息。也就是说，在保持模板图像中人脸的整体形态的情况下，将源图像中人脸的相关特征融合进模板图像中，以保持融合后的图像的整体和谐性及图像真实性等。
在本申请实施例中，请参见图1，图1是本申请实施例提供的一种图像处理的网络交互架构图。其中，计算机设备101可以与终端设备之间进行数据交互，不同的终端设备之间也可以互相进行数据交互等，其中，该终端设备的数量可以为一个或至少两个，例如终端设备的数量为3个，如图1中所示的终端设备102a、终端设备102b及终端设备102c等，可选的，也可以只存在计算机设备101。其中，计算机设备101可以从计算机设备101自身的存储空间中获取用于进行模型训练的样本，也可以从任意一个或多个终端设备中获取用于进行模型训练的样本，也可以从互联网中获取用于进行模型训练的样本，或者可以通过多种途径(即不限于一种途径，如同时在计算机设备101的存储空间及互联网等途径中获取)获取用于进行模型训练的样本等，在此不做限制。计算机设备101可以基于获取到的不同分辨率下的样本，进行模型训练，具体的，由于低分辨率(如第一分辨率等)下的样本的数量较多，高分辨率(如第四分辨率等)下的样本较少，可以通过分辨率由低到高的样本等依次对模型进行训练，通过海量的低分辨率的样本实现对模型的初步训练，保证模型的鲁棒性及准确性，通过难以获取的少量的高分辨率的样本对初步训练的模型进行进一步训练调整，提高模型的性能，提高模型所实现的合成图像的清晰度及显示效果。进一步地，可以基于训练好的目标图像融合模型，将一个图像中的对象的特征融入进另一个图像中，实现图像的融合。
具体的，请参见图2，图2是本申请实施例提供的一种图像处理场景示意图。如图2所示，计算机设备可以将第一分辨率下的第一源图像样本201a、第一模板图像样本201b输入初始图像融合模型202，结合第一分辨率下的第一标准合成图像201c对初始图像融合模型202进行参数调整，得到第一参数调整模型。在第一参数调整模型中插入第一分辨率更新层203，得到第一更新模型204。进一步地，将第二分辨率下的第二源图像样本205a及第二模板图像样本205b输入第一更新模型204中，结合第三分辨率下的第二标准合成图像205c，对第一更新模型204进行参数调整，得到第二参数调整模型。在第二参数调整模型中插入第二分辨率更新层206，得到第二更新模型207。进一步地，将第四分辨率下的第三源图像样本208a及第三模板图像样本208b输入第二更新模型207中，结合第五分辨率下的第三标准合成图像208c，对第二更新模型207进行参数调整，得到目标图像融合模型209。通过不同分辨率对模型进行一步步训练，使得可以获取到足够多的低分辨率的样本，对模型进行初步训练，以保障模型的鲁棒性和准确性，再逐步通过较高分辨率下的样本对模型进行进一步调整，从而提高模型的性能及效果，提高模型所预测的图像的清晰度及显示效果等。
可以理解的是，本申请实施例中所提及的计算机设备包括但不限于终端设备或服务器。换句话说，计算机设备可以是服务器或终端设备，也可以是服务器和终端设备组成的系统。其中，以上所提及的终端设备可以是一种电子设备，包括但不限于手机、平板电脑、台式电脑、笔记本电脑、掌上电脑、车载设备、增强现实/虚拟现实(Augmented Reality/Virtual Reality，AR/VR)设备、头盔显示器、智能电视、可穿戴设备、智能音箱、数码相机、摄像头及其他具备网络接入能力的移动互联网设备(mobile internet device，MID)，或者火车、轮船、飞行等场景下的终端设备等。如图1中所示，终端设备可以是一种笔记本电脑(如终端设备102b所示)、手机(如终端设备102c所示)或车载设备(如终端设备102a所示)等，图1仅例举出部分的设备，可选的，该终端设备102a是指位于交通工具103中的设备。其中，以上所提及的服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、车路协同、内容分发网络(Content DeliveryNetwork，CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。
可选的，本申请实施例中所涉及的数据可以存储在计算机设备中，或者可以基于云存储技术或区块链网络对该数据进行存储，在此不做限制。
进一步地，请参见图3，图3是本申请实施例提供的一种图像处理的模型训练方法流程图。如图3所示，该图像处理的模型训练过程包括如下步骤：
步骤S301，获取第一分辨率下的第一源图像样本、第一模板图像样本及第一标准合成图像。
在本申请实施例中，计算机设备可以获取第一分辨率下的第一源图像样本，获取第一分辨率下的第一模板图像样本，获取该第一源图像样本与第一模板图像样本，在第一分辨率下所对应的第一标准合成图像，该第一标准合成图像是指将第一源图像样本中目标对象类型所对应的目标样本对象融入第一模板图像样本后，理论上或期待得到的图像。可选的，该第一源图像样本与第一模板图像样本可以为包括图像背景的图像，也可以是只包括目标对象类型所对应的目标对象区域的图像，例如，第一源图像样本包括图像背景，则通过第一源图像样本、第一模板图像样本及第一标准合成图像所训练得到的模型，可以直接对包括图像背景的图像进行对象融合，提高图像融合的简洁性及便利性，同时，整个图像进行整体训练，可以在一定程度上提高模型预测图像的整体性及和谐性；例如，第一源图像样本包括目标对象区域，通过这一方式训练得到的模型，由于样本中没有除目标对象区域之外的区域，减少了图像背景对模型训练的干扰，在一定程度上提高模型训练的准确性及精确性等。
例如，计算机设备可以获取第一源输入图像及第一模板输入图像。将第一源输入图像确定为第一源图像样本，将第一模板输入图像确定为第一模板图像样本等。或者，可以对第一源输入图像进行目标对象检测，得到第一源输入图像中目标对象类型所对应的目标对象区域，对第一源输入图像中的目标对象区域进行裁剪，得到第一分辨率下的第一源图像样本，例如，裁剪第一源输入图像中的目标对象区域，得到第一分辨率下的第一源图像样本，或者，可以在目标对象区域中进行对象配准，得到目标样本对象(即目标对象类型所对应的对象)的样本对象关键点，基于样本对象关键点确定第一分辨率下的第一源图像样本等；对第一模板输入图像进行检测，得到第一模板输入图像中目标对象类型所对应的待融合区域，对第一模板输入图像中的待融合区域进行裁剪，得到第一分辨率下的第一模板图像样本。进一步地，可以获取第一源图像样本与第一模板图像样本，在第一分辨率下的第一标准合成图像。其中，目标对象类型可以是但不限于人脸类型、动物脸部类型或物品类型(如家具或摆件等等)等，在此不做限制。
可选的，第一分辨率是指低分辨率，例如，此处的第一分辨率可以是256分辨率，随着互联网等的发展，多媒体数据的清晰度的不断提升，所能获取到用于模型训练的图像样本的分辨率也可能会不断变大，如此时的第一分辨率可以是512分辨率或1024分辨率等，也就是说，第一分辨率并不是指固定的数值，而是基于当时的分辨率发展情况所确定的，第一分辨率可以认为是指存在较多对应图像作为模型训练的样本的低分辨率。其中，第一源图像样本及第一模板图像样本的分辨率属于第一分辨率范围，该第一分辨率范围包括第一分辨率，也就是说，在获取第一分辨率下的第一源图像样本与第一模板图像样本时，并不一定要获取到正好为第一分辨率的图像，也可以是在第一分辨率范围内获取第一源图像样本与第一模板图像样本，例如，假定第一分辨率为256分辨率，则该第一源图像样本的分辨率可以是250分辨率等(即第一分辨率范围内的任意一个分辨率)，该第一模板图像样本的分辨率可以是258分辨率等(即第一分辨率范围内的任意一个分辨率)，在此不做限制。
步骤S302，采用第一源图像样本、第一模板图像样本及第一标准合成图像，对初始图像融合模型进行参数调整，得到第一参数调整模型。
在本申请实施例中，计算机设备可以将第一源图像样本、第一模板图像样本输入初始图像融合模型中进行预测，得到第一分辨率下的第一预测合成图像；通过第一预测合成图像与第一标准合成图像，对初始图像融合模型进行参数调整，得到第一参数调整模型。
其中，在通过初始图像融合模型预测得到第一预测合成图像时，计算机设备可以将第一源图像样本与第一模板图像样本输入初始图像融合模型中，对第一源图像样本与第一模板图像样本进行特征组合，得到第一样本组合特征。具体的，可以获取第一源图像样本所对应的第一源样本特征，获取第一模板图像样本所对应的第一模板样本特征，对第一源样本特征与第一模板样本特征进行特征融合，得到第一样本组合特征。其中，该特征融合可以是特征拼接等，例如，可以基于图像通道，对第一源样本特征与第一模板样本特征进行特征融合，得到第一样本组合特征，具体的，可以将第一源样本特征与第一模板样本特征中相同图像通道的特征进行拼接，得到第一样本组合特征，当然，图像通道也可以是一个灰度通道，或C(Cyan，青色)、M(Magenta，品红色)、Y(Yellow，黄色)、K(black，黑色)等分别对应的图像通道，或R(Red，红)、G(Green，绿)、B(Blue，蓝)三个图像通道等，在此不做限制。例如，假定第一源图像样本对应R、G、B三个图像通道，第一模板图像样本对应R、G、B三个图像通道，第一源样本特征维度为256*256*3，第一模板样本特征维度为256*256*3，则该第一样本组合特征维度可以为256*512*3或512*256*3等。可以将第一源样本特征与第一模板样本特征进行通道拼接，得到第一样本组合特征，如在R、G、B三个图像通道下，第一源样本特征维度为256*256*3，第一模板样本特征维度为256*256*3，则该第一样本组合特征维度可以为256*256*6等。
进一步地，在初始图像融合模型中，对第一样本组合特征进行编码处理，得到第一样本对象更新特征，例如，可以对第一样本组合特征进行分辨率调整处理，在隐空间将分辨率调整处理后的第一样本组合特征编码成第一样本对象更新特征；识别第一源图像样本中目标对象类型所对应的第一样本对象识别特征，将第一样本对象识别特征与第一样本对象更新特征进行特征融合，预测第一分辨率下的第一预测合成图像。其中，目标对象类型是指要融合进第一模板图像样本中的目标对象的类型，例如，若本申请方案用于换脸，则该目标对象类型可以是人脸类型，若本申请方案用于在视频等中生成虚拟形象，则该目标对象类型可以是虚拟人物类型等。
其中，在将第一样本对象识别特征与第一样本对象更新特征进行特征融合，预测第一分辨率下的第一预测合成图像时，计算机设备可以获取第一样本对象识别特征所对应的第一统计参数，获取第一样本对象更新特征所对应的第二统计参数；采用第一统计参数与第二统计参数对第一样本对象更新特征进行调整，得到第一初始样本融合特征；对第一初始样本融合特征进行解码处理，得到第一分辨率下的第一预测合成图像。或者，可以通过第一样本对象识别特征对该第一样本对象更新特征进行特征调整，得到第一初始样本融合特征，例如，可以获取初始图像融合模型中的第一初始调整参数，采用该第一初始调整参数对该第一样本对象识别特征进行加权处理，得到待添加样本特征，将该待添加样本特征与第一样本对象更新特征进行特征融合，得到第一初始样本融合特征，其中，在训练得到的模型中可以包括该第一初始调整参数训练后的第一调整参数；或者，可以获取初始图像融合模型中的第二初始调整参数，采用第二初始调整参数对第一样本对象更新特征与第一样本对象识别特征进行特征融合，得到第一初始样本融合特征，其中，在训练得到的模型中可以包括该第二初始调整参数训练后的第二调整参数等。
举例来说，一种可能的第一初始样本融合特征的获取过程可以参见公式①所示：
Figure BDA0003794929220000141
如公式①所示，该x为swap_features，y用于表示src_id_features，此处的swap_features用于表示第一样本对象更新特征，src_id_features用于表示第一样本对象识别特征，Ad(x，y)用于表示第一初始样本融合特征。其中，σ可以表示均值，μ可以表示标准差等。具体的，该第一统计参数可以包括第一均值参数σ(y)及第一标准差参数μ(y)等；第二统计参数可以包括第二均值参数σ(x)及第二标准差参数μ(x)等。
可选的，该初始图像融合模型可以包括多个卷积层，该卷积层的数量在此不做限制，可选的，该初始图像融合模型可以包括编码器及解码器，计算机设备可以通过初始图像融合模型中的编码器对第一源图像样本与第一模板图像样本进行特征融合，得到第一初始样本融合特征，通过初始图像融合模型中的解码器对该第一初始样本融合特征进行解码处理，得到第一分辨率下的第一预测合成图像。其中，初始图像融合模型用于输出第一分辨率的图像。
进一步地，在采用第一预测合成图像与第一标准合成图像对初始图像融合模型进行参数调整，得到第一参数调整模型时，计算机设备可以基于第一预测合成图像与第一标准合成图像等生成损失函数，基于损失函数对初始图像融合模型进行参数调整，得到第一参数调整模型。其中，该损失函数的数量可以为m个，m为正整数，例如，当m大于1时，可以根据m个损失函数生成总损失函数，通过总损失函数对初始图像融合模型进行参数调整，得到第一参数调整模型等，m的值在此不做限制。
具体的，以下例举几种可能的损失函数：
(1)计算机设备可以获取第一预测合成图像所对应的第一预测样本融合特征，获取第一预测样本融合特征与第一样本对象识别特征之间的特征相似度。根据特征相似度生成第一损失函数。可选的，可以基于第一损失函数对初始图像融合模型进行参数调整，得到第一参数调整模型。其中，该第一损失函数可以参见公式②所示：
Figure BDA0003794929220000151
如公式②所示，Loss_id用于表示第一损失函数，cosine_similarity用于表示特征相似度，其中，此处的fake_id_features用于表示第一预测样本融合特征，src_id_features用于表示第一样本对象识别特征。通过该第一损失函数，可以使得预测生成的合成图像与需要融合进模板图像中的目标对象之前更为相似，从而提高图像融合的精确度，例如，要将图像1中的对象A换成对象B，通过该第一损失函数，可以使得图像1更新后的图像与对象B之间更为相似，使得图像1更新后的图像中更能体现对象B的特点。
其中，该特征相似度的获取过程可以参见公式③所示：
Figure BDA0003794929220000152
如公式③所示，θ可以用于表示A与B之间的向量夹角，A用于表示fake_id_features，B用于表示src_id_features，此处的fake_id_features用于表示第一预测样本融合特征，src_id_features用于表示第一样本对象识别特征。Ai用于表示第一预测样本融合特征中的各个特征分量，Bi用于表示第一样本对象识别特征中的各个特征分量。
(2)一种可能的损失函数可以参见公式④所示，该损失函数可以称为第二损失函数：
Loss_Recons＝|fake-gt_img| ④
如公式④所示，fake用于表示第一预测合成图像，gt_img用于表示第一标准合成图像，Loss_Recons用于表示第二损失函数。具体的，计算机设备可以根据第一预测合成图像与第一标准合成图像之间的像素差异值，生成第二损失函数。
(3)一种可能的损失函数可以参见公式⑤所示，该损失函数可以称为第三损失函数：
Loss_D＝-logD(gt_img)-log(1-D(fake)) ⑤
如公式⑤所示，Loss_D用于表示第三损失函数，fake用于表示第一预测合成图像，gt_img用于表示第一标准合成图像，D()用于表示图像判别器，该图像判别器用于判断送入网络的图像是不是真实的图像。具体的，计算机设备可以通过图像判别器对第一标准合成图像及第一预测合成图像进行图像判别，基于判别结果生成第三损失函数。
(4)一种可能的损失函数可以参见公式⑥所示，该损失函数可以称为第四损失函数：
Loss_G＝log(1-D(fake)) ⑥
如公式⑥所示，Loss_G用于表示第四损失函数，fake用于表示第一预测合成图像，D()用于表示图像判别器。具体的，计算机设备可以通过图像判别器对第一预测合成图像进行图像判别，基于判别结果生成第四损失函数，通过该第四损失函数可以提高模型预测的图像的真实性，进而提高模型性能。
其中，以上为例举出的部分可能的损失函数，在实际实现中，并不限于以上例举出的损失函数。
其中，m个损失函数可以为本申请可以使用的各个损失函数中的任意一个损失函数，或任意多个损失函数。例如，计算机设备可以根据第一预测合成图像与第一标准合成图像之间的像素差异值，生成第二损失函数；通过图像判别器对第一标准合成图像及第一预测合成图像进行图像判别，基于判别结果生成第三损失函数；通过图像判别器对第一预测合成图像进行图像判别，基于判别结果生成第四损失函数；采用第二损失函数、第三损失函数及第四损失函数，对初始图像融合模型进行参数调整，得到第一参数调整模型。或者例如，m个损失函数可以为(1)至(4)所示的损失函数，此时的总损失函数可以记作loss＝Loss_id+Loss_Recons+Loss_D+Loss_G等。通过以上过程，实现对初始图像融合模型的初步调整训练，第一分辨率为相对来说的低分辨率，存在较多可以用于模型训练的图像样本，从而提高所训练的模型的鲁棒性及准确性。
举例来说，可以参见图4a或图4b所示，图4a是本申请实施例提供的一种模型训练场景示意图，图4b是本申请实施例提供的另一种模型训练场景示意图。如图4a或图4b所示，计算机设备可以将第一分辨率下的第一源图像样本4011及第一模板图像样本4012输入初始图像融合模型40a中，预测得到第一预测合成图像402，通过第一预测合成图像402与第一分辨率下的第一标准合成图像对初始图像融合模型40a进行参数调整，得到第一参数调整模型。其中，该初始图像融合模型40a可以包括编码器41a及解码器41b。
也就是说，通过步骤S301至步骤S302(可以认为是第一个训练阶段)，可以得到一个分辨率较低的第一参数调整模型，即该第一参数调整模型所预测输出的图像的分辨率为第一分辨率，该第一参数调整模型用于将一个图像中的对象融入至另一个图像中，例如，若本申请用于换脸场景，则该第一参数调整模型也可以认为是第一个训练阶段的换脸模型，可以将一个图像(记作图像1)中的人脸的特征融合进另一个图像(记作图像2)中，使得图像2中的人脸被替换为图像1中的人脸，且不会影响替换后的图像2的整体性和协调性，此时，通过第一参数调整模型得到的替换后的图像2的分辨率为第一分辨率。
步骤S303，在第一参数调整模型中插入第一分辨率更新层，得到第一更新模型。
在本申请实施例中，计算机设备可以在第一参数调整模型中插入第一分辨率更新层，得到第一更新模型，其中，该第一分辨率更新层可以根据需要进行添加，也就是说，该第一分辨率更新层可以包括一个或至少两个卷积层。举例来说，该第一分辨率更新层可以是用于提高解码分辨率的卷积层，用于输出第三分辨率下的图像，即，第一分辨率更新层可以包括待插入至第一参数调整模型的解码器中的卷积层，如图4a中所示的第一分辨率更新层404所示，即长虚线所示的卷积层，该卷积层的数量可以为一个或多个；或者，该第一分辨率更新层可以包括用于提高解码分辨率的卷积层，即用于输出第三分辨率下的图像，还可以包括用于处理更高分辨率的图像的卷积层，即用于处理第二分辨率下的图像，也就是说，第一分辨率更新层可以包括待插入至第一参数调整模型的解码器中的卷积层，还可以包括待插入至第一参数调整模型的编码器中的卷积层，如图4b中所示的第一分辨率更新层404所示，即长虚线所示的卷积层等，也就是编码器与解码器中分别插入的卷积层的数量均可以为一个或多个。具体，可以在第一参数调整模型中插入第一分辨率更新层404，得到第一更新模型40b。
步骤S304，获取第二分辨率下的第二源图像样本及第二模板图像样本，获取第三分辨率下的第二标准合成图像。
在本申请实施例中，计算机设备可以获取第二分辨率下的第二源图像样本及第二模板图像样本，获取第二源图像样本与第二模板图像样本，在第三分辨率下的第二标准合成图像，具体可以参见图3中的步骤S301所示的具体描述。或者，计算机设备可以根据第一源图像样本、第一模板图像样本及第一标准合成图像，获取第二源图像样本、第二模板图像样本及第二标准合成图像。具体的，若第二分辨率等于第一分辨率，则将第一源图像样本确定为第二分辨率下的第二源图像样本，将第一模板图像样本确定为第二分辨率下的第二模板图像样本；对第一标准合成图像进行分辨率增强处理，得到第三分辨率下的第二标准合成图像。此时，可以采用图4a所示的第一更新模型40b。若第二分辨率大于第一分辨率，则对第一源图像样本进行分辨率增强处理，得到第二分辨率下的第二源图像样本；对第一模板图像样本进行分辨率增强处理，得到第二分辨率下的第二模板图像样本；对第一标准合成图像进行分辨率增强处理，得到第三分辨率下的第二标准合成图像。此时，可以采用图4b所示的第一更新模型40b。其中，第二分辨率并不是固定的数值，也就是说，第二源图像样本及第二模板图像样本的分辨率属于第二分辨率范围，该第二分辨率范围包括第二分辨率。
其中，第二分辨率大于或等于第一分辨率，第三分辨率大于第一分辨率。例如，第一分辨率为256分辨率，则该第二分辨率可以为256分辨率或512分辨率等，第三分辨率可以为512分辨率；若第一分辨率为512分辨率，则该第二分辨率可以为512分辨率或1024分辨率等，第三分辨率可以为1024分辨率等等。
步骤S305，采用第二源图像样本、第二模板图像样本及第二标准合成图像，对第一更新模型进行参数调整，得到第二参数调整模型。
在本申请实施例中，计算机设备可以将第二源图像样本、第二模板图像样本输入第一更新模型中进行预测，得到第三分辨率下的第二预测合成图像；通过第二预测合成图像与第二标准合成图像，对第一更新模型进行参数调整，得到第二参数调整模型。具体的，该过程可以参见图3的步骤S302所示的具体描述，例如，将步骤S302中第一源图像样本及第一模板图像样本的第一分辨率更新为第二分辨率，将第一标准合成图像等的第一分辨率更新为第三分辨率，将其他的特征所对应的第一更新为第二，可以得到本步骤(即步骤S305)所示的过程。例如，计算机设备可以将第二源图像样本与第二模板图像样本输入第一更新模型中，对第二源图像样本与第二模板图像样本进行特征组合，得到第二样本组合特征。在第一更新模型中，对第二样本组合特征进行编码处理，得到第二样本对象更新特征；识别第二源图像样本中目标对象类型所对应的第二样本对象识别特征，将第二样本对象识别特征与第二样本对象更新特征进行特征融合，预测第三分辨率下的第二预测合成图像。其中，该第二预测合成图像的预测过程可以参见步骤S302所示的第一预测合成图像的预测过程。
进一步，一种参数调整方式下，可以采用第二预测合成图像与第二标准合成图像对第一更新模型进行参数调整，得到第二参数调整模型。
其中，一种参数调整方式下，可以采用第二预测合成图像与第二标准合成图像，对第一更新模型中的第一分辨率更新层进行参数调整，得到第二参数调整模型，也就是说，除了第一更新模型中的第一分辨率更新层之外的卷积层，可以复用前序步骤中训练得到的参数，也就是可以复用第一参数调整模型中的参数，只对第一更新模型中的第一分辨率更新层进行参数调整，从而提高模型的训练效率。其中，本步骤可以采用步骤S302中所示的各个公式实现。
换句话说，在本步骤中对第一更新模型的参数调整过程，与步骤S302中对初始图像融合模型的参数调整过程，需要调整的参数不同，即，本步骤对第一分辨率更新层中的参数进行调整，步骤S302是对初始图像融合模型中所包括的所有参数进行调整，其他过程是相同的，也就是，本步骤中的具体实现过程可以参见步骤S302中的实现过程。
举例来说，如图4a或图4b所示，计算机设备可以将第二分辨率下的第二源图像样本4031及第二模板图像样本4032输入第一更新模型40b中，预测得到第二预测合成图像405，固定第一更新模型40b中除第一分辨率更新层404之外的卷积层中的参数，以复用第一训练阶段(即步骤S301至步骤S302)中所训练得到的参数，如图4a所示模型更新方式下的实线所示的卷积层的参数，或图4b所示模型更新方式下的实线所示的卷积层的参数。通过第二预测合成图像405与第三分辨率下的第二标准合成图像对第一更新模型40b中的第一分辨率更新层404进行参数调整，得到第二参数调整模型。其中，该第一更新模型40b可以包括编码器42a及解码器42b。
可选的，一种参数调整方式下，计算机设备可以采用第二源图像样本、第二模板图像样本及第二标准合成图像，对第一更新模型中的第一分辨率更新层进行参数调整，得到第一层调整模型，即，复用除了第一更新模型中的第一分辨率更新层之外的卷积层中的参数，只对第一分辨率更新层进行参数调整，以提高模型的分辨率，且提高模型训练效率。进一步，采用第二源图像样本、第二模板图像样本及第二标准合成图像，对第一层调整模型中的所有参数进行参数调整，得到第二参数调整模型，通过该步骤，对第二训练阶段中的模型的所有参数进行微调，提高模型的准确性。其中，第一层调整模型及第二参数调整模型的训练过程，均可以参见步骤S302中的第一参数调整模型的训练过程。
也就是说，通过步骤S303至步骤S305可以得到一个对第一个训练阶段所得到的模型(即第一参数调整模型)，进行分辨率增强后的第二参数调整模型，该第二参数调整模型所预测输出的图像的分辨率为第三分辨率。以换脸场景为例，通过第二参数调整模型将图像1中的人脸的特征融合进图像2中后，此时得到的替换后的图像2的分辨率为第三分辨率。
步骤S306，在第二参数调整模型中插入第二分辨率更新层，得到第二更新模型。
在本申请实施例中，计算机设备可以在第二参数调整模型中插入第二分辨率更新层，得到第二更新模型，具体可以参见图3的步骤S303所示的具体描述。例如，如图4a所示，该第二分辨率更新层可以包括用于提高解码分辨率的卷积层，即用于输出第五分辨率下的图像，还可以包括用于处理更高分辨率的图像的卷积层，即用于处理第四分辨率下的图像，也就是，第二分辨率更新层可以包括待插入至第二参数调整模型的解码器中的卷积层，还可以包括待插入至第二参数调整模型的编码器中的卷积层，如图4a中的短虚线所示的卷积层；如图4b所示，该第二分辨率更新层可以包括用于提高解码分辨率的卷积层，也就是，第二分辨率更新层可以包括待插入至第二参数调整模型的解码器中的卷积层，如图4b中的短虚线所示的卷积层。具体，可以在第二参数调整模型中插入第二分辨率更新层407，得到第二更新模型40c。当然，可选的，不论是图4a所示的模型训练场景，还是图4b所示的模型训练场景，该第二分辨率更新层均还可以包括用于处理第五分辨率下的图像的卷积层，也就是该第二分辨率更新层还可以包括待插入至第二参数调整模型的编码器中的卷积层，可以称为候选卷积层，也就是最终得到的模型中可以包括该候选卷积层，也可以不包括该候选卷积层，该候选卷积层用于直接对第五分辨率下的图像进行处理。
步骤S307，获取第四分辨率下的第三源图像样本及第三模板图像样本，获取第五分辨率下的第三标准合成图像。
在本申请实施例中，第四分辨率大于或等于第三分辨率，第五分辨率大于或等于第四分辨率。具体可以参见图3的步骤S304所示的具体描述。例如，若第三分辨率为512分辨率，则该第四分辨率可以为512分辨率或1024分辨率，第五分辨率可以为1024分辨率；若该第三分辨率为1024分辨率，则该第四分辨率可以为1024分辨率或2048分辨率，第五分辨率可以为2048分辨率等。
步骤S308，采用第三源图像样本、第三模板图像样本及第三标准合成图像，对第二更新模型进行参数调整，得到目标图像融合模型。
在本申请实施例中，计算机设备可以将第三源图像样本、第三模板图像样本输入第二更新模型中进行预测，得到第五分辨率下的第三预测合成图像。其中，第三预测合成图像的预测过程，具体可以参见图3的步骤S302所示的第一预测合成图像的预测过程。
进一步，一种参数调整方式下，通过第三预测合成图像与第三标准合成图像，对第二更新模型进行参数调整，得到目标图像融合模型。例如，图4a或图4b中所示，可以将第三源图像样本4061及第三模板图像样本4062输入第二更新模型40c中，预测得到第三预测合成图像408，通过第三预测合成图像408与第三标准合成图像对第二更新模型40c进行参数调整，得到目标图像融合模型。其中，该目标图像融合模型的参数调整过程可以参见步骤S302所示的对初始图像融合模型的参数调整过程。
或者，一种参数调整方式下，可以采用第三源图像样本、第三模板图像样本及第三标准合成图像对第二更新模型中的第二分辨率更新层进行参数调整，得到第三参数调整模型，具体可以参见图3的步骤S302所示的第一参数调整模型的训练过程。也就是，除了第二更新模型中的第二分辨率更新层之外的卷积层，可以复用前序步骤中训练得到的参数，即，可以复用第二参数调整模型中的参数，只对第二更新模型中的第二分辨率更新层进行参数调整，从而提高模型的训练效率。或者，可以采用第三源图像样本、第三模板图像样本及第三标准合成图像对第二更新模型中的第二分辨率更新层进行参数调整，得到第二层调整模型；采用第三源图像样本、第三模板图像样本及第三标准合成图像对第二层调整模型中的所有参数进行参数调整，得到第三参数调整模型。也就是，先复用第二参数调整模型中的参数，节省模型训练时间，再对得到的第二层调整模型进行整体的参数微调，提高模型的准确性。进一步在上述第三参数调整模型基础上，可以获取第五分辨率下的第四源图像样本及第四模板图像样本，获取第四源图像样本与第四模板图像样本在第五分辨率下的第四标准合成图像，采用第四源图像样本、第四模板图像样本及第四标准合成图像，对第三参数调整模型进行微调，得到目标图像融合模型。当然可选的，若第二分辨率更新层不包括用于处理第五分辨率下的图像的卷积层，则在对第三参数调整模型进行调整时，可以在第三参数调整模型中插入第三分辨率更新层，得到第三更新模型，采用第四源图像样本、第四模板图像样本及第四标准合成图像，对第三更新模型进行参数调整，得到目标图像融合模型。
其中，以上的各个步骤中，各个预测合成图像的预测过程均可以参见图3中的步骤S302中第一预测合成图像的预测过程；各个模型的参数调整过程只是所调整的参数有所不同，具体实现过程均可以参见步骤S302中对初始图像融合模型的参数调整过程。
其中，目标图像融合模型用于将一个图像中的对象融合进另一个图像中。
可选的，计算机设备可以获取三个训练阶段分别对应的训练样本，基于三个训练阶段分别对应的训练样本，确定模型层数更新方式，通过该模型层数更新方式，确定第一分辨率更新层及后续的第二分辨率更新层等。例如，获取到三个训练阶段分别对应的训练样本包括用于第一个训练阶段的256分辨率训练样本(包括256分辨率输入样本及256分辨率预测样本)、用于第二个训练阶段的512分辨率训练样本(包括256分辨率输入样本及512分辨率预测样本)，以及用于第三个训练阶段的1024分辨率训练样本(包括512分辨率输入样本及1024分辨率预测样本)，则该模型层数更新方式是在第一个训练阶段得到的模型的解码器中增加卷积层，得到用于第二个训练阶段下所需训练的模型，在第二个训练阶段得到的模型的编码器及解码器中分别增加卷积层，得到用于第三个训练阶段下所需训练的模型，换句话说，该模型层数更新方式用于指示第一分辨率更新层及第二分辨率更新层所包括的卷积层。或者，计算机设备可以在步骤S303中得到第一更新模型，根据第一分辨率更新层确定第二分辨率，例如，若第一分辨率更新层包括用于提高解码分辨率的卷积层，则第二分辨率等于第一分辨率；若第一分辨率更新层包括用于提高解码分辨率的卷积层及用于处理更高分辨率的图像的卷积层，则第二分辨率大于第一分辨率。可以在步骤S306中得到第二更新模型，根据第二分辨率更新层确定第四分辨率。
其中，以上为本申请中目标图像融合模型的训练过程。其中，该初始图像融合模型为用于可以处理第一分辨率下的图像，可以输出第一分辨率下的图像的模型，通过三个训练阶段，包括步骤S301至步骤S302、步骤S303至步骤S305以及步骤S306至步骤S308，训练得到可以用于输出第五分辨率下的图像的目标图像融合模型，可选的，该目标图像融合模型可以包括用于直接对第五分辨率下的图像进行编码的卷积层，也可以不包括，在输入第五分辨率下的图像时，直接利用模型的自适应性，对输入的第五分辨率下的图像进行编码处理。例如，第一个训练阶段为第一分辨率训练，即可以认为训练可以输出第一分辨率下的图像的模型，如256分辨率；第二个训练阶段为第三分辨率训练，即可以认为训练可以输出第三分辨率下的图像的模型，如512分辨率；第三个训练阶段为第五分辨率训练，即可以认为训练可以输出第五分辨率下的图像的模型，如1024分辨率等。具体的，在实际实现中，可以获取最终需要达到的模型的效果，即需要训练得到的目标分辨率，将该目标分辨率确定为第五分辨率，根据第五分辨率确定第一分辨率及第三分辨率，进一步，可以根据第三分辨率确定第二分辨率，根据第五分辨率确定第四分辨率。例如，假定确定目标分辨率为2048分辨率，则可以确定第五分辨率为2048分辨率，根据第五分辨率确定第三分辨率为1024分辨率，确定第一分辨率为512分辨率，根据第五分辨率确定第四分辨率为2048分辨率或1024分辨率，根据第三分辨率确定第二分辨率为1024分辨率或512分辨率。
在本申请实施例中，获取第一分辨率下的第一源图像样本、第一模板图像样本及第一标准合成图像，采用第一源图像样本、第一模板图像样本及第一标准合成图像对初始图像融合模型进行参数调整，得到第一参数调整模型，在第一参数调整模型中插入第一分辨率更新层，得到第一更新模型；获取第二分辨率下的第二源图像样本及第二模板图像样本，获取第三分辨率下的第二标准合成图像，采用第二源图像样本、第二模板图像样本及第二标准合成图像对第一更新模型进行参数调整，得到第二参数调整模型；第二分辨率大于或等于第一分辨率，第三分辨率大于第一分辨率；在第二参数调整模型中插入第二分辨率更新层，得到第二更新模型；获取第四分辨率下的第三源图像样本及第三模板图像样本，获取第五分辨率下的第三标准合成图像，采用第三源图像样本、第三模板图像样本及第三标准合成图像对第二更新模型进行参数调整，得到目标图像融合模型；目标图像融合模型用于将一个图像中的对象融合进另一个图像中；第四分辨率大于或等于第三分辨率，第五分辨率大于或等于第四分辨率。通过以上过程，可以采用能够大量获取到的第一分辨率下的样本进行初步的模型训练，利用第一分辨率下的样本的海量数据，保证模型的鲁棒性及准确性；进一步通过不同分辨率进行逐渐递进训练，即，采用第二分辨率下的样本及第四分辨率下的样本等，逐步对初步训练的模型进行逐渐递进训练，使得最终的模型可以得到第五分辨率下的合成图像，实现图像的增强，同时，采用了难以获取的少量高分辨率的样本实现图像的增强，从而可以在保证模型的鲁棒性的情况下，提高融合后图像的清晰度及显示效果，提高模型的效果。
进一步地，请参见图5，图5是本申请实施例提供的一种图像处理的方法流程图。如图5所示，该图像处理过程包括如下步骤：
步骤S501，获取源图像及模板图像。
在本申请实施例中，计算机设备可以获取源图像及模板图像。或者，可以获取组成原始视频的至少两个视频帧图像，将至少两个视频帧图像确定为模板图像，获取源图像，此时，模板图像的数量为至少两个。
可选的，计算机设备可以获取第一输入图像及第二输入图像，对第一输入图像进行检测，得到第一输入图像中目标对象类型所对应的待融合区域，对第一输入图像中的待融合区域进行裁剪，得到模板图像；对第二输入图像进行目标对象检测，得到第二输入图像中目标对象类型所对应的目标对象区域，对第二输入图像中的目标对象区域进行裁剪，得到源图像。
步骤S502，将源图像及模板图像输入目标图像融合模型，通过目标图像融合模型对源图像与模板图像进行融合，得到目标合成图像。
在本申请实施例中，目标图像融合图像是采用第三源图像样本、第三模板图像样本及第三标准合成图像，对第二更新模型进行参数调整所得到的，第三源图像样本及第三模板图像样本的分辨率为第四分辨率，第三标准合成图像的分辨率为第五分辨率；第二更新模型是通过在第二参数调整模型中插入第二分辨率更新层得到的；第二参数调整模型是采用第二源图像样本、第二模板图像样本及第二标准合成图像，对第一更新模型进行参数调整所得到的，第二源图像样本及第二模板图像样本的分辨率为第二分辨率，第二标准合成图像的分辨率为第三分辨率；第一更新模型是在第一参数调整模型中插入第一分辨率更新层得到的；第一参数调整模型是采用第一源图像样本、第一模板图像样本及第一标准合成图像，对初始图像融合模型进行参数调整所得到的，第一源图像样本、第一模板图像样本及第一标准合成图像的分辨率为第一分辨率。
具体的，在目标图像融合模型中，对源图像与模板图像进行特征组合，得到组合特征；对组合特征进行编码处理，得到对象更新特征，识别源图像中目标对象类型所对应的对象识别特征；将对象识别特征与对象更新特征进行特征融合，预测目标合成图像。具体可以参见图3的步骤S302中第一预测合成图像的生成过程。具体的，在将对象识别特征与对象更新特征进行特征融合，预测目标合成图像时，计算机设备可以获取对象识别特征所对应的识别统计参数，获取对象更新特征所对应的更新统计参数；采用识别统计参数与更新统计参数对对象更新特征进行调整，得到初始融合特征；对初始融合特征进行解码处理，得到目标合成图像。或者，可以通过对象识别特征对该对象更新特征进行特征调整，得到初始融合特征，例如，可以获取目标图像融合模型中的第一调整参数，采用该第一调整参数对该对象识别特征进行加权处理，得到待添加特征，将该待添加特征与对象更新特征进行特征融合，得到初始融合特征；或者，可以获取目标图像融合模型中的第二调整参数，采用第二调整参数对对象更新特征与对象识别特征进行特征融合，得到初始融合特征。进一步，对初始融合特征进行解码处理，得到目标合成图像。
可选的，若该模板图像是通过裁剪得到的，则可以将该目标合成图像替换模板图像中的待融合区域的内容，得到模板图像所对应的目标更新图像。
可选的，在源图像的数量为至少两个时，该目标合成图像包括至少两个源图像分别对应的目标合成图像，将至少两个目标合成图像进行组合，得到原始视频所对应的对象更新视频；可选的，在得到至少两个源图像分别对应的目标更新图像时，可以将至少两个目标更新图像进行组合，得到原始视频所对应的对象更新视频。
其中，用于对目标图像融合模型进行训练的计算机设备，与使用目标图像融合模型的计算机设备可以是同一个设备，也可以是不同的设备。
举例来说，以换脸场景为例，参见图6，图6是本申请实施例提供的一种图像合成场景示意图。如图6所示，计算机设备可以获取模板图像6011及源图像6012，将模板图像6011及源图像6012输入目标图像融合模型602中进行预测，得到目标合成图像603。当然，图6所示的目标合成图像603为一种用于示意的简易图像，具体的目标合成图像的显示效果可以参见目标图像融合模型602的实际运行结果。
例如，一种场景中，可以参见图7，图7是本申请实施例提供的一种视频更新场景示意图。如图7所示，计算机设备可以对原始视频701进行拆分处理，得到至少两个视频帧图像702。将至少两个视频帧图像702依次与源图像703输入目标图像融合模型704中进行预测，得到至少两个视频帧图像702分别对应的目标合成图像705。将至少两个目标合成图像705进行组合，得到原始视频701所对应的对象更新视频706。
进一步地，请参见图8，图8是本申请实施例提供的一种模型训练装置示意图。该模型训练装置可以是运行于计算机设备中的一个计算机程序(包括程序代码等)，例如该模型训练装置可以为一个应用软件；该装置可以用于执行本申请实施例提供的方法中的相应步骤。如图8所示，该模型训练装置800可以用于图3所对应实施例中的计算机设备，具体的，该装置可以包括：第一样本获取模块11、第一参数调整模块12、第一模型更新模块13、第二样本获取模块14、第二参数调整模块15、第二模型更新模块16、第三样本获取模块17及第三参数调整模块18。
第一样本获取模块11，用于获取第一分辨率下的第一源图像样本、第一模板图像样本及第一标准合成图像；
第一参数调整模块12，用于采用第一源图像样本、第一模板图像样本及第一标准合成图像对初始图像融合模型进行参数调整，得到第一参数调整模型；
第一模型更新模块13，用于在第一参数调整模型中插入第一分辨率更新层，得到第一更新模型；
第二样本获取模块14，用于获取第二分辨率下的第二源图像样本及第二模板图像样本，获取第三分辨率下的第二标准合成图像；
第二参数调整模块15，用于采用第二源图像样本、第二模板图像样本及第二标准合成图像对第一更新模型进行参数调整，得到第二参数调整模型；第二分辨率大于或等于第一分辨率，第三分辨率大于第一分辨率；
第二模型更新模块16，用于在第二参数调整模型中插入第二分辨率更新层，得到第二更新模型；
第三样本获取模块17，用于获取第四分辨率下的第三源图像样本及第三模板图像样本，获取第五分辨率下的第三标准合成图像；
第三参数调整模块18，用于采用第三源图像样本、第三模板图像样本及第三标准合成图像对第二更新模型进行参数调整，得到目标图像融合模型；目标图像融合模型用于将一个图像中的对象融合进另一个图像中；第四分辨率大于或等于第三分辨率，第五分辨率大于或等于第四分辨率。
其中，该第一参数调整模块12，包括：
第一预测单元121，用于将第一源图像样本、第一模板图像样本输入初始图像融合模型中进行预测，得到第一分辨率下的第一预测合成图像；
第一调整单元122，用于通过第一预测合成图像与第一标准合成图像，对初始图像融合模型进行参数调整，得到第一参数调整模型。
其中，该第一预测单元121，包括：
特征组合子单元1211，用于将第一源图像样本与第一模板图像样本输入初始图像融合模型中，对第一源图像样本与第一模板图像样本进行特征组合，得到第一样本组合特征；
特征编码子单元1212，用于在初始图像融合模型中，对第一样本组合特征进行编码处理，得到第一样本对象更新特征；
特征识别子单元1213，用于识别第一源图像样本中目标对象类型所对应的第一样本对象识别特征；
图像预测子单元1214，用于将第一样本对象识别特征与第一样本对象更新特征进行特征融合，预测第一分辨率下的第一预测合成图像。
其中，该图像预测子单元1214，包括：
参数获取子单元121a，用于获取第一样本对象识别特征所对应的第一统计参数，获取第一样本对象更新特征所对应的第二统计参数；
特征调整子单元121b，用于采用第一统计参数与第二统计参数对第一样本对象更新特征进行调整，得到第一初始样本融合特征；
特征解码子单元121c，用于对第一初始样本融合特征进行解码处理，得到第一分辨率下的第一预测合成图像。
其中，该第一调整单元122，包括：
相似获取子单元1221，用于获取第一预测合成图像所对应的第一预测样本融合特征，获取第一预测样本融合特征与第一样本对象识别特征之间的特征相似度；
第一损失子单元1222，用于根据特征相似度生成第一损失函数，基于第一损失函数对初始图像融合模型进行参数调整，得到第一参数调整模型。
其中，该第一调整单元122，包括：
第二损失子单元1223，用于根据第一预测合成图像与第一标准合成图像之间的像素差异值，生成第二损失函数；
第三损失子单元1224，用于通过图像判别器对第一标准合成图像及第一预测合成图像进行图像判别，基于判别结果生成第三损失函数；
第四损失子单元1225，用于通过图像判别器对第一预测合成图像进行图像判别，基于判别结果生成第四损失函数；
模型调整子单元1226，用于采用第二损失函数、第三损失函数及第四损失函数，对初始图像融合模型进行参数调整，得到第一参数调整模型。
其中，该第二样本获取模块14，包括：
样本确定单元141，用于若第二分辨率等于第一分辨率，则将第一源图像样本确定为第二分辨率下的第二源图像样本，将第一模板图像样本确定为第二分辨率下的第二模板图像样本；
样本增强单元142，用于对第一标准合成图像进行分辨率增强处理，得到第三分辨率下的第二标准合成图像。
其中，该第二样本获取模块14，包括：
源增强单元143，用于若第二分辨率大于第一分辨率，则对第一源图像样本进行分辨率增强处理，得到第二分辨率下的第二源图像样本；
模板增强单元144，用于对第一模板图像样本进行分辨率增强处理，得到第二分辨率下的第二模板图像样本；
标准增强单元145，用于对第一标准合成图像进行分辨率增强处理，得到第三分辨率下的第二标准合成图像。
其中，该第三参数调整模块18，包括：
层调整单元181，用于采用第三源图像样本、第三模板图像样本及第三标准合成图像对第二更新模型中的第二分辨率更新层进行参数调整，得到第三参数调整模型；
模型微调单元182，用于获取第五分辨率下的第四源图像样本及第四模板图像样本，获取第四源图像样本与第四模板图像样本在第五分辨率下的第四标准合成图像，采用第四源图像样本、第四模板图像样本及第四标准合成图像，对第三参数调整模型进行微调，得到目标图像融合模型。
其中，该第一样本获取模块11，包括：
图像获取单元111，用于获取第一源输入图像及第一模板输入图像；
对象检测单元112，用于对第一源输入图像进行目标对象检测，得到第一源输入图像中目标对象类型所对应的目标对象区域，对第一源输入图像中的目标对象区域进行裁剪，得到第一分辨率下的第一源图像样本；
待融合检测单元113，用于对第一模板输入图像进行检测，得到第一模板输入图像中目标对象类型所对应的待融合区域，对第一模板输入图像中的待融合区域进行裁剪，得到第一分辨率下的第一模板图像样本；
标准获取单元114，用于获取第一源图像样本与第一模板图像样本，在第一分辨率下的第一标准合成图像。
本申请实施例提供了一种模型训练装置，该装置可以获取第一分辨率下的第一源图像样本、第一模板图像样本及第一标准合成图像，采用第一源图像样本、第一模板图像样本及第一标准合成图像对初始图像融合模型进行参数调整，得到第一参数调整模型，在第一参数调整模型中插入第一分辨率更新层，得到第一更新模型；获取第二分辨率下的第二源图像样本及第二模板图像样本，获取第三分辨率下的第二标准合成图像，采用第二源图像样本、第二模板图像样本及第二标准合成图像对第一更新模型进行参数调整，得到第二参数调整模型；第二分辨率大于或等于第一分辨率，第三分辨率大于第一分辨率；在第二参数调整模型中插入第二分辨率更新层，得到第二更新模型；获取第四分辨率下的第三源图像样本及第三模板图像样本，获取第五分辨率下的第三标准合成图像，采用第三源图像样本、第三模板图像样本及第三标准合成图像对第二更新模型进行参数调整，得到目标图像融合模型；目标图像融合模型用于将一个图像中的对象融合进另一个图像中；第四分辨率大于或等于第三分辨率，第五分辨率大于或等于第四分辨率。通过以上过程，可以采用能够大量获取到的第一分辨率下的样本进行初步的模型训练，利用第一分辨率下的样本的海量数据，保证模型的鲁棒性及准确性；进一步通过不同分辨率进行逐渐递进训练，即，采用第二分辨率下的样本及第四分辨率下的样本等，逐步对初步训练的模型进行逐渐递进训练，使得最终的模型可以得到第五分辨率下的合成图像，实现图像的增强，同时，采用了难以获取的少量高分辨率的样本实现图像的增强，从而可以在保证模型的鲁棒性的情况下，提高融合后图像的清晰度及显示效果，提高模型的效果。
进一步地，请参见图9，图9是本申请实施例提供的一种图像处理装置示意图。该图像处理装置可以是运行于计算机设备中的一个计算机程序(包括程序代码等)，例如该图像处理装置可以为一个应用软件；该装置可以用于执行本申请实施例提供的方法中的相应步骤。如图9所示，该图像处理装置900可以用于图5所对应实施例中的计算机设备，具体的，该装置可以包括：图像获取模块21及图像合成模块22。
图像获取模块21，用于获取源图像及模板图像；
图像合成模块22，用于将源图像及模板图像输入目标图像融合模型，通过目标图像融合模型对源图像与模板图像进行融合，得到目标合成图像；目标图像融合图像是采用第三源图像样本、第三模板图像样本及第三标准合成图像，对第二更新模型进行参数调整所得到的，第三源图像样本及第三模板图像样本的分辨率为第四分辨率，第三标准合成图像的分辨率为第五分辨率；第二更新模型是通过在第二参数调整模型中插入第二分辨率更新层得到的；第二参数调整模型是采用第二源图像样本、第二模板图像样本及第二标准合成图像，对第一更新模型进行参数调整所得到的，第二源图像样本及第二模板图像样本的分辨率为第二分辨率，第二标准合成图像的分辨率为第三分辨率；第一更新模型是在第一参数调整模型中插入第一分辨率更新层得到的；第一参数调整模型是采用第一源图像样本、第一模板图像样本及第一标准合成图像，对初始图像融合模型进行参数调整所得到的，第一源图像样本、第一模板图像样本及第一标准合成图像的分辨率为第一分辨率。
其中，该图像获取模块21，包括：
视频拆分单元211，用于获取组成原始视频的至少两个视频帧图像，将至少两个视频帧图像确定为模板图像，获取源图像；模板图像的数量为至少两个，目标合成图像包括至少两个模板图像分别对应的目标合成图像；
该装置900还包括：
视频生成模块23，用于将至少两个目标合成图像进行组合，得到原始视频所对应的对象更新视频。
其中，该图像合成模块22，包括：
特征组合单元221，用于将源图像及模板图像输入目标图像融合模型，在目标图像融合模型中，对源图像与模板图像进行特征组合，得到组合特征；
特征处理单元222，用于对组合特征进行编码处理，得到对象更新特征，识别源图像中目标对象类型所对应的对象识别特征；
特征融合单元223，用于将对象识别特征与对象更新特征进行特征融合，预测目标合成图像。
参见图10，图10是本申请实施例提供的一种计算机设备的结构示意图。如图10所示，本申请实施例中的计算机设备可以包括：一个或多个处理器1001、存储器1002和输入输出接口1003。该处理器1001、存储器1002和输入输出接口1003通过总线1004连接。存储器1002用于存储计算机程序，该计算机程序包括程序指令，输入输出接口1003用于接收数据及输出数据，如用于计算机设备与终端设备之间进行数据交互，或用于模型中的各个卷积层之间的数据交互；处理器1001用于执行存储器1002存储的程序指令。
其中，该处理器1001可以执行如下操作：
获取第一分辨率下的第一源图像样本、第一模板图像样本及第一标准合成图像，采用第一源图像样本、第一模板图像样本及第一标准合成图像对初始图像融合模型进行参数调整，得到第一参数调整模型，在第一参数调整模型中插入第一分辨率更新层，得到第一更新模型；
获取第二分辨率下的第二源图像样本及第二模板图像样本，获取第三分辨率下的第二标准合成图像，采用第二源图像样本、第二模板图像样本及第二标准合成图像对第一更新模型进行参数调整，得到第二参数调整模型；第二分辨率大于或等于第一分辨率，第三分辨率大于第一分辨率；
在第二参数调整模型中插入第二分辨率更新层，得到第二更新模型；
获取第四分辨率下的第三源图像样本及第三模板图像样本，获取第五分辨率下的第三标准合成图像，采用第三源图像样本、第三模板图像样本及第三标准合成图像对第二更新模型进行参数调整，得到目标图像融合模型；目标图像融合模型用于将一个图像中的对象融合进另一个图像中；第四分辨率大于或等于第三分辨率，第五分辨率大于或等于第四分辨率。
或者，该处理器1001可以执行如下操作：
获取源图像及模板图像，将源图像及模板图像输入目标图像融合模型，通过目标图像融合模型对源图像与模板图像进行融合，得到目标合成图像；目标图像融合图像是采用第三源图像样本、第三模板图像样本及第三标准合成图像，对第二更新模型进行参数调整所得到的，第三源图像样本及第三模板图像样本的分辨率为第四分辨率，第三标准合成图像的分辨率为第五分辨率；第二更新模型是通过在第二参数调整模型中插入第二分辨率更新层得到的；第二参数调整模型是采用第二源图像样本、第二模板图像样本及第二标准合成图像，对第一更新模型进行参数调整所得到的，第二源图像样本及第二模板图像样本的分辨率为第二分辨率，第二标准合成图像的分辨率为第三分辨率；第一更新模型是在第一参数调整模型中插入第一分辨率更新层得到的；第一参数调整模型是采用第一源图像样本、第一模板图像样本及第一标准合成图像，对初始图像融合模型进行参数调整所得到的，第一源图像样本、第一模板图像样本及第一标准合成图像的分辨率为第一分辨率。
在一些可行的实施方式中，该处理器1001可以是中央处理单元(centralprocessing unit，CPU)，该处理器还可以是其他通用处理器、数字信号处理器(digitalsignal processor，DSP)、专用集成电路(application specific integrated circuit，ASIC)、现成可编程门阵列(field-programmable gate array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
该存储器1002可以包括只读存储器和随机存取存储器，并向处理器1001和输入输出接口1003提供指令和数据。存储器1002的一部分还可以包括非易失性随机存取存储器。例如，存储器1002还可以存储设备类型的信息。
具体实现中，该计算机设备可通过其内置的各个功能模块执行如该图3或图5中各个步骤所提供的实现方式，具体可参见该图3或图5中各个步骤所提供的实现方式，在此不再赘述。
本申请实施例通过提供一种计算机设备，包括：处理器、输入输出接口、存储器，通过处理器获取存储器中的计算机程序，执行该图3中所示方法的各个步骤，进行图像处理的模型训练操作。本申请实施例实现了获取第一分辨率下的第一源图像样本、第一模板图像样本及第一标准合成图像，采用第一源图像样本、第一模板图像样本及第一标准合成图像对初始图像融合模型进行参数调整，得到第一参数调整模型，在第一参数调整模型中插入第一分辨率更新层，得到第一更新模型；获取第二分辨率下的第二源图像样本及第二模板图像样本，获取第三分辨率下的第二标准合成图像，采用第二源图像样本、第二模板图像样本及第二标准合成图像对第一更新模型进行参数调整，得到第二参数调整模型；第二分辨率大于或等于第一分辨率，第三分辨率大于第一分辨率；在第二参数调整模型中插入第二分辨率更新层，得到第二更新模型；获取第四分辨率下的第三源图像样本及第三模板图像样本，获取第五分辨率下的第三标准合成图像，采用第三源图像样本、第三模板图像样本及第三标准合成图像对第二更新模型进行参数调整，得到目标图像融合模型；目标图像融合模型用于将一个图像中的对象融合进另一个图像中；第四分辨率大于或等于第三分辨率，第五分辨率大于或等于第四分辨率。通过以上过程，可以采用能够大量获取到的第一分辨率下的样本进行初步的模型训练，利用第一分辨率下的样本的海量数据，保证模型的鲁棒性及准确性；进一步通过不同分辨率进行逐渐递进训练，即，采用第二分辨率下的样本及第四分辨率下的样本等，逐步对初步训练的模型进行逐渐递进训练，使得最终的模型可以得到第五分辨率下的合成图像，实现图像的增强，同时，采用了难以获取的少量高分辨率的样本实现图像的增强，从而可以在保证模型的鲁棒性的情况下，提高融合后图像的清晰度及显示效果，提高模型的效果。
本申请实施例还提供一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，该计算机程序适于由该处理器加载并执行图3或图5中各个步骤所提供的图像处理方法，具体可参见该图3或图5中各个步骤所提供的实现方式，在此不再赘述。另外，对采用相同方法的有益效果描述，也不再进行赘述。对于本申请所涉及的计算机可读存储介质实施例中未披露的技术细节，请参照本申请方法实施例的描述。作为示例，计算机程序可被部署为在一个计算机设备上执行，或者在位于一个地点的多个计算机设备上执行，又或者，在分布在多个地点且通过通信网络互连的多个计算机设备上执行。
该计算机可读存储介质可以是前述任一实施例提供的图像处理装置或者该计算机设备的内部存储单元，例如计算机设备的硬盘或内存。该计算机可读存储介质也可以是该计算机设备的外部存储设备，例如该计算机设备上配备的插接式硬盘，智能存储卡(smart media card，SMC)，安全数字(secure digital，SD)卡，闪存卡(flash card)等。进一步地，该计算机可读存储介质还可以既包括该计算机设备的内部存储单元也包括外部存储设备。该计算机可读存储介质用于存储该计算机程序以及该计算机设备所需的其他程序和数据。该计算机可读存储介质还可以用于暂时地存储已经输出或者将要输出的数据。
本申请实施例还提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行图3或图6中的各种可选方式中所提供的方法，可以采用能够大量获取到的第一分辨率下的样本进行初步的模型训练，利用第一分辨率下的样本的海量数据，保证模型的鲁棒性及准确性；进一步通过不同分辨率进行逐渐递进训练，即，采用第二分辨率下的样本及第四分辨率下的样本等，逐步对初步训练的模型进行逐渐递进训练，使得最终的模型可以得到第五分辨率下的合成图像，实现图像的增强，同时，采用了难以获取的少量高分辨率的样本实现图像的增强，从而可以在保证模型的鲁棒性的情况下，提高融合后图像的清晰度及显示效果，提高模型的效果。
本申请实施例的说明书和权利要求书及附图中的术语“第一”、“第二”等是用于区别不同对象，而非用于描述特定顺序。此外，术语“包括”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、装置、产品或设备没有限定于已列出的步骤或模块，而是可选地还包括没有列出的步骤或模块，或可选地还包括对于这些过程、方法、装置、产品或设备固有的其他步骤单元。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在该说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
本申请实施例提供的方法及相关装置是参照本申请实施例提供的方法流程图和/或结构示意图来描述的，具体可由计算机程序指令实现方法流程图和/或结构示意图的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。这些计算机程序指令可提供到通用计算机、专用计算机、嵌入式处理机或其他可编程图像处理设备的处理器以产生一个机器，使得通过计算机或其他可编程图像处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或结构示意图一个方框或多个方框中指定的功能的装置。这些计算机程序指令也可存储在能引导计算机或其他可编程图像处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或结构示意图一个方框或多个方框中指定的功能。这些计算机程序指令也可装载到计算机或其他可编程图像处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或结构示意一个方框或多个方框中指定的功能的步骤。
本申请实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减。
本申请实施例装置中的模块可以根据实际需要进行合并、划分和删减。
以上所揭露的仅为本申请较佳实施例而已，当然不能以此来限定本申请之权利范围，因此依本申请权利要求所作的等同变化，仍属本申请所涵盖的范围。

Claims (18)

1.一种图像处理方法，其特征在于，所述方法包括：
获取第一分辨率下的第一源图像样本、第一模板图像样本及第一标准合成图像，采用所述第一源图像样本、所述第一模板图像样本及所述第一标准合成图像对初始图像融合模型进行参数调整，得到第一参数调整模型，在所述第一参数调整模型中插入第一分辨率更新层，得到第一更新模型；
获取第二分辨率下的第二源图像样本及第二模板图像样本，获取第三分辨率下的第二标准合成图像，采用所述第二源图像样本、所述第二模板图像样本及所述第二标准合成图像对所述第一更新模型进行参数调整，得到第二参数调整模型；所述第二分辨率大于或等于所述第一分辨率，所述第三分辨率大于所述第一分辨率；
在所述第二参数调整模型中插入第二分辨率更新层，得到第二更新模型；
获取第四分辨率下的第三源图像样本及第三模板图像样本，获取第五分辨率下的第三标准合成图像，采用所述第三源图像样本、所述第三模板图像样本及所述第三标准合成图像对所述第二更新模型进行参数调整，得到目标图像融合模型；所述目标图像融合模型用于将一个图像中的对象融合进另一个图像中；所述第四分辨率大于或等于所述第三分辨率，所述第五分辨率大于或等于所述第四分辨率。
2.如权利要求1所述的方法，其特征在于，所述采用所述第一源图像样本、所述第一模板图像样本及所述第一标准合成图像对初始图像融合模型进行参数调整，得到第一参数调整模型，包括：
将所述第一源图像样本、所述第一模板图像样本输入初始图像融合模型中进行预测，得到所述第一分辨率下的第一预测合成图像；
通过所述第一预测合成图像与所述第一标准合成图像，对所述初始图像融合模型进行参数调整，得到第一参数调整模型。
3.如权利要求2所述的方法，其特征在于，所述将所述第一源图像样本、所述第一模板图像样本输入初始图像融合模型中进行预测，得到所述第一分辨率下的第一预测合成图像，包括：
将所述第一源图像样本与所述第一模板图像样本输入初始图像融合模型中，对所述第一源图像样本与所述第一模板图像样本进行特征组合，得到第一样本组合特征；
在所述初始图像融合模型中，对所述第一样本组合特征进行编码处理，得到第一样本对象更新特征；
识别所述第一源图像样本中目标对象类型所对应的第一样本对象识别特征，将所述第一样本对象识别特征与所述第一样本对象更新特征进行特征融合，预测所述第一分辨率下的第一预测合成图像。
4.如权利要求3所述的方法，其特征在于，所述将所述第一样本对象识别特征与所述第一样本对象更新特征进行特征融合，预测所述第一分辨率下的第一预测合成图像，包括：
获取所述第一样本对象识别特征所对应的第一统计参数，获取所述第一样本对象更新特征所对应的第二统计参数；
采用所述第一统计参数与所述第二统计参数对所述第一样本对象更新特征进行调整，得到第一初始样本融合特征；
对所述第一初始样本融合特征进行解码处理，得到所述第一分辨率下的第一预测合成图像。
5.如权利要求3所述的方法，其特征在于，所述采用所述第一预测合成图像与所述第一标准合成图像对所述初始图像融合模型进行参数调整，得到第一参数调整模型，包括：
获取所述第一预测合成图像所对应的第一预测样本融合特征，获取所述第一预测样本融合特征与所述第一样本对象识别特征之间的特征相似度；
根据所述特征相似度生成第一损失函数，基于所述第一损失函数对所述初始图像融合模型进行参数调整，得到第一参数调整模型。
6.如权利要求2所述的方法，其特征在于，所述通过所述第一预测合成图像与所述第一标准合成图像，对所述初始图像融合模型进行参数调整，得到第一参数调整模型，包括：
根据所述第一预测合成图像与所述第一标准合成图像之间的像素差异值，生成第二损失函数；
通过图像判别器对所述第一标准合成图像及所述第一预测合成图像进行图像判别，基于判别结果生成第三损失函数；
通过所述图像判别器对所述第一预测合成图像进行图像判别，基于判别结果生成第四损失函数；
采用所述第二损失函数、所述第三损失函数及所述第四损失函数，对所述初始图像融合模型进行参数调整，得到第一参数调整模型。
7.如权利要求1所述的方法，其特征在于，所述获取第二分辨率下的第二源图像样本及第二模板图像样本，获取第三分辨率下的第二标准合成图像，包括：
若所述第二分辨率等于所述第一分辨率，则将所述第一源图像样本确定为所述第二分辨率下的第二源图像样本，将所述第一模板图像样本确定为所述第二分辨率下的第二模板图像样本；
对所述第一标准合成图像进行分辨率增强处理，得到第三分辨率下的第二标准合成图像。
8.如权利要求1所述的方法，其特征在于，所述获取第二分辨率下的第二源图像样本及第二模板图像样本，获取第三分辨率下的第二标准合成图像，包括：
若所述第二分辨率大于所述第一分辨率，则对所述第一源图像样本进行分辨率增强处理，得到所述第二分辨率下的第二源图像样本；
对所述第一模板图像样本进行分辨率增强处理，得到所述第二分辨率下的第二模板图像样本；
对所述第一标准合成图像进行分辨率增强处理，得到第三分辨率下的第二标准合成图像。
9.如权利要求1所述的方法，其特征在于，所述采用所述第三源图像样本、所述第三模板图像样本及所述第三标准合成图像对所述第二更新模型进行参数调整，得到目标图像融合模型，包括：
采用所述第三源图像样本、所述第三模板图像样本及所述第三标准合成图像对所述第二更新模型中的所述第二分辨率更新层进行参数调整，得到第三参数调整模型；
获取所述第五分辨率下的第四源图像样本及第四模板图像样本，获取所述第四源图像样本与所述第四模板图像样本在所述第五分辨率下的第四标准合成图像，采用所述第四源图像样本、所述第四模板图像样本及所述第四标准合成图像，对所述第三参数调整模型进行微调，得到目标图像融合模型。
10.如权利要求1所述的方法，其特征在于，所述获取第一分辨率下的第一源图像样本、第一模板图像样本及第一标准合成图像，包括：
获取第一源输入图像及第一模板输入图像；
对所述第一源输入图像进行目标对象检测，得到所述第一源输入图像中目标对象类型所对应的目标对象区域，对所述第一源输入图像中的所述目标对象区域进行裁剪，得到第一分辨率下的第一源图像样本；
对所述第一模板输入图像进行检测，得到所述第一模板输入图像中目标对象类型所对应的待融合区域，对所述第一模板输入图像中的所述待融合区域进行裁剪，得到所述第一分辨率下的第一模板图像样本；
获取所述第一源图像样本与所述第一模板图像样本，在所述第一分辨率下的第一标准合成图像。
11.一种图像处理方法，其特征在于，所述方法包括：
获取源图像及模板图像，将所述源图像及所述模板图像输入目标图像融合模型，通过所述目标图像融合模型对所述源图像与所述模板图像进行融合，得到目标合成图像；所述目标图像融合图像是采用第三源图像样本、第三模板图像样本及第三标准合成图像，对第二更新模型进行参数调整所得到的，所述第三源图像样本及所述第三模板图像样本的分辨率为第四分辨率，所述第三标准合成图像的分辨率为第五分辨率；所述第二更新模型是通过在第二参数调整模型中插入第二分辨率更新层得到的；所述第二参数调整模型是采用第二源图像样本、第二模板图像样本及第二标准合成图像，对第一更新模型进行参数调整所得到的，所述第二源图像样本及所述第二模板图像样本的分辨率为第二分辨率，所述第二标准合成图像的分辨率为第三分辨率；所述第一更新模型是在第一参数调整模型中插入第一分辨率更新层得到的；所述第一参数调整模型是采用第一源图像样本、第一模板图像样本及第一标准合成图像，对初始图像融合模型进行参数调整所得到的，所述第一源图像样本、所述第一模板图像样本及所述第一标准合成图像的分辨率为第一分辨率。
12.如权利要求11所述的方法，其特征在于，所述获取源图像及模板图像，包括：
获取组成原始视频的至少两个视频帧图像，将至少两个视频帧图像确定为模板图像，获取源图像；所述模板图像的数量为至少两个，所述目标合成图像包括至少两个模板图像分别对应的目标合成图像；
所述方法还包括：
将至少两个目标合成图像进行组合，得到所述原始视频所对应的对象更新视频。
13.如权利要求11所述的方法，其特征在于，所述通过所述目标图像融合模型对所述源图像与所述模板图像进行融合，得到目标合成图像，包括：
在所述目标图像融合模型中，对所述源图像与所述模板图像进行特征组合，得到组合特征；
对所述组合特征进行编码处理，得到对象更新特征，识别所述源图像中目标对象类型所对应的对象识别特征；
将所述对象识别特征与所述对象更新特征进行特征融合，预测目标合成图像。
14.一种图像处理装置，其特征在于，所述装置包括：
第一样本获取模块，用于获取第一分辨率下的第一源图像样本、第一模板图像样本及第一标准合成图像；
第一参数调整模块，用于采用所述第一源图像样本、所述第一模板图像样本及所述第一标准合成图像对初始图像融合模型进行参数调整，得到第一参数调整模型；
第一模型更新模块，用于在所述第一参数调整模型中插入第一分辨率更新层，得到第一更新模型；
第二样本获取模块，用于获取第二分辨率下的第二源图像样本及第二模板图像样本，获取第三分辨率下的第二标准合成图像；
第二参数调整模块，用于采用所述第二源图像样本、所述第二模板图像样本及所述第二标准合成图像对所述第一更新模型进行参数调整，得到第二参数调整模型；所述第二分辨率大于或等于所述第一分辨率，所述第三分辨率大于所述第一分辨率；
第二模型更新模块，用于在所述第二参数调整模型中插入第二分辨率更新层，得到第二更新模型；
第三样本获取模块，用于获取第四分辨率下的第三源图像样本及第三模板图像样本，获取第五分辨率下的第三标准合成图像；
第三参数调整模块，用于采用所述第三源图像样本、所述第三模板图像样本及所述第三标准合成图像对所述第二更新模型进行参数调整，得到目标图像融合模型；所述目标图像融合模型用于将一个图像中的对象融合进另一个图像中；所述第四分辨率大于或等于所述第三分辨率，所述第五分辨率大于或等于所述第四分辨率。
15.一种图像处理装置，其特征在于，所述装置包括：
图像获取模块，用于获取源图像及模板图像；
图像合成模块，用于将所述源图像及所述模板图像输入目标图像融合模型，通过所述目标图像融合模型对所述源图像与所述模板图像进行融合，得到目标合成图像；所述目标图像融合图像是采用第三源图像样本、第三模板图像样本及第三标准合成图像，对第二更新模型进行参数调整所得到的，所述第三源图像样本及所述第三模板图像样本的分辨率为第四分辨率，所述第三标准合成图像的分辨率为第五分辨率；所述第二更新模型是通过在第二参数调整模型中插入第二分辨率更新层得到的；所述第二参数调整模型是采用第二源图像样本、第二模板图像样本及第二标准合成图像，对第一更新模型进行参数调整所得到的，所述第二源图像样本及所述第二模板图像样本的分辨率为第二分辨率，所述第二标准合成图像的分辨率为第三分辨率；所述第一更新模型是在第一参数调整模型中插入第一分辨率更新层得到的；所述第一参数调整模型是采用第一源图像样本、第一模板图像样本及第一标准合成图像，对初始图像融合模型进行参数调整所得到的，所述第一源图像样本、所述第一模板图像样本及所述第一标准合成图像的分辨率为第一分辨率。
16.一种计算机设备，其特征在于，包括处理器、存储器、输入输出接口；
所述处理器分别与所述存储器和所述输入输出接口相连，其中，所述输入输出接口用于接收数据及输出数据，所述存储器用于存储计算机程序，所述处理器用于调用所述计算机程序，以使得所述计算机设备执行权利要求1-10任一项所述的方法，或者执行权利要求11-13任一项所述的方法。
17.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序适于由处理器加载并执行，以使得具有所述处理器的计算机设备执行权利要求1-10任一项所述的方法，或者执行权利要求11-13任一项所述的方法。
18.一种计算机程序产品，包括计算机程序/指令，其特征在于，所述计算机程序/指令被处理器执行时实现权利要求1-10任一项所述的方法，或者执行权利要求11-13任一项所述的方法。
CN202210967272.3A 2022-08-12 2022-08-12 图像处理方法、装置、计算机、可读存储介质及程序产品 Pending CN115345782A (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202210967272.3A CN115345782A (zh) 2022-08-12 2022-08-12 图像处理方法、装置、计算机、可读存储介质及程序产品
PCT/CN2023/111212 WO2024032494A1 (zh) 2022-08-12 2023-08-04 图像处理方法、装置、计算机、可读存储介质及程序产品
US18/417,916 US20240153041A1 (en) 2022-08-12 2024-01-19 Image processing method and apparatus, computer, readable storage medium, and program product

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210967272.3A CN115345782A (zh) 2022-08-12 2022-08-12 图像处理方法、装置、计算机、可读存储介质及程序产品

Publications (1)

Publication Number Publication Date
CN115345782A true CN115345782A (zh) 2022-11-15

Family

ID=83951851

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210967272.3A Pending CN115345782A (zh) 2022-08-12 2022-08-12 图像处理方法、装置、计算机、可读存储介质及程序产品

Country Status (3)

Country Link
US (1) US20240153041A1 (zh)
CN (1) CN115345782A (zh)
WO (1) WO2024032494A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024032494A1 (zh) * 2022-08-12 2024-02-15 腾讯科技（深圳）有限公司 图像处理方法、装置、计算机、可读存储介质及程序产品

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10482639B2 (en) * 2017-02-21 2019-11-19 Adobe Inc. Deep high-resolution style synthesis
US10599951B2 (en) * 2018-03-28 2020-03-24 Kla-Tencor Corp. Training a neural network for defect detection in low resolution images
CN111080527B (zh) * 2019-12-20 2023-12-05 北京金山云网络技术有限公司 一种图像超分辨率的方法、装置、电子设备及存储介质
CN113870104A (zh) * 2020-06-30 2021-12-31 微软技术许可有限责任公司 超分辨率图像重建
CN112784857B (zh) * 2021-01-29 2022-11-04 北京三快在线科技有限公司 一种模型训练以及图像处理方法及装置
CN113902956B (zh) * 2021-09-30 2023-04-07 北京百度网讯科技有限公司 融合模型的训练方法、图像融合方法、装置、设备及介质
CN114120413A (zh) * 2021-11-29 2022-03-01 北京百度网讯科技有限公司 模型训练方法、图像合成方法、装置、设备及程序产品
CN115345782A (zh) * 2022-08-12 2022-11-15 腾讯科技（深圳）有限公司 图像处理方法、装置、计算机、可读存储介质及程序产品

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024032494A1 (zh) * 2022-08-12 2024-02-15 腾讯科技（深圳）有限公司 图像处理方法、装置、计算机、可读存储介质及程序产品

Also Published As

Publication number Publication date
WO2024032494A1 (zh) 2024-02-15
US20240153041A1 (en) 2024-05-09

Similar Documents

Publication Publication Date Title
CN111709408B (zh) 图像真伪检测方法和装置
CN112215171B (zh) 目标检测方法、装置、设备及计算机可读存储介质
CN113095346A (zh) 数据标注的方法以及数据标注的装置
CN113177538B (zh) 一种视频循环识别方法、装置、计算机设备及存储介质
CN112037142B (zh) 一种图像去噪方法、装置、计算机及可读存储介质
CN114926766A (zh) 识别方法及装置、设备、计算机可读存储介质
CN114549369B (zh) 数据修复方法、装置、计算机及可读存储介质
CN117079299B (zh) 数据处理方法、装置、电子设备及存储介质
CN115393599A (zh) 构建图像语义分割模型和图像处理的方法、装置、电子设备及介质
US20240153041A1 (en) Image processing method and apparatus, computer, readable storage medium, and program product
CN114331946A (zh) 一种图像数据处理方法、设备以及介质
CN114693929A (zh) 一种rgb-d双模态特征融合的语义分割方法
CN113628116B (zh) 图像处理网络的训练方法、装置、计算机设备和存储介质
CN117095019B (zh) 一种图像分割方法及相关装置
CN117252947A (zh) 图像处理方法、装置、计算机、存储介质及程序产品
CN116721320A (zh) 基于多尺度特征融合的通用图像篡改取证方法及系统
CN116977484A (zh) 图像脱敏方法、装置、电子设备及存储介质
CN114676705A (zh) 一种对话关系处理方法、计算机及可读存储介质
CN116129279B (zh) 图像处理方法、装置、设备及介质
CN116704588B (zh) 面部图像的替换方法、装置、设备及存储介质
US20240054795A1 (en) Automatic Vehicle Verification
CN117156078B (zh) 一种视频数据处理方法、装置、电子设备及存储介质
CN117036720A (zh) 图像数据处理方法、装置、设备及存储介质
CN117725236A (zh) 多媒体内容的处理方法、装置、设备及介质
CN116957951A (zh) 图像生成方法、装置、计算机设备、存储介质及产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination