CN112750176A - 一种图像处理方法、装置、电子设备及存储介质 - Google Patents

Abstract

本申请提供了一种图像处理方法，包括：在视图界面中呈现图像变换功能项，响应于针对所述图像变换功能项的触发操作，获取并呈现包含所述第一对象的待处理图像；响应于基于所述待处理图像触发的变换确定操作，生成并呈现目标图像模板的目标图像。本申请还提供了图像处理装置、电子设备及存储介质。本申请能够留待处理图像的特征，避免经过替换的目标图像出现失真，实现对用户不同待处理图像的批量处理，同时图像处理过程降低了硬件资源的占用，减少了硬件设备成本的提升，提高用户的使用体验。

Description

一种图像处理方法、装置、电子设备及存储介质

技术领域

本申请涉及信息处理技术，尤其涉及图像处理方法、装置、电子设备及存储介质。

背景技术

在互联网社交等应用中，通过图像的换脸操作可以增加社交应用的趣味性，通过保持原始图像(例如图片或者视频帧)中人物的目标部位的情况下，需要将目标部位替换至目标图像模板其他对象的相应部位。为此，人工智能技术提供了训练适当的图像处理模型来支持上述应用的方案，但由于目标图像色彩变化多样，容易导致目标用户人脸(所要替换的脸部)发生较大形变，新合成人脸与待替换人脸存在较大的差距，降低了图像的辨识度。

发明内容

有鉴于此，本申请实施例提供一种图像处理方法、装置、电子设备及存储介质，能够保留待处理图像的特征，避免经过替换的目标图像出现失真，实现对用户不同待处理图像的批量处理，同时图像处理过程降低了硬件资源的占用，减少了硬件设备成本的提升，提高用户的使用体验。

本申请实施例的技术方案是这样实现的：

本申请实施例提供了一种图像处理方法，包括：

在视图界面中呈现图像变换功能项；

响应于针对所述图像变换功能项的触发操作，获取并呈现包含第一对象的待处理图像；

响应于基于所述待处理图像触发的变换确定操作，生成并呈现目标图像模板的目标图像，其中，所述目标图像模板的目标图像，为利用所述待处理图像中第一对象的目标部位，替换所述目标图像模板中第二对象的相应部位所生成的图像。

本申请实施例还提供了一种图像处理装置，包括：

信息显示模块，用于在视图界面中呈现图像变换功能项；

信息传输模块，用于响应于针对所述图像变换功能项的触发操作，获取并呈现包含第一对象的待处理图像；

所述信息显示模块，用于响应于基于所述待处理图像触发的变换确定操作，生成并呈现目标图像模板的目标图像；其中，所述目标图像模板的目标图像，为利用所述待处理图像中第一对象的目标部位，替换所述目标图像模板中第二对象的相应部位所生成的图像。

上述方案中，所述信息显示模块，用于在所述图像模板切换界面中，标记所述模板切换操作所指示的图像模板。

上述方案中，所述信息显示模块，用于呈现用于分享所述目标图像的图像分享功能项；

所述信息传输模块，用于响应于针对所述图像分享功能项的触发操作，分享所述目标图像。

上述方案中，所述信息显示模块，用于触发图像处理模型，并通过所述图像处理模型获取所述待处理图像中第一对象的目标部位所对应的第一纹理特征集合；

所述信息显示模块，用于获取与所述目标图像模板中第二对象的相应部位所匹配的第二纹理特征集合；

所述信息显示模块，用于对所述第一纹理特征集合与所述第二纹理特征集合进行叠加渲染，叠加渲染后的目标图像模板中，第一纹理特征集合在所述第二对象的相应部位上覆盖了所述第二纹理特征集合。

上述方案中，所述信息显示模块，用于当所述目标部位为脸部时，调整所述第一纹理特征集合与所述第二纹理特征集合叠加渲染的色彩模式，使得所述待处理图像中第一对象的脸部与所述目标图像模板中第二对象的色彩相匹配；

所述信息显示模块，用于当所述目标部位为发型部位时，调整所述第一纹理特征集合与所述第二纹理特征集合叠加渲染的边距模式，使得所述待处理图像中第一对象的发型部位与所述目标图像模板中第二对象的面部特征相适配。

上述方案中，所述信息显示模块，用于响应于针对所述图像变换功能项的查看操作，呈现包括所述待处理图像和所述图像模板的内容页面，并在所述内容页面中呈现至少一个互动功能项，所述互动功能项用于实现与所述待处理图像的互动；

所述信息传输模块，用于接收基于所述互动功能项触发的针对所述待处理图像的互动操作，以执行相应的互动指令。

上述方案中，所述信息显示模块，用于在所述内容页面中呈现第一互动提示信息，所述第一互动提示信息，用于提示所述互动操作所对应的互动内容能够呈现于所述视图界面中；

所述信息显示模块，用于响应于切换到所述视图界面的操作，将页面内容切换至所述视图界面。

上述方案中，所述信息显示模块，用于在所述内容页面中呈现第二互动提示信息，所述第二互动提示信息，用于提示所述互动操作所对应的互动内容能够呈现于目标图像模板对应的目标图像模板库界面中；

响应于切换到所述目标图像模板库界面的指令，切换所述内容页面至所述目标图像模板库界面。

本申请实施例还提供了一种电子设备，所述电子设备包括：

存储器，用于存储可执行指令；

处理器，用于运行所述存储器存储的可执行指令时，实现前序的图像处理方法。

本申请实施例还提供了一种计算机可读存储介质，存储有可执行指令，所述可执行指令被处理器执行时实现前序的图像处理方法。

本申请实施例通过在视图界面中呈现图像变换功能项，响应于针对所述图像变换功能项的触发操作，获取并呈现包含第一对象的待处理图像；响应于基于所述待处理图像触发的变换确定操作，生成并呈现目标图像模板的目标图像，其中，所述目标图像模板的目标图像，为利用所述待处理图像中第一对象的目标部位，替换所述目标图像模板中第二对象的相应部位所生成的图像；由此能够保留待处理图像的特征，避免经过替换的目标图像出现失真，实现对用户不同待处理图像的批量处理，同时图像处理过程降低了硬件资源的占用，减少了硬件设备成本的提升，提高用户的使用体验。

附图说明

图1为本申请实施例提供的图像处理方法的使用场景示意图；

图2为本申请实施例提供的电子设备的组成结构示意图；

图3为传统方案中生成换脸图像的处理示意图；

图4为本申请相关技术中通过图像处理模型进行换脸的原理示意图；

图5为本申请实施例中相关技术的换脸效果示意图；

图6为本申请实施例提供的图像处理方法一个可选的流程示意图；

图7A为本申请实施例提供的图像处理界面的示意图；

图7B为本申请实施例提供的图像处理界面的示意图；

图8为本申请实施例中图像处理模型的神经网络处理图像示意图；

图9为本申请实施例中图像处理模型的神经网络降低图像层级示意图；

图10为本申请实施例中图像处理模型的神经网络处理图像的示意图；

图11为本申请实施例中图像处理模型的神经网络的图像分割效果示意图；

图12为本申请实施例中图像处理模型的神经网络的图像分割效果示意图；

图13为本申请实施例中图像处理模型的神经网络的图像分割效果示意图；

图14为本申请实施例中图像处理的效果示意图；

图15为本申请实施例提供的图像处理界面的示意图；

图16为本申请实施例提供的图像处理界面的示意图。

具体实施方式

为了使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请作进一步地详细描述，所描述的实施例不应视为对本申请的限制，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。

在以下的描述中，涉及到“一些实施例”，其描述了所有可能实施例的子集，但是可以理解，“一些实施例”可以是所有可能实施例的相同子集或不同子集，并且可以在不冲突的情况下相互结合。

对本申请实施例进行进一步详细说明之前，对本申请实施例中涉及的名词和术语进行说明，本申请实施例中涉及的名词和术语适用于如下的解释。

1)响应于，用于表示所执行的操作所依赖的条件或者状态，当满足所依赖的条件或状态时，所执行的一个或多个操作可以是实时的，也可以具有设定的延迟；在没有特别说明的情况下，所执行的多个操作不存在执行先后顺序的限制。

2)下采样处理，对于一个样值序列间隔几个样值取样一次，这样得到新序列就是原序列的下采样，例如：对于一幅图像I尺寸为M*N，对其进行s倍下采样，即得到(M/s)*(N/s)尺寸的得分辨率图像，其中s应该是M和N的公约数

3)卷积神经网络(CNN，Convolutional Neural Networks)是一类包含卷积计算且具有深度结构的前馈神经网络(Feedforward Neural Networks)，是深度学习(deeplearning)的代表算法之一。卷积神经网络具有表征学习(representation learning)能力，能够按其阶层结构对输入信息进行平移不变分类(shift-invariantclassification)。

4)客户端，终端中实现特定功能的载体，例如移动客户端(APP)是移动终端中特定功能的载体，例如执行用户手势识别的功能的程序。

5)组件(Component)，是小程序的视图的功能模块，也称为前端组件，页面中的按钮、标题、表格、侧边栏、内容和页脚等，组件包括模块化的代码以便于在小程序的不同的页面中重复使用。

6)小程序(Mini Program)，是一种基于面向前端的语言(例如JavaScript)开发的、在超文本标记语言(HTML，Hyper Text Markup Language)页面中实现服务的程序，由客户端(例如浏览器或内嵌浏览器核心的任意客户端)经由网络(如互联网)下载、并在客户端的浏览器环境中解释和执行的软件，节省在客户端中安装的步骤。例如，通过语音指令唤醒终端中的小程序实现在社交网络客户端中可以下载、运行用于实现图像编辑、人物换脸等各种服务的小程序。

7)RGB，三原色编码方法，又可以称作RGB色彩模式，是工业界的一种颜色标准，是通过对红(R)、绿(G)、蓝(B)三个颜色通道的变化以及它们相互之间的叠加来得到各式各样的颜色的，RGB即是代表红、绿、蓝三个通道的颜色，这个标准几乎包括了人类视力所能感知的所有颜色，是目前运用最广的颜色系统之一。

8)换脸，利用待处理图像中对象的目标部位替换其他图像的不同对象中与该目标部位相对应的部位，简称相应部位。

图1为本申请实施例提供的图像处理方法的使用场景示意图，参考图1，终端(包括终端10-1和终端10-2)上设置有图像处理软件的客户端或者小程序，为实现支撑一个示例性应用，本申请实施例图像处理装置30可以是服务器，展示图像处理装置的图像处理结果可以是运行各种客户端的终端，两者通过网络300连接，其中网络300可以是广域网或者局域网，又或者是二者的组合，使用无线链路实现数据传输。终端10提交待处理图像，由图像处理装置30响应于针对图像变换功能项的触发操作，实现图像处理，并由终端10获取并呈现包含第一对象的待处理图像以及呈现对应目标图像模板的目标图像。

在本申请的一些实施例中，终端10中可以运行视频客户端，视频客户端能够根据用户在播放界面通过各种人机交互方式(例如手势、语音等)指示的待替换人脸120以及目标人脸110向服务器提交相应的图像处理请求，以通过服务器的存储介质中的可执行指令被处理器执行时实现本申请所提供的图像处理方法，达到相应的换脸效果。进一步地，上述的图像处理过程也可以迁移到服务器中，借助服务器的硬件资源对替换后的不同帧图像进行重新编码，形成具有换脸效果的视频，以供用户通过微信小程序进行调取，或者分享至用户终端10的不同应用进程中。

其中，本申请实施例所提供的图像处理方法可以基于人工智能实现，人工智能(Artificial Intelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。

人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。

在本申请实施例中，主要涉及的人工智能软件技术包括上述语音处理技术和机器学习等方向。例如，可以涉及语音技术(Speech Technology)中的语音识别技术(AutomaticSpeech Recognition，ASR)，其中包括语音信号预处理(Speech signal preprocessing)、语音信号频域分析(Speech signal frequency analyzing)、语音信号特征提取(Speechsignal feature extraction)、语音信号特征匹配/识别(Speech signal featurematching/recognition)、语音的训练(Speech training)等。

例如可以涉及机器学习(Machine learning，ML)，机器学习是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习通常包括深度学习(Deep Learning)等技术，深度学习包括人工神经网络(artificial neural network)，例如卷积神经网络(ConvolutionalNeural Network，CNN)、循环神经网络(Recurrent Neural Network，RNN)、深度神经网络(Deep neural network，DNN)等。

可以理解的是，本申请提供的图像处理方法以及语音处理可以应用于智能设备(Intelligent device)上，智能设备可以是任何一种具有语音指令识别功能的设备，例如可以是智能终端、智能家居设备(如智能音箱、智能洗衣机等)、智能穿戴设备(如智能手表)、车载智能中控系统(通过语音指令唤醒终端中执行不同任务的小程序)或者AI智能医疗设备(通过语音指令进行唤醒触发)等。

下面对本申请实施例的电子设备的结构做详细说明，电子设备可以各种形式来实施，如带有语音识别模型训练功能的专用终端，也可以为设置有语音识别模型训练功能的服务器，例如前序图1中的服务器200。图2为本申请实施例提供的电子设备的组成结构示意图，可以理解，图2仅仅示出了电子设备的示例性结构而非全部结构，根据需要可以实施图2示出的部分结构或全部结构。

本申请实施例提供的电子设备包括：至少一个处理器201、存储器202、用户接口203和至少一个网络接口204。电子设备中的各个组件通过总线系统205耦合在一起。可以理解，总线系统205用于实现这些组件之间的连接通信。总线系统205除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图2中将各种总线都标为总线系统205。

其中，用户接口203可以包括显示器、键盘、鼠标、轨迹球、点击轮、按键、按钮、触感板或者触摸屏等。

可以理解，存储器202可以是易失性存储器或非易失性存储器，也可包括易失性和非易失性存储器两者。本申请实施例中的存储器202能够存储数据以支持终端(如10-1)的操作。这些数据的示例包括：用于在终端(如10-1)上操作的任何计算机程序，如操作系统和应用程序。其中，操作系统包含各种系统程序，例如框架层、核心库层、驱动层等，用于实现各种基础业务以及处理基于硬件的任务。应用程序可以包含各种应用程序。

在一些实施例中，本申请实施例提供的电子设备可以采用软硬件结合的方式实现，作为示例，本申请实施例提供的电子设备可以是采用硬件译码处理器形式的处理器，其被编程以执行本申请实施例提供的图像处理方法。例如，硬件译码处理器形式的处理器可以采用一个或多个应用专用集成电路(ASIC，Application Specific IntegratedCircuit)、DSP、可编程逻辑器件(PLD，Programmable Logic Device)、复杂可编程逻辑器件(CPLD，Complex Programmable Logic Device)、现场可编程门阵列(FPGA，Field-Programmable Gate Array)或其他电子元件。

作为本申请实施例提供的电子设备采用软硬件结合实施的示例，本申请实施例所提供的电子设备可以直接体现为由处理器201执行的软件模块组合，软件模块可以位于存储介质中，存储介质位于存储器202，处理器201读取存储器202中软件模块包括的可执行指令，结合必要的硬件(例如，包括处理器201以及连接到总线205的其他组件)完成本申请实施例提供的图像处理方法。

作为示例，处理器201可以是一种集成电路芯片，具有信号的处理能力，例如通用处理器、数字信号处理器(DSP，Digital Signal Processor)，或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等，其中，通用处理器可以是微处理器或者任何常规的处理器等。

作为本申请实施例提供的电子设备采用硬件实施的示例，本申请实施例所提供的装置可以直接采用硬件译码处理器形式的处理器201来执行完成，例如，被一个或多个应用专用集成电路(ASIC，Application Specific Integrated Circuit)、DSP、可编程逻辑器件(PLD，Programmable Logic Device)、复杂可编程逻辑器件(CPLD，Complex ProgrammableLogic Device)、现场可编程门阵列(FPGA，Field-Programmable Gate Array)或其他电子元件执行实现本申请实施例提供的图像处理方法。

本申请实施例中的存储器202用于存储各种类型的数据以支持电子设备的操作。这些数据的示例包括：用于在电子设备上操作的任何可执行指令，如可执行指令，实现本申请实施例的从图像处理方法的程序可以包含在可执行指令中。

在另一些实施例中，本申请实施例提供的电子设备可以采用软件方式实现，图2示出了存储在存储器202中的电子设备，其可以是程序和插件等形式的软件，并包括一系列的模块，作为存储器202中存储的程序的示例，可以包括电子设备，电子设备的图像处理模块中包括以下的软件模块：信息显示模块2081，信息传输模块2082。当电子设备中的软件模块被处理器201读取到RAM中并执行时，将实现本申请实施例提供的图像处理方法，下面介绍本申请实施例中电子设备中各个软件模块的功能。

信息显示模块2081，用于在视图界面中呈现图像变换功能项，所述图像变换功能项，用于实现待处理图像中第一对象的目标部位替换目标图像模板中第二对象的相应部位。

信息传输模块2082，用于响应于针对所述图像变换功能项的触发操作，获取并呈现包含所述第一对象的待处理图像。

所述信息显示模块2081，用于响应于基于所述待处理图像触发的变换确定操作，生成并呈现目标图像模板的目标图像；其中，所述目标图像模板的目标图像，为利用所述待处理图像中第一对象的目标部位，替换所述目标图像模板中第二对象的相应部位所生成的图像。

根据图2所示的电子设备，在本申请的一个方面中，本申请还提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述图像处理方法的各种可选实现方式中所提供的不同实施例及实施例的组合。

结合图2示出的图像处理装置说明本申请实施例提供的图像处理方法，在介绍本申请实施例提供的图像处理方法之前，首先介绍本申请中图像处理模型根据待处理图像生成相应图像处理结果的过程中，图3为传统方案中生成换脸图像的处理示意图，实现待处理图像中第一对象的目标部位替换目标图像模板中第二对象的相应部位，其中，图像处理模型包括编码器和解码器。解码器是与用于替换“单一待替换脸部”的单一目标脸部一一对应。其中，单一待替换脸部可以理解为：原始图像集中的待替换脸部A，目标脸部B，将原始图像集中的待替换脸部替换为与待替换脸部具有相同风格特征的目标脸部，待替换脸部A具有目标脸部B的风格特征。因此单一图像处理模型中解码器的数量取决于单一图像处理模型需要处理的不同单一目标脸部(例如不同人脸)的数量。例如当单一图像处理模型需要将视频中的单一待替换脸部替换为2个不同的目标人脸时，单一图像处理模型中需要对应2个不同的目标人脸设置解码器。

图4为本申请相关技术中通过图像处理模型进行换脸的原理示意图，编码器和解码器被训练完成后，编码器从原始图像集的待替换人脸中提取风格特征(也就是对待替换人脸进行编码)，风格特征被输入解码器进行解码，这个解码的过程是一种人脸转换，形成新的换脸图像中包括目标人脸的五官和待替换人脸的风格，例如表情及神态。上述的对象可以是任意具有五官的生物(包括人和动物)，以人脸为例，继续对本申请实施例提供的图像处理方法进行说明。

进一步地，图3和图4所示的“换脸”过程，是基于机器学习方式定位人脸关键点将用户人脸做表情迁移到目标脸上。使生成的图片同时具备用户与特定形象的外貌特征。具体来说可以在编码器和解码器被训练完成后，编码器从原始图像集的待替换人脸中提取风格特征(也就是对待替换人脸进行编码)，风格特征被输入解码器进行解码，这个解码的过程是一种人脸转换，形成新的换脸图像中包括目标人脸的五官和待替换人脸的风格，例如表情及神态。

但是参考图5，图5为本申请实施例中相关技术的换脸效果示意图，具体来说，相关技术的缺陷在于表情迁移的换脸方案容易导致目标用户人脸(所要替换的脸部)发生较大形变，新合成的人脸看起来与待替换人脸存在较大的差距。另外，新生成的人脸也没有保留用户原来的发型，降低了识别度，例如图5中左侧男生的脸套上了中间女生发型，使得换脸后的右侧图像失真，影响用户的使用体验。

为了解决此类问题，本申请实施例提供的图像处理方法一个可选的流程示意图，如图6所示，该方法可以应用于终端图像处理领域，通过图像处理进程或者图像处理小程序实现对不同图像间两个对象间的目标部位的替换，其中，图6示的步骤可以由运行图像处理装置的各种电子设备执行，例如可以是如带有图像处理功能的专用终端、服务器或者服务器集群。下面针对图6示出的步骤进行说明。

步骤601：图像处理装置在视图界面中呈现图像变换功能项。

其中，所述图像变换功能项，用于实现待处理图像中第一对象的目标部位替换目标图像模板中第二对象的相应部位。

其中，在本申请的一些实施例中，终端设置有应用客户端，如视频应用客户端、新闻应用客户端、即时通讯客户端等，终端可以通过应用客户端呈现经过换脸处理的新图像，通过待处理图像与图像模板中的目标图像进行换脸处理，可以由即时通讯客户端中的小程序执行，相应的，经过即时通讯客户端中的小程序生成的对应目标图像模板的目标图像也可以保存在用户的终端存储介质中。

步骤602：图像处理装置响应于针对所述图像变换功能项的触发操作，获取并呈现包含第一对象的待处理图像。

在本申请的一些实施例中，成并呈现对应目标图像模板的目标图像之前，还可以执行如下操作：

呈现图像模板选择界面，并在所述图像模板选择界面中呈现至少一个图像模板；响应于基于所述图像模板选择界面触发的图像模板的选择操作，将所述选择操作对应的图像模板作为所述目标图像模板。其中，参考图7A，图7A为本申请实施例提供的图像处理界面的示意图，当用户通过图形处理功能的APP对待处理图像进行换脸操作时，图像处理APP可以在图像模板选择界面中向用户提供不同的图像模板，这些图像模板具有不同的显示风格，在一些实施例中，图像模板的选择操作可通过针对图像模板选择界面的触发操作而触发，如获取用户针对播放的视频内容的鼠标点击操作或屏幕的触摸操作。在一些实例中，图像模板的选择操作还可通过终端上设置的选择快捷键触发，如获取用户针对键盘上的Print Screen键的点击操作；或通过获取用户针对如移动手机、平板电脑等移动智能设备上的图像模板的选择操作快捷键的点击操作。

步骤603：图像处理装置响应于基于所述待处理图像触发的变换确定操作，生成并呈现目标图像模板的目标图像。

其中，所述目标图像模板的目标图像，为利用所述待处理图像中第一对象的目标部位，替换所述目标图像模板中第二对象的相应部位所生成的图像。

具体来说，在本申请的一些实施例中，参考图7B，图7B为本申请实施例提供的图像处理界面的示意图，其中，用户可以通过终端所输入不同的待替换图像并选择相应的目标图像模板。其中，待替换图像的数量和目标图像模板的数量均可以通过用户终端进行调整，例如：每一个待处理图像均分别对应着一个目标图像模板，或者，所有待处理图像均对应着同一个目标图像模板，M*N组的待替换图像和目标图像模板的处理，其中，M和N的取值可以根据不同的使用需求进行调整。如图7B所示，通过本申请所提供的图像处理方法可以利用用户所输入的3个待处理图像中第一对象A/B/C的目标部位，替换所分别对应的3个目标图像模板中第二对象A1/B1/C1的相应部位，生成并呈现替换目标图像模板中第二对象A1/B1/C1的相应部位所生成的图像。

在本申请的一些实施例中，还可以响应于针对所述图像分享功能项的触发操作，分享所述目标图像。其中，图像分享功能项可以关联默认的分享路径，例如分享至即时通信软件或社交软件的功能项，也可以响应于对所述图像分享功能项的触发，呈现包含至少两个分享路径选择项的分享界面，响应于基于分享界面触发的分享路径选择操作，通过所选择的分享路径分享所述目标图像至不同的社交应用进程或者图像截取应用进程，进行生成的新图像的分享或截取。

在本申请的一些实施例中，生成并呈现对应目标图像模板的目标图像，包括：

触发图像处理模型，并通过所述图像处理模型获取所述待处理图像中第一对象的目标部位所对应的第一纹理特征集合；获取与所述目标图像模板中第二对象的相应部位所匹配的第二纹理特征集合；对所述第一纹理特征集合与所述第二纹理特征集合进行叠加渲染，叠加渲染后的目标图像模板中，第一纹理特征集合在所述第二对象的相应部位上覆盖所述第二纹理特征集合。其中，实施例中的图像处理模型可以使用各种现有的卷积神经网络结构(例如DenseBox、VGGNet、ResNet、SegNet等)。实践中，卷积神经网络(ConvolutionalNeural Network，CNN)是一种前馈神经网络，它的人工神经元可以响应一部分覆盖范围内的周围单元，对于图像处理有出色表现，因而，可以利用卷积神经网络对图像进行处理。卷积神经网络可以包含卷积层、池化层、特征融合层、全连接层等。其中，卷积层可以用于提取图像特征。池化层可以用于对输入的信息进行降采样(downsample)。特征融合层可以用于将所得到的各帧对应的图像特征(例如，可以是特征向量的形式)进行融合。例如，可以将不同图像对应的特征向量或者特征矩阵中的相同位置的特征值取平均，以进行特征融合，生成一个融合后的特征向量或者特征矩阵。全连接层可以用于将所得到的特征进行进一步处理，处理后所输出的向量即为待处理图像相对应的特征向量。

其中，参考图8和图9，图8为本申请实施例中图像处理模型的神经网络处理图像示意图，图9为本申请实施例中图像处理模型的神经网络降低图像层级示意图，在本申请的一些实施例中，图像处理模型的神经网络可以为卷积神经网络，通过大数据训练样本来标定待处理图像或者目标图像所示的身体中人脸和发型区域。

其中，卷积神经网络一般由三个部分组成：卷积层负责提取图像中的局部特征；池化层用来大幅降低参数量级(实现降维)；全连接层用来输出图像处理模型的处理结果。

卷积层的运算过程中，通过卷积层的卷积核的过滤，可以提取出图片中局部的特征，池化层相比卷积层可以更有效的降低数据维度，可以大大减少运算量。

参考图10和图11，图10为本申请实施例中图像处理模型的神经网络处理图像的示意图，图11为本申请实施例中图像处理模型的神经网络的图像分割效果示意图，具体来说，

在复杂的视频帧图像中还需要对视频帧图像进行分割，在本申请的一些实施例中，对于图像分割问题一种可行的架构可以使用图10所示的SegNet网络，将目标对象的身体分割为不同的部位，当然在对待处理图像进行识别与处理的过程中，封装于小程序进程中的图像处理装置还可以通过深度学习图像分割网络对用户选定的待处理图像或者图像模板中的不同对象进行检测，以分割这些对象中的不同部位。其中，在图像分割识别对象的不同部位时还可以使用以下至少一项：目标检测算法(SSD Single Shot Multi BoxDetector)，R-CNN算法(Region-Convolutional Neural Networks)；FastR-CNN算法(FastRegion-Convolutional Neural Networks)，SPP-NET算法(Spatial PyramidPoolingNetwork)，YOLO算法(You Only Look Once)，FPN算法(Feature Pyramid Networks)，可变卷积算法DCN(Deformable ConvNets)。

参考图11，当用户触发换脸功能的小程序时，对于视图界面中所呈现的待处理图像A，通过换脸功能小程序SegNet网络，将目标对象的身体分割为不同的部位，如图像B，实现将目标对象的身体分割为手臂、躯干、颈部、脸部以及发型，并通过不同的图像阴影进行表示，最后如图像C通过用户的选择指令，选择需要替换的脸部作为待处理图像中的第一对象的目标部位，需要说明的是，当用户触发换脸功能的小程序时，还可以根据图像B所示的目标对象的不同部位识别结果，替换第一对象其他地身体部位，并不仅局限于目标部位为脸部。

参考图12，图12为本申请实施例中图像处理模型的神经网络的图像分割效果示意图，继续以卷积神经网络为例，通过图像处理模型的卷积神经网络，对目标图像进行处理，当所述目标部位为脸部时，调整所述第一纹理特征集合与所述第二纹理特征集合叠加渲染的色彩模式，所述待处理图像中第一对象的脸部与所述目标图像模板中第二对象的色彩相匹配；或者，当所述目标部位为发型部位时(例如图11所示的区域a为第一对象的发型作为目标部位，图12中所示区域b为第二对象的发型作为目标部位)，调整所述第一纹理特征集合与所述第二纹理特征集合叠加渲染的边距模式，使得所述待处理图像中第一对象的发型部位与所述目标图像模板中第二对象的面部特征相适配。其中，通过人工智能技术训练的图像处理模型对目标对象进行换脸的过程中，但由于目标图像色彩变化多样，容易导致目标用户所要替换的脸部的颜色和发型轮廓发生较大形变，新合成人脸与待替换人脸存在较大的差距，降低了图像的辨识度。因此，通过调整第一纹理特征集合与第二纹理特征集合叠加渲染的色彩模式，实现第一对象的脸部与目标图像模板中第二对象的色彩相匹配，可以避免所生成的新图像的脸部颜色，与目标图像模板的差异过大造成失真。

进一步地，由于不同的用户在实现换脸功能时的需求不同，例如可以希望待处理图像中第一对象的脸部与所述目标图像模板中第二对象整体色彩相匹配，保持图像的整体柔和性，也可以希望待处理图像中第一对象的脸部与所述目标图像模板中第二对象的脸部色彩相匹配，以增加换脸功能的趣味性，因此，在本申请的一些实施例中，当所述目标部位为脸部时，可以根据用户的选择指令调整第一纹理特征集合与所第二纹理特征集合叠加渲染的色彩模式，使得待处理图像中第一对象的脸部与目标图像模板中第二对象的脸部色彩相匹配。

进一步地，参考图13，图13为本申请实施例中图像处理模型的神经网络的图像分割效果示意图，继续以卷积神经网络为例，当待处理图像中的第一对象为女生(目标部位为长发)，目标图像模板中第二对象为男生(相应的部位为短发)，通过调整第一纹理特征集合与第二纹理特征集合叠加渲染的边距模式，使得待处理图像中第一对象的发型部位与目标图像模板中第二对象的面部特征相适配，避免在换脸过程中由于第一对象和第二对象的发型不一致所造成的换脸结果失真。

具体来说，可以待处理图像建立纹理a，识别待处理图像脸A中的发型和人脸区域，并通过抠图建立纹理a1，基于相应的灰度值表示所确定的纹理信息。进一步地，目标图像模板对应的服务器中保存有不同的模板信息，用户可以根据自身的喜好选择不同的目标图像模板，确定所要替换的人物的脸部，并根据目标图像模板建立纹理b，识别模板图像中脸B的发型和人脸区域，并通过抠图建立纹理b1。其中，在执行本申请所提供的图像处理方法的过程中，由于图像中物体表面的物理属性的多样性而造成的，物理属性不同表示某个特定表面特征的灰度或者颜色信息不同，不同的物理表面会产生不同的纹理图像，因此通过抠图建立相应图像的纹理可以准确地对目标部位进行表示。进一步地，还可以采用不同的人脸识别算法对待处理图像中的人脸区域进行检测，例如：监督下降方法(SDM SupervisedDescent Method)，实现对待处理图像中人脸区域进行补充检测，进而提高对待处理图像中人脸区域检测的准确度。

继续参考图14，图14为本申请实施例中图像处理的效果示意图，以上四个纹理a，a1，b，b1在OpenGL环境中叠加渲染，将纹理b1像素改成和背景颜色较为接近。变换纹理a1使得脸A位置及大小适应脸B。并将a1叠加在纹理b之上，具体参考公式1：

ResultColor.rgb＝mix(modelColor.rgb，userColor.rgb，userColor.r) 公式1

进一步地，目标脸部的五官位置及大小变换过程包括：

确定目标人脸关键点的下巴位置可作为位置偏移的基准点，偏移脸A使得和脸B下巴完全对齐。确定脸A和脸B的所有人脸关键点为最小矩形选区，选区的面积比作为缩放的比例scale。通过相应的人脸关键点也可获得人脸旋转角度roll1、roll2之差值即为需要修正的旋转角度。

在本申请的一些实施例中，还可以调整叠加纹理的RGB差值，实现换脸目标的肤色均衡。

其中，结合前序图12与图13所示的实施例，可以继续调整输纹理a1和模特脸b1的RGB差值，使得换脸结果中人像的肤色较为接近，避免色差过大造成的失真。

RGB差值修正公式参考公式2：

其中，userColor1为遍历0-255统计肤色像素累加值大于minRange时所对应的像素值；userColor2为遍历0-255统计肤色像素累加值大于maxRange时所对应的像素值；modelColor1为遍历0-255统计肤色像素累加值小于minRange时所对应的像素值；modelColor2为遍历0-255统计肤色像素累加值小于maxRange时所对应的像素值由此，参考图10和图11，通过本申请所提供的图像信息处理方法，能在保留用户人脸关键点特征及发型的情况下，不会出现人脸表情变形的情况，较好的适应模板图片的人脸肤色，换脸之后用户人脸有较高的识别度，提升用户的使用体验。

在本申请的一些实施例中，所述方法还包括：

响应于针对所述图像变换功能项的查看操作，呈现包括所述待处理图像和所述图像模板的内容页面，并在所述内容页面中呈现至少一个互动功能项，所述互动功能项用于实现与所述待处理图像的互动；接收基于所述互动功能项触发的针对所述待处理图像的互动操作，以执行相应的互动指令。其中，图15为本申请实施例提供的图像处理界面的示意图，当用户触发换脸功能的进程后，响应于针对图像变换功能项的查看操作，呈现包括待处理图像和图像模板的内容页面，由于待处理图像是在用户终端的已有图库信息中所筛选的，不能够适应用户的实时需要，因此，在内容页面中呈现至少一个互动功能项，接收基于互动功能项触发的针对待处理图像的互动操作，执行相应的互动指令，可以切换至用户终端的拍摄进程，实现对用户实时图像的采集，根据用户的实时环境采集待处理图像中的第一对象。通过本实施例所示的互动指令实现人脸图像数据的获取，可以采用如下方式：采用人脸检测算法，框选目标对象的人脸位置；使用五官定位算法、标出人眼、嘴、鼻、等面部的特征点；根据检测到的人脸位置截取人脸图像，并将截取的人脸图像基于特征点(例如人眼)进行对齐，人脸图像的示例性分辨率可以为1024*1024(像素)。

在本申请的一些实施例中，所述方法还包括：

在所述内容页面中呈现第一互动提示信息，所述第一互动提示信息，用于提示所述互动操作所对应的互动内容能够呈现于所述视图界面中；响应于切换到所述视图界面的操作，切换所述内容页面至所述视图界面。其中，当用户触发换脸功能的小程序时，对于视图界面中所呈现的待处理图像不适配时，用户终端可以重新采集实时环境中的第一对象，用户通过第一互动提示信息确认终端重新采集的实时环境中的第一对象可以呈现在视图界面中，以供换脸进程使用，并切换内容页面至视图界面，由此实现根据用户的实时环境调整所要处理的第一对象，丰富用户的选择种类。

在本申请的一些实施例中，所述方法还包括：

在所述内容页面中呈现第二互动提示信息，所述第二互动提示信息，用于提示所述互动操作所对应的互动内容能够呈现于目标图像模板对应的目标图像模板库界面中；响应于切换到所述目标图像模板库界面的指令，切换所述内容页面至所述目标图像模板库界面。具体来说，参考图16，图16为本申请实施例提供的图像处理界面的示意图，由于换脸进程的目标图像模板库中的不同目标图像模板均为经过预先处理，确定不同目标部位相对应的纹理特征集合，模板的种类是固定的，用户通过第二互动提示信息，可以确认终端重新采集的实时环境中的第二对象可以呈现在目标图像模板库界面中，以根据用户实时环境的不同，由用户自行配置目标图像模板库中的图像模板。

本申请实施例通过在视图界面中呈现图像变换功能项；响应于针对所述图像变换功能项的触发操作，获取并呈现包含所述第一对象的待处理图像；响应于基于所述待处理图像触发的变换确定操作，生成并呈现目标图像模板的目标图像，其中，所述目标图像模板的目标图像，为利用所述待处理图像中第一对象的目标部位，替换所述目标图像模板中第二对象的相应部位所生成的图像；由此能够保留待处理图像的特征，避免经过替换的目标图像出现失真，实现对用户不同待处理图像的批量处理，同时图像处理过程降低了硬件资源的占用，减少了硬件设备成本的提升，提高用户的使用体验。

以上所述，仅为本申请的实施例而已，并非用于限定本申请的保护范围，凡在本申请的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本申请的保护范围之内。

Claims (15)

1.一种图像处理方法，其特征在于，所述方法包括：

在视图界面中呈现图像变换功能项；

响应于针对所述图像变换功能项的触发操作，获取并呈现包含第一对象的待处理图像；

响应于基于所述待处理图像触发的变换确定操作，生成并呈现目标图像模板的目标图像，其中，所述目标图像模板的目标图像，为利用所述待处理图像中第一对象的目标部位，替换所述目标图像模板中第二对象的相应部位所生成的图像。

2.根据权利要求1所述的方法，其特征在于，所述方法包括：

呈现图像模板选择界面，并在所述图像模板选择界面中呈现至少一个图像模板；

响应于基于所述图像模板选择界面触发的图像模板的选择操作，将所述选择操作对应的图像模板作为所述目标图像模板。

3.根据权利要求1所述的方法，其特征在于，所述生成并呈现目标图像模板的目标图像之后，所述方法包括：

呈现图像模板切换界面，并在所述图像模板切换界面中呈现至少一个待切换图像模板；

响应于基于所述图像模板切换界面触发的模板切换操作，呈现所述模板切换操作所指示的图像模板中的图像；

其中，所述图像通过以下方法生成：利用所述待处理图像中第一对象的目标部位，替换所述模板切换操作所指示的图像模板中第二对象的相应部位所生成。

4.根据权利要求3所述的方法，其特征在于，所述方法还包括：

在所述图像模板切换界面中，标记所述模板切换操作所指示的图像模板。

5.根据权利要求1所述的方法，其特征在于，所述方法还包括：

呈现用于分享所述目标图像的图像分享功能项；

响应于针对所述图像分享功能项的触发操作，分享所述目标图像。

6.根据权利要求1所述的方法，其特征在于，所述生成并呈现目标图像模板的目标图像，包括：

触发图像处理模型，并通过所述图像处理模型获取所述待处理图像中第一对象的目标部位所对应的第一纹理特征集合；

获取与所述目标图像模板中第二对象的相应部位所匹配的第二纹理特征集合，该第二对象的相应部位与所述第一对象的目标部位相对应；

对所述第一纹理特征集合与所述第二纹理特征集合进行叠加渲染，叠加渲染后的目标图像模板中，第一纹理特征集合在所述第二对象的相应部位上覆盖了所述第二纹理特征集合。

7.根据权利要求6所述的方法，其特征在于，所述方法还包括：

当所述目标部位为脸部时，调整所述第一纹理特征集合与所述第二纹理特征集合叠加渲染的色彩模式，使得所述待处理图像中第一对象的脸部与所述目标图像模板中第二对象的色彩相匹配；或者，

当所述目标部位为发型部位时，调整所述第一纹理特征集合与所述第二纹理特征集合叠加渲染的边距模式，使得所述待处理图像中第一对象的发型部位与所述目标图像模板中第二对象的面部特征相适配。

8.根据权利要求1所述的方法，其特征在于，所述方法还包括：

响应于针对所述图像变换功能项的查看操作，呈现包括所述待处理图像和所述图像模板的内容页面，并在所述内容页面中呈现至少一个互动功能项，所述互动功能项用于实现与所述待处理图像的互动；

接收基于所述互动功能项触发的针对所述待处理图像的互动操作，以执行相应的互动指令。

9.根据权利要求8所述的方法，其特征在于，所述方法还包括：

在所述内容页面中呈现第一互动提示信息，所述第一互动提示信息，用于提示所述互动操作所对应的互动内容能够呈现于所述视图界面中；

响应于切换到所述视图界面的操作，将内容页面切换至所述视图界面。

10.根据权利要求8所述的方法，其特征在于，所述方法还包括：

在所述内容页面中呈现第二互动提示信息，所述第二互动提示信息，用于提示所述互动操作所对应的互动内容能够呈现于目标图像模板对应的目标图像模板库界面中；

响应于切换到所述目标图像模板库界面的指令，将所述内容页面切换至所述目标图像模板库界面。

11.一种图像处理装置，其特征在于，所述装置包括：

信息显示模块，用于在视图界面中呈现图像变换功能项；

信息传输模块，用于响应于针对所述图像变换功能项的触发操作，获取并呈现包含第一对象的待处理图像；

所述信息显示模块，用于响应于基于所述待处理图像触发的变换确定操作，生成并呈现目标图像模板的目标图像；其中，所述目标图像模板的目标图像，为利用所述待处理图像中第一对象的目标部位，替换所述目标图像模板中第二对象的相应部位所生成的图像。

12.根据权利要求11所述的装置，其特征在于，

所述信息显示模块，用于呈现图像模板选择界面，并在所述图像模板选择界面中呈现至少一个图像模板；

所述信息显示模块，用于响应于基于所述图像模板选择界面触发的图像模板的选择操作，将所述选择操作对应的图像模板作为所述目标图像模板。

13.根据权利要求11所述的装置，其特征在于，

所述信息显示模块，用于呈现图像模板切换界面，并在所述图像模板切换界面中呈现至少一个待切换图像模板；

所述信息显示模块，用于响应于基于所述图像模板切换界面触发的模板切换操作，呈现所述模板切换操作所指示的图像模板中的图像；

其中，所述图像通过以下方法生成：利用所述待处理图像中第一对象的目标部位，替换所述模板切换操作所指示的图像模板中第二对象的相应部位所生成。

14.一种电子设备，其特征在于，所述电子设备包括：

存储器，用于存储可执行指令；

处理器，用于运行所述存储器存储的可执行指令时，实现权利要求1至10任一项所述的图像处理方法。

15.一种计算机可读存储介质，存储有可执行指令，其特征在于，所述可执行指令被处理器执行时实现权利要求1至10任一项所述的图像处理方法。

Images