CN114037692A - 图像处理方法、移动终端及存储介质 - Google Patents

Abstract

本申请提供了一种图像处理方法、移动终端及存储介质，所述图像处理方法包括：获取目标图像上至少一个第一区域对应的至少一个第一风格图像，和/或，至少一个第二区域对应的至少一个第二风格图像；将所述至少一个第一风格图像和/或所述至少一个第二风格图像进行图像融合，以得到所述目标图像对应的风格图像。本申请通过对目标图像进行分区域的风格调整，能够做到全局性的图像风格调整，提高了图像处理的有效性和准确率。

Description

图像处理方法、移动终端及存储介质

技术领域

本申请涉及图像处理技术领域，具体涉及一种图像处理方法、移动终端及存储介质。

背景技术

随着计算机技术的发展，越来越多的用户喜欢对拍摄图像进行后期的风格调整。比如，将带有人物头像的图像调整为动漫化的图像。

在构思及实现本申请过程中，发明人发现至少存在如下问题：由于图像中可能包括人物头像和背景，在进行风格调整时，由于背景相对于人物头像复杂得多，若直接采用风格迁移的方式对背景进行风格调整，则调整后的图像会存在严重的违和感，影响用户体验。

前面的叙述在于提供一般的背景信息，并不一定构成现有技术。

发明内容

针对上述技术问题，本申请提供一种图像处理方法方法、移动终端及存储介质，通过对目标图像进行分区域的风格调整，能够做到全局性的图像风格调整，提高了图像处理的有效性和准确率。

为解决上述技术问题，本申请提供一种图像处理方法，包括：

获取目标图像上至少一个第一区域对应的至少一个第一风格图像，和/或，至少一个第二区域对应的至少一个第二风格图像；

将所述至少一个第一风格图像和/或所述至少一个第二风格图像进行图像融合，以得到所述目标图像对应的风格图像。

可选地，获取目标图像上至少一个第一区域对应的至少一个第一风格图像，和/或，至少一个第二区域对应的至少一个第二风格图像的步骤，包括：

根据第一风格模型获取至少一个所述第一区域对应的至少一个所述第一风格图像；和/或，

根据第二风格模型获取至少一个所述第二区域对应的至少一个所述第二风格图像。

可选地，所述根据第一风格模型获取至少一个所述第一区域对应的至少一个所述第一风格图像的步骤，包括：

提取至少一个所述第一区域对应的第一特征信息，并将所述第一特征信息输入风格图像生成模型，以确定或生成至少一个所述第一风格图像。

可选地，所述根据第二风格模型获取至少一个所述第二区域对应的至少一个所述第二风格图像的步骤，包括：

获取所述目标图像中第二区域的图像类型；

提取至少一个所述第二区域对应的第二特征信息；

根据所述第二特征信息从背景图像库中获取与所述第二区域的图像类型相同的第二风格图像。

可选地，所述根据所述第二特征信息从背景图像库中获取与所述第二区域的图像类型相同的第二风格图像的步骤，包括：

从所述背景图像库中获取与所述第二区域的图像类型相同的风格图像；

将所述第二特征信息与所述风格图像的特征信息进行匹配；

根据所述第二特征信息与所述风格图像的特征信息之间的相似度确定或生成所述第二区域所对应的所述第二风格图像。

可选地，所述根据所述第二特征信息从所述背景图像库中获取与所述第二区域的图像类型相同的第二风格图像的步骤之后，所述方法还包括：

获取所述第二区域的场景特征的关键点信息；

根据所述关键点信息对获取的所述第二风格图像进行调整。

可选地，所述目标图像包括前景对象和背景区域；

所述获取目标图像上至少一个第一区域对应的至少一个第一风格图像，和/或，至少一个第二区域对应的至少一个第二风格图像的步骤，包括：

对所述目标图像的前景对象和背景区域进行分割，以得到所述至少一个第一区域和/或所述至少一个第二区域；

对所述至少一个第一区域和/或所述至少一个第二区域进行图像风格转换，以获得至少一个所述第一风格图像和/或至少一个所述第二风格图像。

可选地，所述获取目标图像上至少一个第一区域对应的至少一个第一风格图像，和/或，至少一个第二区域对应的至少一个第二风格图像的步骤之前，所述方法还包括：

检测所述目标图像中是否存在前景对象；

若是，则执行所述获取目标图像上至少一个第一区域对应的至少一个第一风格图像，和/或，至少一个第二区域对应的至少一个第二风格图像的步骤；和/或，若否，则输出提示信息。

可选地，在获取目标图像上至少一个第一区域对应的至少一个第一风格图像，和/或，至少一个第二区域对应的至少一个第二风格图像的步骤之后，所述方法还包括：

对所述第一风格图像和所述第二风格图像进行预设处理。

可选地，所述预设处理包括以下至少一种：图像参数同一性调整、清晰度调整、旋转处理和图像增强处理。

可选地，在获取目标图像上至少一个第一区域对应的至少一个第一风格图像，和/或，至少一个第二区域对应的至少一个第二风格图像的步骤之后，所述方法还包括：

将所述第一风格图像，和/或所述第二风格图像转换为与所述第一区域和/或所述第二区域大小相等的图像；和/或，

根据第一风格图像或第二风格图像的大小以及所述第一区域和第二区域之间的比例关系对所述第二风格图像或所述第一风格图像进行调整。

可选地，将所述至少一个第一风格图像和/或所述至少一个第二风格图像进行图像融合，以得到所述目标图像对应的风格图像的步骤，包括：

根据所述目标图像中第一区域和第二区域的位置关系和/或所述第一区域和第二区域的比例关系，将所述第一风格图像与所述第二风格图像进行融合，以得到所述目标图像对应的风格图像。

本申请还提供一种移动终端，包括：存储器、处理器，其中，所述存储器上存储有图像处理程序，所述图像处理程序被所述处理器执行时实现如上任一所述图像处理方法的步骤。

本申请还提供一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上任一所述图像处理方法的步骤。

如上所述，本申请的图像处理方法，分别获取目标图像上的第一区域(如，前景对象)进行图像风格转换后的第一风格图像，和目标图像上的第二区域(如，背景区域)进行图像风格转换后的第二风格图像，然后将第一风格图像和第二风格图像进行融合，得到风格化后的整体目标图像。通过上述方式，可以将目标图像整体进行风格化，避免了背景区域和前景对象采用同一种风格进行风格转换后，背景区域所造成的违和感，达成前景对象和背景区域画风统一的风格化效果。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。为了更清楚地说明本申请实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为实现本申请各个实施例的一种移动终端的硬件结构示意图；

图2为本申请实施例提供的一种通信网络系统架构图；

图3是根据第一实施例示出的图像处理方法的流程示意图；

图4是根据第二实施例示出的图像处理方法的流程示意图；

图5是根据第三实施例示出的图像处理方法的流程示意图；

图6是根据本申请一实施例示出的目标图像分割示意图；

图7是根据本申请一实施例示出的目标图像动漫化示意图。

本申请目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。通过上述附图，已示出本申请明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本申请构思的范围，而是通过参考特定实施例为本领域技术人员说明本申请的概念。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素，可选地，本申请不同实施例中具有同样命名的部件、特征、要素可能具有相同含义，也可能具有不同含义，其具体含义需以其在该具体实施例中的解释或者进一步结合该具体实施例中上下文进行确定。

应当理解，尽管在本文可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本文范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语＂如果＂可以被解释成为＂在……时＂或＂当……时＂或＂响应于确定＂。再者，如同在本文中所使用的，单数形式“一”、“一个”和“该”旨在也包括复数形式，除非上下文中有相反的指示。应当进一步理解，术语“包含”、“包括”表明存在所述的特征、步骤、操作、元件、组件、项目、种类、和/或组，但不排除一个或多个其他特征、步骤、操作、元件、组件、项目、种类、和/或组的存在、出现或添加。本申请使用的术语“或”、“和/或”、“包括以下至少一个”等可被解释为包括性的，或意味着任一个或任何组合。例如，“包括以下至少一个：A、B、C”意味着“以下任一个：A；B；C；A和B；A和C；B和C；A和B和C”，再如，“A、B或C”或者“A、B和/或C”意味着“以下任一个：A；B；C；A和B；A和C；B和C；A和B和C”。仅当元件、功能、步骤或操作的组合在某些方式下内在地互相排斥时，才会出现该定义的例外。

应该理解的是，虽然本申请实施例中的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

取决于语境，如在此所使用的词语“如果”、“若”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于检测”。类似地，取决于语境，短语“如果确定”或“如果检测(陈述的条件或事件)”可以被解释成为“当确定时”或“响应于确定”或“当检测(陈述的条件或事件)时”或“响应于检测(陈述的条件或事件)”。

需要说明的是，在本文中，采用了诸如S11、S12等步骤代号，其目的是为了更清楚简要地表述相应内容，不构成顺序上的实质性限制，本领域技术人员在具体实施时，可能会先执行S12后执行S11等，但这些均应在本申请的保护范围之内。

应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

在后续的描述中，使用用于表示元件的诸如“模块”、“部件”或者“单元”的后缀仅为了有利于本申请的说明，其本身没有特定的意义。因此，“模块”、“部件”或者“单元”可以混合地使用。

移动终端可以以各种形式来实施。例如，本申请中描述的移动终端可以包括诸如手机、平板电脑、笔记本电脑、掌上电脑、个人数字助理(Personal Digital Assistant，PDA)、便捷式媒体播放器(Portable Media Player，PMP)、导航装置、可穿戴设备、智能手环、计步器等移动终端，以及诸如数字TV、台式计算机等固定终端。

后续描述中将以移动终端为例进行说明，本领域技术人员将理解的是，除了特别用于移动目的的元件之外，根据本申请的实施方式的构造也能够应用于固定类型的终端。

请参阅图1，其为实现本申请各个实施例的一种移动终端的硬件结构示意图，该移动终端100可以包括：RF(Radio Frequency，射频)单元101、WiFi模块102、音频输出单元103、A/V(音频/视频)输入单元104、传感器105、显示单元106、用户输入单元107、接口单元108、存储器109、处理器110、以及电源111等部件。本领域技术人员可以理解，图1中示出的移动终端结构并不构成对移动终端的限定，移动终端可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

下面结合图1对移动终端的各个部件进行具体的介绍：

射频单元101可用于收发信息或通话过程中，信号的接收和发送，具体的，将基站的下行信息接收后，给处理器110处理；另外，将上行的数据发送给基站。通常，射频单元101包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器、双工器等。此外，射频单元101还可以通过无线通信与网络和其他设备通信。上述无线通信可以使用任一通信标准或协议，包括但不限于GSM(Global System of Mobile communication，全球移动通讯系统)、GPRS(General Packet Radio Service，通用分组无线服务)、CDMA2000(CodeDivision Multiple Access 2000，码分多址2000)、WCDMA(Wideband Code DivisionMultiple Access，宽带码分多址)、TD－SCDMA(Time Division－Synchronous CodeDivision Multiple Access，时分同步码分多址)、FDD－LTE(Frequency DivisionDuplexing－Long Term Evolution，频分双工长期演进)、TDD－LTE(Time DivisionDuplexing－Long Term Evolution，分时双工长期演进)和5G等。

WiFi属于短距离无线传输技术，移动终端通过WiFi模块102可以帮助用户收发电子邮件、浏览网页和访问流式媒体等，它为用户提供了无线的宽带互联网访问。虽然图1示出了WiFi模块102，但是可以理解的是，其并不属于移动终端的必须构成，完全可以根据需要在不改变发明的本质的范围内而省略。

音频输出单元103可以在移动终端100处于呼叫信号接收模式、通话模式、记录模式、语音识别模式、广播接收模式等等模式下时，将射频单元101或WiFi模块102接收的或者在存储器109中存储的音频数据转换成音频信号并且输出为声音。而且，音频输出单元103还可以提供与移动终端100执行的特定功能相关的音频输出(例如，呼叫信号接收声音、消息接收声音等等)。音频输出单元103可以包括扬声器、蜂鸣器等等。

A/V输入单元104用于接收音频或视频信号。A/V输入单元104可以包括图形处理器(Graphics Processing Unit，GPU)1041和麦克风1042，图形处理器1041对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频的图像数据进行处理。处理后的图像帧可以显示在显示单元106上。经图形处理器1041处理后的图像帧可以存储在存储器109(或其它存储介质)中或者经由射频单元101或WiFi模块102进行发送。麦克风1042可以在电话通话模式、记录模式、语音识别模式等等运行模式中经由麦克风1042接收声音(音频数据)，并且能够将这样的声音处理为音频数据。处理后的音频(语音)数据可以在电话通话模式的情况下转换为可经由射频单元101发送到移动通信基站的格式输出。麦克风1042可以实施各种类型的噪声消除(或抑制)算法以消除(或抑制)在接收和发送音频信号的过程中产生的噪声或者干扰。

移动终端100还包括至少一种传感器105，比如光传感器、运动传感器以及其他传感器。可选地，光传感器包括环境光传感器及接近传感器，可选地，环境光传感器可根据环境光线的明暗来调节显示面板1061的亮度，接近传感器可在移动终端100移动到耳边时，关闭显示面板1061和/或背光。作为运动传感器的一种，加速计传感器可检测各个方向上(一般为三轴)加速度的大小，静止时可检测出重力的大小及方向，可用于识别手机姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等；至于手机还可配置的指纹传感器、压力传感器、虹膜传感器、分子传感器、陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器，在此不再赘述。

显示单元106用于显示由用户输入的信息或提供给用户的信息。显示单元106可包括显示面板1061，可以采用液晶显示器(Liquid Crystal Display，LCD)、有机发光二极管(Organic Light－Emitting Diode，OLED)等形式来配置显示面板1061。

用户输入单元107可用于接收输入的数字或字符信息，以及产生与移动终端的用户设置以及功能控制有关的键信号输入。可选地，用户输入单元107可包括触控面板1071以及其他输入设备1072。触控面板1071，也称为触摸屏，可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板1071上或在触控面板1071附近的操作)，并根据预先设定的程式驱动相应的连接装置。触控面板1071可包括触摸检测装置和触摸控制器两个部分。可选地，触摸检测装置检测用户的触摸方位，并检测触摸操作带来的信号，将信号传送给触摸控制器；触摸控制器从触摸检测装置上接收触摸信息，并将它转换成触点坐标，再送给处理器110，并能接收处理器110发来的命令并加以执行。此外，可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板1071。除了触控面板1071，用户输入单元107还可以包括其他输入设备1072。可选地，其他输入设备1072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种，具体此处不做限定。

可选地，触控面板1071可覆盖显示面板1061，当触控面板1071检测到在其上或附近的触摸操作后，传送给处理器110以确定触摸事件的类型，随后处理器110根据触摸事件的类型在显示面板1061上提供相应的视觉输出。虽然在图1中，触控面板1071与显示面板1061是作为两个独立的部件来实现移动终端的输入和输出功能，但是在某些实施例中，可以将触控面板1071与显示面板1061集成而实现移动终端的输入和输出功能，具体此处不做限定。

接口单元108用作至少一个外部装置与移动终端100连接可以通过的接口。例如，外部装置可以包括有线或无线头戴式耳机端口、外部电源(或电池充电器)端口、有线或无线数据端口、存储卡端口、用于连接具有识别模块的装置的端口、音频输入/输出(I/O)端口、视频I/O端口、耳机端口等等。接口单元108可以用于接收来自外部装置的输入(例如，数据信息、电力等等)并且将接收到的输入传输到移动终端100内的一个或多个元件或者可以用于在移动终端100和外部装置之间传输数据。

存储器109可用于存储软件程序以及各种数据。存储器109可主要包括存储程序区和存储数据区，可选地，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器109可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

处理器110是移动终端的控制中心，利用各种接口和线路连接整个移动终端的各个部分，通过运行或执行存储在存储器109内的软件程序和/或模块，以及调用存储在存储器109内的数据，执行移动终端的各种功能和处理数据，从而对移动终端进行整体监控。处理器110可包括一个或多个处理单元；优选的，处理器110可集成应用处理器和调制解调处理器，可选地，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器110中。

移动终端100还可以包括给各个部件供电的电源111(比如电池)，优选的，电源111可以通过电源管理系统与处理器110逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。

尽管图1未示出，移动终端100还可以包括蓝牙模块等，在此不再赘述。

为了便于理解本申请实施例，下面对本申请的移动终端所基于的通信网络系统进行描述。

请参阅图2，图2为本申请实施例提供的一种通信网络系统架构图，该通信网络系统为通用移动通信技术的LTE系统，该LTE系统包括依次通讯连接的UE(User Equipment，用户设备)201，E－UTRAN(Evolved UMTS Terrestrial Radio Access Network，演进式UMTS陆地无线接入网)202，EPC(Evolved Packet Core，演进式分组核心网)203和运营商的IP业务204。

可选地，UE201可以是上述终端100，此处不再赘述。

E－UTRAN202包括eNodeB2021和其它eNodeB2022等。可选地，eNodeB2021可以通过回程(backhaul)(例如X2接口)与其它eNodeB2022连接，eNodeB2021连接到EPC203，eNodeB2021可以提供UE201到EPC203的接入。

EPC203可以包括MME(Mobility Management Entity，移动性管理实体)2031，HSS(Home Subscriber Server，归属用户服务器)2032，其它MME2033，SGW(Serving Gate Way，服务网关)2034，PGW(PDN Gate Way，分组数据网络网关)2035和PCRF(Policy andCharging Rules Function，政策和资费功能实体)2036等。可选地，MME2031是处理UE201和EPC203之间信令的控制节点，提供承载和连接管理。HSS2032用于提供一些寄存器来管理诸如归属位置寄存器(图中未示)之类的功能，并且保存有一些有关服务特征、数据速率等用户专用的信息。所有用户数据都可以通过SGW2034进行发送，PGW2035可以提供UE 201的IP地址分配以及其它功能，PCRF2036是业务数据流和IP承载资源的策略与计费控制策略决策点，它为策略与计费执行功能单元(图中未示)选择及提供可用的策略和计费控制决策。

IP业务204可以包括因特网、内联网、IMS(IP Multimedia Subsystem，IP多媒体子系统)或其它IP业务等。

虽然上述以LTE系统为例进行了介绍，但本领域技术人员应当知晓，本申请不仅仅适用于LTE系统，也可以适用于其他无线通信系统，例如GSM、CDMA2000、WCDMA、TD－SCDMA以及未来新的网络系统(如5G)等，此处不做限定。

基于上述移动终端硬件结构以及通信网络系统，提出本申请各个实施例。

第一实施例

请参阅图3、图6和图7，图3是根据第一实施例示出的图像处理方法的流程示意图。图6是根据本申请一实施例示出的目标图像分割示意图，图7是根据本申请一实施例示出的目标图像动漫化示意图。

如图3所示，本实施例的图像处理方法包括以下步骤：

步骤S11：获取目标图像上至少一个第一区域对应的至少一个第一风格图像，和/或，至少一个第二区域对应的至少一个第二风格图像。

可选地，第一风格图像和第二风格图像可以不限于动漫化图像，还可以是像素化图像、线条化图像等(目标图像风格以外的其他风格)。

下面以将目标图像进行动漫化为例进行说明。

在本实施例中，第一风格图像和第二风格图像为动漫图像。目标图像可以为任意格式、任意风格的图像，在此不做限定。可选地，目标图像可以为动漫图像以外的所有图像。可选地，目标图像为终端设备拍摄的图像，或目标图像为手工绘画的图像，在此并不进行限定。

示例性地，以目标图像为手机、相机、摄像机等终端设备拍摄的照片进行说明。可选地，通过手机拍摄的人物照片，而人物照片中除了作为前景的目标人物外，还存在其他背景(如，山、水、树木和天空等)。第一区域可以为目标图像上人物图像所在区域，第二区域可以为除第一区域(目标图像中人物所在区域)以外的区域，第一区域和第二区域可以是连续的，也可以是不连续的、分开的。

在本实施方式中，将目标图像进行风格化转换可以为：将动漫化以外的图像转换为动漫化图像。

示例性地，通过对第一区域进行图像风格转换得到第一风格图像；通过对第二区域进行图像风格转换得到第二风格图像。

示例性地，目标图像中处理第一区域和第二区域外，还可以存在其他区域，可选地，在存在第三区域、第四区域等区域时，还可以对第三区域和第四区域等进行图像风格转换从而得到第三风格图像和第四风格图像，在此不进行限定。

可选地，获取目标图像上至少一个第一区域对应的至少一个第一风格图像，和/或，至少一个第二区域对应的至少一个第二风格图像的步骤，包括：

根据第一风格模型获取至少一个所述第一区域对应的至少一个所述第一风格图像；和/或，根据第二风格模型获取至少一个所述第二区域对应的至少一个所述第二风格图像。

可选地，第一风格模型和第二风格模型为两种不同的图像动漫化方法模型。例如，第一图像通过风格迁移的方式获取，第二风格图像通过从动漫图像库中搜索匹配现有动漫背景的方式获取。

示例性地，在目标图像中还存在除了第一区域和第二区域之外的其他区域，可以采用其他风格模型对该区域进行风格转换。可选地，目标图像中存在第三区域时，可以采用第三风格模型对第三区域进行动漫化。

可选地，所述目标图像包括前景对象和背景区域；所述获取目标图像上至少一个第一区域对应的至少一个第一风格图像，和/或，至少一个第二区域对应的至少一个第二风格图像的步骤，包括：对所述目标图像的前景对象和背景区域进行分割，以得到所述至少一个第一区域和/或所述至少一个第二区域；对所述至少一个第一区域，和/或所述至少一个第二区域进行图像风格转换，获取至少一个所述第一风格图像，和/或至少一个所述第二风格图像。

可选地，目标图像中第一区域为：前景对象，第二区域为：背景区域。示例性地，前景对象可以为：人、动物和车辆等等，背景区域可以为目标图像中除前景对象以外的所有图像，如天空、山、建筑、街道、湖泊和河流等等，在此并不进行限定。

请参阅图6和图7，如图6中所示，目标图像包括两个不同区域，即正常状态下的前景对象20和背景区域10(正常状态下的前景对象和背景区域表示未经图像风格转换/图像风格转换前的目标图像中各区域，可选地，终端设备拍摄的图像的区域，但本申请并不限于此)。

示例性地，在目标图像(即图6中正常图像)中存在前景对象20和背景区域10时，通过调用算法对目标图像进行实例分割，将目标图像分割为前景对象20和一个去除了前景对象20的背景区域10。可选地，一张目标图像中前景对象20可以包括至少一个，背景区域10一般来说是一个整体的只有一个，但也可以是分开的存在多个。

可选地，若在目标图像中存在多个前景对象20，且前景对象20不相连时，对各个前景对象20进行单独分割得到多个前景对象20。可选地，一张野外拍摄的照片中存在两个人，而且照片中的两个人时分开的，即照片中两个人之间存在背景区域10时，将上述两个人物单独分割出来，生成两张前景人物图像。

如图7所示，将目标图像分割为两个类型(即，两个区域：第一区域和第二区域)的图像后，再分别通过两种完全不同的风格转换方式对上述两个区域中的图像进行动漫化。图7中示出的正常前景对象包括一个边界框，但该边界框并不具备实际意义，不会对前景对象的动漫化进行限定。可选地，正常前景对象进行动漫化时，可以只对前景对象区域进行动漫化，而且不限定动漫化后的大小，只是一般情况下，动漫化后的前景对象与正常前景对象大小相同。

可选地，目标图像内容是在室外街道上拍摄的双人合照，通过将照片进行前景对象20和背景的分割。可选地，通过使用GAN网络的风格迁移方式依次对前景对象20中的两个人物进行风格迁移转换，以完成前景对象20的动漫化。再通过场景检测确定当前背景的分类是室外/街道后，在数据库中寻找街道的动漫背景的方式，对目标图像中的背景区域10进行替换，已完成目标图像中背景区域10风格化的目的。

可选地，所述根据第一风格模型获取至少一个所述第一区域对应的至少一个所述第一风格图像的步骤，包括：提取至少一个所述第一区域对应的第一特征信息，并将所述第一特征信息输入风格图像生成模型，以确定或生成至少一个所述第一风格图像。

可选地，在进行风格转换时，需要生成具有第一区域的特征信息的风格图像。

示例性地，风格图像生成模型为动漫图像生成模型，该模型通过现有图像进行训练得到的。

示例性地，前景对象20可以通过GAN网络(Generative Adversarial Networks生成对抗网)例如，cycleGAN网络(cycle Generative Adversarial Networks循环生成对抗网络)、pix2pix(pixel to pixel：逐像素转换)等方式进行动漫化。

可选地，在前景对象20为人物时，首先需要对前景人物的人脸进行动漫化，根据前景对象20的人脸特征生成匹配的动漫图像后，再对人物的穿着衣物、人物躯体等进行动漫化处理，处理方法可以与人脸动漫化方式相同，也可以采用不同风格迁移方式进行动漫化。

示例性地，在前景对象20为人物时，通过对前景人物的人脸进行识别与检测，以得到人物表情，可选地，人物面部是为高兴，伤心，微笑，皱眉，惊讶，激动等；还可以通过前景人物的人脸确定面部特征(例如，眼睛、鼻子、嘴等)的大小和/或位置，使得人物脸部动漫化后与原有的人脸更为相似。

可选地，所述根据第二风格模型获取至少一个所述第二区域对应的至少一个所述第二风格图像的步骤，包括：获取所述目标图像中第二区域的图像类型；提取至少一个所述第二区域对应的第二特征信息；根据所述第二特征信息从背景图像库中获取与所述第二区域的图像类型相同的第二风格图像。

可选地，所述根据所述第二特征信息从背景图像库中获取与所述第二区域的图像类型相同的第二风格图像的步骤，包括：从所述背景图像库中获取与所述第二区域的图像类型相同的风格图像；将所述第二特征信息与所述风格图像的特征信息进行匹配；根据所述第二特征信息与所述风格图像的特征信息之间的相似度确定或生成所述第二区域所对应的所述第二风格图像。

可选地，所述根据所述第二特征信息从所述背景图像库中获取与所述第二区域的图像类型相同的第二风格图像的步骤之后，所述方法还包括：获取所述第二区域的场景特征的关键点信息；根据所述关键点信息对获取的所述第二风格图像进行调整。

示例性地，一张街道拍摄的双人照片中，前景对象20为照片中的人物，背景区域10为照片中的街道，该图片中第二区域(即背景区域10)的图像类型为街道。

可选地，背景区域10的图像类型由背景区域10占比最大的图像来决定。图像类型，包括：街道、房屋、天空和海洋等等。

可选地，背景图像库可以为本地数据库，可选地，终端相册，也可以是云端服务器，云端服务器中存储有各种风格类型图像，在风格转换时，先确定目标图像要转换的风格类型，然后从该风格类型图像中进行查找。可选地，云端服务器中的背景图像库也可以是单一风格类型的图像库，可选地，动漫背景图像库。

示例性地，将目标图像中背景区域10的特征信息与背景图像库中各风格图像的特征信息进行匹配，选取相似度最大的风格图像作为第二风格图像。

可选地，背景区域10的特征信息包括：属性特征和/或场景特征。根据背景区域10的属性特征和/或场景特征从所述背景图像库中查找与所述背景区域10相似度最大，或相似度超过阈值的第二风格图像。在所述背景图像库中所有的图像与目标图像中背景区域10的相似度都小于第一阈值时，可以输出提示信息，供用户选择确认替换背景图像。可选地，所述属性特征包括背景区域10的角度、参照物、主体颜色中的至少一项。

示例性地，通过对背景区域10进行识别，获取背景区域10整体的图像类型，可选地，草原、树林、街道、河流等。然后，根据获取的背景区域10整体的图像类型从背景图像库中查找具有对应特征(可选地，树木、街道、河流和房屋等)的背景图片。

示例性地，通过图像的边缘检测获取替换背景图像的特征点与目标图像中背景区域10的特征点(可选地，SURF算法、SIFT算法、ORB算法和FAST算法等)进行匹配，直接选取匹配值/相似度最高，或从超过阈值中的动漫背景中，选取匹配值最高的动漫背景作为替换背景图像。可选地，在多张街道动漫背景中，选取角度与原背景区域10相似的背景进行替换。

可选地，动漫背景区域10可以寻找到合适的背景进行自动替换，也可以由用户手动在数据库中选择合适的背景进行填充。可选地，可以设置相似度阈值，设置一个相似度下限(20％、30％)，当不满足阈值下限时，说明库中没有相似图像，这个时候可以使用传统的风格迁移方案去处理；在相似度较低时，终端或服务器在后台反馈，技术人员接收反馈信息(当前背景区域10)，然后根据反馈信息更新图像库。

可选地，在获取目标图像上至少一个第一区域对应的至少一个第一风格图像，和/或，至少一个第二区域对应的至少一个第二风格图像的步骤之后，所述方法还包括：对所述第一风格图像和所述第二风格图像进行预设处理。

可选地，所述预设处理包括以下至少一种：图像参数同一性调整、清晰度调整、旋转处理和图像增强处理。

可选地，根据背景区域10的特征信息对获取的第二风格图像进行调整。可选地，在获取到替换的动漫背景后，通过与原背景区域10的关键点(可选地，亮度和分辨率等)的比对来进行适当调整。

示例性地，将动漫化后的前景对象20和背景区域10的亮度、色彩、格式等参数调整统一，或根据目标图像对动漫化后的前景对象20和背景区域10的亮度、色彩、格式等参数进行调整，使得融合后的生成的动漫图像具有一致性。可选地，动漫化后的前景对象20亮度为50％，背景区域10亮度为90％时，将两者的亮度调整为同一数值60％，或者调整为原有目标图像的亮度80％。

可选地，可以仅对第一区域和第二区域的亮度、色彩、格式和分辨率等参数信息进行调整，使融合后生成的动漫图像具有统一性，但不对第一区域和第二区域的大小进行限制。可选地，可以将前景对象20放大，突出人物，也可以缩小，不限定大小相等。

可选地，在获取目标图像上至少一个第一区域对应的至少一个第一风格图像，和/或，至少一个第二区域对应的至少一个第二风格图像的步骤之后，所述方法还包括：将所述第一风格图像，和/或所述第二风格图像转换为与所述第一区域和/或所述第二区域大小相等的图像；和/或，根据第一风格图像或第二风格图像的大小以及所述第一区域和第二区域之间的比例关系对所述第二风格图像或所述第一风格图像进行调整。

可选地，根据目标图像对动漫化后的前景对象20和背景区域10进行调整后，再将动漫化后的前景对象20和背景区域10进行融合。

示例性地，将动漫化后的前景对象20和背景区域10根据原有的前景对象20和背景区域10的大小进行调整。可选地，在动漫化后的前景对象20比原有前景对象20大时，将其缩小至原有前景对象20大小；在动漫化后的前景对象20比原有前景对象20小时，将其放大至原有前景对象20大小。在查找到的动漫背景比目标图像或背景区域10大时，将其缩小；比目标图像或背景区域10小时，将其放大，以将其调整至原有背景区域10大小。可选地，在选择的动漫背景图片中的内容(例如，树木、房屋等)相对于原有背景区域10中内容的比例较小，而动漫前景对象20大小与原有前景对象20大小相同时，将动漫背景图片进行放大(放大后的动漫背景图片比例可以比原背景区域10大)，以使动漫背景图片中的内容进行相应放大，而动漫前景对象20不进行调整。

示例性地，目标图像中前景对象20和背景区域10之间的大小比例为1：2，根据该比例关系将动漫化后的前景对象20和背景对象的大小调整为1：2后，再将两者进行融合。

示例性地，还可以随意调整前景人物或背景区域10的大小，可选地，根据用户选择将前景对象20/人物放大，以突出人物。

可选地，将所述至少一个第一风格图像和/或所述至少一个第二风格图像进行图像融合，以得到所述目标图像对应的风格图像的步骤，包括：根据所述目标图像中第一区域和第二区域的位置关系和/或所述第一区域和第二区域的比例关系，将所述第一风格图像与所述第二风格图像进行融合，以得到所述目标图像对应的风格图像。

示例性地，第一风格图像和第二风格图像的融合方式可以是泊松融合，也可以是PS方式，并不在此进行限定。

可选地，将动漫化后的背景区域10和前景对象20进行融合后，生成一张新的动漫图像，从而完成了目标图像的整体动漫化。

可选地，将所述至少一个第一风格图像和/或所述至少一个第二风格图像进行图像融合，以得到所述目标图像对应的风格图像的步骤，包括：根据所述目标图像中所述前景对象20所处位置以及所述前景对象20和所述背景区域10的比例信息，将所述第一风格图像嵌入至所述第二风格图像中，以得到所述目标图像对应的风格图像。

第二实施例

请参阅图4，图4是根据第二实施例示出的图像处理方法的流程示意图。

本实施例与第一实施例的区别在于，如图4所示，本实施方式还包括一判断步骤：

步骤S21：获取目标图像。

步骤S22：检测是否有前景对象。

步骤S23：输出提示信息。

步骤S24：对目标图像进行实例分割。

可选地，通过检测目标图像中是否存在前景对象，来确定是否需要对目标图像进行动漫化；若存在，则执行所述获取目标图像上至少一个第一区域对应的至少一个第一风格图像，和/或，至少一个第二区域对应的至少一个第二风格图像的步骤；和/或，若不存在，则输出提醒重新挑选新图像，或结束图像风格转换操作的提示信息。

示例性地，当前景对象是人物时，通过检测目标图片中是否存在人脸特征、人形特征和人眼特征等人物标识特征，来确认目标图像中是否存在前景对象。

可选地，在对目标图像中的前景对象(如，人物)进行检测时，需要区分目标图像中人物所在区域与背景区域。若没有在目标图像中检测到前景对象，则弹出提示信息。提示信息包括：需存在前景对象才能够进行下一步骤，请重新选取照片；目标图像中不存在前景对象，是否进行下一步骤；结束任务等。若在目标图像中检测到前景对象，则将目标图像中的人物所在区域与背景区域进行分割。可选地，目标图像为室外街道上拍摄的双人合照，在检测到该照片中存在人物后，将合照中的的两个人物与背景进行分割。目标图像为一张树木的图片，在检测到该图片中不存在人物时，弹出提示信息，以使用户重新挑选一张存在人物的照片。

示例性地，在对目标图像进行图像风格转换前，先检测目标图像中是否存在前景人物，若不存在前景人物，则结束图像风格转换操作，不对目标图像进行风格转换，同时输出“当前图像无法进行图像风格转换，请重新挑选图像”的提醒信息。可选地，在对一张没有前景对象/人物的天空图像进行图像风格转换时，终端显示屏幕弹出提醒信息“当前图像无法进行图像风格转换，请重新挑选图像”。

第三实施例

请参阅图5、图6和图7，图5是根据第三实施例示出的图像处理方法的流程示意图，详细介绍如下：

步骤S31：获取目标图像；

步骤S32：将目标图像进行分割；

步骤S33：判断是否存在前景对象；

步骤S34：前景对象动漫化；

步骤S35：背景区域检测；

步骤S36：图像库中查找动漫背景替换；

步骤S37：背景区域关键点比对调整；

步骤S38：动漫化后的前景对象与动漫背景融合。

可选地，用户终端启用本功能(照片动漫化功能)后，通过使用拍照功能拍摄照片，或者从终端的相册中选取照片作为目标图像。然后对目标图像进行前景对象检测，在存在前景对象时，对选取的目标图像进行前景对象和背景区域的实例分割；在检目标图像中没有前景对象，则弹出提示，使用户重新选取目标图像。对于前景对象，通过生成对抗网络的风格迁移来进行动漫化画风转换。对于背景区域，通过场景检测确认背景区域类型(可选地，街道、天空、湖泊和房屋等)，在图像库中对比寻找与该场景较为匹配/符合的动漫场景来进行替换，并通过关键点(可选地，房屋大小、位置等)的比对对动漫背景进行适当调整。在没有查找到匹配的动漫背景进行替换时，也可以由用户手动在动漫背景的实例库中选择动漫背景。最后，对动漫化的前景对象和背景画面进行融合，得到用户所选取的目标图像所对应的动漫化图像。

本申请的图像处理方法，通过对目标图像中的前景对象和背景区域进行分割得到第一区域和第二区域。对于前景对象所在的第一区域(如，人物)采用第一风格(传统的风格迁移方式)来进行图像风格转化；对于背景区域所在的第二区域则采用第二风格(在数据库中搜索匹配的方式)来进行图像风格转化，然后将分开进行图像风格转换的前景对象和背景区域进行融合，得到风格转换后的目标图像。通过上述方式，将动漫化后的前景人物融合进动漫背景图片中，避免使用同一风格进行图像风格转换时动漫背景造成的违和感，且达成前景对象和背景区域画风统一的动漫化效果。

本申请实施例还提供一种移动终端，移动终端包括存储器、处理器，存储器上存储有图像处理程序，图像处理程序被处理器执行时实现上述任一实施例中的图像处理方法的步骤。

本申请实施例还提供一种计算机可读存储介质，计算机可读存储介质上存储有图像处理程序，图像处理程序被处理器执行时实现上述任一实施例中的图像处理方法的步骤。

在本申请提供的移动终端和计算机可读存储介质的实施例中，可以包含任一上述图像处理方法实施例的全部技术特征，说明书拓展和解释内容与上述方法的各实施例基本相同，在此不做再赘述。

本申请实施例还提供一种计算机程序产品，计算机程序产品包括计算机程序代码，当计算机程序代码在计算机上运行时，使得计算机执行如上各种可能的实施方式中的方法。

本申请实施例还提供一种芯片，包括存储器和处理器，存储器用于存储计算机程序，处理器用于从存储器中调用并运行计算机程序，使得安装有芯片的设备执行如上各种可能的实施方式中的方法。

上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。

在本申请中，对于相同或相似的术语概念、技术方案和/或应用场景描述，一般只在第一次出现时进行详细描述，后面再重复出现时，为了简洁，一般未再重复阐述，在理解本申请技术方案等内容时，对于在后未详细描述的相同或相似的术语概念、技术方案和/或应用场景描述等，可以参考其之前的相关详细描述。

在本申请中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。

本申请技术方案的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本申请记载的范围。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，被控终端，或者网络设备等)执行本申请每个实施例的方法。

以上仅为本申请的优选实施例，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (10)

1.一种图像处理方法，其特征在于，所述方法包括以下步骤：

S11：获取目标图像上至少一个第一区域对应的至少一个第一风格图像，和/或，至少一个第二区域对应的至少一个第二风格图像；

S12：将所述至少一个第一风格图像和/或所述至少一个第二风格图像进行图像融合，以得到所述目标图像对应的风格图像。

2.根据权利要求1所述的方法，其特征在于，所述S11步骤，包括：

根据第一风格模型获取至少一个所述第一区域对应的至少一个所述第一风格图像；和/或，

根据第二风格模型获取至少一个所述第二区域对应的至少一个所述第二风格图像。

3.根据权利要求2所述的方法，其特征在于，包括以下至少一种：

提取至少一个所述第一区域对应的第一特征信息，并将所述第一特征信息输入风格图像生成模型，以确定或生成至少一个所述第一风格图像；

获取所述目标图像中第二区域的图像类型，提取至少一个所述第二区域对应的第二特征信息，根据所述第二特征信息从背景图像库中获取与所述第二区域的图像类型相同的第二风格图像。

4.根据权利要求3所述的方法，其特征在于，所述根据所述第二特征信息从背景图像库中获取与所述第二区域的图像类型相同的第二风格图像的步骤，包括：从所述背景图像库中获取与所述第二区域的图像类型相同的风格图像，将所述第二特征信息与所述风格图像的特征信息进行匹配，根据所述第二特征信息与所述风格图像的特征信息之间的相似度确定或生成所述第二区域所对应的所述第二风格图像；和/或，

所述方法还包括：获取所述第二区域的场景特征的关键点信息，根据所述关键点信息对获取的所述第二风格图像进行调整。

5.根据权利要求1至4中任一项所述的方法，其特征在于，所述目标图像包括前景对象和背景区域，所述S11步骤，包括：

对所述目标图像的前景对象和背景区域进行分割，以得到所述至少一个第一区域和/或所述至少一个第二区域；

对所述至少一个第一区域和/或所述至少一个第二区域进行图像风格转换，以获得至少一个所述第一风格图像和/或至少一个所述第二风格图像。

6.根据权利要求1至4中任一项所述的方法，其特征在于，在所述S11步骤之前，所述方法还包括：

检测所述目标图像中是否存在前景对象；

若是，则执行所述S11步骤；和/或，若否，则输出提示信息。

7.根据权利要求1至4中任一项所述的方法，其特征在于，在所述S11步骤之后，所述方法还包括以下至少一种：

对所述第一风格图像和所述第二风格图像进行预设处理；

将所述第一风格图像，和/或所述第二风格图像转换为与所述第一区域和/或所述第二区域大小相等的图像；

根据第一风格图像或第二风格图像的大小以及所述第一区域和第二区域之间的比例关系对所述第二风格图像或所述第一风格图像进行调整。

8.根据权利要求1至4中任一项所述的方法，其特征在于，所述S12步骤，包括：

根据所述目标图像中第一区域和第二区域的位置关系和/或所述第一区域和第二区域的比例关系，将所述第一风格图像与所述第二风格图像进行融合，以得到所述目标图像对应的风格图像。

9.一种移动终端，其特征在于，所述移动终端包括：存储器、处理器，其中，所述存储器上存储有图像处理程序，所述图像处理程序被所述处理器执行时实现如权利要求1至8中任一项所述的图像处理方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至8中任一项所述的图像处理方法的步骤。

Images