CN111494946B - 图像处理方法、装置、设备及计算机可读存储介质 - Google Patents

Abstract

本申请实施例提供一种图像处理方法、装置、设备及计算机可读存储介质，其中，方法包括：获取待处理图像，所述待处理图像具有第一场景风格；对所述待处理图像进行特征提取，得到所述待处理图像的卷积特征谱；对所述卷积特征谱进行上采样处理，以增大所述卷积特征谱的特征谱参数，得到上采样特征谱；根据所述上采样特征谱，确定出具有第二场景风格的处理图像。通过本申请，能够使得生成的处理图像中的对象与图像背景之间不存在差异，所得到的处理图像更加自然。

Description

图像处理方法、装置、设备及计算机可读存储介质

技术领域

本申请实施例涉及互联网技术领域，涉及但不限于一种图像处理方法、装置、设备及计算机可读存储介质。

背景技术

在图像处理模型的训练过程中，需要提供具有多样化风格的样本图像，因此需要提供包括有多样化风格图像的图像数据库，将图像数据库中的图像作为样本图像进行模型训练，以得到更加准确的图像处理模型。为了得到具有多样化风格图像的图像数据库，通常需要对图像的风格进行转化，以扩充图像数据库，例如，对图像的色调和亮度等进行调整，以得到转化后的具有新的风格的图像。

相关技术中，通常采用基于硬编码的图像风格转化方法或者基于生成对抗网络(GAN，Generative Adversarial Networks)的图像风格转化方法，对图像的风格进行转化，以得到具有新的风格的图像。

但是，相关技术中的方法，仅能够实现对图像局部区域的对象(例如按钮)进行针对性的风格转化，因此，生成的新图像中的对象与图像背景之间会存在一定的差异，从而会使得所生成的新图像不够自然。

发明内容

本申请实施例提供一种图像处理方法、装置、设备及计算机可读存储介质，通过依次对待处理图像进行特征提取和上采样处理，得到上采样特征谱，并基于上采样特征谱确定出具有第二场景风格的处理图像，如此，能够确定出整体与待处理图像具有不同风格的处理图像，且生成的处理图像整体更加自然。

本申请实施例的技术方案是这样实现的：

本申请实施例提供一种图像处理方法，包括：

获取待处理图像，所述待处理图像具有第一场景风格；

对所述待处理图像进行特征提取，得到所述待处理图像的卷积特征谱；

对所述卷积特征谱进行上采样处理，以增大所述卷积特征谱的特征谱参数，得到上采样特征谱；

根据所述上采样特征谱，确定出具有第二场景风格的处理图像。

本申请实施例提供一种图像处理装置，包括：

获取模块，用于获取待处理图像，所述待处理图像具有第一场景风格；

特征提取模块，用于对所述待处理图像进行特征提取，得到所述待处理图像的卷积特征谱；

上采样处理模块，用于对所述卷积特征谱进行上采样处理，以增大所述卷积特征谱的特征谱参数，得到上采样特征谱；

确定模块，用于根据所述上采样特征谱，确定出具有第二场景风格的处理图像。

本申请实施例提供一种图像处理设备，包括：

存储器，用于存储可执行指令；处理器，用于执行所述存储器中存储的可执行指令时，实现上述的方法。

本申请实施例提供一种计算机可读存储介质，存储有可执行指令，用于引起处理器执行时，实现上述的方法。

本申请实施例具有以下有益效果：

通过依次对待处理图像进行特征提取和上采样处理，得到上采样特征谱，并基于上采样特征谱确定出处理图像，所确定出的具有第二场景风格的处理图像，区别于具有第一场景风格的待处理图像，如此，由于生成处理图像的过程不是对待处理图像的局部对象进行针对性的风格转化处理，因此能够使得生成的处理图像中的对象与图像背景之间不存在差异，所得到的处理图像更加自然。

附图说明

图1是本申请实施例提供的图像处理系统10的一个可选的架构示意图；

图2A是本申请实施例提供的图像处理系统10应用于区块链系统的一个可选的结构示意图；

图2B是本申请实施例提供的区块结构的一个可选的示意图；

图3是本申请实施例提供的服务器300的结构示意图；

图4是本申请实施例提供的图像处理方法的一个可选的流程示意图；

图5是本申请实施例提供的数据扩充方法的一个可选的流程示意图；

图6是本申请实施例提供的数据扩充方法的一个可选的流程示意图；

图7A是本申请实施例提供的待处理图像的示意图；

图7B是本申请实施例提供的处理图像的示意图；

图8是本申请实施例提供的数据扩充方法的一个可选的流程示意图；

图9是本申请实施例提供的循环生成对抗网络的结构示意图；

图10是本申请实施例提供的循环生成对抗网络的训练方法的流程示意图；

图11是本申请实施例提供的图像检测方法的一种可选的流程示意图；

图12是本申请实施例提供的不同游戏的UI场景的示例图；

图13A是本申请实施例提供的一种风格转换过程示意图；

图13B是本申请实施例提供的另一种风格转换过程示意图；

图14是本申请实施例提供的基于循环生成对抗网络的游戏风格转换流程示意图；

图15是本申请实施例提供的循环生成对抗网络的结构示意图；

图16是本申请实施例提供的生成网络的网络结构示意图；

图17是本申请实施例提供的判别网络的网络结构示意图。

具体实施方式

为了使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请作进一步地详细描述，所描述的实施例不应视为对本申请的限制，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。

在以下的描述中，涉及到“一些实施例”，其描述了所有可能实施例的子集，但是可以理解，“一些实施例”可以是所有可能实施例的相同子集或不同子集，并且可以在不冲突的情况下相互结合。除非另有定义，本申请实施例所使用的所有的技术和科学术语与属于本申请实施例的技术领域的技术人员通常理解的含义相同。本申请实施例所使用的术语只是为了描述本申请实施例的目的，不是旨在限制本申请。

为了更好地理解本申请实施例中提供的图像处理方法，首先对相关技术中的图像数据库扩充方法进行说明：

相关技术中，在进行图像数据库的扩充时，尤其是对游戏场景图像数据库进行扩充时，通常通过以下两种方式对游戏场景图像的风格进行转化处理：

方式一：基于硬编码的游戏风格转化方法，这里的硬编码是指用规则改变游戏场景图像的色调和亮度，即人工定义一些规则来改变游戏场景图像的色调和亮度。

该方案能在一定程度上增加游戏场景的多样性，但生成的图像可能存在色调和亮度不自然的情况，因为本质上还是在原始的图像基础上进行小的修改，所以生成的图像不太自然。

方式二：基于GAN网络的游戏按钮生成方法，其能针对每种按钮训练GAN模型，能根据随机的噪声特征生成新的游戏按钮，将新的游戏按钮替换对应类别的游戏按钮，形成新的游戏场景图像，来增加图像数据库中的图像数量。该方案能起到一定的扩充图像数据库的作用，但由于生成的按钮风格和游戏背景之间存在一定的差异，这种方式生成的图像也不够自然。

基于相关技术所存在的上述至少一个问题，本申请实施例提供一种图像处理方法，首先，在图像数据库中获取待处理图像，待处理图像具有第一场景风格；然后，对待处理图像进行特征提取，得到待处理图像的卷积特征谱；并对卷积特征谱进行上采样处理，以增大卷积特征谱的特征谱参数，得到上采样特征谱；最后，根据上采样特征谱，确定出具有第二场景风格的处理图像。如此，由于生成处理图像的过程不是对待处理图像的局部对象进行针对性的风格转化处理，因此能够使得生成的处理图像中的对象与图像背景之间不存在差异，所得到的处理图像更加自然。

下面说明本申请实施例提供的图像处理设备的示例性应用，本申请实施例提供的图像处理设备可以实施为笔记本电脑，平板电脑，台式计算机，移动设备(例如，移动电话，便携式音乐播放器，个人数字助理，专用消息设备，便携式游戏设备)、智能机器人等任意具有屏幕显示功能的终端，也可以实施为服务器。下面，将说明图像处理设备实施为服务器时的示例性应用。

参见图1，图1是本申请实施例提供的图像处理系统10的一个可选的架构示意图。为实现对图像数据库的扩充，图像处理系统10中包括终端100、网络200和服务器300。其中，终端100上运行有应用程序，在实现本申请实施例的数据扩充方法时，终端100在当前的展示页面100-1上显示有图像数据库中的待处理图像，待处理图像具有第一场景风格，待处理图像可以是游戏场景图像，例如游戏操作界面，终端100通过网络200，将展示页面100-1上所显示的待处理图像发送给服务器300，服务器300对待处理图像进行特征提取，得到待处理图像的卷积特征谱；对卷积特征谱进行上采样处理，以增大所述卷积特征谱的特征谱参数，得到上采样特征谱；根据上采样特征谱，确定出具有第二场景风格的处理图像。在一些实施例中，服务器300在形成处理图像之后，还可以将处理图像通过网络200反馈给终端100；终端100在获取到处理图像之后，在展示页面100-1上同时显示待处理图像和该处理图像以供用户查看和操作，也可以仅显示处理图像。

在一些实施例中，图像处理系统10中还可以包括终端101，终端101可以与终端100是同一终端，也可以是不同终端。请继续参照图1，其中，终端100用于向服务器提供待处理图像，终端101用于在显示页面101-1上显示风格转化处理后得到的处理图像，并在终端101上实现处理图像对应的功能。举例来说，待处理图像可以是某游戏A的游戏场景图像，所生成的处理图像是对应于游戏场景图像的另一游戏场景图像，也是游戏A的场景图像，处理图像上具有游戏A对应的可操作按钮，因此，终端101上可以运行有游戏A对应的应用程序，当转化形成处理图像之后，可以在终端101上显示处理图像，并且，用户可以在终端101上操作所显示的处理图像中的可操作按钮，实现对游戏A的运行和操作。

本申请实施例涉及的图像处理系统10也可以是区块链系统的分布式系统201，参见图2A，图2A是本申请实施例提供的图像处理系统10应用于区块链系统的一个可选的结构示意图，其中，所述分布式系统201可以是由多个节点202(接入网络中的任意形式的计算设备，如服务器、用户终端)和客户端203形成的分布式节点，节点之间形成组成的点对点(P2P，Peer To Peer)网络，P2P协议是一个运行在传输控制协议(TCP，TransmissionControl Protocol)协议之上的应用层协议。在分布式系统中，任何机器如服务器、终端都可以加入而成为节点，节点包括硬件层、中间层、操作系统层和应用层。

需要说明的是，本申请实施例中的图像处理方法还可以应用于对图像数据库的扩充，也就是说，通过对待处理图像的风格转化处理，得到新的图像，通过所得到的新的图像对图像数据库进行扩充,其中，在上述分布式系统201中，每一节点202对应一用户终端，在每一用户的用户终端上，会收集图像数据库中的图像，并对图像数据库中的图像进行本申请实施例的风格转化处理，得到具有新的风格的处理图像，并将处理图像存储于图像数据库中，实现对图像数据库的扩充。而对于分布式系统201中的其他节点，则可以基于上一节点扩充后的图像数据库进行进一步的扩充，如此，通过分布式系统201中的节点，可以实现对图像数据库的不断扩充，增大图像数据库中的样本数量。

在该区块链系统中，每一终端对图像的风格转化处理过程均会被记录下来，且不可更改，并且，随着终端对图像进行风格转化处理过程的不断进行，区块链中所存储的图像数据也会发生扩充和更新，使得区块链中所存储的图像的风格越来越多，图像的数量越来越多，从而能够得到一个风格更加多元化且图像更加丰富的图像数据库，进而可以使得在后续基于该图像数据库进行其他模型的训练时，能够提供更加丰富的训练样本，使得所训练的模型精度更高且更具泛化能力。

参见图2A示出的区块链系统中各节点的功能，下面对区块链系统中各节点涉及的功能进行详细介绍：

1)路由，节点具有的基本功能，用于支持节点之间的通信。节点除具有路由功能外，还可以具有以下功能：

2)应用，用于部署在区块链中，根据实际业务需求而实现特定业务，记录实现功能相关的数据形成记录数据，在记录数据中携带数字签名以表示任务数据的来源，将记录数据发送到区块链系统中的其他节点，供其他节点在验证记录数据来源以及完整性成功时，将记录数据添加到临时区块中。例如，应用实现的业务包括：2.1)钱包，用于提供进行电子货币的交易的功能，包括发起交易(即，将当前交易的交易记录发送给区块链系统中的其他节点，其他节点验证成功后，作为承认交易有效的响应，将交易的记录数据存入区块链的临时区块中；当然，钱包还支持查询电子货币地址中剩余的电子货币。2.2)共享账本，用于提供账目数据的存储、查询和修改等操作的功能，将对账目数据的操作的记录数据发送到区块链系统中的其他节点，其他节点验证有效后，作为承认账目数据有效的响应，将记录数据存入临时区块中，还可以向发起操作的节点发送确认。2.3)智能合约，计算机化的协议，可以执行某个合约的条款，通过部署在共享账本上的用于在满足一定条件时而执行的代码实现，根据实际的业务需求代码用于完成自动化的交易，例如查询买家所购买商品的物流状态，在买家签收货物后将买家的电子货币转移到商户的地址；当然，智能合约不仅限于执行用于交易的合约，还可以执行对接收的信息进行处理的合约。

3)区块链，包括一系列按照产生的先后时间顺序相互接续的区块(Block)，新区块一旦加入到区块链中就不会再被移除，区块中记录了区块链系统中节点提交的记录数据。

4)共识(Consensus)，是区块链网络中的一个过程，用于在涉及的多个节点之间对区块中的交易达成一致，达成一致的区块将被追加到区块链的尾部，实现共识的机制包括工作量证明(PoW，Proof of Work)、权益证明(PoS，Pr oof of Stake)、股份授权证明(DPoS，Delegated Proof-of-Stake)、消逝时间量证明(PoET，Proof of Elapsed Time)等。

参见图2B，图2B是本申请实施例提供的区块结构(Block Structure)的一个可选的示意图，每个区块中包括本区块存储交易记录的哈希值(本区块的哈希值)、以及前一区块的哈希值，各区块通过哈希值连接形成区块链。另外，区块中还可以包括有区块生成时的时间戳等信息。区块链(Blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了相关的信息，用于验证其信息的有效性(防伪)和生成下一个区块。

参见图3，图3是本申请实施例提供的服务器300的结构示意图，图3所示的服务器300包括：至少一个处理器310、存储器350、至少一个网络接口320和用户接口330。服务器300中的各个组件通过总线系统340耦合在一起。可理解，总线系统340用于实现这些组件之间的连接通信。总线系统340除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图3中将各种总线都标为总线系统340。

处理器310可以是一种集成电路芯片，具有信号的处理能力，例如通用处理器、数字信号处理器(DSP，Digital Signal Processor)，或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等，其中，通用处理器可以是微处理器或者任何常规的处理器等。

用户接口330包括使得能够呈现媒体内容的一个或多个输出装置331，包括一个或多个扬声器和/或一个或多个视觉显示屏。用户接口330还包括一个或多个输入装置332，包括有助于用户输入的用户接口部件，比如键盘、鼠标、麦克风、触屏显示屏、摄像头、其他输入按钮和控件。

存储器350可以是可移除的，不可移除的或其组合。示例性的硬件设备包括固态存储器，硬盘驱动器，光盘驱动器等。存储器350可选地包括在物理位置上远离处理器310的一个或多个存储设备。存储器350包括易失性存储器或非易失性存储器，也可包括易失性和非易失性存储器两者。非易失性存储器可以是只读存储器(ROM，Read Only Memory)，易失性存储器可以是随机存取存储器(RAM，Random Access Memory)。本申请实施例描述的存储器350旨在包括任意适合类型的存储器。在一些实施例中，存储器350能够存储数据以支持各种操作，这些数据的示例包括程序、模块和数据结构或者其子集或超集，下面示例性说明。

操作系统351，包括用于处理各种基本系统服务和执行硬件相关任务的系统程序，例如框架层、核心库层、驱动层等，用于实现各种基础业务以及处理基于硬件的任务；

网络通信模块352，用于经由一个或多个(有线或无线)网络接口320到达其他计算设备，示例性的网络接口320包括：蓝牙、无线相容性认证(WiFi)、和通用串行总线(USB，Universal Serial Bus)等；

输入处理模块353，用于对一个或多个来自一个或多个输入装置332之一的一个或多个用户输入或互动进行检测以及翻译所检测的输入或互动。

在一些实施例中，本申请实施例提供的装置可以采用软件方式实现，图3示出了存储在存储器350中的一种图像处理装置354，该图像处理装置354可以是服务器300中的图像处理装置，其可以是程序和插件等形式的软件，包括以下软件模块：获取模块3541、特征提取模块3542、上采样处理模块3543和确定模块3544，这些模块是逻辑上的，因此根据所实现的功能可以进行任意的组合或进一步拆分。将在下文中说明各个模块的功能。

在另一些实施例中，本申请实施例提供的装置可以采用硬件方式实现，作为示例，本申请实施例提供的装置可以是采用硬件译码处理器形式的处理器，其被编程以执行本申请实施例提供的图像处理方法，例如，硬件译码处理器形式的处理器可以采用一个或多个应用专用集成电路(ASIC，Application Specif ic Integrated Circuit)、DSP、可编程逻辑器件(PLD，Programmable Logic Device)、复杂可编程逻辑器件(CPLD，ComplexProgrammable Logic Device)、现场可编程门阵列(FPGA，Field-Programmable GateArray)或其他电子元件。

下面将结合本申请实施例提供的服务器300的示例性应用和实施，说明本申请实施例提供的图像处理方法。参见图4，图4是本申请实施例提供的图像处理方法的一个可选的流程示意图，将结合图4示出的步骤进行说明。

步骤S401，获取待处理图像。

这里，可以在图像数据库中获取待处理图像，图像数据库是用于进行后续图像模型训练的样本图像数据库，图像数据库中可以包括多张图像，每一图像具有特定的场景风格，每一图像的场景风格与其他图像的场景风格可以相同，也可以不同。其中，图像的场景风格可以是图像的亮度、色彩、图像的内容、字体的颜色、字体的大小、图像中背景图像的样式、前景图像的样式(这里的前景图像是指区别于图像中的背景图像的部分图像，例如，当对当前界面上的特定按钮进行点击操作后，弹出来覆盖于当前界面的部分区域之上的提醒框时，则该提醒框为前景图像，除了前景图像之外的其他区域的图像为背景图像)、图像整体的样式、图像中元素的排版、元素的大小、图像中文字的排版等。

待处理图像是图像数据库中的任意一张图像，待处理图像具有第一场景风格，第一场景风格是待处理图像整体所呈现的风格。例如，第一场景风格可以是游戏场景风格，可以具有游戏元素(例如，游戏道具或游戏服装)，且游戏元素具有一定颜色且具有一定亮度和排版的风格。

步骤S402，对待处理图像进行特征提取，得到待处理图像的卷积特征谱。

这里，获取待处理图像上每一像素点的像素值，采用滤波器对像素值进行滤波处理，以提取待处理图像的图像特征谱，该图像特征谱即待处理图像的卷积特征谱。

需要说明的是，每一待处理图像对应一像素矩阵，通过滤波器(也是一矩阵)对待处理图像的像素矩阵进行逐点点乘，即完成了上述滤波处理，得到待处理图像的图像特征谱，也即得到了待处理图像的卷积特征谱。

这里，以待处理图像对应M×N×3的像素矩阵(3指的是RGB的值)为例，对上述滤波处理，得到图像特征谱的过程进行解释说明：

待处理图像在计算机中的数字信号其实是一个M×N×3的像素矩阵，其中像素矩阵中每个像素的值在0到255之间，也就是说，当计算机看到一张图片时，在它的理解中，这张图片是一个大小是M×N×3的像素矩阵。假设只考虑图像的灰度，不考虑RGB，那么图像的大小为M×N。通过上述滤波器(m×n的矩阵，其中，M≥m，N≥n)对待处理图像进行滤波时，就是将滤波器分别与图像的同大小区域(即M×N×3的像素矩阵中的m×n大小的区域)进行点乘(即上述逐点点乘)，上述滤波器依次从左往右且从上往下滑过该图像所有的区域，让该滤波器对图像的每一个与滤波器尺寸相同大小的图像区域进行点乘，点乘后对各个乘积求和得到新的像素矩阵，这个新的像素矩阵就是上述图像特征谱，也是待处理图像的卷积特征谱。

在一些实施例中，可以通过卷积神经网络实现上述步骤S402，可以通过卷积神经网络中的卷积层进行特征提取，即采用卷积层中的滤波器对待处理图像的像素值进行滤波处理，得到待处理图像的卷积特征谱。

步骤S403，对卷积特征谱进行上采样处理，以增大卷积特征谱的特征谱参数，得到上采样特征谱。

这里，上采样处理是指放大待处理图像的卷积特征谱，上采样处理的最终目的是放大待处理图像，从而可以使待处理图像显示在更高分辨率的显示设备上。本申请实施例中，通过上采样处理可以增大卷积特征谱的特征谱参数，其中，特征谱参数包括但不限于卷积特征谱的谱宽和谱高。

在实现的过程中，上采样处理可以是采用插值法，在待处理图像的卷积特征谱之间，采用合适的插值算法插入新的元素(即在矩阵中插入合适的数值)，以增大卷积特征谱的特征谱参数。举例来说，本申请实施例中的上采样处理可以是在待处理图像的卷积特征谱中间插入0，来增大卷积特征谱的谱宽和谱高，以得到上采样特征谱。例如，通过对卷积特征谱进行上采样处理，可以使得输出特征谱(即上采样特征谱)的谱宽和谱高变为输入特征谱(即卷积特征谱)的2倍。

需要说明的是，上述特征提取过程和上采样处理过程，均是对待处理图像整体进行处理，即提取待处理图像的全部像素点的像素值，形成对应于整幅图像的卷积特征谱，并对完整的卷积特征谱进行上采样处理，得到完整的上采样特征谱。而并不是对待处理图像中的局部特征进行处理，即并不是对待处理图像的局部对象进行针对性的风格转化处理，因此能够使得生成的处理图像中的对象与图像背景之间不存在差异，整体上更加融合和自然。

步骤S404，根据上采样特征谱，确定出具有第二场景风格的处理图像。

这里，在确定出上采样特征谱之后，可以对上采样特征谱进行图像生成，一得到处理图像，并且，由于上采样特征谱与待处理图像的卷积特征谱具有不同的特征谱参数，即上采样特征谱与卷积特征谱不同，因此，所形成处理图像与待处理图像也将不同，所以，新形成的处理图像具有第二场景风格，第二场景风格与第一场景风格不同。

举例来说，待处理图像可以是游戏场景图像，第一场景风格为深灰色且亮度较高的风格，所生成的处理图像也是对应的游戏场景图像，处理图像中所包括的游戏元素(即游戏场景图像中与游戏视觉效果相关的元素，例如，游戏人物皮肤、游戏道具或游戏服装)和游戏按钮(即游戏场景图像中与游戏操作相关的按钮，例如，开始游戏按钮、选择按钮、返回按钮、结束按钮等)可以与待处理图像中包括的游戏元素和游戏按钮完全一一对应，也可以比待处理图像中的游戏元素或游戏按钮数量多，或者比待处理图像中的游戏元素或游戏按钮数量少，另外，处理图像可以具有浅灰色且亮度较暗。

本申请实施例提供的图像处理方法，通过依次对待处理图像进行特征提取和上采样处理，得到上采样特征谱，并基于上采样特征谱确定出处理图像，所确定出的具有第二场景风格的处理图像，区别于具有第一场景风格的待处理图像，如此，由于生成处理图像的过程不是对待处理图像的局部对象进行针对性的风格转化处理，因此能够使得生成的处理图像中的对象与图像背景之间不存在差异，所得到的处理图像更加自然。

在一些实施例中，在使用本申请实施例的图像处理方法得到处理图像之后，还可以包括以下步骤：

步骤S10，将处理图像存储至图像数据库中，以实现对图像数据库的扩充。

这里，在得到具有新的第二场景风格的处理图像之后，将处理图像扩充至图像数据库中，作为图像数据库中的样本图像，以提高图像数据库中样本图像的数量。本申请实施例中，由于所得到的处理图像更加自然，从而能够通过具有不同风格的且更加自然的处理图像，实现对图像数据库的有效扩充。

本申请实施例中，图像数据库是用于进行后续图像模型训练的样本图像数据库，由于对图像数据库中的待处理图像进行转化，形成了具有不同风格的处理图像，并通过处理图像扩充图像数据库，因此，扩充后的图像数据库中具有更加丰富的图像风格的图像，那么，基于丰富的图像风格的图像数据库进行模型训练，所得到的目标检测模型(例如，游戏按钮检测模型)会具有更好泛化能力，即能够对各种风格和各种类型的图像进行目标检测。

在一些实施例中，待处理图像中可以包括第一背景图像和至少一个第一可操作对象，第一可操作对象和第一背景图像均具有第一场景风格，其中，第一背景图像是待处理图像中不能进行用户操作的区域对应的图像(即不包括操作按钮的区域的图像)，第一可操作对象是待处理图像中可以进行用户操作(例如，点击操作、长按操作、滑动操作等)的交互对象。例如，待处理图像可以是游戏场景图像，则第一背景图像为游戏背景图像，第一可操作对象为游戏按钮，游戏背景图像可以是深色背景，游戏按钮也可以是深色按钮，游戏背景图像的风格与游戏按钮的风格共同形成上述第一场景风格。

处理图像中包括第二背景图像和至少一个第二可操作对象，第二可操作对象和第二背景图像均具有第二场景风格，其中，第二背景图像是处理图像中不能进行用户操作的区域对应的图像(即不包括操作按钮的区域的图像)，第二可操作对象是处理图像中可以进行用户操作(例如，点击操作、长按操作、滑动操作等)的交互对象。例如，处理图像可以是对应于待处理图像的另一幅游戏场景图像，则第二背景图像为游戏背景图像，第二可操作对象为游戏按钮，游戏背景图像可以是浅色背景，游戏按钮也可以是浅色按钮，浅色的游戏背景图像和浅色的游戏按钮共同形成上述第二场景风格。

由于本申请实施例提供的待处理图像中可以包括游戏背景图像和游戏按钮，那么所得到的处理图像中也包括游戏背景图像和游戏按钮，如此，通过具有游戏按钮的处理图像所扩充得到的图像数据库，能够用于训练用来检测或识别游戏场景图像中的操作按钮的目标检测模型，通过该目标检测模型能够准确的对游戏场景图像中的操作按钮进行检测和识别，并能够提高游戏场景图像的检测识别效率。

需要说明的是，待处理图像和处理图像中包括游戏按钮只是本申请一种可选的场景举例，当然，在其他实施例中，待处理图像中还可以包括其他的元素或者其他的可操作对象，例如，诸如房屋、人物和树木等附加元素、或者诸如调整按钮和游戏中止按钮等操作按钮，本申请实施例对待处理图像和处理图像中除背景图像之外的其他部分的内容不做限定。

基于上述的图像处理方法，本申请实施例提供一种数据扩充方法，图5是本申请实施例提供的数据扩充方法的一个可选的流程示意图，如图5所示，方法包括以下步骤：

步骤S501，终端采集图像，将所采集的图像存储至图像数据库中。

这里，终端可以通过自身的图像采集装置采集图像，也可以从网络上下载图像，图像数据库中包括至少一张图像，每一图像具有特定的场景风格。

步骤S502，服务器接收终端发送的图像数据库扩充指令。

在一些实施例中，图像数据库可以位于终端上，也可以位于服务器上。图像数据库扩充指令用于指示扩充终端上或服务器上的图像数据库。

步骤S503，服务器响应于图像数据库扩充指令，在图像数据库中获取待处理图像，所述待处理图像包括第一区域和第二区域。

这里，第一区域和第二区域共同形成待处理图像，例如，第一区域可以是待处理图像的背景区域，第二区域可以是待处理图像的前景区域，或者，第一区域是待处理图像的信息显示区域，第二区域是待处理图像的操作区域。

在一些实施例中，待处理图像包括上述的背景图像和上述的前景图像，那么，背景区域则是指背景图像在待处理图像中所处的区域，前景区域是指前景图像在待处理图像中所处的区域；在另一些实施例中，待处理图像中包括文字信息或图像信息、和用于进行交互操作的操作对象，那么，信息显示区域则是指待处理图像中用于显示文字信息或图像信息的区域，操作区域是指用于显示操作对象的区域。

待处理图像具有第一场景风格，其中，第一区域具有第一子风格，第二区域具有第二子风格，第一子风格与第二子风格可以相同，也可以不同，第一子风格与第二子风格共同形成第一场景风格。例如，第一子风格是第一区域的颜色，第二子风格是第二区域的颜色，第一区域的颜色可以与第二区域的颜色相同；又例如，第一子风格是第一区域的文字大小和字体，第二子风格是第二区域的文字大小和字体，第一区域的文字大小和字体，均与第二区域的文字大小和字体不同。

在本申请一些实施例中，在对待处理图像进行风格转化处理之后，所形成的处理图像具有第三区域和第四区域，其中，处理图像的第三区域对应待处理图像的第一区域，处理图像的第四区域对应待处理图像的第二区域，处理图像的第三区域具有第三子风格，处理图像的第四区域具有第四子风格，第三子风格与第四子风格相同，且第三子风格与第四子风格共同形成上述第二场景风格。

这里，由于处理图像的第三区域和第四区域的子风格相同，因此，本申请实施例中对待处理图像的风格转化处理实现了对待处理图像中不同区域的风格的统一，使得所形成的处理图像呈现整体一致的风格，图像转化的效果更好，得到的处理图像视觉效果更佳。

步骤S504，服务器对第一区域进行特征提取，得到第一区域的卷积特征谱。

步骤S505，服务器对第一区域的卷积特征谱进行上采样处理，以增大第一区域的卷积特征谱的特征谱参数，得到第一区域的上采样特征谱。

步骤S506，服务器对第二区域进行特征提取，得到第二区域的卷积特征谱。

步骤S507，服务器对第二区域的卷积特征谱进行上采样处理，以增大第二区域的卷积特征谱的特征谱参数，得到第二区域的上采样特征谱。

上述步骤S504至步骤S505是对第一区域进行处理的过程，步骤S506至步骤S507是对第二区域进行处理的过程，对第一区域的处理过程与对第二区域的处理过程相同，且可以同时进行。

步骤S508，服务器根据第一区域的上采样特征谱和第二区域的上采样特征谱，确定出具有第二场景风格的处理图像。

这里，可以将第一区域的上采样特征谱与第二区域的上采样特征谱进行融合，即将第一区域的上采样特征谱叠加到第一区域，将第二区域的上采样特征谱叠加到第二区域，形成对应待处理图像的一完整的上采样特征谱，从而得到与待处理图像对应的上采样特征谱，并根据待处理图像的上采样特征谱，将上采样特征谱转化成像素矩阵的数字信号形式进行表示，再使得计算机能够将数字信号形式的像素矩阵输出显示成图像，即输出显示处理图像；还可以分别根据第一区域的上采样特征谱和第二区域的上采样特征谱确定出对应的部分图像，再对部分图像进行融合，即将第一区域对应的部分图像与第二区域对应的部分图像进行叠加，得到处理图像。

步骤S509，服务器将处理图像发送给终端。

步骤S510，终端在当前界面上显示处理图像，并将处理图像存储至图像数据库中，以实现对图像数据库的扩充。

在一些实施例中，当服务器确定出处理图像之后，如果图像数据库是服务器上的图像数据库，则服务器可以直接将处理图像存储于图像数据库中，实现对图像数据库的扩充。

本申请实施例提供的数据扩充方法，服务器分别对待处理图像的第一区域和第二区域进行处理，得到第一区域的上采样特征谱和第二区域的上采样特征谱，再对第一区域的上采样特征谱和第二区域的上采样特征谱进行融合，得到最终的处理图像。由于第一区域和第二区域可以同步进行处理，从而能够提高图像处理的效率，并且，由于第一区域与第二区域的风格可能会存在不同，因此，可以采用不同的模型分别对第一区域和第二区域进行处理，得到与第一区域和第二区域分别匹配的处理后的图像，提高图像处理的效果，使得最终所得到的处理图像的处理效果更加自然，从而得到有效的处理图像，对图像数据库进行有效的扩充。

基于图5，图6是本申请实施例提供的数据扩充方法的一个可选的流程示意图，如图6所示，步骤S508可以通过以下步骤实现：

步骤S601，根据第一区域的上采样特征谱，确定出第一区域对应的第一部分图像。步骤S602，根据第二区域的上采样特征谱，确定出第二区域对应的第二部分图像。步骤S603，对第一部分图像和第二部分图像进行融合，形成处理图像。

本申请实施例中，第一部分图像的场景风格与第二部分图像的场景风格不同，且第一部分图像的场景风格与第二部分图像的场景风格共同形成第二场景风格。例如，第一场景风格包括第一亮度和第一色彩，第二场景风格包括第二亮度和第二色彩。

请继续参照图6，在一些实施例中，第一区域为游戏背景图像，第二区域为游戏操作对象；方法还可以包括以下步骤：

步骤S604，在素材库中匹配出与游戏背景图像和游戏操作对象对应的素材。

这里，素材库是区别于上述图像数据库的另一数据库，在素材库中存储有至少一素材，该素材可以是图片、文字、音频、视频等任意一种形式的素材，素材库中的素材用于对所形成的处理图像进行进一步的修饰和美化。

本申请实施例中，从素材库中匹配出与游戏背景图像和游戏操作对象对应的素材，可以是从素材库中匹配出与游戏背景图像和游戏操作对象具有相似风格的图片，或者匹配出与游戏相关的文字，或者匹配出与游戏相关的音频，或者匹配出与游戏相关的视频。

步骤S605，将素材添加到处理图像上。

在采用本申请实施例的方法进行风格转化形成处理图像之后，如果发现所形成的处理图像上的内容比较单一，颜色比较单调，则可以在素材库中匹配一些附加的素材添加到处理图像上，对处理图像进行修饰和美化。

举例来说，待处理图像可以是游戏场景图像，如果当前的游戏场景是在森林中进行战斗，但是处理图像中只有一部分区域是树木，而另一部分的则是沙漠，那么显然所形成的处理图像的场景不太逼真，此时就可以采用本申请实施例的方式，在素材库中匹配出森林或树木的图片添加到处理图像的沙漠区域，使得添加素材的处理图像整体呈现的视觉效果更加融合且更加逼真，又例如，如果得到的处理图像整体全是由颜色较深的树木形成的背景，所以整体给用户的感觉比较压抑，此时可以在素材库中匹配出蓝天的图像添加到图像上部，蓝天与树木自然的衔接，形成具有更佳视觉效果的处理图像。

本申请实施例中，通过匹配出与游戏背景图像和游戏操作对象对应的素材，并将素材添加到处理图像上，一方面能够对处理图像进行修饰和美化，提高修饰后的处理图像所呈现的视觉效果，另一方面，所形成的修饰后的处理图像是与修饰前的处理图像所不同的图像，因此，能够进一步对图像数据库进行扩充。

图7A是本申请实施例提供的待处理图像的示意图，图7B是本申请实施例提供的处理图像的示意图，如图7A所示，待处理图像70包括第一区域71和第二区域72，其中，第一区域71可以是游戏背景区域，呈现游戏背景图像，第二区域72可以是游戏操作区域，用于进行游戏操作。待处理图像70具有第一场景风格，即第一区域71和第二区域72共同形成第一场景风格，第一场景风格可以是具有第一颜色和第一亮度的风格。例如，第一颜色可以是深灰色，第一亮度的亮度值较高。

在采用本申请实施例的方法进行图像风格转化之后形成如图7B的处理图像73，在处理图像73上，对应第一区域71具有第三区域74，对应第二区域72具有第四区域75。第三区域74也可以仍然是游戏背景区域，呈现游戏背景图像，第四区域75也可以仍然是游戏操作区域，用于进行游戏操作。所不同的是，处理图像73具有第二场景风格，即第三区域74和第四区域75共同形成第二场景风格，第二场景风格可以是具有第二颜色和第二亮度的风格。例如，第二颜色可以是浅灰色，第二亮度的亮度值较低。

请继续参照图7B，在一些实施例中，还可以在处理图像73上添加至少一素材76，素材76是与游戏背景图像和游戏操作区域中的游戏操作对象对应的素材，例如，可以是一个云朵图形。

基于图4的图像处理方法，图8是本申请实施例提供的数据扩充方法的一个可选的流程示意图，如图8所示，方法还包括以下步骤：

步骤S801，在扩充后的图像数据库中获取具有第二场景风格的目标图像。

步骤S802，依次对目标图像进行特征提取和上采样处理，以实现对目标图像进行风格转换处理，得到具有第三场景风格的处理图像，其中，第三场景风格是与第一场景风格相同的风格。

步骤S803，将具有第三场景风格的处理图像存储至扩充后的图像数据库中。

本申请实施例中，可以将第一场景风格的图像转化成第二场景风格的图像，同样地，也可以将第二场景风格的图像转化成第一场景风格的图像。如此，对于同时具有第一场景风格和第二场景风格的图像数据库，由于不仅可以将第一场景风格的图像转化成第二场景风格的图像，也可以将第二场景风格的图像转化成第一场景风格的图像，因此能够实现对图像数据库中的全部图像进行风格转化，提高了对图像数据库中图像进行风格转化处理的普适性，实现对图像数据库的有效扩充。

需要说明的是，在扩充后的图像数据库中所获取的第二场景风格的目标图像，可以是原始的未经过任何处理的图像，也可以是经过本申请实施例的图像风格转化处理，将第一场景风格的图像转化形成的。本申请实施例中，将具有第二场景风格的目标图像转化成第一场景风格的图像，转化形成的图像与形成该目标图像时的原始的具有第一场景风格的待处理图像可以存在部分区别，例如，颜色有区别，或者局部区域的元素的尺寸(例如人物的身高)有区别，但是整体的风格相同。

在一些实施例中，还可以采用循环生成对抗网络(CycleGAN，Cycle Gen erativeAdversarial Networks)确定出具有第二场景风格的处理图像，图9是本申请实施例提供的循环生成对抗网络的结构示意图，如图9所示，循环生成对抗网络90包括第一生成网络901、第一判别网络902、第二生成网络903和第二判别网络904。循环生成对抗网络的功能是自动将某一类图片转换成另外一类图片。循环生成对抗网络可以互相生成，网络是个环形，可以输入两种类型的图片，且输入的两张图片可以是任意的两张图片。

本申请实施例提供一种循环生成对抗网络的训练方法，如图10所示，方法包括以下步骤：

步骤S101，将具有第一样本风格的样本图像输入至第一生成网络，得到第一样本输出图像。

在一些实施例中，步骤S101可以通过以下步骤实现：

步骤S1011，将具有第一样本风格的样本图像输入至第一生成网络中，通过第一生成网络的卷积层对样本图像进行特征提取，得到样本卷积特征谱。

步骤S1012，通过第一生成网络的上采样层对样本卷积特征谱进行上采样处理，以增大样本卷积特征谱的特征谱参数，得出样本上采样特征谱。

步骤S1013，根据样本上采样特征谱，确定出第一样本输出图像。

步骤S102，将第一样本输出图像输入至第一判别网络，得到第一判别结果。

在一些实施例中，步骤S102可以通过以下步骤实现：

步骤S1021，将第一样本输出图像输入至第一判别网络，通过第一判别网络中的卷积层对第一样本输出图像进行特征提取，得到输出图像卷积特征谱。

步骤S1022，通过第一判别网络中的全连接层对输出图像卷积特征谱进行全连接处理，得到第一判别结果。

在一些实施例中，当第一样本输出图像的风格为第二样本风格时，第一判别结果对应第一判别值；当第一样本输出图像的风格不是第二样本风格时，第一判别结果对应第二判别值；第一判别值与第二判别值为二分类判别值，例如，第一判别值为1，第二判别值为0。

在一些实施例中，当第二样本输出图像的风格为第一样本风格时，第二判别结果对应第一判别值；当第二样本输出图像的风格不是第一样本风格时，第二判别结果对应第二判别值；第一判别值与第二判别值为二分类判别值，例如，第一判别值为1，第二判别值为0。

在一些实施例中，第一判别网络还用于将第一样本输出图像与预设输出图像进行比较，得到第一损失结果，其中，预设输出图像可以是用户对样本图像的进行人工处理后得到的。也就是说，第一判别网络是用来判断输入的第一样本输出图像是否是真实的输出图像，于是生成的第一样本输出图像和原始的真实的输出图像都会输入到第一判别网络里面。

在一些实施例中，第一判别网络中还可以包括第一损失函数，通过第一损失函数可以计算第一样本输出图像与预设输出图像之间的第一相似度，并根据第一相似度确定上述第一判别值或第二判别值。

步骤S103，根据第一判别结果对第一生成网络进行修正，得到修正后的第一生成网络。

这里，当第一判别结果为第一判别值时，表明第一样本输出图像与预设输出图像之间的第一相似度较高；当第一判别结果为第二判别值时，表明第一样本输出图像与预设输出图像之间的第一相似度较低。

当第一相似度较高时，则表明当前的第一生成网络不能准确的对样本图像的进行风格转化，即，表明当前的第一生成网络中的卷积层不能对样本图像进行准确的特征提取，和/或，表明当前的第一生成网络中的上采样层不能对样本卷积特征谱进行准确的上采样处理。因此，需要对当前的第一生成网络中的卷积层和/或上采样层进行修正。那么，可以根据上述第二判别值或者第一相似度，对第一生成网络进行修正，直至第一生成网络输出的第一样本输出图像与预设输出图像之间的第一相似度满足预设条件时，将对应的第一生成网络确定为训练好的第一生成网络。

步骤S104，将具有第二样本风格的样本图像输入至第二生成网络，得到第二样本输出图像。

步骤S105，将第二样本输出图像输入至第二判别网络，得到第二判别结果。

步骤S106，根据第二判别结果对第二生成网络进行修正，得到修正后的第二生成网络。

需要说明的是，步骤S104至步骤S106是对第二生成网络的训练过程，与上述步骤S101至步骤S103对第一生成网络的训练过程相同，这里不再赘述。

步骤S107，对修正后的第一生成网络和修正后的第二生成网络进行融合，形成循环生成对抗网络。

本申请实施例提供的循环生成对抗网络的训练方法，由于分别将具有第一样本风格的样本图像和具有第二样本风格的样本图像输入至第一生成网络和第二生成网络中，对应得到第一样本输出图像和第二样本输出图像，并采用第一判别网络和第二判别网络分别对第一生成网络和第二生成网络进行判别优化，如此，最终得到的具有第一生成网络和第二生成网络的循环生成对抗网络能够准确的对图像进行风格转化处理。

本申请实施例提供一种图像检测方法，应用于采用上述任一实施例提供的图像处理方法得到的处理图像进行数据扩充时，所得到的扩充后的图像数据库。图11是本申请实施例提供的图像检测方法的一种可选的流程示意图，如图11所示，方法包括以下步骤：

步骤S111，在图像数据库中获取待处理图像。所述待处理图像具有第一场景风格。

步骤S112，采用预先训练得到的循环生成对抗网络，对待处理图像进行风格转换处理，得到具有第二场景风格的处理图像。

这里，步骤S112可以通过以下步骤实现；

步骤S1121，对待处理图像进行特征提取，得到待处理图像的卷积特征谱。

步骤S1122，对卷积特征谱进行上采样处理，以增大卷积特征谱的特征谱参数，得到上采样特征谱。

步骤S1123，根据上采样特征谱，确定出具有第二场景风格的处理图像。

步骤S113，将处理图像存储至图像数据库中，以得到扩充后的图像数据库。

步骤S114，采用扩充后的图像数据库中的图像训练得到目标检测模型。

在一些实施例中，步骤S114可以通过以下步骤实现：

步骤S1141，将扩充数据库中的图像作为样本数据，输入至预设目标检测模型中，得到样本检测结果。步骤S1142，将样本检测结果输入至第一预设损失模型中，得到损失结果。步骤S1143，根据损失结果，对预设目标检测模型进行修正，得到目标检测模型。

步骤S115，采用目标检测模型对待检测图像进行图像检测处理。

在一些实施例中，待检测图像包括游戏场景图像；对应地，步骤S115可以通过以下步骤实现：

步骤S1151，采用目标检测模型，检测游戏场景图像中的可操作对象。

请继续参照图11，在一些实施例中，方法还可以包括以下步骤：

步骤S116，当确定出游戏场景图像中存在可操作对象时，确定可操作对象的类型。

步骤S117，根据可操作对象的类型，确定游戏场景图像对应的实现功能。

本申请实施例提供的图像检测方法，采用扩充后的图像数据库训练得到用于进行目标检测的目标检测模型，由于图像数据库中具有大量的图像，且图像的风格多样，因此，进行目标检测模型训练的训练样本更加丰富，从而能够训练得到更加准确的目标检测模型，使得训练得到的目标检测模型能够对任意类型的图像进行目标检测，提高了目标检测模型的泛化能力。

下面，将说明本申请实施例在一个实际的应用场景中的示例性应用。

本申请实施例提供一种数据扩充方法，通过图像处理方法对图像的风格进行转化，形成具有新的风格的处理图像，从而实现对图像数据库的扩充。

本申请实施例中，基于循环生成对抗网络的游戏风格转化方法，主要解决的问题是如何基于循环生成对抗网络，快速生成不同风格的游戏场景图像。首先，人工收集多种游戏的游戏用户界面(UI，User Interface)图像，随后，训练循环生成对抗网络学习不同风格游戏的生成器和判别器。最后，输入一种类型的游戏场景图像，由生成器生成另一种风格的游戏场景图像。这种方式生成不同风格的游戏图像，能改变游戏按钮的外观，扩充游戏场景数据库，有助于训练泛化性更好的通用游戏按钮检测网络(即目标检测模型)。图12是本申请实施例提供的不同游戏的UI场景的示例图，如图12所示，左图是游戏提示场景下的UI图像，图中包括背景图像121和提示界面122，提示界面上122上包括操作按钮1221；右图是游戏运行场景下的UI图像，图中包括背景图像123和游戏运行界面124，游戏运行界面124上包括操作按钮1241。

本申请实施例中的游戏风格转化方法，采用的循环生成对抗网络能学习不同风格游戏场景图像的深度特征，通过不同风格的生成器能生成较为自然的游戏场景图像，即在输入游戏场景图像后，生成器能改变游戏场景图像的风格，生成不同风格的较为自然的游戏场景图像。有助于提升目标检测模型的泛化能力，其中，泛化能力是指在未出现在训练集的游戏场景上检测游戏按钮的能力。相比于相关技术中基于硬编码的方式，本申请实施例生成的游戏场景图像更加自然，能更有效扩充游戏场景数据库(即图像数据库)。相比于相关技术中基于GAN的方式，本申请实施例中将整张游戏场景图像的风格进行变化，能统一游戏场景图像的风格，生成的游戏场景图像更加自然。

本申请实施例主要采用循环生成对抗网络(CycleGAN)进行游戏风格的转换。在输入游戏场景图像后，生成器生成不同风格的游戏场景图像，同时，判别器区分样本是否是真实的游戏场景图像。完成训练后，生成器能改变游戏场景图像的风格，丰富不同风格的游戏场景数据库。基于该数据库训练的目标检测模型能有更高的泛化能力。风格转换过程的示例图像如图13A和图13B所示，图13A中的131为真实的游戏场景图像，图13A中的132为风格转化后的图像，图13B中的133为真实的游戏场景图像，图13B中的134为风格转化后的图像。由图13A和图13B可以看出，风格转化后的图像的整体风格发生了改变，与真实的原始图像(即左图)的风格完全不同，例如，图像的颜色和亮度均整体发生了改变。

游戏风格转化是游戏数据库扩充的重要组成部分。通过风格转化，能丰富不同风格的游戏场景数据库，基于扩充后的游戏场景数据库训练的目标检测模型有更强的泛化能力，能够防止模型过拟合。本申请实施例采用循环生成对抗网络学习不同风格游戏的深度特征，能转换游戏场景图像的风格，丰富游戏场景数据库。本申请实施例能有效扩充样本，有助于提升按钮检测的精度。该方案生成的游戏图像的亮度和色彩会根据对应的游戏风格进行改变，不同区域的亮度和色彩变化并不一致，能学会不同风格游戏图像的特点，将其用于新游戏图像的生成。

图14是本申请实施例提供的基于循环生成对抗网络的游戏风格转换流程示意图，如图14所示，方法包括以下步骤：

步骤S141，收集不同游戏的场景数据库。

这里，可以通过人工方式收集多种游戏的场景图像，每个游戏收集一定数量的图像(例如，可以收集约30张图像)，得到游戏图像集合后，分别针对每一个游戏，训练对应的风格生成器。对每一个游戏，将对应的游戏样本作为样本集A1，随机采样其他游戏的场景图像作为样本集B1，即利用其它游戏的风格生成新的游戏图像。

步骤S142，采用收集的场景数据库，训练循环生成对抗网络。

在得到对应风格的样本集后，采用样本集训练循环生成对抗网络。网络结构如图15所示，循环生成对抗网络150包括生成网络G_AB、判别器D_A、生成网络G_BA、和判别器D_B，其中，风格A的样本经由生成网络G_AB生成风格B的样本，判别器D_B用于区分生成的图像是否是真实的，这里的真实指的就是与数据库中收集的风格B的游戏图像具有相同的风格。如果是真实的，则打分应该为1，否则为0。风格B的样本经由生成网络G_BA生成风格A的样本，判别器D_A用于区分生成的图像是否是真实的，如果是真实的，则打分应该为1，否则为0。这里，G_AB和G_BA的网络权重不同，D_A和D_B的网络权重不同。

在一些实施例中，生成网络的网络结构如图16所示，生成网络(包括G_{A B}和G_BA)由四个卷积层61至64、和四个上采样层65至68组成(为了简便，没有展示激活层)，卷积层61至64采用滤波器提取输入特征(即输入的图像)的卷积特征谱，而上采样层65至68会增加卷积特征谱的宽高，激活层能增加网络的非线性。除了最后一层，其它层后面都存在一个激活层。

举例来说，可以从图像中截取128×128的像素区域，这里采用这个大小主要是为了减小计算复杂度，将其作为生成网络的输入。首先通过四个卷积层提取图像的卷积特征谱，随后采用四个上采样层生成图像，上采样层会在输入特征图中间插入0，然后再进行卷积操作，以使得输出特征谱的宽高变为输入特征谱的2倍。插入0的目的是增加特征谱的宽高。在一些实施例中，为了增加特征的判别能力，还可以将上采样层输出的特征谱与具有相同宽高的卷积特征谱进行级联处理161，最后输出为不同风格的游戏生成图像。

在一些实施例中，判别网络的网络结构如图17所示，判别网络D_A或判别网络D_B(指由判别器D_A或判别器D_B形成的网络)由四个卷积层71至74、和一个全连接层75组成(为了简便，没有展示激活层)，除了最后一层，其它层后面都存在一个激活层。

在一些实施例中，判别网络D_A的目标是提升区分真实的风格A图像的精度。判别网络D_A的损失

如下公式(1-1)：

其中，N₁表示风格B样本的数量；b_i表示第i个风格B样本；N₂表示风格A样本的数量；a_j表示第j个风格A样本；G_BA表示从风格B转变成风格A的生成网络；D_A(a_j)表示第j个风格A样本通过判别器D_A得到的打分。

公式(1-1)中的前一项(即

)要求真实的风格A的图像通过判别器的得分越高越好，后一项(即

)要求生成的风格A的游戏图像通过判别器的得分越低越好。通过最小化该损失

优化判别器D_A。

判别网络D_B的目标是提升区分真实的风格B图像的精度。判别网络D_B的损失

如下公式(1-2)：

其中，D_B(b_i)表示第i个风格B样本通过判别器D_B得到的打分；G_AB表示从风格A转变成风格B的生成网络。

判别网络的目标是尽量提升真实样本通过判别器的打分，而生成网络的目标是生成与真实样本尽量相似的新样本，其中，生成网络的损失L_G如以下公式(1-3)所示：

其中，第一行要求生成的样本在在判别器的打分越高越好，第二行要求两个生成网络循环生成的图像与原图像相似度越高越好。α和β代表损失的权重，p代表图像的像素个数，b_i,p是第i个风格B样本的第p个像素，a_j,p是第j个风格A样本的第p个像素。

通过循环迭代训练判别网络和生成网络，如果损失低于阈值，则停止模型训练。

步骤S143，采用所训练得到的循环生成对抗网络，转换游戏场景图像的风格。

本申请实施例中，在完成训练后，输入风格A的游戏场景图像，经过G_AB生成风格B的样本，输入风格B的游戏，经过G_BA生成风格A的样本。

步骤S144，通过转换风格后的图像，生成游戏场景数据库。

本申请实施例中，针对每一个游戏分别训练对应的风格生成网络，随后通过训练得到的风格生成网络，生成对应风格的新的游戏场景图像。

在一些实施例中，生成的游戏场景图像可以用于扩充游戏场景数据库，从而，使用扩充后的游戏场景数据库训练用于进行游戏按钮检测的目标检测网络时，能提升目标检测网络的泛化能力。

本申请实施例中，基于循环生成对抗网络的游戏风格转换方法，采用循环生成对抗的思想，为每一个游戏训练对应的风格生成网络，通过生成新的游戏场景图像，能提升游戏场景数据库的泛化能力。

下面继续说明本申请实施例提供的图像处理装置354实施为软件模块的示例性结构，在一些实施例中，如图3所示，存储在存储器350的图像处理装置354中的软件模块可以是服务器300中的图像处理装置，包括：

获取模块3541，用于获取待处理图像，所述待处理图像具有第一场景风格；特征提取模块3542，用于对所述待处理图像进行特征提取，得到所述待处理图像的卷积特征谱；上采样处理模块3543，用于对所述卷积特征谱进行上采样处理，以增大所述卷积特征谱的特征谱参数，得到上采样特征谱；确定模块3544，用于根据所述上采样特征谱，确定出具有第二场景风格的处理图像。

在一些实施例中，所述待处理图像中包括第一背景图像和至少一个第一可操作对象，所述第一可操作对象和所述第一背景图像均具有所述第一场景风格；对应地，所述处理图像中包括第二背景图像和至少一个第二可操作对象，所述第二可操作对象和所述第二背景图像均具有所述第二场景风格。

在一些实施例中，所述待处理图像包括第一区域和第二区域；所述装置还包括：第一区域处理模块，用于依次对所述第一区域进行所述特征提取和所述上采样处理，对应得到所述第一区域的上采样特征谱；第二区域处理模块，用于依次对所述第二区域进行所述特征提取和所述上采样处理，对应得到所述第二区域的上采样特征谱；所述确定模块还用于：根据所述第一区域的上采样特征谱和所述第二区域的上采样特征谱，确定出具有第二场景风格的处理图像。

在一些实施例中，所述确定模块还用于：根据所述第一区域的上采样特征谱，确定出所述第一区域对应的第一部分图像；根据所述第二区域的上采样特征谱，确定出所述第二区域对应的第二部分图像；对所述第一部分图像和所述第二部分图像进行融合，形成所述处理图像；其中，所述第一部分图像的场景风格与所述第二部分图像的场景风格不同，且所述第一部分图像的场景风格与所述第二部分图像的场景风格共同形成所述第二场景风格。

在一些实施例中，所述第一区域为游戏背景图像，所述第二区域为游戏操作对象；所述装置还包括：匹配模块，用于在素材库中匹配出与所述游戏背景图像和所述游戏操作对象对应的素材；添加模块，用于将所述素材添加到所述处理图像上。

在一些实施例中，所述装置还包括：存储模块，用于将所述处理图像存储至图像数据库中，以形成扩充后的图像数据库；目标图像获取模块，用于在所述扩充后的图像数据库中获取具有所述第二场景风格的目标图像；目标图像处理模块，用于依次对所述目标图像进行所述特征提取和所述上采样处理，以实现对所述目标图像进行风格转换处理，得到具有第三场景风格的处理图像，其中，所述第三场景风格是与所述第一场景风格相同的风格；对应地，所述存储模块还用于将具有所述第三场景风格的处理图像存储至所述扩充后的图像数据库中。

在一些实施例中，所述装置还包括：处理模块，用于采用循环生成对抗网络确定出具有所述第二场景风格的所述处理图像；其中，所述循环生成对抗网络通过以下步骤训练得到：将具有第一样本风格的样本图像输入至第一生成网络，得到第一样本输出图像；将所述第一样本输出图像输入至第一判别网络，得到第一判别结果；根据所述第一判别结果对所述第一生成网络进行修正，得到修正后的第一生成网络；将具有第二样本风格的样本图像输入至第二生成网络，得到第二样本输出图像；将所述第二样本输出图像输入至第二判别网络，得到第二判别结果；根据所述第二判别结果对所述第二生成网络进行修正，得到修正后的第二生成网络；对所述修正后的第一生成网络和所述修正后的第二生成网络进行融合，形成所述循环生成对抗网络。

在一些实施例中，所述循环生成对抗网络通过以下步骤训练得到：将具有所述第一样本风格的样本图像输入至所述第一生成网络中，通过所述第一生成网络的卷积层对所述样本图像进行特征提取，得到样本卷积特征谱；通过所述第一生成网络的上采样层对所述样本卷积特征谱进行上采样处理，以增大所述样本卷积特征谱的特征谱参数，得出样本上采样特征谱；根据所述样本上采样特征谱，确定出所述第一样本输出图像。

在一些实施例中，所述循环生成对抗网络通过以下步骤训练得到：将所述第一样本输出图像输入至第一判别网络，通过所述第一判别网络中的卷积层对所述第一样本输出图像进行特征提取，得到输出图像卷积特征谱；通过所述第一判别网络中的全连接层对所述输出图像卷积特征谱进行全连接处理，得到所述第一判别结果。

在一些实施例中，当所述第一样本输出图像的风格为所述第二样本风格时，所述第一判别结果对应第一判别值；当所述第一样本输出图像的风格不是所述第二样本风格时，所述第一判别结果对应第二判别值；所述第一判别值与所述第二判别值为二分类判别值。

在一些实施例中，当所述第二样本输出图像的风格为所述第一样本风格时，所述第二判别结果对应所述第一判别值；当所述第二样本输出图像的风格不是所述第一样本风格时，所述第二判别结果对应第二判别值；所述第一判别值与所述第二判别值为二分类判别值。

需要说明的是，本申请实施例装置的描述，与上述方法实施例的描述是类似的，具有同方法实施例相似的有益效果，因此不做赘述。对于本装置实施例中未披露的技术细节，请参照本申请方法实施例的描述而理解。

本申请实施例提供一种存储有可执行指令的存储介质，其中存储有可执行指令，当可执行指令被处理器执行时，将引起处理器执行本申请实施例提供的方法，例如，如图4示出的方法。

在一些实施例中，存储介质可以是计算机可读存储介质，例如，铁电存储器(FRAM，Ferromagnetic Random Access Memory)、只读存储器(ROM，R ead Only Memory)、可编程只读存储器(PROM，Programmable Read Only Memory)、可擦除可编程只读存储器(EPROM，Erasable Programmable Read Only Memory)、带电可擦可编程只读存储器(EEPROM，Electrically Erasable Programmable Read Only Memory)、闪存、磁表面存储器、光盘、或光盘只读存储器(CD-ROM，Compact Disk-Read Only Memory)等存储器；也可以是包括上述存储器之一或任意组合的各种设备。

在一些实施例中，可执行指令可以采用程序、软件、软件模块、脚本或代码的形式，按任意形式的编程语言(包括编译或解释语言，或者声明性或过程性语言)来编写，并且其可按任意形式部署，包括被部署为独立的程序或者被部署为模块、组件、子例程或者适合在计算环境中使用的其它单元。

作为示例，可执行指令可以但不一定对应于文件系统中的文件，可以可被存储在保存其它程序或数据的文件的一部分，例如，存储在超文本标记语言(H TML，Hyper TextMarkup Language)文档中的一个或多个脚本中，存储在专用于所讨论的程序的单个文件中，或者，存储在多个协同文件(例如，存储一个或多个模块、子程序或代码部分的文件)中。作为示例，可执行指令可被部署为在一个计算设备上执行，或者在位于一个地点的多个计算设备上执行，又或者，在分布在多个地点且通过通信网络互连的多个计算设备上执行。

以上所述，仅为本申请的实施例而已，并非用于限定本申请的保护范围。凡在本申请的精神和范围之内所作的任何修改、等同替换和改进等，均包含在本申请的保护范围之内。

Claims (12)

1.一种图像处理方法，其特征在于，包括：

获取待处理图像，所述待处理图像具有第一场景风格；所述待处理图像为游戏场景图像，所述游戏场景图像包括第一区域和第二区域；所述第一区域是所述游戏场景图像的游戏背景图像，所述第二区域是所述游戏场景图像的游戏操作对象；

依次对所述第一区域和所述第二区域进行特征提取，得到所述第一区域的卷积特征谱和所述第二区域的卷积特征谱；

依次对所述第一区域的卷积特征谱和所述第二区域的卷积特征谱进行上采样处理，以增大所述第一区域的卷积特征谱的特征谱参数和所述第二区域的卷积特征谱的特征谱参数，得到所述第一区域的上采样特征谱和所述第二区域的上采样特征谱；

根据所述第一区域的上采样特征谱和所述第二区域的上采样特征谱，确定出具有第二场景风格的处理图像；

在素材库中匹配出与所述游戏背景图像和所述游戏操作对象对应的素材；

将所述素材添加到所述处理图像上。

2.根据权利要求1所述的方法，其特征在于，所述第一区域包括第一背景图像，所述第二区域包括至少一个第一可操作对象，所述第一可操作对象和所述第一背景图像均具有所述第一场景风格；

对应地，所述处理图像中包括第二背景图像和至少一个第二可操作对象，所述第二可操作对象和所述第二背景图像均具有所述第二场景风格。

3.根据权利要求1所述的方法，其特征在于，所述根据所述第一区域的上采样特征谱和所述第二区域的上采样特征谱，确定出具有第二场景风格的处理图像，包括：

根据所述第一区域的上采样特征谱，确定出所述第一区域对应的第一部分图像；

根据所述第二区域的上采样特征谱，确定出所述第二区域对应的第二部分图像；

对所述第一部分图像和所述第二部分图像进行融合，形成所述处理图像；

其中，所述第一部分图像的场景风格与所述第二部分图像的场景风格不同，且所述第一部分图像的场景风格与所述第二部分图像的场景风格共同形成所述第二场景风格。

4.根据权利要求1所述的方法，其特征在于，所述方法还包括：

将所述处理图像存储至图像数据库中，以形成扩充后的图像数据库；

在所述扩充后的图像数据库中获取具有所述第二场景风格的目标图像；

依次对所述目标图像进行所述特征提取和所述上采样处理，以实现对所述目标图像进行风格转换处理，得到具有第三场景风格的处理图像，其中，所述第三场景风格是与所述第一场景风格相同的风格；

将具有所述第三场景风格的处理图像存储至所述扩充后的图像数据库中。

5.根据权利要求1所述的方法，其特征在于，所述方法还包括：采用循环生成对抗网络确定出具有所述第二场景风格的所述处理图像；

其中，所述循环生成对抗网络通过以下步骤训练得到：

将具有第一样本风格的样本图像输入至第一生成网络，得到第一样本输出图像；

将所述第一样本输出图像输入至第一判别网络，得到第一判别结果；

根据所述第一判别结果对所述第一生成网络进行修正，得到修正后的第一生成网络；

将具有第二样本风格的样本图像输入至第二生成网络，得到第二样本输出图像；

将所述第二样本输出图像输入至第二判别网络，得到第二判别结果；

根据所述第二判别结果对所述第二生成网络进行修正，得到修正后的第二生成网络；

对所述修正后的第一生成网络和所述修正后的第二生成网络进行融合，形成所述循环生成对抗网络。

6.根据权利要求5所述的方法，其特征在于，所述将具有第一样本风格的样本图像输入至第一生成网络，得到第一样本输出图像，包括：

将具有所述第一样本风格的样本图像输入至所述第一生成网络中，通过所述第一生成网络的卷积层对所述样本图像进行特征提取，得到样本卷积特征谱；

通过所述第一生成网络的上采样层对所述样本卷积特征谱进行上采样处理，以增大所述样本卷积特征谱的特征谱参数，得出样本上采样特征谱；

根据所述样本上采样特征谱，确定出所述第一样本输出图像。

7.根据权利要求5所述的方法，其特征在于，所述将所述第一样本输出图像输入至第一判别网络，得到第一判别结果，包括：

将所述第一样本输出图像输入至第一判别网络，通过所述第一判别网络中的卷积层对所述第一样本输出图像进行特征提取，得到输出图像卷积特征谱；

通过所述第一判别网络中的全连接层对所述输出图像卷积特征谱进行全连接处理，得到所述第一判别结果。

8.根据权利要求5所述的方法，其特征在于，

当所述第一样本输出图像的风格为所述第二样本风格时，所述第一判别结果对应第一判别值；

当所述第一样本输出图像的风格不是所述第二样本风格时，所述第一判别结果对应第二判别值；所述第一判别值与所述第二判别值为二分类判别值。

9.根据权利要求5所述的方法，其特征在于，

当所述第二样本输出图像的风格为所述第一样本风格时，所述第二判别结果对应所述第一判别值；

当所述第二样本输出图像的风格不是所述第一样本风格时，所述第二判别结果对应第二判别值；所述第一判别值与所述第二判别值为二分类判别值。

10.一种图像处理装置，其特征在于，包括：

获取模块，用于获取待处理图像，所述待处理图像具有第一场景风格；所述待处理图像为游戏场景图像，所述游戏场景图像包括第一区域和第二区域；所述第一区域是所述游戏场景图像的游戏背景图像，所述第二区域是所述游戏场景图像的游戏操作对象；

特征提取模块，用于依次对所述第一区域和所述第二区域进行特征提取，得到所述第一区域的卷积特征谱和所述第二区域的卷积特征谱；

上采样处理模块，用于依次对所述第一区域的卷积特征谱和所述第二区域的卷积特征谱进行上采样处理，以增大所述第一区域的卷积特征谱的特征谱参数和所述第二区域的卷积特征谱的特征谱参数，得到所述第一区域的上采样特征谱和所述第二区域的上采样特征谱；

确定模块，用于根据所述第一区域的上采样特征谱和所述第二区域的上采样特征谱，确定出具有第二场景风格的处理图像；

匹配模块，用于在素材库中匹配出与所述游戏背景图像和所述游戏操作对象对应的素材；

添加模块，用于将所述素材添加到所述处理图像上。

11.一种图像处理设备，其特征在于，包括：

存储器，用于存储可执行指令；处理器，用于执行所述存储器中存储的可执行指令时，实现权利要求1至9任一项所述的方法。

12.一种计算机可读存储介质，其特征在于，存储有可执行指令，用于引起处理器执行时，实现权利要求1至9任一项所述的方法。

Images