CN111915701A - 一种基于人工智能的按钮图像生成方法和装置 - Google Patents

一种基于人工智能的按钮图像生成方法和装置 Download PDF

Info

Publication number
CN111915701A
CN111915701A CN202010825844.5A CN202010825844A CN111915701A CN 111915701 A CN111915701 A CN 111915701A CN 202010825844 A CN202010825844 A CN 202010825844A CN 111915701 A CN111915701 A CN 111915701A
Authority
CN
China
Prior art keywords
button image
network
sample
real
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010825844.5A
Other languages
English (en)
Other versions
CN111915701B (zh
Inventor
黄超
周大军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shanghai Co Ltd
Original Assignee
Tencent Technology Shanghai Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shanghai Co Ltd filed Critical Tencent Technology Shanghai Co Ltd
Priority to CN202010825844.5A priority Critical patent/CN111915701B/zh
Publication of CN111915701A publication Critical patent/CN111915701A/zh
Application granted granted Critical
Publication of CN111915701B publication Critical patent/CN111915701B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/20—Drawing from basic elements, e.g. lines or circles
    • G06T11/206—Drawing of charts or graphs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06T3/04—
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供了一种基于人工智能的按钮图像生成方法、装置、电子设备及计算机可读存储介质；方法包括：从应用界面中采样得到相同类型的多个真实按钮图像样本；其中，所述多个真实按钮图像样本的外观具有类似的关键特征，且具有不同的风格；根据所述真实按钮图像样本训练对应所述类型的机器学习模型；通过所述机器学习模型执行以下处理：基于所述机器学习模型的输入数据生成包括所述关键特征、且具有新的风格的新按钮图像。通过本申请，能够智能化地生成风格多样化的按钮图像。

Description

一种基于人工智能的按钮图像生成方法和装置
技术领域
本申请涉及人工智能的图形处理技术，尤其涉及一种基于人工智能的按钮图像生成方法、装置、电子设备及计算机可读存储介质。
背景技术
人工智能(Artificial Intelligence，AI)是计算机科学的一个综合技术，通过研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。基于人工智能的图形处理技术在很多的领域得到应用，并发挥越来越重要的价值。
在应用界面开发中，需要为应用界面中的按钮设计多种风格，以满足不同用户群体的需求。相关技术中均是采用基于规则的游戏按钮图像扩充方法，即，通过随机裁剪游戏按钮、缩放游戏按钮的大小、更换游戏按钮的色调扩充游戏按钮图像，以丰富游戏按钮图像的外观风格，但本质上仅仅是在原有图像的基础上进行简单的修改，得到的游戏按钮外观风格差异不大，不能满足用户在视觉感观上的需求。
因此，相关技术中对于利用人工智能技术提升按钮图像的多样性尚无有效的方案。
发明内容
本申请实施例提供一种基于人工智能的按钮图像生成方法、装置、电子设备及计算机可读存储介质，能够智能化地生成风格多样化的按钮图像。
本申请实施例的技术方案是这样实现的：
本申请实施例提供一种基于人工智能的按钮图像生成方法，包括：
从应用界面中采样得到相同类型的多个真实按钮图像样本；
其中，所述多个真实按钮图像样本的外观具有类似的关键特征，且具有不同的风格；
根据所述真实按钮图像样本训练对应所述类型的机器学习模型；
通过所述机器学习模型执行以下处理：基于所述机器学习模型的输入数据生成包括所述关键特征、且具有新的风格的新按钮图像。
本申请实施例提供一种基于人工智能的按钮图像生成装置，包括：
采样模块，用于从应用界面中采样得到相同类型的多个真实按钮图像样本；
其中，所述多个真实按钮图像样本的外观具有类似的关键特征，且具有不同的风格；
训练模块，用于根据所述真实按钮图像样本训练对应所述类型的机器学习模型；
生成模块，用于通过所述机器学习模型执行以下处理：基于所述机器学习模型的输入数据生成包括所述关键特征、且具有新的风格的新按钮图像。
上述方案中，所述机器学习模型是自编码网络，所述自编码网络包括编码网络和解码网络；
所述训练模块，还用于通过所述编码网络对所述真实按钮图像样本进行特征提取处理，得到所述真实按钮图像样本的所述关键特征；
通过所述解码网络对所述关键特征进行上采样处理，得到具有所述关键特征的虚假按钮图像样本；
根据所述虚假按钮图像样本与所述真实按钮图像样本之间的误差，生成自编码网络损失函数；
根据所述自编码网络损失函数更新所述解码网络和所述编码网络的参数。
上述方案中，所述机器学习模型是生成对抗网络；其中，所述生成对抗网络包括生成网络和判别网络；
所述训练模块，还用于初始化所述生成网络和所述判别网络的参数；
根据所述真实按钮图像样本，交替地执行以下训练任务：
训练所述判别网络，以使所述判别网络区分所述真实按钮图像样本和虚假按钮图像样本；
训练所述生成网络，以使所述生成网络基于所述真实按钮图像样本生成所述虚假按钮图像样本；
其中，在训练所述生成网络的阶段，固定所述判别网络的参数不变；在训练所述判别网络的阶段，固定所述生成网络的参数不变。
上述方案中，所述训练模块，还用于通过所述生成网络并结合随机噪声样本生成虚假按钮图像样本；
分别以所述真实按钮图像样本和所述虚假按钮图像样本作为训练样本，通过所述判别网络确定所述训练样本属于真实图像的预测概率；
根据所述预测概率与所述训练样本的真实概率之间的误差，确定判别网络损失函数；
根据所述判别网络损失函数更新所述判别网络的参数。
上述方案中，所述判别网络包括多个级联的卷积层以及全连接层；
所述训练模块，还用于通过所述多个级联的卷积层对所述训练样本进行特征提取处理，得到所述训练样本的关键特征；
通过所述全连接层对所述训练样本的关键特征进行映射处理，得到所述训练样本属于真实图像的预测概率。
上述方案中，所述训练模块，还用于通过所述生成网络并结合随机噪声样本生成虚假按钮图像样本；
通过所述判别网络生成所述虚假按钮图像样本属于真实图像的预测概率；
根据所述预测概率与所述训练样本的真实概率之间的误差，确定生成网络损失函数；
通过所述生成网络损失函数更新所述生成网络的参数。
上述方案中，所述生成网络包括全连接层和上采样层；
所述训练模块，还用于通过所述全连接层将所述随机噪声样本映射到所述关键特征的特征向量空间，得到所述随机噪声样本的特征向量；
通过所述多个级联的上采样层对所述随机噪声样本的特征向量进行上采样处理，得到虚假按钮图像样本。
上述方案中，当所述机器学习模型是自编码网络时，所述输入数据是所述真实按钮图像；
所述生成模块，还用于通过所述自编码网络中的编码网络提取所述真实按钮图像的关键特征，并通过所述自编码网络中的解码网络对所述真实按钮图像的关键特征进行上采样处理，得到包括所述关键特征、且与所述真实按钮图像具有不同风格的虚假按钮图像，以作为新按钮图像。
上述方案中，当所述机器学习模型是生成对抗网络时，所述输入数据是随机噪声；
所述生成模块，还用于通过所述生成对抗网络中的生成网络，将所述随机噪声映射到所述关键特征的特征向量空间，得到所述随机噪声的特征向量，对所述随机噪声的特征向量进行上采样处理，得到具有所述关键特征、且具有随机性的风格的新按钮图像。
上述方案中，所述采样模块，还用于对多个应用的应用界面进行图像采样，得到多个应用界面图像；
获取所述多个应用界面图像的标签，其中，所述标签用于表征所述应用界面图像中按钮图像的类型以及位置；
针对每个所述类型执行以下处理：
根据所述标签确定所述类型的按钮图像分别在所述多个应用界面图像的位置，并根据所述确定的位置进行截图处理，得到多个真实按钮图像样本。
所述本申请实施例提供一种基于人工智能的按钮图像生成装置，还包括：
构造模块，用于将多个所述新按钮图像替换所述应用界面图像中对应类型的按钮图像，得到所述对应类型的多个新应用界面图像；
基于所述多个新应用界面图像构造应用界面图像库。
本申请实施例提供一种电子设备，包括：
存储器，用于存储可执行指令；
处理器，用于执行所述存储器中存储的可执行指令时，实现本申请实施例提供的基于人工智能的按钮图像生成方法。
本申请实施例提供一种计算机可读存储介质，存储有可执行指令，用于被处理器执行时，实现本申请实施例提供的基于人工智能的按钮图像生成方法。
本申请实施例具有以下有益效果：
通过训练机器学习模型学习对应类型的按钮图像的关键特征，并学习不同图像与风格之间的关联，从而能够针对任意的输入数据还原关键特征且具有新风格的新按钮图像，使得机器学习模型的具有良好的风格泛化能力。
附图说明
图1是本申请实施例提供的基于人工智能的按钮图像生成系统100的一个架构示意图；
图2是本申请实施例提供的电子设备600的结构示意图；
图3A是本申请实施例提供的基于人工智能的按钮图像生成方法的一个流程示意图；
图3B是本申请实施例提供的基于人工智能的按钮图像方法的一个流程示意图；
图3C是本申请实施例提供的基于人工智能的按钮图像方法的一个流程示意图；
图4是本申请实施例提供的不同类型的游戏按钮图像的示意图；
图5是本申请实施例提供的自编码网络700的示意图；
图6是本申请实施例提供的判别网络的结构示意图；
图7是本申请实施例提供的生成网络的结构示意图；
图8是本申请实施例提供的具有关键特征、且具有不同风格的游戏按钮图像的示意图；
图9是本申请实施例提供的基于人工智能的按钮图像生成方法的一个流程示意图；
图10是本申请实施例提供的生成新的游戏界面场景数据库的一个流程示意图；
图11是本申请实施例提供的游戏界面图像的示意图。
具体实施方式
为了使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请作进一步地详细描述，所描述的实施例不应视为对本申请的限制，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。
在以下的描述中，涉及到“一些实施例”，其描述了所有可能实施例的子集，但是可以理解，“一些实施例”可以是所有可能实施例的相同子集或不同子集，并且可以在不冲突的情况下相互结合。
除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本申请实施例的目的，不是旨在限制本申请。
对本申请实施例进行进一步详细说明之前，对本申请实施例中涉及的名词和术语进行说明，本申请实施例中涉及的名词和术语适用于如下的解释。
1)机器学习模型：通过计算的手段利用样本数据来改善机器学习模型自身的性能，以从样本数据中学习到样本数据具有的关键特征。
2)自编码网络：将输入数据进行编码，进行降低维度，发现输入数据之间的关键特征，再基于关键特征还原出类似于输入数据的输出数据。
3)生成对抗网络(GAN，Generative Adversarial Networks)：一种深度学习模型，通过生成网络(Generator)和判别网络(Discriminator)的互相博弈学习产生相当好的输出。判别网络需要输入变量以进行预测，而生成网络需要输入某种隐含信息，来随机产生观测数据(生成的虚假数据)，例如判别网络可以在给定一张猫的图像的情况下，判断这张图像是真实图像还是生成的虚假图像，生成网络可以在给定一系列猫的图像(训练样本集合)的情况下，生成一张新的猫的图像(不在训练样本集合里)。
4)风格：按钮图像在整体上呈现的有代表性的视觉艺术的表现形式，例如中国画、水彩、素描、油画、版画、动漫等都属于按钮图像的风格。按钮图像可以通过风格体现丰富的、特别的新视觉效果。
5)关键特征：通过机器学习模型提取到的按钮图像在外观上的具有辨识性的特征，包含了按钮图像的抽象信息。
6)泛化能力：指机器学习算法对新鲜样本的适应能力，简而言之是在原有的样本数据集合上添加新的样本数据，通过训练输出一个合理的结果，学习的目的是学到隐含在样本数据背后的规律，对具有同一规律的样本数据集合以外的数据，经过训练的网络也能给出合适的输出，即称为泛化能力。
7)真实按钮图像样本，是在应用界面中采样得到的按钮图像，用于训练机器学习模型的样本数据之一。
8)虚假按钮图像样本，是生成网络生成的按钮图像，用于训练判别网络的样本数据之一。
相关技术中，均是采用基于规则的游戏按钮图像扩充方法来扩充游戏按钮图像，即，通过随机裁剪游戏按钮、缩放游戏按钮的大小、更换游戏按钮的色调扩充游戏按钮图像，以丰富游戏按钮图像的外观风格，但本质上仅仅是在原有图像的基础上进行简单的修改，得到的游戏按钮图像外观风格差异不大，不能满足用户在视觉感观上的需求。
针对上述问题，本申请实施例提供一种基于人工智能的按钮图像生成方法、装置、电子设备和计算机可读存储介质，能够智能化地生成风格多样化的按钮图像，下面说明本申请实施例提供的用于按钮图像生成的电子设备的示例性应用，本申请实施例提供的按钮图像生成的电子设备可以是服务器，例如部署在云端的服务器，根据采样的按钮图像生成包含关键特征、且风格迥异的新按钮图像，以智能化地生成风格多样化的按钮图像；也可以实施为笔记本电脑，平板电脑，台式计算机，机顶盒，移动设备(例如，移动电话，便携式音乐播放器，个人数字助理，专用消息设备，便携式游戏设备)等各种类型的用户终端，根据用户输入的按钮图像智能化地生成风格多样化的按钮图像。下面，将说明电子设备实施为服务器时的示例性应用。
参见图1，图1是本申请实施例提供的基于人工智能的按钮图像生成系统100的一个架构示意图，包括按钮图像服务器200、应用服务器300、数据库400以及终端500。
在一些实施例中，按钮图像服务器200从应用服务器300采集应用界面的真实按钮图像以作为训练样本，根据训练样本训练与训练样本所关联的功能(例如关闭、返回等)对应的类型的机器学习模型，通过训练好的机器学习模型基于输入数据生成包括所述关键特征、且具有新的风格的新按钮图像，多个相同类型的新按钮图像形成一个数据库存储到数据库400中，数据库400存储的新按钮图像供应用服务器300使用，即用户触碰终端500的应用界面中的切换风格的按钮501，终端500向应用服务器300发送切换应用界面的风格的请求，当应用服务器300接收到终端500发起的切换应用界面的风格的请求时，读取数据库400中存储的相应类型的按钮图像以更新应用界面。
在一些实施例中，终端500可以设置切换风格的切换条件(例如当使用时间是白天或晚上时设置对应的风格的应用界面，设置账号的不同等级所对应的不同风格的应用界面)，当终端接收到切换条件对应的触发信息时，切换应用界面为对应的风格。
在一些实施例中，按钮图像服务器200可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器，本申请实施例中不做限制。
下面，以电子设备为服务器为例进行说明。参见图2，图2是本申请实施例提供的电子设备600的结构示意图，图2所示的电子设备600包括：至少一个处理器610、存储器650、至少一个网络接口620。电子设备600中的各个组件通过总线系统640耦合在一起。可理解，总线系统640用于实现这些组件之间的连接通信。总线系统640除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图2中将各种总线都标为总线系统640。
处理器610可以是一种集成电路芯片，具有信号的处理能力，例如通用处理器、数字信号处理器(DSP，Digital Signal Processor)，或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等，其中，通用处理器可以是微处理器或者任何常规的处理器等。
存储器650可以是可移除的，不可移除的或其组合。示例性的硬件设备包括固态存储器，硬盘驱动器，光盘驱动器等。存储器650可选地包括在物理位置上远离处理器610的一个或多个存储设备。
存储器650包括易失性存储器或非易失性存储器，也可包括易失性和非易失性存储器两者。非易失性存储器可以是只读存储器(ROM，Read Only Me mory)，易失性存储器可以是随机存取存储器(RAM，Random Access Memor y)。本申请实施例描述的存储器650旨在包括任意适合类型的存储器。
在一些实施例中，存储器650能够存储数据以支持各种操作，这些数据的示例包括程序、模块和数据结构或者其子集或超集，下面示例性说明。
操作系统651，包括用于处理各种基本系统服务和执行硬件相关任务的系统程序，例如框架层、核心库层、驱动层等，用于实现各种基础业务以及处理基于硬件的任务；
网络通信模块652，用于经由一个或多个(有线或无线)网络接口620到达其他计算设备，示例性的网络接口620包括：蓝牙、无线相容性认证(WiFi)、和通用串行总线(USB，Universal Serial Bus)等；
在一些实施例中，本申请实施例提供的基于人工智能的按钮图像生成装置可以采用软件方式实现，图2示出了存储在存储器650中的基于人工智能的按钮图像生成装置655，其可以是程序和插件等形式的软件，包括以下软件模块：采样模块6551、训练模块6552、生成模块6553和构造模块6554，其中，构造模块6554是可选的。这些模块是逻辑上的，因此根据所实现的功能可以进行任意的组合或进一步拆分。下面对不同的软件实现方式进行举例说明。
示例一、按钮图像生成装置可以是终端应用程序及模块
本申请实施例可提供为使用C/C++、Java等编程语言设计的软件模块，嵌入到基于Android或iOS等系统的各种终端Apps中(例如游戏应用等)(以可执行指令的存储在终端的存储介质中，由终端的处理器执行)，从而直接使用终端自身的计算资源完成相关的机器学习模型训练、生成等任务，并且定期或不定期地通过各种网络通信方式将机器学习模型训练、生成等结果传送给远程的服务器，或者在移动端本地保存。
示例二、按钮图像生成装置可以是服务器应用程序及平台
本申请实施例可提供使用C/C++、Java等编程语言设计的应用软件或大型软件系统中的专用软件模块，运行于服务器端(以可执行指令的方式在服务器端的存储介质中存储，并由服务器端的处理器运行)，将接收到的来自其它设备的各种原始数据、各级中间数据和最终结果中的至少一种，与服务器上已有的某些数据或结果综合起来进行机器学习模型的训练、以及使用训练完成的机器学习模型生成新按钮图像，然后实时或非实时地输出机器学习模型或生成的新按钮图像给其他应用程序或模块使用，也可以写入服务器端数据库或文件进行存储。
本发明实施例还可以提供为在多台服务器构成的分布式、并行计算平台上，搭载定制的、易于交互的网络(Web)界面或其他各用户界面(UI，User Interface)，形成供个人、群体或企业使用的UI界面设计平台等。使用者可以将已有的数据包批量上传给此平台以获得各种计算结果，也可以将实时的数据流传输给此平台来实时计算和刷新各级结果。
示例三、按钮图像生成装置可以是服务器端应用程序接口(API，ApplicationProgram Interface)及插件
本申请实施例可提供为服务器端的实现机器学习模型训练功能、基于机器学习模型生成按钮图像的API、软件开发套件(SDK，Software Development Toolkit)或插件，供其他的服务器端应用程序开发人员调用，并嵌入到各类应用程序中。
示例四、按钮图像生成装置可以是终端设备客户端API及插件
本申请实施例还可提供为终端设备端的实现机器学习模型训练功能的、基于机器学习模型生成按钮图像的API、SDK或插件，供其他的终端应用程序开发人员调用，并嵌入到各类应用程序中。
示例五、按钮图像生成装置可以是云端开放服务
本申请实施例可提供为基于机器学习模型生成按钮图像的UI界面设计云服务、本发明实施例还可提供为UI界面设计云服务的应用程序包(Android a pplicationpackage，API)、软件开发工具包(Software Development Kit，SDK)及插件等，打包封装成可供企业内外人员开放使用的云服务，或者将各种结果以适当形式展示在各种终端显示设备上，供个人、群体或企业使用。
在另一些实施例中，本申请实施例提供的基于人工智能的按钮图像生成装置可以采用硬件方式实现，作为示例，本申请实施例提供的基于人工智能的按钮图像生成装置可以是采用硬件译码处理器形式的处理器，其被编程以执行本申请实施例提供的基于人工智能的按钮图像生成方法，例如，硬件译码处理器形式的处理器可以采用一个或多个应用专用集成电路(ASIC，Application Spe cific Integrated Circuit)、DSP、可编程逻辑器件(PLD，Programmable Logic Device)、复杂可编程逻辑器件(CPLD，Complex ProgrammableLogic Device)、现场可编程门阵列(FPGA，Field-Programmable Gate Array)或其他电子元件。
下面将结合本申请实施例提供的服务器的示例性应用和实施，说明本申请实施例提供的基于人工智能的按钮图像生成方法。可以理解地，下述的方法可以由上文所述的终端或按钮图像服务器参见图3A，图3A是本申请实施例提供的基于人工智能的按钮图像生成方法的一个流程示意图，将结合图3A示出的步骤进行说明。
在步骤101中，从应用界面中采样得到相同类型的多个真实按钮图像样本；其中，所述多个真实按钮图像样本的外观具有类似的关键特征，且具有不同的风格。
在一些实施例中，从应用界面中采样得到相同类型的多个真实按钮图像样本，包括：对多个应用的应用界面进行图像采样，得到多个应用界面图像；获取多个应用界面图像的标签，其中，所述标签用于表征应用界面图像中按钮图像的类型以及位置；针对每个类型执行以下处理：根据标签确定各类型的按钮图像分别在多个应用界面图像的位置，并根据确定的位置进行截图处理，得到多个真实按钮图像样本。
以游戏应用界面场景为例，按钮图像服务器从游戏应用服务器收集多个游戏应用界面场景图像，并给每张图像打上标签，标签用于表示图像中各种不同类型的游戏按钮图像在游戏应用界面中的位置。作为示例，游戏按钮图像有三种类型：返回游戏按钮图像、属性游戏按钮图像以及关闭游戏按钮图像。
参见图4，图4是本申请实施例提供的不同类型的游戏按钮图像的示意图，包括返回游戏按钮图像401、属性游戏按钮图像402和关闭游戏按钮图像403。其中，不同类型的游戏按钮图像是根据游戏按钮图像所关联的功能(例如返回功能、显示属性功能、关闭功能)进行分类得到的；不同的类型对应不同的功能。其位置由四维数组来表示，包括在包括游戏按钮图像的平面坐标系中的横坐标、纵坐标、游戏按钮图像的宽度、以及游戏按钮图像的高度。根据游戏按钮图像的类型和位置，通过对游戏应用界面图像的截图处理，提取对应的游戏按钮图像区域，将游戏按钮图像区域缩放至固定尺寸，将相同类型的游戏按钮图像分类保存至对应类型的游戏按钮图像集合中，以作为真实按钮图像样本。
在本申请实施例中，将游戏按钮图像缩放至同样像素大小，以减小机器学习模型的计算复杂度；关键特征是外观上的具有辨识性的特征，例如关闭按钮中的X型，不同类型的按钮图像具有与其类型对应的辨识性的特征，针对不同类型的按钮图像提取不同的关键特征以训练对应类型的机器学习模型，训练结果更加准确。
在步骤102中，根据真实按钮图像样本训练对应类型的机器学习模型。
在一些实施例中，机器学习模型可以是自编码网络；其中，自编码网络包括编码网络和解码网络；参见图3B，图3B是本申请实施例提供的基于人工智能的按钮图像方法的一个流程示意图，基于图3A，图3B示出的步骤102可以通过步骤1021A至步骤1023A实现，将结合各步骤进行说明。针对每个真实按钮图像样本，执行以下处理：
在步骤1021A中，通过编码网络对真实按钮图像样本进行特征提取处理，得到真实按钮图像样本的关键特征；
在步骤1022A中，通过解码网络对关键特征进行上采样处理，得到具有关键特征的虚假按钮图像样本；
在步骤1023A中，根据虚假按钮图像样本与真实按钮图像样本之间的误差，生成自编码网络损失函数；
在步骤1024A中，运用反向传播算法，根据自编码网络损失函数更新解码网络和编码网络的参数。
在一些示例中，参见图5，图5是本申请实施例提供的自编码网络700的示意图，包括编码网络710和解码网络720。其中，编码网络710用于提取真实按钮图像样本的隐层特征(即关键特征)，也就是将真实按钮图像样本压缩为包括关键特征的特征图，然后由解码网络720基于关键特征还原出与真实按钮图像样本类似的图像，由于这个图像是通过模型生成的而不是在应用界面进行图像采集得到的，因此称为虚假按钮图像样本。
作为示例，编码网络是通过下采样层(例如，卷积层)来实现的，可以包括多个级联的下采样层，以提取深层的关键特征。由于在一个真实按钮图像样本中的不同像素点位置的相同目标，它们的特征是基本相同的，每一个下采样层通过一个卷积核的卷积操作提取真实按钮图像样本的不同像素点位置的同样特征。也就是说，用一个卷积操作得到真实按钮图像样本中局部的关键特征，以使解码网络可以根据所提取的关键特征进行还原。
作为示例，这里的卷积操作还可以采用并列的多个相同大小的卷积核的实现方式，用多个卷积核提取多个特征，以提取真实按钮图像样本的多个关键特征，以细化关键特征，提升学习的精度。
解码网络是通过上采样层(上采样层执行的上采样操作可以是反卷积操作或插值操作)来实现的，可以包括多个级联的上采样层。基于关键特征进行还原时，可以通过插值操作来还原。由于在下采样操作时丢弃了部分不重要的像素点，插值操作即是将缺失的像素点位置填充像素值以还原出与真实按钮图像样本同样尺寸的按钮图像，即包括真实按钮图像样本的关键特征的虚假按钮图像样本；也可以通过反卷积操作来还原：首先，根据输入输出的尺寸关系o＝s(i-1)+k-2p，其中，o是输出的尺寸，s是步长，i是输入的尺寸，k是卷积核尺寸，p是填充，计算出合适的步长、卷积核以及填充；接着，将编码网络得到的特征图按照计算出的填充通过补零的方式来扩大特征图的尺寸；最后，利用卷积核对填充后的特征图，进行相应步长的正向卷积。这里计算的过程也可以通过多次实验得出最合适的取值。
需要说明的是，由于编码网络只学习了真实按钮图像样本的关键特征，因此，解码网络在上采样(即还原出与真实按钮图像样本相似的图像)时，不可避免地在图像中引入随机值(即像素的取值)，从而使得得到的虚假按钮图像样本的风格发生了变化，即，得到的虚假按钮图像样本包含真实按钮图像样本的关键特征、且具有与真实按钮图像样本不同的新的风格；这里的自编码网络损失函数以虚假按钮图像样与真实按钮图像样本之间的误差为因子；不局限于任何类型的损失函数，例如，交叉熵损失函数、相对熵损失函数和绝对误差损失函数等。
作为示例，编码网络的下采样层和解码网络和上采样层之间可以存在跨层连接，从而解码网络的每个上采样层在还原出虚假按钮图像时，可以通过跨层连接来接收来自对应的下采样层输出的浅层特征，浅层特征是相对于上采样层的上一级采样层接收的深层特征而言的，从而可以结合不同层次的特征精准地还原出虚假按钮图像样本。
在一些实施例中，机器学习模型可以是生成对抗网络；其中，生成对抗网络包括生成网络和判别网络；参见图3C，图3C是本申请实施例提供的基于人工智能的按钮图像方法的一个流程示意图，基于图3A，图3C示出的步骤102可以通过步骤1021B至步骤1023B实现，将结合各步骤进行说明。
在步骤1021B中，初始化生成网络和判别网络的参数；
在步骤1022B中，根据真实按钮图像样本，交替地执行以下训练任务：训练判别网络，以使判别网络区分真实按钮图像样本和虚假按钮图像样本；训练生成网络，以使生成网络基于真实按钮图像样本生成虚假按钮图像样本；其中，在训练生成网络的阶段，固定判别网络的参数不变；在训练判别网络的阶段，固定生成网络的参数不变。
在一些实施例中，训练判别网络，以使判别网络区分真实按钮图像样本和虚假按钮图像样本，包括：通过生成网络并结合随机噪声样本生成虚假按钮图像样本；分别以真实按钮图像样本和虚假按钮图像样本作为训练样本，通过判别网络确定训练样本属于真实图像的预测概率；根据预测概率与训练样本的真实概率之间的误差，确定判别网络损失函数；根据判别网络损失函数更新判别网络的参数。
需要说明的是，生成网络的输入为随机噪声，即根据随机噪声生成虚假按钮图像样本；这里的真实图像指的是通过采样的方式得到的图像；真实概率代表按钮图像样本的标签，当按钮图像样本的标签是真实图像时，真实概率为1，当按钮图像样本的标签是虚假图像时，真实概率为0。
举例来说，固定生成网络的参数，以从应用界面中采样得到相同类型的多个真实按钮图像样本，以及生成网络基于随机噪声样本生成的虚假按钮图像样本作为样本，训练判别网络；判别网络用于判别输入样本是否为真实，假设输入样本为x，输出为D(x)，D(x)为x的预测概率，输出的值在0到1之间，越靠近1说明该按钮图像越有可能是真实图像，越靠近0说明该按钮图像越有可能是虚假图像，训练判别网络的目的是使其尽可能区分真假，即对真实图像评分高，对虚假图像评分低；如果虚假按钮图像样本输入判别网络的评分低，真实按钮图像样本输入判别网络的评分高，说明判别网络的损失较小；如果虚假按钮图像样本输入判别网络的评分高，真实按钮图像样本输入判别网络的评分低，则判别网络的损失较大。为了实现判别网络尽可能区分样本真假的目标，通过减小判别网络损失函数来实现训练判别网络的目标，其判别网络损失函数LD的计算公式(1)如下所示：
Figure BDA0002636162220000161
其中，N代表按钮图像样本的总数；yn代表第n个按钮图像样本的标签，如果第n个样本是真实按钮图像样本，yn则为1，否则为零；D(xn)代表判别网络的评分，xn代表第n个样本对应的按钮图像样本。
作为示例，判别网络包括多个级联的卷积层以及全连接层；通过判别网络确定训练样本属于真实图像的预测概率，包括：通过多个级联的卷积层对训练样本进行特征提取处理，得到训练样本的关键特征；通过全连接层对训练样本的关键特征进行映射处理，得到训练样本属于真实图像的预测概率。
举例来说，参见图6，图6是本申请实施例提供的判别网络的结构示意图，包括，五个级联的卷积层，以及一个全连接层。其中，五个级联的卷积层包括一个步长为1、卷积核为5的卷积层和四个步长为2、卷积核为5的卷积层；全连接层可以使用归一化指数函数softmax函数作为激活函数以进行映射。
在一些实施例中，训练生成网络，以使生成网络基于真实按钮图像样本生成虚假按钮图像样本，包括：通过生成网络并结合随机噪声样本生成虚假按钮图像样本；通过判别网络生成虚假按钮图像样本属于真实图像的预测概率；根据预测概率与训练样本的真实概率之间的误差，确定生成网络损失函数；通过生成网络损失函数更新生成网络的参数。
举例来说，固定判别网络的参数，以随机噪声训练生成网络；生成网络用于根据随机噪声生成虚假按钮图像样本，将虚假按钮图像样本输入判别网络中进行评分，如果虚假按钮图像样本输入判别网络后的评分高说明生成网络对应的损失较小，如果虚假按钮图像样本输入判别网络后的评分低说明生成网络对应的损失较大。为了实现生成网络根据随机噪声样本生成的虚假按钮图像样本尽可能的获得更高的评分的目标，通过减小生成网络损失函数来实现训练生成网络的目标，其生成网络损失函数LG计算公式(2)如下所示：
Figure BDA0002636162220000171
其中，N代表虚假按钮图像样本的数量，D(G(zn))代表判别网络对虚假按钮图像样本的评分，G(zn)代表生成网络生成的虚假按钮图像样本，zn代表第n个随机噪声，这里随机噪声可以是随机生成的100维向量。
需要说明的是，判别网络与生成网络交替进行训练，当判别网络损失函数低于判别网络损失阈值，且生成网络损失函数低于生成网络损失阈值时，停止训练。
交替进行训练的方式可以是在训练固定次数的判别网络之后，再训练固定次数的生成网络，多次循环迭代后，最终判别网络无法区分按钮图像样本到底是来自真实按钮图像样本，还是来自虚假按钮图像样本。
作为示例，生成网络包括全连接层和上采样层；通过生成网络并结合随机噪声样本生成虚假按钮图像样本，包括：通过全连接层将随机噪声样本映射到关键特征的特征向量空间，得到随机噪声样本的特征向量；通过多个级联的上采样层对随机噪声样本的特征向量进行上采样处理，得到虚假按钮图像样本。
举例来说，参见图7，图7是本申请实施例提供的生成网络的结构示意图，包括，一个全连接层以及五个级联的上采样层。其中，五个级联的上采样层包括一个步长为1、卷积核为5的上采样层，四个步长为2、卷积核为5的上采样层；当步长为1时，上采样层只包括卷积操作，当上采样层的步长为2时，上采样层会将全连接层输出的特征图进行插值，例如在特征图的中间插入0点，然后再进行卷积操作，输出特征图的尺寸变为输入特征图的2倍；上采样处理是向关键特征还原的过程，并且由于还原的过程中引入了随机噪声样本，由于随机噪声的随机性，从而引入了随机性的风格。
在本申请实施例中，通过训练机器学习模型学习对应类型的按钮图像的关键特征，并学习不同图像与风格之间的关联，从而能够针对任意的输入数据还原关键特征且具有新风格的新按钮图像，使得机器学习模型的具有良好的风格泛化能力。
在步骤103中，通过机器学习模型执行以下处理：基于机器学习模型的输入数据生成包括关键特征、且具有新的风格的新按钮图像。
在一些实施例中，当机器学习模型是自编码网络时，输入数据是真实按钮图像；基于机器学习模型的输入数据生成包括关键特征、且具有新的风格的新按钮图像，包括：通过自编码网络中的编码网络提取真实按钮图像的关键特征，并通过自编码网络中的解码网络对真实按钮图像的关键特征进行上采样处理，得到包括关键特征、且与真实按钮图像具有不同风格的虚假按钮图像样本，以作为新按钮图像。
在一些实施例中，当机器学习模型是生成对抗网络时，输入数据是随机噪声；基于机器学习模型的输入数据生成包括关键特征、且与随机噪声图像具有对应关系的风格的按钮图像，包括：通过生成对抗网络中的生成网络，将随机噪声映射到关键特征的特征向量空间，得到随机噪声的特征向量，对随机噪声的特征向量进行上采样处理，得到具有关键特征、且具有随机性的风格的新按钮图像。
值得说明的是，参见图8，图8是本申请实施例提供的具有关键特征、且具有不同风格的游戏按钮图像的示意图；关键特征反映在视觉上可以理解为图8中示出的X型，不同风格的按钮图像给人不同的视觉观感。
在一些实施例中，在步骤103之后，还可以执行步骤104，将多个新按钮图像替换应用界面图像中对应类型的按钮图像，得到对应类型的多个新应用界面图像；基于多个新应用界面图像构造应用界面图像库。
举例来说，参见图11，图11是本申请实施例提供的游戏界面图像的示意图。其中，405示出的是原有的游戏界面图像，406示出的是新的游戏界面图像，将原有的游戏界面图像405中的关闭按钮图像401和返回按钮图像402分别替换为新关闭按钮图像403和新返回按钮图像404，以得到新的游戏界面图像406。
在本申请实施例中，根据生成的按钮图像生成新的应用界面图像，以扩充应用界面图像数据库，提升了机器学习模型的泛化能力。
下面，将说明本申请实施例在一个实际的应用场景中的示例性应用，在扩充游戏按钮图像的应用场景中，通过深度卷积生成对抗网络生成新游戏按钮图像，以扩充游戏界面场景数据库，使得用户能够通过触碰终端的应用界面中的切换风格的按钮，更换游戏界面的风格。
参见图9，图9是本申请实施例提供的基于人工智能的按钮图像生成方法的一个流程示意图，本申请实施例的实现方案具体如下：
在步骤201中，收集游戏界面的场景图像。通过人工的方式收集300个游戏界面的场景图像，每个游戏平均收集30张。得到图像集合后，人工给每张图像打上标签，标明图像中按钮图像的类型和位置，参见图4示出的不同类型的游戏按钮图像，其中，包括三种类型的按钮图像：返回按钮图像、属性按钮图像以及关闭按钮图像。位置由横坐标、纵坐标、目标按钮图像的宽和高组成。
在步骤202中，提取不同类型的按钮图像集合。分别针对每一种类型的游戏按钮图像，从游戏界面的场景图像中按照按钮的类型和位置提取对应的图像区域，将图像区域缩放至64×64像素，采用该像素大小的原因是减小计算复杂度，保存至对应的游戏按钮图像集合，以作为真实按钮图像样本。由于游戏按钮图像的样本有限，通过深度卷积生成对抗网络后能进一步丰富按钮的风格。
在步骤203中，训练深度卷积生成对抗网络。得到游戏按钮图像集合后，针对每一类型的游戏按钮图像，训练对应的深度卷积生成对抗网络。其中，深度卷积生成对抗网络由生成网络和判别网络组成，生成网络的输入是100维的噪声向量，输出是64×64像素的图像，生成网络的目标是生成与真实按钮图像样本相似的按钮图像，而判别网络的目标是尽量区分按钮图像是否是生成的，要求区分的精度越高越好。通过两者的对抗，生成网络生成的按钮图像会与真实按钮图像样本越来越相似。
参见图7，图7示出了生成网络的结构示意图，生成网络主要由5个上采样层组成。右侧显示的是对应上采样层的输出维度。其中，上采样层由上采样操作和卷积操作组成。当步长为1时，上采样层只包括卷积操作，当上采样层的步长为2时，上采样层会在输入特征图进行插值，例如在特征图的中间插入0点，然后再进行卷积操作，输出特征图的宽高变为输入特征图的2倍。最后生成64×64像素的图像。得到生成样本(即，虚假按钮图像样本)后，将生成的按钮图像和真实的按钮图像输入判别网络中进行训练，判别网络的目标是对真实的按钮图像评分高，对生成的样本评分低。而生成网络的目标是让生成的图像在判别网络获得更高的评分，通过生成网络和判别网络之间的对抗完成深度卷积生成对抗网络的训练。
参见图6，图6示出了判别网络的结构示意图，判别网络由5个卷积层和1个全连接层组成，判别网络判别样本是否真实，输入样本x，输出D(x)代表x预测概率，输出的值在0到1之间，越靠近1，就说明该按钮图像越有可能是真实的按钮图像，越靠近0，就说明该按钮图像越有可能是生成的按钮图像。这里的预测概率表征输入的按钮图像与真实的按钮图像的相似度，相似度通过关键特征的对比来判别。
生成网络生成图像后，如果生成图像输入判别网络后的评分高，则生成网络对应的损失较小，如果生成图像输入判别网络后的评分低，则生成网络对应的损失高。训练生成网络的目标是减小这个损失，其计算公式如公式(2)所示。
针对判别网络，如果生成图像输入判别网络的评分低，真实样本输入判别网络的评分高，则判别网络的损失较小，如果生成图像输入判别网络的评分高，真实样本输入判别网络的评分低，则判别网络的损失较大。训练判别网络的目标是减小这个损失，其计算公式如公式(1)所示。
通过循环迭代训练判别网络和生成网络，如果损失低于阈值，则停止训练。
在步骤204中，生成新风格的游戏按钮图像。完成训练后，往特定类型的生成网络(“返回”、“属性”、“关闭”类型等对应的生成网络)输入100维的随机噪声，生成网络会生成对应类型的游戏按钮图像。
在步骤205中，生成新风格的游戏界面场景图像。将生成的游戏按钮图像替换掉游戏界面场景图像中的游戏按钮图像，通过这种方式生成新的游戏界面场景图像。生成的游戏界面场景图像可以用于扩充游戏界面场景数据库，能提升生成网络的泛化能力。
参见图10，图10是本申请实施例提供的生成新的游戏界面场景数据库的一个流程示意图，下面对图10示出的步骤进行说明。
在步骤301中，生成随机噪声。
在步骤302中，将随机噪声输入不同类型的生成网络。
在步骤303中，生成不同类型的游戏按钮图像。
在步骤304中，生成新的游戏界面场景图像。
根据生成的游戏按钮图像对应的类型和位置，用生成的游戏按钮图像替换游戏场景原有的按钮图像，以生成新的游戏界面场景图像。
在步骤305中，生成新的游戏界面场景数据库。将新的游戏界面场景图像发送至游戏界面场景数据库中，更新游戏界面场景数据库，以生成新的游戏界面场景数据库。
在一些实施例中，用户触碰终端的游戏界面中的切换风格的按钮，终端向应用服务器发送切换游戏界面的风格的请求，当应用服务器接收到终端发起的切换游戏界面的风格的请求时，读取新的游戏界面场景数据库中存储的相应的游戏界面场景图像，以更新游戏界面的风格。
下面继续说明本申请实施例提供的基于人工智能的按钮图像生成装置655的实施为软件模块的示例性结构，
在一些实施例中，如图2所示，存储在存储器640的基于人工智能的按钮图像生成装置655中的软件模块可以包括：
采样模块6551，用于从应用界面中采样得到相同类型的多个真实按钮图像样本；其中，所述多个真实按钮图像样本的外观具有类似的关键特征，且具有不同的风格；训练模块6552，用于根据所述真实按钮图像样本训练对应所述类型的机器学习模型；生成模块6553，用于通过所述机器学习模型执行以下处理：基于所述机器学习模型的输入数据生成包括所述关键特征、且具有新的风格的新按钮图像。
上述方案中，所述机器学习模型是自编码网络，所述自编码网络包括编码网络和解码网络；所述训练模块6552，还用于通过编码网络对所述真实按钮图像样本进行特征提取处理，得到所述真实按钮图像样本的所述关键特征；通过所述解码网络对所述关键特征进行上采样处理，得到具有所述关键特征的虚假按钮图像样本；根据所述虚假按钮图像样本与所述真实按钮图像样本之间的误差，生成自编码网络损失函数；根据所述自编码网络损失函数更新所述解码网络和所述编码网络的参数。
上述方案中，所述机器学习模型是生成对抗网络；其中，所述生成对抗网络包括生成网络和判别网络；所述训练模块6552，还用于初始化所述生成网络和所述判别网络的参数；根据所述真实按钮图像样本，交替地执行以下训练任务：训练所述判别网络，以使所述判别网络区分所述真实按钮图像样本和虚假按钮图像样本；训练所述生成网络，以使所述生成网络基于所述真实按钮图像样本生成所述虚假按钮图像样本；其中，在训练所述生成网络的阶段，固定所述判别网络的参数不变；在训练所述判别网络的阶段，固定所述生成网络的参数不变。
上述方案中，所述训练模块6552，还用于通过所述生成网络并结合随机噪声样本生成虚假按钮图像样本；分别以所述真实按钮图像样本和所述虚假按钮图像样本作为训练样本，通过所述判别网络确定所述训练样本属于真实图像的预测概率；根据所述预测概率与所述训练样本的真实概率之间的误差，确定判别网络损失函数；根据所述判别网络损失函数更新所述判别网络的参数。
上述方案中，所述判别网络包括多个级联的卷积层以及全连接层；所述训练模块6552，还用于通过所述多个级联的卷积层对所述训练样本进行特征提取处理，得到所述训练样本的关键特征；通过所述全连接层对所述训练样本的关键特征进行映射处理，得到所述训练样本属于真实图像的预测概率。
上述方案中，所述训练模块6552，还用于通过所述生成网络并结合随机噪声样本生成虚假按钮图像样本；通过所述判别网络生成所述虚假按钮图像样本属于真实图像的预测概率；根据所述预测概率与所述训练样本的真实概率之间的误差，确定生成网络损失函数；通过所述生成网络损失函数更新所述生成网络的参数。
上述方案中，所述生成网络包括全连接层和上采样层；所述训练模块6552，还用于通过所述全连接层将所述随机噪声样本映射到所述关键特征的特征向量空间，得到所述随机噪声样本的特征向量；通过所述多个级联的上采样层对所述随机噪声样本的特征向量进行上采样处理，得到虚假按钮图像样本。
上述方案中，当所述机器学习模型是自编码网络时，所述输入数据是所述真实按钮图像；所述生成模块6553，还用于通过所述自编码网络中的编码网络提取所述真实按钮图像的关键特征，并通过所述自编码网络中的解码网络对所述真实按钮图像的关键特征进行上采样处理，得到包括所述关键特征、且与所述真实按钮图像具有不同风格的虚假按钮图像，以作为新按钮图像。
上述方案中，当所述机器学习模型是生成对抗网络时，所述输入数据是随机噪声；所述生成模块6553，还用于通过所述生成对抗网络中的生成网络，将所述随机噪声映射到所述关键特征的特征向量空间，得到所述随机噪声的特征向量，对所述随机噪声的特征向量进行上采样处理，得到包括所述关键特征、且具有随机性的风格的新按钮图像。
上述方案中，所述采样模块6551，还用于对多个应用的应用界面进行图像采样，得到多个应用界面图像；获取所述多个应用界面图像的标签，其中，所述标签用于表征所述应用界面图像中按钮图像的类型以及位置；针对每个所述类型执行以下处理：根据所述标签确定所述类型的按钮图像分别在所述多个应用界面图像的位置，并根据所述确定的位置进行截图处理，得到多个真实按钮图像样本。
构造模块6554，用于将多个所述新按钮图像替换所述应用界面图像中对应类型的按钮图像，得到所述对应类型的多个新应用界面图像；基于所述多个新应用界面图像构造应用界面图像库。
本申请实施例提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行本申请实施例上述的基于人工智能的按钮图像生成方法。
本申请实施例提供一种存储有可执行指令的计算机可读存储介质，其中存储有可执行指令，当可执行指令被处理器执行时，将引起处理器执行本申请实施例提供的方法，例如，如图3A、图3B、图3C示出的基于人工智能的按钮图像生成方法。
在一些实施例中，计算机可读存储介质可以是FRAM、ROM、PROM、EP ROM、EEPROM、闪存、磁表面存储器、光盘、或CD-ROM等存储器；也可以是包括上述存储器之一或任意组合的各种设备。
在一些实施例中，可执行指令可以采用程序、软件、软件模块、脚本或代码的形式，按任意形式的编程语言(包括编译或解释语言，或者声明性或过程性语言)来编写，并且其可按任意形式部署，包括被部署为独立的程序或者被部署为模块、组件、子例程或者适合在计算环境中使用的其它单元。
作为示例，可执行指令可以但不一定对应于文件系统中的文件，可以可被存储在保存其它程序或数据的文件的一部分，例如，存储在超文本标记语言(H TML，Hyper TextMarkup Language)文档中的一个或多个脚本中，存储在专用于所讨论的程序的单个文件中，或者，存储在多个协同文件(例如，存储一个或多个模块、子程序或代码部分的文件)中。
作为示例，可执行指令可被部署为在一个计算设备上执行，或者在位于一个地点的多个计算设备上执行，又或者，在分布在多个地点且通过通信网络互连的多个计算设备上执行。
综上所述，通过本申请实施例通过训练机器学习模型学习对应类型的按钮图像的关键特征，并学习不同图像与风格之间的关联，从而能够针对任意的输入数据还原关键特征且具有新风格的新按钮图像，使得机器学习模型具有良好的风格泛化能力。
以上所述，仅为本申请的实施例而已，并非用于限定本申请的保护范围。凡在本申请的精神和范围之内所作的任何修改、等同替换和改进等，均包含在本申请的保护范围之内。

Claims (10)

1.一种基于人工智能的按钮图像生成方法，其特征在于，包括：
从应用界面中采样得到相同类型的多个真实按钮图像样本；
其中，所述多个真实按钮图像样本的外观具有类似的关键特征，且具有不同的风格；
根据所述真实按钮图像样本训练对应所述类型的机器学习模型；
通过所述机器学习模型执行以下处理：基于所述机器学习模型的输入数据生成包括所述关键特征、且具有新的风格的新按钮图像。
2.根据权利要求1所述的方法，其特征在于，
所述机器学习模型是自编码网络；其中，所述自编码网络包括编码网络和解码网络；
所述根据所述真实按钮图像样本训练对应所述类型的机器学习模型，包括：
通过所述编码网络对所述真实按钮图像样本进行特征提取处理，得到所述真实按钮图像样本的所述关键特征；
通过所述解码网络对所述关键特征进行上采样处理，得到具有所述关键特征的虚假按钮图像样本；
根据所述虚假按钮图像样本与所述真实按钮图像样本之间的误差，生成自编码网络损失函数；
根据所述自编码网络损失函数更新所述解码网络和所述编码网络的参数。
3.根据权利要求1所述的方法，其特征在于，
所述机器学习模型是生成对抗网络；其中，所述生成对抗网络包括生成网络和判别网络；
所述根据所述真实按钮图像样本训练对应所述类型的机器学习模型，包括：
初始化所述生成网络和所述判别网络的参数；
根据所述真实按钮图像样本，交替地执行以下训练任务：
训练所述判别网络，以使所述判别网络区分所述真实按钮图像样本和虚假按钮图像样本；
训练所述生成网络，以使所述生成网络基于所述真实按钮图像样本生成所述虚假按钮图像样本；
其中，在训练所述生成网络的阶段，固定所述判别网络的参数不变；在训练所述判别网络的阶段，固定所述生成网络的参数不变。
4.根据权利要求3所述的方法，其特征在于，所述训练所述判别网络，以使所述判别网络区分所述真实按钮图像样本和虚假按钮图像样本，包括：
通过所述生成网络并结合随机噪声样本生成虚假按钮图像样本；
分别以所述真实按钮图像样本和所述虚假按钮图像样本作为训练样本，通过所述判别网络确定所述训练样本属于真实图像的预测概率；
根据所述预测概率与所述训练样本的真实概率之间的误差，确定判别网络损失函数；
根据所述判别网络损失函数更新所述判别网络的参数。
5.根据权利要求4所述的方法，其特征在于，
所述判别网络包括多个级联的卷积层以及全连接层；
所述通过所述判别网络确定所述训练样本属于真实图像的预测概率，包括：
通过所述多个级联的卷积层对所述训练样本进行特征提取处理，得到所述训练样本的关键特征；
通过所述全连接层对所述训练样本的关键特征进行映射处理，得到所述训练样本属于真实图像的预测概率。
6.根据权利要求3所述的方法，其特征在于，所述训练所述生成网络基于所述真实按钮图像样本生成所述虚假按钮图像样本，包括：
通过所述生成网络并结合随机噪声样本生成虚假按钮图像样本；
通过所述判别网络生成所述虚假按钮图像样本属于真实图像的预测概率；
根据所述预测概率与所述训练样本的真实概率之间的误差，确定生成网络损失函数；
通过所述生成网络损失函数更新所述生成网络的参数。
7.根据权利要求6所述的方法，其特征在于，
所述生成网络包括全连接层和上采样层；
所述通过所述生成网络并结合随机噪声样本生成虚假按钮图像样本，包括：
通过所述全连接层将所述随机噪声样本映射到所述关键特征的特征向量空间，得到所述随机噪声样本的特征向量；
通过所述多个级联的上采样层对所述随机噪声样本的特征向量进行上采样处理，得到虚假按钮图像样本。
8.根据权利要求1所述的方法，其特征在于，
当所述机器学习模型是自编码网络时，所述输入数据是所述真实按钮图像；
所述基于所述机器学习模型的输入数据生成包括所述关键特征、且具有新的风格的新按钮图像，包括：
通过所述自编码网络中的编码网络提取所述真实按钮图像样本的关键特征，并通过所述自编码网络中的解码网络对所述真实按钮图像样本的关键特征进行上采样处理，得到包括所述关键特征、且与所述真实按钮图像样本具有不同风格的虚假按钮图像样本，以作为新按钮图像。
9.根据权利要求1所述的方法，其特征在于，
当所述机器学习模型是生成对抗网络时，所述输入数据是随机噪声；
所述基于所述机器学习模型的输入数据生成包括所述关键特征、且具有新的风格的新按钮图像，包括：
通过所述生成对抗网络中的生成网络，将所述随机噪声映射到所述关键特征的特征向量空间，得到所述随机噪声的特征向量，对所述随机噪声的特征向量进行上采样处理，得到包括所述关键特征、且具有随机性的风格的新按钮图像。
10.一种基于人工智能的按钮图像生成装置，其特征在于，包括：
采样模块，用于从应用界面中采样得到相同类型的多个真实按钮图像样本；
其中，所述多个真实按钮图像样本的外观具有类似的关键特征，且具有不同的风格；
训练模块，用于根据所述真实按钮图像样本训练对应所述类型的机器学习模型；
生成模块，用于通过所述机器学习模型执行以下处理：基于所述机器学习模型的输入数据生成包括所述关键特征、且具有新的风格的新按钮图像。
CN202010825844.5A 2020-08-17 2020-08-17 一种基于人工智能的按钮图像生成方法和装置 Active CN111915701B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010825844.5A CN111915701B (zh) 2020-08-17 2020-08-17 一种基于人工智能的按钮图像生成方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010825844.5A CN111915701B (zh) 2020-08-17 2020-08-17 一种基于人工智能的按钮图像生成方法和装置

Publications (2)

Publication Number Publication Date
CN111915701A true CN111915701A (zh) 2020-11-10
CN111915701B CN111915701B (zh) 2023-08-22

Family

ID=73279628

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010825844.5A Active CN111915701B (zh) 2020-08-17 2020-08-17 一种基于人工智能的按钮图像生成方法和装置

Country Status (1)

Country Link
CN (1) CN111915701B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112862110A (zh) * 2021-02-11 2021-05-28 脸萌有限公司 模型生成方法、装置和电子设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180293439A1 (en) * 2017-04-05 2018-10-11 Yandex Europe Ag System and method for augmenting an image with stylized features
CN109903242A (zh) * 2019-02-01 2019-06-18 深兰科技（上海）有限公司 一种图像生成方法及装置
CN110135574A (zh) * 2018-02-09 2019-08-16 北京世纪好未来教育科技有限公司 神经网络训练方法、图像生成方法及计算机存储介质
CN111340682A (zh) * 2018-12-19 2020-06-26 通用电气公司 利用深度神经网络将医学图像转换为不同样式图像的方法和系统
CN111494946A (zh) * 2020-04-23 2020-08-07 腾讯科技（深圳）有限公司 图像处理方法、装置、设备及计算机可读存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180293439A1 (en) * 2017-04-05 2018-10-11 Yandex Europe Ag System and method for augmenting an image with stylized features
CN110135574A (zh) * 2018-02-09 2019-08-16 北京世纪好未来教育科技有限公司 神经网络训练方法、图像生成方法及计算机存储介质
CN111340682A (zh) * 2018-12-19 2020-06-26 通用电气公司 利用深度神经网络将医学图像转换为不同样式图像的方法和系统
CN109903242A (zh) * 2019-02-01 2019-06-18 深兰科技（上海）有限公司 一种图像生成方法及装置
CN111494946A (zh) * 2020-04-23 2020-08-07 腾讯科技（深圳）有限公司 图像处理方法、装置、设备及计算机可读存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112862110A (zh) * 2021-02-11 2021-05-28 脸萌有限公司 模型生成方法、装置和电子设备
CN112862110B (zh) * 2021-02-11 2024-01-30 脸萌有限公司 模型生成方法、装置和电子设备

Also Published As

Publication number Publication date
CN111915701B (zh) 2023-08-22

Similar Documents

Publication Publication Date Title
CN111898696B (zh) 伪标签及标签预测模型的生成方法、装置、介质及设备
CN114155543B (zh) 神经网络训练方法、文档图像理解方法、装置和设备
CN111352965A (zh) 序列挖掘模型的训练方法、序列数据的处理方法及设备
CN112954399B (zh) 一种图像处理方法、装置以及计算机设备
CN115512005A (zh) 一种数据处理方法及其装置
CN112989085A (zh) 图像处理方法、装置、计算机设备及存储介质
CN114491125A (zh) 一种基于多模态编码本的跨模态人物服装设计生成方法
CN116958323A (zh) 图像生成方法、装置、电子设备、存储介质及程序产品
CN113157941B (zh) 业务特征数据处理、文本生成方法、装置及电子设备
CN111915701B (zh) 一种基于人工智能的按钮图像生成方法和装置
CN116975357A (zh) 视频生成方法、装置、电子设备、存储介质及程序产品
CN116821113A (zh) 时序数据缺失值处理方法、装置、计算机设备及存储介质
CN116975347A (zh) 图像生成模型训练方法及相关装置
CN114333069B (zh) 对象的姿态处理方法、装置、设备及存储介质
CN112132269B (zh) 模型处理方法、装置、设备及存储介质
CN112950501B (zh) 基于噪声场的图像降噪方法、装置、设备及存储介质
WO2022105117A1 (zh) 一种图像质量评价的方法、装置、计算机设备及存储介质
CN113569080A (zh) 基于人工智能的字库处理方法、装置、设备及存储介质
CN113392686A (zh) 视频分析方法、装置及存储介质
CN112418292B (zh) 一种图像质量评价的方法、装置、计算机设备及存储介质
Bajpai et al. Custom dataset creation with tensorflow framework and image processing for google t-rex
CN116091675B (zh) 一种图像处理方法、装置、设备及存储介质
CN117576264B (zh) 图像生成方法、装置、设备及介质
CN114332884B (zh) 文档元素的识别方法、装置、设备及存储介质
CN116740540B (zh) 一种数据处理方法、装置、设备以及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant