CN113222178A - 模型训练方法、用户界面的生成方法、装置及存储介质 - Google Patents

模型训练方法、用户界面的生成方法、装置及存储介质 Download PDF

Info

Publication number
CN113222178A
CN113222178A CN202110599896.XA CN202110599896A CN113222178A CN 113222178 A CN113222178 A CN 113222178A CN 202110599896 A CN202110599896 A CN 202110599896A CN 113222178 A CN113222178 A CN 113222178A
Authority
CN
China
Prior art keywords
user interface
super
sample
resolution
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110599896.XA
Other languages
English (en)
Other versions
CN113222178B (zh
Inventor
郑超
范泽华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN202110599896.XA priority Critical patent/CN113222178B/zh
Publication of CN113222178A publication Critical patent/CN113222178A/zh
Application granted granted Critical
Publication of CN113222178B publication Critical patent/CN113222178B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Human Computer Interaction (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本申请实施例公开了一种模型训练方法、用户界面的生成方法、装置及存储介质，属于机器学习技术领域。该方法包括：获取训练样本，训练样本包括应用程序中的第一样本用户界面、第二样本用户界面和样本渲染数据，第二样本用户界面是对第一样本用户界面降低分辨率得到的；调用超分辨率模型对第二样本用户界面和样本渲染数据进行超分辨率处理，得到第三样本用户界面；基于第三样本用户界面与第一样本用户界面之间的特征损失，调整超分辨率模型的模型参数。该方法训练得到的超分辨率模型能够生成细节更准确、更完整的超分辨率界面。

Description

模型训练方法、用户界面的生成方法、装置及存储介质
技术领域
本申请实施例涉及机器学习技术领域，特别涉及一种模型训练方法、用户界面的生成方法、装置及存储介质。
背景技术
随着智能移动终端(简称“终端”)的普及，手游发展迅速。但是仍不可避免的是，很多手游的界面分辨率与智能移动终端的屏幕分辨率不匹配。
相关技术中，对手游的用户界面进行拉伸或者缩小，以使处理后的用户界面的分辨率匹配智能移动终端的屏幕分辨率，之后再将处理后的用户界面显示到显示屏上。
发明内容
本申请实施例提供了一种模型训练方法、用户界面的生成方法、装置及存储介质。所述技术方案如下：
根据本申请的一方面内容，提供了一种模型训练方法，所述方法包括：
获取训练样本，所述训练样本包括应用程序中的第一样本用户界面、第二样本用户界面和样本渲染数据，所述样本渲染数据是指用于基于虚拟环境渲染生成所述第一样本用户界面的数据，所述第二样本用户界面是对所述第一样本用户界面降低分辨率得到的；
调用超分辨率模型对所述第二样本用户界面和所述样本渲染数据进行超分辨率处理，得到第三样本用户界面；
基于所述第三样本用户界面与所述第一样本用户界面之间的特征损失，调整所述超分辨率模型的模型参数；其中，所述超分辨率模型用于对用户界面进行超分辨率重建。
根据本申请的另一方面内容，提供了一种用户界面的生成方法，应用如上一个方面所述方法生成的超分辨率模型，所述超分辨率模型用于对用户界面进行超分辨率重建，所述方法包括：
获取应用程序的第一用户界面；
调用所述超分辨率模型对所述第一用户界面进行特征提取，得到特征图像；
调用所述超分辨率模型基于所述特征图像进行超分辨率处理，生成第二用户界面，所述第二用户界面的分辨率大于所述第一用户界面的分辨率。
根据本申请的另一方面内容，提供了一种模型训练装置，所述装置包括：
第一获取模块，用于获取训练样本，所述训练样本包括应用程序中的第一样本用户界面、第二样本用户界面和样本渲染数据，所述样本渲染数据是指用于基于虚拟环境渲染生成所述第一样本用户界面的数据，所述第二样本用户界面是对所述第一样本用户界面降低分辨率得到的；
第一处理模块，用于调用超分辨率模型对所述第二样本用户界面和所述样本渲染数据进行超分辨率处理，得到第三样本用户界面；
第一调整模块，用于基于所述第三样本用户界面与所述第一样本用户界面之间的特征损失，调整所述超分辨率模型的模型参数；其中，所述超分辨率模型用于对用户界面进行超分辨率重建。
根据本申请的另一方面内容，提供了一种用户界面的生成装置，应用如上一个方面所述方法生成的超分辨率模型，所述超分辨率模型用于对用户界面进行超分辨率重建，所述装置包括：
第二获取模块，用于获取应用程序的第一用户界面；
第二处理模块，用于调用所述超分辨率模型对所述第一用户界面进行特征提取，得到特征图像；
所述第二处理模块，用于调用所述超分辨率模型基于所述特征图像进行超分辨率处理，生成第二用户界面，所述第二用户界面的分辨率大于所述第一用户界面的分辨率。
根据本申请的另一方面内容，提供了一种终端，所述终端包括处理器、和与所述处理器相连的存储器，以及存储在所述存储器上的程序指令，所述处理器执行所述程序指令时实现如本申请各个方面提供的模型训练方法，或者，用户界面的生成方法。
根据本申请的另一方面内容，提供了一种计算机可读存储介质，所述存储介质中存储有程序指令，所述程序指令被处理器执行时实现如本申请各个方面提供的模型训练方法，或者，用户界面的生成方法。
根据本申请的另一个方面内容，提供了一种计算机程序产品，所述计算机程序产品包括计算机指令，所述计算机指令存储在计算机可读存储介质中。计算机设备的处理器从所述计算机可读存储介质读取所述计算机指令，所述处理器执行所述计算机指令，使得所述计算机设备执行上述模型训练方法，或者，用户界面的生成方法的各种可选实现方式中提供的方法。
本申请实施例提供的技术方案带来的有益效果可以包括：
该模型训练方法是对第一样本用户界面进行降低分辨率处理后，将得到的第二样本用户界面和第一样本用户界面的样本渲染数据作为输入数据，且以第一样本用户界面作为参考标准来训练超分辨率模型，通过结合样本渲染数据来计算超分辨率界面，以获得第二样本用户界面上应当存在的更多特征信息，生成超分辨率的第三样本用户界面，之后通过第三样本用户界面与具备高分辨率的第一样本用户界面之间的特征损失，来调整超分辨率模型的模型参数，使得训练完成的超分辨率模型具备超分辨率处理能力的同时，还具备对超分辨率界面的特征补偿能力，进而能够生成具有高完整性的超分辨率界面。
附图说明
为了更清楚地介绍本申请实施例中的技术方案，下面将对本申请实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1是示出了本申请一个示例性实施例提供的终端的结构框图；
图2示出了本申请一个示例性实施例提供的用户界面的生成方法的流程图；
图3示出了本申请另一个示例性实施例提供的用户界面的生成方法的流程图；
图4示出了本申请一个示例性实施例提供的输出分辨率设置方法的流程图；
图5示出了本申请一个示例性实施例提供的模型训练方法的流程图；
图6示出了本申请一个示例性实施例提供的样本用户界面的示意图；
图7示出了本申请另一个示例性实施例提供的用户界面的生成方法的流程图；
图8示出了本申请一个示例性实施例提供的模型训练装置的框图；
图9示出了本申请一个示例性实施例提供的用户界面的生成装置的框图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。
下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
在本申请的描述中，需要理解的是，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。在本申请的描述中，需要说明的是，除非另有明确的规定和限定，术语“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本申请中的具体含义。此外，在本申请的描述中，除非另有说明，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
为了本申请实施例所示方案易于理解，下面对本申请实施例中出现的若干名词进行介绍。
人工智能(Artificial Intelligence，AI)，是计算机科学的一个分支，用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统。它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器，AI领域包括了机器学习、自然语言处理、图像识别、语音识别、视觉技术、机器人等。
其中，机器学习(Machine Learning，ML)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。其专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身性能。
屏幕分辨率，是指屏幕纵横向上的像素点数，单位为像素(pixel，px)。屏幕分辨率可以用于确定显示的信息量，以水平像素和垂直像素来衡量。就相同尺寸的屏幕而言，屏幕分辨率越低，在屏幕上显示的像素数量越少，单个像素尺寸越大；屏幕分辨率越高，在屏幕上显示的像素数量越大，单个像素尺寸越小。示例性的，第一显示屏的屏幕分辨率为640×480，第二显示屏的屏幕分辨率为2400×1080，在第一显示屏和第二显示屏的屏幕尺寸相同的前提下，第一显示屏的像素数量小于第二显示屏的像素数量，第一显示屏上单个像素尺寸大于第二显示屏上单个像素尺寸。
机器学习可以应用于应用程序中用户界面的分辨率转化，比如，将低分辨率的用户界面转化成超分辨率的用户界面。现有技术中，若应用程序中用户界面的原分辨率与终端的屏幕分辨率不匹配，在用户界面显示时，在显示链路上会先将用户界面的内容源直接拉伸或者缩小到匹配屏幕分辨率，然后再输出到显示屏上。但是，上述简单的拉伸处理方式会导致用户界面被放大后，反而出现了边缘模糊的效果，使用户界面的画面失真，影响用户的观看效果。
还有一些应用场景，是保持用户界面的原分辨率，然后在用户界面周围补充黑色画面，最终在显示屏上只显示原分辨率大小的区域，其他区域显示黑色。但是，这样也存在一个问题，就是对于高分辨率的显示屏而言，十分浪费硬件资源。
为了解决上述问题，本申请提供了一种用户界面的生成方法，采用了机器学习的方式，该方法的详细实现细节请参考以下实施例。
示例性的，本申请实施例所示的用户界面的生成方法，可以应用在终端中，该终端具备用户界面的生成功能，该用户界面的生成功能是指基于第一分辨率的用户界面进行超分辨率处理，生成第二分辨率的用户界面，其中，第二分辨率大于第一分辨率。终端可以包括手机、平板电脑、膝上型电脑、台式电脑、电脑一体机、智能眼镜、智能手表、数码相机、MP4(Moving Picture Experts Group Audio Layer IV，动态影像专家压缩标准音频层面4)播放终端、MP5(Moving Picture Experts Group Audio Layer V，动态影像专家压缩标准音频层面5)播放终端、学习机、点读机、电纸书、电子词典、车载终端、虚拟现实(VirtualReality，VR)播放终端或增强现实(Augmented Reality，AR)播放终端等。
图1示出了本申请一个示例性实施例提供的终端100的结构框图。如图1所示，该终端包括处理器120和存储器140，所述存储器140中存储有至少一条指令，所述指令由所述处理器120加载并执行以实现如本申请各个方法实施例所述的模型训练方法，或者，用户界面的生成方法。
处理器120可以包括一个或者多个处理核心。处理器120利用各种接口和线路连接整个终端100内的各个部分，通过运行或执行存储在存储器140内的指令、程序、代码集或指令集，以及调用存储在存储器140内的数据，执行终端100的各种功能和处理数据。
可选地，处理器120可以采用数字信号处理(Digital Signal Processing，DSP)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)、可编程逻辑阵列(Programmable Logic Array，PLA)中的至少一种硬件形式来实现。处理器120可集成中央处理器(Central Processing Unit，CPU)、图像处理器(Graphics Processing Unit，GPU)和调制解调器等中的一种或几种的组合。其中，CPU主要负责操作系统处理、应用程序运行等；GPU用于负责显示屏所需要显示的内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到处理器120中，单独通过一块芯片进行实现。
存储器140可以包括随机存储器(Random Access Memory，RAM)，也可以包括只读存储器(Read-Only Memory，ROM)。可选地，该存储器140包括非瞬时性计算机可读介质(non-transitory computer-readable storage medium)。存储器140可用于存储指令、程序、代码、代码集或指令集。存储器140可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作系统的指令、用于至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现下述各个方法实施例的指令等；存储数据区可存储下面各个方法实施例中涉及到的数据等。
在一些实施例中，终端100是能够实现用户界面的生成功能的电子设备。示例性的，当终端100获取应用程序的第一用户界面后，终端100能够调用超分辨率模型对第一用户界面进行特征提取，得到特征图像；调用超分辨率模型基于特征图像进行超分辨率处理，得到第二用户界面，第二用户界面的分辨率大于第一用户界面的分辨率。在生成第二用户界面之后，还在终端100的显示屏上显示第二用户界面。
在一些实施例中，终端100是具备模型训练功能的电子设备。示例性的，数据库中存储有超分辨率模型的训练样本，该训练样本包括应用程序中的第一样本用户界面、第二样本用户界面和样本渲染数据，样本渲染数据是指用于基于虚拟环境渲染生成第一样本用户界面的数据，第二样本用户界面是对第一样本用户界面降低分辨率得到的；终端100从数据库中获取训练样本，调用超分辨率模型对第二样本用户界面和样本渲染数据进行超分辨率处理，得到第三样本用户界面；基于第三样本用户界面与第一样本用户界面之间的特征损失，调整超分辨率模型的模型参数。
上述应用程序可以包括视频软件、直播软件、即时通信软件和游戏软件中的至少一种，本申请实施例中对应用程序的类型不加以限定。示例性的，应用程序是支持虚拟环境的应用程序，比如，应用程序可以是网络手游应用程序，网络端游应用程序、在线军事演习仿真程序等。示例性的，以多人在线游戏来举例说明，多人在线游戏中提供有基于通信网络支持的虚拟环境，虚拟环境的环境画面中包括一个或一个以上虚拟角色，一个以上虚拟角色由不同用户通过多人在线游戏来控制。
示例性的，可以针对每一个应用程序训练一个超分辨率模型，在运行应用程序时，调用该应用程序对应的超分辨率模型对用户界面进行超分辨率处理，从而在终端100上展示应用程序的超分辨率界面。
图2示出了本申请一个示例性实施例提供的用户界面的生成方法的流程图。该用户界面的生成方法可以应用在上述终端中。在图2中，用户界面的生成方法包括：
步骤210：获取应用程序的第一用户界面。
其中，上述第一用户界面是由渲染数据渲染生成的，该渲染数据包括用于基于虚拟环境渲染生成第一用户界面的数据。
示例性的，上述应用程序可以是增强现实(Augmented Reality，AR)游戏程序、多人在线竞技(Multiplayer Online Battle Arena，MOBA)游戏、第一人称射击(FirstPersonal Shooting，FPS)游戏、第三人称射击(Third Personal Shooting，TPS)游戏中的至少一种。
上述渲染数据包括虚拟环境中的虚拟元素的三维模型数据，和/或，第一用户界面上的界面元素的二维模型数据。
上述虚拟元素是指构建虚拟环境的元素；示例性的，上述虚拟元素包括构建虚拟环境的虚拟对象，比如，虚拟对象可以包括虚拟角色、虚拟建筑、虚拟道具、虚拟景物等。上述虚拟元素的三维模型数据是用于构建三维的虚拟环境的模型数据，三维模型数据包括虚拟对象的长、宽、高、形状、姿态、位置、颜色等数据。
上述界面元素是指各类控件，比如，摇杆控件、文本输入控件等。上述界面元素的二维模型数据是用于各类控件的显示元素；示例性的，上述界面元素的二维模型数据包括控件的颜色、长、宽、位置等数据。
示例性的，终端在获取应用程序的第一用户界面之前，确定已开启超分功能，该超分功能用于对应用程序的用户界面进行超分辨率处理。示例性的，上述超分功能可以是设置的终端上的自启动功能；或者，上述超分功能可以是用户手动开启的；或者，上述超分功能可以是检测到应用程序运行后启动的。
在超分辨率算法程序运行的前提下，终端获取应用程序的第一用户界面。示例性的，终端可以通过透传方式将应用程序的第一用户界面传递给超分辨率算法程序；或者，应用程序上设置有特定的应用程序编程接口(Application Programming Interface，API)，终端调用API获取第一用户界面，然后传递给超分辨率算法程序；或者，由应用程序的后台服务器向终端发送授权令牌，该授权令牌用于向超分辨率算法程序开放数据获取权限，终端基于授权令牌获取应用程序的第一用户界面。
步骤220：调用超分辨率模型对第一用户界面进行超分辨率处理，得到第二用户界面，第二用户界面的分辨率大于第一用户界面的分辨率。
示例性的，上述超分辨率算法程序提供了超分辨率模型，终端在获取到第一用户界面之后，调用超分辨率模型对第一用户界面进行超分辨率处理，得到第二用户界面。其中，上述超分辨率模型是采用应用程序的用户界面和用户界面的渲染数据作为训练样本对神经网络模型训练得到的。
对于第一用户界面的超分辨率处理，首先，终端调用超分辨率模型对第一用户界面进行特征提取，得到特征图像；然后，调用超分辨率模型基于特征图像进行超分辨率处理，生成第二用户界面。
可选地，在提取得到第一用户界面的特征图像之后，终端调用超分辨率模型对特征图像进行区域划分，得到至少两个子分区特征图像；调用超分辨率模型对至少两个子分区特征图像进行超分辨率处理，生成至少两个子分区图像；调用超分辨率模型对至少两个子分区图像进行重组，得到第二用户界面。
为了保证至少两个子分区图像重组的准确性，终端调用超分辨率模型对第一用户界面与至少两个子分区图像进行像素比对，确定每一个子分区图像的重组位置，按照上述重组位置对至少两个子分区图像重组生成第二用户界面。
需要说明的是，终端对第一用户界面进行超分辨率处理之前，首先确定第一用户界面的分辨率是否为指定分辨率；若是，则直接调用超分辨率模型对第一用户界面进行超分辨率处理；若不是，则调整第一用户界面的分辨率至指定分辨率，比如，采用拉伸方式调整第一用户界面的分辨率至指定分辨率，调用超分辨率模型对调整后的第一用户界面进行超分辨率处理。
示例性的，超分辨率模型的数据处理可以是由卷积计算完成的，比如，超分辨率模型包括至少两个串联卷积层；终端通过超分辨率模型的至少两个串联卷积层对每一个子分区特征图像进行至少两次卷积计算，得到至少两个子分区图像。又比如，超分辨率模型还包括其他卷积层，超分辨率模型通过其他卷积层执行特征提取、特征图像分区、像素比对、以及像素重组的步骤。
在一些实施例中，终端在生成第二用户界面之后，在显示屏上显示第二用户界面。示例性的，超分功能还用于应用程序的超分显示，即终端在渲染生成第一用户界面之后，不显示第一用户界面，而是调用超分辨率模型对第一用户界面进行超分辨率处理，生成具备超分辨率的第二用户界面，直接将第二用户界面显示在终端的显示屏上。
综上所述，本实施例提供的用户界面的生成方法，采用超分辨率模型对应用程序的第一用户界面进行超分辨率处理，生成分辨率高于第一用户界面的第二用户界面，其中，上述超分辨率模型是采用应用程序的用户界面和用户界面的渲染数据作为训练样本训练得到的，在对第一用户界面进行超分辨率处理的同时，还具备对生成的第二用户界面的特征补偿能力，从而生成具有高完整性、高准确度的第二用户界面。
示例性的，应用程序提供了至少两种分辨率模式，至少两种分辨率模式中第j种分辨率模式对应第j个分辨率，至少两种分辨率中不存在相同分辨率，j为正整数；用户可以在应用程序中选择设置分辨率模式，也即选择设置应用程序运行时用户界面显示的分辨率。由于采用至少两种分辨率模式中高分辨率模式时，对终端的电量和计算资源消耗较大，因此，终端可以基于用户的设置操作设置应用程序采用低分辨率模式，同时开启超分功能，采用如上述实施例提供的用户界面的生成方法，从而在低分辨率模式下也能够显示超分辨率的用户界面，提高了用户对应用程序的使用体验；而且，在低分辨率模式下第一用户界面的渲染和第二用户界面的超分辨率计算所耗费的电量和计算资源，小于高分辨率模式下第一用户界面的渲染所耗费的电量和计算资源。
其中，上述高分辨率模式包括至少两种分辨率模式中除最低分辨率模式之外的其他分辨率模式中的至少一种；该低分辨率模式包括至少两种分辨率模式中除最高分辨率模式之外的其他分辨率模式中的至少一种。
在一些实施例中，超分辨率模型还能够以用户界面和用户界面的渲染数据作为输入数据，以进行用户界面的超分辨率处理，如图3，示出了本申请另一个示例性实施例提供的用户界面的生成方法的流程图。该用户界面的生成方法可以应用在上述终端中。在图3中，用户界面的生成方法包括：
步骤310：获取应用程序的第一用户界面和渲染数据。
其中，上述渲染数据包括用于基于虚拟环境渲染生成第一用户界面的数据。示例性的，上述渲染数据包括以下至少一项：虚拟环境中的虚拟元素的三维模型数据；第一用户界面上的界面元素的二维模型数据。
示例性的，终端确定应用程序已开启超分功能，获取应用程序的第一用户界面和渲染数据。在超分辨率算法程序运行的前提下，终端可以通过透传方式将应用程序的第一用户界面和渲染数据传递给超分辨率算法程序；或者，终端调用应用程序上设置的特定API来获取第一用户界面和渲染数据，然后传递给超分辨率算法程序；或者，由应用程序的后台服务器向终端发送授权令牌，该授权令牌用于向超分辨率算法程序开放数据获取权限，终端基于授权令牌获取应用程序的第一用户界面和渲染数据。
步骤320：调用超分辨率模型对第一用户界面和渲染数据进行超分辨率处理，得到第二用户界面，第二用户界面的分辨率大于第一用户界面的分辨率。
示例性的，上述超分辨率算法程序提供了超分辨率模型，终端在获取到第一用户界面和渲染数据之后，调用超分辨率模型对第一用户界面和渲染数据进行超分辨率处理，得到第二用户界面。其中，上述超分辨率模型用于对用户界面进行超分辨率重建。
在一些实施例中，终端调用超分辨率模型对第一用户界面和渲染数据进行特征提取，得到特征图像；调用超分辨率模型对特征图像进行超分辨率处理，生成第二用户界面。
可选地，终端调用超分辨率模型对特征图像进行区域划分，得到至少两个子分区特征图像；调用超分辨率模型对至少两个子分区特征图像进行超分辨率处理，生成至少两个子分区图像；调用超分辨率模型对至少两个子分区图像进行重组，得到第二用户界面。
示例性的，超分辨率模型包括特征提取层；终端将第一用户界面和渲染数据输入特征提取层，对第一用户界面和渲染数据进行卷积计算，以提取第一用户界面和渲染数据中的像素特征，生成特征图像。
示例性的，超分辨率模型包括至少两个串联卷积层；终端将至少两个子分区特征图像依次输入至少两个串联卷积层中，对每一个子分区特征图像进行至少两次卷积计算，得到至少两个子分区图像。
在一些实施例中，终端调用超分辨率模型对第一用户界面进行特征提取，得到特征图像，以及调用超分辨率模型对渲染数据进行特征提取，得到特征补偿信息；之后终端调用超分辨率模型基于特征图像和特征补偿信息进行超分辨率处理，生成第二用户界面。
可选地，终端调用超分辨率模型对特征图像进行区域划分，得到至少两个子分区特征图像；调用超分辨率模型对至少两个子分区特征图像和特征补偿信息进行超分辨率处理，生成至少两个子分区图像；调用超分辨率模型对至少两个子分区图像进行重组，得到第二用户界面。
示例性的，超分辨率模型包括特征提取层；终端将第一用户界面输入特征提取层，对第一用户界面进行卷积计算，以提取第一用户界面中的像素特征，生成特征图像；将渲染数据输入特征提取层，对渲染数据进行卷积计算，以提取渲染数据中的像素特征，生成特征补偿信息。
上述渲染数据包括：虚拟环境中的虚拟元素的三维模型数据；终端在超分辨率计算的过程中，基于三维模型数据(或特征补偿信息)对第二用户界面中虚拟元素对应的画面区域进行补偿计算，以消除画面区域上的显示缺陷。比如，通过补偿计算调整虚拟对象的显示角度、显示位置、显示大小等的显示缺陷，以及消除虚拟对象的边缘虚化、像素缺失、颜色填充错误等显示缺陷。
上述渲染数据包括：第一用户界面上的界面元素的二维模型数据；终端在超分辨率计算的过程中，基于二维模型数据(或特征补偿信息)对第二用户界面中界面元素对应的画面区域进行补偿计算，以消除画面区域上的显示缺陷。比如，通过补偿计算调整各个控件的显示位置、显示大小等显示缺陷，以及消除各个控件的边缘虚化、像素缺失、颜色填充错误等显示缺陷。
示例性的，在生成第二用户界面之后，还在终端的显示屏上显示第二用户界面。
综上所述，本实施例提供的用户界面的生成方法，是基于低分辨率的第一用户界面和第一用户界面的渲染数据来预测超分辨率的第二用户界面，以在对第一用户界面进行超分辨率学习的同时，还结合第一用户界面的渲染数据来计算第二用户界面，从而获得第一用户界面上的更多特征信息，使得生成的第二用户界面具备超分辨率的同时，还保证了第二用户界面上元素的完整性。
由于不同终端的屏幕分辨率不同，为了使用户界面的生成方法适用于更多类型的终端中，还可以设计超分辨率模型的输出分辨率可自动设置，该输出分辨率是指超分辨率模型输出的第二用户界面的分辨率。示例性的，终端在调用超分辨率模型对用户界面进行超分计算之前，执行以下步骤410至步骤420，如图4所示，步骤如下所示：
步骤410：获取显示屏的屏幕分辨率。
终端中设置有自身显示屏的屏幕分辨率，从存储器中获取显示屏的屏幕分辨率。
步骤420：基于屏幕分辨率设置超分辨率模型的输出分辨率。
示例性的，终端响应于屏幕分辨率属于第i个分辨率范围，设置超分辨率模型中的输出分辨率为第i个分辨率范围对应的第i个分辨率，第i个分辨率小于或者等于屏幕分辨率，i为正整数。示例性的，第i个分辨率范围为[thi,thi+1)，即大于等于thi且小于thi+1的分辨率范围，其对应的第i个分辨率为thi，其中，thi小于thi+1；终端响应于屏幕分辨率属于[thi,thi+1)，则设置超分辨率模型中的输出分辨率为thi。
示例性的，超分辨率模型包括至少两种超分辨率处理模式，其中，每一种超分辨率处理模式对应设置有各自的输出分辨率；终端响应于屏幕分辨率属于第i个分辨率范围，设置超分辨率模型采用第i个分辨率范围对应的第i种超分辨率处理模式。示例性的，上述超分辨率处理模式还可以对应设置有各自的模型参数，不同的输出分辨率采用不同的模型参数，从而有针对性的进行超分辨率处理，可以学习到更加精准的超分辨率界面。
需要说明的是，步骤410至步骤420还可以在步骤210或者步骤310之前执行，或者，在加载到超分辨率模型之后执行，本实施例仅以单独的实施例对超分辨率模型的输出功率设置为例进行说明。
综上所述，本实施例提供的用户界面的生成方法，可以按照终端的屏幕分辨率来选择超分辨率模型的输出分辨率，使得最终输出的第二用户界面的分辨率更加符合屏幕分辨率，也使得超分辨率模型能够适用于更多类型的终端。
为了保证超分辨率模型输出的第二用户界面既具备高分辨率又具备高精准度，可以有针对性的训练超分辨率模型，比如，一个应用程序对应训练一个超分辨率模型，从而在应用过程中，终端可以针对不同应用程序加载不同的超分辨率模型，以进行超分辨率计算。示例性的，对超分辨率模型的训练过程进行说明，如图5，其是本申请一个示例性实施例提供的模型训练方法的流程图。该模型训练方法可以应用于终端或者服务器中，以该模型训练方法应用于服务器中为例，方法步骤如下：
步骤510：获取训练样本，训练样本包括应用程序中的第一样本用户界面、第二样本用户界面和样本渲染数据。
其中，样本渲染数据是指用于基于虚拟环境渲染生成第一样本用户界面的数据；第二样本用户界面是对第一样本用户界面降低分辨率得到的。
示例性的，服务器对应的数据库中包括了应用程序的第一样本用户界面、第二样本用户界面和样本渲染数据；服务器从自身对应的数据库中获取上述第一样本用户界面、第二样本用户界面和样本渲染数据作为训练样本。
在训练样本的准备阶段，服务器从应用程序的数据库中获取第一样本用户界面和样本渲染数据，之后对第一样本用户界面进行降低分辨率处理，得到第二样本用户界面；将一组第一样本用户界面、第二样本用户界面和样本渲染数据作为一组训练样本，将训练样本存储至服务器对应的数据库。
存在一种情况，服务器仅能从应用程序的数据库中获取得到第一样本用户界面的样本渲染数据，则服务器还运行应用程序，按照样本渲染数据绘制第一样本用户界面，即可得到第一样本用户界面和样本渲染数据。
示例性的，若是应用程序属于第三方应用程序，需要应用程序的数据库的访问权限，服务器才可以从应用程序的数据库中读取样本渲染数据，或者，读取第一样本用户界面和样本渲染数据。因此，在训练样本的准备阶段，服务器向应用程序的后台服务器发送授权请求；接收后台服务器针对授权请求发送的授权令牌，该授权令牌用于向服务器开放应用程序的数据库的访问权限。之后，服务器可以基于授权令牌从应用程序的数据库中读取样本渲染数据，或者，读取第一样本用户界面和样本渲染数据。
示例性的，上述数据库可以是游戏应用程序的模型数据库，服务器从模型数据库中获取第一样本用户界面对应的模型数据。如图6，第一样本用户界面可以是游戏用户界面10。上述样本渲染数据包括：虚拟环境中样本虚拟元素的三维模型数据，和/或，样本界面元素的二维模型数据。示例性的，样本虚拟元素包括构建虚拟环境的虚拟对象；样本界面元素包括各类控件。如图6，样本虚拟元素的三维模型数据可以包括虚拟石头、虚拟人物等虚拟元素11的三维模型数据，样本界面元素可以包括摇杆控件、按钮控件等控件12的二维模型数据。
存在另一种情况，服务器获取得到的训练样本中仅包括第一样本用户界面和样本渲染数据，服务器在超分辨率处理之前，对第一样本用户界面进行降低分辨率处理，得到第二样本用户界面。
示例性的，服务器可以直接修改第一样本用户界面的文件中的分辨率，将第一样本用户界面的分辨率修改为预设分辨率，得到第二样本用户界面，预设分辨率小于第一样本用户界面的原始分辨率，也即第二样本用户界面的分辨率小于第一样本用户界面的分辨率。
示例性的，服务器可以对同一第一样本用户界面进行至少两次降低分辨率处理，从而得到至少两个第二样本用户界面，每次降低分辨率处理得到的第二样本用户界面的分辨率不同，也即至少两个第二样本用户界面中不存在相同分辨率的第二样本用户界面。
步骤520：调用超分辨率模型对第二样本用户界面和样本渲染数据进行超分辨率处理，得到第三样本用户界面。
示例性的，超分辨率模型可以是由卷积神经网络(Convolutional NeuralNetwork，CNN)、或超分辨率神经网络(Super-Resolution CNN，SRCNN)、或深度递归残差网络(Deep Recursive Residual Network，DRRN)构建的，本实施例对构建超分辨率模型的神经网络不加以限定。
在一些实施例中，服务器调用超分辨率模型对第二样本用户界面进行特征提取，得到样本特征图像，以及调用超分辨率模型对样本渲染数据进行特征提取，得到样本特征补偿信息；调用超分辨率模型对样本特征图像进行区域划分，得到至少两个子分区样本特征图像；调用超分辨率模型对至少两个子分区样本特征图像和样本特征补偿信息进行超分辨率处理，生成至少两个子分区样本图像；调用超分辨率模型对至少两个子分区样本图像进行重组，得到第三样本用户界面。
示例性的，超分辨率模型包括特征提取层；服务器将第二样本用户界面输入特征提取层，从第二样本用户界面中提取出样本特征图像；以及将样本渲染数据输入特征提取层，从样本渲染数据中提取出样本特征补偿信息。
示例性的，超分辨率模型包括至少两个串联卷积层；服务器通过至少两个串联卷积层对每一个子分区样本特征图像和样本特征补偿信息进行至少两次卷积计算，得到至少两个子分区样本图像。
在一些实施例中，服务器调用超分辨率模型对第二样本用户界面和样本渲染数据进行特征提取，得到样本特征图像；调用超分辨率模型对样本特征图像进行区域划分，得到至少两个子分区样本特征图像；调用超分辨率模型对至少两个子分区样本特征图像进行超分辨率处理，生成至少两个子分区样本图像；调用超分辨率模型对至少两个子分区样本图像进行重组，得到第三样本用户界面。
示例性的，超分辨率模型包括特征提取层；服务器将第二样本用户界面和样本渲染数据输入特征提取层，对第二样本用户界面和样本渲染数据进行卷积计算，以提取第二样本用户界面和渲染数据中的像素特征，生成样本特征图像。
示例性的，超分辨率模型包括至少两个串联卷积层；服务器将至少两个子分区样本特征图像依次输入至少两个串联卷积层中，对每一个子分区样本特征图像进行至少两次卷积计算，得到至少两个子分区样本图像。
上述样本渲染数据包括：虚拟环境中样本虚拟元素的三维模型数据；服务器在超分辨率计算的过程中，基于三维模型数据(或者样本特征补偿信息)对第三样本用户界面中样本虚拟元素对应的样本画面区域进行补偿计算，以消除样本画面区域上的显示缺陷。比如，通过补偿计算调整虚拟对象的显示角度、显示位置、显示大小等的显示缺陷，以及消除虚拟对象的边缘虚化、像素缺失、颜色填充错误等显示缺陷。
上述样本渲染数据包括：第一样本用户界面上的样本界面元素的二维模型数据；服务器在超分辨率计算的过程中，基于二维模型数据(或者样本特征补偿信息)对第三样本用户界面中样本界面元素对应的样本画面区域进行补偿计算，以消除样本画面区域上的显示缺陷。比如，通过补偿计算调整各个控件的显示位置错误、显示大小错误等显示缺陷，以及消除各个控件的边缘虚化、像素缺失、颜色填充错误等显示缺陷。
步骤530：基于第三样本用户界面与第一样本用户界面之间的特征损失，调整超分辨率模型的模型参数。
示例性的，服务器计算第一样本用户界面的第一特征向量，以及计算第三样本用户界面的第二特征向量，基于第一特征向量和第二特征向量计算第一样本用户界面与第三样本用户界面之间的特征损失。示例性的，服务器调用损失函数来计算第三样本用户界面与第一样本用户界面之间的特征损失；上述损失函数可以是绝对值损失函数、或者平均损失函数、或者交叉熵损失函数等。
示例性的，服务器计算第三样本用户界面与第一样本用户界面之间的界面相似度，基于上述界面相似度来确定第一样本用户界面与第三样本用户界面之间的特征损失。比如，界面相似度与特征损失之间存在负相关映射关系，服务器基于上述负相关映射关系确定界面相似度对应的特征损失，上述负相关映射关系表示界面相似度越高，则特征损失越小。示例性的，上述负相关映射关系可以是线性关系。
示例性的，服务器通过反向传播的方式基于特征损失函数来调整超分辨率模型的模型参数。比如，服务器通过最小化特征损失的方式来调整机器学习模型的模型参数。
综上所述，本实施例提供的模型训练方法，是对第一样本用户界面进行降低分辨率处理后，将得到的第二样本用户界面和第一样本用户界面的样本渲染数据作为输入数据，且以第一样本用户界面作为参考标准来训练超分辨率模型，通过结合样本渲染数据来计算超分辨率界面，以获得第二样本用户界面上应当存在的更多特征信息，生成超分辨率的第三样本用户界面，之后通过第三样本用户界面与具备高分辨率的第一样本用户界面之间的特征损失，来调整超分辨率模型的模型参数，使得训练完成的超分辨率模型具备超分辨率处理能力的同时，还具备对超分辨率界面的特征补偿能力，进而能够生成具有高完整性的超分辨率界面。比如，获取游戏应用程序中的用户界面、以及虚拟环境、虚拟人物、虚拟物品等的模型数据，来训练超分辨率模型，使得超分辨率模型能够更快更准确地计算出超分辨率界面；其次，在基于用户界面来计算超分辨率界面时，结合了用户界面的渲染数据，还能够获得用户界面的更多特征信息，从而提高生成的超分辨率界面的完整性。
还需要说明的是，存在应用程序的数据库中模型数据定期更新的情况，为了保持超分辨率模型的超分辨率计算的准确性，服务器响应于应用程序的数据库的数据更新信号，获取更新后训练样本；执行本实施例提供的超分辨率模型的训练方法，采用更新后训练样本对超分辨模型进行再训练。示例性的，对于应用程序的数据更新，服务器可以与应用程序的后台服务器建立协议通信，当应用程序的数据更新时，由后台服务器向服务器发送数据更新信号。
在一些实施例中，上述超分辨率模型的应用和训练都还可以通过云计算来实现，如图7，示出了本申请实施例提供的超分辨率模型的应用和训练的整体架构图。对于超分辨率模型的应用侧，图7中的步骤如下：
步骤610：终端开启超分功能。
终端接收自身输入设备上的触发操作，该触发操作用于触发超分功能的开启；启动超分功能，该超分功能用于对游戏应用程序的用户界面进行超分辨率处理以提高用户界面的分辨率。其中，若上述显示屏为触摸屏，则上述输入设备可以是终端上的显示屏；终端上还可以存在物理按键，上述输入设备还可以是终端上的物理按键。
步骤620：终端运行游戏应用程序。
终端接收自身输入设备上的打开操作，在前台运行游戏应用程序。
步骤630：终端通过云端网络调用云端服务器上的超分辨率模型。
终端将游戏应用程序的第一用户界面通过云端网络上传至云端服务器，由云端服务器通过超分辨率模型对第一用户界面进行超分辨率处理，得到第二用户界面；再接收云端服务器通过云端网络反馈的第二用户界面。
步骤640：终端显示第二用户界面。
对于超分辨率模型的训练侧，图8中的步骤如下：
步骤650：云端服务器获取训练样本。
训练样本包括游戏应用程序的第一样本用户界面、第二样本用户界面和样本渲染数据。示例性的，云端服务器从游戏应用程序的数据库中获取第一样本用户界面和样本渲染数据，对第一样本用户界面进行降低分辨率处理，得到第二样本用户界面，上述第一样本用户界面、第二样本用户界面和样本渲染数据即为超分辨率模型的训练样本。
步骤660：云端服务器训练超分辨率模型。
云端服务器采用训练样本对超分辨率模型进行训练。示例性的，云端服务器调用超分辨率模型对第二样本用户界面和样本渲染数据进行超分辨率处理，得到第三样本用户界面；计算第三样本用户界面与第一样本用户界面之间的特征损失，基于特征损失调整超分辨率模型的模型参数。
可选地，样本渲染数据包括：虚拟环境中样本虚拟元素的三维模型数据；云端服务器在超分辨率计算的过程中，基于三维模型数据对第三样本用户界面中样本虚拟元素对应的样本画面区域进行补偿计算，以消除样本画面区域上的显示缺陷。
可选地，样本渲染数据包括：第一样本用户界面上的样本界面元素的二维模型数据；云端服务器在超分辨率计算的过程中，基于二维模型数据对第三样本用户界面中样本界面元素对应的样本画面区域进行补偿计算，以消除样本画面区域上的显示缺陷。
步骤670：云端服务器定期同步更新超分辨率模型。
云端服务器根据游戏应用程序的数据库的定期更新，对超分辨率模型进行同步更新，以保证超分辨率模型的计算准确性。
也就是说，在游戏应用程序的发生数据更新后，云端服务器将更新后数据作为更新后训练数据，对超分辨率模型进行再次训练。再次训练时，可以采用更新数据和历史数据共同对超分辨率模型进行再次训练，历史数据是指前一次训练所用的数据；或者，还可以仅采用更新数据对超分辨率模型进行再次训练，这样的训练方式可以提高训练效率。
综上所述，本实施例提供用户界面的生成方法，采用超分辨率模型对应用程序的第一用户界面进行超分辨率处理，生成分辨率高于第一用户界面的第二用户界面，其中，上述超分辨率模型是采用应用程序的用户界面和用户界面的渲染数据作为训练样本训练得到的，在对第一用户界面进行超分辨率处理的同时，还具备对生成的第二用户界面的特征补偿能力，从而生成具有高完整性、高准确度的第二用户界面，进而对超分辨率的第二用户界面进行显示。
本实施例提供的模型训练方法，基于游戏应用程序的用户界面和渲染数据来训练超分辨率模型，更有针对性，能够训练得到更加适用于游戏应用程序的超分辨率模型，比如，获取游戏应用程序中的用户界面、以及虚拟环境、虚拟人物、虚拟物品等的模型数据，来训练超分辨率模型，使得超分辨率模型能够更快更准确地计算出该游戏应用程序的超分辨率界面。
下述为本申请装置实施例，可以用于执行本申请方法实施例。对于本申请装置实施例中未披露的细节，请参照本申请方法实施例。
请参考图8，其示出了本申请一个示例性实施例提供的模型训练装置的结构框图。该模型训练装置可以通过软件、硬件或者两者的结合实现成为服务器或者终端的全部或一部分。该装置包括：
第一获取模块710，用于获取训练样本，训练样本包括应用程序中的第一样本用户界面、第二样本用户界面和样本渲染数据，样本渲染数据是指用于基于虚拟环境渲染生成第一样本用户界面的数据，第二样本用户界面是对第一样本用户界面降低分辨率得到的；
第一处理模块720，用于调用超分辨率模型对第二样本用户界面和样本渲染数据进行超分辨率处理，得到第三样本用户界面；
第一调整模块730，用于基于第三样本用户界面与第一样本用户界面之间的特征损失，调整超分辨率模型的模型参数；其中，超分辨率模型用于对用户界面进行超分辨率重建。
在一个可选地实施例中，第一处理模块720，用于：
调用超分辨率模型对第二样本用户界面进行特征提取，得到样本特征图像；以及调用超分辨率模型对样本渲染数据进行特征提取，得到样本特征补偿信息；
调用超分辨率模型对样本特征图像进行区域划分，得到至少两个子分区样本特征图像；
调用超分辨率模型对至少两个子分区样本特征图像和样本特征补偿信息进行超分辨率处理，生成至少两个子分区样本图像；
调用超分辨率模型对至少两个子分区样本图像进行重组，得到第三样本用户界面。
在一个可选地实施例中，超分辨率模型包括至少两个串联卷积层；第一处理模块720，用于：
通过至少两个串联卷积层对每一个子分区样本特征图像和样本特征补偿信息进行至少两次卷积计算，得到至少两个子分区样本图像。
在一个可选地实施例中，样本渲染数据包括以下至少一项：
虚拟环境中的虚拟元素的三维模型数据；
第一样本用户界面上的界面元素的二维模型数据。
在一个可选地实施例中，该装置还包括第一训练模块740；
第一训练模块740，用于响应于应用程序的数据库的数据更新信号，获取更新后训练样本，采用更新后训练样本对超分辨模型进行再训练。
综上所述，本实施例提供的模型训练装置，是对第一样本用户界面进行降低分辨率处理后，将得到的第二样本用户界面和第一样本用户界面的样本渲染数据作为输入数据，且以第一样本用户界面作为参考标准来训练超分辨率模型，通过结合样本渲染数据来计算超分辨率界面，以获得第二样本用户界面上应当存在的更多特征信息，生成超分辨率的第三样本用户界面，之后通过第三样本用户界面与具备高分辨率的第一样本用户界面之间的特征损失，来调整超分辨率模型的模型参数，使得训练完成的超分辨率模型具备超分辨率处理能力的同时，还具备对超分辨率界面的特征补偿能力，进而能够生成具有高完整性的超分辨率界面。
请参考图9，其示出了本申请一个示例性实施例提供的用户界面的生成装置的结构框图。该用户界面的生成装置可以通过软件、硬件或者两者的结合实现成为终端的全部或一部分。该用户界面的生成装置应用上述各个实施例提供的模型训练方法中得到的超分辨率模型，超分辨率模型用于对用户界面进行超分辨率重建。该装置包括：
第二获取模块810，用于获取应用程序的第一用户界面；
第二处理模块820，用于调用超分辨率模型对第一用户界面进行特征提取，得到特征图像；
第二处理模块820，用于调用超分辨率模型基于特征图像进行超分辨率处理，生成第二用户界面，第二用户界面的分辨率大于第一用户界面的分辨率。
在一个可选地实施例中，第二处理模块820，用于：
调用超分辨率模型对特征图像进行区域划分，得到至少两个子分区特征图像；
调用超分辨率模型对至少两个子分区特征图像进行超分辨率处理，生成至少两个子分区图像；
调用超分辨率模型对至少两个子分区图像进行重组，得到第二用户界面。
在一个可选地实施例中，超分辨率模型包括至少两个串联卷积层；第二处理模块820，用于：
通过至少两个串联卷积层对每一个子分区特征图像进行至少两次卷积计算，得到至少两个子分区图像。
在一个可选地实施例中，该装置还包括第二显示模块830；
第二显示模块830，用于在生成第二用户界面之后，在终端的显示屏上显示第二用户界面。
综上所述，本实施例提供的用户界面的生成装置，采用超分辨率模型对应用程序的第一用户界面进行超分辨率处理，生成分辨率高于第一用户界面的第二用户界面，其中，上述超分辨率模型是采用应用程序的用户界面和用户界面的渲染数据作为训练样本训练得到的，在对第一用户界面进行超分辨率处理的同时，还具备对生成的第二用户界面的特征补偿能力，从而生成具有高完整性、高准确度的第二用户界面。
本申请实施例还提供了一种计算机可读介质，该计算机可读介质存储有至少一条指令，所述至少一条指令由所述处理器加载并执行以实现如上各个实施例所述的模型训练方法，或者，用户界面的生成方法。
需要说明的是：上述实施例提供的用户界面的生成装置在执行用户界面的生成方法、以及模型训练装置在执行模型训练方法时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的用户界面的生成装置与用户界面的生成方法实施例属于同一构思，上述实施例提供的模型训练装置与模型训练方法实施例也属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上所述仅为本申请的能够实现的示例性的实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (13)

1.一种模型训练方法，其特征在于，所述方法包括：
获取训练样本，所述训练样本包括应用程序中的第一样本用户界面、第二样本用户界面和样本渲染数据，所述样本渲染数据是指用于基于虚拟环境渲染生成所述第一样本用户界面的数据，所述第二样本用户界面是对所述第一样本用户界面降低分辨率得到的；
调用超分辨率模型对所述第二样本用户界面和所述样本渲染数据进行超分辨率处理，得到第三样本用户界面；
基于所述第三样本用户界面与所述第一样本用户界面之间的特征损失，调整所述超分辨率模型的模型参数；其中，所述超分辨率模型用于对用户界面进行超分辨率重建。
2.根据权利要求1所述的方法，其特征在于，所述调用超分辨率模型对所述第二样本用户界面和所述样本渲染数据进行超分辨率处理，得到第三样本用户界面，包括：
调用所述超分辨率模型对所述第二样本用户界面进行特征提取，得到样本特征图像；以及调用所述超分辨率模型对所述样本渲染数据进行特征提取，得到样本特征补偿信息；
调用所述超分辨率模型对所述样本特征图像进行区域划分，得到至少两个子分区样本特征图像；
调用所述超分辨率模型对所述至少两个子分区样本特征图像和所述样本特征补偿信息进行超分辨率处理，生成至少两个子分区样本图像；
调用所述超分辨率模型对所述至少两个子分区样本图像进行重组，得到所述第三样本用户界面。
3.根据权利要求2所述的方法，其特征在于，所述超分辨率模型包括至少两个串联卷积层；
所述调用所述超分辨率模型对所述至少两个子分区样本特征图像和所述样本特征补偿信息进行超分辨率处理，生成至少两个子分区样本图像，包括：
通过所述至少两个串联卷积层对每一个子分区样本特征图像和所述样本特征补偿信息进行至少两次卷积计算，得到所述至少两个子分区样本图像。
4.根据权利要求1至3任一所述的方法，其特征在于，所述样本渲染数据包括以下至少一项：
所述虚拟环境中的虚拟元素的三维模型数据；
所述第一样本用户界面上的界面元素的二维模型数据。
5.根据权利要求1至3任一所述的方法，其特征在于，所述基于所述第三样本用户界面与所述第一样本用户界面之间的特征损失，调整所述超分辨率模型的模型参数之后，包括：
响应于所述应用程序的数据库的数据更新信号，获取更新后训练样本，采用所述更新后训练样本对所述超分辨模型进行再训练。
6.一种用户界面的生成方法，其特征在于，应用如权利要求1所述方法生成的超分辨率模型，所述超分辨率模型用于对用户界面进行超分辨率重建，所述方法包括：
获取应用程序的第一用户界面；
调用所述超分辨率模型对所述第一用户界面进行特征提取，得到特征图像；
调用所述超分辨率模型基于所述特征图像进行超分辨率处理，生成第二用户界面，所述第二用户界面的分辨率大于所述第一用户界面的分辨率。
7.根据权利要求6所述的方法，其特征在于，所述调用所述超分辨率模型基于所述特征图像进行超分辨率处理，生成第二用户界面，包括：
调用所述超分辨率模型对所述特征图像进行区域划分，得到至少两个子分区特征图像；
调用所述超分辨率模型对所述至少两个子分区特征图像进行超分辨率处理，生成至少两个子分区图像；
调用所述超分辨率模型对所述至少两个子分区图像进行重组，得到所述第二用户界面。
8.根据权利要求7所述的方法，其特征在于，所述超分辨率模型包括至少两个串联卷积层；
所述调用所述超分辨率模型对所述至少两个子分区特征图像进行超分辨率处理，生成至少两个子分区图像，包括：
通过所述至少两个串联卷积层对每一个子分区特征图像进行至少两次卷积计算，得到所述至少两个子分区图像。
9.根据权利要求6至8任一所述的方法，其特征在于，所述方法还包括：
在生成所述第二用户界面之后，在终端的显示屏上显示所述第二用户界面。
10.一种模型训练装置，其特征在于，所述装置包括：
第一获取模块，用于获取训练样本，所述训练样本包括应用程序中的第一样本用户界面、第二样本用户界面和样本渲染数据，所述样本渲染数据是指用于基于虚拟环境渲染生成所述第一样本用户界面的数据，所述第二样本用户界面是对所述第一样本用户界面降低分辨率得到的；
第一处理模块，用于调用超分辨率模型对所述第二样本用户界面和所述样本渲染数据进行超分辨率处理，得到第三样本用户界面；
第一调整模块，用于基于所述第三样本用户界面与所述第一样本用户界面之间的特征损失，调整所述超分辨率模型的模型参数；其中，所述超分辨率模型用于对用户界面进行超分辨率重建。
11.一种用户界面的生成装置，其特征在于，所述装置应用如权利要求1所述方法生成的超分辨率模型，所述超分辨率模型用于对用户界面进行超分辨率重建，所述装置包括：
第二获取模块，用于获取应用程序的第一用户界面；
第二处理模块，用于调用所述超分辨率模型对所述第一用户界面进行特征提取，得到特征图像；
所述第二处理模块，用于调用所述超分辨率模型基于所述特征图像进行超分辨率处理，生成第二用户界面，所述第二用户界面的分辨率大于所述第一用户界面的分辨率。
12.一种终端，其特征在于，所述终端包括处理器、和与所述处理器相连的存储器，以及存储在所述存储器上的程序指令，所述处理器执行所述程序指令时实现如权利要求1至5任一所述的模型训练方法，或，如权利要求6至9任一所述的用户界面的生成方法。
13.一种计算机可读存储介质，所述存储介质中存储有程序指令，其特征在于，所述程序指令被处理器执行时实现如权利要求1至5任一所述的模型训练方法，或，如权利要求6至9任一所述的用户界面的生成方法。
CN202110599896.XA 2021-05-31 2021-05-31 模型训练方法、用户界面的生成方法、装置及存储介质 Active CN113222178B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110599896.XA CN113222178B (zh) 2021-05-31 2021-05-31 模型训练方法、用户界面的生成方法、装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110599896.XA CN113222178B (zh) 2021-05-31 2021-05-31 模型训练方法、用户界面的生成方法、装置及存储介质

Publications (2)

Publication Number Publication Date
CN113222178A true CN113222178A (zh) 2021-08-06
CN113222178B CN113222178B (zh) 2024-02-09

Family

ID=77081903

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110599896.XA Active CN113222178B (zh) 2021-05-31 2021-05-31 模型训练方法、用户界面的生成方法、装置及存储介质

Country Status (1)

Country Link
CN (1) CN113222178B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023174144A1 (zh) * 2022-03-17 2023-09-21 阿里巴巴（中国）有限公司 云桌面图像的超分辨率重建方法、装置、设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190272622A1 (en) * 2018-03-01 2019-09-05 Nvidia Corporation Enhancing high-resolution images with data from low-resolution images
CN111258467A (zh) * 2020-01-07 2020-06-09 腾讯科技（深圳）有限公司 界面显示方法、装置、计算机设备及存储介质
CN111681167A (zh) * 2020-06-03 2020-09-18 腾讯科技（深圳）有限公司 画质调整方法和装置、存储介质及电子设备
US20200311871A1 (en) * 2017-12-20 2020-10-01 Huawei Technologies Co., Ltd. Image reconstruction method and device
CN111784578A (zh) * 2020-06-28 2020-10-16 Oppo广东移动通信有限公司 图像处理、模型训练方法及装置、设备、存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200311871A1 (en) * 2017-12-20 2020-10-01 Huawei Technologies Co., Ltd. Image reconstruction method and device
US20190272622A1 (en) * 2018-03-01 2019-09-05 Nvidia Corporation Enhancing high-resolution images with data from low-resolution images
CN111258467A (zh) * 2020-01-07 2020-06-09 腾讯科技（深圳）有限公司 界面显示方法、装置、计算机设备及存储介质
CN111681167A (zh) * 2020-06-03 2020-09-18 腾讯科技（深圳）有限公司 画质调整方法和装置、存储介质及电子设备
CN111784578A (zh) * 2020-06-28 2020-10-16 Oppo广东移动通信有限公司 图像处理、模型训练方法及装置、设备、存储介质

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
XIAOBIN HU等: "Face Super-Resolution Guided by 3D Facial Priors", 《COMPUTER VISION - ECCV 2020》, pages 763 - 780 *
YANCHUN XIE等: "3D video super-resolution using fully convolutional neural networks", 《2016 IEEE INTERNATIONAL CONFERENCE ON MULTIMEDIA AND EXPO (ICME)》, pages 16266764 *
孙尚白: "基于小波变换的三维表面纹理超分辨率及评价", 《中国优秀硕士学位论文全文数据库信息科技辑》, no. 02, pages 138 - 1854 *
徐伟夫: "基于深度学习的图像超分辨率重建方法研究与实现", 《中国优秀硕士学位论文全文数据库信息科技辑》, no. 04, pages 138 - 355 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023174144A1 (zh) * 2022-03-17 2023-09-21 阿里巴巴（中国）有限公司 云桌面图像的超分辨率重建方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN113222178B (zh) 2024-02-09

Similar Documents

Publication Publication Date Title
KR20210123399A (ko) 인공 지능에 기초한 애니메이션 이미지 구동 방법, 및 관련 디바이스
CN113838176B (zh) 模型的训练方法、三维人脸图像生成方法及设备
EP3992919B1 (en) Three-dimensional facial model generation method and apparatus, device, and medium
WO2022089166A1 (zh) 人脸图像的处理方法、显示方法、装置及设备
US20240037839A1 (en) Image rendering
CN112581635B (zh) 一种通用的快速换脸方法、装置、电子设备和存储介质
CN114202615A (zh) 人脸表情的重建方法、装置、设备和存储介质
CN113095206A (zh) 虚拟主播生成方法、装置和终端设备
CN113222178B (zh) 模型训练方法、用户界面的生成方法、装置及存储介质
US20230290132A1 (en) Object recognition neural network training using multiple data sources
CN111914106B (zh) 纹理与法线库构建方法、纹理与法线图生成方法及装置
CN116112761B (zh) 生成虚拟形象视频的方法及装置、电子设备和存储介质
CN117058284A (zh) 图像生成方法、装置和计算机可读存储介质
CN116233532A (zh) 视频播放方法、装置、计算机设备及计算机可读存储介质
CN113643417B (zh) 图像调整方法、装置、电子设备及存储介质
CN115564803B (zh) 一种动画处理方法、装置、设备、存储介质及产品
CN115243025B (zh) 三维渲染方法、装置、终端设备以及存储介质
CN112439200B (zh) 数据处理方法、装置、存储介质及电子设备
CN117504296A (zh) 动作生成方法、动作显示方法、装置、设备、介质及产品
CN116939297A (zh) 一种动捕设备数据统一驱动方法及系统
CN117253278A (zh) 自动生成用户在元宇宙3d形象的方法及系统
CN116170570A (zh) 视频处理方法、装置、计算机设备及计算机可读存储介质
CN117011910A (zh) 图像处理方法、装置及计算机设备、存储介质、程序产品
CN115866354A (zh) 基于交互虚拟现实的非物质遗产具象化演绎方法及装置
CN116778107A (zh) 表情模型的生成方法、装置、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant