CN112439200B - 数据处理方法、装置、存储介质及电子设备 - Google Patents
数据处理方法、装置、存储介质及电子设备 Download PDFInfo
- Publication number
- CN112439200B CN112439200B CN202011412502.7A CN202011412502A CN112439200B CN 112439200 B CN112439200 B CN 112439200B CN 202011412502 A CN202011412502 A CN 202011412502A CN 112439200 B CN112439200 B CN 112439200B
- Authority
- CN
- China
- Prior art keywords
- image
- game
- style
- depth
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/55—Controlling game characters or game objects based on the game progress
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/80—Special adaptations for executing a specific game genre or game mode
- A63F13/837—Shooting of targets
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Human Computer Interaction (AREA)
- Health & Medical Sciences (AREA)
- Processing Or Creating Images (AREA)
Abstract
本申请实施例公开了一种数据处理方法、装置、存储介质及电子设备,其中数据处理方法包括:获取第一游戏对应的第一游戏图像和第二游戏对应的第二游戏图像;基于第一游戏图像对预设游戏深度模型进行训练,得到所述第一游戏对应的游戏深度模型;根据所述第一游戏图像对应的图像内容特征信息和第二游戏图像对应的图像风格特征信息,对所述第一游戏图像进行图像风格转换,得到转换后的第一游戏图像,所述转换后的第一游戏图像为具有第二游戏的图像风格的第一游戏图像;采用转换后的第一游戏图像对游戏深度模型进行调整,得到目标游戏深度模型。本方案可以提高模型的泛化能力。
Description
技术领域
本申请涉及信息处理技术领域,具体涉及一种数据处理方法、装置、存储介质及电子设备。
背景技术
随着人工智能的发展,机器学习模型的使用越来越广泛。通过对机器学习模型进行训练,使得机器学习模型进行数据处理。比如,对游戏深度模型进行训练,使得训练后的游戏深度模型可以实现对游戏中的虚拟对象进行控制。
然而,由于不同游戏的风格不同,A游戏对应的游戏深度模型在B游戏上取得深度估计效果不佳,目前的常规作法是基于硬编码的游戏风格转化方法,硬编码是只人工设计规则进行数据扩充,比如对游戏图像进行随机截取、翻转、交换色彩通道以及增加随机噪声,通过这些操作能在一定程度上增强模型的泛化能力,但其缺点是生成的结果不太自然,无法模拟新游戏的风格。
发明内容
本申请实施例提供一种数据处理方法、装置、存储介质及电子设备,可以提高模型的泛化能力。
本申请实施例提供了一种数据处理方法,包括:
获取第一游戏对应的第一游戏图像和第二游戏对应的第二游戏图像;
基于第一游戏图像对预设游戏深度模型进行训练,得到所述第一游戏对应的游戏深度模型;
根据所述第一游戏图像对应的图像内容特征信息和第二游戏图像对应的图像风格特征信息,对所述第一游戏图像进行图像风格转换,得到转换后的第一游戏图像,所述转换后的第一游戏图像为具有第二游戏的图像风格的第一游戏图像;
采用转换后的第一游戏图像对游戏深度模型进行调整,得到目标游戏深度模型,所述目标游戏深度模型为第一游戏和第二游戏均适用的游戏深度模型。
相应的,本申请实施例还提供了一种数据处理方法装置,包括:
获取模块,用于获取第一游戏对应的第一游戏图像和第二游戏对应的第二游戏图像;
训练模块,用于基于第一游戏图像对预设游戏深度模型进行训练,得到所述第一游戏对应的游戏深度模型;
转换模块,用于根据所述第一游戏图像对应的图像内容特征信息和第二游戏图像对应的图像风格特征信息,对所述第一游戏图像进行图像风格转换,得到转换后的第一游戏图像,所述转换后的第一游戏图像为第二游戏的图像风格的第一游戏图像;
调整模块,用于采用转换后的第一游戏图像对游戏深度模型进行调整,得到目标游戏深度模型,所述目标游戏深度模型为第一游戏和第二游戏均适用的游戏深度模型。
可选的,在本申请的一些实施例中,所述转换模块包括:
第一获取单元,用于获取图像风格转换模型,所述图像风格转换模型包括内容编码网络、风格编码网络以及图像生成网络;
提取单元,用于利用所述内容编码网络提取所述第一游戏图像对应的图像内容特征,以及;利用所述风格编码网络提取所述第二游戏图像对应的图像风格特征;
转换单元,用于根据所述第一游戏图像对应的图像内容特征和第二游戏图像对应的图像风格特征,利用所述图像生成网络生成第二游戏的图像风格的第一游戏图像,得到转换后的第一游戏图像。
可选的,在本申请的一些实施例中,还包括:
第二获取单元,获取基础风格转换模型,所述基础网络转换模型包括内容编码网络、风格编码网络以及生成器;
采集单元,用于采集第一游戏对应的第一样本图像和第二游戏对应的第二样本图像;
第一编码单元,用于根据所述基础风格转换模型中的内容编码网络对所述第一样本图像进行编码,得到所述第一样本图像对应的图像内容特征;
第二编码单元,用于根据所述基础风格转换模型中的风格编码网络分别对所述第一样本图像和第二样本图像进行编码,得到所述第一样本图像对应的第一图像风格特征和所述第二样本图像对应的第二图像风格特征;
生成单元,用于根据所述第一样本图像对应的图像内容特征和第二样本图像对应的图像风格特征,利用所述生成器生成第二游戏的图像风格的第一样本图像,得到转换后的第一样本图像;
训练单元,用于基于所述第一样本图像、第二样本图像以及转换后的第一样本图像对所述基础风格模型进行训练,得到图像风格转换模型。
可选的,在本申请的一些实施例中,所述训练单元包括:
生成子单元,用于基于所述第一样本图像对应的图像内容特征和第一图像风格特征,利用基础风格转换模型的解码网络生成所述第一样本图像对应的重构图像;
训练子单元,用于高根据所述第一游戏图像、第二游戏图像、重构图像以及转换后的第一样本图像对所述基础风格转换模型进行训练,得到图像风格转换模型。
可选的,在本申请的一些实施例中,所述训练子单元具体用于:
计算所述第一游戏图像与重构图像之间的重构图像损失;
计算所述第一游戏图像的图像内容特征信息与重构图像对应的图像内容特征信息之间的内容特征损失;
计算所述第二游戏图像的图像风格特征信息与转换后的第一样本图像对应的图像风格特征信息之间的风格特征损失;
基于所述图像风格转换模型中判别器对转换后的第一样本图像进行判别,以得到转换后的第一样本图像与第二样本图像的差别结果;
根据差别结果生成转换后的第一样本图像的对抗损失;
基于所述对抗损失、重构图像损失、内容特征损失以及风格特征损失收敛所述基础风格转换模型,得到图像风格转换模型。
可选的,在本申请的一些实施例中,所述训练模块具体用于:
采集所述第一游戏图像对应的真实深度图像;
基于所述游戏深度模型生成所述第一游戏图像的预估深度图像;
根据所述真实深度图像与预估深度图像之间的像素差,生成所述游戏深度模型的深度损失;
基于所述深度损失收敛所述游戏深度模型,得到所述第一游戏对应的游戏深度模型。
可选的,在本申请的一些实施例中,所述调整模块具体用于:
将转换后的第一游戏图像输入至所述游戏深度模型中,得到转换后的第一游戏图像对应的预估深度图像;
获取所述第一游戏图像对应的真实深度图像;
基于第一游戏图像对应的预估深度图像以及所述真实深度图像,采用反向传播算法对游戏深度模型进行调整,得到目标游戏深度模型。
可选的,在本申请的一些实施例中,还包括控制模块,所述控制模块具体用于:
利用所述目标游戏深度模型,控制所述第二游戏中的虚拟游戏对象。
本申请在获取第一游戏对应的第一游戏图像和第二游戏对应的第二游戏图像后,基于第一游戏图像对预设游戏深度模型进行训练,得到所述第一游戏对应的游戏深度模型,然后,根据所述第一游戏图像对应的图像内容特征信息和第二游戏图像对应的图像风格特征信息,对所述第一游戏图像进行图像风格转换,得到转换后的第一游戏图像,所述转换后的第一游戏图像为具有第二游戏的图像风格的第一游戏图像,最后,采用转换后的第一游戏图像对游戏深度模型进行调整,得到目标游戏深度模型,所述目标游戏深度模型为第一游戏和第二游戏均适用的游戏深度模型。本申请提供的数据处理方法,基于第二游戏图像对应的图像风格特征信息和第一游戏图像对应的图像内容特征信息,对第一游戏图像进行图像风格转换,得到为具有第二游戏的图像风格的第一游戏图像,并利用得到的图像对游戏深度模型进行调整,使得目标游戏深度模型为第一游戏和第二游戏均适用的游戏深度模型,因此,提高了游戏深度模型的泛化能力。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1a是本申请实施例提供的数据处理系统的结构示意图;
图1b是本申请实施例提供的数据处理方法的流程示意图;
图2a是本申请实施例提供的数据处理方法的另一流程示意图;
图2b是本申请实施例提供的游戏深度模型的结构示意图;
图2c是本申请实施例提供的编码网络的结构示意图;
图2d是本申请实施例提供的解码网络的结构示意图;
图2e是本申请实施例提供的图像风格转换的示意图;
图3a是本申请实施例提供的数据处理装置的结构示意图;
图3b是本申请实施例提供的数据处理装置的另一结构示意图;
图4是本申请实施例提供的电子设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请实施例提供一种数据处理方法、装置、存储介质及电子设备。其中,该数据处理装置具体可以集成在服务器中,服务器可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器。服务器可以与终端通过有线或无线通信方式进行直接或间接地连接,终端可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表等,但并不局限于此。
人工智能(Artificial Intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。使机器具有感知、推理与决策的功能。机器学习(Machine Learning,ML)是人工智能的核心,其专门研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能。在本方案中,则是通过机器学习的方式对游戏中的虚拟对象进行控制,在训练阶段采用图像风格转换的方式对训练集进行泛化,提升了模型的泛化能力,进而提高模型后续的深度估计能力。
例如,请参阅图1a,本申请提供一种数据处理系统(以下简称处理系统),该控制系统集成在服务器中,具体的,服务器可以获取第一游戏对应的第一游戏图像和第二游戏对应的第二游戏图像,其中,第一游戏和第二游戏为不同游戏,且第一游戏和第二游戏的游戏类型相同,比如,第一游戏和第二游戏均为枪战类型的游戏,且为不同游戏厂商所发布的游戏,然后,服务器可以基于第一游戏图像对预设深度模型进行训练,得到第一游戏对应的的游戏深度模型,接着,服务器根据第一游戏图像对应的图像内容特征信息和第二游戏图像对应的图像风格特征信息,对第一游戏图像进行图像风格转换,得到转换后的第一游戏图像,其中,转换后的第一游戏图像为具有第二游戏的图像风格的第一游戏图像,最后,服务器采用转换后的第一游戏图像对游戏深度模型进行调整,得到目标游戏深度模型,该目标游戏深度模型为第一游戏和第二游戏均使用的游戏深度模型,比如,可以通过目标游戏深度模型对第二游戏中的虚拟对象进行控制。
本申请提供的数据处理方法,基于第二游戏图像对应的图像风格特征信息和第一游戏图像对应的图像内容特征信息,对第一游戏图像进行图像风格转换,得到为具有第二游戏的图像风格的第一游戏图像,并利用得到的图像对游戏深度模型进行调整,使得目标游戏深度模型为第一游戏和第二游戏均适用的游戏深度模型,因此,提高了游戏深度模型的泛化能力。
以下分别进行详细说明。需说明的是,以下实施例的描述顺序不作为对实施例优先顺序的限定。
一种数据处理方法,包括:获取第一游戏对应的第一游戏图像和第二游戏对应的第二游戏图像,基于第一游戏图像对预设游戏深度模型进行训练,得到第一游戏对应的游戏深度模型,根据第一游戏图像对应的图像内容特征信息和第二游戏图像对应的图像风格特征信息,对第一游戏图像进行图像风格转换,得到转换后的第一游戏图像,采用转换后的第一游戏图像对游戏深度模型进行调整,得到目标游戏深度模型。
请参阅图1b,图1b为本申请实施例提供的数据处理方法的流程示意图。该数据处理方法的具体流程可以如下:
101、获取第一游戏对应的第一游戏图像和第二游戏对应的第二游戏图像。
其中,可以理解的是,第一游戏图像为运行第一游戏时所产生的游戏画面,同理,第二游戏图像为运行第二游戏时所产生的游戏画面,第一游戏的游戏类型和第二游戏的游戏类型相同,比如,第一游戏和第二游戏均为第三人称射击类型的游戏。
具体的,可以从第一游戏中不同场景下的游戏画面(即第一游戏图像),第二游戏中不同场景下的游戏画面(即第二游戏图像),例如,从一段包含多个第一游戏的游戏画面的视频中抽取游戏画面,得到第一游戏图像,以及从一段包含多个第二游戏的游戏画面的视频中抽取游戏画面,得到第二游戏图像。
需要说明的是,可以同时获取第一游戏对应的第一游戏图像和第二游戏对应的第二游戏图像,也可以在获取第一游戏对应的第一游戏图像后,再获取第二游戏对应的第二游戏图像,具体根据实际情况而定,在此不再赘述。
102、基于第一游戏图像对预设游戏深度模型进行训练,得到第一游戏对应的游戏深度模型。
深度感知是指对同一场景中不同物体的远近的知觉,深度感知是许多计算机视觉(ComputerVision,CV))任务中的重要组成部分,在本申请中,利用游戏深度模型预估游戏中虚拟对象与游戏场景中各障碍物之间的距离,以控制游戏中虚拟对象执行相应的操作。
为了提高游戏深度模型的鲁棒性,可以采集不同场景下的第一游戏图像以及第一游戏图像对应的深度图像,并且,在本申请中,可以将采样的频率设置为1秒/1帧,由于相同场景下,所采集的游戏图像中的元素大部分都是重复的,如游戏背景和/或游戏障碍物等等,通过这样的方式能减小第一游戏图像之间的冗余,防止过拟合,即,可选的,在一些实施例中,步骤“基于第一游戏图像对预设游戏深度模型进行训练,得到用于控制第一虚拟对象的游戏深度模型”,具体可以包括:
(11)采集第一游戏图像对应的真实深度图像;
(12)基于游戏深度模型生成所述第一游戏图像的预估深度图像;
(13)根据真实深度图像与预估深度图像之间的像素差,生成游戏深度模型的深度损失;
(14)基于深度损失收敛游戏深度模型,得到用于控制第一虚拟对象的游戏深度模型。
其中,第一游戏图像与其对应的真实深度图像的大小相同,深度图像(Depthmap)也称为距离影像(range image),是一种采用三维场景信息描述物体的方式。深度图像中的每个像素点的像素值表示在采集该深度图像的图像采集器的视野中,该像素点所在的位置点距离该图像采集器的距离,该距离可以以毫米为单位。深度图可以是一种灰度图,深度图像中的像素点的像素值可以为灰度值,该像素点的像素值可以表示深度图中该像素点具有的深度信息(或者距离信息),该像素值为一种深度数据。在本申请中,真实深度图像中标注了其对应的游戏图像中每个像素点对应的距离值,预估深度图像则由游戏深度模型预估其对应的游戏图像中每个像素点对应的距离值,可选的,在一些实施例中,该距离值的取值范围为0至100,所取的值对应像素与游戏角色(即虚拟对象)之间的距离,设定距离的最大值为100,将深度值的取值范围设定在0至100的区间内,降低了游戏深度模型的学习难度。
其中,在本申请中,游戏深度模型的收敛条件可以为当预估深度图像与真实深度图像之间的相似度达到阈值时,则收敛该游戏深度模型;或者,当迭代次数大于预设次数时,则收敛该游戏深度模型,具体根据实际情况进行选择,在此不再赘述。
103、根据第一游戏图像对应的图像内容特征信息和第二游戏图像对应的图像风格特征信息,对第一游戏图像进行图像风格转换,得到转换后的第一游戏图像。
其中,转换后的第一游戏图像为具有第二游戏的图像风格的第一游戏图像,图像风格是指图像呈现的图像呈现的视觉属性,这样的视觉属性包括图像中的颜色、纹理、亮度或线条等。例如,由图像采集设备等获得的真实图像可以被认为是一种风格,而诸如油画、素描、水彩画等艺术作品也可以被认为是其他不同风格。
在本申请中,利用第二游戏图像的图像风格对第一游戏图像进行图像风格转换,以此完成对训练样本集的泛化(即扩充训练样本集),具体的,可以获取图像风格转换模型,利用该图像风格转换模型提取第一游戏图像对应的图像内容特征信息和第二游戏图像对应的图像风格特征信息,最后,根据第一游戏图像对应的图像内容特征信息和第二游戏图像对应的图像风格特征信息,生成转换后的第一游戏图像,即,可选的,在一些实施例中,步骤“根据第一游戏图像对应的图像内容特征信息和第二游戏图像对应的图像风格特征信息,对第一游戏图像进行图像风格转换,得到转后后的第一游戏图像”,具体可以包括:
(21)获取图像风格转换模型,图像风格转换模型包括内容编码网络、风格编码网络以及图像生成网络;
(22)利用内容编码网络提取第一游戏图像对应的图像内容特征信息,以及利用风格编码网络提取所述第二游戏图像对应的图像风格特征信息;
(23)根据第一游戏图像对应的图像内容特征信息和第二游戏图像对应的图像风格特征信息,利用图像生成网络生成第二游戏的图像风格的第一游戏图像,得到转换后的第一游戏图像。
由于游戏间的风格差异较大,基于游戏A训练的游戏深度模型不一定能在游戏B上取得良好的效果,故,在本申请中,将游戏A的图像转换成游戏B的风格,具体做法是利用图像风格转换模型中的内容编码网络提取第一游戏图像像对应的图像内容特征,以及;利用图像风格转换模型中的风格编码网络提取第二游戏图像对应的图像风格特征,最后,利用图像生成网络生成第二游戏的图像风格的第一游戏图像,得到转换后的第一游戏图像,需要说明的是,编码网络是将图像转换成卷积特征谱的深度网络,与其对应的为解码网络,解码网络是将编码网络生成的卷积特征谱转换成图像的深度网络,其中,图像内容特征为归一化后的卷积特征谱,保留了像素之间的相对关系,图像风格特征为每个卷积特征谱的均值和方差。
还需要说明的是,图像风格转换模型是预先构建的,即,在一些实施例中,具体还可以包括:
(31)获取基础风格转换模型,基础网络转换模型包括内容编码网络、风格编码网络以及生成器;
(32)采集第一游戏对应的第一样本图像和第二游戏对应的第二样本图像;
(33)根据基础风格转换模型中的内容编码网络对第一样本图像进行编码,得到第一样本图像对应的图像内容特征;
(34)根据基础风格转换模型中的风格编码网络分别对第一样本图像和第二样本图像进行编码,得到第一样本图像对应的第一图像风格特征和第二样本图像对应的第二图像风格特征;
(35)根据第一样本图像对应的图像内容特征和第二样本图像对应的图像风格特征,利用生成器生成第二游戏的图像风格的第一样本图像,得到转换后的第一样本图像;
(36)基于第一样本图像、第二样本图像以及转换后的第一样本图像对所述基础风格模型进行训练,得到图像风格转换模型。
图像编码也称图像压缩,是指在满足一定质量(信噪比的要求或主观评价得分)的条件下,以较少比特数表示图像或图像中所包含信息的技术,对于游戏图像而言,游戏图像内相邻像素之间有较大的相关性,这称为空间冗余。而压缩就是为了消除空间冗余。图像的规则性可以用图像的自相关系数来衡量,图像越规则,自相关系数越大,图像的空间冗余就越大,因此,对第一游戏图像进行编码可以加快模型的训练速度,在后续则采用解码网络对第一游戏图像进行恢复。
其中,特征值基本保留了原始图像中形状、位置、颜色、纹理等信息;深层网络提取较为复杂的特征丢失了部分颜色和纹理信息,但大体保留原始图像中物体的形状和位置。
图像内容特征是通过卷积特征谱形式来呈现的,图像风格特征是采用向量的形式来呈现的,如y=ax+b,其中,y为图像风格特征,x对应的为特征谱均值,b对应方差,具体的,通过风格编码网络中的归一化层将特征的均值和方差转换成预设值,具体请参阅后面实施例,其中,图像内容特征对应的特征谱携带有不同位置之间的图像相对大小的关系,图像风格特征携带有特征谱均值和方差相关的信息,图像内容特征与图像风格特征的区别在于:图像内容特征采用了均一化处理,将图像内容特征的均值和方差分别转换成相应的预设值,图像风格特征则保存了图像内容特征的均值和方差相关的信息,以便后续通过调整均值和方差相关的信息,改变图像的图像风格特征,从而实现对第一游戏图像的风格转换。
进一步的,可以采用解码网络对图像内容特征和/或图像风格特征进行处理,生成第一样本图像对应的重构图像,然后,基于得到的图像对基础风格转换模型进行训练,得到图像风格转换模型,即,可选的,在一些实施例中,步骤“根据图像内容特征、第一图像风格特征和第二图像风格特征,对基础风格转换模型进行训练,得到图像风格转换模型”,具体可以包括:
(41)基于第一样本图像对应的图像内容特征和第一图像风格特征,利用基础风格转换模型的解码网络生成第一样本图像对应的重构图像;
(42)根据第一游戏图像、第二游戏图像、重构图像以及转换后的第一样本图像对基础风格转换模型进行训练,得到图像风格转换模型。
重构图像是由基础风格转换模型的解码网络基于第一样本图像对应的图像内容特征和第一图像风格特征生成的,因此,生成的重构图像与第一游戏图像之间会存在图像差异,故,可以计算第一游戏图像与重构图像之间的重构图像损失、第一游戏图像的图像内容特征信息与重构图像对应的图像内容特征信息之间的内容特征损失、第二游戏图像的图像风格特征信息与转换后的第一样本图像对应的图像风格特征信息之间的风格特征损失以及基于判别器生成转换后的第一样本图像的对抗损失,即,可选的,在一些实施例中,步骤“根据第一游戏图像、第二游戏图像、重构图像以及参考图像,对基础风格转换模型进行训练,得到图像风格转换模型”,具体可以包括:
(51)计算第一游戏图像与重构图像之间的重构图像损失;
(52)计算第一游戏图像的图像内容特征信息与重构图像对应的图像内容特征信息之间的内容特征损失;
(53)计算第二游戏图像的图像风格特征信息与转换后的第一样本图像对应的图像风格特征信息之间的风格特征损失;
(54)基于图像风格转换模型中的判别器对转换后的第一样本图像进行判别,以得到转换后的第一样本图像与第二样本图像的差别结果;
(55)根据差别结果生成转换后的第一样本图像的对抗损失;
(56)基于重构图像损失、内容特征损失以及风格特征损失收敛基础风格转换模型,得到图像风格转换模型。
可以理解的是,当基础风格转换模型中增加判别器时,编码网络和解码网络则可以作为一个生成网络看待,判别器用于判别该生成网络的输出(转换后的第一游戏图像)是否为训练集中的图像,即判断转换后的第一游戏图像是否为生成网络所生成的图像,也就是说,判别器可以作为一个二分类网络,用于区分转换后的第一游戏图像是否为训练集中的图像,与一般的二分类网络不同,在训练过程中,生成网络的目标就是尽量生成真实的图片去欺骗判别器。而判别器的目标就是尽量把生成网络生成的图片和真实的图片分别开来。这样,生成网络和判别器构成了一个动态的“博弈过程”。在最理想的状态下,生成网络可以生成足以“以假乱真”的图片。对于判别器来说,它难以判定生成网络生成的图片究竟是不是真实的,以生成猫的图片为例,生成器生成一个猫的图片A,判别器用于判断图片A是否为真实的图片(即不是由生成器生成的),判别器的输出为图片A是真实图片的概率,如果为1,就代表100%是真实的图片,而输出为0,就代表不可能是真实的图片,即,在训练过程中,生成器的目标就是尽量生成真实的图片去欺骗判别器,而判别器的目标就是尽量把生成器生成的图片和真实的图片分别开来。这样,生成器和判别器构成了一个动态的“博弈过程”,在最理想的状态下,生成器可以生成足以“以假乱真”的图片G(z)。对于判别器来说,判别器难以判定生成器生成的图片究竟是不是真实的,判别器收敛的条件为:转换后的第一游戏图像为训练集中的图像的概率=0.5。
104、采用转换后的第一游戏图像对游戏深度模型进行调整,得到目标游戏深度模型。
例如,具体的,将转换后的第一游戏图像输入至游戏深度模型,得到转换后的第一游戏图像对应的预估深度图像,需要说明的是,由于转换后的第一游戏图像的图像内容特征与第一游戏图像的图像内容特征是相同的,因此,可以基于第一游戏图像的深度图像与预估深度图像对训练后深度模型进行调整,即,可选的,在一些实施例中,步骤“采用转换后的第一游戏图像对游戏深度模型进行调整,得到目标游戏深度模型”,具体可以包括:
(71)将转换后的第一游戏图像输入至游戏深度模型中,得到转换后的第一游戏图像对应的预估深度图像;
(72)获取第一游戏图像对应的真实深度图像;
(73)基于第一游戏图像对应的预估深度图像以及真实深度图像,采用反向传播算法对游戏深度模型进行调整,得到目标游戏深度模型。
在得到目标游戏深度模型后,可以通过目标游戏深度模型对第二游戏中的虚拟对象进行控制,具体的,将第二游戏的游戏图像输入至目标游戏深度模型,得到第二游戏的游戏图像对应的深度估计结果,然后,基于该深度估计结果对第二游戏中的虚拟对象进行控制,比如,该深度估计结果指示第二游戏中的虚拟对象与游戏图像中每个像素之间的距离,基于第二虚拟对象与游戏图像中每个像素之间的距离,对第二游戏中第二虚拟对象进行控制,即,可选的,在一些实施例中,该方法具体还可以包括:利用目标游戏深度模型,控制第二游戏中的虚拟游戏对象。
为了便于进一步理解本申请的数据处理方案,以下以对射击游戏A进行图像风格转换为例进行具体说明,首先,获取射击游戏A的第一游戏图像a、射击游戏B的第二游戏图像b以及射击游戏C的第三游戏图像c,然后,基于第一游戏图像a对预设游戏深度模型进行训练,得到射击游戏A对应的游戏深度模型。
将第一游戏图像a的图像风格转换为射击游戏B的图像风格:具体的,获取图像风格转换模型,利用该图像风格转换模型中的内容编码网络提取第一游戏图像a对应的图像内容特征,以及利用该图像风格转换模型中的风格编码网络提取第二游戏图像b对应的图像风格特征,然后,根据第一游戏图像对应的图像内容特征和第二游戏图像对应的图像风格特征,利用该图像风格转换模型中的图像生成网络生成具有第二游戏B的图像风格的第一游戏图像,得到转换后的第一游戏图像,结合,采用转换后的第一游戏图像对游戏深度模型进行调整,得到目标游戏深度模型,最后,利用该目标游戏深度模型对第二游戏B中的虚拟角色进行控制,比如,控制第二游戏B中的虚拟角色与玩家进行对战。
同样的,将第一游戏图像a的图像风格转换为射击游戏C的图像风格的流程请参考前面实施例,在此不作赘述,需要说明的是,若是在得到第二游戏B的图像风格的第一游戏图像后,才将第一游戏图像a的风格转换为具有第三游戏C的图像风格,那么,可以采用具有第三游戏C的图像风格的第一游戏图像,对第一游戏a和第二游戏b均适用的游戏深度模型进行训练,得到第一游戏a、第二游戏b及第三游戏c均适用的游戏深度模型,从而提高了游戏深度模型的泛化能力。
本实施例提供的数据处理方法,获取第一游戏对应的第一游戏图像和第二游戏对应的第二游戏图像,基于第一游戏图像对预设游戏深度模型进行训练,得到第一游戏对应的游戏深度模型,根据第一游戏图像对应的图像内容特征信息和第二游戏图像对应的图像风格特征信息,对第一游戏图像进行图像风格转换,得到转换后的第一游戏图像,采用转换后的第一游戏图像对游戏深度模型进行调整,得到目标游戏深度模型。本申请提供的数据处理方法,基于第二游戏图像对应的图像风格特征信息和第一游戏图像对应的图像内容特征信息,对第一游戏图像进行图像风格转换,得到为具有第二游戏的图像风格的第一游戏图像,并利用得到的图像对游戏深度模型进行调整,使得目标游戏深度模型为第一游戏和第二游戏均适用的游戏深度模型,因此,提高了游戏深度模型的泛化能力。
根据实施例所述的方法,以下将举例进一步详细说明。
在本实施例中将以该数据处理装置具体集成在服务器中为例进行说明。
请参阅图2a,一种数据处理方法,具体流程可以如下:
201、服务器获取第一游戏对应的第一游戏图像和第二游戏对应的第二游戏图像。
其中,第一游戏图像为运行第一游戏时所产生的游戏画面,同理,第二游戏图像为运行第二游戏时所产生的游戏画面,第一游戏的游戏类型和第二游戏的游戏类型相同。
例如,服务器可以采集第一游戏在不同场景下的第一游戏图像和第一游戏图像对应的真实深度图像,采样的频率设置为1秒1帧,通过这样的方式能减小图像之间的冗余,防止模型过拟合,同时能收集更完备的数据库(包含各种场景)。同理,服务器采用同样的方式采集第二游戏对应的第二游戏图像。
202、服务器基于第一游戏图像对预设游戏深度模型进行训练,得到第一游戏对应的游戏深度模型。
例如,具体的,服务器可以将第一游戏图像的尺寸调整至640x480将其作为轻量化的游戏深度模型的输入。在本申请中,采用轻量化的游戏深度模型的目的是降低模型的计算量,加快模型的推导速度,请参阅图2b,轻量化模型采用5个卷积层提取图像的卷积特征,随后,采用5个上采样层输出第一游戏图像的预估深度图像,卷积层和上采样层后有一个激活层(激活层的目标是引入非线性)。
卷积层:主要用于对输入的第一游戏图像(第一游戏的游戏图像)进行特征提取,其中,卷积核大小可以根据实际应用而定,比如,从第一层卷积层至第五层卷积层的卷积核大小可以均为(4,4),激活函数均采用“relu(线性整流函数,Rectified Linear Unit)”,而padding(padding,指属性定义元素边框与元素内容之间的空间)方式均设置为“same”,“same”填充方式可以简单理解为以0填充边缘,左边(上边)补0的个数和右边(下边)补0的个数一样或少一个。可选的,卷积层与卷积层之间可以通过直连的方式连接,从而加快网络收敛速度。
需说明的是,为了描述方便,在本申请实施例中,将激活函数所在层归入卷积层中,当然,还可以包括用于输入数据的输入层和用于输出数据的输出层,在此不再赘述。
其中,该游戏深度模型的损失为第一游戏图像对应的预估深度图像与真实深度图像像素差的绝对值,其损失函数可以通过下式表示:
其中,N代表图像的数量,代表第n张预测的深度图,yn代表第n张真实的深度图,该损失的目的是生成的深度图与真实深度图尽量相似。我们的目标是最小化该损失,通过梯度后向传递的方式更新模型参数,迭代训练深度估计轻量化模型,如果损失低于阈值或达到预设的迭代次数,则停止模型训练。
203、服务器根据第一游戏图像对应的图像内容特征信息和第二游戏图像对应的图像风格特征信息,对第一游戏图像进行图像风格转换,得到转换后的第一游戏图像。
例如,具体的,服务器可以获取图像风格转换模型,该图像风格转换模型包括内容编码网络、风格编码网络以及解码网络,其中,服务器可以根据图像风格转换模型中的内容编码网络对第一游戏图像进行编码,得到第一游戏图像对应的图像内容特征,以及;服务器可以根据图像风格转换模型中的风格编码网络分别对第一游戏图像和第二游戏图像进行编码,得到第一游戏图像对应的第一图像风格特征和第二游戏图像对应的第二图像风格特征,然后,服务器可以根据图像内容特征、第一图像风格特征和第二图像风格特征,对基础风格转换模型进行训练,得到图像风格转换模型,最后,服务器可以基于图像风格转换模型对第一游戏图像进行图像风格转换。
图像风格转换模型可以是由服务器预先构建的,具体的,服务器可以获取基础风格转换模型,基础网络转换模型包括内容编码网络、风格编码网络以及生成器,服务器采集第一游戏对应的第一样本图像和第二游戏对应的第二样本图像,然后,服务器根据基础风格转换模型中的内容编码网络对第一样本图像进行编码,得到第一样本图像对应的图像内容特征,以及,服务器根据基础风格转换模型中的风格编码网络分别对第一样本图像和第二样本图像进行编码,得到第一样本图像对应的第一图像风格特征和第二样本图像对应的第二图像风格特征,再然后,服务器根据第一样本图像对应的图像内容特征和第二样本图像对应的图像风格特征,利用生成器生成第二游戏的图像风格的第一样本图像,得到转换后的第一样本图像,最后,服务器基于第一样本图像、第二样本图像以及转换后的第一样本图像对所述基础风格模型进行训练,得到图像风格转换模型。
进一步的,请参阅图2c,图2c是本申请实施例提供的编码网络的结构示意图,其中,(1)为内容编码网络,(2)为风格编码网络,如图所示,内容编码网络包括5个卷积层,输出为卷积特征谱,卷积层后接了一个归一化层,其能让特征的均值和方差分别转换成预设值,归一化层的计算公式如下:
其中,f(x)对应归一化层的输出,H对应特征谱的高,W对应特征谱的宽,c对应特征谱的通道编号,通过归一化层,能将特征谱的均值转换成第一预设值,以及将方差转换成第二预设值。
风格编码网络包含6个卷积层和两个全连接层,其中并没有用到归一化层,其能保留特征的均值和方差信息,得到的1024维向量对应图像的风格特征。内容特征和风格特征示例如下图所示,内容特征是卷积特征谱形式来呈现的,风格特征是用向量的形式来呈现的,其中,根据本图片识别出来的内容特征有特征谱不同位置之间相对大小的关系,生成的风格特征有特征谱均值和方差相关的信息。这两个特征通过深度模型自动生成的,内容特征将均值方差进行了均一化处理,而风格特征没有这样处理,相当于保留了均值和方差相关的信息。通过实验表明改变风格向量会明显改变游戏的风格。
全连接层:可以将学到的特征映射到样本标记空间,其在整个卷积神经网络中主要起到“分类器”的作用,全连接层的每一个结点都与上一层(如卷积层中的下采样层)输出的所有结点相连,其中,全连接层的一个结点即称为全连接层中的一个神经元,全连接层中神经元的数量可以根据实际应用的需求而定,可选的,在全连接层中,也可以通过加入激活函数来加入非线性因素,比如,可以加入激活函数sigmoid(S型函数)。
得到特征的图像内容特征和图像风格特征后,采用解码网络生成图像。图像风格特征可以包括第一游戏图像的图像风格特征和第二游戏图像的图像风格特征,解码网络的结构如图2d所示,解码网络由特征融合层和5个上采样层组成,特征融合层的计算公式如下所示:
其中,y1对应图像风格特征的(均值),y2对应图像风格特征的方差,x对应内容特征,通过特征融合层,将根据风格特征调整特征谱的均值和方差,保留了内容特征不同像素之间的相对关系。
为了优化该模型,本方案采用三种损失,第一种是图像重构损失,计算公式如下:
第二种损失是内容特征和风格特征的重构损失,计算公式如下:
该损失的目的是恢复图像内容特征和图像风格特征,cA对应游戏A的图像内容特征,sB对应游戏B的图像风格特征,GB是图像风格特征B对应的解码网络的输出。
第三种损失是对抗损失,判别器主要用于判别图像是真实的图像还是生成的图像,判别器输出图像是真实的概率,对应的损失定义如下:
总的损失融合了之前提到的三种损失,通过最小化该损失优化编码网络和解码网络,通过最大化该损失优化判别器,通过梯度后向传递的方式更新模型参数,迭代训练深度估计轻量化模型,如果损失低于阈值或达到预设的迭代次数,则停止模型训练。
服务器完成模型训练后,提取第一游戏的图像内容特征,同时随机挑选多张第二游戏的第二游戏图像,从中提取图像风格特征,基于第一游戏图像的图像风格特征和第二游戏图像的图像风格特征去生成多张新风格的图像,如图2e所示,根据第二游戏图像B的图像风格,将第一游戏图像A转换为具有第二游戏的图像风格的第一游戏图像。
204、服务器采用转换后的第一游戏图像对游戏深度模型进行调整,得到目标游戏深度模型,以通过目标游戏深度模型对第二游戏中的虚拟对象进行控制。
服务器在得到目标游戏深度模型后,可以通过目标游戏深度模型对第二游戏中第二虚拟对象进行控制,具体的,将第二游戏的游戏图像输入至目标游戏深度模型,得到第二游戏的游戏图像对应的深度估计结果,然后,基于该深度估计结果对第二游戏中的虚拟对象进行控制,比如,该深度估计结果指示第二虚拟对象与游戏图像中每个像素之间的距离,基于第二虚拟对象与游戏图像中每个像素之间的距离,对第二游戏中的虚拟对象进行控制。
本实施例提供的服务器在获取第一游戏对应的第一游戏图像和第二游戏对应的第二游戏图像后,服务器基于第一游戏图像对预设游戏深度模型进行训练,得到第一游戏对应的游戏深度模型,服务器根据第一游戏图像对应的图像内容特征信息和第二游戏图像对应的图像风格特征信息,对第一游戏图像进行图像风格转换,得到转换后的第一游戏图像,服务器采用转换后的第一游戏图像对游戏深度模型进行调整,得到目标游戏深度模型,以通过目标游戏深度模型对所述第二游戏中的虚拟对象进行控制。本申请提供的服务器,基于第二游戏图像对应的图像风格特征信息和第一游戏图像对应的图像内容特征信息,对第一游戏图像进行图像风格转换,得到为具有第二游戏的图像风格的第一游戏图像,并利用得到的图像对游戏深度模型进行调整,使得目标游戏深度模型为第一游戏和第二游戏均适用的游戏深度模型,提高了游戏深度模型的泛化能力,进而提高模型的深度估计能力。
为便于更好的实施本申请实施例提供的数据处理方法,本申请实施例还提供一种基于上述数据处理方法的装置。其中名词的含义与上述数据处理方法中相同,具体实现细节可以参考方法实施例中的说明。
请参阅图3a,图3a为本申请提供的第一转移装置的结构示意图,其中该第一转移装置可以包括获取模块301、训练模块302、转换模块303以及调整模块304,具体可以如下:
获取模块301,用于获取第一游戏对应的第一游戏图像和第二游戏对应的第二游戏图像。
例如,获取模块301可以从一段包含多个第一游戏的游戏画面的视频中抽取游戏画面,得到第一游戏图像,以及从一段包含多个第二游戏的游戏画面的视频中抽取游戏画面,得到第二游戏图像。
训练模块302,用于基于第一游戏图像对预设游戏深度模型进行训练,得到第一游戏对应的游戏深度模型。
为了提高游戏深度模型的鲁棒性,可以采集不同场景下的第一游戏图像以及第一游戏图像对应的深度图像,并且,在本申请中,可以将采样的频率设置为1秒/1帧,通过这样的方式能减小第一游戏图像之间的冗余,防止过拟合,即,可选的,训练模块302具体可以用于:采集第一游戏图像对应的真实深度图像,基于游戏深度模型预估第一游戏图像的预估深度图像,根据真实深度图像与预估深度图像之间的像素差,生成游戏深度模型的深度损失,基于深度损失收敛游戏深度模型,得到用于控制第一虚拟对象的游戏深度模型。
转换模块303,用于根据所述第一游戏图像对应的图像内容特征信息和第二游戏图像对应的图像风格特征信息,对第一游戏图像进行图像风格转换,得到转换后的第一游戏图像。
其中,转换后的第一游戏图像为第二游戏的图像风格的第一游戏图像例如,具体的,转换模块303可以获取图像风格转换模型,转换模块303利用该图像风格转换模型提取第一游戏图像对应的图像内容特征信息和第二游戏图像对应的图像风格特征信息,最后,转换模块303根据第一游戏图像对应的图像内容特征信息和第二游戏图像对应的图像风格特征信息,生成转换后的第一游戏图像。
可选的,在一些实施例中,转换模块303具体可以包括:
第一获取单元,用于获取图像风格转换模型,图像风格转换模型包括内容编码网络、风格编码网络以及图像生成网络;
提取单元,用于利用内容编码网络提取所述第一游戏图像对应的图像内容特征,以及;利用风格编码网络提取第二游戏图像对应的图像风格特征;
转换单元,用于根据第一游戏图像对应的图像内容特征和第二游戏图像对应的图像风格特征,利用图像生成网络生成具有第二游戏的图像风格的第一游戏图像,得到转换后的第一游戏图像。
可选的,在一些实施例中,数据处理装置具体还可以包括:
第二获取单元,获取基础风格转换模型,基础网络转换模型包括内容编码网络、风格编码网络以及生成器;
采集单元,用于采集第一游戏对应的第一样本图像和第二游戏对应的第二样本图像;
第一编码单元,用于根据基础风格转换模型中的内容编码网络对第一样本图像进行编码,得到第一样本图像对应的图像内容特征;
第二编码单元,用于根据基础风格转换模型中的风格编码网络分别对第一样本图像和第二样本图像进行编码,得到第一样本图像对应的第一图像风格特征和所述第二样本图像对应的第二图像风格特征;
生成单元,用于根据第一样本图像对应的图像内容特征和第二样本图像对应的图像风格特征,利用生成器生成第二游戏的图像风格的第一样本图像,得到转换后的第一样本图像;
训练单元,用于基于第一样本图像、第二样本图像以及转换后的第一样本图像对基础风格模型进行训练,得到图像风格转换模型。
可选的,在一些实施例中,训练单元包括:
生成子单元,用于基于第一样本图像对应的图像内容特征和第一图像风格特征,利用基础风格转换模型的解码网络生成第一样本图像对应的重构图像;
训练子单元,用于根据第一游戏图像、第二游戏图像、重构图像以及转换后的第一样本图像对基础风格转换模型进行训练,得到图像风格转换模型。
可选的,在一些实施例中训练子单元具体用于:计算第一游戏图像与重构图像之间的重构图像损失;计算第一游戏图像的图像内容特征信息与重构图像对应的图像内容特征信息之间的内容特征损失;计算第二游戏图像的图像风格特征信息与转换后的第一样本图像对应的图像风格特征信息之间的风格特征损失;基于图像风格转换模型中判别器对转换后的第一样本图像进行判别,以得到转换后的第一样本图像与第二样本图像的差别结果;根据差别结果生成转换后的第一样本图像的对抗损失;基于对抗损失、重构图像损失、内容特征损失以及风格特征损失收敛基础风格转换模型,得到图像风格转换模型。
调整模块304,用于采用转换后的第一游戏图像对游戏深度模型进行调整,得到目标游戏深度模型;
可选的,在一些实施例中,调整模块304具体可以用于:将转换后的第一游戏图像输入至游戏深度模型中,得到转换后的第一游戏图像对应的预估深度图像;获取第一游戏图像对应的真实深度图像;基于第一游戏图像对应的预估深度图像以及真实深度图像,采用反向传播算法对游戏深度模型进行调整,得到目标游戏深度模型。
可选的,在一些实施例中,请参阅图3b,还包括控制模块305,控制模块305具体用于利用目标游戏深度模型,控制第二游戏中的虚拟游戏对象
例如,具体的,控制模块305将第二游戏的游戏图像输入至目标游戏深度模型,得到第二游戏的游戏图像对应的深度估计结果,然后,控制模块305基于该深度估计结果对第二游戏中的虚拟对象进行控制。
本申请实施例提供的数据处理装置,基于第二游戏图像对应的图像风格特征信息和第一游戏图像对应的图像内容特征信息,对第一游戏图像进行图像风格转换,得到为具有第二游戏的图像风格的第一游戏图像,并利用得到的图像对游戏深度模型进行调整,使得目标游戏深度模型为第一游戏和第二游戏均适用的游戏深度模型,因此,提高了游戏深度模型的泛化能力。
此外,本申请还提供一种电子设备,如图4所示,其示出了本申请所涉及的电子设备的结构示意图,具体来讲:该电子设备可以包括一个或者一个以上处理核心的处理器401、一个或一个以上计算机可读存储介质的存储器402、电源403和输入单元404等部件。本领域技术人员可以理解,图4中示出的电子设备结构并不构成对电子设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。其中:
处理器401是该电子设备的控制中心,利用各种接口和线路连接整个电子设备的各个部分,通过运行或执行存储在存储器402内的软件程序和/或模块,以及调用存储在存储器402内的数据,执行电子设备的各种功能和处理数据,从而对电子设备进行整体监控。可选的,处理器401可包括一个或多个处理核心;优选的,处理器401可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作系统、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器401中。
存储器402可用于存储软件程序以及模块,处理器401通过运行存储在存储器402的软件程序以及模块,从而执行各种功能应用以及数据处理。存储器402可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据电子设备的使用所创建的数据等。此外,存储器402可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地,存储器402还可以包括存储器控制器,以提供处理器401对存储器402的访问。
电子设备还包括给各个部件供电的电源403,优选的,电源403可以通过电源管理系统与处理器401逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源403还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
该电子设备还可包括输入单元404,该输入单元404可用于接收输入的数字或字符信息,以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。
尽管未示出,电子设备还可以包括显示单元等,在此不再赘述。具体在本实施例中,电子设备中的处理器401会按照如下的指令,将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器402中,并由处理器401来运行存储在存储器402中的应用程序,从而实现各种功能,如下:
获取第一游戏对应的第一游戏图像和第二游戏对应的第二游戏图像,基于第一游戏图像对预设游戏深度模型进行训练,得到第一游戏对应的游戏深度模型,根据第一游戏图像对应的图像内容特征信息和第二游戏图像对应的图像风格特征信息,对第一游戏图像进行图像风格转换,得到转换后的第一游戏图像,采用转换后的第一游戏图像对游戏深度模型进行调整,得到目标游戏深度模型。
以上各个操作的具体实施可参见前面的实施例,在此不再赘述。
由上可知,本申请提供的数据处理方法,基于第二游戏图像对应的图像风格特征信息,对第一游戏图像进行图像风格转换,得到大量不同图像风格的第一游戏图像,并利用得到的图像对游戏深度模型进行调整,提高了游戏深度模型的泛化能力,进而提高模型的深度估计能力。
本领域普通技术人员可以理解,上述实施例的各种方法中的全部或部分步骤可以通过指令来完成,或通过指令控制相关的硬件来完成,该指令可以存储于一计算机可读存储介质中,并由处理器进行加载和执行。
为此,本申请提供一种存储介质,其中存储有多条指令,该指令能够被处理器进行加载,以执行本申请所提供的任一种数据处理方法中的步骤。例如,该指令可以执行如下步骤:
获取第一游戏对应的第一游戏图像和第二游戏对应的第二游戏图像,基于第一游戏图像对预设游戏深度模型进行训练,得到第一游戏对应的游戏深度模型,根据第一游戏图像对应的图像内容特征信息和第二游戏图像对应的图像风格特征信息,对第一游戏图像进行图像风格转换,得到转换后的第一游戏图像,采用转换后的第一游戏图像对游戏深度模型进行调整,得到目标游戏深度模型。
其中,该存储介质可以包括:只读存储器(ROM,Read Only Memory)、随机存取记忆体(RAM,Random Access Memory)、磁盘或光盘等。
由于该存储介质中所存储的指令,可以执行本申请所提供的任一种数据处理方法中的步骤,因此,可以实现本申请所提供的任一种数据处理方法所能实现的有益效果,详见前面的实施例,在此不再赘述。
根据本申请的一个方面,提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行上述各种可选实现方式中提供的方法。
Claims (14)
1.一种数据处理方法,其特征在于,包括:
获取第一游戏对应的第一游戏图像和第二游戏对应的第二游戏图像;
基于第一游戏图像对预设游戏深度模型进行训练,得到所述第一游戏对应的游戏深度模型;
根据所述第一游戏图像对应的图像内容特征信息和第二游戏图像对应的图像风格特征信息,对所述第一游戏图像进行图像风格转换,得到转换后的第一游戏图像,所述转换后的第一游戏图像为具有第二游戏的图像风格的第一游戏图像;
采用转换后的第一游戏图像对游戏深度模型进行调整,得到目标游戏深度模型,所述目标游戏深度模型为第一游戏和第二游戏均适用的游戏深度模型;
利用所述目标游戏深度模型,将所述第二游戏图像输入至所述目标游戏深度模型,得到第二游戏图像对应的深度估计结果,基于所述深度估计结果控制所述第二游戏中的虚拟游戏对象,所述虚拟游戏对象为游戏角色,所述深度估计结果用于指示虚拟游戏对象与第二游戏图像中每个像素之间的距离。
2.根据权利要求1所述的方法,其特征在于,所述根据所述第一游戏图像对应的图像内容特征信息和第二游戏图像对应的图像风格特征信息,对所述第一游戏图像进行图像风格转换,得到转换后的第一游戏图像,包括:
获取图像风格转换模型,所述图像风格转换模型包括内容编码网络、风格编码网络以及图像生成网络;
利用所述内容编码网络提取所述第一游戏图像对应的图像内容特征,以及;
利用所述风格编码网络提取所述第二游戏图像对应的图像风格特征;
根据所述第一游戏图像对应的图像内容特征和第二游戏图像对应的图像风格特征,利用所述图像生成网络生成具有第二游戏的图像风格的第一游戏图像,得到转换后的第一游戏图像。
3.根据权利要求2所述的方法,其特征在于,获取图像风格转换模型之前,还包括:
获取基础风格转换模型,所述基础风格转换模型包括内容编码网络、风格编码网络以及生成器;
采集第一游戏对应的第一样本图像和第二游戏对应的第二样本图像;
根据所述基础风格转换模型中的内容编码网络对所述第一样本图像进行编码,得到所述第一样本图像对应的图像内容特征;
根据所述基础风格转换模型中的风格编码网络分别对所述第一样本图像和第二样本图像进行编码,得到所述第一样本图像对应的第一图像风格特征和所述第二样本图像对应的第二图像风格特征;
根据所述第一样本图像对应的图像内容特征和第二样本图像对应的图像风格特征,利用所述生成器生成第二游戏的图像风格的第一样本图像,得到转换后的第一样本图像;
基于所述第一样本图像、第二样本图像以及转换后的第一样本图像对所述基础风格转换模型进行训练,得到图像风格转换模型。
4.根据权利要求3所述的方法,其特征在于,所述基于所述第一样本图像、第二样本图像以及转换后的第一样本图像对所述基础风格转换模型进行训练,得到图像风格转换模型,包括:
基于所述第一样本图像对应的图像内容特征和第一图像风格特征,利用基础风格转换模型的解码网络生成所述第一样本图像对应的重构图像;
根据所述第一游戏图像、第二游戏图像、重构图像以及转换后的第一样本图像对所述基础风格转换模型进行训练,得到图像风格转换模型。
5.根据权利要求4所述的方法,其特征在于,所述基础网络转换模型还包括判别器,所述根据所述第一游戏图像、第二游戏图像、重构图像以及转换后的第一样本图像,对所述基础风格转换模型进行训练,得到图像风格转换模型,包括:
计算所述第一游戏图像与重构图像之间的重构图像损失;
计算所述第一游戏图像的图像内容特征信息与重构图像对应的图像内容特征信息之间的内容特征损失;
计算所述第二游戏图像的图像风格特征信息与转换后的第一样本图像对应的图像风格特征信息之间的风格特征损失;
基于所述图像风格转换模型中的判别器对转换后的第一样本图像进行判别,以得到转换后的第一样本图像与第二样本图像的差别结果;
根据差别结果生成转换后的第一样本图像的对抗损失;
基于所述对抗损失、重构图像损失、内容特征损失以及风格特征损失收敛所述基础风格转换模型,得到图像风格转换模型。
6.根据权利要求1至5任一项所述的方法,其特征在于,所述基于第一游戏图像对预设游戏深度模型进行训练,得到所述第一游戏对应的游戏深度模型,包括:
采集所述第一游戏图像对应的真实深度图像;
基于所述游戏深度模型生成所述第一游戏图像的预估深度图像;
根据所述真实深度图像与预估深度图像之间的像素差,生成所述游戏深度模型的深度损失;
基于所述深度损失收敛所述游戏深度模型,得到所述第一游戏对应的游戏深度模型。
7.根据权利要求1至5任一项所述的方法,其特征在于,所述采用转换后的第一游戏图像对游戏深度模型进行调整,得到目标游戏深度模型,包括:
将转换后的第一游戏图像输入至所述游戏深度模型中,得到转换后的第一游戏图像对应的预估深度图像;
获取所述第一游戏图像对应的真实深度图像;
基于第一游戏图像对应的预估深度图像以及所述真实深度图像,采用反向传播算法对游戏深度模型进行调整,得到目标游戏深度模型。
8.一种数据处理装置,其特征在于,包括:
获取模块,用于获取第一游戏对应的第一游戏图像和第二游戏对应的第二游戏图像;
训练模块,用于基于第一游戏图像对预设游戏深度模型进行训练,得到所述第一游戏对应的游戏深度模型;
转换模块,用于根据所述第一游戏图像对应的图像内容特征信息和第二游戏图像对应的图像风格特征信息,对所述第一游戏图像进行图像风格转换,得到转换后的第一游戏图像,所述转换后的第一游戏图像为第二游戏的图像风格的第一游戏图像;
调整模块,用于采用转换后的第一游戏图像对游戏深度模型进行调整,得到目标游戏深度模型,所述目标游戏深度模型为第一游戏和第二游戏均适用的游戏深度模型;利用所述目标游戏深度模型,将所述第二游戏图像输入至所述目标游戏深度模型,得到第二游戏图像对应的深度估计结果,基于所述深度估计结果控制所述第二游戏中的虚拟游戏对象,所述虚拟游戏对象为游戏角色,所述深度估计结果用于指示虚拟游戏对象与第二游戏图像中每个像素之间的距离。
9.根据权利要求8所述的装置,其特征在于,所述转换模块包括:
第一获取单元,用于获取图像风格转换模型,所述图像风格转换模型包括内容编码网络、风格编码网络以及图像生成网络;
提取单元,用于利用所述内容编码网络提取所述第一游戏图像对应的图像内容特征,以及;利用所述风格编码网络提取所述第二游戏图像对应的图像风格特征;
转换单元,用于根据所述第一游戏图像对应的图像内容特征和第二游戏图像对应的图像风格特征,利用所述图像生成网络生成第二游戏的图像风格的第一游戏图像,得到转换后的第一游戏图像。
10.根据权利要求9所述的装置,其特征在于,还包括:
第二获取单元,获取基础风格转换模型,所述基础风格转换模型包括内容编码网络、风格编码网络以及生成器;
采集单元,用于采集第一游戏对应的第一样本图像和第二游戏对应的第二样本图像;
第一编码单元,用于根据所述基础风格转换模型中的内容编码网络对所述第一样本图像进行编码,得到所述第一样本图像对应的图像内容特征;
第二编码单元,用于根据所述基础风格转换模型中的风格编码网络分别对所述第一样本图像和第二样本图像进行编码,得到所述第一样本图像对应的第一图像风格特征和所述第二样本图像对应的第二图像风格特征;
生成单元,用于根据所述第一样本图像对应的图像内容特征和第二样本图像对应的图像风格特征,利用所述生成器生成第二游戏的图像风格的第一样本图像,得到转换后的第一样本图像;
训练单元,用于基于所述第一样本图像、第二样本图像以及转换后的第一样本图像对所述基础风格转换模型进行训练,得到图像风格转换模型。
11.根据权利要求10所述的装置,其特征在于,所述训练单元包括:
生成子单元,用于基于所述第一样本图像对应的图像内容特征和第一图像风格特征,利用基础风格转换模型的解码网络生成所述第一样本图像对应的重构图像;
训练子单元,用于根据所述第一游戏图像、第二游戏图像、重构图像以及转换后的第一样本图像对所述基础风格转换模型进行训练,得到图像风格转换模型。
12.根据权利要求11所述的装置,其特征在于,所述训练子单元具体用于:
计算所述第一游戏图像与重构图像之间的重构图像损失;
计算所述第一游戏图像的图像内容特征信息与重构图像对应的图像内容特征信息之间的内容特征损失;
计算所述第二游戏图像的图像风格特征信息与转换后的第一样本图像对应的图像风格特征信息之间的风格特征损失;
基于所述图像风格转换模型中判别器对转换后的第一样本图像进行判别,以得到转换后的第一样本图像与第二样本图像的差别结果;
根据差别结果生成转换后的第一样本图像的对抗损失;
基于所述对抗损失、重构图像损失、内容特征损失以及风格特征损失收敛所述基础风格转换模型,得到图像风格转换模型。
13.一种电子设备,包括存储器,处理器及存储在存储器上并可在处理器上运行的计算机程序,其中,所述处理器执行所述程序时实现如权利要求1-7任一项所述数据处理方法的步骤。
14.一种计算机可读存储介质,其特征在于,其上存储有计算机程序,其中,所述计算机程序被处理器执行时实现如权利要求1-7任一项所述数据处理方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011412502.7A CN112439200B (zh) | 2020-12-03 | 2020-12-03 | 数据处理方法、装置、存储介质及电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011412502.7A CN112439200B (zh) | 2020-12-03 | 2020-12-03 | 数据处理方法、装置、存储介质及电子设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112439200A CN112439200A (zh) | 2021-03-05 |
CN112439200B true CN112439200B (zh) | 2022-07-01 |
Family
ID=74740279
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011412502.7A Active CN112439200B (zh) | 2020-12-03 | 2020-12-03 | 数据处理方法、装置、存储介质及电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112439200B (zh) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108537776A (zh) * | 2018-03-12 | 2018-09-14 | 维沃移动通信有限公司 | 一种图像风格迁移模型生成方法及移动终端 |
CN111494946A (zh) * | 2020-04-23 | 2020-08-07 | 腾讯科技(深圳)有限公司 | 图像处理方法、装置、设备及计算机可读存储介质 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11348237B2 (en) * | 2019-05-16 | 2022-05-31 | Retrace Labs | Artificial intelligence architecture for identification of periodontal features |
-
2020
- 2020-12-03 CN CN202011412502.7A patent/CN112439200B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108537776A (zh) * | 2018-03-12 | 2018-09-14 | 维沃移动通信有限公司 | 一种图像风格迁移模型生成方法及移动终端 |
CN111494946A (zh) * | 2020-04-23 | 2020-08-07 | 腾讯科技(深圳)有限公司 | 图像处理方法、装置、设备及计算机可读存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN112439200A (zh) | 2021-03-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111199550B (zh) | 图像分割网络的训练方法、分割方法、装置和存储介质 | |
CN111598998B (zh) | 三维虚拟模型重建方法、装置、计算机设备和存储介质 | |
US11087521B1 (en) | Systems and methods for rendering avatars with deep appearance models | |
CN108875935B (zh) | 基于生成对抗网络的自然图像目标材质视觉特征映射方法 | |
CN116109798B (zh) | 图像数据处理方法、装置、设备及介质 | |
CN111696028A (zh) | 真实场景图像卡通化的处理方法、装置、计算机设备和存储介质 | |
CN108717732B (zh) | 一种基于MobileNets模型的表情追踪方法 | |
CN111666919B (zh) | 一种对象识别方法、装置、计算机设备和存储介质 | |
CN113838176A (zh) | 模型的训练方法、三维人脸图像生成方法及设备 | |
CN112232258A (zh) | 一种信息处理方法、装置及计算机可读存储介质 | |
CN113066034A (zh) | 人脸图像的修复方法与装置、修复模型、介质和设备 | |
CN114339409A (zh) | 视频处理方法、装置、计算机设备及存储介质 | |
CN114973349A (zh) | 面部图像处理方法和面部图像处理模型的训练方法 | |
CN114330736A (zh) | 具有噪声对比先验的潜在变量生成性模型 | |
JP2024511103A (ja) | 近似値に基づいて画像又はビデオの品質を評価する方法及び装置、第1のモデルの訓練方法及び装置、電子機器、記憶媒体、並びにコンピュータプログラム | |
CN110570375A (zh) | 一种图像处理方法、装置、电子设置以及存储介质 | |
CN113230650A (zh) | 一种数据处理方法、装置及计算机可读存储介质 | |
CN112439200B (zh) | 数据处理方法、装置、存储介质及电子设备 | |
CN113077383B (zh) | 一种模型训练方法及模型训练装置 | |
CN116095353A (zh) | 基于体积视频的直播方法、装置、电子设备及存储介质 | |
CN115272057A (zh) | 卡通素描图像重构网络的训练及其重构方法与设备 | |
CN114943799A (zh) | 一种面部图像处理方法、装置和计算机可读存储介质 | |
CN114373033A (zh) | 图像处理方法、装置、设备、存储介质及计算机程序 | |
CN109657589B (zh) | 一种基于人体交互动作的体验者动作生成方法 | |
CN113222178A (zh) | 模型训练方法、用户界面的生成方法、装置及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 40041038 Country of ref document: HK |
|
GR01 | Patent grant | ||
GR01 | Patent grant |