CN109675315B - 游戏角色模型的生成方法、装置、处理器及终端 - Google Patents

游戏角色模型的生成方法、装置、处理器及终端 Download PDF

Info

Publication number
CN109675315B
CN109675315B CN201811610934.1A CN201811610934A CN109675315B CN 109675315 B CN109675315 B CN 109675315B CN 201811610934 A CN201811610934 A CN 201811610934A CN 109675315 B CN109675315 B CN 109675315B
Authority
CN
China
Prior art keywords
map
dimensional
user
model
face
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811610934.1A
Other languages
English (en)
Other versions
CN109675315A (zh
Inventor
陈康
张伟东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Netease Hangzhou Network Co Ltd
Original Assignee
Netease Hangzhou Network Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Netease Hangzhou Network Co Ltd filed Critical Netease Hangzhou Network Co Ltd
Priority to CN201811610934.1A priority Critical patent/CN109675315B/zh
Publication of CN109675315A publication Critical patent/CN109675315A/zh
Priority to PCT/CN2019/085235 priority patent/WO2020133862A1/zh
Priority to US16/632,396 priority patent/US11839820B2/en
Application granted granted Critical
Publication of CN109675315B publication Critical patent/CN109675315B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/55—Controlling game characters or game objects based on the game progress
    • A63F13/56—Computing the motion of game characters with respect to other game characters, game objects or elements of the game scene, e.g. for simulating the behaviour of a group of virtual soldiers or for path finding
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • A63F13/65—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • A63F13/65—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition
    • A63F13/655—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition by importing photos, e.g. of the player
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/80—Special adaptations for executing a specific game genre or game mode
    • A63F13/822—Strategy games; Role-playing games
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/50—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers
    • A63F2300/55—Details of game data or player data management
    • A63F2300/5546—Details of game data or player data management using player registration data, e.g. identification, account, preferences, game history
    • A63F2300/5553—Details of game data or player data management using player registration data, e.g. identification, account, preferences, game history user representation in the game field, e.g. avatar
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2012—Colour editing, changing, or manipulating; Use of colour codes

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Architecture (AREA)
  • Human Computer Interaction (AREA)
  • Processing Or Creating Images (AREA)
  • Image Generation (AREA)

Abstract

本发明公开了一种游戏角色模型的生成方法、装置、处理器及终端。该方法包括：获取与待使用的二维用户图像对应的用户贴图；将用户贴图映射至游戏角色的初始贴图，得到游戏角色的映射后贴图；将映射后贴图与游戏角色网格进行融合，生成游戏角色模型。本发明解决了相关技术中所提供的人脸映射与人脸融合通常只适用于二维人脸图像，而无法适用于三维游戏环境的人脸映射与融合的技术问题。

Description

游戏角色模型的生成方法、装置、处理器及终端
技术领域
本发明涉及计算机领域，具体而言，涉及一种游戏角色模型的生成方法、装置、处理器及终端。
背景技术
目前，基于图像的人脸融合、换脸、人脸变形等是较为常见的应用。在算法层面，这些应用的操作过程主要分为人脸映射和人脸融合两个步骤。
关于人脸映射，由于两幅不同真实图像中的人脸位置会存在一定偏差，因此，如果直接将两幅图像进行融合，则难以取得预期的效果。为此，需要在两幅图像的人脸区域之间进行人脸映射，以此解决两幅不同图像中人脸区域在像素位置上的对齐问题。
关于人脸融合，则是在将两幅图像的人脸区域进行像素级对齐处理之后，便可进行人脸融合。根据不同应用的需求，既可以选择将两幅图像对于相同位置的像素值按照一定比例进行加权平均计算，也可以采用泊松融合的方式，以取得更加自然的边缘过渡效果。
然而，相关技术中所提供的人脸映射与人脸融合通常只适用于二维人脸图像，其操作过程通常包括如下执行步骤：
第一步、人脸检测和关键点定位，自动从二维人脸图像中检测人脸区域，并对人脸边缘、眉毛、眼睛、鼻子、嘴巴等关键区域的多个特征点进行定位。
第二步、基于定位到的多个特征点对图像进行Delaunay三角剖分。
第三步、基于Delaunay三角剖分计算源图像与目标图像之间的人脸映射关系，其计算方法在于：对目标图像中的每一个像素点p，查找到其所属三角形的三个顶点(这些顶点均属于上述定位到的多个特征点)的编号D1，D2和D3，并计算p相对于这三个顶点的重心坐标(u,v,w)；源图像中编号相同的三个特征点S1，S2，S3所形成的三角形中位于重心坐标(u,v,w)位置的像素，即为与像素p对应的像素。
第四步、根据不同的应用场景使用对应的融合方式，将源图像融合至目标图像中。
通过上述执行步骤，在针对二维图像的人脸融合方面可以取得较好效果，但是该解决方案本质上只适用于融合目标是二维(例如：照片、海报等)人脸的场景，而难以适用于三维环境。
如果直接将上述解决方案适用于三维游戏角色的换脸，则需要将用户的人脸融合至三维游戏角色渲染形成的二维图像中，但是这种处理方式无论是在处理效率方面还是在处理效果方面都无法取得令人满意的效果。一方面，在三维游戏中，游戏角色渲染在二维图像上的效果会随着游戏角色移动、相机朝向、光照、后处理等多种因素发生实时变化，而上述二维人脸融合算法在处理速度上无法满足实时性需求，因此无法集成至三维游戏系统中。另一方面，三维游戏往往呈现艺术化的视觉效果，无论是游戏角色的人脸造型还是游戏内的光影效果都存在一定的艺术夸张，与真人图像存在一定差距，而这些差距也会极大地破坏人脸映射和融合的效果。
针对上述的问题，目前尚未提出有效的解决方案。
发明内容
本发明至少部分实施例提供了一种游戏角色模型的生成方法、装置、处理器及终端，以至少解决相关技术中所提供的人脸映射与人脸融合通常只适用于二维人脸图像，而无法适用于三维游戏环境的人脸映射与融合的技术问题。
根据本发明其中一实施例，提供了一种游戏角色模型的生成方法，包括：
获取与待使用的二维用户图像对应的用户贴图；将用户贴图映射至游戏角色的初始贴图，得到游戏角色的映射后贴图；将映射后贴图与游戏角色网格进行融合，生成游戏角色模型。
可选地，获取与待使用的二维用户图像对应的用户贴图包括：对待使用的二维用户图像进行三维重建，得到待使用的二维用户图像的三维模型；根据三维模型获得用户贴图。
可选地，在将用户贴图映射至初始贴图，得到映射后贴图之前，还包括：按照用户贴图的分辨率配置映射关系编码图，并且通过映射关系编码图中每个像素值保存游戏角色的初始贴图中对应该像素的纹理坐标。
可选地，将用户贴图映射至初始贴图，得到映射后贴图包括：对于用户贴图中的每个像素，分别读取映射关系编码图中对应位置上的像素值；对像素值进行解码处理得到纹理坐标，根据纹理坐标确定用户贴图中每个像素在初始贴图中的待映射像素，以得到映射后贴图。
可选地，在获取与待使用的二维用户图像对应的用户贴图之前，还包括：获取初始二维用户图像；对初始二维用户图像中符合预设图像阈值的部分进行处理以得到待使用的二维用户图像。
可选地，在将用户贴图映射至初始贴图，得到映射后贴图之后，还包括：基于用户肤色对游戏角色的肤色进行调整，得到调整结果；将调整结果融合至映射后贴图。
可选地，在将映射后贴图与游戏角色网格进行融合，生成游戏角色模型之后，还包括：获取与初始的二维用户图像匹配的妆容模板；将妆容模板对应的妆容美术资源叠加至游戏角色模型。
可选地，待使用的二维用户图像为待使用的二维脸部图像，游戏角色模型为游戏角色脸部模型。
根据本发明其中一实施例，还提供了一种游戏角色模型的生成装置，包括：
获取模块，用于获取与待使用的二维用户图像对应的用户贴图；映射模块，用于将用户贴图映射至游戏角色的初始贴图，得到游戏角色的映射后贴图；生成模块，用于将映射后贴图与游戏角色网格进行融合，生成游戏角色模型。
可选地，获取模块包括：重建单元，用于对待使用的二维用户图像进行三维重建，得到待使用的二维用户图像的三维模型；获取单元，用于根据三维模型获得用户贴图。
可选地，上述装置还包括：第一处理模块，用于按照用户贴图的分辨率配置映射关系编码图，并且通过映射关系编码图中每个像素值保存游戏角色的初始贴图中对应该像素的纹理坐标。
可选地，映射模块包括：读取单元，用于对于用户贴图中的每个像素，分别读取映射关系编码图中对应位置上的像素值；映射单元，用于对像素值进行解码处理得到纹理坐标，根据纹理坐标确定用户贴图中每个像素在初始贴图中的待映射像素，以得到映射后贴图。
可选地，上述装置还包括：第二处理模块，用于获取初始二维用户图像，并对初始二维用户图像中符合预设图像阈值的部分进行处理以得到待使用的二维用户图像。
可选地，上述装置还包括：第三处理模块，用于基于用户肤色对游戏角色的肤色进行调整，得到调整结果，以及将调整结果融合至映射后贴图。
可选地，上述装置还包括：第四处理模块，用于获取与初始的二维用户图像匹配的妆容模板，以及将妆容模板对应的妆容美术资源叠加至游戏角色模型。
可选地，待使用的二维用户图像为待使用的二维脸部图像，游戏角色模型为游戏角色脸部模型。
根据本发明其中一实施例，还提供了一种存储介质，存储介质包括存储的程序，其中，在程序运行时控制存储介质所在设备执行上述任意一项的游戏角色模型的生成方法。
根据本发明其中一实施例，还提供了一种处理器，处理器用于运行程序，其中，程序运行时执行上述任意一项的游戏角色模型的生成方法。
根据本发明其中一实施例，还提供了一种终端，包括：一个或多个处理器，存储器，显示装置以及一个或多个程序，其中，一个或多个程序被存储在存储器中，并且被配置为由一个或多个处理器执行，一个或多个程序用于执行上述任意一项的游戏角色模型的生成方法。
在本发明至少部分实施例中，采用获取与待使用的二维用户图像对应的用户贴图的方式，通过将用户贴图映射至游戏角色的初始贴图以得到游戏角色的映射后贴图，以及将映射后贴图与游戏角色网格进行融合以生成游戏角色模型，达到了基于用户的二维图像对游戏角色的样貌进行自动修改，从而将用户二维图像中的局部特征(例如：脸部的肤色、雀斑、法令纹等)按照一定比例融合至游戏角色中的目的，从而实现了提升处理效率、优化视觉效果、极大地扩充了捏脸玩法自由度的技术效果，进而解决了相关技术中所提供的人脸映射与人脸融合通常只适用于二维人脸图像，而无法适用于三维游戏环境的人脸映射与融合的技术问题。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1是根据本发明其中一实施例的游戏角色模型的生成方法的流程图；
图2是根据本发明其中一实施例的游戏角色模型的生成装置的结构框图；
图3是根据本发明其中一可选实施例的游戏角色模型的生成装置的结构框图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
首先，在对本发明至少部分实施例进行描述的过程中出现的部分名词或术语适用于如下解释：
(1)人脸映射是指给定两个关于脸部模型的参数空间A和B，对于参数空间A中的每个点能够在参数空间B中查找到一个对应点。在本发明至少部分实施例中，参数空间的维度具有明确的物理意义。二维参数空间对应于二维图像，而三维参数空间对应于三维模型。根据参数空间A和参数空间B的不同维度，可以分为以下多种情形：
情形一、2D-2D映射，即参数空间A为用户的人脸图像，参数空间B为三维游戏角色渲染形成的图像；
情形二、3D-3D映射，即参数空间A为用户的三维人脸模型，参数空间B是三维游戏角色模型；
情形三、2D-3D映射，即参数空间A为用户的人脸图像，参数空间B为三维游戏角色模型。
(2)人脸融合是指将一张图像中的人脸按照预设比例自然地融合至另外一张图像的人脸区域中。如果融合比例为100％，则表现为换脸(face swap)；如果将融合比例从0％-100％的过程以帧动画形式进行播放，则表现为人脸变形(face morphing)。
根据本发明其中一实施例，提供了一种游戏角色模型的生成方法的实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
该方法实施例可以在移动终端、计算机终端或者类似的运算装置中执行。以运行在移动终端上为例，移动终端可以包括一个或多个处理器(处理器可以包括但不限于中央处理器(CPU)、图形处理器(GPU)、数字信号处理(DSP)芯片、微处理器(MCU)或可编程逻辑器件(FPGA)等的处理装置)和用于存储数据的存储器。可选地，上述移动终端还可以包括用于通信功能的传输设备、输入输出设备以及显示装置。本领域普通技术人员可以理解，上述结构描述仅为示意，其并不对上述移动终端的结构造成限定。例如，移动终端还可包括比上述结构描述更多或者更少的组件，或者具有与上述结构描述不同的配置。
存储器可用于存储计算机程序，例如，应用软件的软件程序以及模块，如本发明实施例中的游戏角色模型的生成方法对应的计算机程序，处理器通过运行存储在存储器内的计算机程序，从而执行各种功能应用以及数据处理，即实现上述的游戏角色模型的生成方法。存储器可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器可进一步包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至移动终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输设备用于经由一个网络接收或者发送数据。上述的网络具体实例可包括移动终端的通信供应商提供的无线网络。在一个实例中，传输设备包括一个网络适配器(Network Interface Controller，简称为NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输设备可以为射频(Radio Frequency，简称为RF)模块，其用于通过无线方式与互联网进行通讯。
显示装置可以例如触摸屏式的液晶显示器(LCD)，该液晶显示器可使得用户能够与移动终端的用户界面进行交互。
在本实施例中提供了一种运行于上述移动终端的游戏角色模型的生成方法，图1是根据本发明其中一实施例的游戏角色模型的生成方法的流程图，如图1所示，该方法包括如下步骤：
步骤S12，获取与待使用的二维用户图像对应的用户贴图；
步骤S14，将用户贴图映射至游戏角色的初始贴图，得到游戏角色的映射后贴图；
步骤S16，将映射后贴图与游戏角色网格进行融合，生成游戏角色模型。
通过上述步骤，可以采用获取与待使用的二维用户图像对应的用户贴图的方式，通过将用户贴图映射至游戏角色的初始贴图以得到游戏角色的映射后贴图，以及将映射后贴图与游戏角色网格进行融合以生成游戏角色模型，达到了基于用户的二维图像对游戏角色的样貌进行自动修改，从而将用户二维图像中的局部特征(例如：脸部的肤色、雀斑、法令纹等)按照一定比例融合至游戏角色中的目的，从而实现了提升处理效率、优化视觉效果、极大地扩充了捏脸玩法自由度的技术效果，进而解决了相关技术中所提供的人脸映射与人脸融合通常只适用于二维人脸图像，而无法适用于三维游戏环境的人脸映射与融合的技术问题。
在一个可选实施例中，上述待使用的二维用户图像为待使用的二维脸部图像，上述游戏角色模型为游戏角色脸部模型。需要说明的是，下文中仅以通过二维脸部图像获取游戏角色脸部模型为例进行示例性说明，然而其并不构成对本发明的不当限定。例如：除了通过二维脸部图像获取游戏角色脸部模型之外，还可以通过用户其他部位(例如：手部、腿部)的二维图像获取游戏角色对应部位模型。
可选地，在步骤S12中，获取与待使用的二维用户图像对应的用户贴图可以包括以下执行步骤：
步骤S121，对待使用的二维用户图像进行三维重建，得到待使用的二维用户图像的三维模型；
步骤S122，根据三维模型获得用户贴图。
三维人脸重建是根据输入或输出数据形式、重建精度要求等有很多不同的算法框架。在本发明的一个可选实施例中，三维人脸重建主要是指基于单幅图像的三维人脸重建，其通过预先采集大量三维人脸数据以构建关于人脸三维形状的主成分分析基，然后再利用三维人脸基对用户图像中的二维人脸进行拟合，从而得到对应的三维模型。
在具体实施过程中，首先，对待使用的二维人脸图像中的用户人脸进行三维重建，形成关于待使用的二维人脸图像的三维模型，确保待使用的二维人脸图像与待使用的二维人脸图像的三维模型之间存在已知的2D-3D映射关系。其次，建立待使用的二维人脸图像的三维模型与游戏角色脸部三维模型的3D-3D映射关系。考虑到每个三维模型可以由三维网格和贴图两部分组成。贴图可以看成是三维网格在二维平面上的参数化表示，即三维模型上的每个点都可以按照纹理坐标(u,v)在贴图空间上查找到与之对应的像素。因此，可以通过待使用的二维人脸图像的三维模型获得对应的人脸贴图以及通过游戏角色脸部三维模型获得对应的游戏角色的初始脸部贴图。然后，通过将人脸贴图映射至游戏角色的初始脸部贴图，进而对游戏角色的初始脸部贴图进行替换，以得到游戏角色的映射后脸部贴图。
可选地，在步骤S14，将用户贴图映射至初始贴图，得到映射后贴图之前，还可以包括以下执行步骤：
步骤S13，按照用户贴图的分辨率配置映射关系编码图，并且通过映射关系编码图中每个像素值保存游戏角色的初始贴图中对应该像素的纹理坐标。
为了能够在上述人脸贴图与游戏角色的初始脸部贴图之间建立起人脸映射关系，需要预先构建映射关系编码图。该映射关系编码图的分辨率通常由从二维人脸图像的三维模型获得的人脸贴图的分辨率来确定，其可以是一幅与人脸贴图的分辨率大小相同的图像。映射关系编码图的构建数量通常由游戏内设置的游戏角色数量来确定。在一个可选实施例中，映射关系编码图的数量与游戏内设置的游戏角色数量相同。在建立上述人脸映射关系过程中，需要根据用户在游戏内选定的游戏角色来确定待使用的映射关系编码图。每张映射关系编码图的每个像素可以包含RGBA四个通道，其用于对游戏角色的初始脸部贴图中对应像素的纹理坐标进行编码。在一个可选实施方式中，可以预先采用RG通道来编码初始脸部贴图中对应像素的u坐标，以及采用BA通道来编码初始脸部贴图中对应像素的v坐标，然后再将编码结果保存至待使用的映射关系编码图的每个像素值中。
可选地，在步骤S14中，将用户贴图映射至初始贴图，得到映射后贴图可以包括以下执行步骤：
步骤S141，对于用户贴图中的每个像素，分别读取映射关系编码图中对应位置上的像素值；
步骤S142，对像素值进行解码处理得到纹理坐标，根据纹理坐标确定用户贴图中每个像素在初始贴图中的待映射像素，以得到映射后贴图。
对于用户的人脸贴图中的每个像素，读取映射关系编码图中对应位置的像素值进行解码，得到的纹理坐标即为该像素在游戏角色的初始脸部贴图上的待映射像素，进而采用人脸贴图中的像素替换初始脸部贴图上的待映射像素以得到映射后贴图。
可选地，在步骤S12，获取与待使用的二维用户图像对应的用户贴图之前，还可以包括以下执行步骤：
步骤S10，获取初始二维用户图像；
步骤S11，对初始二维用户图像中符合预设图像阈值的部分进行处理以得到待使用的二维用户图像。
在用户的二维人脸图像与游戏角色脸部三维模型的人脸融合过程中，基于上述二维人脸图像与游戏角色的脸部三维模型之间的映射关系，原本可以直接将二维人脸图像中人脸区域中的全部像素映射至游戏角色的脸部三维模型中。然而，由于光照、遮挡、噪声等多种因素影响，二维人脸图像中人脸区域的部分像素质量较差，如果将这些像素全部映射至游戏角色的脸部三维模型中，则会对后续的融合效果产生负面影响，因此，在执行映射之前，首先需要使用图像处理方法自动对二维人脸图像进行预处理(例如：去除高光、阴影、杂色、刘海等)，分割得到质量较好的部分人脸区域，然后再基于上述构建的二维人脸图像与游戏角色的脸部三维模型之间的映射关系，将质量较好的部分人脸区域中的信息映射至游戏角色的脸部贴图中。
可选地，在步骤S14，将用户贴图映射至初始贴图，得到映射后贴图之后，还可以包括以下执行步骤：
步骤S15，基于用户肤色对游戏角色的肤色进行调整，得到调整结果，以及将调整结果融合至映射后贴图。
在一个可选实施例中，在将质量较好的部分人脸区域中的信息映射至游戏角色的脸部贴图之后，还需要进行图像补全处理，同时还需要基于用户的皮肤颜色对游戏角色的肤色进行调整以使两者颜色尽量接近，并将调整结果以泊松融合的方式融合至映射后的脸部贴图。
可选地，在步骤S16，将映射后贴图与游戏角色网格进行融合，生成游戏角色模型之后，还可以包括以下执行步骤：
步骤S17，获取与初始的二维用户图像匹配的妆容模板；
步骤S18，将妆容模板对应的妆容美术资源叠加至游戏角色模型。
在本发明的一个可选实施例中，可以预先配置人脸常见的妆容美术资源(例如：眉毛、眼影、胡须、唇彩等)，以便基于图像处理和模式识别方法，识别并匹配与初始的二维人脸图像最为接近的妆容模板，然后再将妆容模板对应的妆容美术资源按照阿尔法混合(alpha blending)的方式进一步叠加至游戏角色的脸部模型，以形成最终显示结果。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
在本实施例中还提供了一种游戏角色模型的生成装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
图2是根据本发明其中一实施例的游戏角色模型的生成装置的结构框图，如图2所示，该装置包括：获取模块10，用于获取与待使用的二维用户图像对应的用户贴图；映射模块20，用于将用户贴图映射至游戏角色的初始贴图，得到游戏角色的映射后贴图；生成模块30，用于将映射后贴图与游戏角色网格进行融合，生成游戏角色模型。
可选地，获取模块10包括：重建单元(图中未示出)，用于对待使用的二维用户图像进行三维重建，得到待使用的二维用户图像的三维模型；获取单元(图中未示出)，用于根据三维模型获得用户贴图。
可选地，图3是根据本发明其中一可选实施例的游戏角色模型的生成装置的结构框图，如图3所示，上述装置还包括：第一处理模块40，用于按照用户贴图的分辨率配置映射关系编码图，并且通过映射关系编码图中每个像素值保存游戏角色的初始贴图中对应该像素的纹理坐标。
可选地，映射模块20包括：读取单元(图中未示出)，用于对于用户贴图中的每个像素，分别读取映射关系编码图中对应位置上的像素值；映射单元(图中未示出)，用于对像素值进行解码处理得到纹理坐标，根据纹理坐标确定用户贴图中每个像素在初始贴图中的待映射像素，以得到映射后贴图。
可选地，如图3所示，上述装置还包括：第二处理模块50，用于获取初始二维用户图像，并对初始二维用户图像中符合预设图像阈值的部分进行处理以得到待使用的二维用户图像。
可选地，如图3所示，上述装置还包括：第三处理模块60，用于基于用户肤色对游戏角色的肤色进行调整，得到调整结果，以及将调整结果融合至映射后贴图。
可选地，如图3所示，上述装置还包括：第四处理模块70，用于获取与初始的二维用户图像匹配的妆容模板，以及将妆容模板对应的妆容美术资源叠加至游戏角色模型。
可选地，待使用的二维用户图像为待使用的二维脸部图像，游戏角色模型为游戏角色脸部模型。
需要说明的是，上述各个模块是可以通过软件或硬件来实现的，对于后者，可以通过以下方式实现，但不限于此：上述模块均位于同一处理器中；或者，上述各个模块以任意组合的形式分别位于不同的处理器中。
本发明的实施例还提供了一种存储介质，该存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
可选地，在本实施例中，上述存储介质可以被设置为存储用于执行以下步骤的计算机程序：
S1，获取与待使用的二维用户图像对应的用户贴图；
S2，将用户贴图映射至游戏角色的初始贴图，得到游戏角色的映射后贴图；
S3，将映射后贴图与游戏角色网格进行融合，生成游戏角色模型。
可选地，在本实施例中，上述存储介质可以包括但不限于：U盘、只读存储器(Read-Only Memory，简称为ROM)、随机存取存储器(Random Access Memory，简称为RAM)、移动硬盘、磁碟或者光盘等各种可以存储计算机程序的介质。
本发明的实施例还提供了一种处理器，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。
可选地，在本实施例中，上述处理器可以被设置为通过计算机程序执行以下步骤：
S1，获取与待使用的二维用户图像对应的用户贴图；
S2，将用户贴图映射至游戏角色的初始贴图，得到游戏角色的映射后贴图；
S3，将映射后贴图与游戏角色网格进行融合，生成游戏角色模型。
可选地，本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (11)

1.一种游戏角色模型的生成方法，其特征在于，包括：
获取与待使用的二维用户图像对应的用户贴图，包括：对所述待使用的二维用户图像进行三维重建，得到所述待使用的二维用户图像的三维模型；根据所述三维模型获得所述用户贴图；
将所述用户贴图中的像素根据预设映射关系映射至游戏角色脸部三维模型对应的初始贴图中的对应的待映射像素，得到所述游戏角色的映射后贴图；
将所述映射后贴图与游戏角色网格进行融合，生成所述游戏角色模型。
2.根据权利要求1所述的方法，其特征在于，在将所述用户贴图映射至所述初始贴图，得到所述映射后贴图之前，还包括：
按照所述用户贴图的分辨率配置映射关系编码图，并且通过所述映射关系编码图中每个像素值保存所述游戏角色的初始贴图中对应该像素的纹理坐标。
3.根据权利要求2所述的方法，其特征在于，将所述用户贴图映射至所述初始贴图，得到所述映射后贴图包括：
对于所述用户贴图中的每个像素，分别读取所述映射关系编码图中对应位置上的像素值；
对所述像素值进行解码处理得到纹理坐标，根据所述纹理坐标确定所述用户贴图中每个像素在所述初始贴图中的待映射像素，以得到所述映射后贴图。
4.根据权利要求1所述的方法，其特征在于，在获取与所述待使用的二维用户图像对应的所述用户贴图之前，还包括：
获取初始二维用户图像；
对所述初始二维用户图像中符合预设图像阈值的部分进行处理以得到所述待使用的二维用户图像。
5.根据权利要求1所述的方法，其特征在于，在将所述用户贴图映射至所述初始贴图，得到所述映射后贴图之后，还包括：
基于用户肤色对所述游戏角色的肤色进行调整，得到调整结果；
将所述调整结果融合至所述映射后贴图。
6.根据权利要求1所述的方法，其特征在于，在将所述映射后贴图与所述游戏角色网格进行融合，生成所述游戏角色模型之后，还包括：
获取与初始的二维用户图像匹配的妆容模板；
将所述妆容模板对应的妆容美术资源叠加至所述游戏角色模型。
7.根据权利要求1所述的方法，其特征在于，所述待使用的二维用户图像为待使用的二维脸部图像，所述游戏角色模型为所述游戏角色脸部模型。
8.一种游戏角色模型的生成装置，其特征在于，包括：
获取模块，用于获取与待使用的二维用户图像对应的用户贴图，包括：对所述待使用的二维用户图像进行三维重建，得到所述待使用的二维用户图像的三维模型；根据所述三维模型获得所述用户贴图；
映射模块，用于将所述用户贴图中的像素根据预设映射关系映射至游戏角色脸部三维模型对应的初始贴图中的对应的待映射像素，得到所述游戏角色的映射后贴图；
生成模块，用于将所述映射后贴图与游戏角色网格进行融合，生成所述游戏角色模型。
9.一种存储介质，其特征在于，所述存储介质包括存储的程序，其中，在所述程序运行时控制所述存储介质所在设备执行权利要求1至7中任意一项所述的游戏角色模型的生成方法。
10.一种处理器，其特征在于，所述处理器用于运行程序，其中，所述程序运行时执行权利要求1至7中任意一项所述的游戏角色模型的生成方法。
11.一种终端，其特征在于，包括：一个或多个处理器，存储器，显示装置以及一个或多个程序，其中，所述一个或多个程序被存储在所述存储器中，并且被配置为由所述一个或多个处理器执行，所述一个或多个程序用于执行权利要求1至7中任意一项所述的游戏角色模型的生成方法。
CN201811610934.1A 2018-12-27 2018-12-27 游戏角色模型的生成方法、装置、处理器及终端 Active CN109675315B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201811610934.1A CN109675315B (zh) 2018-12-27 2018-12-27 游戏角色模型的生成方法、装置、处理器及终端
PCT/CN2019/085235 WO2020133862A1 (zh) 2018-12-27 2019-04-30 游戏角色模型的生成方法、装置、处理器及终端
US16/632,396 US11839820B2 (en) 2018-12-27 2019-04-30 Method and apparatus for generating game character model, processor, and terminal

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811610934.1A CN109675315B (zh) 2018-12-27 2018-12-27 游戏角色模型的生成方法、装置、处理器及终端

Publications (2)

Publication Number Publication Date
CN109675315A CN109675315A (zh) 2019-04-26
CN109675315B true CN109675315B (zh) 2021-01-26

Family

ID=66190484

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811610934.1A Active CN109675315B (zh) 2018-12-27 2018-12-27 游戏角色模型的生成方法、装置、处理器及终端

Country Status (3)

Country Link
US (1) US11839820B2 (zh)
CN (1) CN109675315B (zh)
WO (1) WO2020133862A1 (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109675315B (zh) 2018-12-27 2021-01-26 网易（杭州）网络有限公司 游戏角色模型的生成方法、装置、处理器及终端
CN110136236B (zh) 2019-05-17 2022-11-29 腾讯科技（深圳）有限公司 三维角色的个性化脸部显示方法、装置、设备及存储介质
CN112057871A (zh) * 2019-06-10 2020-12-11 海信视像科技股份有限公司 一种虚拟场景生成方法及装置
CN110782419B (zh) * 2019-10-18 2022-06-21 杭州小影创新科技股份有限公司 一种基于图形处理器的三维人脸融合方法及系统
CN110992493B (zh) * 2019-11-21 2023-10-31 北京达佳互联信息技术有限公司 图像处理方法、装置、电子设备及存储介质
CN111179390B (zh) * 2019-12-27 2023-07-28 上海咔咖文化传播有限公司 高效预览cg资产的方法和装置
CN111738087B (zh) * 2020-05-25 2023-07-25 完美世界(北京)软件科技发展有限公司 一种游戏角色面部模型的生成方法和装置
CN113763527B (zh) * 2020-06-01 2023-09-26 上海米哈游天命科技有限公司 一种头发高光渲染方法、装置、设备及存储介质
CN111768478B (zh) * 2020-07-13 2023-05-30 腾讯科技（深圳）有限公司 一种图像合成方法、装置、存储介质和电子设备
CN111768479B (zh) * 2020-07-29 2021-05-28 腾讯科技（深圳）有限公司 图像处理方法、装置、计算机设备以及存储介质
CN112190935B (zh) * 2020-10-09 2024-08-23 网易（杭州）网络有限公司 动态体积云的渲染方法、装置及电子设备
CN112221145B (zh) * 2020-10-27 2024-03-15 网易（杭州）网络有限公司 游戏脸模生成方法及装置、存储介质及电子设备
US12032733B2 (en) * 2022-01-23 2024-07-09 Malay Kundu User controlled three-dimensional scene

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09511078A (ja) * 1993-12-12 1997-11-04 エーエスピー ソルーション ユーエスエイ インコーポレイション 信号処理方法および装置
US5848926A (en) * 1995-06-05 1998-12-15 Jardetzky; Alexander M. Removably adherable construction elements
JPH11154240A (ja) * 1997-11-20 1999-06-08 Nintendo Co Ltd 取込み画像を用いて画像を作成するための画像作成装置
US6894686B2 (en) * 2000-05-16 2005-05-17 Nintendo Co., Ltd. System and method for automatically editing captured images for inclusion into 3D video game play
WO2002047033A1 (en) * 2000-12-05 2002-06-13 Matsushita Electric Industrial Co., Ltd. 3-d character data generating device and a 3-d graphics data generating device
US7167173B2 (en) * 2003-09-17 2007-01-23 International Business Machines Corporation Method and structure for image-based object editing
CN100353384C (zh) * 2004-12-30 2007-12-05 中国科学院自动化研究所 电子游戏中玩家快速置入方法
CN101968892A (zh) * 2009-07-28 2011-02-09 上海冰动信息技术有限公司 根据一张人脸照片自动调整三维人脸模型的方法
CN102663820B (zh) * 2012-04-28 2014-10-22 清华大学 三维头部模型重建方法
US20150172637A1 (en) * 2013-12-12 2015-06-18 Electronics And Telecommunications Research Institute Apparatus and method for generating three-dimensional output data
US9691172B2 (en) * 2014-09-24 2017-06-27 Intel Corporation Furry avatar animation
US9855499B2 (en) * 2015-04-01 2018-01-02 Take-Two Interactive Software, Inc. System and method for image capture and modeling
EP3398168B1 (en) * 2015-12-31 2022-04-13 ML Netherlands C.V. A method and device for real-time 3d capture and live feedback with monocular cameras
US10055880B2 (en) * 2016-12-06 2018-08-21 Activision Publishing, Inc. Methods and systems to modify a two dimensional facial image to increase dimensional depth and generate a facial image that appears three dimensional
US20180308276A1 (en) * 2017-04-21 2018-10-25 Mug Life, LLC Systems and methods for automatically creating and animating a photorealistic three-dimensional character from a two-dimensional image
CN108765272B (zh) * 2018-05-31 2022-07-08 Oppo广东移动通信有限公司 图像处理方法、装置、电子设备及可读存储介质
KR102286037B1 (ko) * 2018-11-12 2021-08-05 한국전자통신연구원 기계 학습을 위한 학습 데이터 셋 생성 장치 및 방법
CN111353930B (zh) * 2018-12-21 2022-05-24 北京市商汤科技开发有限公司 数据处理方法及装置、电子设备及存储介质
CN109675315B (zh) 2018-12-27 2021-01-26 网易（杭州）网络有限公司 游戏角色模型的生成方法、装置、处理器及终端

Also Published As

Publication number Publication date
WO2020133862A1 (zh) 2020-07-02
US11839820B2 (en) 2023-12-12
US20210291056A1 (en) 2021-09-23
CN109675315A (zh) 2019-04-26

Similar Documents

Publication Publication Date Title
CN109675315B (zh) 游戏角色模型的生成方法、装置、处理器及终端
JP7386153B2 (ja) 照明をシミュレートするレンダリング方法及び端末
CN107993216B (zh) 一种图像融合方法及其设备、存储介质、终端
KR101514327B1 (ko) 얼굴 아바타 생성 장치 및 방법
CN112215934B (zh) 游戏模型的渲染方法、装置、存储介质及电子装置
CN109325990B (zh) 图像处理方法及图像处理装置、存储介质
US9916676B2 (en) 3D model rendering method and apparatus and terminal device
Magnenat et al. Live texturing of augmented reality characters from colored drawings
CN108352083B (zh) 用于拉伸成3d对象的2d图像处理
CN110688948B (zh) 视频中人脸性别变换方法、装置、电子设备和存储介质
CN108876886B (zh) 图像处理方法、装置和计算机设备
CN109978984A (zh) 人脸三维重建方法及终端设备
EP4036790A1 (en) Image display method and device
US10204447B2 (en) 2D image processing for extrusion into 3D objects
JP7244810B2 (ja) 単色画像及び深度情報を使用した顔テクスチャマップ生成
CN111402373A (zh) 一种图像处理方法、装置、电子设备及存储介质
KR20230085931A (ko) 얼굴 이미지에서 색상을 추출하기 위한 방법 및 시스템
CN113870404A (zh) 一种3d模型的皮肤渲染方法及设备
CN111447428A (zh) 平面至立体图像的转换方法、装置、计算机可读存储介质及设备
CN111652792B (zh) 图像的局部处理、直播方法、装置、设备和存储介质
CN111652807A (zh) 眼部的调整、直播方法、装置、电子设备和存储介质
Lien et al. On preserving structure in stereo seam carving
CN113936080A (zh) 虚拟模型的渲染方法和装置、存储介质及电子设备
CN112915544B (zh) 贴图制作方法、贴图制作装置、存储介质、电子设备
Liao et al. Multi-View Image Reconstruction Algorithm Based on Virtual Reality Technology

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant