CN111768479A - 图像处理方法、装置、计算机设备以及存储介质 - Google Patents

图像处理方法、装置、计算机设备以及存储介质 Download PDF

Info

Publication number
CN111768479A
CN111768479A CN202010745609.7A CN202010745609A CN111768479A CN 111768479 A CN111768479 A CN 111768479A CN 202010745609 A CN202010745609 A CN 202010745609A CN 111768479 A CN111768479 A CN 111768479A
Authority
CN
China
Prior art keywords
user
target
face
face image
role object
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010745609.7A
Other languages
English (en)
Other versions
CN111768479B (zh
Inventor
覃诗晴
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202010745609.7A priority Critical patent/CN111768479B/zh
Publication of CN111768479A publication Critical patent/CN111768479A/zh
Application granted granted Critical
Publication of CN111768479B publication Critical patent/CN111768479B/zh
Priority to PCT/CN2021/102602 priority patent/WO2022022192A1/zh
Priority to US17/901,361 priority patent/US20220414964A1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • G06V40/169Holistic features and representations, i.e. based on the facial image taken as a whole
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • A63F13/65Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition
    • A63F13/655Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition by importing photos, e.g. of the player
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04812Interaction techniques based on cursor appearance or behaviour, e.g. being affected by the presence of displayed objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482Interaction with lists of selectable items, e.g. menus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00Animation
    • G06T13/203D [Three Dimensional] animation
    • G06T13/403D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • G06V40/166Detection; Localisation; Normalisation using acquisition arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/50Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers
    • A63F2300/55Details of game data or player data management
    • A63F2300/5546Details of game data or player data management using player registration data, e.g. identification, account, preferences, game history
    • A63F2300/5553Details of game data or player data management using player registration data, e.g. identification, account, preferences, game history user representation in the game field, e.g. avatar
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60Methods for processing data by generating or executing the game program
    • A63F2300/66Methods for processing data by generating or executing the game program for rendering three dimensional images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20221Image fusion; Image merging
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • G06T2207/30201Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本申请实施例公开了一种图像处理方法、装置、计算机设备以及存储介质,图像处理方法包括:显示第一应用页面,第一应用页面包括原始角色对象和人脸融合控件;当人脸融合控件被触发时,获取目标用户的用户人脸图像;在第二应用页面显示目标角色对象,目标角色对象是对用户人脸图像和原始角色对象进行融合得到,目标角色对象的显示角度与目标用户的姿态信息相匹配,目标用户的姿态信息是根据用户人脸图像确定的。采用本申请,可以提高游戏角色创建的灵活性,以及创建个性化的游戏角色。

Description

图像处理方法、装置、计算机设备以及存储介质
技术领域
本申请涉及计算机技术领域,尤其涉及一种图像处理方法、装置、计算机设备以及存储介质。
背景技术
随着互联网技术的飞速发展,电子游戏产业已经成为与电影、电视、音乐并驾齐驱的文化娱乐产业之一,其惊人的发展速度,巨大的经济效益广泛吸引了企业、学者等社会各界人士的目光。
目前,用户进行游戏娱乐之前需要创建游戏角色,游戏角色是开发者提前设计好的角色模板,用户只需要选择男角色或者女角色即可。后续,用户可以基于选择的游戏角色在游戏软件中进行游戏娱乐。可见,现有方案中用户只能从现有的游戏角色模板中进行选择,降低游戏角色创建的灵活性;且由于角色模板的通用性,导致创建的游戏角色不具有个性化。
发明内容
本申请实施例提供一种图像处理方法、装置、计算设备以及存储介质,可以提高游戏角色创建的灵活性,以及创建个性化的游戏角色。
本申请实施例一方面提供了一种图像处理方法,包括:
显示第一应用页面,所述第一应用页面包括原始角色对象和人脸融合控件;
当所述人脸融合控件被触发时,获取目标用户的用户人脸图像;
在第二应用页面显示目标角色对象,所述目标角色对象是对所述用户人脸图像和所述原始角色对象进行融合得到,所述目标角色对象的显示角度与所述目标用户的姿态信息相匹配,所述目标用户的姿态信息是根据所述用户人脸图像确定的。
其中,所述姿态信息包括旋转角度;
所述根据所述用户人脸特征点信息和所述姿态信息,将所述用户人脸图像与原始角色对象融合为目标角色对象,包括:
获取所述原始角色对象的角色人脸特征点信息;
根据所述角色人脸特征点信息和所述用户人脸特征点信息,缩放所述用户人脸图像,得到辅助人脸图像;
根据所述旋转角度,将所述辅助人脸图像与所述原始角色对象融合为目标角色对象。
其中,所述根据所述旋转角度,将所述辅助人脸图像与所述原始角色对象融合为目标角色对象,包括:
获取所述辅助人脸图像的辅助人脸特征点信息;
根据所述角色人脸特征点信息、所述辅助人脸特征点信息和所述旋转角度,将所述原始角色对象与所述辅助人脸图像进行对齐贴图处理,得到所述目标角色对象;所述目标角色对象的人脸形态与所述目标用户的人脸形态一致。
其中,所述原始角色对象包括原始角色头部对象以及原始角色身体对象,所述原始角色头部对象包括原始角色脸部对象和原始角色非脸部对象;
所述根据所述旋转角度,将所述辅助人脸图像与所述原始角色对象融合为目标角色对象,包括:
获取融合比例系数,根据所述融合比例系数以及所述旋转角度将所述原始角色脸部对象与所述辅助人脸图像对齐融合为目标角色脸部对象;
将所述目标角色脸部对象、所述原始角色非脸部对象以及所述原始角色身体对象拼接为所述目标角色对象,所述目标角色对象的人脸形态与所述目标用户的人脸形态之间的差异量由所述融合比例系数确定。
本申请实施例一方面提供了一种图像处理方法,包括:
获取目标用户的用户人脸图像以及所述用户人脸图像的用户人脸特征点信息;
根据所述用户人脸特征点信息确定所述目标用户的姿态信息;
根据所述用户人脸特征点信息和所述姿态信息,将所述用户人脸图像与原始角色对象融合为目标角色对象,并确定与所述姿态信息匹配的目标角色对象的显示角度。
本申请实施例一方面提供了一种图像处理装置,包括:
第一显示模块,用于显示第一应用页面,所述第一应用页面包括原始角色对象和人脸融合控件;
第一获取模块,用于当所述人脸融合控件被触发时,获取目标用户的用户人脸图像;
第二显示模块,用于在第二应用页面显示目标角色对象,所述目标角色对象是对所述用户人脸图像和所述原始角色对象进行融合得到,所述目标角色对象的显示角度与所述目标用户的姿态信息相匹配,所述目标用户的姿态信息是根据所述用户人脸图像确定的。
本申请实施例一方面提供了一种图像处理装置,包括:
第二获取模块,用于获取目标用户的用户人脸图像以及所述用户人脸图像的用户人脸特征点信息;
第一确定模块,用于根据所述用户人脸特征点信息确定所述目标用户的姿态信息;
融合模块,用于根据所述用户人脸特征点信息和所述姿态信息,将所述用户人脸图像与原始角色对象融合为目标角色对象;
第二确定模块,用于确定与所述姿态信息匹配的目标角色对象的显示角度。
本申请实施例一方面提供了一种计算机设备,包括存储器和处理器,存储器存储有计算机程序,计算机程序被处理器执行时,使得处理器执行上述各实施例中的方法。
本申请实施例一方面提供了一种计算机存储介质,计算机存储介质存储有计算机程序,计算机程序包括程序指令,程序指令当被处理器执行时,执行上述各实施例中的方法。
本申请实施例一方面提供了一种计算机程序产品或计算机程序,计算机程序产品或计算机程序包括计算机指令,计算机指令存储在计算机可读存储介质中,计算机指令被计算机设备的处理器执行时,执行上述各实施例中的方法。
当用户触发人脸融合控件时,本申请通过采集用户的人脸图像,将人脸图像与原始角色对象融合为目标角色对象,并在页面中显示出目标角色对象,且目标角色对象的在页面中的显示角度与目标用户的姿态信息相匹配。可见,通过人脸融合可以实现定制个性化的角色对象,提高游戏角色创建的灵活性和用户参与度;再有,创建的目标角色对象的显示角度是由用户的姿态信息决定,实现目标角色对象能够和用户之间实时交互,可以提升目标角色对象在页面中的显示效果。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种图像处理的系统架构图;
图2a-图2e本申请实施例提供的一种图像处理的场景示意图;
图3是本申请实施例提供的一种图像处理的流程示意图;
图4是本申请实施例提供的一种图像处理的流程示意图;
图5是本申请实施例提供的一种用户人脸特征点信息的示意图;
图6是本申请实施例提供的一种图像处理的流程示意图;
图7是本申请实施例提供的一种道具展示页面的示意图;
图8是本申请实施例提供的一种个性化游戏角色页面的示意图;
图9是本申请实施例提供的一种图像处理装置的结构示意图;
图10是本申请实施例提供的一种图像处理装置的结构示意图;
图11是本发明实施例提供的一种计算机设备的结构示意图;
图12是本发明实施例提供的一种计算机设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
人工智能(Artificial Intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说,人工智能是计算机科学的一个综合技术,它企图了解智能的实质,并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法,使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科,涉及领域广泛,既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
本申请实施例提供的方案属于人工智能领域下属的计算机视觉技术。
计算机视觉技术(Computer Vision,CV)计算机视觉是一门研究如何使机器“看”的科学,更进一步的说,就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉,并进一步做图形处理,使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科,计算机视觉研究相关的理论和技术,试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、OCR、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建等技术,还包括常见的人脸识别、指纹识别等生物特征识别技术。
在本申请中,主要涉及计算机视觉技术的3D技术,即是将三维的人脸图像与三维游戏角色进行融合,得到具有用户人脸特征的新的三维游戏角色,后续在游戏应用中,用户可以控制新创建的个性化三维游戏角色进行游戏娱乐等。
本申请可以应用于游戏应用,具体应用于如下场景:当用户需要定制个性化游戏角色时,可以触发游戏应用的第一应用页面中的人脸融合控件,终端设备采集用户的人脸图像,在第二应用页面显示目标角色对象,其中,目标角色对象的脸部特征与用户的人脸特征一致,且目标角色对象在第二应用页面中的显示角度与目标用户的姿态信息匹配。后续,用户可以控制目标角色对象在游戏应用中进行游戏对战,角色扮演等。
请参见图1,是本申请实施例提供的一种图像处理的系统架构图。本申请涉及服务器10d以及终端设备集群,终端设备集群可以包括:终端设备10a、终端设备10b、...、终端设备10c等。
以终端设备10a为例,终端设备10a展示第一应用页面,第一应用页面包括原始角色对象和人脸融合控件,当用户触发人脸融合控件时,终端设备10a采集用户的用户人脸图像。终端设备10a将采集的用户人脸图像发送至服务器10d,服务器10d将用户人脸图像和原始角色对象融合为目标角色对象,并根据用户人脸图像确定目标角色对象在第二应用页面的显示角度。服务器10d将确定的显示角度以及目标角色对象下发至终端设备10a,终端设备10a在第二应用页面按照下发的显示角度显示目标角色对象。
当然,将用户人脸图像与原始角色对象融合为目标角色对象也可以由终端设备集群中的任意终端设备来执行。
图1所示的服务器10d可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN(Content Delivery Network,内容分发网络)、以及大数据和人工智能平台等基础云计算服务的云服务器。
图1所示的终端设备10a、终端设备10b、终端设备10c等可以是手机、平板电脑、笔记本电脑、掌上电脑、移动互联网设备(MID,mobile internet device)、可穿戴设备等具有图像处理功能的智能设备。终端设备集群与服务器10d可以通过有线或无线通信方式进行直接或间接地连接,本申请在此不做限制。
下述以终端设备10a如何创建个性化游戏角色对象为例进行详细说明:
请参见图2a-图2e,其是本申请实施例提供的一种图像处理的场景示意图。如图2a所示,终端设备10a显示页面20a,在页面20a中包括按钮“个性化形象”和按钮“开始游戏”,按钮“个性化形象”的功能为定制个性化游戏角色。用户可以点击按钮“个性化形象”,终端设备显示页面20b。从图2a可以看出来,页面20b中包括按钮“开始”以及游戏角色20c,且游戏角色20c是三维游戏角色。用户可以点击按钮“开始”,终端设备10a开启摄像头,采集用户的人脸图像。如图2b所示,假设终端设备10a当前采集了人脸图像20d,可以看出,人脸图像20d是三维图像。三维图像相比二维图像,多一个图像深度信息,正是由于具有深度信息,才使得三维图像看起来比二维图像更具有立体感。
终端设备10a将游戏角色20c与采集的人脸图像20d进行人脸融合,得到新的游戏角色20e。人脸融合的方式可以细分为贴图融合和点云融合。
贴图融合的过程是:将人脸图像20d点对点贴图至游戏角色20c的脸部区域,贴图后得到的新的游戏角色20e的脸部形态和用户的脸部形态(或者说与人脸图像20d的脸部形态)一致。
点云融合的过程是:将人脸图像20d的脸部特征点与游戏角色20c的脸部特征点进行融合,将人脸图像20d的二维贴图与游戏角色20c的脸部的二维贴图进行融合,将融合后的脸部特征点和二维贴图组合为新的游戏对象的脸部对象,将新的脸部对象、游戏对象20c的其余部分(身体,脑袋)等组合为新的游戏对象。点云融合得到的新的游戏对象的脸部形体与用户的脸部形态只是相似,并不完全相同。换句话说,新的游戏对象的脸部既具有用户的人脸特征,也具有游戏角色20c的脸部特征。
在本实施例中,采用贴图融合的方式将游戏角色20c与人脸图像20d融合为新的游戏角色20e。从图2b可以看出,游戏角色20e的人脸形态与人脸图像20d的人脸形态一致,且比较游戏角色20c和游戏角色20e可以知道,这两个游戏角色除了脸部不一致外,其余部分(例如,发型,穿着等)都相同。
终端设备10a不仅需要将游戏角色20c与人脸图像20d融合为新的游戏角色20e,还需要根据人脸图像20d确定用户的脸部旋转角度,假设根据人脸图像20d确定的脸部旋转角度为:右侧,10度。
确定脸部旋转角度的过程是:终点设备10a获取人脸图像20d的人脸特征点坐标,人脸特征点坐标即是眼睛的坐标,鼻尖的坐标,额头的坐标等等。确定人脸图像20d的人脸特征点坐标与标准人脸图像的人脸特征点坐标之间的坐标差异量,根据该坐标差异量确定用户的脸部旋转角度。
其中,终端设备10a确定脸部旋转角度以及将游戏角色20c与人脸图像20d融合为新的游戏角色20e的先后顺序没有限定。
如图2b所示,终端设备10a确定了游戏角色20e以及脸部旋转角度后,在页面20f中按照脸部旋转角度显示游戏角色20e,或者,终端设备根据脸部旋转角度确定显示角度,终端设备10a在页面20f中按照上述显示角度显示游戏角色20e。其中,脸部旋转角度与显示角度之间具有比例关系。例如,脸部旋转角度为:右侧,10度;显示角度可以是:右侧,20度。可以知道,游戏角色20e在页面20f中的显示角度与用户的脸部姿态匹配。
上面描述了终端设备10a获取到一张脸部图像时的处理过程,摄像头可以持续采集用户的多张人脸图像。如图2c所示,假设终端设备10a在人脸图像20d后又采集到人脸图像20g。
和前述融合游戏角色20e的过程类似,终端设备10a将游戏角色20c与采集的人脸图像20g进行人脸融合,得到新的游戏角色20h(如图2c所示)。
从图2c可以看出,游戏角色20h的人脸形态与人脸图像20g的人脸形态一致,且比较游戏角色20c和游戏角色20h可以知道,这两个游戏角色除了脸部不一致外,其余部分(例如,发型,穿着等)都相同。
和前述确定脸图像20d的脸部旋转角度相同,终端设备10a根据人脸图像20g确定用户的脸部旋转角度,假设根据人脸图像20g确定的脸部旋转角度为:右侧,20度。
如图2c所示,终端设备10a确定了游戏角色20h以及脸部旋转角度后,在页面20f中按照脸部旋转角度显示游戏角色20h,或者,终端设备根据脸部旋转角度确定显示角度,终端设备10a在页面20f中按照上述显示角度显示游戏角色20h。其中,脸部旋转角度与显示角度之间具有比例关系。例如,脸部旋转角度为:右侧,20度;显示角度可以是:右侧,40度。可以知道,游戏角色20h在页面20f中的显示角度与用户的脸部姿态匹配。
摄像头可以继续采集用户的多张人脸图像。如图2d所示,假设终端设备10a在人脸图像20g后又采集到人脸图像20i。
和前述融合游戏角色20e的过程类似,终端设备10a将游戏角色20c与采集的人脸图像20i进行人脸融合,得到新的游戏角色20j(如图2d所示)。
和前述确定脸图像20d的脸部旋转角度相同,终端设备10a根据人脸图像20i确定用户的脸部旋转角度,假设根据人脸图像20i确定的脸部旋转角度为:右侧,30度。
如图2d所示,终端设备10a确定了游戏角色20j以及脸部旋转角度后,在页面20f中按照脸部旋转角度显示游戏角色20j,或者,终端设备根据脸部旋转角度确定显示角度,终端设备10a在页面20f中按照上述显示角度显示游戏角色20j。其中,脸部旋转角度与显示角度之间具有比例关系。例如,脸部旋转角度为:右侧,30度;显示角度可以是:右侧,60度。可以知道,游戏角色20j在页面20f中的显示角度与用户的脸部姿态匹配。
总结上述过程,如图2e所示,摄像头持续采集用户的人脸图像,若在采集过程中,用户的人脸在转动,那么采集到的人脸图像也是多个方位的人脸图像。每一张人脸图像都会与游戏角色20c进行融合,得到融合后的游戏角色,且每一张人脸图像都可以确定一个脸部旋转角度。在页面中,按照多个脸部旋转角度多方位显示融合后的游戏角色。从用户感官上来说,用户的人脸在持续转动,页面上游戏角色也跟随转动,且页面上的游戏角色的脸部形态与用户的脸部形态一致。
上述可知,本申请不仅可以定制个性化游戏角色,且个性化游戏角色的在页面中的显示角度与用户的脸部姿态相关,可以实现游戏角色与用户之间的实时交互,可以提升目标角色对象在页面中的显示效果。
其中,在第一应用页面(如上述实施例中的页面20b)显示原始角色对象(如上述实施例中的游戏角色20c),在第二应用页面(如上述实施例中的页面20f)显示目标角色对象(如上述实施例中的游戏角色20e、游戏角色20h以及游戏角色20j)的具体过程可以参见下述图3-图8对应的实施例。
请参见图3,是本申请实施例提供的一种图像处理的流程示意图,下述实施例以终端设备为执行主体描述前端如何展示个性化角色对象,图像处理方法可以包括如下步骤:
步骤S101,显示第一应用页面,所述第一应用页面包括原始角色对象和人脸融合控件。
具体的,终端设备(如上述图2a-图2e对应实施例中的终端设备10a)显示分享页面,分享页面是由当前用户(称为目标用户)的目标好友发送的,分享页面中包括目标好友定制的个性化角色对象以及提示消息:“您是否要定制角色”,若目标用户选择“是”,终端设备显示包含原始角色对象(如上述图2a-图2e对应实施例中的游戏角色20c)和人脸融合控件(如上述图2a-图2e对应实施例中的按钮“开始”)的第一应用页面(如上述图2a-图2e对应实施例中的页面20a)。原始角色对象是三维角色对象。
步骤S102,当所述人脸融合控件被触发时,获取目标用户的用户人脸图像。
具体的,目标用户可以触发人脸融合控件,终端设备响应目标用户的触发操作,终端设备启动摄像头,摄像头持续采集目标用户的用户人脸图像(如上述图2a-图2e对应实施例中的人脸图像20d、人脸图像20g以及人脸图像20i)。
持续采集的多张用户人脸图像也可以称为用户人脸视频流,任一张用户人脸图像都是用户人脸视频流的视频帧,下述以其中一张用户人脸图像为例进行具体说明:
其中,人脸视频流中的任一用户人脸图像都是三维图像,用户人脸图像中的每个像素除了包括像素值以外,还包括深度信息,正是由于包含了深度信息,因而三维图像相比二维图像,从视觉上看起来更立体一些。
步骤S103,在第二应用页面显示目标角色对象,所述目标角色对象是对所述用户人脸图像和所述原始角色对象进行融合得到,所述目标角色对象的显示角度与所述目标用户的姿态信息相匹配,所述目标用户的姿态信息是根据所述用户人脸图像确定的。
具体的,终端设备显示包含目标角色对象(如上述图2a-图2e对应实施例中的游戏角色20e,游戏角色20h以及游戏角色20j)的第二应用页面,目标角色对象是由用户人脸图像和原始角色对象融合得到。由于目标角色对象是由用户人脸图像和原始角色对象融合,因此,目标角色对象具有与用户人脸图像相同的脸部特征,或者说目标角色对象具有与目标用户相同的脸部特征。
目标角色对象也是三维角色对象,目标角色对象的在第二应用页面的显示角度与目标用户的姿态信息相匹配,此处的姿态信息可以具体指脸部姿态信息,目标用户的姿态信息是由用户人脸图像确定的。显示角度可以具体指目标角色对象整体的显示角度,也可以仅指目标角色对象的头部的显示角度。
例如,目标用户的脸部姿态信息为:(右侧,20°),该脸部姿态信息表明目标用户的脸部向右侧偏转了20°,那么目标角色对象在第二应用页面的显示角度也可以是:(右侧,20°),该显示角度可以表明在第二应用页面显示目标角色对象时,目标用户看到的是整体向右偏转了20°的目标角色对象,或者目标用户看到的是头部向右偏转了20°的目标角色对象。
至此,描述了如何处理一张用户人脸图像,由于摄像头会持续采集用户人脸视频流,因此对用户人脸视频流中的每一张用户人脸图像都可以融合为一个目标角色对象以及确定一个显示角度,在第二应用页面按照对应的显示角度显示目标角色对象,每一个目标角色对象的脸部会因为用户人脸图像的不同而存在细微差别。因而,当目标用户的姿态信息发生变化时,也就是采集到的多张用户人脸图像是目标用户的脸部多方位图像时,目标角色对象在第二应用页面中的显示角度也会相应地调整。总的来说,目标角色对象的当前显示角度都是和当前采集的用户人脸图像所确定的姿态信息匹配的。
从视觉上来看,在采集用户人脸视频流过程中,目标用户可以左右转头,第二应用页面中的目标角色对象的也会跟随目标用户的转到而转动。
可选的,第二应用页面还包括分享控件。目标用户可以触发该分享控件,终端设备显示包含多个待分享用户选项的用户列表,每一个待分享用户选项可以包括用户名称和用户头像。目标用户可以从多个待分享用户选项中选择目标待分享用户选项,终端设备将包含目标角色对象的第二应用页面发送至目标待分享用户选项对应的终端设备,以向好友分享自己定制的个性化角色对象。
可选的,第二应用页面包括保存控件,当用户触发保存控件时,终端设备关闭摄像头,存储第二应用页面中的目标角色对象。后续,目标用户可以控制目标角色对象进行游戏娱乐等。
用户还可以长按第二应用页面中的目标角色对象所在的页面区域,终端设备生成角色图像,角色图像的图像内容是目标角色对象,并将该角色图像保存至相册文件。
本申请是为了让用户可以定制个性化的角色对象,因而这个定制功能可以是用户购买了游戏道具后的附加功能,即用户购买了游戏道具后,可以享有定制个性化角色对象的权限,以提升游戏道具的购买率,具体过程如下:
终端设备显示包含多个游戏道具的道具展示页面,例如游戏中的“商城”页面即可对应本申请中的道具展示页面。目标用户可以从多个游戏道具中购买目标游戏道具,终端设备响应关于目标游戏道具的交易行为,进而显示第一应用页面,且在第一应用页面中原始角色对象会携带目标游戏道具,后续第二应用页面中的目标角色对象也会携带目标游戏道具。这样,当在第二应用页面中从多个显示角度显示目标角色对象时,目标游戏道具也会多方位向用户展示。
例如,若目标游戏道具是一件上衣,在第一应用页面中原始角色对象穿上这一件上衣,在第二应用页面中目标角色对象也会穿上这一件上衣。若目标游戏道具是装饰,在第一应用页面中原始角色对象佩戴这一个装饰,在第二应用页面中目标角色对象也会佩戴这一个装饰。
通过优化游戏中角色对象道具的仿真体验,可以提高用户购买游戏道具的欲望,增强游戏互动体验性。
除了购买了游戏道具后,可以定制个性化角色对象,终端设备在检测到原始角色对象所拥有的游戏道具数量到达一定的数目后,也可以向目标用户授予定制个性化角色对象的权限,具体过程如下:
第一应用页面是目标用户已购买游戏道具的展示页面,例如游戏中的“仓库”页面或者“个人物品”页面即可对应本申请的第一应用页面,若终端设备检测到原始角色对象对应的游戏道具数量大于预设的数量阈值(此处的数量阈值可以是1),终端设备将第一应用页面中的人脸融合控件设置为有效状态。当人脸融合控件被触发,且人脸融合控件属于有效状态时,终端设备启动摄像头,采集用户人脸视频流,进而将用户人脸视频流中的用户人脸图像与原始角色对象融合为目标角色显示以及确定显示角度,按照该显示角度显示目标角色对象。
上述可知,通过触发分享控件即可向好友分享定制的个性化角色对象,可以提升信息分享效率,以及丰富信息分享种类;通过优化游戏中角色对象道具的仿真体验,可以提高用户购买游戏道具的欲望,增强游戏互动体验性。
请参见图4,图4是本申请实施例提供的一种图像处理的流程示意图,下述实施例以服务器为执行主体描述后台如何个性化定制角色对象,图像处理方法可以包括如下步骤:
步骤S201,获取目标用户的用户人脸图像以及所述用户人脸图像的用户人脸特征点信息。
具体的,服务器接收终端设备发送的当前用户(称为目标用户)的原始人脸视频流,原始人脸视频流中的任一视频帧图像都称为原始人脸图像,原始人脸图像是三维图像。对一张原始人脸图像来说:服务器对原始人脸图像进行特征点识别处理,确定N个单位特征点坐标,N是正整数,每个单位特征点坐标均是三维坐标。例如,N个单位特征点坐标中的第一个单位特征点坐标表示眉峰的坐标,第二单位特征点表示眉尾的坐标,....,第N个单位特征点坐标表示唇角的坐标等等。
从原始人脸图像中抽取N个单位特征点坐标对应的图像,将抽取的图像作为用户人脸图像,将这N个单位特征点坐标作为用户人脸图像的用户人脸特征点信息。可以知道,由于用户人脸图像是人脸特征点对应的图像,因此用户人脸图像的图像内容只会包含脸部内容,其余的耳朵,头发等都不会包含在用户人脸图像中。
请参见图5,图5是本申请实施例提供的一种用户人脸特征点信息的示意图,从图5的用户人脸特征点信息包括多个单位特征点坐标,单位特征点坐标表示脸部特征点的坐标。
对其余的原始人脸图像可以采用相同的处理方式进行处理,以得到多张用户人脸图像以及确定每张用户人脸图像的用户人脸特征点信息。这多张用户人脸图像可以称为用户人脸视频流。下述仍以一张用户人脸图像为例进行说明:
步骤S202,根据所述用户人脸特征点信息确定所述目标用户的姿态信息。
具体的,服务器获取目标用户的历史用户人脸特征点信息,历史用户人脸特征点信息可以看作是用户人脸视频流中上一时刻的用户人脸图像的用户人脸特征点信息。若历史用户人脸特征点信息和当前的用户人脸图像的用户人脸特征点信息不相同,服务器获取N个标准单位特征点坐标,标准单位特征点坐标是指多张标准人脸图像的特征点坐标的均值,多张标准人脸图像是多张人脸平视前方时所拍摄的多张人脸图像。服务器计算N个标准单位特征点坐标和N个单位特征点坐标之间的坐标误差,根据坐标误差确定当前用户人脸图像的旋转角度,将确定的旋转角度作为目标用户的当前的姿态信息。姿态信息可以具体指脸部姿态信息。
确定了目标用户人脸的姿态信息后,将当前用户人脸图像的用户人脸特征点信息作为新的历史用户人脸特征点信息。
可选的,若历史用户人脸特征点信息和当前的用户人脸图像的用户人脸特征点信息相同,服务器可以不对当前的用户人脸特征点信息作处理。
这是因为,用户人脸图像是用户人脸视频流中的任意一个视频帧图像,若历史用户人脸特征点信息和当前的用户人脸特征点信息相同,说明目标用户的姿态信息并没有发生改变,因此为了节约系统资源,即使采集到用户人脸图像,也不必确定新的姿态信息和新的目标角色对象,在终端设备一侧仍旧保持上一时刻的显示角度显示上一时刻的目标角色对象。换句话说,姿态信息不发生变化,在终端设备中目标角色对象以及目标角色对象的显示角度也不会发生边变化。
可选的,服务器除了通过检测人脸特征点信息来间接确定是否目标用户的姿态信息是否发生了变化,还可以直接比较目标用户的姿态信息是否发生了变化,即若当前用户人脸图像的姿态信息和历史姿态信息不同,服务器可以执行下述步骤S203,否则,若当前用户人脸图像的姿态信息和历史姿态信息相同,服务器可以不必执行下述步骤S203,在终端设备一侧仍旧保持上一时刻的显示角度显示上一时刻的目标角色对象。
步骤S203,根据所述用户人脸特征点信息和所述姿态信息,将所述用户人脸图像与原始角色对象融合为目标角色对象,并确定与所述姿态信息匹配的目标角色对象的显示角度。
具体的,服务器检测角色对象缓存空间中是否存在历史目标角色对象,若不存在,则根据当前的用户人脸特征点信息和姿态信息,将用户人脸图像与原始角色对象融合为目标角色对象,并确定与姿态信息匹配的目标角色对象的显示角度。后续,服务器还需要将新生成的目标角色对象作为历史角色对象缓存至角色对象缓存空间,以及将用户人脸图像作为历史用户人脸图像缓存至图像存储空间。
若角色对象缓存空间中存在历史目标角色对象,服务器进一步检测历史目标角色对象的历史用户人脸图像和当前的用户人脸图像之间的差异量是否小于差异量阈值,若小于差异量阈值,说明当前采集的用户人脸图像和上一时刻采集的用户人脸图像差别不大,因此服务器可以直接从角色对象缓存空间中读取历史目标角色对象作为目标角色对象,服务器再确定与姿态信息匹配的目标角色对象的显示角度。在这种情况下,服务器可以不必进行融合,只需要确定目标角色对象的显示角度即可。后续,服务器只需要将用户人脸图像作为历史用户人脸图像缓存至图像存储空间。
若角色对象缓存空间中存在历史目标角色对象,且历史目标角色对象的历史用户人脸图像和当前的用户人脸图像之间的差异量不小于差异量阈值,说明当前采集的用户人脸图像和上一时刻采集的用户人脸图像差别较大,服务器根据当前的用户人脸特征点信息和姿态信息,将用户人脸图像与原始角色对象融合为目标角色对象,并确定与姿态信息匹配的目标角色对象的显示角度。后续,服务器还需要将新生成的目标角色对象作为新的历史目标角色对象缓存至角色对象缓存空间(此时角色对象缓存空间中只存储有最新的历史目标角色对象),以及将用户人脸图像作为历史用户人脸图像缓存至图像存储空间。
值得注意的是,服务器融合目标角色对象以及确定显示角度的前后顺序没有限定。步骤S203的判断过程也可以由终端设备来执行,即角色对象缓存空间是终端设备中的某一处存储空间,由终端设备来确定直接从角色对象缓存空间中读取目标角色对象,还是请求服务器生成新的目标角色对象。若终端设备判断出直接从角色对象缓存空间中读取目标角色对象,那么终端设备只需要向服务器请求目标角色对象的显示角度即可;若终端设备判断出需要新生成目标角色对象和确定显示角度,那么终端设备需要向服务器请求目标角色对象以及目标角色对象的显示角度。
服务器确定目标角色对象的显示角度的具体过程可以为:
服务器可以直接将姿态信息的旋转角度作为显示角度,或者按照预设比例关系以及旋转角度确定显示角度。显示角度可以具体指目标角色对象整体的显示角度,也可以仅指目标角色对象的头部的显示角度。例如,旋转角度为:(右侧,5°),那么显示角度也可以是:(右侧,5°);或者预设比例关系为1:2,旋转角度为:(右侧,5°),那么显示角度也可以是:(右侧,10°)。
下面对如何根据当前的用户人脸特征点信息和姿态信息,将用户人脸图像与原始角色对象融合为目标角色对象的过程进行具体说明:
服务器获取原始角色对象的角色人脸特征点信息,角色人脸特征点信息也包括N个单位角色特征点坐标,且N个单位角色特征点坐标与用户人脸图像的N个单位特征点坐标之间是一一对应。服务器根据角色人脸特征点信息和用户人脸特征点信息之间的比例,缩放目标用户人脸图像,将缩放后的人脸图像称为辅助人脸图像,对应地用户人脸特征点信息也要对应缩放,将缩放后的用户人脸特征点信息称为辅助人脸特征点信息。缩放后的辅助人脸图像所表示的人脸尺寸与原始角色对象的人脸尺寸基本接近。辅助人脸图像也是三维图像。
举例来说,根据角色人脸特征点信息确定原始角色对象的双眼之间的距离为2,眉心与鼻尖之间的距离为4。根据用户人脸特征点信息确定双眼之间的距离为6,眉心与鼻尖之间的距离为12.2。此时,就可以将用户人脸图像缩小3倍,使得缩放后的辅助人脸图像的双眼之间的距离为2,眉心与鼻尖之间的距离为4.06。
后续,服务器可以采用贴图融合的方式将辅助人脸图像和原始角色对象融合为目标角色对象,还可以采集点云融合的方式将辅助人脸图像和原始角色对象融合为目标角色对象。
下面首先说明贴图融合的具体过程:
原始角色对象包括原始角色头部对象和原始角色身体对象,原始角色头部对象又包括原始角色脸部对象和原始角色非脸部对象。由于本申请只涉及脸部融合,其余身体部分未涉及,因此处理对象仅是原始角色脸部对象。
服务器根据姿态信息(即是旋转角度)将原始角色对象和辅助人脸图像进行方向对齐,可以是原始角色对象朝着辅助人脸图像的方向对齐,也可是辅助人脸图像朝着原始角色对象的方向对齐。
若是原始角色对象朝着辅助人脸图像的方向对齐,就需要调整原始角色对象的角色人脸特征点信息,将调整后的角色人脸特征点信息称为第一人脸特征点信息。原始角色脸部对象是由第一人脸特征点信息以及多个角度的模型贴图融合得到,服务器将原始角色脸部对象的第一人脸特征点信息替换为辅助人脸特征点信息,将原始角色脸部对象的,且与旋转角度对应模型贴图替换为用户二维贴图,将辅助人脸特征点信息、用户二维贴图以及未被替换的其余模型贴图融合为目标角色脸部对象。其中,用户二维贴图是从三维的辅助人脸图像转换得到。服务器将目标角色脸部对象、原始角色非脸部对象以及原始角色身体对象拼接为目标角色对象。
若是辅助人脸图像朝着原始角色对象的方向对齐,就需要调整辅助人脸图像的辅助人脸特征点信息,将调整后的辅助人脸特征点信息称为第二人脸特征点信息。原始角色脸部对象是由角色人脸特征点信息以及多个角度的模型贴图融合得到。服务器将原始角色脸部对象的角色人脸特征点信息替换为第二人脸特征点信息,将原始角色脸部对象的,且与旋转角度对应模型贴图替换为用户二维贴图,将第二人脸特征点信息、用户二维贴图以及未被替换的其余模型贴图融合为目标角色脸部对象。其中,用户二维贴图是从三维的辅助人脸图像转换得到。服务器将目标角色脸部对象、原始角色非脸部对象以及原始角色身体对象拼接为目标角色对象。
采用贴图融合的方式所确定的目标角色对象的人脸形态与目标用户的人脸形态一致,或者说采用贴图融合的方式所确定的目标角色对象的人脸形态与用户人脸图像的人脸形态一致。
下面说明点云融合的具体过程:
原始角色对象包括原始角色头部对象和原始角色身体对象,原始角色头部对象又包括原始角色脸部对象和原始角色非脸部对象。由于本申请只涉及脸部融合,其余身体部分未涉及,因此处理对象仅是原始角色脸部对象。
服务器根据姿态信息(即是旋转角度)将原始角色对象和辅助人脸图像进行方向对齐,可以是原始角色对象朝着辅助人脸图像的方向对齐,也可是辅助人脸图像朝着原始角色对象的方向对齐。
若是原始角色对象朝着辅助人脸图像的方向对齐,就需要调整原始角色对象的角色人脸特征点信息,将调整后的角色人脸特征点信息称为第一人脸特征点信息。服务器获取融合比例系数(例如,融合比例系数为1:1,表明原始角色对象的人脸和目标用户的人脸按照1:1的比例进行融合,生成的目标角色对象的人脸既与原始角色对象的人脸相似,也与目标用户的人脸相似,且与原始角色对象的人脸以及与目标用户的人脸的相似度分别在50%)。原始角色脸部对象是由角色人脸特征点信息以及多个角度的模型贴图融合得到,服务器按照融合比例系数,将原始角色脸部对象的第一人脸特征点信息与辅助人脸特征点信息进行坐标融合,得到融合人脸特征点信息;服务器照融合比例系数,将原始角色脸部对象的,与旋转角度对应的模型贴图与用户二维贴图进行图像融合,得到融合贴图,将融合人脸特征点信息、融合贴图未被替换的其余模型贴图融合为目标角色脸部对象。其中,用户二维贴图是从三维的辅助人脸图像转换得到。服务器将目标角色脸部对象、原始角色非脸部对象以及原始角色身体对象拼接为目标角色对象。
若是辅助人脸图像朝着原始角色对象的方向对齐,就需要调整辅助人脸图像的辅助人脸特征点信息,将调整后的辅助人脸特征点信息称为第二人脸特征点信息。服务器获取融合比例系数,原始角色脸部对象是由角色人脸特征点信息以及多个角度的模型贴图融合得到,服务器按照融合比例系数,将原始角色脸部对象的角色人脸特征点信息与第二人脸特征点信息进行坐标融合,得到融合人脸特征点信息;服务器照融合比例系数,将原始角色脸部对象的,与旋转角度对应的模型贴图与用户二维贴图进行图像融合,得到融合贴图,将融合人脸特征点信息、融合贴图以及未被替换的其余模型贴图融合为目标角色脸部对象。其中,用户二维贴图是从三维的辅助人脸图像转换得到。服务器将目标角色脸部对象、原始角色非脸部对象以及原始角色身体对象拼接为目标角色对象。
采用点云融合的方式所确定的目标角色对象的人脸形态与目标用户的人脸形态之间的差异量由融合比例系数确定。
若原始角色对象和用户人脸图像的融合比例是2:3,那么融合得到的目标角色对象的人脸形态与目标用户的人脸形态之间的差异量为2/5=0.4,或者说融合得到的目标角色对象的人脸形态与目标用户的人脸形态之间的相似度为0.6。
本实施例以服务器为执行主体进行描述,也可以由终端设备来执行上述步骤S201-步骤S203,
上述可知,只有当历史用户人脸特征点信息和当前的用户人脸特征点信息不相同时,才服务器才生成新的目标角色对象和确定显示角度,可以节约系统资源;再用,若缓存空间中已经存储了历史目标角色对象,且历史用户人脸图像和当前的用户人脸图像之间的差异较小时,可以直接从缓存空间中读取历史角色对象,作为目标角色对象,不必再进行融合,可以降低服务器的负载。
请参见图6,是本申请实施例提供的一种图像处理的流程示意图,本实施例将图像处理与游戏道具进行结合,具体包括如下步骤:
步骤S301,用户请求打开WEB页面。
具体的,终端设备生成用户请求,该用户请求用于请求打开WEB页面。
步骤S302,检测用户请求中是否携带个性化游戏角色的参数,若是,则执行步骤S303;若否,则执行步骤S304。
步骤S303,显示个性化游戏角色页面。
具体的,若用户请求中携带个性化游戏角色的参数,说明用户所请求的页面是用户好友分享的。终端设备显示个性化游戏角色页面,该页面中包括用户好友所定制的个性化游戏角色以及用户好友定制的性化游戏角色所购买的游戏道具。
个性化游戏角色页面还包括提示消息以及一张二维码图像,提示消息用于询问用户是否要进入定制游戏角色流程,若用户扫描二维码,则执行步骤S304。
步骤S304,显示道具展示页面。
具体的,终端设备显示道具展示页面,图7的页面即是道具展示页面。道具展示页面包括按钮“定制个性化游戏角色”、原始游戏角色以及用户已经购买的游戏道具。从图7可以看出,当前用户已经购买了一件上衣和一顶帽子。
其中,道具展示页面即可对应本申请中的第一应用页面。
步骤S305,拉起角色融合页面。
若用户触发按钮“定制个性化游戏角色”,显示角色融合页面,在该页面中显示通知消息,询问用户是否授权启动摄像头,并采集用户的用户人脸图像。
步骤S306,若用户授权采集用户的用户人脸图像,开启摄像头。
步骤S307,将原始游戏角色与用户人脸图像进行融合。
具体的,摄像头持续采集用户人脸图像,将采集的用户人脸图像与原始游戏角色融合为目标游戏角色以及确定目标游戏角色的显示角度。在融合过程中,终端设备将融合得到的最新的目标游戏角色进行缓存,以降低融合的次数(由终端设备进行融合的情况),或者降低终端设备与服务器之间的交互次数(由服务器进行融合的情况)。
将融合得到的目标角色对象按照确定的显示角度显示在角色融合页面,摄像头可以采集不同方位的用户人脸图像,那么对应地就会生成多个目标游戏角色以及多个显示角度,按照多个显示角度显示目标游戏角色。从用户的角度来看,就是自己的脸部在转动,对应的目标游戏角色也在对应的转动。
用户可以保存定制的目标游戏角色。
若融合失败,执行步骤S304。
步骤S308,用户购买道具后,生成个性化游戏角色页面。
具体的,用户购买了目标道具后,显示个性化游戏角色页面,图8的页面即是个性化游戏角色页面。个性化游戏角色页面中包括融合得到的目标游戏角色,用户购买的目标道具(如图8中的汽车)以及按钮“分享”。
若用户触发按钮“分享”,显示好友列表,用户可以从好友列表中选择待分享的好友,将个性化游戏角色页面发送至用户选择的待分享的好友。
便于待分享的好友了解个性化游戏角色携带道具后的页面效果,提高其余用户购买目标道具的欲望,增强游戏互动体验性。
若用户长按个性化游戏角色页面,可以对个性化游戏角色页面截屏并将截屏图片保存至相册文件。
个性化游戏角色页面还可以包括按钮“保存搭配”,若用户触发该按钮,将目标游戏角色和目标道具进行关联存储。
进一步的,请参见图9,是本申请实施例提供的一种图像处理装置的结构示意图。如图9所示,图像处理装置1可以应用于上述图3-图8对应实施例中的终端设备。图像处理装置1可以是运行于计算机设备中的一个计算机程序(包括程序代码),例如该图像处理装置为一个应用软件;该装置可以用于执行本申请实施例提供的方法中的相应步骤。
图像处理装置1可以包括:第一显示模块11、第一获取模块12以及第二显示模块13。
第一显示模块11,用于显示第一应用页面,所述第一应用页面包括原始角色对象和人脸融合控件;
第一获取模块12,用于当所述人脸融合控件被触发时,获取目标用户的用户人脸图像;
第二显示模块13,用于在第二应用页面显示目标角色对象,所述目标角色对象是对所述用户人脸图像和所述原始角色对象进行融合得到,所述目标角色对象的显示角度与所述目标用户的姿态信息相匹配,所述目标用户的姿态信息是根据所述用户人脸图像确定的。
在一种实施例方式中,第一显示模块11,具体用于:
显示包含多个游戏道具的道具展示页面;
响应于对目标游戏道具的交易行为,显示所述第一应用页面,所述第一应用页面中的所述原始角色对象携带所述目标游戏道具,所述第二应用页面中的所述目标角色对象携带所述目标游戏道具,所述目标游戏道具是所述多个游戏道具中的任一游戏道具。
在一种实施例方式中,所述用户人脸图像是所述目标用户的用户人脸视频流中的任一视频帧图像;
图像处理装置1还可以包括:调整模块14。
调整模块14,用于当所述目标用户的姿态信息发生变化时,在所述第二应用页面调整所述目标角色对象的显示角度。
在一种实施例方式中,所述第二应用页面还包括:分享控件;
图像处理装置1还可以包括:分享模块15。
分享模块15,用于当所述分享控件被触发时,显示包含多个待分享用户选项的用户列表,当目标待分享用户选项被触发时,将包含所述目标角色对象的第二应用页面发送至所述目标待分享用户选项对应的终端设备;所述目标待分享用户选项是所述多个待分享用户选项中的任一待分享用户选项。
在一种实施例方式中,图像处理装置1还可以包括:检测模块16。
检测模块16,用于检测所述原始角色对象对应的游戏道具数量,若所述游戏道具数量大于数量阈值,则将所述第一应用页面中的所述人脸融合控件设置为有效状态;
则第一获取模块12,具体用于当所述人脸融合控件被触发,且所述人脸融合控件处于所述有效状态时,采集所述目标用户的用户人脸图像。
其中,第一显示模块11、第一获取模块12、第二显示模块13、调整模块14、分享模块15和检测模块16的具体功能实现方式可以参见上述图3对应实施例中的步骤S101-步骤S103,这里不再进行赘述。
进一步的,请参见图10,是本申请实施例提供的一种图像处理装置的结构示意图。如图10所示,图像处理装置2可以应用于上述图3-图8对应实施例中的服务器。图像处理装置2可以是运行于计算机设备中的一个计算机程序(包括程序代码),例如该图像处理装置为一个应用软件;该装置可以用于执行本申请实施例提供的方法中的相应步骤。
图像处理装置2可以包括:第二获取模块21、第一确定模块22、融合模块23以及第二确定模块24。
第二获取模块21,用于获取目标用户的用户人脸图像以及所述用户人脸图像的用户人脸特征点信息;
第一确定模块22,用于根据所述用户人脸特征点信息确定所述目标用户的姿态信息;
融合模块23,用于根据所述用户人脸特征点信息和所述姿态信息,将所述用户人脸图像与原始角色对象融合为目标角色对象;
第二确定模块24,用于确定与所述姿态信息匹配的目标角色对象的显示角度。
在一种实施例方式中,所述用户人脸图像是三维图像;所述用户人脸特征点信息包括N个单位特征点坐标,N是正整数;
第二获取模块21,具体用于:
获取所述目标用户的原始人脸图像;所述原始人脸图像是三维图像;
对所述原始人脸图像进行脸部特征点识别处理,确定N个单位特征点坐标;每个单位特征点坐标均是三维坐标;
从所述原始人脸图像中抽取N个单位特征点坐标对应的图像,将抽取的图像作为所述用户人脸图像。
在一种实施例方式中,第一确定模块22,具体用于:
获取N个标准单位特征点坐标;
确定N个标准单位特征点坐标和N个单位特征点坐标之间的坐标误差;
根据所述坐标误差确定旋转角度,将所述旋转角度作为目标用户的姿态信息。
在一种实施方式中,图像处理装置2还可以包括:第一通知模块25。
第一通知模块25,用于获取所述目标用户的历史用户人脸特征点信息,当所述历史用户人脸特征点信息和所述用户人脸特征点信息不相同时,并通知第一确定模22块执行根据所述用户人脸特征点信息确定所述目标用户的姿态信息,并将所述用户人脸特征点信息作为新的历史用户人脸特征点信息。
在一种实施方式中,图像处理装置2还可以包括:第二通知模块26。
第二通知模块26,用于若角色对象缓存空间中不存在历史目标角色对象,则通知融合模块23执行根据所述用户人脸特征点信息和所述姿态信息,将所述用户人脸图像与原始角色对象融合为目标角色对象,并将所述目标角色对象作为所述历史目标角色对象缓存至所述角色对象缓存空间;
第二通知模块26,还用于若角色对象缓存空间中存在所述历史目标角色对象,且所述用户人脸图像和所述历史目标角色对象的历史用户人脸图像之间的差异量小于差异量阈值,则从所述角色对象缓存空间中读取所述历史目标角色对象作为目标角色对象。
其中,第二获取模块21、第一确定模块22、融合模块23、第二确定模块24、第一通知模块25以及第二通知模块26的具体功能实现方式可以参见上述图4对应实施例中的步骤S201-步骤S204,这里不再进行赘述。
在一种实施例方式中,所述姿态信息包括旋转角度;
融合模块23,可以包括:获取单元231和融合单元232。
获取单元231,用于获取所述原始角色对象的角色人脸特征点信息,根据所述角色人脸特征点信息和所述用户人脸特征点信息,缩放所述用户人脸图像,得到辅助人脸图像;
融合单元232,用于根据所述旋转角度,将所述辅助人脸图像与所述原始角色对象融合为目标角色对象。
在一种实施例方式中,融合单元232可以包括:获取子单元2321和贴图子单元2322。
获取子单元2321,用于获取所述辅助人脸图像的辅助人脸特征点信息;
贴图子单元2322,用于根据所述角色人脸特征点信息、所述辅助人脸特征点信息和所述旋转角度,将所述原始角色对象与所述辅助人脸图像进行对齐贴图处理,得到所述目标角色对象;所述目标角色对象的人脸形态与所述目标用户的人脸形态一致。
在一种实施例方式中,所述原始角色对象包括原始角色头部对象以及原始角色身体对象,所述原始角色头部对象包括原始角色脸部对象和原始角色非脸部对象;
融合单元232,可以包括:融合子单元2323和拼接子单元2324。
融合子单元2323,用于获取融合比例系数,根据所述融合比例系数以及所述旋转角度将所述原始角色脸部对象与所述辅助人脸图像对齐融合为目标角色脸部对象;
拼接子单元2324,用于将所述目标角色脸部对象、所述原始角色非脸部对象以及所述原始角色身体对象拼接为所述目标角色对象,所述目标角色对象的人脸形态与所述目标用户的人脸形态之间的差异量由所述融合比例系数确定。
可以知道,当由获取子单元2321和贴图子单元2322将辅助人脸图像和原始角色对象融合为目标角色对象时,融合子单元2323和拼接子单元2324不再执行相应步骤;当由融合子单元2323和拼接子单元2324将辅助人脸图像和原始角色对象融合为目标角色对象时,获取子单元2321和贴图子单元2322不再执行相应步骤。
其中,获取单元231、融合单元232、获取子单元2321、贴图子单元2322、融合子单元2323和拼接子单元2324的具体功能实现方式可以参见上述图4对应实施例中的步骤S204,这里不再进行赘述。
进一步地,请参见图11,是本发明实施例提供的一种计算机设备的结构示意图。上述图3-图8对应实施例中的终端设备可以为计算机设备1000,如图10所示,计算机设备1000可以包括:用户接口1002、处理器1004、编码器1006以及存储器1008。信号接收器1016用于经由蜂窝接口1010、WIFI接口1012、...、或NFC接口1014接收或者发送数据。编码器1006将接收到的数据编码为计算机处理的数据格式。存储器1008中存储有计算机程序,处理器1004被设置为通过计算机程序执行上述任一项方法实施例中的步骤。存储器1008可包括易失性存储器(例如,动态随机存取存储器DRAM),还可以包括非易失性存储器(例如,一次性可编程只读存储器OTPROM)。在一些实例中,存储器1008可进一步包括相对于处理器1004远程设置的存储器,这些远程存储器可以通过网络连接至计算机设备1000。用户接口1002可以包括:键盘1018和显示器1020。
在图10所示的计算机设备1000中,处理器1004可以用于调用存储器1008中存储计算机程序,以实现:
显示第一应用页面,所述第一应用页面包括原始角色对象和人脸融合控件;
当所述人脸融合控件被触发时,获取目标用户的用户人脸图像;
在第二应用页面显示目标角色对象,所述目标角色对象是对所述用户人脸图像和所述原始角色对象进行融合得到,所述目标角色对象的显示角度与所述目标用户的姿态信息相匹配,所述目标用户的姿态信息是根据所述用户人脸图像确定的。
应当理解,本发明实施例中所描述的计算机设备1000可执行前文图3所对应实施例中对图像处理方法的描述,也可执行前文图9所对应实施例中对图像处理装置1的描述,在此不再赘述。另外,对采用相同方法的有益效果描述,也不再进行赘述。
此外,这里需要指出的是:本发明实施例还提供了一种计算机存储介质,且计算机存储介质中存储有前文提及的图像处理装置1所执行的计算机程序,且该计算机程序包括程序指令,当处理器执行上述程序指令时,能够执行前文图3所对应实施例中的方法,因此,这里将不再进行赘述。另外,对采用相同方法的有益效果描述,也不再进行赘述。对于本发明所涉及的计算机存储介质实施例中未披露的技术细节,请参照本发明方法实施例的描述。作为示例,程序指令可以被部署在一个计算机设备上,或者在位于一个地点的多个计算机设备上执行,又或者,在分布在多个地点且通过通信网络互连的多个计算机设备上执行,分布在多个地点且通过通信网络互连的多个计算机设备可以组成区块链系统。
根据本申请的一个方面,提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备可以执行前文图3所对应实施例中的方法,因此,这里将不再进行赘述。
进一步地,请参见图12,是本发明实施例提供的一种计算机设备的结构示意图。上述图3-图8对应实施例中的服务器可以为计算机设备2000,如图12所示,计算机设备2000可以包括:用户接口2002、处理器2004、编码器2006以及存储器2008。信号接收器2016用于经由蜂窝接口2020、WIFI接口2012、...、或NFC接口2014接收或者发送数据。编码器2006将接收到的数据编码为计算机处理的数据格式。存储器2008中存储有计算机程序,处理器2004被设置为通过计算机程序执行上述任一项方法实施例中的步骤。存储器2008可包括易失性存储器(例如,动态随机存取存储器DRAM),还可以包括非易失性存储器(例如,一次性可编程只读存储器OTPROM)。在一些实例中,存储器2008可进一步包括相对于处理器2004远程设置的存储器,这些远程存储器可以通过网络连接至计算机设备2000。用户接口2002可以包括:键盘2018和显示器2020。
在图12所示的计算机设备2000中,处理器2004可以用于调用存储器2008中存储计算机程序,以实现:
获取目标用户的用户人脸图像以及所述用户人脸图像的用户人脸特征点信息;
根据所述用户人脸特征点信息确定所述目标用户的姿态信息;
根据所述用户人脸特征点信息和所述姿态信息,将所述用户人脸图像与原始角色对象融合为目标角色对象,并确定与所述姿态信息匹配的目标角色对象的显示角度。
应当理解,本发明实施例中所描述的计算机设备2000可执行前文图4所对应实施例中对图像处理方法的描述,也可执行前文图10所对应实施例中对图像处理装置2的描述,在此不再赘述。另外,对采用相同方法的有益效果描述,也不再进行赘述。
此外,这里需要指出的是:本发明实施例还提供了一种计算机存储介质,且计算机存储介质中存储有前文提及的图像处理装置1所执行的计算机程序,且该计算机程序包括程序指令,当处理器执行上述程序指令时,能够执行前文图4所对应实施例中的方法,因此,这里将不再进行赘述。另外,对采用相同方法的有益效果描述,也不再进行赘述。对于本发明所涉及的计算机存储介质实施例中未披露的技术细节,请参照本发明方法实施例的描述。作为示例,程序指令可以被部署在一个计算机设备上,或者在位于一个地点的多个计算机设备上执行,又或者,在分布在多个地点且通过通信网络互连的多个计算机设备上执行,分布在多个地点且通过通信网络互连的多个计算机设备可以组成区块链系统。
根据本申请的一个方面,提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备可以执行前文图4所对应实施例中的方法,因此,这里将不再进行赘述。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,上述程序可存储于一计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,上述存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)或随机存储记忆体(Random AccessMemory,RAM)等。
以上所揭露的仅为本发明较佳实施例而已,当然不能以此来限定本发明之权利范围,因此依本发明权利要求所作的等同变化,仍属本发明所涵盖的范围。

Claims (15)

1.一种图像处理方法,其特征在于,包括:
显示第一应用页面,所述第一应用页面包括原始角色对象和人脸融合控件;
当所述人脸融合控件被触发时,获取目标用户的用户人脸图像;
在第二应用页面显示目标角色对象,所述目标角色对象是对所述用户人脸图像和所述原始角色对象进行融合得到,所述目标角色对象的显示角度与所述目标用户的姿态信息相匹配,所述目标用户的姿态信息是根据所述用户人脸图像确定的。
2.根据权利要求1所述的方法,其特征在于,所述用户人脸图像是所述目标用户的用户人脸视频流中的任一视频帧图像;
所述方法还包括:
当所述目标用户的姿态信息发生变化时,在所述第二应用页面调整所述目标角色对象的显示角度。
3.根据权利要求1所述的方法,其特征在于,所述第二应用页面还包括:分享控件;
所述方法还包括:
当所述分享控件被触发时,显示包含多个待分享用户选项的用户列表;
当目标待分享用户选项被触发时,将包含所述目标角色对象的第二应用页面发送至所述目标待分享用户选项对应的终端设备;所述目标待分享用户选项是所述多个待分享用户选项中的任一待分享用户选项。
4.根据权利要求1-2任一项所述的方法,其特征在于,所述显示第一应用页面,包括:
显示包含多个游戏道具的道具展示页面;
响应于对目标游戏道具的交易行为,显示所述第一应用页面,所述第一应用页面中的所述原始角色对象携带所述目标游戏道具,所述第二应用页面中的所述目标角色对象携带所述目标游戏道具,所述目标游戏道具是所述多个游戏道具中的任一游戏道具。
5.根据权利要求1-2任一项所述的方法,其特征在于,还包括:
检测所述原始角色对象对应的游戏道具数量;
若所述游戏道具数量大于数量阈值,则将所述第一应用页面中的所述人脸融合控件设置为有效状态;
则所述当所述人脸融合控件被触发时,获取目标用户的用户人脸图像,包括:
当所述人脸融合控件被触发,且所述人脸融合控件处于所述有效状态时,采集所述目标用户的用户人脸图像。
6.一种图像处理方法,其特征在于,包括:
获取目标用户的用户人脸图像以及所述用户人脸图像的用户人脸特征点信息;
根据所述用户人脸特征点信息确定所述目标用户的姿态信息;
根据所述用户人脸特征点信息和所述姿态信息,将所述用户人脸图像与原始角色对象融合为目标角色对象,并确定与所述姿态信息匹配的目标角色对象的显示角度。
7.根据权利要求6所述的方法,其特征在于,所述用户人脸图像是三维图像;所述用户人脸特征点信息包括N个单位特征点坐标,N是正整数;
所述获取目标用户的用户人脸图像以及所述用户人脸图像的用户人脸特征点信息,包括:
获取所述目标用户的原始人脸图像;所述原始人脸图像是三维图像;
对所述原始人脸图像进行脸部特征点识别处理,确定N个单位特征点坐标;每个单位特征点坐标均是三维坐标;
从所述原始人脸图像中抽取N个单位特征点坐标对应的图像,将抽取的图像作为所述用户人脸图像。
8.根据权利要求7所述的方法,其特征在于,所述根据所述用户人脸特征点信息确定所述目标用户的姿态信息,包括:
获取N个标准单位特征点坐标;
确定N个标准单位特征点坐标和N个单位特征点坐标之间的坐标误差;
根据所述坐标误差确定旋转角度,将所述旋转角度作为目标用户的姿态信息。
9.根据权利要求6所述的方法,其特征在于,所述姿态信息包括旋转角度;
所述根据所述用户人脸特征点信息和所述姿态信息,将所述用户人脸图像与原始角色对象融合为目标角色对象,包括:
获取所述原始角色对象的角色人脸特征点信息;
根据所述角色人脸特征点信息和所述用户人脸特征点信息,缩放所述用户人脸图像,得到辅助人脸图像;
根据所述旋转角度,将所述辅助人脸图像与所述原始角色对象融合为目标角色对象。
10.根据权利要求6所述的方法,其特征在于,还包括:
获取所述目标用户的历史用户人脸特征点信息;
当所述历史用户人脸特征点信息和所述用户人脸特征点信息不相同时,执行根据所述用户人脸特征点信息确定所述目标用户的姿态信息的步骤,并将所述用户人脸特征点信息作为新的历史用户人脸特征点信息。
11.根据权利要求6所述的方法,其特征在于,还包括:
若角色对象缓存空间中不存在历史目标角色对象,则执行根据所述用户人脸特征点信息和所述姿态信息,将所述用户人脸图像与原始角色对象融合为目标角色对象的步骤,并将所述目标角色对象作为所述历史目标角色对象缓存至所述角色对象缓存空间;
若角色对象缓存空间中存在所述历史目标角色对象,且所述用户人脸图像和所述历史目标角色对象的历史用户人脸图像之间的差异量小于差异量阈值,则从所述角色对象缓存空间中读取所述历史目标角色对象作为目标角色对象。
12.一种图像处理装置,其特征在于,包括:
第一显示模块,用于显示第一应用页面,所述第一应用页面包括原始角色对象和人脸融合控件;
第一获取模块,用于当所述人脸融合控件被触发时,获取目标用户的用户人脸图像;
第二显示模块,用于在第二应用页面显示目标角色对象,所述目标角色对象是对所述用户人脸图像和所述原始角色对象进行融合得到,所述目标角色对象的显示角度与所述目标用户的姿态信息相匹配,所述目标用户的姿态信息是根据所述用户人脸图像确定的。
13.一种图像处理装置,其特征在于,包括:
第二获取模块,用于获取目标用户的用户人脸图像以及所述用户人脸图像的用户人脸特征点信息;
第一确定模块,用于根据所述用户人脸特征点信息确定所述目标用户的姿态信息;
融合模块,用于根据所述用户人脸特征点信息和所述姿态信息,将所述用户人脸图像与原始角色对象融合为目标角色对象;
第二确定模块,用于确定与所述姿态信息匹配的目标角色对象的显示角度。
14.一种计算机设备,其特征在于,包括存储器和处理器,所述存储器存储有计算机程序,所述计算机程序被所述处理器执行时,使得所述处理器执行权利要求1-11中任一项所述方法的步骤。
15.一种计算机存储介质,其特征在于,所述计算机存储介质存储有计算机程序,所述计算机程序包括程序指令,所述程序指令被处理器执行时,执行权利要求1-11任一项所述的方法。
CN202010745609.7A 2020-07-29 2020-07-29 图像处理方法、装置、计算机设备以及存储介质 Active CN111768479B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202010745609.7A CN111768479B (zh) 2020-07-29 2020-07-29 图像处理方法、装置、计算机设备以及存储介质
PCT/CN2021/102602 WO2022022192A1 (zh) 2020-07-29 2021-06-28 图像处理方法、装置、计算机设备以及存储介质
US17/901,361 US20220414964A1 (en) 2020-07-29 2022-09-01 Image processing method and apparatus, computer device, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010745609.7A CN111768479B (zh) 2020-07-29 2020-07-29 图像处理方法、装置、计算机设备以及存储介质

Publications (2)

Publication Number Publication Date
CN111768479A true CN111768479A (zh) 2020-10-13
CN111768479B CN111768479B (zh) 2021-05-28

Family

ID=72728162

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010745609.7A Active CN111768479B (zh) 2020-07-29 2020-07-29 图像处理方法、装置、计算机设备以及存储介质

Country Status (3)

Country Link
US (1) US20220414964A1 (zh)
CN (1) CN111768479B (zh)
WO (1) WO2022022192A1 (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112488085A (zh) * 2020-12-28 2021-03-12 深圳市慧鲤科技有限公司 人脸融合方法、装置、设备及存储介质
CN112511849A (zh) * 2020-11-17 2021-03-16 北京达佳互联信息技术有限公司 一种游戏显示方法、装置、设备、系统及存储介质
CN112866573A (zh) * 2021-01-13 2021-05-28 京东方科技集团股份有限公司 显示器、融合显示系统及图像处理方法
CN113628239A (zh) * 2021-08-16 2021-11-09 百度在线网络技术(北京)有限公司 显示优化方法、相关装置及计算机程序产品
WO2022022192A1 (zh) * 2020-07-29 2022-02-03 腾讯科技(深圳)有限公司 图像处理方法、装置、计算机设备以及存储介质
CN114125552A (zh) * 2021-11-30 2022-03-01 完美世界(北京)软件科技发展有限公司 视频数据的生成方法及装置、存储介质、电子装置

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117298577A (zh) * 2022-06-23 2023-12-29 腾讯科技(深圳)有限公司 虚拟环境中的信息显示方法、装置、设备及程序产品

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105528805A (zh) * 2015-12-25 2016-04-27 苏州丽多数字科技有限公司 一种虚拟人脸动画合成方法
JP2016100677A (ja) * 2014-11-19 2016-05-30 株式会社国際電気通信基礎技術研究所 臨場感伝達システムおよび臨場感再現装置
CN106445131A (zh) * 2016-09-18 2017-02-22 腾讯科技(深圳)有限公司 虚拟目标操作方法和装置
CN107680167A (zh) * 2017-09-08 2018-02-09 郭睿 一种基于用户形象的三维人体模型创建方法及系统
CN107705341A (zh) * 2016-08-08 2018-02-16 创奇思科研有限公司 用户表情头像生成的方法及其装置
CN107820591A (zh) * 2017-06-12 2018-03-20 美的集团股份有限公司 控制方法、控制器、智能镜子和计算机可读存储介质
CN107831902A (zh) * 2017-11-23 2018-03-23 腾讯科技(上海)有限公司 一种运动控制方法及其设备、存储介质、终端
CN108399383A (zh) * 2018-02-14 2018-08-14 深圳市商汤科技有限公司 表情迁移方法、装置存储介质及程序
CN109215131A (zh) * 2017-06-30 2019-01-15 Tcl集团股份有限公司 虚拟人脸的驱动方法及装置
US20190034746A1 (en) * 2017-07-28 2019-01-31 Alibaba Group Holding Limited System and method for identifying re-photographed images
CN109675315A (zh) * 2018-12-27 2019-04-26 网易(杭州)网络有限公司 游戏角色模型的生成方法、装置、处理器及终端
CN109903360A (zh) * 2017-12-08 2019-06-18 浙江舜宇智能光学技术有限公司 三维人脸动画控制系统及其控制方法
CN110189248A (zh) * 2019-05-16 2019-08-30 腾讯科技(深圳)有限公司 图像融合方法及装置、存储介质、电子设备
CN110264396A (zh) * 2019-06-27 2019-09-20 杨骥 视频人脸替换方法、系统及计算机可读存储介质

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100353384C (zh) * 2004-12-30 2007-12-05 中国科学院自动化研究所 电子游戏中玩家快速置入方法
JP5229801B2 (ja) * 2008-09-25 2013-07-03 株式会社コナミデジタルエンタテインメント ゲーム装置、ゲーム装置の制御方法、及びプログラム
CN105447480A (zh) * 2015-12-30 2016-03-30 吉林纪元时空动漫游戏科技集团股份有限公司 人脸识别游戏交互系统
CN111632374B (zh) * 2020-06-01 2023-04-18 网易(杭州)网络有限公司 游戏中虚拟角色的脸部处理方法、装置及可读存储介质
CN111768479B (zh) * 2020-07-29 2021-05-28 腾讯科技(深圳)有限公司 图像处理方法、装置、计算机设备以及存储介质

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016100677A (ja) * 2014-11-19 2016-05-30 株式会社国際電気通信基礎技術研究所 臨場感伝達システムおよび臨場感再現装置
CN105528805A (zh) * 2015-12-25 2016-04-27 苏州丽多数字科技有限公司 一种虚拟人脸动画合成方法
CN107705341A (zh) * 2016-08-08 2018-02-16 创奇思科研有限公司 用户表情头像生成的方法及其装置
CN106445131A (zh) * 2016-09-18 2017-02-22 腾讯科技(深圳)有限公司 虚拟目标操作方法和装置
CN107820591A (zh) * 2017-06-12 2018-03-20 美的集团股份有限公司 控制方法、控制器、智能镜子和计算机可读存储介质
CN109215131A (zh) * 2017-06-30 2019-01-15 Tcl集团股份有限公司 虚拟人脸的驱动方法及装置
US20190034746A1 (en) * 2017-07-28 2019-01-31 Alibaba Group Holding Limited System and method for identifying re-photographed images
CN107680167A (zh) * 2017-09-08 2018-02-09 郭睿 一种基于用户形象的三维人体模型创建方法及系统
CN107831902A (zh) * 2017-11-23 2018-03-23 腾讯科技(上海)有限公司 一种运动控制方法及其设备、存储介质、终端
CN109903360A (zh) * 2017-12-08 2019-06-18 浙江舜宇智能光学技术有限公司 三维人脸动画控制系统及其控制方法
CN108399383A (zh) * 2018-02-14 2018-08-14 深圳市商汤科技有限公司 表情迁移方法、装置存储介质及程序
CN109675315A (zh) * 2018-12-27 2019-04-26 网易(杭州)网络有限公司 游戏角色模型的生成方法、装置、处理器及终端
CN110189248A (zh) * 2019-05-16 2019-08-30 腾讯科技(深圳)有限公司 图像融合方法及装置、存储介质、电子设备
CN110264396A (zh) * 2019-06-27 2019-09-20 杨骥 视频人脸替换方法、系统及计算机可读存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
郭笑寒 等: "《梦想启程大学生科学研究与创业行动计划研究报告论文集2013》", 31 December 2014 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022022192A1 (zh) * 2020-07-29 2022-02-03 腾讯科技(深圳)有限公司 图像处理方法、装置、计算机设备以及存储介质
CN112511849A (zh) * 2020-11-17 2021-03-16 北京达佳互联信息技术有限公司 一种游戏显示方法、装置、设备、系统及存储介质
CN112488085A (zh) * 2020-12-28 2021-03-12 深圳市慧鲤科技有限公司 人脸融合方法、装置、设备及存储介质
CN112866573A (zh) * 2021-01-13 2021-05-28 京东方科技集团股份有限公司 显示器、融合显示系统及图像处理方法
CN112866573B (zh) * 2021-01-13 2022-11-04 京东方科技集团股份有限公司 显示器、融合显示系统及图像处理方法
CN113628239A (zh) * 2021-08-16 2021-11-09 百度在线网络技术(北京)有限公司 显示优化方法、相关装置及计算机程序产品
CN113628239B (zh) * 2021-08-16 2023-08-25 百度在线网络技术(北京)有限公司 显示优化方法、相关装置及计算机程序产品
CN114125552A (zh) * 2021-11-30 2022-03-01 完美世界(北京)软件科技发展有限公司 视频数据的生成方法及装置、存储介质、电子装置

Also Published As

Publication number Publication date
CN111768479B (zh) 2021-05-28
US20220414964A1 (en) 2022-12-29
WO2022022192A1 (zh) 2022-02-03

Similar Documents

Publication Publication Date Title
CN111768479B (zh) 图像处理方法、装置、计算机设备以及存储介质
US11960651B2 (en) Gesture-based shared AR session creation
TWI708152B (zh) 圖像處理方法、裝置及儲存介質
US11615592B2 (en) Side-by-side character animation from realtime 3D body motion capture
US11450051B2 (en) Personalized avatar real-time motion capture
US11748931B2 (en) Body animation sharing and remixing
US20140253743A1 (en) User-generated content in a virtual reality environment
US11734894B2 (en) Real-time motion transfer for prosthetic limbs
US11782272B2 (en) Virtual reality interaction method, device and system
CN112513875B (zh) 眼部纹理修复
US11657575B2 (en) Generating augmented reality content based on third-party content
CN112148404B (zh) 头像生成方法、装置、设备以及存储介质
US20220076492A1 (en) Augmented reality messenger system
US20220197393A1 (en) Gesture control on an eyewear device
CN115956255A (zh) 使用广角成像设备的3d重建
US11887322B2 (en) Depth estimation using biometric data
CN113965773A (zh) 直播展示方法和装置、存储介质及电子设备
US20220300728A1 (en) True size eyewear experience in real time
US11436804B2 (en) Augmented reality system
CN114004922B (zh) 骨骼动画显示方法、装置、设备、介质及计算机程序产品
US20240073402A1 (en) Multi-perspective augmented reality experience
CN116582660A (zh) 面向增强现实的视频处理方法、装置和计算机设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40030746

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant