CN111694431A - 一种人物形象生成的方法及装置 - Google Patents

一种人物形象生成的方法及装置 Download PDF

Info

Publication number
CN111694431A
CN111694431A CN202010526528.8A CN202010526528A CN111694431A CN 111694431 A CN111694431 A CN 111694431A CN 202010526528 A CN202010526528 A CN 202010526528A CN 111694431 A CN111694431 A CN 111694431A
Authority
CN
China
Prior art keywords
image
user
features
virtual object
target user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010526528.8A
Other languages
English (en)
Inventor
李炳泽
武明飞
王子彬
刘小兵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Shangtang Technology Development Co Ltd
Zhejiang Sensetime Technology Development Co Ltd
Original Assignee
Zhejiang Shangtang Technology Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Shangtang Technology Development Co Ltd filed Critical Zhejiang Shangtang Technology Development Co Ltd
Priority to CN202010526528.8A priority Critical patent/CN111694431A/zh
Publication of CN111694431A publication Critical patent/CN111694431A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/52—Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本公开提供了一种人物形象生成的方法及装置，其中，该方法包括：获取目标用户使用增强现实AR设备拍摄的现实场景图像，以及目标用户的用户图像；基于用户图像，确定目标用户感兴趣的虚拟形象；基于虚拟形象与用户图像，生成融合后的虚拟对象；基于现实场景图像，和融合后的虚拟对象，生成AR场景数据，基于该AR场景数据控制AR设备展示包含现实场景图像和融合后的虚拟对象的AR场景。本公开实施例通过获取目标用户的用户图像以及现实场景图像，确定该现实场景图像对应的虚拟游乐项目以及与该现实场景图像匹配的用户的虚拟对象，基于现实场景图像、虚拟游乐项目以及确定的虚拟对象，生成AR场景数据，并展示该AR场景，从而增加了乐园场景的丰富性。

Description

一种人物形象生成的方法及装置
技术领域
本公开涉及增强现实技术领域，具体而言，涉及一种人物形象生成的方法及装置。
背景技术
增强现实(Augmented Reality，AR)技术，通过将实体信息(视觉信息、声音、触觉等)通过模拟仿真后，叠加到真实世界中，从而将真实的环境和虚拟的物体实时地在同一个画面或空间呈现。近年来，AR设备的应用领域越来越广，使得AR设备在生活、工作、娱乐中起到了重要的作用，对AR设备呈现的增强现实场景的效果的优化，愈发重要。
目前，在游客游玩游乐项目时，若当前游玩的游乐项目为游客最喜欢的漫威系列游乐项目，游客想身着自己最喜欢的漫威系列的人物的衣服在该游乐项目拍摄照片，游客只能提前购买或在该游乐项目处花大价钱租赁自己想要的衣服，才能拍摄自己想要的照片，浪费的资金和时间成本较高。
发明内容
本公开实施例至少提供一种人物形象生成的方法及装置。
第一方面，本公开实施例提供了一种人物形象生成的方法，所述方法包括：
获取目标用户使用增强现实AR设备拍摄的现实场景图像，以及所述目标用户的用户图像；
基于所述用户图像，确定所述目标用户感兴趣的虚拟形象；
基于所述虚拟形象与所述用户图像，生成融合后的虚拟对象；
基于所述现实场景图像，和所述融合后的虚拟对象，生成AR场景数据，基于该AR场景数据控制所述AR设备展示包含所述现实场景图像和所述融合后的虚拟对象的AR场景。
在上述方法中，通过获取目标用户的用户图像，确定目标用户感兴趣的虚拟形象，并将虚拟形象与用户图像融合，生成虚拟对象，根据AR设备拍摄的现实场景图像，确定与该现实场景图像匹配的虚拟对象，并确定与该现实场景图像对应的虚拟游乐项目，基于现实场景图像、虚拟游乐项目以及确定的虚拟对象，生成AR场景数据，并通过AR设备展示该AR场景数据，一方面丰富了展示场景，另一方面可以自动为用户生成感兴趣的、且匹配用户形象的虚拟对象，用户可以选择保存展示的AR场景图像，无需花费资金、时间成本租赁穿戴用品来留影。
在一种可能的实施方式中，所述获取目标用户的用户图像，包括：
在获取到所述目标用户使用AR设备拍摄的所述现实场景图像后，若确定当前需要确定所述目标用户感兴趣的虚拟形象，则控制所述AR设备切换到前置摄像头拍摄获取所述目标用户的用户图像，并在获取所述用户图像后控制所述AR设备切换回后置摄像头，以实时拍摄现实场景图像。
在一种可能的实施方式中，所述获取目标用户的用户图像，包括：
获取目标用户使用所述AR设备进行人脸识别签到时的用户图像。
在一种可能的实施方式中，基于所述用户图像，确定所述目标用户感兴趣的虚拟形象，包括：
从所述用户图像中提取所述目标用户的附属物特征，所述附属物特征包括穿戴特征和/或手持物品特征，
基于所述附属物特征，确定所述目标用户感兴趣虚拟形象。
在一种可能的实施方式中，基于所述虚拟形象与所述用户图像，生成融合后的虚拟对象，包括：
从所述用户图像中提取脸部特征，以及从所述虚拟形象中提取脸部特征外的第一形象特征；基于所述脸部特征与提取的所述第一形象特征，生成融合后的虚拟对象。
这里，提取用户图像的脸部特征，并提取虚拟形象中除脸部特征外的第一形象特征，生成脸部为用户本身而其余部分为虚拟形象的虚拟对象，增加用户游玩过程的趣味性。
在一种可能的实施方式中，基于所述虚拟形象与所述用户图像，生成融合后的虚拟对象，包括：
从所述用户图像中提取脸部特征和身材特征，以及从所述虚拟形象中提取脸部特征和身材特征外的第二形象特征；基于所述脸部特征、身材特征、与提取的所述第二形象特征，生成融合后的虚拟对象。
这里，提取用户图像的脸部特征和身材特征，并提取虚拟形象中除脸部特征和身材特征外的第二形象特征，生成脸部为用户本身且身材与用户本身一致而其余部分为虚拟形象的虚拟对象，增加用户游玩过程的趣味性。
在一种可能的实施方式中，基于所述现实场景图像，和所述融合后的虚拟对象，生成AR场景数据，包括：
基于所述现实场景图像，确定与所述现实场景图像匹配的虚拟游乐项目内容；
基于所述现实场景图像、所述虚拟游乐项目内容以及所述融合后的虚拟对象，生成所述AR场景数据。
第二方面，本公开实施例提供一种人物形象生成的装置，所述装置包括：
获取模块，用于获取目标用户使用增强现实AR设备拍摄的现实场景图像，以及目标用户的用户图像；
虚拟形象确定模块，用于基于所述用户图像，确定所述目标用户感兴趣的虚拟形象；
虚拟对象生成模块，用于基于所述虚拟形象与所述用户图像，生成融合后的虚拟对象；
AR场景数据生成模块，用于基于所述现实场景图像，和所述融合后的虚拟对象，生成AR场景数据，基于该AR场景数据控制所述AR设备展示包含所述现实场景图像和所述融合后的虚拟对象的AR场景。
在一种可能的实施方式中，所述获取模块，具体用于在获取到所述目标用户使用AR设备拍摄的所述现实场景图像后，若确定当前需要确定所述目标用户感兴趣的虚拟形象，则控制所述AR设备切换到前置摄像头拍摄获取所述目标用户的用户图像，并在获取所述用户图像后控制所述AR设备切换回后置摄像头，以实时拍摄现实场景图像。
在一种可能的实施方式中，所述获取模块，还具体用于获取目标用户使用所述AR设备进行人脸识别签到时的用户图像。
在一种可能的实施方式中，所述虚拟形象确定模块，具体用于从所述用户图像中提取所述目标用户的附属物特征，所述附属物特征包括穿戴特征和/或手持物品特征，基于所述附属物特征，确定所述目标用户感兴趣虚拟形象。
在一种可能的实施方式中，所述虚拟对象生成模块，具体用于从所述用户图像中提取脸部特征，以及从所述虚拟形象中提取脸部特征外的第一形象特征；基于所述脸部特征与提取的所述第一形象特征，生成融合后的虚拟对象。
在一种可能的实施方式中，所述虚拟对象生成模块，还具体用于从所述用户图像中提取脸部特征和身材特征，以及从所述虚拟形象中提取脸部特征和身材特征外的第二形象特征；基于所述脸部特征、身材特征、与提取的所述第二形象特征，生成融合后的虚拟对象。
在一种可能的实施方式中，所述AR场景数据生成模块，具体用于基于所述现实场景图像，确定与所述现实场景图像匹配的虚拟游乐项目内容；基于所述现实场景图像、所述虚拟游乐项目内容以及所述融合后的虚拟对象，生成所述AR场景数据。
第三方面，本公开实施例提供了一种电子设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如第一方面所述的人物形象生成的方法的步骤。
第四方面，本公开实施例提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如第一方面所述的人物形象生成的方法的步骤。
为使本公开的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本公开实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，此处的附图被并入说明书中并构成本说明书中的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。应当理解，以下附图仅示出了本公开的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1示出了本公开实施例所提供的一种人物形象生成的方法的流程图；
图2示出了本公开实施例所提供的一种AR场景数据展示界面的示意图；
图3示出了本公开实施例所提供的一种人物形象生成的装置的示意图；
图4示出了本公开实施例所提供的一种电子设备的示意图。
具体实施方式
为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本公开实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围，而是仅仅表示本公开的选定实施例。基于本公开的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。
本文中术语“和/或”，仅仅是描述一种关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合，例如，包括A、B、C中的至少一种，可以表示包括从A、B和C构成的集合中选择的任意一个或多个元素。
经研究发现，目前，在游客游玩游乐项目时，若当前游玩的游乐项目为游客最喜欢的漫威系列游乐项目，游客想身着自己最喜欢的漫威系列的人物的衣服在该游乐项目拍摄照片，游客只能提前购买或在该游乐项目处花大价钱租赁自己想要的衣服，才能拍摄自己想要的照片，在这个过程中，花费的金钱、时间成本较高。
基于此，本公开提供了一种人物形象生成方法及装置，通过获取目标用户的用户图像，确定目标用户感兴趣的虚拟形象，并将虚拟形象与用户图像融合，生成虚拟对象，根据AR设备拍摄的现实场景图像，确定与该现实场景图像匹配的虚拟对象，并确定与该现实场景图像对应的虚拟游乐项目，基于现实场景图像、虚拟游乐项目以及确定的虚拟对象，生成AR场景数据，并通过AR设备展示该AR场景数据，使用户在游玩过程中能够随时以自己喜欢的形象在对应的场景拍照。
针对以上方案所存在的缺陷，均是发明人在经过实践并仔细研究后得出的结果，因此，上述问题的发现过程以及下文中本公开针对上述问题所提出的解决方案，都应该是发明人在本公开过程中对本公开做出的贡献。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
为便于对本实施例进行理解，首先对本公开实施例所公开的一种人物形象生成的方法进行详细介绍，本公开实施例所提供的人物形象生成的方法的执行主体一般为具有一定计算能力的计算机设备，该电子设备例如包括：终端设备或服务器或其它处理设备，终端设备可以为用户设备(User Equipment，UE)、移动设备、用户终端、终端、个人数字处理(Personal Digital Assistant，PDA)等，比如可以是与AR设备连接的服务器，AR设备比如可以包括AR眼镜、平板电脑、智能手机、智能穿戴式设备等具有显示功能和数据处理能力的设备，AR设备可以通过应用程序连接服务器。在一些可能的实现方式中，该人物形象生成的方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。
实施例一
下面以指向主体为服务器或AR设备为例，对本公开所提供的一种人物形象生成的方法进行介绍。参见图1所示，为本公开实施例提供的一种人物形象生成的方法的流程图，所述方法包括S101～S104，具体的：
S101、获取目标用户使用增强现实AR设备拍摄的现实场景图像，以及所述目标用户的用户图像。
其中，增强现实AR设备可以为AR智能眼镜、AR手机，也可以为具有增强现实功能的任意电子设备。
这里，现实场景图像可以为用户所在AR游乐场所出入口的场景照片，也可以为该AR游乐场所中任一游乐项目的场景照片；用户图像指的是目标用户的照片，该用户图像包括用户人脸图像和用户身体图像。
在具体实施中，用户可以在游玩过程中使用自己的AR设备拍摄用户图像，具体描述如下：在获取到所述目标用户使用AR设备拍摄的所述现实场景图像后，若确定当前需要确定所述目标用户感兴趣的虚拟形象，则控制所述AR设备切换到前置摄像头拍摄获取所述目标用户的用户图像，并在获取所述用户图像后控制所述AR设备切换回后置摄像头，以实时拍摄现实场景图像。
在一种可能的实施方式中，用户使用AR设备拍摄现实场景图像，并将上述现实场景图像发送给服务器，服务器获取到用户使用AR设备拍摄的现实场景图像后，向用户的AR设备发送是否需要匹配虚拟形象的询问请求，当用户确定需要匹配虚拟形象后，服务器响应上述需要匹配虚拟形象的答复信息，控制用户的AR设备切换到前置摄像头拍摄目标用户，AR设备将拍摄的用户图像发送给服务器，服务器在接收到上述用户图像后，则控制用户的AR设备切换到后置摄像头继续拍摄当前的现实场景图像。
在另外一种可选的实施方式中，也可以采用以下方式获取用户图像，具体描述如下：获取目标用户使用所述AR设备进行人脸识别签到时的用户图像。
这里，用户在进入该AR游乐场所前，需要在入口处使用用户的终端设备进行扫描下载使用AR设备的小程序，在下载过程中获取用户的用户图像，并对该用户图像进行人脸识别，将用户图像、以及该用户图像对应的用户身份信息以及用户属性信息进行保存，从而对进入该AR游乐场所的用户进行信息登记。其中，用户属性信息可以包括年龄、情绪、性别、身高、是否戴眼镜、体形、衣着、是否戴口罩等。
具体的，用户使用AR设备拍摄现实场景图像，并将上述现实场景图像及保存的该用户的用户图像发送给服务器。
S102、基于所述用户图像，确定所述目标用户感兴趣的虚拟形象。
其中，虚拟形象可以为魔法师、白雪公主、绿巨人、雷神、哈利波特等。
在具体实施中，可以通过以下方法确定用户感兴趣的虚拟形象，具体方法如下描述：从所述用户图像中提取所述目标用户的附属物特征，所述附属物特征包括穿戴特征和/或手持物品特征，基于所述附属物特征，确定所述目标用户感兴趣虚拟形象。
其中，穿戴特征表示用户穿着以及所戴饰品或配饰，可以包括戴眼镜、戴帽子、穿风衣、穿长裙，穿动漫人物服装等；手持物品特征可以包括手持包、手持魔法棒、手持蜘蛛侠卡片等。
具体的，对目标用户的用户图像进行特征提取分析，提取目标用户的附属物特征，根据用户图像的附属物特征，确定用户感兴趣的虚拟形象。
示例性地，对获取到的目标用户的用户图像进行特征提取，提取到的该用户的附属物特征为戴帽子、穿长裙、手持包，则确定用户感兴趣的虚拟形象为小红帽、白雪公主、爱丽丝。
示例性地，对获取到的目标用户的用户图像进行特征提取，提取到的该用户的附属物特征为背葫芦包、穿我爱罗服装，则确定用户感兴趣的虚拟形象为我爱罗。
在一种可选的实施方式中，可以采用以下方式确定目标用户感兴趣的虚拟形象，具体描述如下：对目标用户的用户图像进行特征提取分析，提取用户图像的人脸属性特征，并提取该用户图像的附属物特征，根据人脸属性特征和附属物特征，确定目标用户感兴趣的虚拟形象。其中，人脸属性特征可以包括年龄、情绪、体形、性别等。
示例性地，对获取到的目标用户的用户图像进行特征提取，提取到的该用户的人脸属性特征为年龄10岁、性别：男、情绪：开心、体形：偏瘦；提取到的该用户的附属物特征为戴眼镜、穿风衣、手持魔法棒，则确定用户感兴趣的虚拟形象为哈利波特、魔法师。
S103、基于所述虚拟形象与所述用户图像，生成融合后的虚拟对象。
其中，虚拟对象为将用户本身与虚拟形象进行1:1实时叠加的AR场景图像。这里，虚拟对象与用户的动作姿态实时对应，也就是说，用户做出任一动作，该用户的虚拟对象也会做出同样的动作。
在具体实施中，可以通过以下方法生成融合后的虚拟对象，具体描述如下所述：从所述用户图像中提取脸部特征，以及从所述虚拟形象中提取脸部特征外的第一形象特征；基于所述脸部特征与提取的所述第一形象特征，生成融合后的虚拟对象。
其中，第一形象特征为虚拟对象中除脸部特征以外的其余全部特征，可以包括身材、衣着、配饰等。
具体的，提取用户的脸部特征，并提取虚拟对象除脸部特征以外的全部特征，将用户的脸部特征和虚拟对象除脸部特征以外的全部特征进行融合，得到该用户对应的虚拟对象。
在一种可选的实施方式中，也可以通过以下方法生成融合后的虚拟对象，具体描述如下所述：从所述用户图像中提取脸部特征和身材特征，以及从所述虚拟形象中提取脸部特征和身材特征外的第二形象特征；基于所述脸部特征、身材特征、与提取的所述第二形象特征，生成融合后的虚拟对象。
其中，第二形象特征为虚拟对象中除脸部特征和身材特征以外的其余全部特征，可以包括衣着、配饰等。
具体的，提取用户的脸部特征和身材特征，并提取虚拟对象除脸部特征和身材特征以外的全部特征，将用户的脸部特征和虚拟对象除脸部特征和身材特征以外的全部特征进行融合，得到该用户对应的虚拟对象。
S104、基于所述现实场景图像，和所述融合后的虚拟对象，生成AR场景数据，基于该AR场景数据控制所述AR设备展示包含所述现实场景图像和所述融合后的虚拟对象的AR场景。
其中，AR场景数据可以包含该现实场景图像、与该现实场景图像匹配的虚拟游乐项目内容、虚拟对象。
在具体实施中，一般可以采用下述方法生成AR场景数据，具体描述如下：基于所述现实场景图像，确定与所述现实场景图像匹配的虚拟游乐项目内容；基于所述现实场景图像、所述虚拟游乐项目内容以及所述融合后的虚拟对象，生成所述AR场景数据。
具体的，根据AR设备拍摄的现实场景图像，可以通过提取上述现实场景图像的项目类型、建筑物特点等方法，确定与该现实场景图像匹配的虚拟游乐项目，并将上述现实场景图像确定符合该现实场景图像的虚拟对象，将上述现实场景图像、虚拟游乐项目内容以及上述符合该现实场景图像的虚拟对象融合，生成AR场景数据。
示例性地，服务器对获取到的目标用户的用户图像进行特征提取，提取到的该用户的人脸属性特征为年龄10岁、性别：男、情绪：开心、体形：偏瘦；提取到的该用户的附属物特征为戴眼镜、穿风衣、手持魔法棒，则确定用户感兴趣的虚拟形象为哈利波特、魔法师；当AR设备拍摄的现实场景图像为城堡时，则根据对城堡的建筑物特点进行分析，确定与该现实场景图像匹配的虚拟游乐项目为城堡寻宝AR游乐项目，并根据该现实场景图像确定用户的虚拟形象为魔法师，将城堡、城堡寻宝AR游乐项目以及用户的魔法师虚拟形象进行融合，生成AR场景数据，并控制AR设备展示上述AR场景，具体展示界面如图2所示。
本公开实施例中，通过获取目标用户的用户图像，确定目标用户感兴趣的虚拟形象，并将虚拟形象与用户图像融合，生成虚拟对象，根据AR设备拍摄的现实场景图像，确定与该现实场景图像匹配的虚拟对象，并确定与该现实场景图像对应的虚拟游乐项目，基于现实场景图像、虚拟游乐项目以及确定的虚拟对象，生成AR场景数据，并通过AR设备展示该AR场景数据，一方面丰富了展示场景，另一方面可以自动为用户生成感兴趣的、且匹配用户形象的虚拟对象，用户可以选择保存展示的AR场景图像，无需花费资金、时间成本租赁穿戴用品来留影。
本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
基于同一发明构思，本公开实施例中还提供了与人物形象生成的方法对应的人物形象生成的装置，由于本公开实施例中的装置解决问题的原理与本公开实施例上述人物形象生成的方法相似，因此装置的实施可以参见方法的实施，重复之处不再赘述。
实施例二
参照图3所示，为本公开实施例提供的一种人物形象生成的装置的示意图，所述装置包括：获取模块301、虚拟形象确定模块302、虚拟对象生成模块303和AR场景数据生成模块304；其中，获取模块301，用于获取目标用户使用增强现实AR设备拍摄的现实场景图像，以及目标用户的用户图像。
虚拟形象确定模块302，用于基于所述用户图像，确定所述目标用户感兴趣的虚拟形象。
虚拟对象生成模块303，用于基于所述虚拟形象与所述用户图像，生成融合后的虚拟对象。
AR场景数据生成模块304，用于基于所述现实场景图像，和所述融合后的虚拟对象，生成AR场景数据，基于该AR场景数据控制所述AR设备展示包含所述现实场景图像和所述融合后的虚拟对象的AR场景。
一种可能的实施方式中，所述获取模块301，具体用于在获取到所述目标用户使用AR设备拍摄的所述现实场景图像后，若确定当前需要确定所述目标用户感兴趣的虚拟形象，则控制所述AR设备切换到前置摄像头拍摄获取所述目标用户的用户图像，并在获取所述用户图像后控制所述AR设备切换回后置摄像头，以实时拍摄现实场景图像。
一种可能的实施方式中，所述获取模块301，还具体用于获取目标用户使用所述AR设备进行人脸识别签到时的用户图像。
一种可能的实施方式中，所述虚拟形象确定模块302，具体用于从所述用户图像中提取所述目标用户的附属物特征，所述附属物特征包括穿戴特征和/或手持物品特征，基于所述附属物特征，确定所述目标用户感兴趣虚拟形象。
一种可能的实施方式中，所述虚拟对象生成模块303，具体用于从所述用户图像中提取脸部特征，以及从所述虚拟形象中提取脸部特征外的第一形象特征；基于所述脸部特征与提取的所述第一形象特征，生成融合后的虚拟对象。
一种可能的实施方式中，所述虚拟对象生成模块303，还具体用于从所述用户图像中提取脸部特征和身材特征，以及从所述虚拟形象中提取脸部特征和身材特征外的第二形象特征；基于所述脸部特征、身材特征、与提取的所述第二形象特征，生成融合后的虚拟对象。
一种可能的实施方式中，所述AR场景数据生成模块304，具体用于基于所述现实场景图像，确定与所述现实场景图像匹配的虚拟游乐项目内容；基于所述现实场景图像、所述虚拟游乐项目内容以及所述融合后的虚拟对象，生成所述AR场景数据。
关于装置中的各模块的处理流程、以及各模块之间的交互流程的描述可以参照上述方法实施例中的相关说明，这里不再详述。
对应于图1中的人物形象生成的方法，本公开实施例还提供了一种电子设备400，如图4所示，为本公开实施例提供的电子设备400结构示意图，包括：包括处理器401、存储器402、和总线403。其中，存储器402用于存储执行指令，包括内存4021和外部存储器4022；这里的内存4021也称内存储器，用于暂时存放处理器401中的运算数据，以及与硬盘等外部存储器4022交换的数据，处理器401通过内存4021与外部存储器4022进行数据交换，当电子设备400运行时，处理器401与存储器402之间通过总线403通信，使得处理器401执行以下指令：
获取目标用户使用增强现实AR设备拍摄的现实场景图像，以及所述目标用户的用户图像；基于所述用户图像，确定所述目标用户感兴趣的虚拟形象；基于所述虚拟形象与所述用户图像，生成融合后的虚拟对象；基于所述现实场景图像，和所述融合后的虚拟对象，生成AR场景数据，基于该AR场景数据控制所述AR设备展示包含所述现实场景图像和所述融合后的虚拟对象的AR场景。
其中，处理器401的具体处理流程可以参照上述方法实施例的记载，这里不再赘述。
本公开实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述方法实施例中所述的人物形象生成的方法的步骤。其中，该存储介质可以是易失性或非易失的计算机可读取存储介质。
本公开实施例所提供的人物形象生成的方法的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行上述方法实施例中所述的人物形象生成的方法的步骤，具体可参见上述方法实施例，在此不再赘述。
本公开实施例还提供一种计算机程序，该计算机程序被处理器执行时实现前述实施例的任意一种方法。该计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选实施例中，所述计算机程序产品具体体现为计算机存储介质，在另一个可选实施例中，计算机程序产品具体体现为软件产品，例如软件开发包(Software DevelopmentKit，SDK)等等。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。在本公开所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本公开各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上所述实施例，仅为本公开的具体实施方式，用以说明本公开的技术方案，而非对其限制，本公开的保护范围并不局限于此，尽管参照前述实施例对本公开进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本公开实施例技术方案的精神和范围，都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应所述以权利要求的保护范围为准。

Claims (10)

1.一种人物形象生成的方法，其特征在于，所述方法包括：
获取目标用户使用增强现实AR设备拍摄的现实场景图像，以及所述目标用户的用户图像；
基于所述用户图像，确定所述目标用户感兴趣的虚拟形象；
基于所述虚拟形象与所述用户图像，生成融合后的虚拟对象；
基于所述现实场景图像，和所述融合后的虚拟对象，生成AR场景数据，基于该AR场景数据控制所述AR设备展示包含所述现实场景图像和所述融合后的虚拟对象的AR场景。
2.根据权利要求1所述的方法，其特征在于，所述获取目标用户的用户图像，包括：
在获取到所述目标用户使用AR设备拍摄的所述现实场景图像后，若确定当前需要确定所述目标用户感兴趣的虚拟形象，则控制所述AR设备切换到前置摄像头拍摄获取所述目标用户的用户图像，并在获取所述用户图像后控制所述AR设备切换回后置摄像头，以实时拍摄现实场景图像。
3.根据权利要求1所述的方法，其特征在于，所述获取目标用户的用户图像，包括：
获取目标用户使用所述AR设备进行人脸识别签到时的用户图像。
4.根据权利要求1所述的方法，其特征在于，基于所述用户图像，确定所述目标用户感兴趣的虚拟形象，包括：
从所述用户图像中提取所述目标用户的附属物特征，所述附属物特征包括穿戴特征和/或手持物品特征，
基于所述附属物特征，确定所述目标用户感兴趣虚拟形象。
5.根据权利要求1所述的方法，其特征在于，基于所述虚拟形象与所述用户图像，生成融合后的虚拟对象，包括：
从所述用户图像中提取脸部特征，以及从所述虚拟形象中提取脸部特征外的第一形象特征；基于所述脸部特征与提取的所述第一形象特征，生成融合后的虚拟对象。
6.根据权利要求1所述的方法，其特征在于，基于所述虚拟形象与所述用户图像，生成融合后的虚拟对象，包括：
从所述用户图像中提取脸部特征和身材特征，以及从所述虚拟形象中提取脸部特征和身材特征外的第二形象特征；基于所述脸部特征、身材特征、与提取的所述第二形象特征，生成融合后的虚拟对象。
7.根据权利要求1所述的方法，其特征在于，基于所述现实场景图像，和所述融合后的虚拟对象，生成AR场景数据，包括：
基于所述现实场景图像，确定与所述现实场景图像匹配的虚拟游乐项目内容；
基于所述现实场景图像、所述虚拟游乐项目内容以及所述融合后的虚拟对象，生成所述AR场景数据。
8.一种人物形象生成的装置，其特征在于，所述装置包括：
获取模块，用于获取目标用户使用增强现实AR设备拍摄的现实场景图像，以及目标用户的用户图像；
虚拟形象确定模块，用于基于所述用户图像，确定所述目标用户感兴趣的虚拟形象；
虚拟对象生成模块，用于基于所述虚拟形象与所述用户图像，生成融合后的虚拟对象；
AR场景数据生成模块，用于基于所述现实场景图像，和所述融合后的虚拟对象，生成AR场景数据，基于该AR场景数据控制所述AR设备展示包含所述现实场景图像和所述融合后的虚拟对象的AR场景。
9.一种电子设备，其特征在于，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如权利要求1至7任一所述的人物形象生成的方法的步骤。
10.一种计算机可读存储介质，其特征在于，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如权利要求1至7任一项所述的人物形象生成的方法的步骤。
CN202010526528.8A 2020-06-09 2020-06-09 一种人物形象生成的方法及装置 Pending CN111694431A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010526528.8A CN111694431A (zh) 2020-06-09 2020-06-09 一种人物形象生成的方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010526528.8A CN111694431A (zh) 2020-06-09 2020-06-09 一种人物形象生成的方法及装置

Publications (1)

Publication Number Publication Date
CN111694431A true CN111694431A (zh) 2020-09-22

Family

ID=72480271

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010526528.8A Pending CN111694431A (zh) 2020-06-09 2020-06-09 一种人物形象生成的方法及装置

Country Status (1)

Country Link
CN (1) CN111694431A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112817454A (zh) * 2021-02-02 2021-05-18 深圳市慧鲤科技有限公司 一种信息展示方法、装置、相关设备及存储介质
CN112884908A (zh) * 2021-02-09 2021-06-01 脸萌有限公司 基于增强现实的显示方法、设备、存储介质及程序产品
US20220254116A1 (en) 2021-02-09 2022-08-11 Beijing Zitiao Network Technology Co., Ltd. Display method based on augmented reality, device, storage medium and program product
CN116485504A (zh) * 2023-06-19 2023-07-25 深圳索信达数据技术有限公司 支付卡定制方法、计算机设备和计算机可读存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106383587A (zh) * 2016-10-26 2017-02-08 腾讯科技（深圳）有限公司 一种增强现实场景生成方法、装置及设备
CN108614638A (zh) * 2018-04-23 2018-10-02 太平洋未来科技（深圳）有限公司 Ar成像方法和装置
CN111243101A (zh) * 2019-12-31 2020-06-05 浙江省邮电工程建设有限公司 基于人工智能增加用户ar环境沉浸度方法、系统及装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106383587A (zh) * 2016-10-26 2017-02-08 腾讯科技（深圳）有限公司 一种增强现实场景生成方法、装置及设备
CN108614638A (zh) * 2018-04-23 2018-10-02 太平洋未来科技（深圳）有限公司 Ar成像方法和装置
CN111243101A (zh) * 2019-12-31 2020-06-05 浙江省邮电工程建设有限公司 基于人工智能增加用户ar环境沉浸度方法、系统及装置

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112817454A (zh) * 2021-02-02 2021-05-18 深圳市慧鲤科技有限公司 一种信息展示方法、装置、相关设备及存储介质
CN112884908A (zh) * 2021-02-09 2021-06-01 脸萌有限公司 基于增强现实的显示方法、设备、存储介质及程序产品
US20220254116A1 (en) 2021-02-09 2022-08-11 Beijing Zitiao Network Technology Co., Ltd. Display method based on augmented reality, device, storage medium and program product
WO2022170958A1 (zh) * 2021-02-09 2022-08-18 北京字跳网络技术有限公司 基于增强现实的显示方法、设备、存储介质及程序产品
US11763533B2 (en) 2021-02-09 2023-09-19 Beijing Zitiao Network Technology Co., Ltd. Display method based on augmented reality, device, storage medium and program product
CN116485504A (zh) * 2023-06-19 2023-07-25 深圳索信达数据技术有限公司 支付卡定制方法、计算机设备和计算机可读存储介质

Similar Documents

Publication Publication Date Title
CN111694431A (zh) 一种人物形象生成的方法及装置
TWI708152B (zh) 圖像處理方法、裝置及儲存介質
CN111640202B (zh) 一种ar场景特效生成的方法及装置
CN112348969A (zh) 增强现实场景下的展示方法、装置、电子设备及存储介质
CN109603151A (zh) 虚拟角色的皮肤显示方法、装置及设备
CN111640200B (zh) 一种ar场景特效生成的方法及装置
CN111694430A (zh) 一种ar场景画面呈现方法、装置、电子设备和存储介质
CN110021061A (zh) 搭配模型构建方法、服饰推荐方法、装置、介质及终端
Ahuja et al. Mecap: Whole-body digitization for low-cost vr/ar headsets
CN111652987B (zh) 一种ar合影图像生成的方法及装置
US20120218298A1 (en) Information processing system, information processing method, information processing device and tangible recording medium recording information processing program
CN112148189A (zh) 一种ar场景下的交互方法、装置、电子设备及存储介质
CN111638793A (zh) 飞行器的展示方法、装置、电子设备及存储介质
CN106161939A (zh) 一种照片拍摄方法及终端
CN111627117B (zh) 画像展示特效的调整方法、装置、电子设备及存储介质
CN111643900A (zh) 一种展示画面控制方法、装置、电子设备和存储介质
CN111639979A (zh) 一种游乐项目推荐方法及装置
CN111651047A (zh) 一种虚拟物体展示方法、装置、电子设备及存储介质
CN112308977B (zh) 视频处理方法、视频处理装置和存储介质
CN111651057A (zh) 一种数据展示方法、装置、电子设备及存储介质
CN112870705A (zh) 对局结算界面的显示方法、装置、设备及介质
CN111625100A (zh) 图画内容的呈现方法、装置、计算机设备及存储介质
CN111282278A (zh) 一种游戏角色的换装方法、装置、电子设备及存储介质
CN112905014A (zh) Ar场景下的交互方法、装置、电子设备及存储介质
CN111639613A (zh) 一种增强现实ar特效生成方法、装置及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination