CN111640200B - 一种ar场景特效生成的方法及装置 - Google Patents
一种ar场景特效生成的方法及装置 Download PDFInfo
- Publication number
- CN111640200B CN111640200B CN202010525606.2A CN202010525606A CN111640200B CN 111640200 B CN111640200 B CN 111640200B CN 202010525606 A CN202010525606 A CN 202010525606A CN 111640200 B CN111640200 B CN 111640200B
- Authority
- CN
- China
- Prior art keywords
- target
- image
- tourist
- scene image
- user
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 60
- 230000000694 effects Effects 0.000 title claims abstract description 35
- 230000003190 augmentative effect Effects 0.000 claims abstract description 14
- 230000009471 action Effects 0.000 claims description 86
- 238000001514 detection method Methods 0.000 claims description 12
- 238000003860 storage Methods 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 8
- 230000008569 process Effects 0.000 description 10
- 240000003173 Drymaria cordata Species 0.000 description 7
- 238000010586 diagram Methods 0.000 description 5
- 238000000605 extraction Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 239000011521 glass Substances 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 241000239290 Araneae Species 0.000 description 2
- 241000207840 Jasminum Species 0.000 description 2
- 235000010254 Jasminum officinale Nutrition 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 241000253999 Phasmatodea Species 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/14—Travel agencies
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- Physics & Mathematics (AREA)
- Tourism & Hospitality (AREA)
- Human Computer Interaction (AREA)
- General Health & Medical Sciences (AREA)
- Computer Hardware Design (AREA)
- Computer Graphics (AREA)
- Health & Medical Sciences (AREA)
- Economics (AREA)
- Software Systems (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Processing Or Creating Images (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本公开提供了一种AR场景特效生成的方法及装置，其中，该方法包括：获取当前游客基于增强现实AR设备拍摄的目标游乐场所的现实场景图像；识别现实场景图像中存在的其他目标游客的用户图像；根据用户图像中的附属物特征，确定与附属物特征匹配的虚拟形象；采用虚拟形象替换所述现实场景图像中的用户图像，生成AR场景图像，控制AR设备展示AR场景图像。本公开实施例根据提取到的用户图像中的附属物特征，确定与目标游客的虚拟形象，将上述虚拟形象替换上述现实场景图像中的用户图像，生成AR场景图像，并控制AR设备展示包含虚拟形象和现实场景图像的AR场景，当前游客可以通过自己的AR设备看到已经被虚拟形象替换的其他游客，丰富了展示场景。
Description
技术领域
本公开涉及增强现实技术领域，具体而言，涉及一种AR场景特效生成的方法及装置。
背景技术
增强现实(Augmented Reality，AR)技术是通过将实体信息(视觉信息、声音、触觉等)通过模拟仿真后，叠加到真实世界中，从而将真实的环境和虚拟的物体实时地在同一个画面或空间呈现。近年来，AR设备的应用领域越来越广，使得AR设备在生活、工作、娱乐中起到了重要的作用，对AR设备呈现的增强现实场景的效果的优化，愈发重要。
目前，游客在游乐场所游玩过程中，当游客想拍摄该游乐场所中的多个卡通人物时，只能拍摄卡通人物的模型，造成拍摄的图片不够生动，拍摄效果较差，并且在拍摄过程中游客无法与卡通人物互动，可能无法拍摄出自己想要的照片。
发明内容
本公开实施例至少提供一种AR场景特效生成的方法及装置。
第一方面，本公开实施例提供了一种AR场景特效生成的方法，所述方法包括：
获取当前游客基于增强现实AR设备拍摄的目标游乐场所的现实场景图像；
识别所述现实场景图像中存在的其他目标游客的用户图像；
根据所述用户图像中的附属物特征，确定与所述附属物特征匹配的虚拟形象；
采用所述虚拟形象替换所述现实场景图像中的所述用户图像，生成AR场景图像，控制所述AR设备展示所述AR场景图像。
在上述方法中，通过识别获取到的现实场景图像中的其他目标游客的用户图像，确定其他目标游客的用户图像中的每个目标游客的附属物特征，根据每个目标游客的附属物特征为目标游客匹配相对应的虚拟形象，将上述虚拟形象替换上述现实场景图像中的用户图像，生成AR场景图像，并控制AR设备展示包含虚拟形象和现实场景图像的AR场景，当前游客可以通过自己的AR设备看到已经被虚拟形象替换的其他游客，丰富了展示场景，并且当前游客可以使用自己的AR设备拍摄带有动态虚拟形象的场景照片，增加游玩的趣味性，同时提高了拍摄效果。
在一种可能的实施方式中，根据所述用户图像中的附属物特征，确定与所述附属物特征匹配的虚拟形象，包括：
从所述用户图像中提取所述其他游客的附属物特征，所述附属物特征包括穿戴特征和/或手持物品特征；
基于所述附属物特征，确定与所述附属物特征匹配的虚拟形象。
这里，通过提取其他游客的穿戴特征(比如：头戴米老鼠头箍、花环)和手持物品特征(比如：手账、蜘蛛侠卡片)，从而能够根据附属物特征为其他游客匹配适合自己的虚拟形象。
在一种可能的实施方式中，识别所述现实场景图像中存在的其他目标游客的用户图像之前，所述方法还包括：
检测到当前游客发起第一目标手势动作。
在一种可能的实施方式中，检测到当前游客发起第一目标手势动作，包括：
根据连续获取的多张现实场景图像，识别多张现实场景图像指示的所述当前游客的手势动作的类型；
在识别出所述手势动作的类型为目标类型的情况下，确定当前游客发起第一目标手势动作。
这里，当检测到当前游客的手势动作为第一目标手势动作时，则采用虚拟形象替换现实场景图像中的其他游客，从而实现对其他游客的变身，丰富了展示场景同时增加游玩的趣味性。
在一种可能的实施方式中，采用所述虚拟形象替换所述现实场景图像中的所述用户图像，生成AR场景图像之后，还包括：
检测到当前游客发起的第二目标手势动作后，更新当前的AR场景图像中所述其他目标游客对应的虚拟形象。
这里，在其他游客被虚拟形象替换之后，当检测当前游客的手势动作为第二目标手势动作时，可以改变其他游客的虚拟形象(比如：将其他游客从白雪公主变为茉莉公主)，从而实现对其他游客的变身，丰富了展示场景，并且当前游客能够通过AR设备与虚拟形象互动，增加了游玩的趣味性。
在一种可能的实施方式中，采用所述虚拟形象替换所述现实场景图像中的所述用户图像，生成AR场景图像之后，还包括：
检测到当前游客发起的第三目标手势动作后，将当前的AR场景图像中的虚拟形象还原为所述其他目标游客的用户图像。
这里，在其他游客被虚拟形象替换之后，当检测当前游客的手势动作为第三目标手势动作时，可以取消其他游客的虚拟形象，从而实现对其他游客的变身，丰富了展示场景，增加了游玩的趣味性。
在一种可能的实施方式中，若识别出所述现实场景图像中存在其他多个目标游客的用户图像，采用所述虚拟形象替换所述现实场景图像中的所述用户图像，生成AR场景图像，包括：
针对其他每个目标游客，分别采用与该目标游客对应的虚拟形象替换所述现实场景图像中的该目标游客的用户图像，生成包含多个虚拟形象的AR场景图像。
这里，若当前游客拍摄的现实场景图像中包括多个其他游客时，则会根据每个游客的附属物特征为游客匹配相对应的虚拟形象，并将多个虚拟形象和现实场景图像以AR场景图像的形式呈现给当前游客，丰富了展示场景。
第二方面，本公开实施例提供一种AR场景特效生成的装置，所述装置包括：
获取模块，用于获取当前游客基于增强现实AR设备拍摄的目标游乐场所的现实场景图像；
用户图像识别模块，用于识别所述现实场景图像中存在的其他目标游客的用户图像；
虚拟形象确定模块，用于根据所述用户图像中的附属物特征，确定与所述附属物特征匹配的虚拟形象；
AR场景图像生成模块，用于采用所述虚拟形象替换所述现实场景图像中的所述用户图像，生成AR场景图像，控制所述AR设备展示所述AR场景图像。
在一种可能的实施方式中，所述虚拟形象确定模块，具体用于从所述用户图像中提取所述其他游客的附属物特征，所述附属物特征包括穿戴特征和/或手持物品特征；基于所述附属物特征，确定与所述附属物特征匹配的虚拟形象。
在一种可能的实施方式中，所述装置还包括：目标动作检测模块，用于检测到当前游客发起第一目标手势动作。
在一种可能的实施方式中，所述目标动作检测模块，具体用于根据连续获取的多张现实场景图像，识别多张现实场景图像指示的所述当前游客的手势动作的类型；在识别出所述手势动作的类型为目标类型的情况下，确定当前游客发起第一目标手势动作。
在一种可能的实施方式中，所述目标动作检测模块，还用于检测到当前游客发起的第二目标手势动作后，更新当前的AR场景图像中所述其他目标游客对应的虚拟形象。
在一种可能的实施方式中，所述目标动作检测模块，还用于检测到当前游客发起的第三目标手势动作后，将当前的AR场景图像中的虚拟形象还原为所述其他目标游客的用户图像。
在一种可能的实施方式中，所述AR场景图像生成模块，还用于若识别出所述现实场景图像中存在其他多个目标游客的用户图像，针对其他每个目标游客，分别采用与该目标游客对应的虚拟形象替换所述现实场景图像中的该目标游客的用户图像，生成包含多个虚拟形象的AR场景图像。
第三方面，本公开实施例提供了一种电子设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如第一方面所述的AR场景特效生成的方法的步骤。
第四方面，本公开实施例提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如第一方面所述的AR场景特效生成的方法的步骤。
为使本公开的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本公开实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，此处的附图被并入说明书中并构成本说明书中的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。应当理解，以下附图仅示出了本公开的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1示出了本公开实施例所提供的一种AR场景特效生成的方法的流程图；
图2示出了本公开实施例所提供的一种AR场景图像展示界面的示意图；
图3示出了本公开实施例所提供的一种AR场景特效生成的装置的示意图；
图4示出了本公开实施例所提供的一种电子设备的示意图。
具体实施方式
为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本公开实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围，而是仅仅表示本公开的选定实施例。基于本公开的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。
本文中术语“和/或”，仅仅是描述一种关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合，例如，包括A、B、C中的至少一种，可以表示包括从A、B和C构成的集合中选择的任意一个或多个元素。
经研究发现，游客在游乐场所游玩过程中，当游客想拍摄该游乐场所中的多个卡通人物时，只能拍摄卡通人物的模型，造成拍摄的图片不够生动，拍摄效果较差，并且在拍摄过程中游客无法与卡通人物互动，可能无法拍摄出自己想要的照片。
基于此，本公开提供了一种AR场景特效生成的方法及装置，通过识别获取到的现实场景图像中的其他目标游客的用户图像，确定其他目标游客的用户图像中的每个目标游客的附属物特征，根据每个目标游客的附属物特征为目标游客匹配相对应的虚拟形象，将上述虚拟形象替换上述现实场景图像中的用户图像，生成AR场景图像，并控制AR设备展示包含虚拟形象和现实场景图像的AR场景，当前游客可以通过自己的AR设备看到已经被虚拟形象替换的其他游客，丰富了展示场景，并且当前游客可以使用自己的AR设备拍摄带有动态虚拟形象的场景照片，增加游玩的趣味性，同时提高了拍摄效果。
针对以上方案所存在的缺陷，均是发明人在经过实践并仔细研究后得出的结果，因此，上述问题的发现过程以及下文中本公开针对上述问题所提出的解决方案，都应该是发明人在本公开过程中对本公开做出的贡献。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
为便于对本实施例进行理解，首先对本公开实施例所公开的一种AR场景特效生成的方法进行详细介绍，本公开实施例所提供的AR场景特效生成的方法的执行主体可以为具有一定计算能力的计算机设备，具体可以为终端设备或服务器或其他处理设备，比如可以是与AR设备连接的服务器，AR设备比如可以包括：AR眼镜、平板电脑、智能手机、智能穿戴式设备等具有显示功能和数据处理能力的设备，AR设备可以通过应用程序连接服务器。在一些可能的实现方式中，该AR场景特效生成的方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。
实施例一
下面以指向主体为服务器或AR设备为例，对本公开所提供的一种AR场景特效生成的方法进行介绍。参见图1所示，为本公开实施例提供的一种AR场景特效生成的方法的流程图，所述方法包括S101～S104，具体的：
S101、获取当前游客基于增强现实AR设备拍摄的目标游乐场所的现实场景图像。
其中，增强现实AR设备可以为AR智能眼镜、AR手机，也可以为具有增强现实功能的任意电子设备；目标游乐场所为用户当前游玩的游乐场所。
这里，现实场景图像可以为用户在游乐场所出入口的拍摄的场景照片，也可以为用户在游玩过程中拍摄的该游乐场所中任一游乐项目的场景照片；现实场景图像中可以包括一个或多个其他游客。
在具体实施中，游客在进入游乐场所前，可以在入口处领取AR设备(比如：AR智能眼镜)，用户在游玩过程中可以使用AR设备拍摄所在游乐场所的现实场景图像，通过分析为该现实场景图像中的其他游客匹配虚拟形象，并将虚拟形象和现实场景图像进行融合，生成对应的AR场景图像。这里AR设备可以自己完成为现实场景图像中的为其他游客匹配虚拟形象和虚拟形象与现实场景图像融合的过程，也可以将拍摄的现实场景图像发送给服务器，通过服务器为现实场景图像中的其他游客匹配虚拟形象，并将虚拟形象与现实场景图像融合。
另外，游客在进入游乐场所前，也可以在入口处使用用户的终端设备进行扫描下载使用AR设备的小程序，用户在游玩过程中可以使用自己的终端设备拍摄所在游乐场所的现实场景图像，通过安装的小程序，将拍摄的现实场景图像发送到服务器，通过服务器为该现实场景图像中的其他游客匹配虚拟形象。
在具体实施中，当获取当前游客拍摄的目标游乐场所的现实场景图像之后，需要检测当前游客是否发起的第一目标手势动作。其中，第一目标手势动作用来触发该现实场景图像中其他游客变身为虚拟形象，可以为左右挥动手势、上下挥动手势、打响指手势等。
在具体实施中，可以通过以下方式检测当前游客是否发起的第一目标手势动作，具体描述如下：根据连续获取的多张现实场景图像，识别多张现实场景图像指示的所述当前游客的手势动作的类型；在识别出所述手势动作的类型为目标类型的情况下，确定当前游客发起第一目标手势动作。
其中，手势动作的类型可以包括触发变身类动作、抓取类动作、丢弃类动作等；其中，触发变身类动作为目标类型，用来触发该现实场景图像中其他游客变身为虚拟形象。
这里，数据库中预先存储有每个手势动作特征对应的手势动作的类型。
具体的，识别连续获取的多张现实场景图像，当识别到多张现实场景图像中均包含当前游客的手部图像时，则对多张现实场景图像中手部图像进行动作特征提取，确定当前游客的手势动作的类型；当识别出手势动作的类型为触发变身类时，则确定当前游客发起第一目标手势动作。
在具体实施中，当确定当前游客发起第一目标手势动作后，则执行下述识别用户图像的步骤，具体描述如下。
S102、识别所述现实场景图像中存在的其他目标游客的用户图像。
这里，现实场景图像中可能存在一个或多个其他目标游客。
其中，用户图像包括用户人脸图像和用户身体图像。
在具体实施中，当用户使用AR设备拍摄目标游乐场所的现实场景图像之后，可以通过对现实场景图像进行人脸图像检测，确定现实场景图像中是否存在其他游客；当检测到现实场景图像中存在人脸图像时，则提取每个人脸图像对应的用户图像。
S103、根据所述用户图像中的附属物特征，确定与所述附属物特征匹配的虚拟形象。
这里，附属物特征可以包括穿戴特征和手持物品特征；其中，穿戴特征表示用户穿着以及所戴饰品或配饰，可以包括戴皇冠、戴米老鼠头箍、戴眼镜、戴帽子、穿风衣、穿长裙，穿动漫人物服装等；手持物品特征可以包括手持包、手持魔法棒、手持蜘蛛侠卡片等。
其中，虚拟形象可以为魔法师、哈利波特、白雪公主、贝儿公主、茉莉公主等。
在具体实施中，可以从用户图像中提取其他游客的附属物特征；基于附属物特征，确定与附属物特征匹配的虚拟形象。
具体的，对用户图像进行特征提取分析，提取其他游客的附属物特征，并根据附属物特征，确定其他游客对应的虚拟形象。
示例性地，对用户图像进行特征提取，提取到的该用户的附属物特征为戴眼镜、穿风衣、手持手杖，则为该用户匹配的虚拟形象为魔法师、哈利波特。
示例性地，对用户图像进行特征提取，提取到的该用户的附属物特征为戴皇冠、穿长裙、戴手套，则为该用户匹配的虚拟形象为冰雪女王。
S104、采用所述虚拟形象替换所述现实场景图像中的所述用户图像，生成AR场景图像，控制所述AR设备展示所述AR场景图像。
其中，AR场景图像包含现实场景图像以及虚拟形象。
在具体实施中，可以将虚拟形象按照对应真实用户的身材实时替换现实场景图像中的用户图像，并生成包含上述虚拟形象和现实场景图像的AR场景图像，当前游客可以使用自己的AR设备观看上述AR场景图像。这里，虚拟形象与用户的动作姿态实时对应，也就是说，用户做出任一动作，该用户的虚拟对象也会做出同样的动作。
在具体实施中，当识别出现实场景图像中存在多个其他目标游客的用户图像时，则提取每个用户图像对应的附属物特征，根据附属物特征，为每个目标游客匹配相对应的虚拟形象，分别采用与该目标游客对应的虚拟形象替换该现实场景图像中的目标游客的用户图像，生成包含多个虚拟形象和现实场景图像的AR场景图像。
示例性地，若当前游客在迪士尼城堡游玩时，当前游客使用AR设备连续拍摄迪士尼城堡的多张现实场景图像，服务器(或AR设备)获取当前游客拍摄的多张连续的迪士尼城堡照片，对上述多张照片进行手势动作特征提取，确定当前游客的手势动作为触发变身类动作的打响指手势，则提取多张迪士尼照片中包含的两个其他游客(游客a和游客b)的用户图像，并分别对上述游客a和游客b的用户图像进行特征提取，提取出的游客a的附属物特征为：穿长裙、戴皇冠；提取出的游客b的附属物特征为戴黄冠、戴项链、戴手套、穿露肩长裙，根据上述虚拟物特征，为游客a匹配的虚拟形象为艾莎公主，为游客b匹配的虚拟形象为贝儿公主，生成含有艾莎公主、贝儿公主和迪士尼城堡的AR场景图像，当前游客可以使用AR设备观看到上述AR场景图像。具体展示界面如图2所示，以用户的AR设备为手机为例。
在一种可能的实施方式中，当采用虚拟形象替换其他游客，生成包含虚拟形象和现实场景图像的AR场景图像，即对其他游客变身之后，还可以通过检测当前游客的手势动作，变换替换其他游客的虚拟形象，具体描述如下：检测到当前游客发起的第二目标手势动作后，更新当前的AR场景图像中所述其他目标游客对应的虚拟形象。
其中，第二目标手势动作为触发其他目标游客的变身动作，用来变换已经替换其他游客的用户图像的虚拟形象，可以和第一目标手势动作相同，也可以不同，可以为左右挥动手势、上下挥动手势、打响指手势等。
具体的，当采用虚拟形象替换其他游客，生成包含虚拟形象和现实场景图像的AR场景图像之后，再次连续获取多张现实场景图像，并识别连续获取的多张现实场景图像中均包含当前游客的手部图像时，则对多张现实场景图像中手部图像进行动作特征提取，确定当前游客的手势动作的类型；当识别出手势动作的类型为触发变身类时，则表示检测到当前游客发起第二目标手势动作，根据当前游客发起的第二目标手势动作，切换已经替换其他游客对应的用户图像的虚拟形象，生成切换后的AR场景图像，从而实现使用不同的虚拟形象为其他游客变身，丰富了展示场景，增加游玩的趣味性。
示例性地，若当前游客在迪士尼城堡游玩时，当前游客使用AR设备连续拍摄迪士尼城堡的多张现实场景图像，当检测到当前游客发起触发变身类手势动作：打响指手势时，则识别出现实场景图像中的仅存在一个其他目标游客的用户图像，对该用户图像进行特征提取，提取到的该目标游客的附属物特征为穿长裙、戴头箍，则为该目标游客匹配白雪公主的虚拟形象，并将白雪公主替换该现实场景图像中用户图像，生成包含白雪公主和迪士尼城堡的AR场景图像，在生成上述AR场景图像之后，当在连续的多张现实场景图像中再次检测到当前游客发起触发变身类手势动作：打响指手势时，则采用贝儿公主替换上述白雪公主虚拟形象，生成包含贝儿公主和迪士尼城堡的AR场景图像，从而实现对其他游客的变身，当前游客可以通过AR设备观看到其他游客由游客本身变身为白雪公主，然后再变身为贝儿公主的过程，丰富了展示场景，增加了游玩的趣味性。
在另一种可能的具体实施中，当采用虚拟形象替换其他游客，生成包含虚拟形象和现实场景图像的AR场景图像，即对其他游客变身之后，还可以通过检测当前游客的手势动作，将游客从虚拟形象变身回游客本身，具体描述如下：检测到当前游客发起的第三目标手势动作后，将当前的AR场景图像中的虚拟形象还原为所述其他目标游客的用户图像。
其中，第三目标手势动作用来触发其他目标游客的变身动作，用来将目标游客变身回用户本身，可以和第一、二目标手势动作相同，也可以不同，可以为左右挥动手势、上下挥动手势、打响指手势等。
具体的，当采用虚拟形象替换其他游客，生成包含虚拟形象和现实场景图像的AR场景图像之后，再次连续获取多张现实场景图像，并识别连续获取的多张现实场景图像中均包含当前游客的手部图像时，则对多张现实场景图像中手部图像进行动作特征提取，确定当前游客的手势动作的类型；当识别出手势动作的类型为触发变身类时，则表示检测到当前游客发起第三目标手势动作，根据当前游客发起的第三目标手势动作，将目标游客由虚拟形象还原回目标游客本身。
示例性地，若当前游客在迪士尼城堡游玩时，当前游客使用AR设备连续拍摄迪士尼城堡的多张现实场景图像，当检测到当前游客发起触发变身类手势动作：打响指手势时，则识别出现实场景图像中的仅存在一个其他目标游客的用户图像，对该用户图像进行特征提取，提取到的该目标游客的附属物特征为带帽子、穿风衣、手持魔法棒，则为该目标游客匹配魔法师的虚拟形象，并将魔法师替换该现实场景图像中用户图像，生成包含魔法师和迪士尼城堡的AR场景图像，在生成上述AR场景图像之后，当在连续的多张现实场景图像中再次检测到当前游客发起触发变身类手势动作：上下挥动手势时，则将目标游客由魔法师还原回目标游客本身。
本公开实施例中，通过识别获取到的现实场景图像中的其他目标游客的用户图像，确定其他目标游客的用户图像中的每个目标游客的附属物特征，根据每个目标游客的附属物特征为目标游客匹配相对应的虚拟形象，将上述虚拟形象替换上述现实场景图像中的用户图像，生成AR场景图像，并控制AR设备展示包含虚拟形象和现实场景图像的AR场景，当前游客可以通过自己的AR设备看到已经被虚拟形象替换的其他游客，丰富了展示场景，并且当前游客可以使用自己的AR设备拍摄带有动态虚拟形象的场景照片，增加游玩的趣味性，同时提高了拍摄效果。
本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
基于同一发明构思，本公开实施例中还提供了与AR场景特效生成的方法对应的AR场景特效生成的装置，由于本公开实施例中的装置解决问题的原理与本公开实施例上述AR场景特效生成的方法相似，因此装置的实施可以参见方法的实施，重复之处不再赘述。
实施例二
参照图3所示，为本公开实施例提供的一种AR场景特效生成的装置的示意图，所述装置包括：获取模块301、用户图像识别模块302、虚拟形象确定模块303和AR场景图像生成模块304；其中，获取模块301，用于获取当前游客基于增强现实AR设备拍摄的目标游乐场所的现实场景图像。
用户图像识别模块302，用于识别所述现实场景图像中存在的其他目标游客的用户图像。
虚拟形象确定模块303，用于根据所述用户图像中的附属物特征，确定与所述附属物特征匹配的虚拟形象。
AR场景图像生成模块304，用于采用所述虚拟形象替换所述现实场景图像中的所述用户图像，生成AR场景图像，控制所述AR设备展示所述AR场景图像。
一种可能的实施方式中，所述虚拟形象确定模块303，具体用于从所述用户图像中提取所述其他游客的附属物特征，所述附属物特征包括穿戴特征和/或手持物品特征；基于所述附属物特征，确定与所述附属物特征匹配的虚拟形象。
一种可能的实施方式中，所述装置还包括：目标动作检测模块，用于检测到当前游客发起第一目标手势动作。
一种可能的实施方式中，所述目标动作检测模块，具体用于根据连续获取的多张现实场景图像，识别多张现实场景图像指示的所述当前游客的手势动作的类型；在识别出所述手势动作的类型为目标类型的情况下，确定当前游客发起第一目标手势动作。
一种可能的实施方式中，所述目标动作检测模块，还用于检测到当前游客发起的第二目标手势动作后，更新当前的AR场景图像中所述其他目标游客对应的虚拟形象。
一种可能的实施方式中，所述目标动作检测模块，还用于检测到当前游客发起的第三目标手势动作后，将当前的AR场景图像中的虚拟形象还原为所述其他目标游客的用户图像。
在一种可能的实施方式中，所述AR场景图像生成模块304，还用于若识别出所述现实场景图像中存在其他多个目标游客的用户图像，针对其他每个目标游客，分别采用与该目标游客对应的虚拟形象替换所述现实场景图像中的该目标游客的用户图像，生成包含多个虚拟形象的AR场景图像。
关于装置中的各模块的处理流程、以及各模块之间的交互流程的描述可以参照上述方法实施例中的相关说明，这里不再详述。
对应于图1中的AR场景特效生成的方法，本公开实施例还提供了一种电子设备400，如图4所示，为本公开实施例提供的电子设备400结构示意图，包括：包括处理器401、存储器402、和总线403。其中，存储器402用于存储执行指令，包括内存4021和外部存储器4022；这里的内存4021也称内存储器，用于暂时存放处理器401中的运算数据，以及与硬盘等外部存储器4022交换的数据，处理器401通过内存4021与外部存储器4022进行数据交换，当电子设备400运行时，处理器401与存储器402之间通过总线403通信，使得处理器401执行以下指令：
获取当前游客基于增强现实AR设备拍摄的目标游乐场所的现实场景图像；识别所述现实场景图像中存在的其他目标游客的用户图像；根据所述用户图像中的附属物特征，确定与所述附属物特征匹配的虚拟形象；采用所述虚拟形象替换所述现实场景图像中的所述用户图像，生成AR场景图像，控制所述AR设备展示所述AR场景图像。
其中，处理器401的具体处理流程可以参照上述方法实施例的记载，这里不再赘述。
本公开实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述方法实施例中所述的AR场景特效生成的方法的步骤。其中，该存储介质可以是易失性或非易失的计算机可读取存储介质。
本公开实施例所提供的AR场景特效生成的方法的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行上述方法实施例中所述的AR场景特效生成的方法的步骤，具体可参见上述方法实施例，在此不再赘述。
本公开实施例还提供一种计算机程序，该计算机程序被处理器执行时实现前述实施例的任意一种方法。该计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选实施例中，所述计算机程序产品具体体现为计算机存储介质，在另一个可选实施例中，计算机程序产品具体体现为软件产品，例如软件开发包(Software DevelopmentKit，SDK)等等。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。在本公开所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本公开各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上所述实施例，仅为本公开的具体实施方式，用以说明本公开的技术方案，而非对其限制，本公开的保护范围并不局限于此，尽管参照前述实施例对本公开进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本公开实施例技术方案的精神和范围，都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应所述以权利要求的保护范围为准。
Claims (7)
1.一种AR场景特效生成的方法，其特征在于，所述方法包括：
获取当前游客基于增强现实AR设备拍摄的目标游乐场所的现实场景图像；
检测到当前游客发起第一目标手势动作，识别所述现实场景图像中存在的其他目标游客的用户图像；
根据所述用户图像中的附属物特征，确定与所述附属物特征匹配的虚拟形象；
采用所述虚拟形象替换所述现实场景图像中的所述用户图像，生成AR场景图像，控制所述AR设备展示所述AR场景图像；
检测到所述当前游客发起的第二目标手势动作，更新所述AR设备当前展示的所述AR场景图像中的所述其他目标游客对应的虚拟形象；
检测到所述当前游客发起的第三目标手势动作，将当前的AR场景图像中的虚拟形象还原为所述其他目标游客的用户图像，其中，所述第一目标手势动作、所述第二目标手势动作以及所述第三目标手势动作为同一手势动作。
2.根据权利要求1所述的方法，其特征在于，根据所述用户图像中的附属物特征，确定与所述附属物特征匹配的虚拟形象，包括：
从所述用户图像中提取所述其他目标游客的附属物特征，所述附属物特征包括穿戴特征和/或手持物品特征；
基于所述附属物特征，确定与所述附属物特征匹配的虚拟形象。
3.根据权利要求1所述的方法，其特征在于，检测到当前游客发起第一目标手势动作，包括：
根据连续获取的多张现实场景图像，识别多张现实场景图像指示的所述当前游客的手势动作的类型；
在识别出所述手势动作的类型为目标类型的情况下，确定当前游客发起第一目标手势动作。
4.根据权利要求1~3任一所述的方法，其特征在于， 若识别出所述现实场景图像中存在其他多个目标游客的用户图像，采用所述虚拟形象替换所述现实场景图像中的所述用户图像，生成AR场景图像，包括：针对其他每个目标游客，分别采用与该目标游客对应的虚拟形象替换所述现实场景图像中的该目标游客的用户图像，生成包含多个虚拟形象的AR场景图像。
5.一种AR场景特效生成的装置，其特征在于，所述装置包括：
获取模块，用于获取当前游客基于增强现实AR设备拍摄的目标游乐场所的现实场景图像；
目标动作检测模块，用于检测到当前游客发起第一目标手势动作；
用户图像识别模块，用于识别所述现实场景图像中存在的其他目标游客的用户图像；
虚拟形象确定模块，用于根据所述用户图像中的附属物特征，确定与所述附属物特征匹配的虚拟形象；
AR场景图像生成模块，用于采用所述虚拟形象替换所述现实场景图像中的所述用户图像，生成AR场景图像，控制所述AR设备展示所述AR场景图像；
所述目标动作检测模块还用于检测到所述当前游客发起的第二目标手势动作，更新所述AR设备当前展示的所述AR场景图像中的所述其他目标游客对应的虚拟形象；
所述目标动作检测模块还用于检测到所述当前游客发起的第三目标手势动作，将当前的AR场景图像中的虚拟形象还原为所述其他目标游客的用户图像，其中，所述第一目标手势动作、所述第二目标手势动作以及所述第三目标手势动作为同一手势动作。
6.一种电子设备，其特征在于，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如权利要求1至4任一所述的AR场景特效生成的方法的步骤。
7.一种计算机可读存储介质，其特征在于，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如权利要求1至4任一项所述的AR场景特效生成的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010525606.2A CN111640200B (zh) | 2020-06-10 | 2020-06-10 | 一种ar场景特效生成的方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010525606.2A CN111640200B (zh) | 2020-06-10 | 2020-06-10 | 一种ar场景特效生成的方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111640200A CN111640200A (zh) | 2020-09-08 |
| CN111640200B true CN111640200B (zh) | 2024-01-09 |
Family
ID=72333114
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010525606.2A Active CN111640200B (zh) | 2020-06-10 | 2020-06-10 | 一种ar场景特效生成的方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111640200B (zh) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112053370A (zh) * | 2020-09-09 | 2020-12-08 | 脸萌有限公司 | 基于增强现实的显示方法、设备及存储介质 |
| CN113014471B (zh) * | 2021-01-18 | 2022-08-19 | 腾讯科技（深圳）有限公司 | 会话处理方法，装置、终端和存储介质 |
| CN113163135B (zh) * | 2021-04-25 | 2022-12-16 | 北京字跳网络技术有限公司 | 视频的动画添加方法、装置、设备及介质 |
| CN113934297B (zh) * | 2021-10-13 | 2024-05-31 | 西交利物浦大学 | 一种基于增强现实的交互方法、装置、电子设备及介质 |
| CN114285944B (zh) * | 2021-11-29 | 2023-09-19 | 咪咕文化科技有限公司 | 视频彩铃生成方法、装置及电子设备 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105867626A (zh) * | 2016-04-12 | 2016-08-17 | 京东方科技集团股份有限公司 | 头戴式虚拟现实设备及其控制方法、虚拟现实系统 |
| CN109032358A (zh) * | 2018-08-27 | 2018-12-18 | 百度在线网络技术（北京）有限公司 | 基于手势识别的ar交互虚拟模型的控制方法及装置 |
| CN109876450A (zh) * | 2018-12-14 | 2019-06-14 | 深圳壹账通智能科技有限公司 | 基于ar游戏的实现方法、服务器、计算机设备及存储介质 |
| CN110716645A (zh) * | 2019-10-15 | 2020-01-21 | 北京市商汤科技开发有限公司 | 一种增强现实数据呈现方法、装置、电子设备及存储介质 |
| CN111243101A (zh) * | 2019-12-31 | 2020-06-05 | 浙江省邮电工程建设有限公司 | 基于人工智能增加用户ar环境沉浸度方法、系统及装置 |
-
2020
- 2020-06-10 CN CN202010525606.2A patent/CN111640200B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105867626A (zh) * | 2016-04-12 | 2016-08-17 | 京东方科技集团股份有限公司 | 头戴式虚拟现实设备及其控制方法、虚拟现实系统 |
| CN109032358A (zh) * | 2018-08-27 | 2018-12-18 | 百度在线网络技术（北京）有限公司 | 基于手势识别的ar交互虚拟模型的控制方法及装置 |
| CN109876450A (zh) * | 2018-12-14 | 2019-06-14 | 深圳壹账通智能科技有限公司 | 基于ar游戏的实现方法、服务器、计算机设备及存储介质 |
| CN110716645A (zh) * | 2019-10-15 | 2020-01-21 | 北京市商汤科技开发有限公司 | 一种增强现实数据呈现方法、装置、电子设备及存储介质 |
| CN111243101A (zh) * | 2019-12-31 | 2020-06-05 | 浙江省邮电工程建设有限公司 | 基于人工智能增加用户ar环境沉浸度方法、系统及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111640200A (zh) | 2020-09-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111640200B (zh) | 一种ar场景特效生成的方法及装置 | |
| CN111640202B (zh) | 一种ar场景特效生成的方法及装置 | |
| KR102292537B1 (ko) | 이미지 처리 방법 및 장치, 및 저장 매체 | |
| US10360715B2 (en) | Storage medium, information-processing device, information-processing system, and avatar generating method | |
| CN106803057B (zh) | 图像信息处理方法及装置 | |
| KR101251701B1 (ko) | 게임용 스테레오 비디오에 대하여 장치가 프로세스를실행할 수 있게 하는 정보를 저장하는 하나 이상의 컴퓨터판독가능 매체 | |
| US9460340B2 (en) | Self-initiated change of appearance for subjects in video and images | |
| JP6244593B1 (ja) | 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム | |
| US9064335B2 (en) | System, method, device and computer-readable medium recording information processing program for superimposing information | |
| EP3383036A2 (en) | Information processing device, information processing method, and program | |
| CN109603151A (zh) | 虚拟角色的皮肤显示方法、装置及设备 | |
| CN111627117B (zh) | 画像展示特效的调整方法、装置、电子设备及存储介质 | |
| US11983826B2 (en) | 3D upper garment tracking | |
| CN111652987B (zh) | 一种ar合影图像生成的方法及装置 | |
| US11673054B2 (en) | Controlling AR games on fashion items | |
| US11423627B2 (en) | Systems and methods for providing real-time composite video from multiple source devices featuring augmented reality elements | |
| CN111694431A (zh) | 一种人物形象生成的方法及装置 | |
| EP4023311A1 (en) | Program, method, and information processing terminal | |
| US12020389B2 (en) | Systems and methods for providing real-time composite video from multiple source devices featuring augmented reality elements | |
| EP4023310A1 (en) | Program, method, and terminal device | |
| CN113487709A (zh) | 一种特效展示方法、装置、计算机设备以及存储介质 | |
| CN108525306B (zh) | 游戏实现方法、装置、存储介质及电子设备 | |
| JP2006227838A (ja) | 画像処理装置及び画像処理プログラム | |
| JP2021039731A (ja) | プログラム、方法、および端末装置 | |
| CN111640199B (zh) | 一种ar特效数据生成的方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |