CN111639613B - 一种增强现实ar特效生成方法、装置及电子设备 - Google Patents
一种增强现实ar特效生成方法、装置及电子设备 Download PDFInfo
- Publication number
- CN111639613B CN111639613B CN202010501484.3A CN202010501484A CN111639613B CN 111639613 B CN111639613 B CN 111639613B CN 202010501484 A CN202010501484 A CN 202010501484A CN 111639613 B CN111639613 B CN 111639613B
- Authority
- CN
- China
- Prior art keywords
- user
- image
- special effect
- expression
- determining
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000000694 effects Effects 0.000 title claims abstract description 141
- 238000000034 method Methods 0.000 title claims abstract description 54
- 230000003190 augmentative effect Effects 0.000 title claims abstract description 10
- 230000008921 facial expression Effects 0.000 claims abstract description 22
- 230000008859 change Effects 0.000 claims description 25
- 238000001514 detection method Methods 0.000 claims description 18
- 238000012545 processing Methods 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 8
- 238000012549 training Methods 0.000 claims description 8
- 238000004891 communication Methods 0.000 claims description 5
- 230000006870 function Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000010354 integration Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 241000251468 Actinopterygii Species 0.000 description 2
- 241000251730 Chondrichthyes Species 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000009182 swimming Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- Software Systems (AREA)
- Processing Or Creating Images (AREA)
Abstract
本公开提供了一种增强现实AR特效生成方法、装置及电子设备，其中，该方法包括：获取当前位于游乐场所内的用户图像；对所述用户图像进行人脸表情识别，确定用户的表情类别；基于确定的所述表情类别，获取与所述表情类别匹配的虚拟展示特效；基于获取的所述虚拟展示特效与所述用户图像，生成AR特效图像。通过本公开实施例，电子设备可以将与用户的表情类别对应的虚拟展示特效与用户图像进行融合，生成AR特效图像，从而可以展示或提供给用户，与现有技术中单一的显示方法相比，其能够根据用户的实时表情显示对应的AR特效图像，从而提高电子设备显示内容的灵活性，提高用户的融入性和视觉效果，最终达到较好的用户体验。
Description
技术领域
本公开涉及电子设备技术领域，具体而言，涉及一种增强现实(AugmentedReality，AR)特效生成方法、装置及电子设备。
背景技术
在展馆或者博物馆等游乐场所中，通常会布置显示屏，来展示一些图像、文字、视频等内容，以达到美化广告展示等效果。这种显示方式的显示内容比较单一，对于大部分用户来说，观看这些显示内容时，会缺少融入性，从而无法达到很好的用户体验。
因此，如何实现电子设备的显示内容的灵活性，是值得研究的问题。
发明内容
本公开实施例至少提供一种AR特效生成方法、装置以及电子设备。
第一方面，本公开实施例提供了一种AR特效生成方法，包括：
获取当前位于游乐场所内的用户图像；
对所述用户图像进行人脸表情识别，确定用户的表情类别；
基于确定的所述表情类别，获取与所述表情类别匹配的虚拟展示特效；
基于获取的所述虚拟展示特效与所述用户图像，生成AR特效图像。
在一种可能的实施方式中，在获取所述用户图像之前，还包括：
检测到所述用户进入设定检测区域。
在一种可能的实施方式中，对所述用户图像进行人脸表情识别，确定所述用户的表情类别，包括：
基于训练的表情识别模型，对所述用户图像进行人脸表情识别，确定所述用户的表情类别；
其中，所述表情识别模型是根据多个表情图像样本数据训练得到的；每个表情图像样本数据包括：包含人脸的图像样本以及该图像样本对应的表情类别标签。
在一种可能的实施方式中，所述方法还包括：
基于所述用户图像，识别所述用户当前所在的现实场景信息；基于所述现实场景信息，确定当前待展示的目标虚拟对象；或者
基于所述用户图像，确定对所述用户定位的位置信息；基于所述位置信息，确定与所述位置信息匹配的目标虚拟对象；
基于确定的所述表情类别，获取与所述表情类别匹配的虚拟展示特效，包括：
基于确定的所述表情类别，获取与所述表情类别匹配的所述目标虚拟对象的虚拟展示特效。
在一种可能的实施方式中，生成所述AR特效图像之后，还包括：
展示所述AR特效图像对应的标识码，以便所述用户基于所述标识码获取所述AR特效图像。
在一种可能的实施方式中，，所述目标虚拟对象的虚拟展示特效，包括所述目标虚拟对象的部分部位或全部部位对应的以下任意一项或任意组合的动画特效：
颜色变化、透明度变化、位置变化、大小变化和形状变化。
第二方面，本公开实施例提供了一种AR特效生成装置，包括：
获取单元，用于获取当前位于游乐场所内的用户图像；
确定单元，用于对所述用户图像进行人脸表情识别，确定用户的表情类别；
处理单元，用于基于确定的所述表情类别，获取与所述表情类别匹配的虚拟展示特效；以及基于获取的所述虚拟展示特效与所述用户图像，生成AR特效图像。
在一种可能的实施方式中，所述装置还包括检测单元，所述检测单元，用于在获取所述用户图像之前，检测到所述用户进入设定检测区域。
在一种可能的实施方式中，所述确定单元，在对所述用户图像进行人脸表情识别，确定所述用户的表情类别时，具体用于：
基于训练的表情识别模型，对所述用户图像进行人脸表情识别，确定所述用户的表情类别；
其中，所述表情识别模型是根据多个表情图像样本数据训练得到的；每个表情图像样本数据包括：包含人脸的图像样本以及该图像样本对应的表情类别标签。
在一种可能的实施方式中，所述确定单元，还用于：
基于所述用户图像，识别所述用户当前所在的现实场景信息；基于所述现实场景信息，确定当前待展示的目标虚拟对象；或者
基于所述用户图像，确定对所述用户定位的位置信息；基于所述位置信息，确定与所述位置信息匹配的目标虚拟对象；
所述处理单元，在基于确定的所述表情类别，获取与所述表情类别匹配的虚拟展示特效时，具体用于：
基于确定的所述表情类别，获取与所述表情类别匹配的所述目标虚拟对象的虚拟展示特效。
在一种可能的实施方式中，所述处理单元，还用于：
在生成所述AR特效图像之后，展示所述AR特效图像对应的标识码，以便用户基于所述标识码获取所述AR特效图像。
在一种可能的实施方式中，所述目标虚拟对象的虚拟展示特效，包括所述目标虚拟对象的部分部位或全部部位对应的以下任意一项或任意组合的动画特效：
颜色变化、透明度变化、位置变化、大小变化和形状变化。
第三方面，本公开实施例提供了一种电子设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如第一方面所述的展示方法的步骤。
第四方面，本公开实施例提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如第一方面所述的展示方法的步骤。
本公开实施例提供了一种AR特效生成方法、装置及电子设备。在该方案中，电子设备可以识别用户图像中用户的表情类别，并将与该表情类别对应的虚拟展示特效与该用户图像进行融合，生成AR特效图像，从而可以在显示屏中展示与用户表情对应的AR特效图像，与现有技术中单一的显示方法相比，其能够根据用户的实时表情显示对应的AR特效图像，从而提高电子设备显示内容的灵活性，提高用户的融入性和视觉效果，最终达到较好的用户体验。
为使本公开的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本公开实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，此处的附图被并入说明书中并构成本说明书中的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。应当理解，以下附图仅示出了本公开的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1示出了本公开实施例所提供的一种AR特效生成方法的流程图；
图2示出了本公开实施例所提供的一种AR特效生成方法实例示意图；
图3示出了本公开实施例所提供的一种AR特效生成装置的示意图；
图4示出了本公开实施例所提供的一种电子设备的示意图。
具体实施方式
为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本公开实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围，而是仅仅表示本公开的选定实施例。基于本公开的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。
目前，电子设备显示内容的方式单一，显示内容无法与人进行互动，因此，当用户观看这些显示内容是，会缺少融入性。因此，实现电子设备的显示内容的灵活性是本领域值得研究的问题。
本公开实施例提供了一种AR特效生成方法、装置及电子设备。在该方案中，电子设备可以识别用户图像中用户的表情类别，并将与该表情类别对应的虚拟展示特效与该用户图像进行融合，生成AR特效图像，从而可以在显示屏中展示与用户表情对应的AR特效图像，与现有技术中单一的显示方法相比，其能够根据用户的实时表情显示对应的AR特效图像，从而提高电子设备显示内容的灵活性，提高用户的融入性和视觉效果，最终达到较好的用户体验。
为便于对本实施例进行理解，首先对本公开实施例所公开的一种AR特效生成方法进行详细介绍，本公开实施例所提供的AR特效生成方法的执行主体一般为具有一定计算能力的电子设备。例如所述电子设备可以包括：智能手机、平板电脑、车载设备、可穿戴设备、虚拟现实(virtual reality，VR)设备、增强现实(augmented reality，AR)设备、展示设备等具有显示功能和数据处理能力的设备。在一些可能的实现方式中，该AR特效生成方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。
下面以执行主体为电子设备为例对本公开实施例提供的显示方法加以说明。
下面参阅图1所示的AR特效生成方法的流程图，对本公开实施例提供的AR特效生成方法进行详细说明。
S101：电子设备获取当前位于游乐场所内的用户图像。
其中，所述电子设备可以通过内部的摄像头或连接的其他摄像装置获取设定检测区域的图像，当用户进入所述设定检测区域时，所述摄像头或摄像装置即可拍摄到所述用户图像。其中，所述设定区域为能够观看到所述电子设备的显示屏的物理区域，或者为所述游乐场所中摄像头或摄像装置能够采集图像的区域。
可选的，所述电子设备可以在执行S101之前，检测到用户进入所述设定检测区域。其中，所述电子设备可以通过多种方式检测所述设定检测区域中是否存在用户。
例如，所述电子设备可以通过红外传感器检测所述设定检测区域是否存在用户，当所述电子设备首次通过红外传感器检测到用户时，即检测到用户进入所述设定检测区域。
又例如，所述电子设备获取内部的摄像头或外部的其他摄像装置对所述设定检测区域拍摄的图像，然后对该图像进行人脸识别，当在拍摄的图像中识别到人脸时，即所述电子设备检测到用户进入所述设定检测区域。
S102：所述电子设备对所述用户图像进行人脸表情识别，确定用户的表情类别。
在一种实施方式中，所述电子设备可以根据预先训练的表情识别模型，对所述用户图像进行人脸表情识别，从而确定所述用户的表情类别。
其中，所述表情识别模型可以是根据多个表情图像样本数据训练得到的，每个表情图像样本数据包括：包含人脸的图像样本和所述图像样本对应的表情类别标签。模型训练装置可以采用各种建模方法(例如深度学习，神经网络算法等)，对所述多个表情图像样本数据进行训练建模，建立所述表情识别模型。可选的，所述模型训练装置可以为所述电子设备或者其他计算设备。
当所述模型训练装置为其他计算设备时，所述电子设备可以将所述用户图像发送给所述其他计算设备，在所述其他计算设备根据所述表情识别模型识别到所述用户图像中用户人脸的表情后，将该表情发送给所述电子设备。或者所述其他计算设备可以将建立的表情识别模型发送给所述电子设备，所述电子设备可以根据本地保存的所述表情识别模型，识别所述用户图像中用户人脸的表情。
另外，所述电子设备还可以通过安装的AI应用，识别所述用户图像中的用户人脸的表情。例如，所述电子设备中安装有具有表情识别功能的应用的软件开发工具包(Software Development Kit，SDK)，这样，所述电子设备可以通过该SDK，识别所述用户图像中的用户人脸的表情。需要说明的是，该SDK在识别所述用户图像中的用户人脸的表情时，也是根据本地保存的或在服务器中保存的所述表情识别模型实现的。
S103：所述电子设备基于确定的所述表情类别，获取与所述表情类别匹配的虚拟展示特效。
可选的，所述电子设备可以支持多种表情类别对应的虚拟展示特效；或者所述电子设备可以支持设定表情类别(例如微笑)对应的虚拟展示特效，本公开实施例对此不作限定。
在本公开实施例中，与所述表情类别对应的虚拟展示特效可以但不限于包括以下任意一项或任意组合动画特效：颜色变化、透明度变化、位置变化、大小变化和形状变化。
在第一种实施方式中，所述虚拟展示特效可以为所述电子设备当前显示或将要显示的目标图像的虚拟展示特效。
例如，在用户的表情类别为微笑的情况下，所述虚拟展示特效可以包括：所述目标图像的颜色变得更鲜亮、所述目标图像的形状从四边形变为圆形等。
又例如，在用户的表情类别为难过的情况下，所述虚拟展示特效可以包括：所述目标图像的颜色变成灰色、所述目标图像的形状从四边形变为心形等。
在下面第二种至第四种实施方式中，所述电子设备可以先确定目标虚拟对象，从而在确定与所述表情类别匹配的虚拟展示特效时，可以确定与所述表情列表匹配的所述目标虚拟对象的虚拟展示特效。即该虚拟展示特效是针对一个特定的目标虚拟对象而言的。这样，可以增加展示效果的趣味性。
在第二种实施方式中，所述虚拟展示特效可以为所述电子设备当前显示或将要显示的目标图像中的目标虚拟对象的虚拟展示特效。这样所述电子设备可以根据用户的表情以及显示的目标图像中的目标虚拟对象，得到该目标虚拟对象的虚拟展示特效。
在第三种实施方式中，所述电子设备可以通过以下步骤，确定目标虚拟对象：
a1、所述电子设备基于所述用户图像，识别所述用户当前所在的现实场景信息。其中，所述电子设备可以根据所述用户图像中包含的景物，和/或，所述用户图像的颜色等信息，识别所述用户当前所在的现实场景信息。
a2、所述电子设备基于所述现实场景信息，确定当前待展示的目标虚拟对象。
在该实施方式中，所述电子设备中可以针对多个现实场景，设置不同的待展示虚拟对象。例如，所述电子设备可以针对水族馆，设置待展示的虚拟对象为：鲨鱼、美人鱼、海盗船等；针对植物馆，设置待展示的虚拟对象为花朵等。
通过该实施方式，所述电子设备可以根据用户的表情以及用户当前所在的现实场景，得到目标虚拟对象的虚拟展示特效，从而在最终生成并展示AR特性图像后，可以加强用户的融入性和视觉效果，最终达到较好的用户体验。
在第四种实施方式中，所述电子设备还可以通过以下步骤，确定目标虚拟对象：
b1：所述电子设备基于所述用户图像，确定对所述用户定位的位置信息。在本步骤中，所述电子设备可以采用视觉定位技术，确定所述用户定位的位置信息。
b2：所述电子设备基于所述位置信息，确定与所述位置信息匹配的目标虚拟对象。
与第三种实施方式类似的，所述电子设备可以针对不同的位置，设置不同的待展示虚拟对象。例如，所述电子设备可以针对处于水族馆中的位置，设置待展示的虚拟对象为：鲨鱼、美人鱼、海盗船等；针对植物馆中的位置，设置待展示的虚拟对象为花朵等。
通过该实施方式，所述电子设备可以根据用户的表情以及用户当前所处的位置，得到目标虚拟对象的虚拟展示特效，从而在最终生成并展示AR特性图像后，可以加强用户的融入性和视觉效果，最终达到较好的用户体验。
在以上实施方式中，不同虚拟对象的虚拟展示特效也不同。例如，虚拟对象为花朵，表情类别微笑对应的虚拟展示特效为花朵绽放，表情类别哭泣对应的虚拟展示特效为花朵枯萎。又例如虚拟对象为美人鱼，表情类别微笑对应的虚拟展示特效为美人鱼游泳，表情类别哭泣对应的虚拟展示特效为美人鱼摆尾。
另外，还需要说明的是，在上述第二种至第四种实施方式中，所述目标虚拟对象的虚拟展示特效，可以包含所述目标虚拟对象的部分部位或全部部位对应的以下任意一项或任意组合的动画特效：
颜色变化、透明度变化、位置变化、大小变化和形状变化。
例如，在所述目标虚拟对象为美人鱼的情况下，所述目标虚拟对象的虚拟展示特效可以为鱼尾的摆动动画特效，或者为整个鱼身游泳的动画特效。
S104：所述电子设备基于获取的所述虚拟展示特效与所述用户图像，生成AR特效图像。
需要说明的是，所述AR特效图像为一组动态图像，其中，US噢书AR特效图像中所述用户图像部分为静态不变，而虚拟展示特效部分是动态变化的。
在一种实施方式中，所述电子设备可以采用一些图像融合算法，将获取的所述虚拟展示特效与所述用户图像进行融合，生成所述AR特效图像。
在另一种实施方式中，所述电子设备可以将所述虚拟展示特效与所述用户图像进行叠加，生成AR特效图像。
可选的，在本公开实施例中，在所述电子设备生成AR特效图像后，所述电子设备可以在显示屏中显示所述AR特效图像，以便用于观看以及拍照；或者所述电子设备还可以在显示屏中展示所述AR特效图像对应的标识码(例如二维码、条形码等)，这样，用户可以基于所述标识码获取所述AR特效图像。
本公开实施例提供了一种AR特效生成方法，在该方法中，电子设备可以识别用户图像中用户的表情类别，并将与该表情类别对应的虚拟展示特效与该用户图像进行融合，生成AR特效图像，从而可以在显示屏中展示与用户表情对应的AR特效图像，与现有技术中单一的显示方法相比，其能够根据用户的实时表情显示对应的AR特效图像，从而提高电子设备显示内容的灵活性，提高用户的融入性和视觉效果，最终达到较好的用户体验。
参阅图2所示的AR特效生成实例所示，当小女孩进入设定检测区域后，所述电子设备可以获取用户图像，并识别出小女孩的表情类别为微笑；所述电子设备通过以上实施例中提供的一种确定目标虚拟对象的实施方式，确定目标虚拟对象为花朵；所述电子设备获取与表情类别微笑匹配的花朵的虚拟展示特效(花朵绽放)；所述电子设备将获取的花朵的虚拟展示特效与所述用户图像进行融合，生成AR特效图像；最后，所述电子设备可以将所述AR特效图像展示在显示屏中，供用户观看欣赏。
本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
基于同一发明构思，本公开实施例中还提供了与AR特效生成方法对应的AR特效生成装置，由于本公开实施例中的装置解决问题的原理与本公开实施例上述AR特效生成方法相似，因此装置的实施可以参见方法的实施，重复之处不再赘述。
参照图3所示，为本公开实施例提供的一种AR特效生成装置的示意图，所述装置包括：获取单元301、确定单元302、处理单元303。下面分别对每个单元的功能进行介绍。
获取单元301，用于获取当前位于游乐场所内的用户图像；
确定单元302，用于对所述用户图像进行人脸表情识别，确定用户的表情类别；
处理单元303，用于基于确定的所述表情类别，获取与所述表情类别匹配的虚拟展示特效；以及基于获取的所述虚拟展示特效与所述用户图像，生成AR特效图像。
在一种可能的实施方式中，所述装置还包括检测单元304，所述检测单元304，用于在获取所述用户图像之前，检测到所述用户进入设定检测区域。
在一种可能的实施方式中，所述确定单元302，在对所述用户图像进行人脸表情识别，确定所述用户的表情类别时，具体用于：
基于训练的表情识别模型，对所述用户图像进行人脸表情识别，确定所述用户的表情类别；
其中，所述表情识别模型是根据多个表情图像样本数据训练得到的；每个表情图像样本数据包括：包含人脸的图像样本以及该图像样本对应的表情类别标签。
在一种可能的实施方式中，所述确定单元302，还用于：
基于所述用户图像，识别所述用户当前所在的现实场景信息；基于所述现实场景信息，确定当前待展示的目标虚拟对象；或者
基于所述用户图像，确定对所述用户定位的位置信息；基于所述位置信息，确定与所述位置信息匹配的目标虚拟对象；
所述处理单元303，在基于确定的所述表情类别，获取与所述表情类别匹配的虚拟展示特效时，具体用于：
基于确定的所述表情类别，获取与所述表情类别匹配的所述目标虚拟对象的虚拟展示特效。
在一种可能的实施方式中，所述处理单元303，还用于：
在生成所述AR特效图像之后，展示所述AR特效图像对应的标识码，以便用户基于所述标识码获取所述AR特效图像。
在一种可能的实施方式中，所述目标虚拟对象的虚拟展示特效，包括所述目标虚拟对象的部分部位或全部部位对应的以下任意一项或任意组合的动画特效：
本公开实施例提供了一种AR特效生成装置。所述装置可以识别用户图像中用户的表情类别，并将与该表情类别对应的虚拟展示特效与该用户图像进行融合，生成AR特效图像，从而可以在显示屏中展示与用户表情对应的AR特效图像，与现有技术中单一的显示方法相比，其能够根据用户的实时表情显示对应的AR特效图像，从而提高电子设备显示内容的灵活性，提高用户的融入性和视觉效果，最终达到较好的用户体验。
对应于图1中的AR特效生成方法，本公开实施例还提供了一种电子设备。图4为本公开实施例提供的电子设备400的结构示意图，所述电子设备400包括：处理器401、存储器402、显示屏403，和总线404。
所述显示屏403，用于显示用户界面。
存储器402用于存储执行指令，包括内存4021和外部存储器4022。这里的内存4021也称内存储器，用于暂时存放处理器401中的运算数据，以及与硬盘等外部存储器4022交换的数据。处理器401通过内存4021与外部存储器4022进行数据交换，当所述电子设备400运行时，所述处理器401与所述存储器402、所述显示屏403之间通过总线404通信，使得所述处理器401执行以下方法：获取当前位于游乐场所内的用户图像；对所述用户图像进行人脸表情识别，确定用户的表情类别；基于确定的所述表情类别，获取与所述表情类别匹配的虚拟展示特效；基于获取的所述虚拟展示特效与所述用户图像，生成AR特效图像。
所述处理器401执行上述方法的具体过程可以参考本公开实施例中所述的AR特效生成方法的步骤，此处不再赘述。
本公开实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述方法实施例中所述的AR特效生成方法的步骤。其中，该存储介质可以是易失性或非易失的计算机可读取存储介质。
本公开实施例所提供的AR特效生成方法的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行上述方法实施例中所述的AR特效生成方法的步骤，具体可参见上述方法实施例，在此不再赘述。
本公开实施例还提供一种计算机程序，该计算机程序被处理器执行时实现前述实施例的任意一种方法。该计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选实施例中，所述计算机程序产品具体体现为计算机存储介质，在另一个可选实施例中，计算机程序产品具体体现为软件产品，例如软件开发包(Software DevelopmentKit，SDK)等等。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。在本公开所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本公开各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上所述实施例，仅为本公开的具体实施方式，用以说明本公开的技术方案，而非对其限制，本公开的保护范围并不局限于此，尽管参照前述实施例对本公开进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本公开实施例技术方案的精神和范围，都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应所述以权利要求的保护范围为准。
Claims (10)
1.一种增强现实AR特效生成方法，其特征在于，包括：
获取当前位于游乐场所内的用户图像；
对所述用户图像进行人脸表情识别，确定用户的表情类别；基于所述用户图像，确定对所述用户定位的位置信息；基于所述位置信息，确定与所述位置信息匹配的目标虚拟对象；
基于确定的所述表情类别，获取与所述表情类别匹配的所述目标虚拟对象的虚拟展示特效；
基于获取的所述虚拟展示特效与所述用户图像，生成AR特效图像。
2.根据权利要求1所述的方法，其特征在于，在获取所述用户图像之前，还包括：
检测到所述用户进入设定检测区域。
3.根据权利要求1或2所述的方法，其特征在于，对所述用户图像进行人脸表情识别，确定所述用户的表情类别，包括：
基于训练的表情识别模型，对所述用户图像进行人脸表情识别，确定所述用户的表情类别；
其中，所述表情识别模型是根据多个表情图像样本数据训练得到的；每个表情图像样本数据包括：包含人脸的图像样本以及该图像样本对应的表情类别标签。
4.根据权利要求1至3任一项所述的方法，其特征在于，所述方法还包括：
基于所述用户图像，识别所述用户当前所在的现实场景信息；基于所述现实场景信息，确定当前待展示的目标虚拟对象；或者
在当前显示的或即将显示的目标图像中，确定目标虚拟对象。
5.根据权利要求1至4任一项所述的方法，其特征在于，生成所述AR特效图像之后，还包括：
展示所述AR特效图像对应的标识码，以便所述用户基于所述标识码获取所述AR特效图像。
6.根据权利要求4所述的方法，其特征在于，所述目标虚拟对象的虚拟展示特效，包括所述目标虚拟对象的部分部位或全部部位对应的以下任意一项或任意组合的动画特效：
颜色变化、透明度变化、位置变化、大小变化和形状变化。
7.一种增强现实AR特效生成装置，其特征在于，包括：
获取单元，用于获取当前位于游乐场所内的用户图像；
确定单元，用于对所述用户图像进行人脸表情识别，确定用户的表情类别；基于所述用户图像，确定对所述用户定位的位置信息；基于所述位置信息，确定与所述位置信息匹配的目标虚拟对象；
处理单元，用于基于确定的所述表情类别，获取与所述表情类别匹配的所述目标虚拟对象的虚拟展示特效；以及基于获取的所述虚拟展示特效与所述用户图像，生成AR特效图像。
8.根据权利要求7所述的装置，其特征在于，所述装置还包括检测单元，所述检测单元，用于在获取所述用户图像之前，检测到所述用户进入设定检测区域。
9.一种电子设备，其特征在于，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如权利要求1至6任一所述的方法的步骤。
10.一种计算机可读存储介质，其特征在于，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如权利要求1至6任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010501484.3A CN111639613B (zh) | 2020-06-04 | 2020-06-04 | 一种增强现实ar特效生成方法、装置及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010501484.3A CN111639613B (zh) | 2020-06-04 | 2020-06-04 | 一种增强现实ar特效生成方法、装置及电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111639613A CN111639613A (zh) | 2020-09-08 |
| CN111639613B true CN111639613B (zh) | 2024-04-16 |
Family
ID=72331404
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010501484.3A Active CN111639613B (zh) | 2020-06-04 | 2020-06-04 | 一种增强现实ar特效生成方法、装置及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111639613B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112150349A (zh) * | 2020-09-23 | 2020-12-29 | 北京市商汤科技开发有限公司 | 一种图像处理方法、装置、计算机设备及存储介质 |
| CN112270733A (zh) * | 2020-09-29 | 2021-01-26 | 北京五八信息技术有限公司 | Ar表情包的生成方法、装置、电子设备及存储介质 |
| CN113269781A (zh) * | 2021-04-21 | 2021-08-17 | 青岛小鸟看看科技有限公司 | 数据生成方法、装置及电子设备 |
Citations (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106383587A (zh) * | 2016-10-26 | 2017-02-08 | 腾讯科技（深圳）有限公司 | 一种增强现实场景生成方法、装置及设备 |
| CN107749076A (zh) * | 2017-11-01 | 2018-03-02 | 太平洋未来科技（深圳）有限公司 | 增强现实场景中生成现实光照的方法和装置 |
| WO2018121684A1 (zh) * | 2016-12-29 | 2018-07-05 | 中兴通讯股份有限公司 | 一种头戴式设备、游戏交互平台、桌游实现系统及方法 |
| CN108597030A (zh) * | 2018-04-23 | 2018-09-28 | 新华网股份有限公司 | 增强现实ar的光影效果显示方法、装置及电子设备 |
| CN108829479A (zh) * | 2018-06-01 | 2018-11-16 | 北京市商汤科技开发有限公司 | 信息处理方法及装置、存储介质 |
| CN108921941A (zh) * | 2018-07-10 | 2018-11-30 | Oppo广东移动通信有限公司 | 图像处理方法、装置、存储介质和电子设备 |
| CN109147037A (zh) * | 2018-08-16 | 2019-01-04 | Oppo广东移动通信有限公司 | 基于三维模型的特效处理方法、装置和电子设备 |
| CN109597481A (zh) * | 2018-11-16 | 2019-04-09 | Oppo广东移动通信有限公司 | Ar虚拟人物绘制方法、装置、移动终端及存储介质 |
| CN109727303A (zh) * | 2018-12-29 | 2019-05-07 | 广州华多网络科技有限公司 | 视频展示方法、系统、计算机设备、存储介质和终端 |
| CN110209267A (zh) * | 2019-04-24 | 2019-09-06 | 薄涛 | 终端、服务器以及虚拟场景调整方法、介质 |
| CN110308787A (zh) * | 2019-01-16 | 2019-10-08 | 上海触派科技有限公司 | 一种多维交互识别与棋牌游戏结合的ar互动系统及方法 |
| CN110308793A (zh) * | 2019-07-04 | 2019-10-08 | 北京百度网讯科技有限公司 | 增强现实ar表情生成方法、装置及存储介质 |
| CN110503724A (zh) * | 2019-08-19 | 2019-11-26 | 北京猫眼视觉科技有限公司 | 一种基于人脸特征点的ar表情资源构建管理系统及方法 |
| CN110611776A (zh) * | 2018-05-28 | 2019-12-24 | 腾讯科技（深圳）有限公司 | 特效处理方法、计算机设备和计算机存储介质 |
| US10529113B1 (en) * | 2019-01-04 | 2020-01-07 | Facebook Technologies, Llc | Generating graphical representation of facial expressions of a user wearing a head mounted display accounting for previously captured images of the user's facial expressions |
| CN110716645A (zh) * | 2019-10-15 | 2020-01-21 | 北京市商汤科技开发有限公司 | 一种增强现实数据呈现方法、装置、电子设备及存储介质 |
| CN110716646A (zh) * | 2019-10-15 | 2020-01-21 | 北京市商汤科技开发有限公司 | 一种增强现实数据呈现方法、装置、设备及存储介质 |
| CN110738737A (zh) * | 2019-10-15 | 2020-01-31 | 北京市商汤科技开发有限公司 | 一种ar场景图像处理方法、装置、电子设备及存储介质 |
| CN110764614A (zh) * | 2019-10-15 | 2020-02-07 | 北京市商汤科技开发有限公司 | 增强现实数据呈现方法、装置、设备及存储介质 |
| CN110968194A (zh) * | 2019-11-28 | 2020-04-07 | 北京市商汤科技开发有限公司 | 交互对象的驱动方法、装置、设备以及存储介质 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9911232B2 (en) * | 2015-02-27 | 2018-03-06 | Microsoft Technology Licensing, Llc | Molding and anchoring physically constrained virtual environments to real-world environments |
| US10636200B2 (en) * | 2018-01-19 | 2020-04-28 | Htc Corporation | Electronic device, method for displaying an augmented reality scene and non-transitory computer-readable medium |
-
2020
- 2020-06-04 CN CN202010501484.3A patent/CN111639613B/zh active Active
Patent Citations (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106383587A (zh) * | 2016-10-26 | 2017-02-08 | 腾讯科技（深圳）有限公司 | 一种增强现实场景生成方法、装置及设备 |
| WO2018121684A1 (zh) * | 2016-12-29 | 2018-07-05 | 中兴通讯股份有限公司 | 一种头戴式设备、游戏交互平台、桌游实现系统及方法 |
| CN107749076A (zh) * | 2017-11-01 | 2018-03-02 | 太平洋未来科技（深圳）有限公司 | 增强现实场景中生成现实光照的方法和装置 |
| CN108597030A (zh) * | 2018-04-23 | 2018-09-28 | 新华网股份有限公司 | 增强现实ar的光影效果显示方法、装置及电子设备 |
| CN110611776A (zh) * | 2018-05-28 | 2019-12-24 | 腾讯科技（深圳）有限公司 | 特效处理方法、计算机设备和计算机存储介质 |
| CN108829479A (zh) * | 2018-06-01 | 2018-11-16 | 北京市商汤科技开发有限公司 | 信息处理方法及装置、存储介质 |
| CN108921941A (zh) * | 2018-07-10 | 2018-11-30 | Oppo广东移动通信有限公司 | 图像处理方法、装置、存储介质和电子设备 |
| CN109147037A (zh) * | 2018-08-16 | 2019-01-04 | Oppo广东移动通信有限公司 | 基于三维模型的特效处理方法、装置和电子设备 |
| CN109597481A (zh) * | 2018-11-16 | 2019-04-09 | Oppo广东移动通信有限公司 | Ar虚拟人物绘制方法、装置、移动终端及存储介质 |
| WO2020098462A1 (zh) * | 2018-11-16 | 2020-05-22 | Oppo广东移动通信有限公司 | Ar虚拟人物绘制方法、装置、移动终端及存储介质 |
| CN109727303A (zh) * | 2018-12-29 | 2019-05-07 | 广州华多网络科技有限公司 | 视频展示方法、系统、计算机设备、存储介质和终端 |
| US10529113B1 (en) * | 2019-01-04 | 2020-01-07 | Facebook Technologies, Llc | Generating graphical representation of facial expressions of a user wearing a head mounted display accounting for previously captured images of the user's facial expressions |
| CN110308787A (zh) * | 2019-01-16 | 2019-10-08 | 上海触派科技有限公司 | 一种多维交互识别与棋牌游戏结合的ar互动系统及方法 |
| CN110209267A (zh) * | 2019-04-24 | 2019-09-06 | 薄涛 | 终端、服务器以及虚拟场景调整方法、介质 |
| CN110308793A (zh) * | 2019-07-04 | 2019-10-08 | 北京百度网讯科技有限公司 | 增强现实ar表情生成方法、装置及存储介质 |
| CN110503724A (zh) * | 2019-08-19 | 2019-11-26 | 北京猫眼视觉科技有限公司 | 一种基于人脸特征点的ar表情资源构建管理系统及方法 |
| CN110716645A (zh) * | 2019-10-15 | 2020-01-21 | 北京市商汤科技开发有限公司 | 一种增强现实数据呈现方法、装置、电子设备及存储介质 |
| CN110716646A (zh) * | 2019-10-15 | 2020-01-21 | 北京市商汤科技开发有限公司 | 一种增强现实数据呈现方法、装置、设备及存储介质 |
| CN110738737A (zh) * | 2019-10-15 | 2020-01-31 | 北京市商汤科技开发有限公司 | 一种ar场景图像处理方法、装置、电子设备及存储介质 |
| CN110764614A (zh) * | 2019-10-15 | 2020-02-07 | 北京市商汤科技开发有限公司 | 增强现实数据呈现方法、装置、设备及存储介质 |
| CN110968194A (zh) * | 2019-11-28 | 2020-04-07 | 北京市商汤科技开发有限公司 | 交互对象的驱动方法、装置、设备以及存储介质 |
Non-Patent Citations (3)
| Title |
|---|
| Presentation and interaction of Internet of Things data based on augmented reality;Kai Li等;《Computer Communications》;20200421;213-220 * |
| 基于多Kinect的舞台增强现实系统的研究;陈曦;《中国优秀硕士学位论文全文数据库 信息科技辑》;20190115;第2019年卷(第1期);I138-4883 * |
| 基于移动增强现实技术的融媒体系统;王智贝;安平;马然;尤志翔;;工业控制计算机;20180825(08);110-112 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111639613A (zh) | 2020-09-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112348969B (zh) | 增强现实场景下的展示方法、装置、电子设备及存储介质 | |
| CN111639613B (zh) | 一种增强现实ar特效生成方法、装置及电子设备 | |
| CN111640197A (zh) | 一种增强现实ar特效控制方法、装置及设备 | |
| KR102118000B1 (ko) | 타겟 대상 표시 방법 및 디바이스 | |
| CN111638793B (zh) | 飞行器的展示方法、装置、电子设备及存储介质 | |
| CN110716645A (zh) | 一种增强现实数据呈现方法、装置、电子设备及存储介质 | |
| CN111627117B (zh) | 画像展示特效的调整方法、装置、电子设备及存储介质 | |
| WO2016122973A1 (en) | Real time texture mapping | |
| US20170186235A1 (en) | Augmented reality system | |
| CN112348968B (zh) | 增强现实场景下的展示方法、装置、电子设备及存储介质 | |
| CN111679742A (zh) | 基于ar的交互控制方法、装置、电子设备及存储介质 | |
| CN111638797A (zh) | 一种展示控制方法及装置 | |
| CN111640192A (zh) | 场景图像处理方法、装置、ar设备以及存储介质 | |
| CN108090968B (zh) | 增强现实ar的实现方法、装置和计算机可读存储介质 | |
| CN111667588A (zh) | 人物图像处理方法、装置、ar设备以及存储介质 | |
| CN111696215A (zh) | 一种图像处理方法、装置及设备 | |
| CN114332374A (zh) | 一种虚拟显示方法、设备以及存储介质 | |
| CN111625100A (zh) | 图画内容的呈现方法、装置、计算机设备及存储介质 | |
| CN111667590B (zh) | 一种互动合影方法、装置、电子设备及存储介质 | |
| CN111638798A (zh) | 一种ar合影方法、装置、计算机设备及存储介质 | |
| CN112905014A (zh) | Ar场景下的交互方法、装置、电子设备及存储介质 | |
| CN111652983A (zh) | 一种增强现实ar特效生成方法、装置及设备 | |
| CN111651058A (zh) | 历史场景的控制展示方法、装置、电子设备及存储介质 | |
| CN111693063A (zh) | 导航互动展示方法、装置、电子设备及存储介质 | |
| CN117032520A (zh) | 基于数字人的视频播放方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |