CN108563327B - 增强现实方法、装置、存储介质及电子设备 - Google Patents
增强现实方法、装置、存储介质及电子设备 Download PDFInfo
- Publication number
- CN108563327B CN108563327B CN201810253975.3A CN201810253975A CN108563327B CN 108563327 B CN108563327 B CN 108563327B CN 201810253975 A CN201810253975 A CN 201810253975A CN 108563327 B CN108563327 B CN 108563327B
- Authority
- CN
- China
- Prior art keywords
- target
- controlling
- enhancement
- action
- enhanced
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 230000003190 augmentative effect Effects 0.000 title claims abstract description 128
- 238000000034 method Methods 0.000 title claims abstract description 34
- 230000001815 facial effect Effects 0.000 claims abstract description 98
- 230000003993 interaction Effects 0.000 claims abstract description 24
- 230000009471 action Effects 0.000 claims description 87
- 230000008859 change Effects 0.000 claims description 30
- 238000004590 computer program Methods 0.000 claims description 18
- 230000014509 gene expression Effects 0.000 claims description 16
- 210000000214 mouth Anatomy 0.000 claims description 13
- 230000008921 facial expression Effects 0.000 claims description 11
- 241001465754 Metazoa Species 0.000 claims description 9
- 210000001508 eye Anatomy 0.000 claims description 8
- 210000004709 eyebrow Anatomy 0.000 claims description 6
- 210000005069 ears Anatomy 0.000 claims description 4
- 210000001331 nose Anatomy 0.000 claims description 4
- 210000000697 sensory organ Anatomy 0.000 claims description 4
- 238000005516 engineering process Methods 0.000 abstract description 10
- 230000004044 response Effects 0.000 abstract description 5
- 230000001953 sensory effect Effects 0.000 abstract description 5
- 230000008569 process Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000004397 blinking Effects 0.000 description 2
- 230000000193 eyeblink Effects 0.000 description 2
- 210000003128 head Anatomy 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- General Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Processing Or Creating Images (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本申请实施例提供一种增强现实方法、装置、存储介质及电子设备，所述增强现实方法包括：获取目标增强对象及用户的脸部特征信息，若所述脸部特征信息为预设脸部动作，则获取与所述预设脸部动作以及所述目标增强对象相匹配的目标增强内容，并控制所述目标增强对象实现所述目标增强内容，以实现用户与目标增强对象的交互。本申请实施例根据预设脸部动作相匹配的目标增强内容控制增强现实中的虚拟对象实时作出相应的响应，可以提高增强现实技术中的人机交互的多样性以及交互效率，以提升增强现实的用户感官体验。
Description
技术领域
本申请涉及电子技术领域，特别涉及一种增强现实方法、装置、存储介质及电子设备。
背景技术
增强现实(Augmented Reality，AR)技术是通过计算机系统提供的信息增加用户对现实世界感知的技术，将虚拟的信息应用到真实世界，并将计算机生成的虚拟物体、场景或系统提示信息叠加到真实场景中，从而实现对现实的增强。目前，增强现实技术与移动电子设备的应用结合已经越来越受到业界的关注。
发明内容
本申请实施例提供一种增强现实方法、装置、存储介质及电子设备，可以提高增强现实技术中的人机交互的多样性以及交互效率。
本申请实施例提供一种增强现实方法，应用于电子设备中，所述方法包括：
获取目标增强对象；
获取用户的脸部特征信息；
若所述脸部特征信息为预设脸部动作，则获取与所述预设脸部动作以及所述目标增强对象相匹配的目标增强内容；
控制所述目标增强对象实现所述目标增强内容，以实现用户与目标增强对象的交互。
本申请实施例还提供一种增强现实装置，所述装置包括：
第一获取模块，用于获取目标增强对象；
第二获取模块，用于获取用户的脸部特征信息；
第三获取模块，用于若所述脸部特征信息为预设脸部动作，则获取与所述预设脸部动作以及所述目标增强对象相匹配的目标增强内容；
控制模块，用于控制所述目标增强对象实现所述目标增强内容，以实现用户与目标增强对象的交互。
本申请实施例还提供一种存储介质，所述存储介质中存储有计算机程序，当所述计算机程序在计算机上运行时，使得所述计算机执行上述增强现实方法。
本申请实施例还提供一种电子设备，包括处理器和存储器，所述存储器中存储有计算机程序，所述处理器通过调用所述存储器中存储的所述计算机程序，用于执行上述增强现实方法。
本申请实施例通过获取目标增强对象及用户的脸部特征信息，若所述脸部特征信息为预设脸部动作，则获取与所述预设脸部动作以及所述目标增强对象相匹配的目标增强内容，并控制所述目标增强对象实现所述目标增强内容，以实现用户与目标增强对象的交互。本申请实施例根据预设脸部动作相匹配的目标增强内容控制增强现实中的虚拟对象实时作出相应的响应，可以提高增强现实技术中的人机交互的多样性以及交互效率，以提升增强现实的用户感官体验。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的增强现实方法的流程示意图。
图2为本申请实施例提供的增强现实装置的结构示意图。
图3为本申请实施例提供的电子设备的结构示意图。
图4为本申请实施例提供的电子设备的另一结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有付出创造性劳动前提下所获得的所有其他实施例，都属于本申请的保护范围。
本申请的说明书和权利要求书以及上述附图中的术语“第一”、“第二”、“第三”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应当理解，这样描述的对象在适当情况下可以互换。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含。例如，包含了一系列步骤的过程、方法或包含了一系列模块或单元的装置、电子设备、系统不必限于清楚地列出的那些步骤或模块或单元，还可以包括没有清楚地列出的步骤或模块或单元，也可以包括对于这些过程、方法、装置、电子设备或系统固有的其它步骤或模块或单元。
本申请实施例提供一种增强现实方法，所述增强现实方法可以应用于电子设备中。所述电子设备可以是智能手机、平板电脑等设备。
请参阅图1，图1为本申请实施例提供的增强现实方法的流程示意图。所述增强现实方法，可以包括以下步骤：
步骤110，获取目标增强对象。
其中，当电子设备进入增强现实模式时，电子设备的显示屏上显示出增强现实场景，例如增强现实场景中显示的内容包括三维虚拟物体以及用户感知的真实世界相结合的画面，其中，该用户感知的真实世界可以通过内置或者外置的摄像头采集用户所处环境的真实场景的影像。例如，将增强现实场景中显示三维虚拟物体确定为目标增强对象。
该目标增强对象涵盖可以呈现为三维画面的物体。例如，可以将该目标增强对象划分为多个类型。
该目标增强对象的类型可以包括人物、动物、玩偶、场景、书籍、网页、交通工具等。例如，人物可以包括卡通人物、仿真人物等。场景可以包括背景图像、建筑物、景物、远景、近景、颜色、亮度等。
其中，除了在电子设备的显示屏上显示目标增强对象之外，可以通过电子设备上设置的投影装置将该增强现实场景中显示的目标增强对象投影到用户所处环境的真实场景中，比如，将该目标增强对象投影到用户的正前方。
步骤120，获取用户的脸部特征信息。
其中，可以通过电子设备的前置摄像头获取用户的脸部特征信息，其中，该脸部特征信息可以包括眉、眼、耳、鼻、口等五官的动作变化信息。例如眨眼、张口、挑眉、摇头等动作信息。
例如，获取到用户眼睛连续眨动多次，获取到用户做出“O”型的口型等。
步骤130，若所述脸部特征信息为预设脸部动作，则获取与所述预设脸部动作以及所述目标增强对象相匹配的目标增强内容。
其中，所述预设脸部动作为预先存储在电子设备的表情库中的特定表情，并且电子设备中同时存储有与不同的特定表情以及不同的目标增强对象相互匹配的目标增强内容，即电子设备中预先存储有预设脸部动作、目标增强对象及目标增强内容之间的对应关系。
首先，将摄像头获取到的用户脸部特征信息与预存的表情库中的特定表情进行匹配，若匹配成功，则确定所述脸部特征信息为预设脸部动作，并根据该对应关系获取与所述预设脸部动作以及所述目标增强对象相匹配的目标增强内容。
其中，该目标增强内容可以包括目标动作、目标显示位置、目标显示个数、目标显示大小、目标显示透明度、目标显示对比度、目标显示灰度等。
在一些实施例中，所述获取与所述预设脸部动作以及所述目标增强对象相匹配的目标增强内容，包括：
获取与所述预设脸部动作以及所述目标增强对象相匹配的目标动作。
比如，所述目标动作包括人物脸谱变脸、玩偶转圈、场景变换等。
在一些实施例中，可以根据所述目标增强对象的类型，确定与所述预设脸部动作以及所述目标增强对象的类型相匹配的目标动作。
其中，同一个预设脸部动作对应不同的目标增强对象的类型时，匹配到的目标动作不同。
例如，所述目标增强对象的类型为人物、动物、玩偶中的任意一种，目标动作可以包括变换面部表情、变换形体动作、变换外观造型等。例如第一预设脸部动作对应的目标动作为变换为第一面部表情、或者变换为第一形体动作或者变换为第一外观造型。第二预设脸部动作对应的目标动作为切换为第二面部表情、或者切换为第二形体动作或者切换为第二外观造型。例如，获取到用户连续眨眼5次，则对应的目标动作为目标增强对象原地转5圈。
例如，所述目标增强对象的类型为场景，所述目标动作可以包括场景切换。例如第一预设脸部动作对应的目标动作为切换为第一场景。第二预设脸部动作对应的目标动作为切换为第二场景。其中场景切换可以包括背景图像切换、建筑物切换、景物切、远景或近景切换、颜色切换、亮度切换等。
例如，所述目标增强对象的类型为书籍、网页中的任意一种，所述目标动作可以包括翻页、改变字体显示特征等。该字体显示特征可以包括字体类型、字体颜色、字体大小、显示亮度中的任意一种或多种。
在一些实施例中，所述获取与所述预设脸部动作以及所述目标增强对象相匹配的目标增强内容，还包括：
获取与所述预设脸部动作以及所述目标增强对象相匹配的目标显示位置。
例如，第一预设脸部动作对应的目标动作为切换为第一目标显示位置。第二预设脸部动作对应的目标动作为切换为第二目标显示位置。比如，张嘴对应的目标显示位置为显示屏的中心位置，闭左眼对应的目标显示位置为显示屏的左上角，闭右眼对应的目标显示位置为显示屏的右上角，左嘴角下斜对应的目标显示位置为显示屏的左下角，右嘴角下斜对应的目标显示位置为显示屏的右下角。
其中，目标增强内容可以包括目标动作与目标显示位置的组合。例如，同一个预设脸部动作可以对应目标动作与目标显示位置。
在一些实施例中，所述获取与所述预设脸部动作以及所述目标增强对象相匹配的目标增强内容，还包括：
获取与所述预设脸部动作以及所述目标增强对象相匹配的目标显示个数。
例如，第一预设脸部动作对应的目标动作为切换为第一目标显示个数。第二预设脸部动作对应的目标动作为切换为第二目标显示个数。比如，眨眼次数可以对应显示5个目标增强对象等。
其中，目标增强内容可以包括目标动作与目标显示个数的组合。例如，同一个预设脸部动作可以对应目标动作与目标显示个数。
例如，目标增强内容还可以包括目标动作、目标显示位置以及目标显示个数的组合。
步骤140，控制所述目标增强对象实现所述目标增强内容，以实现用户与目标增强对象的交互。
例如，可以控制目标增强对象展示对应的目标动作，或者显示对应的目标显示位置、目标显示个数、目标显示大小、目标显示透明度、目标显示对比度、目标显示灰度等。
在一些实施例中，若获取到的所述目标增强内容包括目标动作，则所述控制所述目标增强对象实现所述目标增强内容，包括：
控制所述目标增强对象执行所述目标动作。
在一些实施例中，所述目标增强对象的类型为人物、动物、玩偶中的任意一种，所述控制所述目标增强对象执行所述目标动作，包括：
控制所述目标增强对象变换面部表情；或者
控制所述目标增强对象变换形体动作；或者
控制所述目标增强对象变换外观造型。
在一些实施例中，所述目标增强对象的类型为场景，所述控制所述目标增强对象执行所述目标动作，包括：
控制所述目标增强对象进行场景切换。
在一些实施例中，所述目标增强对象的类型为书籍、网页中的任意一种，所述控制所述目标增强对象执行所述目标动作，包括：
控制所述目标增强对象进行翻页；或者
控制所述目标增强对象改变字体类型、字体颜色、字体大小、显示亮度中的任意一种或多种。
在一些实施例中，若获取到的所述目标增强内容包括目标显示位置，则控制所述目标增强对象根据所述目标显示位置改变显示位置。
在一些实施例中，若获取到的所述目标增强内容包括目标显示个数，则所述控制所述目标增强对象实现所述目标增强内容，包括：
控制所述目标增强对象根据所述目标显示个数改变显示个数。
在一些实施例中，可以控制所述目标增强对象执行对应的目标动作以及改变显示位置。
在一些实施例中，可以控制所述目标增强对象执行对应的目标动作以及改变显示个数。
在一些实施例中，可以控制所述目标增强对象执行对应的目标动作以及改变显示位置和显示个数。
上述所有可选技术方案，可以采用任意结合形成本发明的可选实施例，在此不再一一赘述。
具体实施时，本申请不受所描述的各个步骤的执行顺序的限制，在不产生冲突的情况下，某些步骤还可以采用其它顺序进行或者同时进行。
由上可知，本申请实施例提供的增强现实方法，通过获取目标增强对象及用户的脸部特征信息，若所述脸部特征信息为预设脸部动作，则获取与所述预设脸部动作以及所述目标增强对象相匹配的目标增强内容，并控制所述目标增强对象实现所述目标增强内容，以实现用户与目标增强对象的交互。本申请实施例根据预设脸部动作相匹配的目标增强内容控制增强现实中的虚拟对象实时作出相应的响应，可以提高增强现实技术中的人机交互的多样性以及交互效率，以提升增强现实的用户感官体验。
本申请实施例还提供一种增强现实装置，所述增强现实装置可以集成在电子设备中，所述电子设备可以是智能手机、平板电脑等设备。
如图2所示，增强现实装置200可以包括：第一获取模块201、第二获取模块202、第三获取模块203以及控制模块204。
其中，所述第一获取模块201，用于获取目标增强对象。
其中，当电子设备进入增强现实模式时，电子设备的显示屏上显示出增强现实场景，例如增强现实场景中显示的内容包括三维虚拟物体以及用户感知的真实世界相结合的画面，其中，该用户感知的真实世界可以通过内置或者外置的摄像头采集用户所处环境的真实场景的影像。例如，将增强现实场景中显示三维虚拟物体确定为目标增强对象。
该目标增强对象涵盖可以呈现为三维画面的物体。例如，可以将该目标增强对象划分为多个类型。
该目标增强对象的类型可以包括人物、动物、玩偶、场景、书籍、网页、交通工具等。例如，人物可以包括卡通人物、仿真人物等。场景可以包括背景图像、建筑物、景物、远景、近景、颜色、亮度等。
其中，除了在电子设备的显示屏上显示目标增强对象之外，可以通过电子设备上设置的投影装置将该增强现实场景中显示的目标增强对象投影到用户所处环境的真实场景中，比如，将该目标增强对象投影到用户的正前方。
所述第二获取模块202，用于获取用户的脸部特征信息。
其中，可以通过电子设备的前置摄像头获取用户的脸部特征信息，其中，该脸部特征信息可以包括眉、眼、耳、鼻、口等五官的动作变化信息。例如眨眼、张口、挑眉、摇头等动作信息。
例如，所述第二获取模块202获取到用户眼睛连续眨动多次，获取到用户做出“O”型的口型等。
所述第三获取模块203，用于若所述脸部特征信息为预设脸部动作，则获取与所述预设脸部动作以及所述目标增强对象相匹配的目标增强内容。
其中，所述预设脸部动作为预先存储在电子设备的表情库中的特定表情，并且电子设备中同时存储有与不同的特定表情以及不同的目标增强对象相互匹配的目标增强内容，即电子设备中预先存储有预设脸部动作、目标增强对象及目标增强内容之间的对应关系。
首先，所述第三获取模块203将摄像头获取到的用户脸部特征信息与预存的表情库中的特定表情进行匹配，若匹配成功，则确定所述脸部特征信息为预设脸部动作，并根据该对应关系获取与所述预设脸部动作以及所述目标增强对象相匹配的目标增强内容。
其中，该目标增强内容可以包括目标动作、目标显示位置、目标显示个数、目标显示大小、目标显示透明度、目标显示对比度、目标显示灰度等。
在一些实施例中，所述第三获取模块203，用于获取与所述预设脸部动作以及所述目标增强对象相匹配的目标动作。
比如，所述目标动作包括人物脸谱变脸、玩偶转圈、场景变换等。
在一些实施例中，所述第三获取模块203，可以用于根据所述目标增强对象的类型，确定与所述预设脸部动作以及所述目标增强对象的类型相匹配的目标动作。
其中，同一个预设脸部动作对应不同的目标增强对象的类型时，匹配到的目标动作不同。
例如，所述目标增强对象的类型为人物、动物、玩偶中的任意一种，目标动作可以包括变换面部表情、变换形体动作、变换外观造型等。例如第一预设脸部动作对应的目标动作为变换为第一面部表情、或者变换为第一形体动作或者变换为第一外观造型。第二预设脸部动作对应的目标动作为切换为第二面部表情、或者切换为第二形体动作或者切换为第二外观造型。例如，所述第二获取模块202获取到用户连续眨眼5次，则所述第三获取模块203获取的对应的目标动作为目标增强对象原地转5圈。
例如，所述目标增强对象的类型为场景，所述目标动作可以包括场景切换。例如第一预设脸部动作对应的目标动作为切换为第一场景。第二预设脸部动作对应的目标动作为切换为第二场景。其中场景切换可以包括背景图像切换、建筑物切换、景物切、远景或近景切换、颜色切换、亮度切换等。
例如，所述目标增强对象的类型为书籍、网页中的任意一种，所述目标动作可以包括翻页、改变字体显示特征等。该字体显示特征可以包括字体类型、字体颜色、字体大小、显示亮度中的任意一种或多种。
在一些实施例中，所述第三获取模块203，还用于获取与所述预设脸部动作以及所述目标增强对象相匹配的目标显示位置。
例如，第一预设脸部动作对应的目标动作为切换为第一目标显示位置。第二预设脸部动作对应的目标动作为切换为第二目标显示位置。比如，张嘴对应的目标显示位置为显示屏的中心位置，闭左眼对应的目标显示位置为显示屏的左上角，闭右眼对应的目标显示位置为显示屏的右上角，左嘴角下斜对应的目标显示位置为显示屏的左下角，右嘴角下斜对应的目标显示位置为显示屏的右下角。
其中，目标增强内容可以包括目标动作与目标显示位置的组合。例如，同一个预设脸部动作可以对应目标动作与目标显示位置。
在一些实施例中，所述第三获取模块203，还用于获取与所述预设脸部动作以及所述目标增强对象相匹配的目标显示个数。
例如，第一预设脸部动作对应的目标动作为切换为第一目标显示个数。第二预设脸部动作对应的目标动作为切换为第二目标显示个数。比如，眨眼次数可以对应显示5个目标增强对象等。
其中，目标增强内容可以包括目标动作与目标显示个数的组合。例如，同一个预设脸部动作可以对应目标动作与目标显示个数。
例如，目标增强内容还可以包括目标动作、目标显示位置以及目标显示个数的组合。
所述控制模块204，用于控制所述目标增强对象实现所述目标增强内容，以实现用户与目标增强对象的交互。
例如，所述控制模块204可以控制目标增强对象展示对应的目标动作，或者显示对应的目标显示位置、目标显示个数、目标显示大小、目标显示透明度、目标显示对比度、目标显示灰度等。
在一些实施例中，若所述第三获取模块203获取到的所述目标增强内容包括目标动作，则所述控制模块204用于控制所述目标增强对象执行所述目标动作。
在一些实施例中，所述目标增强对象的类型为人物、动物、玩偶中的任意一种，所述控制模块204，用于：
控制所述目标增强对象变换面部表情；或者
控制所述目标增强对象变换形体动作；或者
控制所述目标增强对象变换外观造型。
在一些实施例中，所述目标增强对象的类型为场景，所述控制模块204，用于：
控制所述目标增强对象进行场景切换。
在一些实施例中，所述目标增强对象的类型为书籍、网页中的任意一种，所述控制模块204，用于：
控制所述目标增强对象进行翻页；或者
控制所述目标增强对象改变字体类型、字体颜色、字体大小、显示亮度中的任意一种或多种。
在一些实施例中，若所述第三获取模块203获取到的所述目标增强内容包括目标显示位置，则所述控制模块204用于控制所述目标增强对象根据所述目标显示位置改变显示位置。
在一些实施例中，若所述第三获取模块203获取到的所述目标增强内容包括目标显示个数，则所述控制模块204用于控制所述目标增强对象根据所述目标显示个数改变显示个数。
在一些实施例中，所述控制模块204可以控制所述目标增强对象执行对应的目标动作以及改变显示位置。
在一些实施例中，所述控制模块204可以控制所述目标增强对象执行对应的目标动作以及改变显示个数。
在一些实施例中，所述控制模块204可以控制所述目标增强对象执行对应的目标动作以及改变显示位置和显示个数。
具体实施时，以上各个模块可以作为独立的实体来实现，也可以进行任意组合，作为同一或若干个实体来实现。
由上可知，本申请实施例提供的增强现实装置200，通过第一获取模块201获取目标增强对象，第二获取模块202获取用户的脸部特征信息，若所述脸部特征信息为预设脸部动作，第三获取模块203获取与所述预设脸部动作以及所述目标增强对象相匹配的目标增强内容，且控制模块204控制所述目标增强对象实现所述目标增强内容，以实现用户与目标增强对象的交互。本申请实施例提供的增强现实装置200根据预设脸部动作相匹配的目标增强内容控制增强现实中的虚拟对象实时作出相应的响应，可以提高增强现实技术中的人机交互的多样性以及交互效率，以提升增强现实的用户感官体验。
本申请实施例还提供一种电子设备。所述电子设备可以是智能手机、平板电脑等设备。如图3所示，电子设备300包括处理器301和存储器302。其中，处理器301与存储器302电性连接。
处理器301是电子设备300的控制中心，利用各种接口和线路连接整个电子设备的各个部分，通过运行或调用存储在存储器302内的计算机程序，以及调用存储在存储器302内的数据，执行电子设备的各种功能和处理数据，从而对电子设备进行整体监控。
在本实施例中，电子设备300中的处理器301会按照如下的步骤，将一个或一个以上的计算机程序的进程对应的指令加载到存储器302中，并由处理器301来运行存储在存储器302中的计算机程序，从而实现各种功能：
获取目标增强对象；
获取用户的脸部特征信息；
若所述脸部特征信息为预设脸部动作，则获取与所述预设脸部动作以及所述目标增强对象相匹配的目标增强内容；
控制所述目标增强对象实现所述目标增强内容，以实现用户与目标增强对象的交互。
在一些实施例中，处理器301用于：
所述获取与所述预设脸部动作以及所述目标增强对象相匹配的目标增强内容，包括：
获取与所述预设脸部动作以及所述目标增强对象相匹配的目标动作；
所述控制所述目标增强对象实现所述目标增强内容，包括：
控制所述目标增强对象执行所述目标动作
在一些实施例中，处理器301用于所述获取与所述预设脸部动作以及所述目标增强对象相匹配的目标动作，包括：
根据所述目标增强对象的类型，确定与所述预设脸部动作以及所述目标增强对象的类型相匹配的目标动作。
在一些实施例中，处理器301用于所述目标增强对象的类型为人物、动物、玩偶中的任意一种，所述控制所述目标增强对象执行所述目标动作，包括：
控制所述目标增强对象变换面部表情；或者
控制所述目标增强对象变换形体动作；或者
控制所述目标增强对象变换外观造型。
在一些实施例中，处理器301用于所述目标增强对象的类型为场景，所述控制所述目标增强对象执行所述目标动作，包括：
控制所述目标增强对象进行场景切换。
在一些实施例中，处理器301用于所述目标增强对象的类型为书籍、网页中的任意一种，所述控制所述目标增强对象执行所述目标动作，包括：
控制所述目标增强对象进行翻页；或者
控制所述目标增强对象改变字体类型、字体颜色、字体大小、显示亮度中的任意一种或多种。
在一些实施例中，处理器301用于：
所述获取与所述预设脸部动作以及所述目标增强对象相匹配的目标增强内容，还包括：
获取与所述预设脸部动作以及所述目标增强对象相匹配的目标显示位置；
所述控制所述目标增强对象实现所述目标增强内容，包括：
控制所述目标增强对象根据所述目标显示位置改变显示位置。
在一些实施例中，处理器301用于：
所述获取与所述预设脸部动作以及所述目标增强对象相匹配的目标增强内容，还包括：
获取与所述预设脸部动作以及所述目标增强对象相匹配的目标显示个数；
所述控制所述目标增强对象实现所述目标增强内容，包括：
控制所述目标增强对象根据所述目标显示个数改变显示个数。
存储器302可用于存储计算机程序和数据。存储器302存储的计算机程序中包含有可在处理器中执行的指令。计算机程序可以组成各种功能模块。处理器301通过调用存储在存储器302的计算机程序，从而执行各种功能应用以及数据处理。
在一些实施例中，如图4所示，电子设备300还包括：射频电路303、显示屏304、控制电路305、输入单元306、音频电路307、传感器308以及摄像头309。其中，处理器301分别与射频电路303、显示屏304、控制电路305、输入单元306、音频电路307、传感器308以及电源309电性连接。
射频电路303用于收发射频信号，以通过无线通信与网络设备或其他电子设备进行通信。
显示屏304可用于显示由用户输入的信息或提供给用户的信息以及电子设备的各种图形用户接口，这些图形用户接口可以由图像、文本、图标、视频和其任意组合来构成。
控制电路305与显示屏304电性连接，用于控制显示屏304显示信息。
输入单元306可用于接收输入的数字、字符信息或用户特征信息(例如指纹)，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。其中，输入单元306可以包括指纹识别模组。
音频电路307可通过扬声器、传声器提供用户与电子设备之间的音频接口。
传感器308用于采集外部环境信息。传感器308可以包括环境亮度传感器、加速度传感器、陀螺仪等传感器中的一种或多种。
摄像头309用于拍摄图像、视频或者采集用户脸部信息。
尽管图4中未示出，电子设备300还可以包括电源、蓝牙模块等，在此不再赘述。
由上可知，本申请实施例提供了一种电子设备，所述电子设备执行以下步骤：获取目标增强对象及获取用户的脸部特征信息，若所述脸部特征信息为预设脸部动作，则获取与所述预设脸部动作以及所述目标增强对象相匹配的目标增强内容，并控制所述目标增强对象实现所述目标增强内容，以实现用户与目标增强对象的交互。所述电子设备根据预设脸部动作相匹配的目标增强内容控制增强现实中的虚拟对象实时作出相应的响应，可以提高增强现实技术中的人机交互的多样性以及交互效率，以提升增强现实的用户感官体验。
本申请实施例还提供一种存储介质，所述存储介质中存储有计算机程序，当所述计算机程序在计算机上运行时，所述计算机执行上述任一实施例所述的增强现实方法。
需要说明的是，对本申请所述增强现实方法而言，本领域普通测试人员可以理解实现本申请实施例所述应用管理方法的全部或部分流程，是可以通过计算机程序来控制相关的硬件来完成，所述计算机程序可存储于一计算机可读存储介质中，如存储在电子设备的存储器中，并被该电子设备内的至少一个处理器执行，在执行过程中可包括如所述应用管理方法的实施例的流程。其中，所述存储介质可为磁碟、光盘、只读存储器(ROM，ReadOnly Memory)、随机存取记忆体(RAM，Random Access Memory)等。
对本申请实施例的所述增强现实装置而言，其各功能模块可以集成在一个处理芯片中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读存储介质中，所述存储介质譬如为只读存储器，磁盘或光盘等。
以上对本申请实施例所提供的增强现实方法、装置、存储介质及电子设备进行了详细介绍。本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。
Claims (4)
1.一种增强现实方法，应用于电子设备中，其特征在于，所述方法包括：
当电子设备将增强现实场景中显示的目标增强对象投影至真实场景中时，获取所述目标增强对象；
通过电子设备的前置摄像头获取用户的脸部特征信息，所述脸部特征信息包括眉、眼、耳、鼻、口等五官的动作变化信息；
将所述脸部特征信息与预先存储在电子设备的表情库中的特定表情进行匹配；
若匹配成功，则确定所述脸部特征信息为与所述特定表情相对应的预设脸部动作；
获取与所述预设脸部动作以及所述目标增强对象的类型相匹配的一个或多个目标增强内容，所述目标增强内容包括目标动作、目标显示位置、目标显示个数、目标显示大小、目标显示透明度、目标显示对比度以及目标显示灰度，其中，同一预设脸部动作对应不同的目标增强对象的类型时，匹配得到的目标增强内容不同；
控制不同类型的目标增强对象实现所述一个或多个目标增强内容，以实现用户与目标增强对象的交互；
当所述目标增强内容为目标动作时，所述控制不同类型的目标增强对象实现所述一个或多个目标增强内容，包括：控制所述目标增强对象执行所述目标动作；
当所述目标增强对象的类型为人物、动物、玩偶中的任意一种时，所述控制所述目标增强对象执行所述目标动作，包括：控制所述目标增强对象变换面部表情；或者控制所述目标增强对象变换形体动作；或者控制所述目标增强对象变换外观造型；
当所述目标增强对象的类型为场景，所述控制所述目标增强对象执行所述目标动作，包括：控制所述目标增强对象进行场景切换，所述场景切换包括背景图像切换、建筑物切换、景物切换、远景或近景切换、颜色切换、亮度切换；
当所述目标增强对象的类型为书籍、网页中的任意一种，所述控制所述目标增强对象执行所述目标动作，包括：控制所述目标增强对象进行翻页；或者控制所述目标增强对象改变字体类型、字体颜色、字体大小、显示亮度中的任意一种或多种；或者
当所述目标增强内容为目标显示位置时，所述控制不同类型的目标增强对象实现所述一个或多个目标增强内容，包括：控制所述目标增强对象根据所述目标显示位置改变显示位置；
当所述目标增强内容为目标显示个数时，所述控制不同类型的目标增强对象实现所述一个或多个目标增强内容，包括：控制所述目标增强对象根据所述目标显示个数改变显示个数。
2.一种增强现实装置，其特征在于，所述装置包括：
第一获取模块，用于当电子设备将增强现实场景中显示的目标增强对象投影至真实场景中时，获取所述目标增强对象；
第二获取模块，用于通过电子设备的前置摄像头获取用户的脸部特征信息，所述脸部特征信息包括眉、眼、耳、鼻、口等五官的动作变化信息；
第三获取模块，用于将所述脸部特征信息与预先存储在电子设备的表情库中的特定表情进行匹配；若匹配成功，则确定所述脸部特征信息为与所述特定表情相对应的预设脸部动作；获取与所述预设脸部动作以及所述目标增强对象的类型相匹配的一个或多个目标增强内容，所述目标增强内容包括目标动作、目标显示位置、目标显示个数、目标显示大小、目标显示透明度、目标显示对比度以及目标显示灰度，其中，同一预设脸部动作对应不同的目标增强对象的类型时，匹配得到的目标增强内容不同；
控制模块，用于控制不同类型的目标增强对象实现所述一个或多个目标增强内容，以实现用户与目标增强对象的交互；
所述第三获取模块，用于获取与所述预设脸部动作以及所述目标增强对象相匹配的目标动作；
所述控制模块，还用于控制所述目标增强对象执行所述目标动作；
当所述目标增强对象的类型为人物、动物、玩偶中的任意一种时，所述控制模块用于：控制所述目标增强对象变换面部表情；或者控制所述目标增强对象变换形体动作；或者控制所述目标增强对象变换外观造型；
当所述目标增强对象的类型为场景，所述控制模块用于：控制所述目标增强对象进行场景切换；
当所述目标增强对象的类型为书籍、网页中的任意一种，所述控制模块用于：控制所述目标增强对象进行翻页；或者控制所述目标增强对象改变字体类型、字体颜色、字体大小、显示亮度中的任意一种或多种；
所述第三获取模块，还用于获取与所述预设脸部动作以及所述目标增强对象相匹配的目标显示位置；
所述控制模块，还用于控制所述目标增强对象根据所述目标显示位置改变显示位置；
所述第三获取模块，还用于获取与所述预设脸部动作以及所述目标增强对象相匹配的目标显示个数；
所述控制模块，还用于控制所述目标增强对象根据所述目标显示个数改变显示个数。
3.一种存储介质，其特征在于，所述存储介质中存储有计算机程序，当所述计算机程序在计算机上运行时，使得所述计算机执行权利要求1所述的增强现实方法。
4.一种电子设备，其特征在于，所述电子设备包括处理器和存储器，所述存储器中存储有计算机程序，所述处理器通过调用所述存储器中存储的所述计算机程序，用于执行权利要求1所述的增强现实方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810253975.3A CN108563327B (zh) | 2018-03-26 | 2018-03-26 | 增强现实方法、装置、存储介质及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810253975.3A CN108563327B (zh) | 2018-03-26 | 2018-03-26 | 增强现实方法、装置、存储介质及电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108563327A CN108563327A (zh) | 2018-09-21 |
| CN108563327B true CN108563327B (zh) | 2020-12-01 |
Family
ID=63533307
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810253975.3A Expired - Fee Related CN108563327B (zh) | 2018-03-26 | 2018-03-26 | 增强现实方法、装置、存储介质及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108563327B (zh) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109671317B (zh) * | 2019-01-30 | 2021-05-25 | 重庆康普达科技有限公司 | 基于ar的脸谱互动教学方法 |
| CN110716645A (zh) * | 2019-10-15 | 2020-01-21 | 北京市商汤科技开发有限公司 | 一种增强现实数据呈现方法、装置、电子设备及存储介质 |
| CN111880646A (zh) * | 2020-06-16 | 2020-11-03 | 广东工业大学 | 一种基于具身认知情感控制的增强现实变脸系统及方法 |
| CN111773676A (zh) * | 2020-07-23 | 2020-10-16 | 网易（杭州）网络有限公司 | 确定虚拟角色动作的方法及装置 |
| CN114115530A (zh) * | 2021-11-08 | 2022-03-01 | 深圳市雷鸟网络传媒有限公司 | 虚拟对象控制方法、装置、电子设备及存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102981616A (zh) * | 2012-11-06 | 2013-03-20 | 中兴通讯股份有限公司 | 增强现实中对象的识别方法及系统和计算机 |
| CN105683868A (zh) * | 2013-11-08 | 2016-06-15 | 高通股份有限公司 | 用于空间交互中的额外模态的面部跟踪 |
| CN106127828A (zh) * | 2016-06-28 | 2016-11-16 | 广东欧珀移动通信有限公司 | 一种增强现实的处理方法、装置及移动终端 |
| CN106203288A (zh) * | 2016-06-28 | 2016-12-07 | 广东欧珀移动通信有限公司 | 一种基于增强现实的拍照方法、装置和移动终端 |
| CN106774829A (zh) * | 2016-11-14 | 2017-05-31 | 平安科技（深圳）有限公司 | 一种对象控制方法和装置 |
-
2018
- 2018-03-26 CN CN201810253975.3A patent/CN108563327B/zh not_active Expired - Fee Related
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102981616A (zh) * | 2012-11-06 | 2013-03-20 | 中兴通讯股份有限公司 | 增强现实中对象的识别方法及系统和计算机 |
| CN105683868A (zh) * | 2013-11-08 | 2016-06-15 | 高通股份有限公司 | 用于空间交互中的额外模态的面部跟踪 |
| CN106127828A (zh) * | 2016-06-28 | 2016-11-16 | 广东欧珀移动通信有限公司 | 一种增强现实的处理方法、装置及移动终端 |
| CN106203288A (zh) * | 2016-06-28 | 2016-12-07 | 广东欧珀移动通信有限公司 | 一种基于增强现实的拍照方法、装置和移动终端 |
| CN106774829A (zh) * | 2016-11-14 | 2017-05-31 | 平安科技（深圳）有限公司 | 一种对象控制方法和装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108563327A (zh) | 2018-09-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108563327B (zh) | 增强现实方法、装置、存储介质及电子设备 | |
| US11043031B2 (en) | Content display property management | |
| US10636215B2 (en) | Systems and methods for providing real-time composite video from multiple source devices featuring augmented reality elements | |
| CN112379812B (zh) | 仿真3d数字人交互方法、装置、电子设备及存储介质 | |
| KR20210046591A (ko) | 증강 현실 데이터 제시 방법, 장치, 전자 기기 및 저장 매체 | |
| CN108525305B (zh) | 图像处理方法、装置、存储介质及电子设备 | |
| JP7008730B2 (ja) | 画像に挿入される画像コンテンツについての影生成 | |
| CN108273265A (zh) | 虚拟对象的显示方法及装置 | |
| CN110555507B (zh) | 虚拟机器人的交互方法、装置、电子设备及存储介质 | |
| CN105320262A (zh) | 操作虚拟世界里的电脑和手机的方法、装置以及使用其的眼镜 | |
| KR102491140B1 (ko) | 가상 아바타 생성 방법 및 장치 | |
| US11989845B2 (en) | Implementation and display of augmented reality | |
| CN108519816A (zh) | 信息处理方法、装置、存储介质及电子设备 | |
| CN110136236B (zh) | 三维角色的个性化脸部显示方法、装置、设备及存储介质 | |
| JP2022550948A (ja) | ３次元顔モデル生成方法、装置、コンピュータデバイス及びコンピュータプログラム | |
| US20180032139A1 (en) | Interactive system control apparatus and method | |
| CN110692237B (zh) | 用于照明插入内容的方法、系统和介质 | |
| US20190302880A1 (en) | Device for influencing virtual objects of augmented reality | |
| US10955911B2 (en) | Gazed virtual object identification module, a system for implementing gaze translucency, and a related method | |
| CN111308707A (zh) | 画面显示调节方法、装置、存储介质及增强现实显示设备 | |
| CN108537149B (zh) | 图像处理方法、装置、存储介质及电子设备 | |
| CN111383313B (zh) | 一种虚拟模型渲染方法、装置、设备及可读存储介质 | |
| CN109200586A (zh) | 基于增强现实的游戏实现方法和装置 | |
| CN111488090A (zh) | 交互方法、装置、交互系统、电子设备及存储介质 | |
| CN113194329B (zh) | 直播互动方法、装置、终端及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information | ||
| CB02 | Change of applicant information |
Address after: Changan town in Guangdong province Dongguan 523860 usha Beach Road No. 18 Applicant after: GUANGDONG OPPO MOBILE TELECOMMUNICATIONS Corp.,Ltd. Address before: Changan town in Guangdong province Dongguan 523860 usha Beach Road No. 18 Applicant before: GUANGDONG OPPO MOBILE TELECOMMUNICATIONS Corp.,Ltd. |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20201201 |