CN108492363B - 基于增强现实的结合方法、装置、存储介质及电子设备 - Google Patents
基于增强现实的结合方法、装置、存储介质及电子设备 Download PDFInfo
- Publication number
- CN108492363B CN108492363B CN201810253886.9A CN201810253886A CN108492363B CN 108492363 B CN108492363 B CN 108492363B CN 201810253886 A CN201810253886 A CN 201810253886A CN 108492363 B CN108492363 B CN 108492363B
- Authority
- CN
- China
- Prior art keywords
- determining
- image
- information
- person image
- target person
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 230000003190 augmentative effect Effects 0.000 title claims abstract description 53
- 238000000034 method Methods 0.000 title claims abstract description 44
- 238000004590 computer program Methods 0.000 claims description 16
- 238000007781 pre-processing Methods 0.000 claims description 15
- 238000012545 processing Methods 0.000 claims description 5
- 238000004458 analytical method Methods 0.000 claims description 3
- 230000010354 integration Effects 0.000 claims description 3
- 238000000605 extraction Methods 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 7
- 239000000284 extract Substances 0.000 description 7
- 230000000875 corresponding effect Effects 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 230000001276 controlling effect Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000004397 blinking Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000008921 facial expression Effects 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 238000013500 data storage Methods 0.000 description 1
- 238000007599 discharging Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000029553 photosynthesis Effects 0.000 description 1
- 238000010672 photosynthesis Methods 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Processing Or Creating Images (AREA)
Abstract
本申请实施例公开了一种基于增强现实的结合方法、装置、存储介质及电子设备，其中，本申请实施例通过获取待结合图像，并识别出待结合图像中的目标人物图像；确定目标人物图像的脚部信息；根据脚部信息确定虚拟平面，并获取三维虚拟角色；将三维虚拟角色结合在虚拟平面上。以此可以根据真实人物在图像中的实时位置信息，确定出虚拟平台，将虚拟的三维虚拟角色结合在虚拟平台上，实现真实人物与虚拟的三维虚拟角色的结合，提高了场景的趣味性，并提升了增强现实场景的结合效率。
Description
技术领域
本发明涉及增强现实技术领域，尤其涉及一种基于增强现实的结合方法、装置、存储介质及电子设备。
背景技术
随着科技的发展，人机接口技术成为智能设备发展的重要方向，基于增强现实(Augmented Reality，AR)的人机接口技术也应运而生。所述增强现实技术是一种将真实世界信息和虚拟世界信息“无缝”集成的新技术，是把原本在现实世界的一定时间空间范围内很难体验到的实体信息(视觉信息,声音,味道,触觉等),通过电脑等科学技术，模拟仿真后再叠加，将虚拟的信息应用到真实世界，被人类感官所感知，从而达到超越现实的感官体验。真实的环境和虚拟的物体实时地叠加到了同一个画面或空间同时存在。
当前，在增强现实的场景中，用户可以实现与虚拟三维人物进行拍照合影，但是由于真实场景的复杂性，导致虚拟三维人物的放置位置容易发生偏差，与真实场景融合度较差。
发明内容
本申请实施例提供了一种基于增强现实的结合方法、装置、存储介质及电子设备，能够提升增强现实场景的结合效率。
第一方面，本申请实施例了提供了一种基于增强现实的结合方法，应用于电子设备，包括：
获取待结合图像，并识别出所述待结合图像中的目标人物图像；
确定所述目标人物图像的脚部信息；
根据所述脚部信息确定虚拟平面，并获取三维虚拟角色；
将所述三维虚拟角色结合在所述虚拟平面上。
第二方面，本申请实施例了提供了的一种基于增强现实的结合装置，包括：
识别单元，用于获取待结合图像，并识别出所述待结合图像中的目标人物图像；
第一确定单元，用于确定所述目标人物图像的脚部信息；
第二确定单元，用于根据所述脚部信息确定虚拟平面，并获取三维虚拟角色；
结合单元，用于将所述三维虚拟角色结合在所述虚拟平面上。
第三方面，本申请实施例提供的存储介质，其上存储有计算机程序，当所述计算机程序在计算机上运行时，使得所述计算机执行如本申请任一实施例提供的基于增强现实的结合方法。
第四方面，本申请实施例提供的电子设备，包括处理器和存储器，所述存储器有计算机程序，其特征在于，所述处理器通过调用所述计算机程序，用于执行如本申请任一实施例提供的基于增强现实的结合方法。
本申请实施例通过获取待结合图像，并识别出待结合图像中的目标人物图像；确定目标人物图像的脚部信息；根据脚部信息确定虚拟平面，并获取三维虚拟角色；将三维虚拟角色结合在虚拟平面上。以此可以根据真实人物在图像中的实时位置信息，确定出虚拟平台，将虚拟的三维虚拟角色结合在虚拟平台上，实现真实人物与虚拟的三维虚拟角色的结合，提高了场景的趣味性，并提升了增强现实场景的结合效率。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的基于增强现实的结合方法的一个流程示意图。
图2是本申请实施例提供的基于增强现实的结合方法的另一个流程示意图。
图3是本申请实施例提供的基于增强现实的场景结合示意图。
图4是本申请实施例提供的基于增强现实的结合装置的一个结构示意图。
图5是本申请实施例提供的基于增强现实的结合装置的另一结构示意图。
图6是本申请实施例提供的电子设备的一个结构示意图。
图7是本申请实施例提供的电子设备的另一结构示意图。
具体实施方式
请参照图式，其中相同的组件符号代表相同的组件，本申请的原理是以实施在一适当的运算环境中来举例说明。以下的说明是基于所例示的本申请具体实施例，其不应被视为限制本申请未在此详述的其它具体实施例。
在以下的说明中，本申请的具体实施例将参考由一部或多部计算机所执行的步骤及符号来说明，除非另有述明。因此，这些步骤及操作将有数次提到由计算机执行，本文所指的计算机执行包括了由代表了以一结构化型式中的数据的电子信号的计算机处理单元的操作。此操作转换该数据或将其维持在该计算机的内存系统中的位置处，其可重新配置或另外以本领域测试人员所熟知的方式来改变该计算机的运作。该数据所维持的数据结构为该内存的实体位置，其具有由该数据格式所定义的特定特性。但是，本申请原理以上述文字来说明，其并不代表为一种限制，本领域测试人员将可了解到以下所述的多种步骤及操作亦可实施在硬件当中。
本文所使用的术语“模块”可看做为在该运算系统上执行的软件对象。本文所述的不同组件、模块、引擎及服务可看做为在该运算系统上的实施对象。而本文所述的装置及方法可以以软件的方式进行实施，当然也可在硬件上进行实施，均在本申请保护范围之内。
本申请中的术语“第一”、“第二”和“第三”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或模块的过程、方法、系统、产品或设备没有限定于已列出的步骤或模块，而是某些实施例还包括没有列出的步骤或模块，或某些实施例还包括对于这些过程、方法、产品或设备固有的其它步骤或模块。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
本申请实施例提供一种基于增强现实的结合方法，该基于增强现实的结合方法的执行主体可以是本申请实施例提供的基于增强现实的结合装置，或者集成了该基于增强现实的结合装置的电子设备，其中该基于增强现实的结合装置可以采用硬件或者软件的方式实现。其中，电子设备可以是智能手机、平板电脑、掌上电脑、笔记本电脑、或者台式电脑等设备。
请参阅图1，图1为本申请实施例提供的基于增强现实的结合方法的流程示意图。本申请实施例提供的基于增强现实的结合方法的具体流程可以如下：
201、获取待结合图像，并识别出待结合图像中的目标人物图像。
其中，该待结合图像可以为通过摄像头实时采集的视频流中的图像，联合照片专家组(Joint Photographic Expert Group，JPEG)、图形交换格式(Graphics InterchangeFormat，GIF)格式等等。
进一步的，可以通过电子设备上的前置摄像头或者后置摄像头获取当前图像(待结合图像)，并且通过识别该待结合图像中的特征识别出目标人物图像。该目标人物图像为人物的全身图像。
具体而言，获取待结合图像，并识别出待结合图像中的目标人物图像的步骤，可以包括：
(1)分析待结合图像，确定出待结合图像中的人物图像；
(2)当检测出该人物图像为单个时，将该人物图像确定为目标人物图像；
(3)当检测出该人物图像不为单个时，生成提示信息，并接收用户根据该提示信息选择的目标人物图像。
其中，由于人物图像中的人脸图像中包含的模式特征十方丰富，如直方图特征、颜色特征、模板特征、结构特征以及Haar特征(Haar特征是一种反映图像的灰度变化的，像素分模块求差值的一种特征)等。所以可以对待结合的图像进行特征扫描，确定出待结合图像中的人脸图像。进而根据该人脸图像确定人物图像。
进一步的，由于待结合图像中，可能会包含有多个人物图像，但是电子设备只需要一个人物图像。因此，可以先扫描待结合图像，确定出待结合图像上的所有人物图像。电子设备可以检测该人物图像是否为单个，当检测出人物图像为单个时，直接将该人物图像确定为目标人物图像。当检测出人物图像不为单个时，可以生成提示信息，并接收用户根据该提示信息选择的目标人物图像。
202、确定目标人物图像的脚部信息。
其中，在获取到目标人物图像后，电子设备会对该目标人物图像进行扫描，确定出目标人物图像中人物的脚部位置，在确定脚部位置后，电子设备会提取该脚部位置对应的脚部信息，该脚部信息可以包括目标人物图像中人物的脚部的坐标信息，该坐标信息为多个三维坐标组成，该多个三维坐标组成该用户的脚部形状以及脚部大小。
在一实施方式中，该确定目标人物图像的脚部信息的步骤，可以包括：
(1)将该目标人物图像进行图像预处理；
(2)确定图像预处理后的目标人物图像的脚部位置；
(3)基于该脚部位置，提取出该目标人物图像的脚部信息。
其中，电子设备可以针对该目标人物图像进行灰度校正以及噪声过滤等图像预处理，在预处理之后，通过对预处理后的目标人物图像进行特征扫描，确定出该目标人物图像的脚部位置。
进一步的，电子设备基于该确定的脚部位置，提取出该目标人物图像的脚部位置对应的脚部信息(多个三维坐标)。
203、根据脚部信息确定虚拟平面，并获取三维虚拟角色。
其中，在获得脚部信息(多个三维坐标)后，电子设备识别出与该用户脚部的三维坐标信息相交的支撑平面，即用户脚部的支撑面，提取出该支撑平面上多个特征点，该多个特征点可以形成虚拟平面，该虚拟平面用于与三维虚拟角色结合，将该三维虚拟角色的脚部结合在该虚拟平面上，可以实现更好的结合效果。
进一步的，在确定虚拟平面后，可以获取三维虚拟角色，该三维虚拟角色可以为对现实人物的图像进行三维建模形成，也可以为对虚拟游戏人物进行三维建模形成，此处不作具体限定。
在一实施方式中，该根据脚部信息确定虚拟平面，并获取三维虚拟角色的步骤，可以包括：
(1)根据该脚部信息确定该目标人物图像的支撑平面；
(2)对该支撑平面进行分析，提取出该支撑平面的多个特征点；
(3)基于该多个特征点确定出虚拟平面，并获取三维虚拟角色。
其中，获取脚部信息中的多个三维坐标，检测出多个三维坐标中与待结合图像中的物体有交集的三维坐标，该与目标人物图像的脚部有交集的物体即为支撑平面，在确定支撑平面后，对该支撑平面进行特征分析，提取该支撑平面上的多个特征点，该多个特征点构成该支撑平面的坡度信息以及凹凸信息。
进一步的，将该多个特征点串联起来，构成虚拟平面，并获取需要结合的三维虚拟角色。
204、将三维虚拟角色结合在虚拟平面上。
其中，可以根据目标人物图像的大小对三维虚拟角色进行大小调整，将该三维虚拟角色的大小调整为与目标人物图像的大小适配的状态。进一步的，将经过大小调整的三维虚拟角色结合在该虚拟平面上，用户还可以手动的调整该三维虚拟角色的大小以及在结合在虚拟平面基础上移动该三维虚拟角色。
在一实施方式中，该将三维虚拟角色结合在虚拟平面上的步骤，可以包括：
(1)获取该目标人物图像的尺寸信息以及坐标信息；
(2)根据该尺寸信息对该三维虚拟角色进行尺寸调整，得到目标三维虚拟角色；
(3)根据该坐标信息确定该目标三维虚拟角色在该虚拟平面上的显示位置，并将该目标三维虚拟角色显示在该显示位置上。
首先，电子设备可以获取目标人物图像的尺寸信息以及坐标信息，该坐标信息可以包括多个三维坐标，该多个三维坐标组成该目标人物图像的人物形状、人物大小以及显示位置。
进一步的，根据该尺寸信息对三维虚拟角色进行尺寸调整，使得该三维虚拟角色的尺寸与该目标人物图像的尺寸适配。根据目标人物图像的坐标信息分析出目标人物图像在该虚拟平面的位置信息，进而确定出该目标三维虚拟角色在该虚拟平面上的显示位置，并将该目标三维虚拟角色显示在该显示位置上，完成三维虚拟角色与待结合图像的无缝结合。
由上可知，本申请实施例通过获取待结合图像，并识别出待结合图像中的目标人物图像；确定目标人物图像的脚部信息；根据脚部信息确定虚拟平面，并获取三维虚拟角色；将三维虚拟角色结合在虚拟平面上。以此可以根据真实人物在图像中的实时位置信息，确定出虚拟平台，将虚拟的三维虚拟角色结合在虚拟平台上，实现真实人物与虚拟的三维虚拟角色的结合，提高了场景的趣味性，并提升了增强现实场景的结合效率。
下面将在上述实施例描述的方法基础上，对本申请的显示方法做进一步介绍。参考图2，该基于增强现实的结合方法可以包括：
301、分析待结合图像，确定出待结合图像中的人物图像。
其中，可以通过电子设备上的前置摄像头或后置摄像头实时采集视频流中的图像，并根据人脸特征识别确定出待结合图像中的人物图像。
如图3所示，电子设备10通过后置摄像头实时采集视频流中的图像，识别出该待结合图像中的人物图像11。
302、检测人物图像是否为单个。
其中，当检测出人物图像为单个时，执行步骤303。当检测出人物图像不为单个时，执行步骤304。
303、将人物图像确定为目标人物图像。
其中，当检测出人物图像为单个时，直接将该人物图像确定为目标人物图像。
如图3所示，电子设备10检测出待结合图像中，只有一个人物图像11，直接将该人物图像11确定为目标人物图像。
304、生成提示信息，并接收用户根据提示信息选择的目标人物图像。
其中，在检测出人物图像不为单个时，但是我们只需要单个目标人物图像，此时，可以生成提示信息，并接收用户根据该提示信息从多个人物图像中选择的目标人物图像。
在一实施方式中，可以在多个人物图像中选取靠近待结合图像中心位置的人物图像确定为目标人物图像。
305、将目标人物图像进行图像预处理。
其中，可以在待结合图像中单独截取出该目标人物图像，对该目标人物图像进行灰度校正以及噪声过滤等图像预处理，使得该目标人物图像更容易被识别提取。
306、确定图像预处理后的目标人物图像的脚部位置。
其中，对预处理后的目标人物图像进行脚部特征扫描，确定出该目标人物图像的脚部位置。
307、基于脚部位置，提取出目标人物图像的脚部信息。
其中，在确定出目标人物图像的脚部位置时，提取该目标人物图像的脚部位置相对于待结合图像的多个三维坐标，如(5，10，11)、(8、10、13)以及(14、16、18)等等。该多个三维坐标构成脚部形状以及脚部大小。
308、根据脚部信息确定目标人物的支撑平面。
其中，在获取用户脚部的多个三维坐标后，电子设备识别出与该用户脚部相交的支撑平面，即获取目标人物站立的支撑平面。该支撑平面可以为马路、楼梯或者斜坡等等。
309、对支撑平面进行分析，提取出支撑平面的多个特征点。
其中，在确定出支撑平面后，电子设备提取该支撑平面上的多个特征点，该多个特征点为支撑平面上的平面点信息，由该多个特征点可以表现出支撑平面的坡度信息以及平面凹凸信息。
310、基于多个特征点确定出虚拟平面，并获取三维虚拟角色。
其中，将该多个特征点进行点连接，得到虚拟平面，并同时获取三维虚拟角色。
如图3所示，电子设备10在确定出虚拟平面后，获取三维虚拟角色。
311、获取目标人物图像的尺寸信息以及坐标信息。
其中，电子设备获取目标人物图像的尺寸信息以及多个三维坐标，该尺寸信息可以代表目标人物图像在待结合图像中所占的大小比例，该多个三维坐标代表目标人物图像的人物形状以及人物显示位置。
312、根据尺寸信息对三维虚拟角色进行尺寸调整，得到目标三维虚拟角色。
其中，根据目标人物图像的尺寸信息对获取的三维虚拟角色进行尺寸调整，使得该三维虚拟角色的尺寸大小与该目标人物图像的尺寸大小适配，并将调整后的三维虚拟角色确定为目标三维虚拟角色。
313、根据坐标信息确定目标三维虚拟角色在虚拟平面上的显示位置，并将目标三维虚拟角色显示在显示位置上。
其中，根据目标人物图像的坐标信息确定出目标人物显示位置，根据该显示位置确定出目标三维虚拟角色在虚拟平面上的显示位置，并将经过尺寸调整后的目标三维虚拟角色显示在该显示位置上，实现三维虚拟角色与真实角色在真实场景中的结合。
如图3所示，电子设备10确定出目标三维虚拟角色12的显示位置，将该目标三维角色12显示在目标人物图像11旁。
在一实施方式中，该根据坐标信息确定目标三维虚拟角色在虚拟平面上的显示位置，并将目标三维虚拟角色显示在显示位置上的步骤之后，还可以包括通过电子设备的摄像头实时获取目标人物图像中目标人物的面部表情，如笑、单眼眨眼、连续眨眼等等，根据该面部表情匹配对应的控制指令，通过控制指令控制目标三维虚拟角色执行对应的动作，如控制目标三维虚拟角色进行表情动作或者跳舞等等。
由上可知，本申请实施例通过获取待结合图像，并识别出待结合图像中的目标人物图像；确定目标人物图像的脚部信息；根据脚部信息确定虚拟平面，并获取三维虚拟角色；根据目标人物图像对三维虚拟角色进行尺寸调整，得到目标三维虚拟角色，并将目标三维虚拟角色结合在虚拟平面上。以此可以根据真实人物在图像中的实时位置信息，确定出虚拟平台，将虚拟的三维虚拟角色结合在虚拟平台上，实现真实人物与虚拟的三维虚拟角色的结合，提高了场景的趣味性，并提升了增强现实场景的结合效率。
在一实施例中还提供了一种基于增强现实的结合装置。请参阅图4，图4为本申请实施例提供的基于增强现实的结合装置的结构示意图。其中该基于增强现实的结合装置应用于电子设备，该基于增强现实的结合装置包括识别单元401、第一确定单元402、第二确定单元403以及结合单元404，如下：
该识别单元401，用于获取待结合图像，并识别出该待结合图像中的目标人物图像。
其中，该识别单元401可以通过电子设备上的前置摄像头或者后置摄像头获取当前图像(待结合图像)，并且通过识别该待结合图像中的特征识别出目标人物图像。该目标人物图像为人物的全身图像。
该第一确定单元402，用于确定该目标人物图像的脚部信息。
其中，在该识别单元401获取到目标人物图像后，该第一确定单元402会对该目标人物图像进行扫描，确定出目标人物图像中人物的脚部位置，在确定脚部位置后，电子设备会提取该脚部位置对应的脚部信息，该脚部信息可以包括目标人物图像中人物的脚部的坐标信息，该坐标信息为多个三维坐标组成，该多个三维坐标组成该用户的脚部形状以及脚部大小。
该第二确定单元403，用于根据该脚部信息确定虚拟平面，并获取三维虚拟角色。
其中，在该第一确定单元402获得脚部信息(多个三维坐标)后，该第二确定单元403识别出与该用户脚部的三维坐标信息相交的支撑平面，即用户脚部的支撑面，提取出该支撑平面上多个特征点，该多个特征点可以形成虚拟平面，该虚拟平面用于与三维虚拟角色结合，将该三维虚拟角色的脚部结合在该虚拟平面上，可以实现更好的结合效果。
进一步的，在确定虚拟平面后，该第二确定单元403可以获取三维虚拟角色，该三维虚拟角色可以为对现实人物的图像进行三维建模形成，也可以为对虚拟游戏人物进行三维建模形成，此处不作具体限定。
该结合单元404，用于将该三维虚拟角色结合在该虚拟平面上。
其中，该结合单元404可以根据目标人物图像的大小对三维虚拟角色进行大小调整，将该三维虚拟角色的大小调整为与目标人物图像的大小适配的状态。进一步的，将经过大小调整的三维虚拟角色结合在该虚拟平面上，用户还可以手动的调整该三维虚拟角色的大小以及在结合在虚拟平面基础上移动该三维虚拟角色。
在一实施例中，参考图5，该第一确定单元402，可以包括：
处理子单元4021，用于将该目标人物图像进行图像预处理；
确定子单元4022，用于确定图像预处理后的目标人物图像的脚部位置；
提取子单元4023，用于基于该脚部位置，提取出该目标人物图像的脚部信息。
在一实施例中，参考图5，该第二确定单元403，可以包括：
确定子单元4031，用于根据该脚部信息确定该目标人物图像的支撑平面；
分析子单元4032，用于对该支撑平面进行分析，提取出该支撑平面的多个特征点；
获取子单元4033，用于基于该多个特征点确定出虚拟平面，并获取三维虚拟角色。
其中，基于增强现实的结合装置中各单元执行的步骤可以参考上述方法实施例描述的方法步骤。该基于增强现实的结合装置可以集成在电子设备中，如手机、平板电脑等。
具体实施时，以上各个单元可以作为独立的实体实现，也可以进行任意组合，作为同一或若干个实体来实现，以上各个单位的具体实施可参见前面的实施例，在此不再赘述。
由上可知，本实施例提供的基于增强现实的结合装置通过识别单元401获取待结合图像，并识别出待结合图像中的目标人物图像；第一确定单元402确定目标人物图像的脚部信息；该第二确定单元403根据脚部信息确定虚拟平面，并获取三维虚拟角色；该结合单元404将三维虚拟角色结合在虚拟平面上。以此可以根据真实人物在图像中的实时位置信息，确定出虚拟平台，将虚拟的三维虚拟角色结合在虚拟平台上，实现真实人物与虚拟的三维虚拟角色的结合，提高了场景的趣味性，并提升了增强现实场景的结合效率。
本申请实施例还提供一种电子设备。请参阅图6，电子设备500包括处理器501以及存储器502。其中，处理器501与存储器502电性连接。
该处理器500是电子设备500的控制中心，利用各种接口和线路连接整个电子设备的各个部分，通过运行或加载存储在存储器502内的计算机程序，以及调用存储在存储器502内的数据，执行电子设备500的各种功能并处理数据，从而对电子设备500进行整体监控。
该存储器502可用于存储软件程序以及模块，处理器501通过运行存储在存储器502的计算机程序以及模块，从而执行各种功能应用以及数据处理。存储器502可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的计算机程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据电子设备的使用所创建的数据等。此外，存储器502可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器502还可以包括存储器控制器，以提供处理器501对存储器502的访问。
在本申请实施例中，电子设备500中的处理器501会按照如下的步骤，将一个或一个以上的计算机程序的进程对应的指令加载到存储器502中，并由处理器501运行存储在存储器502中的计算机程序，从而实现各种功能，如下：
获取待结合图像，并识别出该待结合图像中的目标人物图像；
确定该目标人物图像的脚部信息；
根据该脚部信息确定虚拟平面，并获取三维虚拟角色；
将该三维虚拟角色结合在该虚拟平面上。
在某些实施方式中，在确定该目标人物图像的脚部信息时，处理器501可以具体执行以下步骤：
将该目标人物图像进行图像预处理；
确定图像预处理后的目标人物图像的脚部位置；
基于该脚部位置，提取出该目标人物图像的脚部信息。
在某些实施方式中，在根据该脚部信息确定虚拟平面，并获取三维虚拟角色时，处理器501可以具体执行以下步骤：
根据该脚部信息确定该目标人物图像的支撑平面；
对该支撑平面进行分析，提取出该支撑平面的多个特征点；
基于该多个特征点确定出虚拟平面，并获取三维虚拟角色。
在某些实施方式中，在获取待结合图像，并识别出该待结合图像中的目标人物图像时，处理器501可以具体执行以下步骤：
分析待结合图像，确定出待结合图像中的人物图像；
当检测出该人物图像为单个时，将该人物图像确定为目标人物图像；
当检测出该人物图像不为单个时，生成提示信息，并接收用户根据该提示信息选择的目标人物图像。
在某些实施方式中，在将该三维虚拟角色结合在该虚拟平面上时，处理器501可以具体执行以下步骤：
获取该目标人物图像的尺寸信息以及坐标信息；
根据该尺寸信息对该三维虚拟角色进行尺寸调整，得到目标三维虚拟角色；
根据该坐标信息确定该目标三维虚拟角色在该虚拟平面上的显示位置，并将该目标三维虚拟角色显示在该显示位置上。
由上述可知，本申请实施例的电子设备，通过获取待结合图像，并识别出待结合图像中的目标人物图像；确定目标人物图像的脚部信息；根据脚部信息确定虚拟平面，并获取三维虚拟角色；将三维虚拟角色结合在虚拟平面上。以此可以根据真实人物在图像中的实时位置信息，确定出虚拟平台，将虚拟的三维虚拟角色结合在虚拟平台上，实现真实人物与虚拟的三维虚拟角色的结合，提高了场景的趣味性，并提升了增强现实场景的结合效率。
请一并参阅图7，在某些实施方式中，电子设备500还可以包括：显示器503、射频电路504、音频电路505以及电源506。其中，其中，显示器503、射频电路504、音频电路505以及电源506分别与处理器501电性连接。
该显示器503可以用于显示由用户输入的信息或提供给用户的信息以及各种图形用户接口，这些图形用户接口可以由图形、文本、图标、视频和其任意组合来构成。显示器503可以包括显示面板，在某些实施方式中，可以采用液晶显示器(Liquid CrystalDisplay，LCD)、或者有机发光二极管(Organic Light-Emitting Diode，OLED)等形式来配置显示面板。
该射频电路504可以用于收发射频信号，以通过无线通信与网络设备或其他电子设备建立无线通讯，与网络设备或其他电子设备之间收发信号。
该音频电路505可以用于通过扬声器、传声器提供用户与电子设备之间的音频接口。
该电源506可以用于给电子设备500的各个部件供电。在一些实施例中，电源506可以通过电源管理系统与处理器501逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。
尽管图7中未示出，电子设备500还可以包括摄像头、蓝牙模块等，在此不再赘述。
本申请实施例还提供一种存储介质，该存储介质存储有计算机程序，当该计算机程序在计算机上运行时，使得该计算机执行上述任一实施例中的基于增强现实的结合方法，比如：获取待结合图像，并识别出该待结合图像中的目标人物图像；确定该目标人物图像的脚部信息；根据该脚部信息确定虚拟平面，并获取三维虚拟角色；将该三维虚拟角色结合在该虚拟平面上。
在本申请实施例中，存储介质可以是磁碟、光盘、只读存储器(Read Only Memory，ROM，)、或者随机存取记忆体(Random Access Memory，RAM)等。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
需要说明的是，对本申请实施例的基于增强现实的结合方法而言，本领域普通测试人员可以理解实现本申请实施例的基于增强现实的结合方法的全部或部分流程，是可以通过计算机程序来控制相关的硬件来完成，所述计算机程序可存储于一计算机可读取存储介质中，如存储在电子设备的存储器中，并被该电子设备内的至少一个处理器执行，在执行过程中可包括如基于增强现实的结合方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储器、随机存取记忆体等。
对本申请实施例的基于增强现实的结合装置而言，其各功能模块可以集成在一个处理芯片中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中，所述存储介质譬如为只读存储器，磁盘或光盘等。
以上对本申请实施例所提供的一种基于增强现实的结合方法、装置、存储介质及电子设备进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。
Claims (9)
1.一种基于增强现实的结合方法，应用于电子设备，其特征在于，包括：
分析待结合图像，确定出待结合图像中的人物图像；
当检测出所述人物图像为单个时，将所述人物图像确定为目标人物图像；
当检测出所述人物图像不为单个时，生成提示信息，并接收用户根据所述提示信息选择的目标人物图像；
确定所述目标人物图像的脚部信息；
根据所述脚部信息确定虚拟平面，并获取三维虚拟角色；
将所述三维虚拟角色结合在所述虚拟平面上。
2.如权利要求1所述的基于增强现实的结合方法，其特征在于，所述确定所述目标人物图像的脚部信息的步骤，包括：
将所述目标人物图像进行图像预处理；
确定图像预处理后的目标人物图像的脚部位置；
基于所述脚部位置，提取出所述目标人物图像的脚部信息。
3.如权利要求2所述的基于增强现实的结合方法，其特征在于，所述根据所述脚部信息确定虚拟平面，并获取三维虚拟角色的步骤，包括：
根据所述脚部信息确定所述目标人物图像的支撑平面；
对所述支撑平面进行分析，提取出所述支撑平面的多个特征点；
基于所述多个特征点确定出虚拟平面，并获取三维虚拟角色。
4.如权利要求1至3任一项所述的基于增强现实的结合方法，其特征在于，所述将所述三维虚拟角色结合在所述虚拟平面上的步骤，包括：
获取所述目标人物图像的尺寸信息以及坐标信息；
根据所述尺寸信息对所述三维虚拟角色进行尺寸调整，得到目标三维虚拟角色；
根据所述坐标信息确定所述目标三维虚拟角色在所述虚拟平面上的显示位置，并将所述目标三维虚拟角色显示在所述显示位置上。
5.一种基于增强现实的结合装置，其特征在于，包括：
识别单元，用于分析待结合图像，确定出待结合图像中的人物图像，当检测出所述人物图像为单个时，将所述人物图像确定为目标人物图像，当检测出所述人物图像不为单个时，生成提示信息，并接收用户根据所述提示信息选择的目标人物图像；
第一确定单元，用于确定所述目标人物图像的脚部信息；
第二确定单元，用于根据所述脚部信息确定虚拟平面，并获取三维虚拟角色；
结合单元，用于将所述三维虚拟角色结合在所述虚拟平面上。
6.如权利要求5所述的基于增强现实的结合装置，其特征在于，所述第一确定单元，包括：
处理子单元，用于将所述目标人物图像进行图像预处理；
确定子单元，用于确定图像预处理后的目标人物图像的脚部位置；
提取子单元，用于基于所述脚部位置，提取出所述目标人物图像的脚部信息。
7.如权利要求6所述的基于增强现实的结合装置，其特征在于，所述第二确定单元，包括：
确定子单元，用于根据所述脚部信息确定所述目标人物图像的支撑平面；
分析子单元，用于对所述支撑平面进行分析，提取出所述支撑平面的多个特征点；
获取子单元，用于基于所述多个特征点确定出虚拟平面，并获取三维虚拟角色。
8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1至4任一项所述的基于增强现实的结合方法的步骤。
9.一种电子设备，包括处理器和存储器，所述存储器有计算机程序，其特征在于，所述处理器通过调用所述计算机程序，用于执行如权利要求1至4任一项所述的基于增强现实的结合方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810253886.9A CN108492363B (zh) | 2018-03-26 | 2018-03-26 | 基于增强现实的结合方法、装置、存储介质及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810253886.9A CN108492363B (zh) | 2018-03-26 | 2018-03-26 | 基于增强现实的结合方法、装置、存储介质及电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108492363A CN108492363A (zh) | 2018-09-04 |
| CN108492363B true CN108492363B (zh) | 2020-03-10 |
Family
ID=63337787
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810253886.9A Expired - Fee Related CN108492363B (zh) | 2018-03-26 | 2018-03-26 | 基于增强现实的结合方法、装置、存储介质及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108492363B (zh) |
Families Citing this family (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109377566B (zh) * | 2018-10-29 | 2023-08-11 | 北京西潼科技有限公司 | 基于增强现实的显示系统、图像处理方法及装置 |
| CN111383344A (zh) * | 2018-12-29 | 2020-07-07 | 深圳市优必选科技有限公司 | 一种虚拟场景的生成方法及装置、计算机设备、存储介质 |
| CN109616019B (zh) | 2019-01-18 | 2021-05-18 | 京东方科技集团股份有限公司 | 显示面板、显示装置、三维显示方法和三维显示系统 |
| JP7160707B2 (ja) * | 2019-01-31 | 2022-10-25 | 株式会社スクウェア・エニックス | 仮想キャラクタを含む画像を提供するための方法 |
| CN109903129A (zh) * | 2019-02-18 | 2019-06-18 | 北京三快在线科技有限公司 | 增强现实显示方法与装置、电子设备、存储介质 |
| WO2021035674A1 (zh) * | 2019-08-30 | 2021-03-04 | 深圳市大疆创新科技有限公司 | 一种图像生成方法、设备、可移动平台及存储介质 |
| CN110716645A (zh) * | 2019-10-15 | 2020-01-21 | 北京市商汤科技开发有限公司 | 一种增强现实数据呈现方法、装置、电子设备及存储介质 |
| CN111078031B (zh) * | 2019-12-23 | 2023-11-14 | 上海米哈游网络科技股份有限公司 | 一种虚拟人物的位置确定方法、装置、设备及存储介质 |
| CN111141217A (zh) * | 2020-04-03 | 2020-05-12 | 广东博智林机器人有限公司 | 物体测量方法、装置、终端设备及计算机存储介质 |
| CN111598824A (zh) * | 2020-06-04 | 2020-08-28 | 上海商汤智能科技有限公司 | 场景图像处理方法、装置、ar设备以及存储介质 |
| CN111640192A (zh) * | 2020-06-05 | 2020-09-08 | 上海商汤智能科技有限公司 | 场景图像处理方法、装置、ar设备以及存储介质 |
| CN112017300A (zh) * | 2020-07-22 | 2020-12-01 | 青岛小鸟看看科技有限公司 | 混合现实图像的处理方法、装置及设备 |
| CN112906467A (zh) * | 2021-01-15 | 2021-06-04 | 深圳市慧鲤科技有限公司 | 合影图像生成方法及装置、电子设备和存储介质 |
| CN115810100B (zh) * | 2023-02-06 | 2023-05-05 | 阿里巴巴（中国）有限公司 | 确定物体放置平面的方法、设备、存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106200914A (zh) * | 2016-06-28 | 2016-12-07 | 广东欧珀移动通信有限公司 | 增强现实的触发方法、装置及拍照设备 |
| CN106303555A (zh) * | 2016-08-05 | 2017-01-04 | 深圳市豆娱科技有限公司 | 一种基于混合现实的直播方法、装置和系统 |
| CN107111370A (zh) * | 2014-12-30 | 2017-08-29 | 微软技术许可有限责任公司 | 现实世界对象的虚拟表示 |
| CN107231531A (zh) * | 2017-05-23 | 2017-10-03 | 青岛大学 | 一种网络虚拟现实技术与实拍结合影视制作系统 |
| CN107534824A (zh) * | 2015-05-18 | 2018-01-02 | 索尼公司 | 信息处理设备、信息处理方法和程序 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10725298B2 (en) * | 2014-03-26 | 2020-07-28 | Mark D. Wieczorek, P.C. | Virtual reality devices and accessories |
-
2018
- 2018-03-26 CN CN201810253886.9A patent/CN108492363B/zh not_active Expired - Fee Related
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107111370A (zh) * | 2014-12-30 | 2017-08-29 | 微软技术许可有限责任公司 | 现实世界对象的虚拟表示 |
| CN107534824A (zh) * | 2015-05-18 | 2018-01-02 | 索尼公司 | 信息处理设备、信息处理方法和程序 |
| CN106200914A (zh) * | 2016-06-28 | 2016-12-07 | 广东欧珀移动通信有限公司 | 增强现实的触发方法、装置及拍照设备 |
| CN106303555A (zh) * | 2016-08-05 | 2017-01-04 | 深圳市豆娱科技有限公司 | 一种基于混合现实的直播方法、装置和系统 |
| CN107231531A (zh) * | 2017-05-23 | 2017-10-03 | 青岛大学 | 一种网络虚拟现实技术与实拍结合影视制作系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108492363A (zh) | 2018-09-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108492363B (zh) | 基于增强现实的结合方法、装置、存储介质及电子设备 | |
| CN110210571B (zh) | 图像识别方法、装置、计算机设备及计算机可读存储介质 | |
| CN110059661B (zh) | 动作识别方法、人机交互方法、装置及存储介质 | |
| CN108255304B (zh) | 基于增强现实的视频数据处理方法、装置和存储介质 | |
| CN110610453B (zh) | 一种图像处理方法、装置及计算机可读存储介质 | |
| CN111382624B (zh) | 动作识别方法、装置、设备及可读存储介质 | |
| CN111541907B (zh) | 物品显示方法、装置、设备及存储介质 | |
| CN113395542B (zh) | 基于人工智能的视频生成方法、装置、计算机设备及介质 | |
| Liu et al. | Real-time robust vision-based hand gesture recognition using stereo images | |
| CN114303120A (zh) | 虚拟键盘 | |
| CN110807361A (zh) | 人体识别方法、装置、计算机设备及存储介质 | |
| CN110570460B (zh) | 目标跟踪方法、装置、计算机设备及计算机可读存储介质 | |
| CN112749613B (zh) | 视频数据处理方法、装置、计算机设备及存储介质 | |
| CN108830186B (zh) | 文本图像的内容提取方法、装置、设备及存储介质 | |
| CN103679788B (zh) | 一种移动终端中3d图像的生成方法和装置 | |
| WO2021097750A1 (zh) | 人体姿态的识别方法、装置、存储介质及电子设备 | |
| CN111241340A (zh) | 视频标签确定方法、装置、终端及存储介质 | |
| CN112257552B (zh) | 图像处理方法、装置、设备及存储介质 | |
| CN112232260A (zh) | 字幕区域识别方法、装置、设备及存储介质 | |
| US10861169B2 (en) | Method, storage medium and electronic device for generating environment model | |
| CN112770173A (zh) | 直播画面处理方法、装置、计算机设备及存储介质 | |
| CN112580472A (zh) | 一种快速轻量的人脸识别方法、装置、机器可读介质及设备 | |
| CN111353946A (zh) | 图像修复方法、装置、设备及存储介质 | |
| CN110941977A (zh) | 图像处理方法、装置、存储介质及电子设备 | |
| CN108052506B (zh) | 自然语言处理方法、装置、存储介质及电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information |
Address after: Changan town in Guangdong province Dongguan 523860 usha Beach Road No. 18 Applicant after: GUANGDONG OPPO MOBILE TELECOMMUNICATIONS Corp.,Ltd. Address before: Changan town in Guangdong province Dongguan 523860 usha Beach Road No. 18 Applicant before: GUANGDONG OPPO MOBILE TELECOMMUNICATIONS Corp.,Ltd. |
|
| CB02 | Change of applicant information | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20200310 |
|
| CF01 | Termination of patent right due to non-payment of annual fee |