CN108519817A - 基于增强现实的交互方法、装置、存储介质及电子设备 - Google Patents
基于增强现实的交互方法、装置、存储介质及电子设备 Download PDFInfo
- Publication number
- CN108519817A CN108519817A CN201810254607.0A CN201810254607A CN108519817A CN 108519817 A CN108519817 A CN 108519817A CN 201810254607 A CN201810254607 A CN 201810254607A CN 108519817 A CN108519817 A CN 108519817A
- Authority
- CN
- China
- Prior art keywords
- virtual object
- dimensional virtual
- coordinate information
- hand
- user
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
Abstract
本申请实施例公开了一种基于增强现实的交互方法、装置、存储介质及电子设备,其中,本申请实施例通过显示三维虚拟物体,并获取三维虚拟物体所处的第一坐标信息;检测用户手部的第二坐标信息;当第一坐标信息与第二坐标信息有交集时,检测用户手部的动作信息;根据动作信息生成控制指令,并通过控制指令控制三维虚拟物体执行对应的动作。以此可以实现用户通过手部与虚拟的三维虚拟物体进行实时互动,通过手部动作控制虚拟的三维虚拟物体进行对应的动作执行,提高了场景的趣味性,并提升了增强现实场景的互动效率。
Description
技术领域
本发明涉及增强现实技术领域,尤其涉及一种基于增强现实的交互方法、装置、存储介质及电子设备。
背景技术
随着科技的发展,人机接口技术成为智能设备发展的重要方向,基于增强现实(Augmented Reality,AR)的人机接口技术也应运而生。所述增强现实技术是一种将真实世界信息和虚拟世界信息“无缝”集成的新技术,是把原本在现实世界的一定时间空间范围内很难体验到的实体信息(视觉信息,声音,味道,触觉等),通过电脑等科学技术,模拟仿真后再叠加,将虚拟的信息应用到真实世界,被人类感官所感知,从而达到超越现实的感官体验。真实的环境和虚拟的物体实时地叠加到了同一个画面或空间同时存在。
当前,在增强现实的场景中,用户虽然可以通过简单的手势与三维虚拟物体进行简单的交互,如对某个三维虚拟物体进行放大、缩小等简单的交互操作,但是交互的趣味性低,交互效率较差。
发明内容
本申请实施例提供了一种基于增强现实的交互方法、装置、存储介质及电子设备,能够提升增强现实场景的交互效率。
第一方面,本申请实施例了提供了一种基于增强现实的交互方法,应用于电子设备,包括:
显示三维虚拟物体,并获取所述三维虚拟物体所处的第一坐标信息;
检测用户手部的第二坐标信息;
当所述第一坐标信息与所述第二坐标信息有交集时,检测用户手部的动作信息;
根据所述动作信息生成控制指令,并通过所述控制指令控制所述三维虚拟物体执行对应的动作。
第二方面,本申请实施例了提供了的一种基于增强现实的交互装置,包括:
显示单元,用于显示三维虚拟物体,并获取所述三维虚拟物体所处的第一坐标信息;
第一检测单元,用于检测用户手部的第二坐标信息;
第二检测单元,用于当所述第一坐标信息与所述第二坐标信息有交集时,检测用户手部的动作信息;
控制单元,用于根据所述动作信息生成控制指令,并通过所述控制指令控制所述三维虚拟物体执行对应的动作。
第三方面,本申请实施例提供的存储介质,其上存储有计算机程序,当所述计算机程序在计算机上运行时,使得所述计算机执行如本申请任一实施例提供的基于增强现实的交互方法。
第四方面,本申请实施例提供的电子设备,包括处理器和存储器,所述存储器有计算机程序,其特征在于,所述处理器通过调用所述计算机程序,用于执行如本申请任一实施例提供的基于增强现实的交互方法。
本申请实施例通过显示三维虚拟物体,并获取三维虚拟物体所处的第一坐标信息;检测用户手部的第二坐标信息;当第一坐标信息与第二坐标信息有交集时,检测用户手部的动作信息;根据动作信息生成控制指令,并通过控制指令控制三维虚拟物体执行对应的动作。以此可以实现用户通过手部与虚拟的三维虚拟物体进行实时互动,通过手部动作控制虚拟的三维虚拟物体进行对应的动作执行,提高了场景的趣味性,并提升了增强现实场景的互动效率。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的基于增强现实的交互方法的一个流程示意图。
图2是本申请实施例提供的基于增强现实的交互方法的另一个流程示意图。
图3是本申请实施例提供的基于增强现实的场景交互示意图。
图4是本申请实施例提供的基于增强现实的交互装置的一个结构示意图。
图5是本申请实施例提供的基于增强现实的交互装置的另一结构示意图。
图6是本申请实施例提供的电子设备的一个结构示意图。
图7是本申请实施例提供的电子设备的另一结构示意图。
具体实施方式
请参照图式,其中相同的组件符号代表相同的组件,本申请的原理是以实施在一适当的运算环境中来举例说明。以下的说明是基于所例示的本申请具体实施例,其不应被视为限制本申请未在此详述的其它具体实施例。
在以下的说明中,本申请的具体实施例将参考由一部或多部计算机所执行的步骤及符号来说明,除非另有述明。因此,这些步骤及操作将有数次提到由计算机执行,本文所指的计算机执行包括了由代表了以一结构化型式中的数据的电子信号的计算机处理单元的操作。此操作转换该数据或将其维持在该计算机的内存系统中的位置处,其可重新配置或另外以本领域测试人员所熟知的方式来改变该计算机的运作。该数据所维持的数据结构为该内存的实体位置,其具有由该数据格式所定义的特定特性。但是,本申请原理以上述文字来说明,其并不代表为一种限制,本领域测试人员将可了解到以下所述的多种步骤及操作亦可实施在硬件当中。
本文所使用的术语“模块”可看做为在该运算系统上执行的软件对象。本文所述的不同组件、模块、引擎及服务可看做为在该运算系统上的实施对象。而本文所述的装置及方法可以以软件的方式进行实施,当然也可在硬件上进行实施,均在本申请保护范围之内。
本申请中的术语“第一”、“第二”和“第三”等是用于区别不同对象,而不是用于描述特定顺序。此外,术语“包括”和“具有”以及它们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或模块的过程、方法、系统、产品或设备没有限定于已列出的步骤或模块,而是某些实施例还包括没有列出的步骤或模块,或某些实施例还包括对于这些过程、方法、产品或设备固有的其它步骤或模块。
在本文中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是,本文所描述的实施例可以与其它实施例相结合。
本申请实施例提供一种基于增强现实的交互方法,该基于增强现实的交互方法的执行主体可以是本申请实施例提供的基于增强现实的交互装置,或者集成了该基于增强现实的交互装置的电子设备,其中该基于增强现实的交互装置可以采用硬件或者软件的方式实现。其中,电子设备可以是智能手机、平板电脑、掌上电脑、笔记本电脑、或者台式电脑等设备。
请参阅图1,图1为本申请实施例提供的基于增强现实的交互方法的流程示意图。本申请实施例提供的基于增强现实的交互方法的具体流程可以如下:
201、显示三维虚拟物体,并获取三维虚拟物体所处的第一坐标信息。
其中,该三维虚拟物体可以包括三维虚拟飞机、三维虚拟汽车、三维虚拟书籍等等,该三维虚拟物体可以根据对需要的物体进行三维建模得到,该三维虚拟物体可以为对真实物体进行三维建模得到,也可以为对不存在的物体进行三维建模得到,此处不作具体限定。
进一步的,获取到三维虚拟物体后,可以通过电子设备上的摄像头拍摄当前的图像,将该三维虚拟物体显示在拍摄到的当前的图像中,并且获取该三维虚拟物体在该当前的图像中的第一坐标信息,由于该三维虚拟物体为三维图像,所以该第一坐标信息也为三维坐标信息,该三维坐标信息中可以包括多个三维坐标,该多个三维坐标组成该三维虚拟物体的大小和形状。
具体而言,该显示三维虚拟物体,并获取三维虚拟物体所处的第一坐标信息的步骤,可以包括:
(1)通过该电子设备上的摄像头拍摄图像;
(2)将三维虚拟物体显示在该图像中;
(3)获取该三维虚拟物体在该图像中的第一坐标信息。
其中,该电子设备上可以包括前置摄像头以及后置摄像头,因此,可以通过调用前置摄像头拍摄电子设备前置的当前图像,也可以通过调用后置摄像头拍摄电子设备后置的当前图像,此处不作具体限定。
进一步的,将通过三维建模的三维虚拟物体显示在拍摄的当前图像中,显示的具体位置可以为默认位置或者用户指定的显示位置,在显示之后,基于显示位置确定三维虚拟物体在该当前图像中的第一坐标信息。
具体而言,该将三维虚拟物体显示在该图像中的步骤,可以包括:
(1)对该图像进行分析,提取出该图像中的多个特征点;
(2)根据该多个特征点确定出显示平面,并将该三维虚拟物体显示在该显示平面上。
其中,电子设备对该当前的图像进行特征点分析,对当前图像中的拍摄物体进行特征点获取,根据拍摄物体的多个特征点确定出三维空间中的平面,将该平面确定为显示平面,并将该三维虚拟物体显示在该显示平面上,以实现三维虚拟物体与当前图像的接驳。
202、检测用户手部的第二坐标信息。
其中,可以通过摄像头拍摄用户手部,检测出用户手部在当前的图像中的第二坐标信息,也可以通过数据手套检测出用户手部的第二坐标信息。该数据手套是一种多模式的虚拟现实硬件,通过软件编程,可进行虚拟场景中物体的抓取、移动、旋转等动作,也可以利用它的多模式性,用作一种控制场景漫游的工具。数据手套的出现,为虚拟现实系统提供了一种全新的交互手段,目前的产品已经能够检测手指的弯曲,并利用磁定位传感器来精确地定位出手在三维空间中的位置。这种结合手指弯曲度测试和空间定位测试的数据手套被称为“真实手套”,可以为用户提供一种非常真实自然的三维交互手段。
具体而言,该检测用户手部的第二坐标信息的步骤,可以包括:
(1)通过数据手套检测用户手部的位置信息;
(2)当检测到该位置信息指示该用户手部位于该图像中时,根据该位置信息确定用户手部在该图像中的第二坐标信息。
其中,该数据手套与电子设备可以通过无线网络、蓝牙红外线等方式进行连接,使得该数据手套可以与电子设备实现数据交互。通过该数据手套检测用户手部的位置信息,该位置信息用于指示用户手部的放置位置。
进一步的,当检测到位置信息指示用户手部位于拍摄的当前的图像中时,说明用户手部可能会与三维虚拟物体发生交互,相应的,可以根据该位置信息确定出用户手部在该拍摄的当前的图像中的第二坐标信息。可以理解的是,该第二坐标信息也为三维坐标信息,该第二坐标信息中包括多个三维坐标信息,该多个三维坐标信息组成该用户手部的形状。
203、当第一坐标信息与第二坐标信息有交集时,检测用户手部的动作信息。
其中,当检测到第一坐标信息与第二坐标信息发生交集时,说明该用户手部与该虚拟三维物体发生虚拟触碰事件,此时,可以通过数据手套检测用户手部的动作信息。
具体而言,该检测用户手部的动作信息的步骤,可以包括:
(1)在预设时间内,通过数据手套检测用户手部的至少一个动作;
(2)根据该至少一个动作生成相应的动作信息。
其中,可以通过在预设时间内,如短时间内,通过数据手套检测用户手部的一个或者多个动作,如手部的左、右、上、或下移动,手指弯曲等等,根据该一个或者多个动作生成相应的动作信息。
204、根据动作信息生成控制指令,并通过控制指令控制三维虚拟物体执行对应的动作。
需要说明的是,每一动作信息都有一对应的预设控制指令,该预设控制指令用于控制三维虚拟物体执行对应的动作,比如,对三维虚拟物体功能的开启或者关闭,对三维虚拟物体的放大或者缩小,对三维虚拟物体的动作控制等等。
其中,电子设备通过生成的动作信息匹配对应到对应的控制指令,并根据该控制指令控制处于当前的图像中的三维虚拟物体执行对应的动作,实现用户与三维虚拟物体的实时交互。
由上可知,本申请实施例通过显示三维虚拟物体,并获取三维虚拟物体所处的第一坐标信息;检测用户手部的第二坐标信息;当第一坐标信息与第二坐标信息有交集时,检测用户手部的动作信息;根据动作信息生成控制指令,并通过控制指令控制三维虚拟物体执行对应的动作。以此可以实现用户通过手部与虚拟的三维虚拟物体进行实时互动,通过手部动作控制虚拟的三维虚拟物体进行对应的动作执行,提高了场景的趣味性,并提升了增强现实场景的互动效率。
下面将在上述实施例描述的方法基础上,对本申请的显示方法做进一步介绍。参考图2,该基于增强现实的交互方法可以包括:
301、通过电子设备上的摄像头拍摄图像。
其中,可以通过电子设备上的前置摄像头或后置摄像头拍摄当前的图像。
如图3所示,电子设备10通过后置摄像头拍摄当前的图像,该图像中包括汽车以及路面。
302、对图像进行分析,提取出图像中的多个特征点。
其中,电子设备通过对图像中的物体进行特征分析,提取出多个物体上的多个特征点。
如图3所示,电子设备10对汽车以及路面进行特征点分析,提取出图像中汽车以及路面上的多个特征点,该特征点为汽车或者路面上的平面的特征点。
303、根据多个特征点确定出显示平面,并将三维虚拟物体显示在显示平面上。
其中,根据该多个特征点确定出该拍摄的图像的三维显示平面,并将该三维虚拟物体显示结合在该三维显示平面上。
如图3所示,电子设备10根据汽车以及路面上的多个特征点确定出三维显示平面,并将三维虚拟飞机显示在该三维显示平面上。
304、获取三维虚拟物体在图像中的第一坐标信息。
其中,将该三维虚拟物体显示在该图像中之后,电子设备会获取该三维虚拟物体在该拍摄的图像中相对的第一坐标信息,该第一坐标信息包括多个三维坐标,该多个三维坐标可以表现该三维虚拟物体的大小以及显示位置。
如图3所示,电子设备10获取该三维虚拟飞机的第一坐标信息。如(5,6,7)、(8,10,13)以及(9,11,14)等等。
305、通过数据手套检测用户手部的位置信息。
其中,该数据手套与电子设备无线连接,可以进行数据的交互,通过该数据手套实时检测用户手部的位置信息,该位置信息指示用户手部的放置位置。
306、当检测到位置信息指示用户手部位于图像中时,根据位置信息确定用户手部在图像中的第二坐标信息。
其中,当检测到位置信息指示用户手部位于拍摄的当前的图像中时,说明用户手部可能会与三维虚拟物体发生交互,相应的,可以根据该位置信息确定出用户手部在该拍摄的当前的图像中的第二坐标信息。
如图3所示,当用户的手部出现在该拍摄的图像中时,电子设备10会根据手部的位置信息确定用户手部在该拍摄的图像中的第二坐标信息,如(5,6,7)、(5,8,9)以及(6,7,8)
307、当第一坐标信息与第二坐标信息有交集时,在预设时间内,通过数据手套检测用户手部的至少一个动作。
其中,当第一坐标信息与第二坐标信息有交集时,说明该用户手部与该虚拟三维物体发生触碰事件,在预设事件内,可以通过数据手套来检测用户手部的一个或者多个手部动作。
如图3所示,当电子设备10检测到第一坐标信息与第二坐标信息发生交集(5,6,7),说明用户手部与三维虚拟飞机发生了虚拟触碰事件,可以在3秒内,通过数据手套来检测用户的一个或者多个手部动作,如手部的左、右、上、或下移动,手指弯曲等等动作。
308、根据至少一个动作生成相应的动作信息。
其中,可以根据该一个或者多个手部动作生成相应的动作信息,如用户手指的向左移动动作。
309、根据动作信息生成控制指令,并通过控制指令控制三维虚拟物体执行对应的动作。
其中,根据该动作信息匹配预设关系表,得到该动作信息对应的控制指令,如向左移动动作对应控制指令为控制三维虚拟物体向左边移动等等。
如图3所示,当电子设备10检测到手指弯曲动作时,可以对应控制三维虚拟飞机进行投放炸弹或者翻转展示等操作。
由上可知,本申请实施例通过将三维虚拟物体显示在摄像头拍摄的图像中,并获取三维虚拟物体所处的第一坐标信息;通过数据手套检测用户手部的第二坐标信息;当第一坐标信息与第二坐标信息有交集时,通过数据手套检测用户手部的动作信息;根据动作信息生成控制指令,并通过控制指令控制三维虚拟物体执行对应的动作。以此可以实现用户通过手部与虚拟的三维虚拟物体进行实时互动,通过手部动作控制虚拟的三维虚拟物体进行对应的动作执行,提高了场景的趣味性,并提升了增强现实场景的互动效率。
在一实施例中还提供了一种基于增强现实的交互装置。请参阅图4,图4为本申请实施例提供的基于增强现实的交互装置的结构示意图。其中该基于增强现实的交互装置应用于电子设备,该基于增强现实的交互装置包括显示单元401、第一检测单元402、第二检测单元403以及控制单元404,如下:
该显示单元401,用于显示三维虚拟物体,并获取该三维虚拟物体所处的第一坐标信息。
其中,获取到三维虚拟物体后,该显示单元401可以通过电子设备上的摄像头拍摄当前的图像,将该三维虚拟物体显示在拍摄到的当前的图像中,并且获取该三维虚拟物体在该当前的图像中的第一坐标信息,由于该三维虚拟物体为三维图像,所以该第一坐标信息也为三维坐标信息,该三维坐标信息中可以包括多个三维坐标,该多个三维坐标组成该三维虚拟物体的大小和形状。
该第一检测单元402,用于检测用户手部的第二坐标信息。
其中,该第一检测单元402可以通过摄像头拍摄用户手部,检测出用户手部在当前的图像中的第二坐标信息,该第一检测单元402也可以通过数据手套检测出用户手部的第二坐标信息。
该第二检测单元403,用于当该第一坐标信息与该第二坐标信息有交集时,检测用户手部的动作信息。
其中,当该第二检测单元403检测到第一坐标信息与第二坐标信息发生交集时,说明该用户手部与该虚拟三维物体发生虚拟触碰事件,此时,可以通过数据手套检测用户手部的动作信息。
该控制单元404,用于根据该动作信息生成控制指令,并通过该控制指令控制该三维虚拟物体执行对应的动作。
其中,该控制单元404通过生成的动作信息匹配对应到对应的控制指令,并根据该控制指令控制处于当前的图像中的三维虚拟物体执行对应的动作,实现用户与三维虚拟物体的实时交互。
进一步的,当该保持单元404检测到第二射频信号强度处于该第二预设阈值至第一预设阈值之间时,可以保持调整后的分集射频天线的工作状态。
在一实施例中,参考图5,该显示单元401,可以包括:
拍摄子单元4011,用于通过该电子设备上的摄像头拍摄图像;
显示子单元4012,用于将三维虚拟物体显示在该图像中;
获取子单元4013,用于获取该三维虚拟物体在该图像中的第一坐标信息。
该显示子单元4012,具体可以用于对该图像进行分析,提取出该图像中的多个特征点;根据该多个特征点确定出显示平面,并将该三维虚拟物体显示在该显示平面上。
其中,基于增强现实的交互装置中各单元执行的步骤可以参考上述方法实施例描述的方法步骤。该基于增强现实的交互装置可以集成在电子设备中,如手机、平板电脑等。
具体实施时,以上各个单元可以作为独立的实体实现,也可以进行任意组合,作为同一或若干个实体来实现,以上各个单位的具体实施可参见前面的实施例,在此不再赘述。
由上可知,本实施例提供的基于增强现实的交互装置通过该显示单元401显示三维虚拟物体,并获取三维虚拟物体所处的第一坐标信息;第一检测单元402检测用户手部的第二坐标信息;当该第二检测单元403检测到第一坐标信息与第二坐标信息有交集时,检测用户手部的动作信息;该控制单元404根据动作信息生成控制指令,并通过控制指令控制三维虚拟物体执行对应的动作。以此可以实现用户通过手部与虚拟的三维虚拟物体进行实时互动,通过手部动作控制虚拟的三维虚拟物体进行对应的动作执行,提高了场景的趣味性,并提升了增强现实场景的互动效率。
本申请实施例还提供一种电子设备。请参阅图6,电子设备500包括处理器501以及存储器502。其中,处理器501与存储器502电性连接。
该处理器500是电子设备500的控制中心,利用各种接口和线路连接整个电子设备的各个部分,通过运行或加载存储在存储器502内的计算机程序,以及调用存储在存储器502内的数据,执行电子设备500的各种功能并处理数据,从而对电子设备500进行整体监控。
该存储器502可用于存储软件程序以及模块,处理器501通过运行存储在存储器502的计算机程序以及模块,从而执行各种功能应用以及数据处理。存储器502可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的计算机程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据电子设备的使用所创建的数据等。此外,存储器502可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地,存储器502还可以包括存储器控制器,以提供处理器501对存储器502的访问。
在本申请实施例中,电子设备500中的处理器501会按照如下的步骤,将一个或一个以上的计算机程序的进程对应的指令加载到存储器502中,并由处理器501运行存储在存储器502中的计算机程序,从而实现各种功能,如下:
显示三维虚拟物体,并获取该三维虚拟物体所处的第一坐标信息;
检测用户手部的第二坐标信息;
当该第一坐标信息与该第二坐标信息有交集时,检测用户手部的动作信息;
根据该动作信息生成控制指令,并通过该控制指令控制该三维虚拟物体执行对应的动作。
在某些实施方式中,在显示三维虚拟物体,并获取该三维虚拟物体所处的第一坐标信息时,处理器501可以具体执行以下步骤:
通过该电子设备上的摄像头拍摄图像;
将三维虚拟物体显示在该图像中;
获取该三维虚拟物体在该图像中的第一坐标信息。
在某些实施方式中,在将三维虚拟物体显示在该图像中时,处理器501可以具体执行以下步骤:
对该图像进行分析,提取出该图像中的多个特征点;
根据该多个特征点确定出显示平面,并将该三维虚拟物体显示在该显示平面上。
在某些实施方式中,在检测用户手部的第二坐标信息时,处理器501可以具体执行以下步骤:
通过数据手套检测用户手部的位置信息,该数据手套与该电子设备连接;
当检测到该位置信息指示该用户手部位于该图像中时,根据该位置信息确定用户手部在该图像中的第二坐标信息。
在某些实施方式中,在检测用户手部的动作信息时,处理器501可以具体执行以下步骤:
在预设时间内,通过数据手套检测用户手部的至少一个动作;
根据该至少一个动作生成相应的动作信息。
由上述可知,本申请实施例的电子设备,通过显示三维虚拟物体,并获取三维虚拟物体所处的第一坐标信息;检测用户手部的第二坐标信息;当第一坐标信息与第二坐标信息有交集时,检测用户手部的动作信息;根据动作信息生成控制指令,并通过控制指令控制三维虚拟物体执行对应的动作。以此可以实现用户通过手部与虚拟的三维虚拟物体进行实时互动,通过手部动作控制虚拟的三维虚拟物体进行对应的动作执行,提高了场景的趣味性,并提升了增强现实场景的互动效率。
请一并参阅图7,在某些实施方式中,电子设备500还可以包括:显示器503、射频电路504、音频电路505以及电源506。其中,其中,显示器503、射频电路504、音频电路505以及电源506分别与处理器501电性连接。
该显示器503可以用于显示由用户输入的信息或提供给用户的信息以及各种图形用户接口,这些图形用户接口可以由图形、文本、图标、视频和其任意组合来构成。显示器503可以包括显示面板,在某些实施方式中,可以采用液晶显示器(Liquid CrystalDisplay,LCD)、或者有机发光二极管(Organic Light-Emitting Diode,OLED)等形式来配置显示面板。
该射频电路504可以用于收发射频信号,以通过无线通信与网络设备或其他电子设备建立无线通讯,与网络设备或其他电子设备之间收发信号。
该音频电路505可以用于通过扬声器、传声器提供用户与电子设备之间的音频接口。
该电源506可以用于给电子设备500的各个部件供电。在一些实施例中,电源506可以通过电源管理系统与处理器501逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。
尽管图7中未示出,电子设备500还可以包括摄像头、蓝牙模块等,在此不再赘述。
本申请实施例还提供一种存储介质,该存储介质存储有计算机程序,当该计算机程序在计算机上运行时,使得该计算机执行上述任一实施例中的基于增强现实的交互方法,比如:显示三维虚拟物体,并获取该三维虚拟物体所处的第一坐标信息;检测用户手部的第二坐标信息;当该第一坐标信息与该第二坐标信息有交集时,检测用户手部的动作信息;根据该动作信息生成控制指令,并通过该控制指令控制该三维虚拟物体执行对应的动作。
在本申请实施例中,存储介质可以是磁碟、光盘、只读存储器(Read Only Memory,ROM,)、或者随机存取记忆体(Random Access Memory,RAM)等。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
需要说明的是,对本申请实施例的基于增强现实的交互方法而言,本领域普通测试人员可以理解实现本申请实施例的基于增强现实的交互方法的全部或部分流程,是可以通过计算机程序来控制相关的硬件来完成,所述计算机程序可存储于一计算机可读取存储介质中,如存储在电子设备的存储器中,并被该电子设备内的至少一个处理器执行,在执行过程中可包括如基于增强现实的交互方法的实施例的流程。其中,所述的存储介质可为磁碟、光盘、只读存储器、随机存取记忆体等。
对本申请实施例的基于增强现实的交互装置而言,其各功能模块可以集成在一个处理芯片中,也可以是各个模块单独物理存在,也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中,所述存储介质譬如为只读存储器,磁盘或光盘等。
以上对本申请实施例所提供的一种基于增强现实的交互方法、装置、存储介质及电子设备进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本申请的限制。
Claims (10)
1.一种基于增强现实的交互方法,应用于电子设备,其特征在于,包括:
显示三维虚拟物体,并获取所述三维虚拟物体所处的第一坐标信息;
检测用户手部的第二坐标信息;
当所述第一坐标信息与所述第二坐标信息有交集时,检测用户手部的动作信息;
根据所述动作信息生成控制指令,并通过所述控制指令控制所述三维虚拟物体执行对应的动作。
2.如权利要求1所述的基于增强现实的交互方法,其特征在于,所述显示三维虚拟物体,并获取所述三维虚拟物体所处的第一坐标信息的步骤,包括:
通过所述电子设备上的摄像头拍摄图像;
将三维虚拟物体显示在所述图像中;
获取所述三维虚拟物体在所述图像中的第一坐标信息。
3.如权利要求2所述的基于增强现实的交互方法,其特征在于,所述将三维虚拟物体显示在所述图像中的步骤,包括:
对所述图像进行分析,提取出所述图像中的多个特征点;
根据所述多个特征点确定出显示平面,并将所述三维虚拟物体显示在所述显示平面上。
4.如权利要求3所述的基于增强现实的交互方法,其特征在于,所述检测用户手部的第二坐标信息的步骤,包括:
通过数据手套检测用户手部的位置信息,所述数据手套与所述电子设备连接;
当检测到所述位置信息指示所述用户手部位于所述图像中时,根据所述位置信息确定用户手部在所述图像中的第二坐标信息。
5.如权利要求1至4任一项所述的基于增强现实的交互方法,其特征在于,所述检测用户手部的动作信息的步骤,包括:
在预设时间内,通过数据手套检测用户手部的至少一个动作;
根据所述至少一个动作生成相应的动作信息。
6.一种基于增强现实的交互装置,其特征在于,包括:
显示单元,用于显示三维虚拟物体,并获取所述三维虚拟物体所处的第一坐标信息;
第一检测单元,用于检测用户手部的第二坐标信息;
第二检测单元,用于当所述第一坐标信息与所述第二坐标信息有交集时,检测用户手部的动作信息;
控制单元,用于根据所述动作信息生成控制指令,并通过所述控制指令控制所述三维虚拟物体执行对应的动作。
7.如权利要求6所述的基于增强现实的交互装置,其特征在于,所述显示单元,包括:
拍摄子单元,用于通过所述电子设备上的摄像头拍摄图像;
显示子单元,用于将三维虚拟物体显示在所述图像中;
获取子单元,用于获取所述三维虚拟物体在所述图像中的第一坐标信息。
8.如权利要求7所述的基于增强现实的交互装置,其特征在于,所述显示子单元,具体用于:
对所述图像进行分析,提取出所述图像中的多个特征点;
根据所述多个特征点确定出显示平面,并将所述三维虚拟物体显示在所述显示平面上。
9.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述程序被处理器执行时实现如权利要求1至5任一项所述的基于增强现实的交互方法的步骤。
10.一种电子设备,包括处理器和存储器,所述存储器有计算机程序,其特征在于,所述处理器通过调用所述计算机程序,用于执行如权利要求1至5任一项所述的基于增强现实的交互方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810254607.0A CN108519817A (zh) | 2018-03-26 | 2018-03-26 | 基于增强现实的交互方法、装置、存储介质及电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810254607.0A CN108519817A (zh) | 2018-03-26 | 2018-03-26 | 基于增强现实的交互方法、装置、存储介质及电子设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN108519817A true CN108519817A (zh) | 2018-09-11 |
Family
ID=63434202
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810254607.0A Pending CN108519817A (zh) | 2018-03-26 | 2018-03-26 | 基于增强现实的交互方法、装置、存储介质及电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108519817A (zh) |
Cited By (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109732606A (zh) * | 2019-02-13 | 2019-05-10 | 深圳大学 | 机械臂的远程控制方法、装置、系统及存储介质 |
CN109876450A (zh) * | 2018-12-14 | 2019-06-14 | 深圳壹账通智能科技有限公司 | 基于ar游戏的实现方法、服务器、计算机设备及存储介质 |
CN109960404A (zh) * | 2019-02-15 | 2019-07-02 | 联想(北京)有限公司 | 一种数据处理方法及装置 |
CN110716647A (zh) * | 2019-10-17 | 2020-01-21 | 广州大西洲科技有限公司 | 一种增强现实交互方法、装置及系统 |
CN110716645A (zh) * | 2019-10-15 | 2020-01-21 | 北京市商汤科技开发有限公司 | 一种增强现实数据呈现方法、装置、电子设备及存储介质 |
CN110799987A (zh) * | 2019-09-11 | 2020-02-14 | 深圳盈天下视觉科技有限公司 | 主动式物体识别方法、物体识别装置以及物体识别系统 |
CN110928399A (zh) * | 2018-09-19 | 2020-03-27 | 阿里巴巴集团控股有限公司 | 控制系统、方法及电子设备 |
CN111383345A (zh) * | 2018-12-29 | 2020-07-07 | 广东虚拟现实科技有限公司 | 虚拟内容的显示方法、装置、终端设备及存储介质 |
CN111381670A (zh) * | 2018-12-29 | 2020-07-07 | 广东虚拟现实科技有限公司 | 虚拟内容的交互方法、装置、系统、终端设备及存储介质 |
CN111639615A (zh) * | 2020-06-05 | 2020-09-08 | 上海商汤智能科技有限公司 | 一种虚拟建筑物的触发控制方法及装置 |
CN111640185A (zh) * | 2020-06-05 | 2020-09-08 | 上海商汤智能科技有限公司 | 一种虚拟建筑物的展示方法及装置 |
CN111880664A (zh) * | 2020-08-03 | 2020-11-03 | 深圳传音控股股份有限公司 | Ar互动方法、电子设备及可读存储介质 |
CN111913560A (zh) * | 2019-05-07 | 2020-11-10 | 广东虚拟现实科技有限公司 | 虚拟内容的显示方法、装置、系统、终端设备及存储介质 |
CN111949111A (zh) * | 2019-05-14 | 2020-11-17 | Oppo广东移动通信有限公司 | 交互控制方法、装置、电子设备及存储介质 |
CN112791382A (zh) * | 2021-01-22 | 2021-05-14 | 网易(杭州)网络有限公司 | Vr场景的控制方法、装置、设备及存储介质 |
CN114125415A (zh) * | 2020-08-28 | 2022-03-01 | 奥迪股份公司 | 通过增强现实呈现车辆异常部件的系统、方法和存储介质 |
CN114115530A (zh) * | 2021-11-08 | 2022-03-01 | 深圳市雷鸟网络传媒有限公司 | 虚拟对象控制方法、装置、电子设备及存储介质 |
CN114527870A (zh) * | 2022-01-14 | 2022-05-24 | 深圳市大富网络技术有限公司 | 一种基于vr/ar的用户操作方法、装置、系统及存储介质 |
CN116095293A (zh) * | 2023-01-13 | 2023-05-09 | 北京达佳互联信息技术有限公司 | 虚拟道具的显示方法、装置、设备以及存储介质 |
CN116129085A (zh) * | 2023-02-03 | 2023-05-16 | 阿里巴巴(中国)有限公司 | 虚拟物体处理方法、设备、存储介质及程序产品 |
WO2024012268A1 (zh) * | 2022-07-14 | 2024-01-18 | 维沃移动通信有限公司 | 虚拟操作方法、装置、电子设备及可读存储介质 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102722249A (zh) * | 2012-06-05 | 2012-10-10 | 上海鼎为软件技术有限公司 | 操控方法、操控装置及电子装置 |
CN105493155A (zh) * | 2013-08-30 | 2016-04-13 | 高通股份有限公司 | 用于表示物理场景的方法和设备 |
US20160140763A1 (en) * | 2014-11-14 | 2016-05-19 | Qualcomm Incorporated | Spatial interaction in augmented reality |
CN105843396A (zh) * | 2010-03-05 | 2016-08-10 | 索尼电脑娱乐美国公司 | 在共享的稳定虚拟空间上维持多视图 |
CN106020468A (zh) * | 2016-05-18 | 2016-10-12 | 翁明辉 | 一种手套控制的增强现实系统 |
CN106933350A (zh) * | 2017-02-09 | 2017-07-07 | 深圳市创想天空科技股份有限公司 | Ar交互方法及装置 |
CN107481327A (zh) * | 2017-09-08 | 2017-12-15 | 腾讯科技(深圳)有限公司 | 关于增强现实场景的处理方法、装置、终端设备及系统 |
-
2018
- 2018-03-26 CN CN201810254607.0A patent/CN108519817A/zh active Pending
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105843396A (zh) * | 2010-03-05 | 2016-08-10 | 索尼电脑娱乐美国公司 | 在共享的稳定虚拟空间上维持多视图 |
CN102722249A (zh) * | 2012-06-05 | 2012-10-10 | 上海鼎为软件技术有限公司 | 操控方法、操控装置及电子装置 |
CN105493155A (zh) * | 2013-08-30 | 2016-04-13 | 高通股份有限公司 | 用于表示物理场景的方法和设备 |
US20160140763A1 (en) * | 2014-11-14 | 2016-05-19 | Qualcomm Incorporated | Spatial interaction in augmented reality |
CN106020468A (zh) * | 2016-05-18 | 2016-10-12 | 翁明辉 | 一种手套控制的增强现实系统 |
CN106933350A (zh) * | 2017-02-09 | 2017-07-07 | 深圳市创想天空科技股份有限公司 | Ar交互方法及装置 |
CN107481327A (zh) * | 2017-09-08 | 2017-12-15 | 腾讯科技(深圳)有限公司 | 关于增强现实场景的处理方法、装置、终端设备及系统 |
Cited By (28)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110928399B (zh) * | 2018-09-19 | 2023-05-05 | 阿里巴巴集团控股有限公司 | 控制系统、方法及电子设备 |
CN110928399A (zh) * | 2018-09-19 | 2020-03-27 | 阿里巴巴集团控股有限公司 | 控制系统、方法及电子设备 |
CN109876450A (zh) * | 2018-12-14 | 2019-06-14 | 深圳壹账通智能科技有限公司 | 基于ar游戏的实现方法、服务器、计算机设备及存储介质 |
CN111381670B (zh) * | 2018-12-29 | 2022-04-01 | 广东虚拟现实科技有限公司 | 虚拟内容的交互方法、装置、系统、终端设备及存储介质 |
CN111383345A (zh) * | 2018-12-29 | 2020-07-07 | 广东虚拟现实科技有限公司 | 虚拟内容的显示方法、装置、终端设备及存储介质 |
CN111381670A (zh) * | 2018-12-29 | 2020-07-07 | 广东虚拟现实科技有限公司 | 虚拟内容的交互方法、装置、系统、终端设备及存储介质 |
CN109732606A (zh) * | 2019-02-13 | 2019-05-10 | 深圳大学 | 机械臂的远程控制方法、装置、系统及存储介质 |
CN109960404A (zh) * | 2019-02-15 | 2019-07-02 | 联想(北京)有限公司 | 一种数据处理方法及装置 |
CN111913560A (zh) * | 2019-05-07 | 2020-11-10 | 广东虚拟现实科技有限公司 | 虚拟内容的显示方法、装置、系统、终端设备及存储介质 |
WO2020228643A1 (zh) * | 2019-05-14 | 2020-11-19 | Oppo广东移动通信有限公司 | 交互控制方法、装置、电子设备及存储介质 |
CN111949111A (zh) * | 2019-05-14 | 2020-11-17 | Oppo广东移动通信有限公司 | 交互控制方法、装置、电子设备及存储介质 |
CN111949111B (zh) * | 2019-05-14 | 2022-04-26 | Oppo广东移动通信有限公司 | 交互控制方法、装置、电子设备及存储介质 |
US20220066545A1 (en) * | 2019-05-14 | 2022-03-03 | Guangdong Oppo Mobile Telecommunications Corp., Ltd. | Interactive control method and apparatus, electronic device and storage medium |
CN110799987A (zh) * | 2019-09-11 | 2020-02-14 | 深圳盈天下视觉科技有限公司 | 主动式物体识别方法、物体识别装置以及物体识别系统 |
CN110799987B (zh) * | 2019-09-11 | 2023-05-02 | 深圳盈天下视觉科技有限公司 | 主动式物体识别方法、物体识别装置以及物体识别系统 |
CN110716645A (zh) * | 2019-10-15 | 2020-01-21 | 北京市商汤科技开发有限公司 | 一种增强现实数据呈现方法、装置、电子设备及存储介质 |
CN110716647A (zh) * | 2019-10-17 | 2020-01-21 | 广州大西洲科技有限公司 | 一种增强现实交互方法、装置及系统 |
CN111640185A (zh) * | 2020-06-05 | 2020-09-08 | 上海商汤智能科技有限公司 | 一种虚拟建筑物的展示方法及装置 |
CN111639615B (zh) * | 2020-06-05 | 2023-09-19 | 上海商汤智能科技有限公司 | 一种虚拟建筑物的触发控制方法及装置 |
CN111639615A (zh) * | 2020-06-05 | 2020-09-08 | 上海商汤智能科技有限公司 | 一种虚拟建筑物的触发控制方法及装置 |
CN111880664A (zh) * | 2020-08-03 | 2020-11-03 | 深圳传音控股股份有限公司 | Ar互动方法、电子设备及可读存储介质 |
CN114125415A (zh) * | 2020-08-28 | 2022-03-01 | 奥迪股份公司 | 通过增强现实呈现车辆异常部件的系统、方法和存储介质 |
CN112791382A (zh) * | 2021-01-22 | 2021-05-14 | 网易(杭州)网络有限公司 | Vr场景的控制方法、装置、设备及存储介质 |
CN114115530A (zh) * | 2021-11-08 | 2022-03-01 | 深圳市雷鸟网络传媒有限公司 | 虚拟对象控制方法、装置、电子设备及存储介质 |
CN114527870A (zh) * | 2022-01-14 | 2022-05-24 | 深圳市大富网络技术有限公司 | 一种基于vr/ar的用户操作方法、装置、系统及存储介质 |
WO2024012268A1 (zh) * | 2022-07-14 | 2024-01-18 | 维沃移动通信有限公司 | 虚拟操作方法、装置、电子设备及可读存储介质 |
CN116095293A (zh) * | 2023-01-13 | 2023-05-09 | 北京达佳互联信息技术有限公司 | 虚拟道具的显示方法、装置、设备以及存储介质 |
CN116129085A (zh) * | 2023-02-03 | 2023-05-16 | 阿里巴巴(中国)有限公司 | 虚拟物体处理方法、设备、存储介质及程序产品 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108519817A (zh) | 基于增强现实的交互方法、装置、存储介质及电子设备 | |
US9685005B2 (en) | Virtual lasers for interacting with augmented reality environments | |
CN111382624B (zh) | 动作识别方法、装置、设备及可读存储介质 | |
CN104936665B (zh) | 合作增强现实 | |
CN108245888A (zh) | 虚拟对象控制方法、装置及计算机设备 | |
CN109905754A (zh) | 虚拟礼物收取方法、装置及存储设备 | |
CN108492363A (zh) | 基于增强现实的结合方法、装置、存储介质及电子设备 | |
CN107291266B (zh) | 图像显示的方法和装置 | |
CN108682038A (zh) | 位姿确定方法、装置及存储介质 | |
CN108255304A (zh) | 基于增强现实的视频数据处理方法、装置和存储介质 | |
CN108710525A (zh) | 虚拟场景中的地图展示方法、装置、设备及存储介质 | |
CN108694073B (zh) | 虚拟场景的控制方法、装置、设备及存储介质 | |
JP2014531688A (ja) | 全方向ジェスチャー入力 | |
CN106713840B (zh) | 虚拟信息显示方法及装置 | |
EP2558924B1 (en) | Apparatus, method and computer program for user input using a camera | |
CN109426783A (zh) | 基于增强现实的手势识别方法及系统 | |
CN109634489A (zh) | 发表评论的方法、装置、设备及可读存储介质 | |
CN107864336B (zh) | 一种图像处理方法、移动终端 | |
CN110765525B (zh) | 生成场景图片的方法、装置、电子设备及介质 | |
CN108513671A (zh) | 一种2d应用在vr设备中的显示方法及终端 | |
CN109685907A (zh) | 基于增强现实的图像结合方法及系统 | |
CN110536006A (zh) | 一种对象位置调整方法及电子设备 | |
CN113253908A (zh) | 按键功能执行方法、装置、设备及存储介质 | |
CN111857793A (zh) | 网络模型的训练方法、装置、设备及存储介质 | |
CN113891166A (zh) | 数据处理方法、装置、计算机设备及介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
CB02 | Change of applicant information | ||
CB02 | Change of applicant information |
Address after: Changan town in Guangdong province Dongguan 523860 usha Beach Road No. 18 Applicant after: OPPO Guangdong Mobile Communications Co., Ltd. Address before: Changan town in Guangdong province Dongguan 523860 usha Beach Road No. 18 Applicant before: Guangdong OPPO Mobile Communications Co., Ltd. |
|
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20180911 |