CN109189210A - 混合现实交互方法、装置及存储介质 - Google Patents

混合现实交互方法、装置及存储介质 Download PDF

Info

Publication number
CN109189210A
CN109189210A CN201810887112.1A CN201810887112A CN109189210A CN 109189210 A CN109189210 A CN 109189210A CN 201810887112 A CN201810887112 A CN 201810887112A CN 109189210 A CN109189210 A CN 109189210A
Authority
CN
China
Prior art keywords
real
world object
location information
world
scene
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810887112.1A
Other languages
English (en)
Inventor
徐力
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Baidu Online Network Technology Beijing Co Ltd
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN201810887112.1A priority Critical patent/CN109189210A/zh
Publication of CN109189210A publication Critical patent/CN109189210A/zh
Priority to US16/508,380 priority patent/US11138777B2/en
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/60Editing figures and text; Combining figures or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01Indexing scheme relating to G06F3/01
    • G06F2203/012Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/24Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Human Computer Interaction (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本申请提供一种混合现实交互方法、装置及存储介质,其中,该方法包括:通过设置在真实物体中的定位芯片,实时获取该真实物体在空间中的位置信息,根据该真实物体的位置信息,控制AR场景中的虚拟物体按照真实物体的运行轨迹在AR场景中进行移动。该技术方案使得用户在现实世界看到的物体和在虚拟世界中看到的物体同步,提高了用户的体验。

Description

混合现实交互方法、装置及存储介质
技术领域
本申请涉及计算机技术领域,尤其涉及一种混合现实交互方法、装置及存储介质。
背景技术
混合现实技术(mixed reality,MR)是虚拟现实技术的进一步发展,该技术通过在现实场景呈现虚拟场景信息,在现实世界、虚拟世界和用户之间搭起一个交互反馈的信息回路,以增强用户体验的真实感。由于混合现实能够影响工作流程,帮助人们提高工作效率和创新能力,因而,混合现实具有很大的应用场景。
目前,由于混合现实的交互方式不完善,可能致使现实世界的物体在虚拟世界中不同步,导致用户的体验差。
发明内容
本申请提供一种混合现实交互方法、装置及存储介质,以解决由于混合现实的交互方式不完善,致使现实世界的物体在虚拟世界中不同步,用户体验差的问题。
本申请第一方面提供的一种混合现实交互方法,包括:
通过设置在真实物体中的定位芯片,实时获取所述真实物体在空间中的位置信息;
根据所述真实物体的位置信息,控制增强现实AR场景中的虚拟物体按照所述真实物体的运行轨迹在AR场景中进行移动。
可选的,在第一方面的一种可能实现方式中,所述方法还包括:
获取所述真实物体的标识;
根据所述真实物体的标识,将所述真实物体与所述虚拟物体进行绑定。
可选的,在第一方面的上述可能实现方式中,所述获取所述真实物体的标识,包括:
接收用户输入的物体绑定请求;所述物体绑定请求包括所述真实物体的标识,所述物体绑定请求用于指示将所述真实物体与所述虚拟物体进行绑定。
可选的,在第一方面的另一种可能实现方式中,所述通过设置在真实物体中的定位芯片,实时获取所述真实物体在空间中的位置信息,包括:
实时接收所述定位芯片通过超宽带UWB技术发送的所述真实物体在空间中的位置信息;所述位置信息包括所述真实物体的三维坐标。
可选的,在第一方面的再一种可能实现方式中,所述根据所述真实物体的位置信息,控制增强现实AR场景中的虚拟物体按照所述真实物体的运行轨迹在AR场景中进行移动,包括:
根据所述真实物体的位置信息,将所述虚拟物体叠加显示在所述AR场景中对应的位置;
在所述真实物体的位置信息更新后,控制所述虚拟物体在AR场景中移动至目标位置,所述目标位置为更新后的真实物体的位置信息在AR场景中对应的位置。
本申请第二方面提供一种混合现实交互装置,包括:获取模块和控制模块;
所述获取模块,用于通过设置在真实物体中的定位芯片,实时获取所述真实物体在空间中的位置信息;
所述控制模块,用于根据所述真实物体的位置信息,控制增强现实AR场景中的虚拟物体按照所述真实物体的运行轨迹在AR场景中进行移动。
可选的,在第二方面的一种可能实现方式中,所述获取模块,还用于获取所述真实物体的标识;
相应的,所述控制模块,还用于根据所述真实物体的标识,将所述真实物体与所述虚拟物体进行绑定。
可选的,在第二方面的上述可能实现方式中,所述获取模块,还用于获取所述真实物体的标识,具体为:
所述获取模块,还用于接收用户输入的物体绑定请求;所述物体绑定请求包括所述真实物体的标识,所述物体绑定请求用于指示将所述真实物体与所述虚拟物体进行绑定。
可选的,在第二方面的另一种可能实现方式中,所述获取模块,用于通过设置在真实物体中的定位芯片,实时获取所述真实物体在空间中的位置信息,具体为:
所述获取模块,具体用于实时接收所述定位芯片通过超宽带UWB技术发送的所述真实物体在空间中的位置信息;所述位置信息包括所述真实物体的三维坐标。
可选的,在第二方面的再一种可能实现方式中,所述控制模块,用于根据所述真实物体的位置信息,控制增强现实AR场景中的虚拟物体按照所述真实物体的运行轨迹在AR场景中进行移动,具体为:
所述控制模块,具体用于根据所述真实物体的位置信息,将所述虚拟物体叠加显示在所述AR场景中对应的位置,并在所述真实物体的位置信息更新后,控制所述虚拟物体在AR场景中移动至目标位置,所述目标位置为更新后的真实物体的位置信息在AR场景中对应的位置。
本申请第三方面提供的一种混合现实交互装置,包括处理器、存储器及存储在所述存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现如上述第一方面以及第一方面各可能实现方式所述的方法。
本申请第四方面提供的一种存储介质,所述存储介质中存储有指令,当其在计算机上运行时,使得计算机执行如上述第一方面以及第一方面各可能实现方式所述的方法。
本申请实施例提供的混合现实交互方法、装置及存储介质,通过设置在真实物体中的定位芯片,实时获取真实物体在空间中的位置信息,进而根据该真实物体的位置信息,控制AR场景中的虚拟物体按照该真实物体的运行轨迹在AR场景中进行移动。该技术方案使得用户在现实世界看到的物体和在虚拟世界中看到的物体同步,提高了用户的体验。
附图说明
图1为本申请实施例提供的混合现实交互系统的结构示意图;
图2为本申请实施例提供的混合现实交互方法实施例一的流程图;
图3为本申请实施例提供的混合现实交互方法实施例二的流程图;
图4为本申请实施例提供的混合现实交互方法实施例三的流程图;
图5为本申请实施例提供的混合现实交互装置实施例一的结构示意图;
图6为本申请实施例提供的混合现实交互装置实施例二的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请实施例提供的混合现实交互方法应用于混合现实交互系统中,图1为本申请实施例提供的混合现实交互系统的结构示意图。如图1所示,该混合现实交互系统包括:用户11、用户佩戴的AR设备12、以及真实球体(未示出)在增强现实(augmented reality,AR)场景中的虚拟球体13。
可选的,该真实球体中设置有定位芯片,定位芯片可以定位该真实球体在空间中的位置信息,用户佩戴的AR设备12中具有控制器,该控制器可以获取通过定位芯片获取到的真实球体的位置信息,进而根据该位置信息控制AR场景中虚拟球体13的运动。
可选的,增强现实(augmented reality,AR)技术是通过计算机系统提供的信息增加用户对现实世界感知的技术,将虚拟的信息应用到现实世界,并将计算机生成的虚拟物体、场景或系统提示信息叠加到真实场景中,从而实现对现实的增强。
混合现实(mix reality,MR)可以包括增强现实和增强虚拟,指的是合并现实世界和虚拟世界而产生的新的可视化环境。在新的可视化环境里物理和数字对象共存,并实时互动。混合现实是在虚拟现实(vitual reality,VR)和AR兴起的基础上提出的,可以认为是AR的增强版,主要应用在可穿戴设备方向。
本申请实施例针对现有混合现实交互方式中用户交互体验差的问题,提出了一种混合现实交互方法,通过控制增强现实(augmented reality,AR)场景的虚拟物体按照真实物体的运动轨迹在AR场景中移动,提高了用户在虚实融合的混合现实中的交互体验。
下面以图1所示的混合现实交互系统,通过具体实施例对本申请的技术方案进行详细说明。需要说明的是,下面这几个具体的实施例可以相互结合,对于相同或相似的概念或过程可能在某些实施例中不再赘述。
本申请实施例中,“多个”是指两个或两个以上。“和/或”,描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
图2为本申请实施例提供的混合现实交互方法实施例一的流程图。该方法实施例的执行主体可以是控制器或服务器,可选的,本申请实施例以执行主体为控制器进行说明。如图2所示,本申请实施例提供的混合现实交互方法,可以包括如下步骤:
步骤21:通过设置在真实物体中的定位芯片,实时获取该真实物体在空间中的位置信息。
可选的,在本申请的实施例中,可以在现实世界中的真实物体中设置定位芯片,该定位芯片可以和设置在AR设备中的控制器进行无线通信。具体的,该定位芯片可以实时发出定位信号,因而,控制器可以实时获取定位信号,根据获取的定位信号确定该定位芯片的位置信息,进而实时获取该真实物体的位置信息。
可选的,定位芯片可以是全球定位系统(global positioning system,GPS)芯片,也可以是追踪芯片。一般情况下,定位芯片均包含射频(radio frequency,RF)芯片、基带芯片及微处理器的芯片组,该芯片组可以实现芯片的精确定位,为准确定位真实物体的位置信息奠定了基础。
可选的,作为一种示例,该步骤21(通过设置在真实物体中的定位芯片,实时获取该真实物体在空间中的位置信息)具体可以通过如下方式实现:
实时接收上述定位芯片通过超宽带UWB技术发送的真实物体在空间中的位置信息。其中,该位置信息包括真实物体的三维坐标。
可选的,超宽带(ultra wideband,UWB)技术是一种无载波通信技术,利用纳秒至微秒级的非正弦波窄脉冲传输数据,其为无线电领域的一次革命性进展,认为它将成为未来短距离无线通信的主流技术。UWB在早期被用来应用在近距离高速数据传输,近年来国外开始利用其亚纳秒级超窄脉冲来做近距离精确室内定位。
在本申请实施例中,定位芯片可以利用UWB技术向周围空间发送(或,广播)自己的位置信息,也即,将真实物体在空间中的位置信息发送出去,因而,AR设备中的控制器根据接收到的定位芯片通过UWB技术发送的位置信息,确定真实物体在空间中的位置信息。可选的,空间中的位置信息采用三维坐标的形式表示,因而,控制器获取到的该真实物体在空间中的位置信息包括真实物体的三维坐标。
步骤22:根据上述真实物体的位置信息,控制增强现实AR场景中的虚拟物体按照真实物体的运行轨迹在AR场景中进行移动。
可选的,增强现实(augmented reality,AR)技术是一种将现实世界信息和虚拟世界信息“无缝”集成的新技术,是把原本在现实世界的一定时间空间范围内很难体验到的实体信息(视觉信息、声音、味道、触觉等)通过电脑等科学技术,模拟仿真后再叠加,将虚拟的信息应用到现实世界,被人类感官所感知,从而达到超越现实的感官体验。真实的环境和虚拟的物体实时地叠加到了同一个画面或空间同时存在。
在本申请的实施例中,通过控制器可以使得AR场景中的虚拟物体按照真实物体的运行轨迹在AR场景中进行移动,从而提高用户在混合现实中的交互体验。
本申请实施例的混合现实交互方式主要是首先定位出真实物体的位置信息,其次结合AR技术,将真实物体和AR场景中的虚拟物体绑定,从而实现虚实融合的混合现实交互体验。
举例来说,对于现实世界中的一个真实球体,首先利用设置在该真实球体内的定位芯片定位出该真实球体在3维空间中的位置信息,其次将该真实球体与AR场景中的虚拟球体绑定,即控制虚拟球体根据该真实球体的位置信息在空间进行运动,实现真实球体和虚拟球体同步运动的效果,这样用户通过佩戴AR眼镜便可以在虚拟的AR球场上操作真实球体。
本申请实施例提供的混合现实交互方法,通过设置在真实物体中的定位芯片,实时获取真实物体在空间中的位置信息,进而根据该真实物体的位置信息,控制AR场景中的虚拟物体按照该真实物体的运行轨迹在AR场景中进行移动。该技术方案使得用户在现实世界看到的物体和在虚拟世界中看到的物体同步,提高了用户的体验。
可选的,在上述实施例的基础上,图3为本申请实施例提供的混合现实交互方法实施例二的流程图。如图3所示,本实施例提供的混合现实交互方法还可以包括如下步骤:
步骤31:获取上述真实物体的标识。
可选的,在本申请的实施例中,将定位芯片设置在真实物体中时,可以将该真实物体的标识通过软件实现的形式写入到对应定位芯片的内部,进而在定位芯片发送位置信息(即,真实物体的位置信息)时,也将该真实物体的标识发送出去,进而使控制器根据接收到的该真实物体的位置信息和标识,从而使控制器根据接收到的位置信息和标识对AR场景中的虚拟物体的运动进行精确控制。
可选的,在本申请的实施例中,作为一种示例,该控制器获取真实物体的标识具体可以通过如下方式实现:
接收用户输入的物体绑定请求,该物体绑定请求包括真实物体的标识,该物体绑定请求用于指示将真实物体与虚拟物体进行绑定。
可选的,当用户想要体验MA,控制虚拟物体在AR场景中移动时,首先需要将真实物体和虚拟物体绑定在一起,所以,用户可以向控制器发送物体绑定请求,以使控制器根据该物体绑定请求的指示进行物体绑定。此外,由于现实世界中包括很多的物体,为了使控制器确定用户要操作的真实物体,即控制器要绑定的真实物体,该物体绑定请求中还需要包括真实物体的标识,进而根据该真实物体的标识,实现真实物体与虚拟物体的绑定。
步骤32:根据上述真实物体的标识,将真实物体与虚拟物体进行绑定。
可选的,由于上述物体绑定请求用于指示将真实物体与虚拟物体进行绑定,因而,控制器从接收到物体绑定请求中获取到真实物体的标识之后,便可以根据该物体绑定请求的指示将真实物体与虚拟物体绑定起来。
值得说明的是,本申请实施例的步骤31和步骤32可以位于上述步骤21之后,且步骤22之前,如图3所示,即当控制器通过设置在真实物体中的定位芯片实时获取真实物体在空间中的位置信息之后,首先获取真实物体的标识,并根据该真实物体的标识,将真实物体与虚拟物体进行绑定,再根据真实物体的位置信息,控制AR场景中的虚拟物体按照该真实物体的运行轨迹在AR场景中进行移动。
本申请实施例提供的混合现实交互方法,可以通过获取真实物体的标识,并根据真实物体的标识,将真实物体与虚拟物体进行绑定,为后续控制器根据获取到的真实物体的位置信息控制AR场景中的虚拟物体按照真实物体的运行轨迹在AR场景中进行移动提供的实现可能。
可选的,在上述任一实施例的基础上,图4为本申请实施例提供的混合现实交互方法实施例三的流程图。如图4所示,在本申请实施例提供的混合现实交互方法中,上述步骤22(根据上述真实物体的位置信息,控制增强现实AR场景中的虚拟物体按照真实物体的运行轨迹在AR场景中进行移动)可以通过如下步骤实现:
步骤41:根据上述真实物体的位置信息,将虚拟物体叠加显示在AR场景中对应的位置。
可选的,在本申请的实施例中,当用户佩戴上AR设备(AR眼镜)之后,现实世界中的真实物体在AR场景中映射成一虚拟物体,若想控制AR场景中的虚拟物体按照真实物体的运行轨迹在AR场景中进行移动,控制器首先根据实时获取到的真实物体的位置信息,将AR场景中的虚拟物体叠加显示在AR场景中对应的位置,使得用户通过AR设备看到的虚拟物体的位置和现实世界中真实物体的位置一致。
步骤42:在真实物体的位置信息更新后,控制虚拟物体在AR场景中移动至目标位置,该目标位置为更新后的真实物体的位置信息在AR场景中对应的位置。
可选的,当现实世界中的真实物体运动时,其在AR场景中的虚拟物体也应该发生相应的移动。由于控制器可以根据设置在真实物体中的定位芯片可以实时获取真实物体的位置信息,所以,在真实物体进行运动时,控制器也可以获取到运动后的真实物体的位置信息,因而,一旦控制器确定真实物体的位置信息更新,控制器可以控制AR场景中虚拟物体的位置信息进行相应的更新。
具体的,当控制器确定真实物体的位置信息发生变化时,控制器可以控制AR场景中虚拟物体的位置信息发生相应的变化,即控制虚拟物体在AR场景中移动至目标位置,该目标位置为更新后的真实物体的位置信息在AR场景中对应的位置。
本申请实施例提供的混合现实交互方法,通过真实物体的位置信息,将虚拟物体叠加显示在AR场景中对应的位置,进而在真实物体的位置信息更新后,控制虚拟物体在AR场景中移动至目标位置,该目标位置为更新后的真实物体的位置信息在AR场景中对应的位置,从而实现了根据真实物体的位置信息控制AR场景中的虚拟物体按照真实物体的运行轨迹在AR场景中进行移动的目的。该技术方案中的虚拟物体可以按照真实物体的运行轨迹在AR场景中运动,实现了真实物体与虚拟物体的运动同步,提高了用户在混合现实中的交互体验。
下述为本申请装置实施例,可以用于执行本申请方法实施例。对于本申请装置实施例中未披露的细节,请参照本申请方法实施例。
图5为本申请实施例提供的混合现实交互装置实施例一的结构示意图。如图5所示,本申请实施例提供的混合现实交互装置,可以包括:获取模块51和控制模块52。
其中,该获取模块51,用于通过设置在真实物体中的定位芯片,实时获取所述真实物体在空间中的位置信息;
该控制模块52,用于根据所述真实物体的位置信息,控制增强现实AR场景中的虚拟物体按照所述真实物体的运行轨迹在AR场景中进行移动。
可选的,在本申请实施例的一种可能实现方式中,该获取模块51,还用于获取所述真实物体的标识;
相应的,所述控制模块52,还用于根据所述真实物体的标识,将所述真实物体与所述虚拟物体进行绑定。
可选的,在本申请实施例的上述可能实现方式中,所述获取模块51,还用于获取所述真实物体的标识,具体为:
所述获取模块51,还用于接收用户输入的物体绑定请求;所述物体绑定请求包括所述真实物体的标识,所述物体绑定请求用于指示将所述真实物体与所述虚拟物体进行绑定。
可选的,在本申请实施例的另一种可能实现方式中,所述获取模块51,用于通过设置在真实物体中的定位芯片,实时获取所述真实物体在空间中的位置信息,具体为:
所述获取模块51,具体用于实时接收所述定位芯片通过超宽带UWB技术发送的所述真实物体在空间中的位置信息;所述位置信息包括所述真实物体的三维坐标。
可选的,在本申请实施例的再一种可能实现方式中,所述控制模块52,用于根据所述真实物体的位置信息,控制增强现实AR场景中的虚拟物体按照所述真实物体的运行轨迹在AR场景中进行移动,具体为:
所述控制模块52,具体用于根据所述真实物体的位置信息,将所述虚拟物体叠加显示在所述AR场景中对应的位置,并在所述真实物体的位置信息更新后,控制所述虚拟物体在AR场景中移动至目标位置,所述目标位置为更新后的真实物体的位置信息在AR场景中对应的位置。
本申请实施例提供的混合现实交互装置,可用于执行图2至图4所示实施例中的方法,其实现原理和技术效果类似,在此不再赘述。
需要说明的是,应理解以上装置的各个模块的划分仅仅是一种逻辑功能的划分,实际实现时可以全部或部分集成到一个物理实体上,也可以物理上分开。且这些模块可以全部以软件通过处理元件调用的形式实现;也可以全部以硬件的形式实现;还可以部分模块通过处理元件调用软件的形式实现,部分模块通过硬件的形式实现。例如,确定模块可以为单独设立的处理元件,也可以集成在上述装置的某一个芯片中实现,此外,也可以以程序代码的形式存储于上述装置的存储器中,由上述装置的某一个处理元件调用并执行以上确定模块的功能。其它模块的实现与之类似。此外这些模块全部或部分可以集成在一起,也可以独立实现。这里所述的处理元件可以是一种集成电路,具有信号的处理能力。在实现过程中,上述方法的各步骤或以上各个模块可以通过处理器元件中的硬件的集成逻辑电路或者软件形式的指令完成。
例如,以上这些模块可以是被配置成实施以上方法的一个或多个集成电路,例如:一个或多个特定集成电路(application specific integrated circuit,ASIC),或,一个或多个微处理器(digital signal processor,DSP),或,一个或者多个现场可编程门阵列(field programmable gate array,FPGA)等。再如,当以上某个模块通过处理元件调度程序代码的形式实现时,该处理元件可以是通用处理器,例如中央处理器(centralprocessing unit,CPU)或其它可以调用程序代码的处理器。再如,这些模块可以集成在一起,以片上系统(system-on-a-chip,SOC)的形式实现。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,DVD)、或者半导体介质(例如固态硬盘solid state disk(SSD))等。
图6为本申请实施例提供的混合现实交互装置实施例二的结构示意图。如图6所示,该混合现实交互装置,可以包括:处理器61和存储器62及存储在所述存储器62上并可在所述处理器61上运行的计算机程序,所述处理器61执行所述程序时实现如上述图2至图4所示实施例的方法。
可选的,本申请实施例还提供一种存储介质,所述存储介质中存储有指令,当其在计算机上运行时,使得计算机执行如上述图2至图4所示实施例的方法。
可选的,本申请实施例还提供一种运行指令的芯片,所述芯片用于执行上述图2至图4所示实施例的方法。
本申请实施例还提供一种程序产品,所述程序产品包括计算机程序,所述计算机程序存储在存储介质中,至少一个处理器可以从所述存储介质读取所述计算机程序,所述至少一个处理器执行所述计算机程序时可实现上述图2至图4所示实施例的方法。
可以理解的是,在本申请的实施例中涉及的各种数字编号仅为描述方便进行的区分,并不用来限制本申请的实施例的范围。
可以理解的是,在本申请的实施例中,上述各过程的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本申请的实施例的实施过程构成任何限定。
最后应说明的是:以上各实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述各实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。

Claims (12)

1.一种混合现实交互方法,其特征在于,包括:
通过设置在真实物体中的定位芯片,实时获取所述真实物体在空间中的位置信息;
根据所述真实物体的位置信息,控制增强现实AR场景中的虚拟物体按照所述真实物体的运行轨迹在AR场景中进行移动。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
获取所述真实物体的标识;
根据所述真实物体的标识,将所述真实物体与所述虚拟物体进行绑定。
3.根据权利要求2所述的方法,其特征在于,所述获取所述真实物体的标识,包括:
接收用户输入的物体绑定请求;所述物体绑定请求包括所述真实物体的标识,所述物体绑定请求用于指示将所述真实物体与所述虚拟物体进行绑定。
4.根据权利要求1所述的方法,其特征在于,所述通过设置在真实物体中的定位芯片,实时获取所述真实物体在空间中的位置信息,包括:
实时接收所述定位芯片通过超宽带UWB技术发送的所述真实物体在空间中的位置信息;所述位置信息包括所述真实物体的三维坐标。
5.根据权利要求1-4任一项所述的方法,其特征在于,所述根据所述真实物体的位置信息,控制增强现实AR场景中的虚拟物体按照所述真实物体的运行轨迹在AR场景中进行移动,包括:
根据所述真实物体的位置信息,将所述虚拟物体叠加显示在所述AR场景中对应的位置;
在所述真实物体的位置信息更新后,控制所述虚拟物体在AR场景中移动至目标位置,所述目标位置为更新后的真实物体的位置信息在AR场景中对应的位置。
6.一种混合现实交互装置,其特征在于,包括:获取模块和控制模块;
所述获取模块,用于通过设置在真实物体中的定位芯片,实时获取所述真实物体在空间中的位置信息;
所述控制模块,用于根据所述真实物体的位置信息,控制增强现实AR场景中的虚拟物体按照所述真实物体的运行轨迹在AR场景中进行移动。
7.根据权利要求6所述的装置,其特征在于,所述获取模块,还用于获取所述真实物体的标识;
相应的,所述控制模块,还用于根据所述真实物体的标识,将所述真实物体与所述虚拟物体进行绑定。
8.根据权利要求7所述的方法,其特征在于,所述获取模块,还用于获取所述真实物体的标识,具体为:
所述获取模块,还用于接收用户输入的物体绑定请求;所述物体绑定请求包括所述真实物体的标识,所述物体绑定请求用于指示将所述真实物体与所述虚拟物体进行绑定。
9.根据权利要求6所述的方法,其特征在于,所述获取模块,用于通过设置在真实物体中的定位芯片,实时获取所述真实物体在空间中的位置信息,具体为:
所述获取模块,具体用于实时接收所述定位芯片通过超宽带UWB技术发送的所述真实物体在空间中的位置信息;所述位置信息包括所述真实物体的三维坐标。
10.根据权利要求6-9任一项所述的方法,其特征在于,所述控制模块,用于根据所述真实物体的位置信息,控制增强现实AR场景中的虚拟物体按照所述真实物体的运行轨迹在AR场景中进行移动,具体为:
所述控制模块,具体用于根据所述真实物体的位置信息,将所述虚拟物体叠加显示在所述AR场景中对应的位置,并在所述真实物体的位置信息更新后,控制所述虚拟物体在AR场景中移动至目标位置,所述目标位置为更新后的真实物体的位置信息在AR场景中对应的位置。
11.一种混合现实交互装置,包括处理器、存储器及存储在所述存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如上述权利要求1-5任一项所述的方法。
12.一种存储介质,其特征在于,所述存储介质中存储有指令,当其在计算机上运行时,使得计算机执行如权利要求1-5任一项所述的方法。
CN201810887112.1A 2018-08-06 2018-08-06 混合现实交互方法、装置及存储介质 Pending CN109189210A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201810887112.1A CN109189210A (zh) 2018-08-06 2018-08-06 混合现实交互方法、装置及存储介质
US16/508,380 US11138777B2 (en) 2018-08-06 2019-07-11 Mixed reality interaction method, apparatus, device and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810887112.1A CN109189210A (zh) 2018-08-06 2018-08-06 混合现实交互方法、装置及存储介质

Publications (1)

Publication Number Publication Date
CN109189210A true CN109189210A (zh) 2019-01-11

Family

ID=64920396

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810887112.1A Pending CN109189210A (zh) 2018-08-06 2018-08-06 混合现实交互方法、装置及存储介质

Country Status (2)

Country Link
US (1) US11138777B2 (zh)
CN (1) CN109189210A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111629330A (zh) * 2020-07-28 2020-09-04 南京新研协同定位导航研究院有限公司 基于uwb定位的mr眼镜播放内容启停方法
WO2021136265A1 (zh) * 2019-12-31 2021-07-08 维沃移动通信有限公司 解锁方法及电子设备
CN114584680A (zh) * 2020-11-30 2022-06-03 北京市商汤科技开发有限公司 一种运动数据展示方法、装置、计算机设备及存储介质
CN114926614A (zh) * 2022-07-14 2022-08-19 北京奇岱松科技有限公司 一种基于虚拟世界和现实世界的信息交互系统

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111815782A (zh) * 2020-06-30 2020-10-23 北京市商汤科技开发有限公司 Ar场景内容的显示方法、装置、设备及计算机存储介质
CN114624648A (zh) * 2020-12-14 2022-06-14 Oppo广东移动通信有限公司 定位方法和系统,及计算机存储介质
CN114470768B (zh) * 2022-02-15 2023-07-25 北京字跳网络技术有限公司 虚拟道具控制方法、装置、电子设备及可读存储介质
CN114900530B (zh) * 2022-04-22 2023-05-05 冠捷显示科技(厦门)有限公司 一种显示设备与元宇宙虚实切换与整合系统及其方法
WO2024158191A1 (en) * 2023-01-25 2024-08-02 Samsung Electronics Co., Ltd. System and method for providing an interaction with real-world object via virtual session

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103366610A (zh) * 2013-07-03 2013-10-23 熊剑明 基于增强现实的三维互动学习系统及方法
CN106933355A (zh) * 2017-01-24 2017-07-07 北京富龙飞科技有限公司 增强现实中快速实时获得运动物体信息的方法
JP2017123050A (ja) * 2016-01-07 2017-07-13 ソニー株式会社 情報処理装置、情報処理方法、プログラム、及びサーバ
CN108255194A (zh) * 2018-01-08 2018-07-06 江苏工程职业技术学院 一种基于uwb的农用植保无人机精准定位喷药控制方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5732988B2 (ja) * 2011-04-08 2015-06-10 ソニー株式会社 画像処理装置、表示制御方法及びプログラム
HK1198318A2 (zh) * 2014-07-09 2015-03-27 Senmedia Ltd 基於 標記的增強現實系統
DE102014219148A1 (de) * 2014-09-23 2016-03-24 Robert Bosch Gmbh Verfahren und Vorrichtung zum Erstellen eines Bewegungsmodells eines Straßenverkehrsteilnehmers
US10623636B2 (en) * 2015-08-17 2020-04-14 C360 Technologies, Inc. Generating objects in real time panoramic video
US9996978B2 (en) * 2016-02-08 2018-06-12 Disney Enterprises, Inc. System and method of simulating first-person control of remote-controlled vehicles
US10937240B2 (en) * 2018-01-04 2021-03-02 Intel Corporation Augmented reality bindings of physical objects and virtual objects

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103366610A (zh) * 2013-07-03 2013-10-23 熊剑明 基于增强现实的三维互动学习系统及方法
JP2017123050A (ja) * 2016-01-07 2017-07-13 ソニー株式会社 情報処理装置、情報処理方法、プログラム、及びサーバ
CN106933355A (zh) * 2017-01-24 2017-07-07 北京富龙飞科技有限公司 增强现实中快速实时获得运动物体信息的方法
CN108255194A (zh) * 2018-01-08 2018-07-06 江苏工程职业技术学院 一种基于uwb的农用植保无人机精准定位喷药控制方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021136265A1 (zh) * 2019-12-31 2021-07-08 维沃移动通信有限公司 解锁方法及电子设备
CN111629330A (zh) * 2020-07-28 2020-09-04 南京新研协同定位导航研究院有限公司 基于uwb定位的mr眼镜播放内容启停方法
CN114584680A (zh) * 2020-11-30 2022-06-03 北京市商汤科技开发有限公司 一种运动数据展示方法、装置、计算机设备及存储介质
CN114926614A (zh) * 2022-07-14 2022-08-19 北京奇岱松科技有限公司 一种基于虚拟世界和现实世界的信息交互系统

Also Published As

Publication number Publication date
US11138777B2 (en) 2021-10-05
US20200043210A1 (en) 2020-02-06

Similar Documents

Publication Publication Date Title
CN109189210A (zh) 混合现实交互方法、装置及存储介质
US10188949B2 (en) Game object control system and program
CN103984763B (zh) 一种轨迹图显示设备、方法和监控终端
US20140192164A1 (en) System and method for determining depth information in augmented reality scene
CN107229706A (zh) 一种基于增强现实的信息获取方法及其装置
CN105359054A (zh) 在空间中对设备进行定位和取向
KR101800109B1 (ko) Iot 기기를 이용해서 증강 현실을 구현한 전장 온라인 게임
KR20110025216A (ko) 가상 오브젝트들 상에 효과를 발생시키는 방법
CN103489211A (zh) 基于三维仿真模型的人员定位跟踪的方法及系统
CN104750716A (zh) 一种社交网站好友推荐方法及装置
CN109816792A (zh) 一种三维场景中的定位方法及装置
US20200234477A1 (en) Conversion of 2d diagrams to 3d rich immersive content
CN107808009A (zh) 一种基于Stamp平台的二三维地图联动方法
Cirulis Ultra wideband tracking potential for augmented reality environments
CN105243268A (zh) 一种游戏地图定位方法、装置及用户终端
CN106412238B (zh) 一种相对信息的获取方法及移动终端
CN109804391A (zh) 信息处理装置、信息处理装置的控制方法及控制程序
CN103578127B (zh) 一种对象转身操作实现方法及装置
Predescu et al. ARMAX: A Mobile geospatial augmented reality platform for serious gaming
KR102317103B1 (ko) Iot 기기를 이용해서 증강 현실을 구현한 전장 온라인 게임
CN110345920A (zh) 一种基于北斗gnss和bim的现场和模型影像自动同步方法
Khalid et al. The potential of augmented reality technology for pre-construction
CN111001149B (zh) 一种基于视频回放的位置定位方法及系统
CN109035417B (zh) 含有机构的虚拟场景建模方法和装置
Bressan VR as design management tool.

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination