CN108346179B - Ar设备显示方法和装置 - Google Patents

Ar设备显示方法和装置 Download PDF

Info

Publication number
CN108346179B
CN108346179B CN201810141710.4A CN201810141710A CN108346179B CN 108346179 B CN108346179 B CN 108346179B CN 201810141710 A CN201810141710 A CN 201810141710A CN 108346179 B CN108346179 B CN 108346179B
Authority
CN
China
Prior art keywords
image
virtual object
object model
target
model image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810141710.4A
Other languages
English (en)
Other versions
CN108346179A (zh
Inventor
季佳松
林形省
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Xiaomi Mobile Software Co Ltd
Original Assignee
Beijing Xiaomi Mobile Software Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Xiaomi Mobile Software Co Ltd filed Critical Beijing Xiaomi Mobile Software Co Ltd
Priority to CN201810141710.4A priority Critical patent/CN108346179B/zh
Publication of CN108346179A publication Critical patent/CN108346179A/zh
Application granted granted Critical
Publication of CN108346179B publication Critical patent/CN108346179B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01Indexing scheme relating to G06F3/01
    • G06F2203/012Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本公开是关于一种AR设备显示方法和装置。该方法应用于服务器,所述方法包括:获取AR设备的当前位置;当所述当前位置为预定位置,获取所述AR设备位于所述当前位置时采集的目标图像;在所述目标图像中检测目标物体;响应于检测到所述目标物体,获取与所述目标物体对应的虚拟物体模型图像;控制所述AR设备根据所述目标图像,显示所述虚拟物体模型图像。本公开有利于实现多用户同时对虚拟物体模型进行操作,增加了在AR设备中对虚拟物体模型进行体验的真实度。

Description

AR设备显示方法和装置
技术领域
本公开涉及互联网技术领域,尤其涉及一种AR设备显示方法和装置。
背景技术
增强现实(Augmented Reality,简称AR)是一种将真实世界信息和虚拟世界信息“无缝”集成的新技术。AR把原本在现实世界的一定时间空间范围内很难体验到的实体信息(视觉信息、声音、味道、触觉等),通过电脑等科学技术,模拟仿真后再叠加,将虚拟的信息应用到真实世界,被人类感官所感知,从而达到超越现实的感官体验。真实的环境和虚拟的物体实时地叠加到了同一个画面或空间同时存在。
相关技术中,没有涉及到同一个虚拟物品被多个人共同查看和交互,无法满足一个用户分享同一个虚拟物品,或多个用户一起对虚拟物品进行操作交互需求。
发明内容
为克服相关技术中存在的问题,本公开提供一种AR设备显示方法和装置。
根据本公开实施例的第一方面,提供一种AR设备显示方法,包括:
获取AR设备的当前位置;
当所述当前位置为预定位置,获取所述AR设备位于所述当前位置时采集的目标图像;
在所述目标图像中检测目标物体;
响应于检测到所述目标物体,获取与所述目标物体对应的虚拟物体模型图像;
控制所述AR设备根据所述目标图像,显示所述虚拟物体模型图像。
在一种可能的实现方式中,所述方法还包括:
建立目标参数和虚拟物体模型图像之间的对应关系,所述目标参数包括目标物体和当前位置;
所述获取与所述目标物体对应的虚拟物体模型图像,包括:基于所述对应关系获取与所述目标物体对应的虚拟物体模型图像。
在一种可能的实现方式中,所述预定位置包括:全球定位系统GPS信息或即时定位与地图构建SLAM位置信息。
在一种可能的实现方式中,所述SLAM位置信息包括虚拟图像周边的现实图像信息、标记信息、相对于标记的传感器信息和激光测距信息中的至少一种。
在一种可能的实现方式中,该方法还包括:在检测到所述虚拟物体模型处于被编辑状态下,通过轮询或推送的方式获得更新的虚拟物体模型。
在一种可能的实现方式中,控制所述AR设备根据所述目标图像,显示所述虚拟物体模型图像,包括:
控制所述AR设备根据所述目标图像,在所述目标物体上显示所述虚拟物体模型图像;或
控制所述AR设备根据所述目标图像,在所述目标物体相邻的指定区域显示所述虚拟物体模型图像。
根据本公开实施例的第二方面,提供一种AR设备显示方法,应用于所述AR设备,所述方法包括:
获取当前位置;
向服务器发送所述当前位置;
接收所述服务器发送的图像获取请求;
根据所述图像获取请求获取在所述当前位置采集的目标图像;
向服务器发送所述目标图像;
接收所述服务器发送的虚拟物体模型图像;
根据所述目标图像,显示所述虚拟物体模型图像。
在一种可能的实现方式中,根据所述目标图像,显示所述虚拟物体模型图像,包括:
根据所述目标图像,在所述目标物体上显示所述虚拟物体模型图像;或
根据所述目标图像,在所述目标物体相邻的指定区域显示所述虚拟物体模型图像。
根据本公开实施例的第三方面,提供一种AR设备显示装置,包括:
第一获取模块,用于获取AR设备的当前位置;
第二获取模块,用于当所述当前位置为预定位置,获取所述AR设备位于所述当前位置时采集的目标图像;
检测模块,用于在所述目标图像中检测目标物体;
第三获取模块,用于响应于检测到所述目标物体,获取与所述目标物体对应的虚拟物体模型图像;
显示控制模块,用于控制所述AR设备根据所述目标图像,显示所述虚拟物体模型图像。
在一种可能的实现方式中,所述装置还包括:
建立模块,用于建立目标参数和虚拟物体模型图像之间的对应关系,所述目标参数包括目标物体和当前位置;
所述第三获取模块还用于基于所述对应关系获取与所述目标物体对应的虚拟物体模型图像。
在一种可能的实现方式中,所述预定位置包括:全球定位系统GPS信息或即时定位与地图构建SLAM位置信息。
在一种可能的实现方式中,所述SLAM位置信息包括虚拟图像周边的现实图像信息、标记信息、相对于标记的传感器信息和激光测距信息中的至少一种。
在一种可能的实现方式中,所述装置还包括:
更新模块,用于在检测到所述虚拟物体模型处于被编辑状态下,通过轮询或推送的方式获得更新的虚拟物体模型。
在一种可能的实现方式中,所述显示控制模块包括:
第一显示控制子模块,用于控制所述AR设备根据所述目标图像,在所述目标物体上显示所述虚拟物体模型图像;或
第二显示控制子模块,用于控制所述AR设备根据所述目标图像,在所述目标物体相邻的指定区域显示所述虚拟物体模型图像。
根据本公开实施例的第四方面,提供一种AR设备显示装置,应用于所述AR设备,所述装置包括:
第四获取模块,用于获取当前位置;
第一发送模块,用于向服务器发送所述当前位置;
第一接收模块,用于接收所述服务器发送的图像获取请求;
第五获取模块,用于根据所述图像获取请求获取在所述当前位置采集的目标图像;
第二发送模块,用于向服务器发送所述目标图像;
第二接收模块,用于接收所述服务器发送的虚拟物体模型图像;
显示模块,用于根据所述目标图像,显示所述虚拟物体模型图像。
在一种可能的实现方式中,所述显示模块包括:
第一显示子模块,用于根据所述目标图像,在所述目标物体上显示所述虚拟物体模型图像;或
第二显示子模块,用于根据所述目标图像,在所述目标物体相邻的指定区域显示所述虚拟物体模型图像。
根据本公开实施例的第五方面,提供一种AR设备显示装置,包括:
处理器;
用于存储处理器可执行指令的存储器;
其中,所述处理器被配置为执行本公开任一实施例所述的方法。
根据本公开实施例的第六方面,提供一种非临时性计算机可读存储介质,当所述存储介质中的指令由处理器执行时,使得处理器能够执行根据本公开任一实施例所述的方法。
本公开的实施例提供的技术方案可以包括以下有益效果:可以在AR设备的当前位置采集的目标图像中检测目标物体,以获取与目标物体对应的虚拟物体模型图像,从而在AR设备上显示该虚拟物体模型图像,有利于实现多用户同时对虚拟物体模型进行操作,增加了在AR设备中对虚拟物体模型进行体验的真实度。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理。
图1是根据一示例性实施例示出的一种AR设备显示方法的流程图。
图2是根据一示例性实施例示出的一种AR设备显示方法的另一流程图。
图3是根据另一示例性实施例示出的一种AR设备显示方法的流程图。
图4是根据另一示例性实施例示出的一种AR设备显示方法的流程图。
图5是根据一示例性实施例示出的一种AR设备显示装置的框图。
图6是根据一示例性实施例示出的一种AR设备显示装置的另一框图。
图7是根据另一示例性实施例示出的一种AR设备显示装置的框图。
图8是根据一示例性实施例示出的一种AR设备显示装置的框图。
图9是根据一示例性实施例示出的一种AR设备显示装置的框图。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
图1是根据一示例性实施例示出的一种AR设备显示方法的流程图,如图1所示,基于增强现实AR的虚拟物品获取方法用于服务器中,包括以下步骤。
在步骤101中,获取AR设备的当前位置。
在步骤102中,当所述当前位置为预定位置,获取所述AR设备位于所述当前位置时采集的目标图像。
在步骤103中,在所述目标图像中检测目标物体;
在步骤104中,响应于检测到所述目标物体,获取与所述目标物体对应的虚拟物体模型图像。
在步骤105中,控制所述AR设备根据所述目标图像,显示所述虚拟物体模型图像。
在本公开中,AR设备采集当前位置例如,当前所处位置的坐标信息,并将所采集的当前位置上传到服务器。服务器根据接收的当前位置进行查询,如果当前位置与预定位置匹配成功,则服务器可以获取AR设备位于当前位置时采集的目标图像。然后,在目标图像中检测目标物体,并获取与所述目标物体对应的虚拟物体模型图像。然后,服务器可以向AR设备返回虚拟物体模型图像。AR设备收到虚拟物体模型图像后,可以将该虚拟物体模型图像展示给用户。此外,服务器也可以获取与所述目标物体对应的ID信息,向AR设备返回该ID信息。在AR设备上显示该ID信息,如果用户选择了打开该ID对应的虚拟物体模型图像,再通过该ID信息下载该虚拟物体模型图像。
在本公开中,佩戴AR设备的用户,可以根据AR设备的位置自动启动向服务器查询虚拟物体模型的服务,或者用户操作AR设备主动发起,向服务器查询AR设备当前所处的位置的虚拟物体模型。通过服务器、路由器等与AR设备(例如配有AR功能的手机、眼镜等设备)交互,实现“多用户”通过AR设备同时看到投射的虚拟场景、物品的显示与操作。AR设备产生数据可以通过路由器反馈给服务器。
在一种可能的实现方式中,如图2所示,该方法还包括:
步骤100、建立目标参数和虚拟物体模型图像之间的对应关系,所述目标参数包括目标物体和当前位置。
在这种情况下,在步骤104中,获取与所述目标物体对应的虚拟物体模型图像,包括:基于所述对应关系获取与所述目标物体对应的虚拟物体模型图像。
例如,AR设备在教师拍摄到包括黑板的图像后,将AR设备的当前位置和包括黑板的图像上传服务器。服务器从图像中检测到黑板后,可以在预先保存的对应关系中进行查找。如果查找到与AR设备的当前位置匹配的位置,并且查找到的匹配位置有对应的黑板,与黑板有对应的虚拟老师的图像,则可以在黑板的前方显示该虚拟老师的图像。
以下通过示例来说明本公开所适用的不同场景。
示例一、共同查看的场景:
例如,一个店主他的咖啡店门口设置了一个虚拟通知黑板(虚拟物体模型的示例),在上面写了一些价格优惠券信息,希望光临的穿戴AR设备的用户通过AR设备,能够查看到这个虚拟通知黑板。如果穿戴AR设备的用户在位于咖啡店门口的位置,并采集到包括咖啡店大门的图像,可以在咖啡店门口的某个位置显示虚拟通知黑板的图像。
示例二、共同编辑的场景:
多个佩戴AR设备的设计师一起编辑一个3D虚拟形象。比如各个穿戴AR设备的设计师,在某一位置(可以是一定区域范围),采集到某一目标图像后,可以分别在各自的AR设备上显示该3D虚拟形象。一个设计师负责该3D虚拟形象的脸部,另外一个设计师负责编辑该3D虚拟形象的躯干。各个设计师之间能够实时看到其它设计师的效果,并且可以看到该3D虚拟形象的全局效果。
在一种可能的实现方式中,所述预定位置包括:GPS(Global PositioningSystem,全球定位系统)信息或SLAM(simultaneous localization and mapping,即时定位与地图构建)位置信息。
在一种可能的实现方式中,所述SLAM位置信息包括虚拟图像周边的现实图像信息、标记(marker)信息、相对于标记的传感器信息和激光测距信息中的至少一种。
在一种可能的实现方式中,在检测到所述虚拟物体模型处于被编辑状态下,通过轮询或推送的方式获得更新的虚拟物体模型。
在本公开中,当用户对虚拟物体模型进行编辑时,服务器可以通过轮询或推送的方式向在相同位置的其他用户发送这个虚拟物体模型的属性更新的信息。
在一种可能的实现方式中,步骤105可以包括多种方式,例如:
方式一、控制所述AR设备根据所述目标图像,在所述目标物体上显示所述虚拟物体模型图像。例如,如果目标图像上的目标物体为书架,虚拟物体模型图像是图书,服务器可以控制AR设备在书架上显示该图书。
方式二、控制所述AR设备根据所述目标图像,在所述目标物体相邻的指定区域显示所述虚拟物体模型图像。例如,如果目标图像上的目标物体为黑板,虚拟物体模型图像是虚拟教师,服务器可以控制AR设备在黑板的前方显示该虚拟教师。
图3是根据另一示例性实施例示出的一种AR设备显示方法的流程图。如图3所示,该方法应用于所述AR设备,所述方法包括:
步骤201、获取当前位置;
步骤202、向服务器发送所述当前位置;
步骤203、接收所述服务器发送的图像获取请求;
步骤204、根据所述图像获取请求获取在所述当前位置采集的目标图像;
步骤205、向服务器发送所述目标图像;
步骤206、接收所述服务器发送的虚拟物体模型图像;
步骤207、根据所述目标图像,显示所述虚拟物体模型图像。
在本公开中,AR设备采集当前位置,并将所采集的当前位置上传到服务器。服务器根据接收的当前位置进行查询,如果当前位置与预定位置匹配成功,则服务器可以获取AR设备位于当前位置时采集的目标图像。然后,服务器在目标图像中检测目标物体,并获取与所述目标物体对应的虚拟物体模型图像。然后,服务器可以向AR设备返回虚拟物体模型图像。AR设备收到虚拟物体模型图像后,可以将该虚拟物体模型图像展示给用户。
在一种可能的实现方式中,步骤207可以包括多种方式,例如:
方式一、根据所述目标图像,在所述目标物体上显示所述虚拟物体模型图像。例如,如果目标图像上的目标物体为书架,虚拟物体模型图像是图书,AR设备在书架上显示该图书。
方式二、根据所述目标图像,在所述目标物体相邻的指定区域显示所述虚拟物体模型图像。例如,如果目标图像上的目标物体为黑板,虚拟物体模型图像是虚拟教师,AR设备在黑板的前方显示该虚拟教师。
本公开在AR设备的当前位置采集的目标图像中检测目标物体,以获取与目标物体对应的虚拟物体模型图像,从而在AR设备上显示该虚拟物体模型图像,有利于实现多用户同时对虚拟物体模型进行操作,增加了在AR设备中对虚拟物体模型进行体验的真实度。
图4是根据另一示例性实施例示出的一种AR设备显示方法的流程图。如图4所示,以SLAM位置信息为标记信息为例,该方法可以包括:
步骤301、虚拟形象发布者,初始化时,通过AR设备将某个虚拟物体模型显示在现实的空间中,会有对应的位置,该位置可以作为预定位置保存到服务器中。该预定位置包括但不限于GPS信息、SLAM位置信息(包括虚拟图像周边的现实图像信息、标记(marker)信息、相对于marker的传感器信息、激光测距信息等)。
步骤302、将该虚拟物体模型上传服务器生成对应的标识(ID)信息,并且将该虚拟物体模型对应的预定位置也上传服务器。
步骤303、佩戴AR设备的其它用户在该位置时,如果开启了AR设备,AR设备可能检测到此处有一个特殊的标记信息。这时,AR设备可以将此处的图像信息,以及对应的标记信息上传到服务器进行查询匹配。当然,也可以有佩戴AR设备的用户(也可以称为观察者)通过AR设备主动要求查询。
步骤304、如果在服务器中匹配到与该标记信息对应的ID信息,服务器可以向AR设备返回这个虚拟物体模型的ID信息。
步骤305、观察者可以在AR设备中根据这个ID信息,下载得到这个虚拟物体模型的图像等数据。
步骤306、如果同时有其它用户在使用AR设备编辑这个虚拟物体模型,则观察者的AR设备可以通过轮询或者推送的方式从服务器得到这个模型属性的更新信息,在AR设备中进行更新展示。
在本公开中,AR设备可以向服务器上传当前位置以及在当前位置采集的目标图像,从而在服务器获得与目标图像中的目标物体匹配的虚拟物体模型的ID信息,用户可以根据该ID信息有选择性的下载虚拟物体模型,有利于实现多用户同时对虚拟物体模型进行操作例如查看或编辑,增加了在AR设备中对虚拟物体模型进行体验的真实度。
图5是根据一示例性实施例示出的一种AR设备显示装置的框图。参照图5,该装置可以应用于服务器中,该装置可以包括:
第一获取模块41,用于获取AR设备的当前位置;
第二获取模块42,用于当所述当前位置为预定位置,获取所述AR设备位于所述当前位置时采集的目标图像;
检测模块43,用于在所述目标图像中检测目标物体;
第三获取模块44,用于响应于检测到所述目标物体,获取与所述目标物体对应的虚拟物体模型图像;
显示控制模块45,用于控制所述AR设备根据所述目标图像,显示所述虚拟物体模型图像。
在一种可能的实现方式中,如图6所示,该装置还包括:
建立模块46,用于建立目标参数和虚拟物体模型图像之间的对应关系,所述目标参数包括目标物体和当前位置;
所述第三获取模块44还用于基于所述对应关系获取与所述目标物体对应的虚拟物体模型图像。
在一种可能的实现方式中,所述预定位置包括GPS信息或SLAM位置信息。
在一种可能的实现方式中,所述SLAM位置信息包括虚拟图像周边的现实图像信息、标记信息、相对于标记的传感器信息和激光测距信息中的至少一种。
在一种可能的实现方式中,该装置还包括:
更新模块47,用于在检测到所述虚拟物体模型处于被编辑状态下,通过轮询或推送的方式获得更新所述虚拟物体模型。
在一种可能的实现方式中,所述显示控制模块45包括:
第一显示控制子模块,用于控制所述AR设备根据所述目标图像,在所述目标物体上显示所述虚拟物体模型图像;或
第二显示控制子模块,用于控制所述AR设备根据所述目标图像,在所述目标物体相邻的指定区域显示所述虚拟物体模型图像。
图7是根据一示例性实施例示出的一种AR设备显示装置的框图。参照图7,该装置可以应用于AR设备中,该装置可以包括:
第四获取模块51,用于获取当前位置;
第一发送模块52,用于向服务器发送所述当前位置;
第一接收模块53,用于接收所述服务器发送的图像获取请求;
第五获取模块54,用于根据所述图像获取请求获取在所述当前位置采集的目标图像;
第二发送模块55,用于向服务器发送所述目标图像;
第二接收模块56,用于接收所述服务器发送的虚拟物体模型图像;
显示模块57,用于根据所述目标图像,显示所述虚拟物体模型图像。
在一种可能的实现方式中,所述显示模块57包括:
第一显示子模块,用于根据所述目标图像,在所述目标物体上显示所述虚拟物体模型图像;或
第二显示子模块,用于根据所述目标图像,在所述目标物体相邻的指定区域显示所述虚拟物体模型图像。
关于上述实施例中的装置,其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。
图8是根据一示例性实施例示出的一种AR设备显示装置的框图。例如,装置800可以是移动电话,计算机,数字广播终端,消息收发设备,游戏控制台,平板设备,医疗设备,健身设备,个人数字助理等。
参照图8,装置800可以包括以下一个或多个组件:处理组件802,存储器804,电源组件806,多媒体组件808,音频组件810,输入/输出(I/O)的接口812,传感器组件814,以及通信组件816。
处理组件802通常控制装置800的整体操作,诸如与显示,电话呼叫,数据通信,相机操作和记录操作相关联的操作。处理组件802可以包括一个或多个处理器820来执行指令,以完成上述的方法的全部或部分步骤。此外,处理组件802可以包括一个或多个模块,便于处理组件802和其他组件之间的交互。例如,处理组件802可以包括多媒体模块,以方便多媒体组件808和处理组件802之间的交互。
存储器804被配置为存储各种类型的数据以支持在装置800的操作。这些数据的示例包括用于在装置800上操作的任何应用程序或方法的指令,联系人数据,电话簿数据,消息,图片,视频等。存储器804可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,如静态随机存取存储器(SRAM),电可擦除可编程只读存储器(EEPROM),可擦除可编程只读存储器(EPROM),可编程只读存储器(PROM),只读存储器(ROM),磁存储器,快闪存储器,磁盘或光盘。
电源组件806为装置800的各种组件提供电力。电源组件806可以包括电源管理系统,一个或多个电源,及其他与为装置800生成、管理和分配电力相关联的组件。
多媒体组件808包括在所述装置800和用户之间的提供一个输出接口的屏幕。在一些实施例中,屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板,屏幕可以被实现为触摸屏,以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界,而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中,多媒体组件808包括一个前置摄像头和/或后置摄像头。当装置800处于操作模式,如拍摄模式或视频模式时,前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
音频组件810被配置为输出和/或输入音频信号。例如,音频组件810包括一个麦克风(MIC),当装置800处于操作模式,如呼叫模式、记录模式和语音识别模式时,麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器804或经由通信组件816发送。在一些实施例中,音频组件810还包括一个扬声器,用于输出音频信号。
I/O接口812为处理组件802和外围接口模块之间提供接口,上述外围接口模块可以是键盘,点击轮,按钮等。这些按钮可包括但不限于:主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件814包括一个或多个传感器,用于为装置800提供各个方面的状态评估。例如,传感器组件814可以检测到装置800的打开/关闭状态,组件的相对定位,例如所述组件为装置800的显示器和小键盘,传感器组件814还可以检测装置800或装置800一个组件的位置改变,用户与装置800接触的存在或不存在,装置800方位或加速/减速和装置800的温度变化。传感器组件814可以包括接近传感器,被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件814还可以包括光传感器,如CMOS或CCD图像传感器,用于在成像应用中使用。在一些实施例中,该传感器组件814还可以包括加速度传感器,陀螺仪传感器,磁传感器,压力传感器或温度传感器。
通信组件816被配置为便于装置800和其他设备之间有线或无线方式的通信。装置800可以接入基于通信标准的无线网络,如WiFi,2G或3G,或它们的组合。在一个示例性实施例中,通信组件816经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中,所述通信组件816还包括近场通信(NFC)模块,以促进短程通信。例如,在NFC模块可基于射频识别(RFID)技术,红外数据协会(IrDA)技术,超宽带(UWB)技术,蓝牙(BT)技术和其他技术来实现。
在示例性实施例中,装置800可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现,用于执行上述方法。
在示例性实施例中,还提供了一种包括指令的非临时性计算机可读存储介质,例如包括指令的存储器804,上述指令可由装置800的处理器820执行以完成上述方法。例如,所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
图9是根据一示例性实施例示出的一种AR设备显示装置的框图。例如,装置1900可以被提供为一服务器。参照图9,装置1900包括处理组件1922,其进一步包括一个或多个处理器,以及由存储器1932所代表的存储器资源,用于存储可由处理组件1922的执行的指令,例如应用程序。存储器1932中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外,处理组件1922被配置为执行指令,以执行上述方法。
装置1900还可以包括一个电源组件1926被配置为执行装置1900的电源管理,一个有线或无线网络接口1950被配置为将装置1900连接到网络,和一个输入输出(I/O)接口1958。装置1900可以操作基于存储在存储器1932的操作系统,例如Windows ServerTM,MacOS XTM,UnixTM,LinuxTM,FreeBSDTM或类似。
在示例性实施例中,还提供了一种包括指令的非临时性计算机可读存储介质,例如包括指令的存储器1932,上述指令可由装置1900的处理组件1922执行以完成上述方法。例如,所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本公开的真正范围和精神由下面的权利要求指出。
应当理解的是,本公开并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (16)

1.一种增强现实AR设备显示方法,其特征在于,应用于服务器,所述方法包括:
获取AR设备的当前位置;
当所述当前位置为预定位置,获取所述AR设备位于所述当前位置时采集的目标图像;
在所述目标图像中检测目标物体;
响应于检测到所述目标物体,获取与所述目标物体对应的虚拟物体模型图像;
控制所述AR设备根据所述目标图像,显示所述虚拟物体模型图像;
还包括:
在检测到所述虚拟物体模型处于被编辑状态下,通过轮询或推送的方式获得更新的虚拟物体模型图像,并控制所述AR设备根据所述目标图像,显示更新后的所述虚拟物体模型图像,从而实现各用户通过不同AR设备共同更新所述虚拟物体模型图像。
2.根据权利要求1所述的方法,其特征在于,还包括:
建立目标参数和虚拟物体模型图像之间的对应关系,所述目标参数包括目标物体和当前位置;
所述获取与所述目标物体对应的虚拟物体模型图像,包括:基于所述对应关系获取与所述目标物体对应的虚拟物体模型图像。
3.根据权利要求2所述的方法,其特征在于,所述预定位置包括:全球定位系统GPS信息或即时定位与地图构建SLAM位置信息。
4.根据权利要求3所述的方法,其特征在于,所述SLAM位置信息包括虚拟图像周边的现实图像信息、标记信息、相对于标记的传感器信息和激光测距信息中的至少一种。
5.根据权利要求1至4中任一项所述的方法,其特征在于,控制所述AR设备根据所述目标图像,显示所述虚拟物体模型图像,包括:
控制所述AR设备根据所述目标图像,在所述目标物体上显示所述虚拟物体模型图像;
控制所述AR设备根据所述目标图像,在所述目标物体相邻的指定区域显示所述虚拟物体模型图像。
6.一种增强现实AR设备显示方法,其特征在于,应用于所述AR设备,所述方法包括:
获取当前位置;
向服务器发送所述当前位置;
接收所述服务器发送的图像获取请求;
根据所述图像获取请求获取在所述当前位置采集的目标图像;
向服务器发送所述目标图像;
接收所述服务器发送的虚拟物体模型图像和更新后的虚拟物体模型图像;
根据所述目标图像,显示所述虚拟物体模型图像,以使各用户通过不同AR设备共同查看所述虚拟物体模型图像,以及根据所述目标图像,显示更新后的所述虚拟物体模型图像,从而实现各用户通过不同AR设备共同更新所述虚拟物体模型图像。
7.根据权利要求6所述的方法,其特征在于,根据所述目标图像,显示所述虚拟物体模型图像,包括:
根据所述目标图像,在目标物体上显示所述虚拟物体模型图像;或
根据所述目标图像,在目标物体相邻的指定区域显示所述虚拟物体模型图像。
8.一种AR设备显示装置,其特征在于,应用于服务器,所述装置包括:
第一获取模块,用于获取AR设备的当前位置;
第二获取模块,用于当所述当前位置为预定位置,获取所述AR设备位于所述当前位置时采集的目标图像;
检测模块,用于在所述目标图像中检测目标物体;
第三获取模块,用于响应于检测到所述目标物体,获取与所述目标物体对应的虚拟物体模型图像;
显示控制模块,用于控制所述AR设备根据所述目标图像,显示所述虚拟物体模型图像,从而实现各用户通过不同AR设备共同查看所述虚拟物体模型图像;
更新模块,用于在检测到所述虚拟物体模型处于被编辑状态下,通过轮询或推送的方式获得更新的虚拟物体模型图,并控制所述AR设备根据所述目标图像,显示更新后的所述虚拟物体模型图像,从而实现各用户通过不同AR设备共同更新所述虚拟物体模型图像。
9.根据权利要求8所述的装置,其特征在于,还包括:
建立模块,用于建立目标参数和虚拟物体模型图像之间的对应关系,所述目标参数包括目标物体和当前位置;
所述第三获取模块还用于基于所述对应关系获取与所述目标物体对应的虚拟物体模型图像。
10.根据权利要求9所述的装置,其特征在于,所述预定位置包括:全球定位系统GPS信息或即时定位与地图构建SLAM位置信息。
11.根据权利要求10所述的装置,其特征在于,所述SLAM位置信息包括虚拟图像周边的现实图像信息、标记信息、相对于标记的传感器信息和激光测距信息中的至少一种。
12.根据权利要求8至11中任一项所述的装置,其特征在于,所述显示控制模块包括:
第一显示控制子模块,用于控制所述AR设备根据所述目标图像,在所述目标物体上显示所述虚拟物体模型图像;或
第二显示控制子模块,用于控制所述AR设备根据所述目标图像,在所述目标物体相邻的指定区域显示所述虚拟物体模型图像。
13.一种AR设备显示装置,其特征在于,应用于所述AR设备,所述装置包括:
第四获取模块,用于获取当前位置;
第一发送模块,用于向服务器发送所述当前位置;
第一接收模块,用于接收所述服务器发送的图像获取请求;
第五获取模块,用于根据所述图像获取请求获取在所述当前位置采集的目标图像;
第二发送模块,用于向服务器发送所述目标图像;
第二接收模块,用于接收所述服务器发送的虚拟物体模型图像和更新后的虚拟物体模型图像;
显示模块,用于根据所述目标图像,显示所述虚拟物体模型图像,以使各用户通过不同AR设备共同查看所述虚拟物体模型图像,以及根据所述目标图像,显示更新后的所述虚拟物体模型图像,从而实现各用户通过不同AR设备共同更新所述虚拟物体模型图像。
14.根据权利要求13所述的装置,其特征在于,所述显示模块包括:
第一显示子模块,用于根据所述目标图像,在目标物体上显示所述虚拟物体模型图像;
第二显示子模块,用于根据所述目标图像,在目标物体相邻的指定区域显示所述虚拟物体模型图像。
15.一种AR设备显示装置,其特征在于,包括:
处理器;
用于存储处理器可执行指令的存储器;
其中,所述处理器被配置为执行权利要求1至7中任一项所述的方法。
16.一种非临时性计算机可读存储介质,当所述存储介质中的指令由处理器执行时,使得处理器能够执行根据权利要求1至7中任一项所述的方法。
CN201810141710.4A 2018-02-11 2018-02-11 Ar设备显示方法和装置 Active CN108346179B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810141710.4A CN108346179B (zh) 2018-02-11 2018-02-11 Ar设备显示方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810141710.4A CN108346179B (zh) 2018-02-11 2018-02-11 Ar设备显示方法和装置

Publications (2)

Publication Number Publication Date
CN108346179A CN108346179A (zh) 2018-07-31
CN108346179B true CN108346179B (zh) 2021-08-03

Family

ID=62959330

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810141710.4A Active CN108346179B (zh) 2018-02-11 2018-02-11 Ar设备显示方法和装置

Country Status (1)

Country Link
CN (1) CN108346179B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109379551B (zh) * 2018-11-26 2021-05-18 京东方科技集团股份有限公司 一种增强内容显示方法、处理方法、显示装置及处理装置
CN110060355B (zh) * 2019-04-29 2023-05-23 北京小米移动软件有限公司 界面显示方法、装置、设备及存储介质
CN111580655A (zh) * 2020-05-08 2020-08-25 维沃移动通信有限公司 信息处理方法、装置和电子设备
CN117095319A (zh) * 2022-05-11 2023-11-21 华为技术有限公司 一种目标定位方法、系统和电子设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106355153A (zh) * 2016-08-31 2017-01-25 上海新镜科技有限公司 一种基于增强现实的虚拟对象显示方法、装置以及系统
CN106910244A (zh) * 2017-02-20 2017-06-30 广东电网有限责任公司教育培训评价中心 电力设备内部构造现场认知方法和装置
CN106940899A (zh) * 2017-03-30 2017-07-11 林星森 一种应用于ar场景下的武器瞄准系统的图层融合方法
CN107168532A (zh) * 2017-05-05 2017-09-15 武汉秀宝软件有限公司 一种基于增强现实的虚拟同步显示方法及系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106355153A (zh) * 2016-08-31 2017-01-25 上海新镜科技有限公司 一种基于增强现实的虚拟对象显示方法、装置以及系统
CN106910244A (zh) * 2017-02-20 2017-06-30 广东电网有限责任公司教育培训评价中心 电力设备内部构造现场认知方法和装置
CN106940899A (zh) * 2017-03-30 2017-07-11 林星森 一种应用于ar场景下的武器瞄准系统的图层融合方法
CN107168532A (zh) * 2017-05-05 2017-09-15 武汉秀宝软件有限公司 一种基于增强现实的虚拟同步显示方法及系统

Also Published As

Publication number Publication date
CN108346179A (zh) 2018-07-31

Similar Documents

Publication Publication Date Title
US11315336B2 (en) Method and device for editing virtual scene, and non-transitory computer-readable storage medium
CN110662083B (zh) 数据处理方法、装置、电子设备及存储介质
CN108182730B (zh) 虚实对象合成方法及装置
CN105450736B (zh) 与虚拟现实连接的方法和装置
CN108037863B (zh) 一种显示图像的方法和装置
CN108346179B (zh) Ar设备显示方法和装置
CN111970533A (zh) 直播间的互动方法、装置及电子设备
CN104077029B (zh) 一种选座的提示方法及装置
EP2988205A1 (en) Method and device for transmitting image
US20200034900A1 (en) Method and apparatus for displaying commodity
CN107423386B (zh) 生成电子卡片的方法及装置
CN107132769B (zh) 智能设备控制方法及装置
CN109496293A (zh) 扩展内容显示方法、装置、系统及存储介质
US11024264B2 (en) Controlling field of view
CN106648650A (zh) 对终端显示状态进行调整的方法及装置
CN110059547A (zh) 目标检测方法及装置
US9420440B2 (en) Calling methods and devices
CN112783316A (zh) 基于增强现实的控制方法及装置、电子设备和存储介质
CN107239140A (zh) Vr场景的处理方法、装置和终端
JP2017126355A (ja) イベントに関連付けられる情報を人に供給するための方法
CN106896917B (zh) 辅助用户体验虚拟现实的方法及装置、电子设备
CN106773750B (zh) 设备图像显示方法及装置
CN108924529B (zh) 图像显示的控制方法及装置
CN107948876B (zh) 控制音箱设备的方法、装置及介质
CN107239490B (zh) 一种命名人脸图像的方法、装置及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant