CN109144244A - 一种增强现实辅助的方法、装置、系统及增强现实设备 - Google Patents

Abstract

本发明实施例涉及增强现实技术领域，公开了一种增强现实辅助的方法、装置、系统及增强现实设备。其中，所述增强现实辅助的方法应用于增强现实设备，包括：获取环境对象的信息；呈现与所述环境对象的信息对应的增强图像模型列表，所述增强图像模型列表包含至少一个与所述环境对象的信息相匹配的增强图像模型；当接收到选择指令时，根据所述选择指令实时选择所述增强图像模型；根据所述增强图像模型，进行投影。通过以上方式，本实施例能够丰富虚拟图像的种类，并且通过一步步指令和诊断，以获得实时帮助，从而能够适用于多种不同场景。

Description

一种增强现实辅助的方法、装置、系统及增强现实设备

技术领域

本发明实施例涉及增强现实技术领域，特别是涉及一种增强现实辅助的方法、装置、系统及增强现实设备。

背景技术

增强现实显示技术是近年来发展的一项新技术，按照具体的应用主要分为虚拟现实(Virtual Reality，VR)和增强现实(Augmented Reality，AR)两种。AR技术是指利用计算机生成原本在现实世界的一定时间空间范围内难以体验到的实体信息(例如视觉信息、声音、味道、触觉等)，通过各种传感器设备是用户“沉浸”到该环境中，实现用户和环境直接进行自然交互。

要实现AR的虚实结合，使用者需要通过某种装置来看，现阶段主要通过头戴式显示器实现。通过佩戴头戴式显示器，在现实世界叠加虚拟图像，从而实现虚拟世界与现实世界的结合。

在实现本发明过程中，发明人发现相关技术中至少存在如下问题：现有的增强现实设备的虚拟图像种类单一，适用范围小，例如，娱乐类的增强现实设备只能够用于游戏，科教类的增强现实设备只能够用于教学。

发明内容

本发明实施例主要解决的技术问题是提供一种增强现实辅助的方法、装置、系统及增强现实设备，丰富了虚拟图像的种类，并且通过一步步指令和诊断，以获得实时帮助，从而能够适用于多种不同场景。

第一方面，本发明实施例提供了一种增强现实辅助的方法，应用于增强现实设备，包括：获取环境对象的信息；呈现与所述环境对象的信息对应的增强图像模型列表，所述增强图像模型列表包含至少一个与所述环境对象的信息相匹配的增强图像模型；当接收到选择指令时，根据所述选择指令实时选择所述增强图像模型；根据所述增强图像模型，进行投影。

其中，所述呈现与环境对象信息对应的增强图像模型列表，包括：识别本地是否存在所述增强图像模型列表；若本地存在，呈现本地所存在的所述增强图像模型列表；当本地不存在所述增强图像模型列表时，向服务器发送所述环境对象的信息；接收并且呈现所述服务器所返回的所述增强图像模型列表。

其中，所述增强图像模型包括多个虚拟图像和指令集；所述根据所述增强图像模型，进行投影，包括：接收用户的输入命令；从所述指令集中获取与所述输入指令匹配的指令，并且根据所述匹配的指令，获取并投影对应的所述虚拟图像。

其中，所述投影对应的所述虚拟图像，包括：获取所述环境对象的位置信息；根据所述环境对象的信息和所述位置信息，构建所述环境对象的三维图像；根据所述三维图像和所述位置信息，在所述环境对象上对所述虚拟图像进行投影，形成增强图像。

其中，所述输入命令是通过识别用户对增强图像和/或环境对象的操作动作得到的；或者，所述输入命令是通过识别用户的语音得到的。

其中，所述方法还包括：当接收到增强图像模型欠缺指令时，将所述环境对象的信息和匹配失败指令发送至所述服务器，所述匹配失败指令用于指示所述服务器更新检测与所述环境对象的信息对应的所述增强图像模型列表的算法；接收并且呈现所述服务器重新返回的增强图像模型列表，所述重新返回的增强图像模型列表是所述服务器根据更新后的算法所检测到的。

其中，所述增强图像模型为安装指导增强图像模型、诊断治疗增强图像模型和娱乐交互增强图像模型中的一种或多种。

第二方面，本发明实施例提供了一种增强现实辅助的装置，应用于增强现实设备，包括：获取模块，用于获取环境对象的信息；列表呈现模块，用于呈现与所述环境对象的信息对应的增强图像模型列表，所述增强图像模型列表包含至少一个与所述环境对象相匹配的增强图像模型；模型选择模块，用于当接收到选择指令时，根据所述选择指令实时选择增强图像模型；投影模块，用于根据所述增强图像模型，进行投影。

其中，所述列表呈现模块包括：本地识别单元，用于识别本地是否存在所述增强图像模型列表；本体呈现单元，用于若本地存在，呈现本地所存在的所述增强图像模型列表；服务器识别单元，用于当本地不存在所述增强图像模型列表时，向服务器发送所述环境对象的信息；服务器呈现单元，接收并且呈现所述服务器所返回的所述增强图像模型列表。

其中，所述增强图像模型包括多个虚拟图像和指令集；所述投影模块包括：输入命令单元，用于接收用户的输入命令；虚拟图像获取单元，用于从所述指令集中获取与所述输入指令匹配的指令，并且根据所述匹配的指令，获取并投影对应的所述虚拟图像。

其中，所述虚拟图像获取单元包括：位置信息获取子单元，用于获取所述环境对象的位置信息，三维图像构建子单元，用于根据所述环境对象的信息和所述位置信息，构建所述环境对象的三维图像；投影子单元，用于根据所述三维图像和所述位置信息，在所述环境对象上对所述虚拟图像进行投影，形成增强图像。

其中，所述输入命令是通过识别用户对增强图像和/或环境对象的操作动作得到的；或者，所述输入命令是由通过识别用户的语音得到的。

其中，所述装置还包括：增强图像模型欠缺单元，用于当接收到增强图像模型欠缺指令时，将所述环境对象的信息和匹配失败指令发送至所述服务器，所述匹配失败指令用于指示所述服务器更新检测与所述环境对象的信息对应的所述增强图像模型列表的算法；增强图像模型列表重新接收单元，用于接收并且呈现所述服务器重新返回的增强图像模型列表，所述重新返回的增强图像模型列表是所述服务器根据更新后的算法所检测到的。

其中，所述增强图像模型为安装指导增强图像模型、诊断治疗增强图像模型和娱乐交互增强图像模型中的一种或多种。

第三方面，本发明实施例提供了一种增强现实设备，包括：

至少一个处理器；以及，

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如第一方面所述的增强现实辅助的方法。

第四方面，本发明实施例还提供了一种非易失性计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使电子设备能够执行如第一方面所述的增强现实辅助的方法。

第五方面，本发明实施例还提供了一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，使所述计算机执行如第一方面所述的增强现实辅助的方法。

第六方面，本发明实施例还提供了一种增强显示辅助的系统，包括服务器和如第三方面所述的增强现实设备，所述服务器与所述增强现实设备连接，所述服务器用于存储增强图像模型列表和增强图像模型。

其中，所述服务器还用于根据所述增强现实设备发送的环境对象的信息和匹配失败指令，更新检测所述增强图像模型列表的算法，并根据更新后的算法，重新检测所述增强图像模型列表。

本发明实施例的有益效果是：区别于现有技术，本实施方式提供的一种增强现实辅助的方法通过通过获取环境对象的信息，呈现与环境对象的信息对应的增强图像模型列表，当接收到选择指令时，选择增强图像模型，并对增强图像模型进行投影，能够丰富虚拟图像的种类，并且通过一步步指令和诊断，以获得实时帮助，从而能够适用于多种不同场景。

附图说明

一个或多个实施例通过与之对应的附图中的图片进行示例性说明，这些示例性说明并不构成对实施例的限定，附图中具有相同参考数字标号的元件表示为类似的元件，除非有特别申明，附图中的图不构成比例限制。

图1为本发明其中一实施例提供的一种增强现实辅助的方法的流程示意图；

图2为本发明其中一实施例提供的增强现实辅助的方法的步骤120的流程示意图；

图3为本发明另一实施例提供的一种增强现实辅助的方法的流程示意图；

图4是本发明实施例提供的一种增强现实辅助的方法的应用实例的流程示意图；

图5是图4的应用场景示意图；

图6是本发明实施例提供的一种增强现实辅助的方法的另一应用实例的流程示意图；

图7是图6的应用场景示意图；

图8是本发明又一实施例提供的一种增强现实辅助的装置的结构示意图；

图9是本发明实施例提供的一种增强现实设备的结构示意图；

图10是本发明实施例提供的一种增强现实辅助的系统的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

本发明提供一种增强现实辅助的方法、装置、系统及增强现实设备，所述方法和装置能够丰富了虚拟图像的种类，并且通过一步步指令和诊断，以获得实时帮助，从而使增强现实设备能够适用于多种不同场景。

本发明实施例的增强现实辅助的方法，应用于增强现实设备，可以在任何具有处理器和存储器的增强现实设备中执行。

本发明实施例的增强现实辅助的装置，可以作为其中一个软件或者硬件功能单元，独立设置在上述增强现实设备或服务器上，也可以作为整合在处理器中的其中一个功能模块，执行本发明实施例的增强现实辅助的方法。

在本发明的实施例中，增强现实设备可以为智能投影手机(AR手机)、智能投影眼镜(AR眼镜)或智能头戴显示设备(Head Mount Display，HMD)等等具有增强现实显示功能的电子设备。

具体地，下面结合附图对本发明实施例作进一步阐述。

实施例一

图1为本发明其中一实施例提供的一种增强现实辅助的方法的流程示意图。请参阅图1，增强显示辅助的方法应用于增强现实设备，其中，该增强显示辅助的方法包括：

110、获取环境对象的信息。

其中，环境对象为用户将增强现实设备所指向的感兴趣的对象，例如，环境对象可以为现实物体(例如正在安装的物品、正在维修的车辆、汽车诊断设备等等)，也可以绘本、图片、logo图标、二维码等等，还可以为现实场景(例如包括多种物品的医疗护理现场)，还可以为语音控制指令等等。环境对象的信息可以为环境对象的图片、声音或者视频。其中，增强现实设备设有环境信息采集装置，该环境信息采集装置可以为单个摄像头或摄像头组，摄像头可以为普通摄像头或者深度摄像头或者3D摄像头等等。在本实施例中，环境信息采集装置为带有声音采集功能的摄像头，增强现实设备通过环境信息采集装置采集环境对象的图片、声音和/或视频。

在本实施例中，获取环境对象的信息，包括：获取由环境信息采集装置发送的环境对象的信息。例如，用户佩戴增强现实设备，环境信息采集装置拍摄得到环境对象的图片，图片中包括拆解的家具零部件，环境信息采集装置将图片发送给增强现实设备，则增强显示设备获取环境对象的信息。

120、呈现与所述环境对象的信息对应的增强图像模型列表，所述增强图像模型列表包含至少一个与所述环境对象的信息相匹配的增强图像模型。

其中，增强图像模型列表为增强图像模型的列表菜单，通过增强图像模型列表，能够获取增强图像模型。在本实施例中，通过识别环境对象，以获取与环境对象的信息对应的增强图像模型列表。识别环境对象的信息，当信息为图片时，可以采用卷积神经网络技术对图片进行特征识别，具体实施方式可以为：获取预设的神经网络模型，将图片作为输入参数输入，根据预设的神经网络模型，对图片进行局部特征提取；对各个局部特征进行特征映射，其中，每个特征映射是一个平面，平面上所有神经元的权值相等，特征映射结构采用sigmoid函数作为卷积网络的激活函数，使得特征映射具有位移不变性；根据特征映射结果，确定图片的内容。

其中，增强图像模型列表包含至少一个与环境对象的信息相匹配的增强图像模型。增强图像模型可以为安装指导增强图像模型、诊断治疗增强图像模型、娱乐交互增强图像模型、教学指导增强图像模型中的一种或多种。例如，通过识别环境对象的信息后，确定环境对象为车辆，则获取与车辆对应的增强图像模型列表，其中，该与车辆对应的增强模型列表中可以包括车辆安装指导增强图像模型、车辆诊断治疗增强图像模型和车辆娱乐交互增强图像模型等等。

其中，安装指导增强图像模型可以为车辆或者各种产品的安装指导教程，例如：当从电商平台购买产品需要自己安装时，纸质说明书上的步骤又复杂并且不够直观的情况下，用户可以使用对应的安装指导增强图像模型，进行增强现实显示，以获得实时的指导；又例如，当对汽车进行拆装时，零件多并且过程复杂，可以使用车辆安装指导增强图像模型，进行增强现实显示，以使虚拟图像与需要拆卸的螺钉或板块叠加，从而工人能够快速进行拆装。

其中，诊断治疗增强图像模型可以为为疾病或机器的诊断治疗教程，例如，当用户需要医疗帮助时，使用对应疾病的诊断治疗增强图像模型，从而进行一些简单的紧急处理；又例如，当设备出现故障时(如显卡显示故障等)，通过诊断治疗增强图像模型，从而获得操作维修的方法。

其中，娱乐交互增强图像模型可以为游戏或者儿童绘本的辅助互动，例如：当用户希望进行游戏娱乐时，通过采集用户当下的环境，获取场景相似的游戏的娱乐交互增强图像模型，从而进行即时的游戏娱乐；又例如，当家长或者老师在给小孩读绘本时，一般家长表达或者肢体语言不够丰富，文字或者图片内容不容易引起小孩的兴趣时，通过输入或者扫描故事绘本后，调取故事绘本对应的娱乐交互增强图像模型，实现生动形象的故事讲述。

其中，教学指导增强图像模型可以为课程教学或者产品教学等等，例如：通过课程教学的教学指导增强图像模型，获取题目解答、公式推导、变换题型演算等的方法，从而实现高效的学习；又例如，通过产品教学的教学指导增强图像模型，获取产品的使用方法、乐器的自学方法。乐器乐谱等，从而实现教学指导。

其中，增强图像模型列表还可以包括增强图像模型的功能名称、相关度、评分等等，例如：增强图像列表包括“名称：车辆安装指导增强图像模型相关度：高评分：8.1”、“名称：车辆诊断治疗增强图像模型相关度：中评分9.3”、“名称：车辆娱乐交互增强图像模型相关度：低评分9.1”。

进一步地，该方法还包括：根据选择指令，更新增强图像模型列表。根据用户的选择增强图像模型的频率，更新增强图像模型列表中的增强图像模型的排序。具体可以为：用户选择的增强图像模型的频率越高，增强图像模型在增强图像模型列表中的排序越靠前。

在一些其他实施例中，如图2所示，步骤120可以包括：

121、识别本地是否存在所述增强图像模型列表；

122、若本地存在，呈现本地所存在的所述增强图像模型列表；

123、当本地不存在与所述增强图像模型列表时，向服务器发送所述环境对象的信息；

124、接收并且呈现所述服务器所返回的与所述增强图像模型列表。

其中，本地是指增强现实设备的存储器，服务器为与增强现实设备连接的处理终端。识别本地是否存在所述增强图像模型列表，若本地存在，呈现本地所存在的增强图像模型列表，具体实施方式可以为：通过卷积神经网络技术识别环境对象后，查找增强现实设备的存储器是否存在与识别的环境对象对应的增强图像模型列表，若存在，则显示该增强图像模型列表。例如，若识别环境对象为车辆，则查找增强现实设备的存储器是否储存有关车辆的增强图像模型列表，若存在，则显示该有关车辆的增强图像模型列表。

其中，增强现实设备中的环境对象与增强图像模型列表是一一对应的，当增强现实设备无法识别出环境对象时，则增强现实设备无法找到对应的增强图像模型列表，即本地不存在增强图像模型列表时，向服务器发送环境对象的信息，由服务器对环境对象的信息进行识别，并在服务器上查找与该环境对象对应的增强图像模型列表，若找到，则将该增强图像模型列表发送至增强现实设备，再由增强现实设备接收并且呈现该增强图像模型列表。通过以上方式，只在增强现实设备储存最常用的几种增强图像模型列表，能够减少增强现实设备的运算量，从而减轻增强现实设备的重量。

其中，呈现增强图像模型列表，可以包括：将增强图像模型列表呈现在增强现实设备的显示屏上，或者，将增强图像模型列表通过增强现实设备投影出来。

130、当接收到选择指令时，根据所述选择指令实时选择增强图像模型。

其中，选择指令为增强现实设备根据用户的相关操作分发出用于执行选择增强图像模型的指令，其中，相关操作可以为软操作或者硬操作，软操作可以是增强现实设备根据预先逻辑输出触发信号，硬操作可以是外部对增强现实设备的相关硬件进行操作而使终端分发出控制指令，例如，可以是用户在增强现实设备的触摸屏进行的触摸操作，可以是对增强现实设备的按键进行的操作，还可以使晃动终端、转动终端，以及等等。例如，当车辆增强图像模型列表显示在增强现实设备的触摸屏时，用户通过点击触摸屏在增强图像模型列表中选择车辆安装指导增强图像模型，则增强现实设备根据选择指令实时选择该车辆安装指导增强图像模型。

140、根据所述增强图像模型，进行投影。

在获取增强图像模型后，对增强图像模型进行投影，以形成虚拟图像。例如，在获取车辆安装指导增强图像模型，对该车辆安装指导增强图像模型进行投影，从而使用户能够根据车辆安装指导增强图像模型进行车辆安装的操作。

其中，增强显示设备可以通过设置两个显示模块对增强图像模型进行投影，显示模块可以为LCD(Liquid Crystal Display，液晶显示器)、OLED(Organic Light-EmittingDiode，有机发光二极管)、LCOS(Liquid Crystal On Silicon，硅基液晶)等类型的显示器。增强现实设备对增强图像模型进行投影后，用户可以通过显示模块看见叠加在真实环境中的虚拟图像。

进一步地，增强图像模型可以包括多个虚拟图像和指令集，虚拟图像为需要叠加到现实环境对象的图片或视频，通过增强现实设备能够为用户所见；指令集为可触发对虚拟图像进行命令、控制操作的多个指令的集合。步骤140可以包括：

141、接收用户的输入命令；

142、从所述指令集中获取与所述输入指令匹配的指令，并且根据所述匹配的指令，获取并投影对应的所述虚拟图像。

其中，用户的输入命令为由用户触发的输入命令，可以通过识别用户对增强图像和/或环境对象的操作动作得到，或者，通过识别用户的语音得到。每个指令集中存有多个指令，每个指令执行一个操作步骤，与输入指令匹配的指令为指令集中执行用户的输入命令操作的指令，用户通过向增强现实设备输入输入命令，增强现实设备根据输入指令从指令集获取一个匹配的指令，从而获取虚拟图像。例如，在获取车辆的安装指导增强图像模型后，在车辆的左侧显示车辆的安装指导增强图像模型，此时显示虚拟图像a，用户通过语音输入“下一步”的输入命令，增强显示设备接收到输入命令，根据该输入命令从指令集获取匹配的指令，根据该匹配的指令，获取并投影虚拟图像b，从而用户能根据虚拟图像b进行进一步的安装操作。又例如，在获取车辆的安装指导增强图像模型后，在车辆的左侧显示车辆的安装指导增强图像模型，此时显示虚拟图像a，用户通过手势输入对虚拟图像a进行挪动的输入命令，增强显示设备通过手势识别接收到输入命令，根据该匹配的指令，获取并投影相对位置改变的虚拟图像a。进一步地，用户还可以通过增强现实设备输入输入命令，例如，用户在增强现实设备的屏幕上选择虚拟图像的某一零件，则根据输入命令的匹配指令，对该零件进行突出显示，用户再通过增强现实设备输入删除指令，则根据输入命令的匹配指令，获取该零件已被删除的虚拟图像。

更进一步地，步骤142中，投影对应的虚拟图像，包括：1421、获取所述环境对象的位置信息；1422、根据所述环境对象的信息和所述位置信息，构建所述环境对象的三维图像；1423、根据所述三维图像和所述位置信息，在所述环境对象上对所述虚拟图像进行投影，形成增强图像。

其中，环境对象的位置信息为所获取的环境对象当前的相对位置，例如通过拍摄环境对象的图片，能够识别环境对象与增强现实设备的相对位置，从而获取位置信息。环境对象的三维图像为根据环境对象及其位置信息构建出来的三维立体模型，作为虚拟图像的投影的载体。在获取三维图像后，以三维图像建立坐标系，并对三维图像进行标记，并结合位置信息生成虚拟图像的相对坐标，再根据相对坐标对虚拟图像进行投影，从而将虚拟图像叠加到现实环境中。

例如，在获取车辆的安装指导增强图像模型后，获取虚拟图像a，假设虚拟图像a为车门，获取车辆的位置信息为在增强现实设备的前方一米，并构建车辆的三维模型，以车辆的三维模型建立坐标系，并对车辆的门把手等点进行标记，然后结合位置信息生成虚拟图像的相对坐标M，根据相对坐标M投影虚拟图像a，当用户通过语音输入“下一步”，在接收到用户的输入命令后，从指令集获取匹配的指令，虚拟图像a从车辆的相对位置M移动到车辆的相对位置N，从而用户可以根据虚拟图像a的动作进行进一步的安装操作。

在本实施例中，该增强现实辅助的方法通过获取环境对象的信息，呈现与环境对象的信息对应的增强图像模型列表，当接收到选择指令时，选择增强图像模型，并对增强图像模型进行投影，能够丰富虚拟图像的种类，并且通过一步步指令和诊断，以获得实时帮助，从而能够适用于多种不同场景。

在一些实施例中，如图3所示，与上述各个实施例的区别点在于，该方法还包括：151、当接收到增强图像模型欠缺指令时，将所述环境对象的信息和匹配失败指令发送至所述服务器，所述匹配失败指令用于指示所述服务器更新检测与所述环境对象的信息对应的所述增强图像模型列表的算法；152、接收并且呈现所述服务器重新返回的增强图像模型列表，所述重新返回的增强图像模型列表是所述服务器根据更新后的算法所检测到的。

其中，增强图像模型欠缺指令为当用户在增强图像模型列表中找不到合适的增强图像模型时用户所触发的指令，例如，在增强图像模型列表显示界面上，设有增强图像模型欠缺按键，当用户找不到合适的增强图像模型时，用户点击该增强图像模型欠缺按键，则触发增强图像模型欠缺指令。匹配失败指令为根据增强图像模型欠缺指令生成的指令，当接收到增强图像模型欠缺指令时，则自动生成匹配失败指令。在本实施例中，当服务器接收到匹配失败指令后，服务器会根据环境对象的信息，进行更新检测增强图像模型列表的算法，具体实施方式可以是：服务器在接收环境对象的信息后，服务器采用假阴性或假阳性统计方法对环境对象的识别算法进行更新，以更新检测增强图像模型列表的算法，然后服务器使用新的算法再对环境对象进行识别，从而获取新的增强图像模型列表，并将新的增强图像模型列表发送至增强现实设备，增强现实设备接收并且呈现该增强图像模型列表。通过以上方式，对环境对象的识别进行不断训练和校正，以获取准确的增强图像模型列表。

在一些实施例中，与上述各个实施例的区别点在于，在步骤140后，该方法还包括：161、获取环境对象的新信息；162、根据环境对象的新信息，获取用户的操作信息；163、根据预设操作模型，识别用户的操作信息是否正确，若用户的操作信息不正确，对用户进行提醒。当用户根据增强图像模型进行操作(如安装、诊断等)后，需要判断用户的操作是否正确，并在用户的操作错误时及时给予提醒。例如，假设用户根据车辆安装指导增强图像模型对车辆进行车门安装的操作，用户将车门移动到车辆的m位置后，增强现实设备通过再次拍摄图片获取环境对象的新信息，对该图片进行图像识别，以获取用户的操作信息，若预设操作模型中的对应操作图像为车门位于车辆的n位置，则识别用户的操作信息错误，则投影“操作错误”字幕以对用户进行提醒。通过以上方式，能够反馈用户的操作，并在用户的操作错误时及时给予提醒。

实施例二

图4是本发明实施例提供的一种增强现实辅助的方法的应用实例的流程示意图。当用户不小心扭伤脚，希望获取紧急处理的方法时，如图4所示，该增强现实辅助的方法包括：

210、增强现实设备获取环境对象的信息；

用户将增强现实设备的摄像头指向扭伤处，摄像头进行拍摄，从而获取环境对象的图片。

220、增强现实设备识别环境对象的图片，并根据该图片获取、呈现对应的增强图像模型列表；

通过预设的算法对环境对象的图片进行处理和识别，识别得到该环境对象为受伤的人体脚踝，获取一与人体脚踝有关的增强图像模型列表，该增强图像模型列表包括：关节损伤诊断治疗模型、足球游戏交互模型、足球教学教程模型等等，并将该增强图像模型列表呈现在增强现实设备的显示屏上。

230、用户输入选择指令选择增强图像模型，增强现实设备接收选择指令，并根据选择指令实时选择该增强图像模型；

用户在显示屏点击关节损伤诊断治疗模型以输入选择指令，增强现实设备根据该选择指令实时从服务器获取关节损伤诊断治疗模型。

240、增强现实设备根据对该关节损伤诊断治疗模型进行投影。

增强现实设备在受伤的人体脚踝上方，对关节损伤诊断治疗模型进行投影，具体为：如图5所示，首先，显示初步诊断结果：踝关节扭伤，然后，显示踝关节扭伤的紧急处理步骤。

250、用户发送寻求帮助指令，增强现实设备根据寻求帮助指令，显示医疗资源信息。

若用户在紧急处理后发现情况没有缓解，则用户发送寻求帮助指令，增强现实设备在接收到寻求帮助指令后，在网上获取医疗资源信息，并显示该医疗资源信息，以供用户进一步寻求帮助。

在本实施例中，该增强现实辅助的方法通过获取环境对象的信息，呈现与环境对象的信息对应的增强图像模型列表，当接收到选择指令时，选择增强图像模型，并对增强图像模型进行投影，能够丰富虚拟图像的种类，并且通过一步步指令和诊断，以获得实时帮助，从而能够适用于多种不同场景。

实施例三

图5是本发明实施例提供的一种增强现实辅助的方法的另一应用实例的流程示意图。当装配工人在装配汽车的车轮时，希望获得更直观的装配方法时，如图5所示，该增强现实辅助的方法包括：

310、增强现实设备获取环境对象的信息；

用户将增强现实设备的摄像头指向装配对象，摄像头进行拍摄，从而获取环境对象的图片。

320、增强现实设备识别环境对象的图片，并根据该图片获取、呈现对应的增强图像模型列表；

通过预设的算法对环境对象的图片进行处理和识别，识别得到该环境对象为待装配的汽车，获取一与汽车有关的增强图像模型列表，该增强图像模型列表包括：车辆安装指导模型、车辆故障诊断模型、车辆游戏交互模型、车辆使用教程模型等，并将该增强图像模型列表呈现在增强现实设备的显示屏上。

330、用户输入选择指令实时选择增强图像模型，增强现实设备接收选择指令，并根据选择指令选择该增强图像模型；

用户在显示屏点击车辆安装指导模型以输入选择指令，增强现实设备根据该选择指令实时从服务器获取车辆安装指导模型。

340、增强现实设备根据对该车辆安装指导模型进行投影。

增强现实设备在环境对象上对车辆安装指导模型进行投影，具体为：如图6所示，首先，显示“开始装配车轮”，然后，显示装配车轮的步骤。

在本实施例中，该增强现实辅助的方法通过获取环境对象的信息，呈现与环境对象的信息对应的增强图像模型列表，当接收到选择指令时，选择增强图像模型，并对增强图像模型进行投影，能够丰富虚拟图像的种类，并且通过一步步指令和诊断，以获得实时帮助，从而能够适用于多种不同场景。

实施例四

图8是本发明又一实施例提供的一种增强现实辅助的装置的结构示意图。如图8所示，该增强现实辅助的装置400应用于增强现实设备，其中，该增强现实辅助的装置400包括获取模块410、列表呈现模块420、模型选择模块430和投影模块440。

其中，获取模块410用于获取环境对象的信息。列表呈现模块420用于呈现与所述环境对象的信息对应的增强图像模型列表，所述增强图像模型列表包含至少一个与所述环境对象相匹配的增强图像模型。模型选择模块430用于当接收到选择指令时，根据所述选择指令选择增强图像模型。投影模块440用于根据所述增强图像模型，进行投影。

可选地，列表呈现模块420包括：本地识别单元，用于识别本地是否存在所述增强图像模型列表；本体呈现单元，用于若本地存在，呈现本地所存在的所述增强图像模型列表；服务器识别单元，用于当本地不存在与所述增强图像模型列表时，向服务器发送所述环境对象的信息；服务器呈现单元，接收并且呈现所述服务器所返回的与所述增强图像模型列表。

可选地，增强图像模型包括多个虚拟图像和指令集，投影模块440包括：输入命令单元，用于接收用户的输入命令；虚拟图像获取单元，用于从所述指令集中获取与所述输入指令匹配的指令，并且根据所述匹配的指令，获取并投影对应的所述虚拟图像。

可选地，虚拟图像获取单元包括：位置信息获取子单元，用于获取所述环境对象的位置信息，三维图像构建子单元，用于根据所述环境对象的信息和所述位置信息，构建所述环境对象的三维图像；投影子单元，用于根据所述三维图像和所述位置信息，在所述环境对象上对所述虚拟图像进行投影，形成增强图像。

可选地，所述输入命令是通过识别用户对增强图像和/或环境对象的操作动作得到的；或者，所述输入命令是由通过识别用户的语音得到的。

可选地，该装置400还包括：增强图像模型欠缺单元，用于当接收到增强图像模型欠缺指令时，将所述环境对象的信息和匹配失败指令发送至所述服务器，所述匹配失败指令用于指示所述服务器更新检测与所述环境对象的信息对应的所述增强图像模型列表的算法；增强图像模型列表重新接收单元，用于接收并且呈现所述服务器重新返回的增强图像模型列表，所述重新返回的增强图像模型列表是所述服务器根据更新后的算法所检测到的。

可选地，所述增强图像模型为安装指导增强图像模型、诊断治疗增强图像模型和娱乐交互增强图像模型中的一种或多种。

由于装置实施例和方法实施例是基于同一构思，在内容不互相冲突的前提下，装置实施例的内容可以引用方法实施例的，在此不赘述。

本实施例中的增强现实辅助的装置400通过获取模块410获取环境对象的信息，列表呈现模块420呈现与环境对象的信息对应的增强图像模型列表，当模型选择模块430接收到选择指令时，选择增强图像模型，并且投影模块440对增强图像模型进行投影，能够丰富虚拟图像的种类，并且通过一步步指令和诊断，以获得实时帮助，从而能够适用于多种不同场景。

实施例五

图9是本发明实施例提供的一种增强现实设备的结构示意图。如图9所示，该增强现实设备500包括一个或多个处理器501以及存储器502。其中，图9中以一个处理器501为例。

处理器501和存储器502可以通过总线或者其他方式连接，图9中以通过总线连接为例。

存储器502作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块，如本发明实施例中的图像增强现实的方法对应的程序指令/模块(例如，附图8所示的各个模块或单元)。处理器501通过运行存储在存储器502中的非易失性软件程序、指令以及模块，从而执行增强现实辅助的装置的各种功能应用以及数据处理，即实现上述方法实施例一增强现实辅助的方法以及上述装置实施例三的各个模块和单元的功能。

存储器502可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中，存储器502可选包括相对于处理器501远程设置的存储器，这些远程存储器可以通过网络连接至处理器501。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

所述程序指令/模块存储在所述存储器502中，当被所述一个或者多个处理器501执行时，执行上述任意方法实施例中的增强现实辅助的方法，例如，执行以上描述的图1至图4所示的各个步骤；也可实现附图8所示的各个模块或单元的功能。

本发明实施例还提供了一种非易失性计算机存储介质，所述计算机存储介质存储有计算机可执行指令，该计算机可执行指令被一个或多个处理器执行，例如图9中的一个处理器501，可使得上述一个或多个处理器可执行上述任意方法实施例中的增强现实辅助的方法，例如，执行上述方法实施例一中的增强现实辅助的方法，例如，执行以上描述的图1至图4所示的各个步骤；也可实现附图8所示的各个模块或单元的功能。

实施例六

图10是本发明实施例提供的一种增强现实辅助的系统的结构示意图。如图10所示，该增强现实辅助的系统600包括服务器610和实施例四中的增强现实设备600。服务器610与增强现实设备500连接，其中，连接方式可以为有线连接或者无线连接。服务器610用于存储增强图像模型列表和增强图像模型。

其中，服务器610可以为云服务器、计算机设备、终端等等，只要能够实现数据处理功能即可。

其中，服务器610还用于根据增强现实设备发送的环境对象的信息和匹配失败指令，更新检测增强图像模型列表的算法，并根据更新后的算法，重新检测增强图像模型列表。当用户在增强图像模型列表中找不到合适的增强图像模型时，用户触发增强图像模型欠缺指令后，增强现实设备发送环境对象的信息和匹配失败指令至服务器610，服务器610在接收到环境对象的信息和匹配失败指令后，服务器根据环境对象的信息，进行更新检测增强图像模型列表的算法，具体实施方式可以是：服务器在接收环境对象的信息后，服务器采用假阴性或假阳性统计方法对环境对象的识别算法进行更新，以更新检测增强图像模型列表的算法，然后根据更新后的算法，重新检测增强图像模型列表，获取新的增强图像模型列表，并将新的增强图像模型列表发送至增强现实设备。通过以上方式，对环境对象的识别进行不断训练和校正，以获取准确的增强图像模型列表。

在本实施例中，增强现实辅助的系统600通过服务器610与增强现实设备500连接，将增强现实设备500中的一部分运算转移到服务器610中，并且将增强图像模型存储在服务器610中，不仅能够丰富虚拟图像的种类，适用于多种不同场景，还能够减少增强现实设备500的计算量，从而减轻增强现实设备500的重量。

以上所描述的装置或设备实施例仅仅是示意性的，其中所述作为分离部件说明的单元模块可以是或者也可以不是物理上分开的，作为模块单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络模块单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用直至得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；在本发明的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，步骤可以以任意顺序实现，并存在如上所述的本发明的不同方面的许多其它变化，为了简明，它们没有在细节中提供；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (17)

1.一种增强现实辅助的方法，应用于增强现实设备，其特征在于，包括：

获取环境对象的信息；

呈现与所述环境对象的信息对应的增强图像模型列表，所述增强图像模型列表包含至少一个与所述环境对象的信息相匹配的增强图像模型；

当接收到选择指令时，根据所述选择指令实时选择所述增强图像模型；

根据所述增强图像模型，进行投影。

2.根据权利要求1所述的方法，其特征在于，所述呈现与环境对象信息对应的增强图像模型列表，包括：

识别本地是否存在所述增强图像模型列表；

若本地存在，呈现本地所存在的所述增强图像模型列表；

当本地不存在所述增强图像模型列表时，向服务器发送所述环境对象的信息；

接收并且呈现所述服务器所返回的所述增强图像模型列表。

3.根据权利要求1所述的方法，其特征在于，所述增强图像模型包括多个虚拟图像和指令集；

所述根据所述增强图像模型，进行投影，包括：

接收用户的输入命令；

从所述指令集中获取与所述输入指令匹配的指令，并且根据所述匹配的指令，获取并投影对应的所述虚拟图像。

4.根据权利要求3所述的方法，其特征在于，所述投影对应的所述虚拟图像，包括：

获取所述环境对象的位置信息；

根据所述环境对象的信息和所述位置信息，构建所述环境对象的三维图像；

根据所述三维图像和所述位置信息，在所述环境对象上对所述虚拟图像进行投影，形成增强图像。

5.根据权利要求4所述的方法，其特征在于，

所述输入命令是通过识别用户对增强图像和/或环境对象的操作动作得到的；或者，

所述输入命令是通过识别用户的语音得到的。

6.根据权利要求2所述的方法，其特征在于，所述方法还包括：

当接收到增强图像模型欠缺指令时，将所述环境对象的信息和匹配失败指令发送至所述服务器，所述匹配失败指令用于指示所述服务器更新检测与所述环境对象的信息对应的所述增强图像模型列表的算法；

接收并且呈现所述服务器重新返回的增强图像模型列表，所述重新返回的增强图像模型列表是所述服务器根据更新后的算法所检测到的。

7.根据权利要求1-6任一项所述的方法，其特征在于，

所述增强图像模型为安装指导增强图像模型、诊断治疗增强图像模型和娱乐交互增强图像模型中的一种或多种。

8.一种增强现实辅助的装置，应用于增强现实设备，其特征在于，包括：

获取模块，用于获取环境对象的信息；

列表呈现模块，用于呈现与所述环境对象的信息对应的增强图像模型列表，所述增强图像模型列表包含至少一个与所述环境对象相匹配的增强图像模型；

模型选择模块，用于当接收到选择指令时，根据所述选择指令实时选择增强图像模型；

投影模块，用于根据所述增强图像模型，进行投影。

9.根据权利要求8所述的装置，其特征在于，所述列表呈现模块包括：

本地识别单元，用于识别本地是否存在所述增强图像模型列表；

本体呈现单元，用于若本地存在，呈现本地所存在的所述增强图像模型列表；

服务器识别单元，用于当本地不存在所述增强图像模型列表时，向服务器发送所述环境对象的信息；

服务器呈现单元，接收并且呈现所述服务器所返回的所述增强图像模型列表。

10.根据权利要求8所述的装置，其特征在于，所述增强图像模型包括多个虚拟图像和指令集；

所述投影模块包括：

输入命令单元，用于接收用户的输入命令；

虚拟图像获取单元，用于从所述指令集中获取与所述输入指令匹配的指令，并且根据所述匹配的指令，获取并投影对应的所述虚拟图像。

11.根据权利要求10所述的装置，其特征在于，所述虚拟图像获取单元包括：

位置信息获取子单元，用于获取所述环境对象的位置信息，

三维图像构建子单元，用于根据所述环境对象的信息和所述位置信息，构建所述环境对象的三维图像；

投影子单元，用于根据所述三维图像和所述位置信息，在所述环境对象上对所述虚拟图像进行投影，形成增强图像。

12.根据权利要求11所述的装置，其特征在于，

所述输入命令是通过识别用户对增强图像和/或环境对象的操作动作得到的；或者，

所述输入命令是由通过识别用户的语音得到的。

13.根据权利要求8所述的装置，其特征在于，所述装置还包括：

增强图像模型欠缺单元，用于当接收到增强图像模型欠缺指令时，将所述环境对象的信息和匹配失败指令发送至所述服务器，所述匹配失败指令用于指示所述服务器更新检测与所述环境对象的信息对应的所述增强图像模型列表的算法；

增强图像模型列表重新接收单元，用于接收并且呈现所述服务器重新返回的增强图像模型列表，所述重新返回的增强图像模型列表是所述服务器根据更新后的算法所检测到的。

14.根据权利要求8-13任一项所述的装置，其特征在于，

所述增强图像模型为安装指导增强图像模型、诊断治疗增强图像模型和娱乐交互增强图像模型中的一种或多种。

15.一种增强现实设备，其特征在于，包括：

至少一个处理器；以及，

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-7任一项所述的方法。

16.一种增强显示辅助的系统，其特征在于，包括服务器和权利要求15所述的增强现实设备，所述服务器与所述增强现实设备连接，

所述服务器用于存储增强图像模型列表和增强图像模型。

17.根据权利要求16所述的系统，其特征在于，所述服务器还用于根据所述增强现实设备发送的环境对象的信息和匹配失败指令，更新检测所述增强图像模型列表的算法，并根据更新后的算法，重新检测所述增强图像模型列表。