CN107784885A - 基于ar设备的操作培训方法及ar设备 - Google Patents

Abstract

本发明提供一种基于AR设备的操作培训方法和AR设备。其中，方法包括：拍摄真实场景中的目标设备，以获取第一图像，第一图像包含目标设备的标识特征；根据标识特征，获取与目标设备相匹配的三维设备模型；将三维设备模型显示在AR设备的显示屏上；响应于用户对三维设备模型上的部件的操作，将对应部件的第一操作培训信息显示在显示屏上对应所述部件的位置。本发明提供的方法可以提高操作培训的效率和便捷性。

Description

基于AR设备的操作培训方法及AR设备

技术领域

本发明涉及增强现实技术领域，尤其涉及一种基于AR设备的操作培训方法及AR设备。

背景技术

当人们不会使用某个设备时，可以进行设备的操作培训。现实生活中，一般人们会通过以下几种途径进行操作培训：通过手机或电脑连接互联网来获取设备的操作方法、通过书报杂志等纸质媒介或者通过与人的交流获取设备的操作方法。例如，人们在进行示波器的操作培训时，一般会通过仪器使用说明书或者实验室老师的简单讲解来了解仪器的操作方法。

这种操作培训方式需要人们花费大量时间去搜索、判断，降低操作培训效率。

发明内容

本发明的多个方面提供一种基于AR设备的操作培训方法及AR设备，用以提高操作培训的效率和便捷性。

本发明提供一种基于AR设备的操作培训方法，包括：

拍摄真实场景中的目标设备，以获取第一图像，所述第一图像包含所述目标设备的标识特征；

根据所述标识特征，获取与所述目标设备相匹配的三维设备模型；

将所述三维设备模型显示在所述AR设备的显示屏上；

响应于用户对所述三维设备模型上的部件的操作，将对应所述部件的第一操作培训信息显示在所述显示屏上对应所述部件的位置。

可选地，所述方法还包括：

在所述显示屏上显示与所述目标设备相关的操作指导按键；

响应于所述用户对所述操作指导按键的触发操作，获取与所述操作指导按键对应的操作指导信息；

将所述操作指导信息显示在所述显示屏上。

可选地，所述方法还包括：

在所述显示屏上显示与所述目标设备相关的操作纠错按键；

响应于所述用户对所述操作纠错按键的触发操作，拍摄所述真实场景中操作异常的目标设备，以获得第二图像，所述第二图像包含所述目标设备的异常状态信息；

根据所述异常状态信息，获取用于指导将所述目标设备的操作恢复正常的纠错信息；

将所述纠错信息显示在所述显示屏上。

可选地，所述方法还包括：

识别所述用户的操作培训请求；

根据所述操作培训请求，确定与所述操作培训请求对应的第二操作培训信息；

根据所述第二操作培训信息，确定与所述第二操作培训信息对应的部件；

在所述显示屏上，突出显示与所述第二操作培训信息对应的部件。

可选地，所述根据所述标识特征，获取与所述目标设备相匹配的三维设备模型，包括：

根据所述标识特征，从设备信息库中提取与所述标识特征相匹配的设备信息；

根据所述设备信息，生成与所述目标设备相匹配的三维设备模型。

可选地，所述将所述三维设备模型显示在所述AR设备的显示屏上，包括：

获取所述第一图像中目标设备的尺寸和显示方位；

按照所述第一图像中目标设备的尺寸，调整所述三维设备模型的尺寸；

按照所述第一图像中目标设备的显示方位，将调整尺寸后的三维设备模型显示在所述显示屏上。

本发明还提供一种AR设备，包括处理器、与所述处理器连接的存储器以及与所述处理器连接的显示屏；

所述存储器，用于存储一条或多条计算机指令；

所述处理器，用于执行所述一条或多条计算机指令，以用于：

拍摄真实场景中的目标设备，以获取第一图像，所述第一图像包含所述目标设备的标识特征；

根据所述标识特征，获取与所述目标设备相匹配的三维设备模型；

将所述三维设备模型显示在所述AR设备的显示屏上；

响应于用户对所述三维设备模型上的部件的操作，将对应所述部件的第一操作培训信息显示在所述显示屏上对应所述部件的位置。

可选地，所述处理器还用于：

在所述显示屏上显示与所述目标设备相关的操作指导按键；

响应于所述用户对所述操作指导按键的触发操作，获取与所述操作指导按键对应的操作指导信息；

将所述操作指导信息显示在所述显示屏上。

可选地，所述处理器还用于：

在所述显示屏上显示与所述目标设备相关的操作纠错按键；

响应于所述用户对所述操作纠错按键的触发操作，拍摄所述真实场景中操作异常的目标设备，以获得第二图像，所述第二图像包含所述目标设备的异常状态信息；

根据所述异常状态信息，获取用于指导将所述目标设备的操作恢复正常的纠错信息；

将所述纠错信息显示在所述显示屏上。

可选地，所述处理器还用于：

识别所述用户的操作培训请求；

根据所述操作培训请求，确定与所述操作培训请求对应的第二操作培训信息；

根据所述第二操作培训信息，确定与所述第二操作培训信息对应的部件；

在所述显示屏上，突出显示与所述第二操作培训信息对应的部件。

本发明中，可通过拍摄真实场景中的目标设备获取包含目标设备的标识特征的图像，并根据标识特征获取与目标设备相匹配的三维设备模型，再将三维设备模型显示在显示屏上，使得用户能够在显示屏上看到与真实场景中的目标设备相同的三维影像；进一步地，当用户对三维设备模型上部件进行操作时，可将对应部件的第一操作培训信息显示在显示屏上对应部件的位置，使得用户可通过对部件的操作，直接在显示屏上对应部件的位置获取到操作培训信息，无需上网查找或与人交流即可直接进行操作培训，提高操作培训的效率和便捷性。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本发明的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1为本发明一实施例提供的基于AR设备的操作培训方法的流程示意图；

图2为本发明又一实施例提供的AR设备的结构示意图；

图3为本发明又一实施例提供的头戴显示设备的内部配置结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明具体实施例及相应的附图对本发明技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

以下结合附图，详细说明本发明各实施例提供的技术方案。

图1为本发明一实施例提供的基于AR设备的操作培训方法的流程示意图。如图1所示，该方法包括以下步骤：

101、拍摄真实场景中的目标设备，以获取第一图像，第一图像包含目标设备的标识特征。

102、根据标识特征，获取与目标设备相匹配的三维设备模型。

103、将三维设备模型显示在AR设备的显示屏上。

104、响应于用户对三维设备模型上的部件的操作，将对应部件的第一操作培训信息显示在显示屏上对应部件的位置。

本实施例中，当用户需要进行设备的操作培训时，可以通过佩戴增强现实(Augmented Reality，AR)设备，并与AR设备的显示屏上显示的该设备的三维设备模型进行交互，来获取设备的操作培训信息。为了方便描述，将用户需要进行操作培训的设备称为目标设备。本实施例中，AR设备包括但不限于AR头盔、AR头戴显示设备等。

在步骤101处，AR设备可通过安装在AR设备上的图像捕捉设备拍摄真实场景中的目标设备。可选地，目标设备包括但不限于示波器、手机、智能音箱、化工设备等。图像捕捉设备包括但不限于数字相机、双目相机、深度相机、嵌入在AR设备中的相机、头戴式显示屏、光学传感器、电子传感器等多个设备或它们的任意组合。

通过对目标设备拍摄，可得到包含目标设备的标识特征的图像。若使用普通数字相机拍摄目标设备，可得到包含目标设备的标识特征的二维图像；若使用双目相机或深度相机拍摄目标设备，可得到包含目标设备的标识特征的三维图像。

其中，目标设备的标识特征指能够表征设备型号、尺寸、品牌、名称、按键个数、按键位置等特征。基于此，在对目标设备拍摄时，重点拍摄目标设备的型号标牌、外观、品牌标签按键个数、按键位置等特征。为了便于对后续拍摄的图像进行区分，将包含目标设备的标识特征图像称为第一图像。

在一可选实施方式中，在用户佩戴上AR设备后，可以通过AR设备登录服务器，然后对表示自动操作培训的按键进行触发操作。AR设备响应于用户对表示自动操作培训按键的触发操作，打开图像捕捉设备拍摄目标设备。可选地，在打开图像捕捉设备时，在AR设备的显示屏上显示一拍摄区，例如一方框，以提示用户将目标设备摆放到拍摄区的中心区域。如果图像捕捉设备可以移动，也可以通过移动图像捕捉设备将目标设备置于拍摄区的中心区域。接着，图像捕捉设备扫描目标设备的轮廓，以检测目标设备是否完全投影到拍摄区内。若目标设备未完全投影到拍摄区内，则提示用户将目标设备置于拍摄区内；若目标设备完全投影到拍摄区内，则基于图像捕捉设备的对焦机制调整焦距，并自动拍摄至少一张包含目标设备的标识特征的第一图像。

在步骤102和步骤103处，AR设备根据第一图像中目标设备的标识特征，获取与目标设备相匹配的三维设备模型；并将三维设备模型显示在AR设备的显示屏上。

可选地，AR设备在获取第一图像后，可将第一图像上传到服务器，由服务器根据第一图像中的标识特征，获取与目标设备相匹配的三维设备模型，并将三维设备模型下发至AR设备。AR设备在接收到三维设备模型之后，可将三维设备模型显示在AR设备的显示屏上。可选地，可以采用超文本传输协议(HTTP)中的post方式，将第一图像上传至服务器。

其中，三维设备模型与目标设备的类型、品牌、型号、部件等特征相同或相近。在步骤104处，用户可以通过操作显示屏上显示的三维设备模型的部件，来实现对真实场景中的目标设备的操作培训。例如，若目标设备是示波器，示波器的三维设备模型就是三维的示波器的影像，其上的部件可以包括但不限于面板、按键、按钮、探针、插头、插孔等。

当用户需要对某个部件进行操作培训时，可以凝视该部件、用手指向该部件或发出表示某个部件名称或功能的语音信号。AR设备捕捉到用户的操作后，从预先建立的第一数据库中提取该操作对应的操作培训信息，并将操作培训信息显示在显示屏上对应该部件的位置。进而，用户可以在AR设备的显示屏上看到三维设备模型以及相应的操作培训信息。其中，在AR设备中预先建立的第一数据库中存储有三维设备模型上各部件对应的操作培训信息。

为了便于与下述实施例中其他的操作培训信息区分，将响应于用户对三维设备模型上部件的操作，在显示屏上显示的操作培训信息称为第一操作培训信息。

在一示例中，用户可以凝视三维设备模型上的开启按键。AR设备基于眼球追踪技术，捕捉到用户凝视的开启按键，从第一数据库中提取对应开启按键的第一操作培训信息，例如与开启相关的注意事项、开启流程、开启画面等信息。继而，在显示屏上开启按键上或者开启按键周围任一位置显示对应开启按键的第一操作培训信息。

在又一示例中，用户可以佩戴AR手套，然后指向三维设备模型的品牌标签。AR手套上分布有多个传感器，可将用户手部的姿态信息传输至AR设备，以供AR设备根据姿态信息识别用户的手势，进而根据用户的手势识别出用户指向的品牌标签。然后，从第一数据库提取与品牌标签相关的信息，例如品牌介绍、该品牌的设备构成、该品牌的设备原理和该品牌的设备用途等信息。继而，在显示屏上品牌标签上或者品牌标签周围任一位置显示对应品牌标签的第一操作培训信息。

在又一示例中，用户可以对AR设备发出“开启”或“品牌标签”等语音信号。AR设备在识别出用户发出的语音信号后，从第一数据库提取与开启按键或品牌标签对应的操作培训信息，并显示在AR设备的显示屏上。其中，用户发出的语音信号不限于各国的语言，例如中文、英文等。

在一可选实施方式中，存储有三维设备模型上各部件对应的操作培训信息的第一数据库还可以保存在服务器中。基于此，AR设备响应于用户对三维设备模型上部件的操作，向服务器请求对应该部件的第一操作培训信息。服务器在从第一数据库中提取对应该部件的第一操作培训信息后，将第一操作培训信息下发至AR设备。AR设备将从服务器获取的第一操作培训信息显示在显示屏上对应该部件的位置。

本发明提供的基于AR设备的操作培训方法可通过拍摄真实场景中的目标设备，获取包含目标设备的标识特征的图像，并根据标识特征，获取与目标设备相匹配的三维设备模型，再将三维设备模型显示在显示屏上，使得用户能够在显示屏上看到与真实场景中的目标设备相同的三维影像；进一步地，当用户对三维设备模型上部件进行操作时，可将对应部件的第一操作培训信息显示在显示屏上对应部件的位置，使得用户可通过对部件的操作，直接在显示屏上对应部件的位置获取到操作培训信息，无需上网查找或与人交流即可直接进行操作培训，提高操作培训的效率和便捷性。

进一步地，采用本实施例提供的基于AR设备的操作培训方法，用户对三维设备模型操作就宛如对真实场景中的目标设备操作一样，给人身临其境的良好体验。

在上述实施例或下述实施例中，除了在显示屏上显示三维设备模型外，还可以将与目标设备相关的操作指导按键的图标也显示在显示屏上。基于此，用户可以在显示屏上对操作指导按键的图标(以下简称操作指导按键)进行操作。其中，操作指导按键用于指示与目标设备相关的操作指导信息。可选地，操作指导按键包括但不限于设备介绍按键、操作演示按键等。可选地，操作指导按键可以显示在三维设备模型上，也可以显示在三维设备模型的周围。

当用户通过凝视某个操作指导按键、指向某个操作指导按键或发出关于某个操作指导按键的语音信号时，AR设备响应于用户对该操作指导按键的触发操作，从第二数据库中提取与该操作指导按键对应的操作指导信息，并将操作指导信息显示在显示屏上。基于此，用户可以通过操作显示屏上的操作指导按键，自动获取与操作指导按键对应的信息。其中，第二数据库存储有与三维设备模型的各操作指导按键对应的操作指导信息。可选地，第二数据库与第一数据库可以是同一数据库也可以是不同数据库。

可选地，存储有与三维设备模型的各操作指导按键对应的操作指导信息的第二数据库也可以保存在服务器中。基于此，AR设备响应于用户对操作指导按键的触发操作，向服务器请求与操作指导按键对应的操作指导信息。服务器从第二数据库中提取与操作指导按键对应的操作指导信息，并将操作指导信息下发至AR设备。AR设备将从服务器接收的操作指导信息显示在显示屏上。

在上述实施例或下述实施例中，除了在显示屏上显示三维设备模型外，还可以将与目标设备相关的操作纠错按键的图标也显示在显示屏上。基于此，用户可以在显示屏上对操作纠错按键的图标(以下简称操作纠错按键)进行操作。可选地，操作纠错按键可以显示在三维设备模型上，也可以显示在三维设备模型的周围。

当目标设备操作出错的时候，用户可以通过凝视操作纠错按键、用手指向操作纠错按键或发出关于操作纠错按键的语音信号来对操作纠错按键进行触发操作。AR设备响应于用户对操作纠错按键的触发操作，通过图像捕捉设备拍摄真实场景中操作异常的目标设备，以获得第二图像。其中，第二图像包含目标设备的异常状态信息。可选地，异常状态信息包括但不限于异常数据、异常图像、异常动作等信息。

然后，AR设备根据第二图像中的异常状态信息，从第三数据库中提取用于指导将目标设备的操作恢复正常的纠错信息；并将纠错信息显示在显示屏上，以供用户查看。其中，第三数据库存储有用于指导将目标设备的操作从各种异常状态下恢复正常的纠错信息。可选地，第三数据库与第一数据库和第二数据库可以是同一数据库也可以是不同数据库。

可选地，纠错信息包括但不限于对异常状态的定位、异常分析和操作规范等信息。

在一示例中，在示波器的实际使用过程中，当示波器的波形出错的时候，用户可以凝视显示屏上的操作纠错按键、用手指向操作纠错按键或发出“操作纠错按键”的语音信号。然后AR设备响应于用户的上述操作，通过图像捕捉设备拍摄示波器显示屏上出错的波形，以获得含有出错波形的第二图像，并从第三数据库中提取使波形恢复正常的纠错信息，并将纠错信息显示在显示屏上。

可选地，第三数据库也可以保存在服务器中。基于此，AR设备可将第二图像上传至服务器。服务器从第二图像中解析出异常状态信息，并从第三数据库中提取用于指导将目标设备的操作从异常状态下恢复正常的纠错信息。然后，将纠错信息下发至AR设备。AR设备将从服务器接收的纠错信息显示在显示屏上。

在上述实施例或下述实施例中，用户可能需要进行某种功能或操作的培训，但并不知道该功能或操作对应的部件。针对这种情况，本实施例中，可以识别用户的操作培训请求，并根据操作培训请求，确定与操作培训请求对应的第二操作培训信息；根据第二操作培训信息，确定与第二操作培训信息对应的部件；在显示屏上，突出显示与第二操作培训信息对应的部件。其中，将根据操作培训请求，确定的操作培训信息称为第二操作培训信息。

可选地，用户可以通过发出“调节扫描线亮度”等关键字的语音信号来发出操作培训请求。AR设备通过语音识别算法识别到操作培训请求，即“调节扫描线亮度”请求。然后，根据识别到的操作培训请求，从第一数据库中提取与操作培训请求对应的第二操作培训信息，即“改变光点和扫描线的亮度”。然后，根据第二操作培训信息，确定与第二操作培训信息对应的部件，即辉度按钮。将辉度按钮高亮显示在显示屏上，或者在辉度按钮周围添加边框，以突出显示该部件。

在上述实施例或下述实施例中，根据标识特征，获取与目标设备相匹配的三维设备模型包括：根据标识特征，从设备信息库中提取与标识特征相匹配的设备信息；根据设备信息，生成与目标设备相匹配的三维设备模型。

AR设备首先对第一图像进行分解，以建立目标设备的二维模型。然后，基于图像识别技术，从目标设备的二维模型中识别出设备模型的标识特征。其中，目标设备的标识特征包括但不限于设备型号、尺寸、品牌、名称、按键个数、按键位置等特征。接着，在设备信息库中查找与识别出的标识特征相匹配的特征。例如设备型号相匹配、尺寸相匹配、品牌相匹配等。在实际操作中，可以首先匹配设备的型号、品牌等较明显的特征，以提高匹配效率。例如，首先从第一图像中识别出设备的型号，并在设备信息库中匹配该型号。如果该型号匹配成功，则检索设备信息库中该型号是否只有一种机型，如果是，则根据该型号下的唯一机型的设备信息，生成三维设备模型。

其中，设备信息库可以预先存储多种种类的设备信息，例如，设备型号、各部件的形状、个数、尺寸、相对位置、嵌套关系等。

若从设备信息库中查找到与标识特征相匹配的特征，则可以进一步获取与查找到的特征相关的完整的设备信息，并根据完整的设备信息生成目标设备的三维设备模型。例如，目标设备的标识特征为设备型号ABC，并在设备信息库中查找到设备型号ABC。则可以获取设备信息库中与设备型号ABC相关的完整设备信息ABCDE，并基于与设备型号ABC相关的完整设备信息ABCDE生成三维设备模型。

若从设备信息库中未查找到与标识特征相匹配的特征，则从设备信息库中提取与标识特征相近的设备信息，并生成三维设备模型。

可选地，若从设备信息库中未查找到与标识特征相匹配的特征，则从设备信息库中提取多个与标识特征相近的设备信息，并显示在显示屏上。用户在显示屏上选择与目标设备最相近的设备信息。AR设备响应于用户对设备信息的选择操作，根据用户选中的设备信息生成三维设备模型。

在生成三维设备模型的过程中，可以在将要建立的三维设备模型的左下角建立世界坐标系，世界坐标系的z轴垂直于三维设备模型的底座，x轴垂直于三维设备模型的后侧面。x轴、y轴与三维设备模型的底座平行。根据设备信息中三维设备模型的长宽高信息，各个部件的尺寸、相对位置关系、装配关系，生成三维设备模型。

在一可选实施方式中，设备信息库可保存在服务器上。基于此，由服务器对第一图像进行分解，以建立目标设备的二维模型。然后，基于图像识别技术，从目标设备的二维模型中识别出设备模型的标识特征。进而，根据标识特征，从设备信息库中提取与标识特征相匹配的设备信息；根据设备信息，生成与目标设备相匹配的三维设备模型。然后，将三维设备模型下发至AR设备，以供AR设备显示在显示屏上。

在上述实施例或下述实施例中，为了增强三维设备模型的真实感，可以将三维设备模型在显示屏上的尺寸、显示方位与目标设备在第一图像中的尺寸和显示方位相同。基于此，将三维设备模型显示在AR设备的显示屏上，包括：获取第一图像中目标设备的尺寸和显示方位；按照第一图像中目标设备的尺寸，调整三维设备模型的尺寸；按照第一图像中目标设备的显示方位，将调整尺寸后的三维设备模型显示在显示屏上。

可选地，当第一图像是三维图像时，为第一图像中的目标设备建立图像坐标系。例如，图像坐标系的原点位于第一图像中目标设备的左下角位置，图像坐标系的Z轴垂直于第一图像中目标设备的底座，X轴垂直于目标设备的后侧面，Y轴、X轴与Z轴垂直。然后，基于图像坐标系获取第一图像中目标设备的尺寸和在显示屏上的显示方位。例如，第一图像中目标设备的长、宽、高的尺寸，目标设备的旋转角度、显示位置等。

可选地，按照第一图像上图像坐标系的原点位置，在显示屏上调整三维设备模型上世界坐标系的原点位置。例如，图像坐标系的原点位于第一图像的中心位置，则世界坐标系的原点也调整为显示屏的中心位置。然后，按照第一图像中目标设备的长、宽、高的尺寸调整三维设备模型的尺寸，使二者各个方向的尺寸相同。接着，按照第一图像中目标设备的旋转角度、显示位置等信息，将调整尺寸后的三维设备模型以与目标设备同样的旋转角度和显示位置显示在显示屏上。在具体实现上，可以令世界坐标系的x轴、y轴与z轴分别与图像坐标系的X轴Y轴与Z轴重合。这样，三维设备模型以与第一图像中目标设备同样的大小、方位显示在显示屏上。

图2为本发明又一实施例提供的AR设备的结构示意图。如图2所示，AR设备200包括存储器201、处理器202，以及显示屏203。

存储器201，用于存储一条或多条计算机指令。

处理器202，耦合至存储器201，用于执行存储器201中存储的一条或多条计算机指令，以用于：拍摄真实场景中的目标设备，以获取第一图像，第一图像包含目标设备的标识特征；根据标识特征，获取与目标设备相匹配的三维设备模型；将三维设备模型显示在AR设备的显示屏203上；响应于用户对三维设备模型上的部件的操作，将对应部件的第一操作培训信息显示在显示屏203上对应部件的位置。

可选地，处理器202还用于：在显示屏203上显示与目标设备相关的操作指导按键；响应于用户对操作指导按键的触发操作，获取与操作指导按键对应的操作指导信息；将操作指导信息显示在显示屏303上。

可选地，处理器202还用于：在显示屏203上显示与目标设备相关的操作纠错按键；响应于用户对操作纠错按键的触发操作，拍摄真实场景中操作异常的目标设备，以获得第二图像，第二图像包含目标设备的异常状态信息；根据异常状态信息，获取用于指导将目标设备的操作恢复正常的纠错信息；将纠错信息显示在显示屏203上。

可选地，处理器202还用于：识别用户的操作培训请求；根据操作培训请求，确定与操作培训请求对应的第二操作培训信息；根据第二操作培训信息，确定与第二操作培训信息对应的部件；在显示屏203上，突出显示与第二操作培训信息对应的部件。

可选地，处理器202在根据标识特征，获取与目标设备相匹配的三维设备模型时，具体用于：根据标识特征，从设备信息库中提取与标识特征相匹配的设备信息；根据设备信息，生成与目标设备相匹配的三维设备模型。

可选地，处理器202在将三维设备模型显示在AR设备的显示屏上时，具体用于：获取第一图像中目标设备的尺寸和显示方位；按照第一图像中目标设备的尺寸，调整三维设备模型的尺寸；按照第一图像中目标设备的显示方位，将调整尺寸后的三维设备模型显示在显示屏203上。

本实施例中，可通过拍摄真实场景中的目标设备，获取包含目标设备的标识特征的图像，并根据标识特征，获取与目标设备相匹配的三维设备模型，再将三维设备模型显示在显示屏上，使得用户能够在显示屏上看到与真实场景中的目标设备相同的三维影像；进一步地，当用户对三维设备模型上部件进行操作时，可将对应部件的第一操作培训信息显示在显示屏上对应部件的位置，使得用户可通过对部件的操作，直接在显示屏上对应部件的位置获取到操作培训信息，无需上网查找或与人交流即可直接进行操作培训，提高操作培训的效率和便捷性。

本发明实施例还提供一种计算机存储介质，该计算机存储介质存储一条或多条计算机指令，该一条或多条计算机指令被计算机执行时，可实现：拍摄真实场景中的目标设备，以获取第一图像，第一图像包含目标设备的标识特征；根据标识特征，获取与目标设备相匹配的三维设备模型；将三维设备模型显示在AR设备的显示屏上；响应于用户对三维设备模型上的部件的操作，将对应部件的第一操作培训信息显示在显示屏上对应部件的位置。

本发明一些实施例提供的AR设备可以为外接式头戴显示设备或者一体式头戴显示设备，其中外接式头戴显示设备需要与外部处理系统(例如上述实施例中的服务器)配合使用。

图3为本发明又一实施例提供的头戴显示设备300的内部配置结构示意图。

显示单元301可以包括显示面板，显示面板设置在头戴显示设备300上面向用户面部的侧表面，可以为一整块面板、或者为分别对应用户左眼和右眼的左面板和右面板。显示面板可以为电致发光(EL)元件、液晶显示器或具有类似结构的微型显示器、或者视网膜可直接显示或类似的激光扫描式显示器。

虚拟图像光学单元302以放大方式拍摄显示单元301所显示的图像，并允许用户按放大的虚拟图像观察所显示的图像。作为输出到显示单元301上的显示图像，可以是从内容再现设备(蓝光光碟或DVD播放器)或流媒体服务器提供的虚拟场景的图像、或者使用外部相机310拍摄的现实场景的图像。一些实施例中，虚拟图像光学单元302可以包括透镜单元，例如球面透镜、非球面透镜、菲涅尔透镜等。

输入操作单元303包括至少一个用来执行输入操作的操作部件，例如按键、按钮、开关或者其他具有类似功能的部件，通过操作部件接收用户指令，并且向控制单元307输出指令。

状态信息获取单元304用于获取穿戴头戴显示设备300的用户的状态信息。状态信息获取单元304可以包括各种类型的传感器，用于自身检测状态信息，并可以通过通信单元305从外部设备(例如智能手机、腕表和用户穿戴的其它多功能终端)获取状态信息。状态信息获取单元304可以获取用户的头部的位置信息和/或姿态信息。状态信息获取单元304可以包括陀螺仪传感器、加速度传感器、全球定位系统(GPS)传感器、地磁传感器、多普勒效应传感器、红外传感器、射频场强度传感器中的一个或者多个。此外，状态信息获取单元304获取穿戴头戴显示设备300的用户的状态信息，例如获取例如用户的操作状态(用户是否穿戴头戴显示设备300)、用户的动作状态(诸如静止、行走、跑动和诸如此类的移动状态，手或指尖的姿势、眼睛的开或闭状态、视线方向、瞳孔尺寸)、精神状态(用户是否沉浸在观察所显示的图像以及诸如此类的)，甚至生理状态。

通信单元305执行与外部装置的通信处理、调制和解调处理、以及通信信号的编码和解码处理。另外，控制单元307可以从通信单元305向外部装置发送传输数据。通信方式可以是有线或者无线形式，例如移动高清链接(MHL)或通用串行总线(USB)、高清多媒体接口(HDMI)、无线保真(Wi-Fi)、蓝牙通信或低功耗蓝牙通信，以及IEEE802.11s标准的网状网络等。另外，通信单元305可以是根据宽带码分多址(W-CDMA)、长期演进(LTE)和类似标准操作的蜂窝无线收发器。

一些实施例中，头戴显示设备300还可以包括存储单元，存储单元306是配置为具有固态驱动器(SSD)等的大容量存储设备。一些实施例中，存储单元306可以存储应用程序或各种类型的数据。例如，用户使用头戴显示设备300观看的内容可以存储在存储单元306中。

一些实施例中，头戴显示设备300还可以包括控制单元，控制单元307可以包括计算机处理单元(CPU)或者其他具有类似功能的设备。一些实施例中，控制单元307可以用于执行存储单元306存储的应用程序，或者控制单元307还可以用于执行本发明一些实施例公开的方法、功能和操作的电路。

图像处理单元308用于执行信号处理，比如与从控制单元307输出的图像信号相关的图像质量校正，以及将其分辨率转换为根据显示单元301的屏幕的分辨率。然后，显示驱动单元309依次选择显示单元301的每行像素，并逐行依次扫描显示单元301的每行像素，因而提供基于经信号处理的图像信号的像素信号。

一些实施例中，头戴显示设备300还可以包括外部相机，即上述实施例中的图像捕捉设备。外部相机310可以设置在头戴显示设备300主体前表面，外部相机310可以为一个或者多个。外部相机310可以获取三维信息，并且也可以用作距离传感器。另外，探测来自物体的反射信号的位置灵敏探测器(PSD)或者其他类型的距离传感器可以与外部相机310一起使用。外部相机310和距离传感器可以用于检测穿戴头戴显示设备300的用户的身体位置、姿态和形状。另外，一定条件下用户可以通过外部相机310直接观看或者预览现实场景。

一些实施例中，头戴显示设备300还可以包括声音处理单元，声音处理单元311可以执行从控制单元307输出的声音信号的声音质量校正或声音放大，以及输入声音信号的信号处理等。然后，声音输入/输出单元312在声音处理后向外部输出声音以及输入来自麦克风的声音。

需要说明的是，图3中虚线框示出的结构或部件可以独立于头戴显示设备300之外，例如可以设置在外部处理系统(例如计算机系统)中与头戴显示设备300配合使用；或者，虚线框示出的结构或部件可以设置在头戴显示设备300内部或者表面上。

以上所述仅为本发明的实施例而已，并不用于限制本发明。对于本领域技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本发明的权利要求范围之内。

Claims (10)

1.一种基于AR设备的操作培训方法，其特征在于，包括：

拍摄真实场景中的目标设备，以获取第一图像，所述第一图像包含所述目标设备的标识特征；

根据所述标识特征，获取与所述目标设备相匹配的三维设备模型；

将所述三维设备模型显示在所述AR设备的显示屏上；

响应于用户对所述三维设备模型上的部件的操作，将对应所述部件的第一操作培训信息显示在所述显示屏上对应所述部件的位置。

2.根据权利要求1所述的方法，其特征在于，还包括：

在所述显示屏上显示与所述目标设备相关的操作指导按键；

响应于所述用户对所述操作指导按键的触发操作，获取与所述操作指导按键对应的操作指导信息；

将所述操作指导信息显示在所述显示屏上。

3.根据权利要求1所述的方法，其特征在于，还包括：

在所述显示屏上显示与所述目标设备相关的操作纠错按键；

响应于所述用户对所述操作纠错按键的触发操作，拍摄所述真实场景中操作异常的目标设备，以获得第二图像，所述第二图像包含所述目标设备的异常状态信息；

根据所述异常状态信息，获取用于指导将所述目标设备的操作恢复正常的纠错信息；

将所述纠错信息显示在所述显示屏上。

4.根据权利要求1所述的方法，其特征在于，所述方法还包括：

识别所述用户的操作培训请求；

根据所述操作培训请求，确定与所述操作培训请求对应的第二操作培训信息；

根据所述第二操作培训信息，确定与所述第二操作培训信息对应的部件；

在所述显示屏上，突出显示与所述第二操作培训信息对应的部件。

5.根据权利要求1所述的方法，其特征在于，所述根据所述标识特征，获取与所述目标设备相匹配的三维设备模型，包括：

根据所述标识特征，从设备信息库中提取与所述标识特征相匹配的设备信息；

根据所述设备信息，生成与所述目标设备相匹配的三维设备模型。

6.根据权利要求1-5任一项所述的方法，其特征在于，所述将所述三维设备模型显示在所述AR设备的显示屏上，包括：

获取所述第一图像中目标设备的尺寸和显示方位；

按照所述第一图像中目标设备的尺寸，调整所述三维设备模型的尺寸；

按照所述第一图像中目标设备的显示方位，将调整尺寸后的三维设备模型显示在所述显示屏上。

7.一种AR设备，其特征在于，包括处理器、与所述处理器连接的存储器以及与所述处理器连接的显示屏；

所述存储器，用于存储一条或多条计算机指令；

所述处理器，用于执行所述一条或多条计算机指令，以用于：

拍摄真实场景中的目标设备，以获取第一图像，所述第一图像包含所述目标设备的标识特征；

根据所述标识特征，获取与所述目标设备相匹配的三维设备模型；

将所述三维设备模型显示在所述AR设备的显示屏上；

响应于用户对所述三维设备模型上的部件的操作，将对应所述部件的第一操作培训信息显示在所述显示屏上对应所述部件的位置。

8.根据权利要求7所述的AR设备，其特征在于，所述处理器还用于：

在所述显示屏上显示与所述目标设备相关的操作指导按键；

响应于所述用户对所述操作指导按键的触发操作，获取与所述操作指导按键对应的操作指导信息；

将所述操作指导信息显示在所述显示屏上。

9.根据权利要求7所述的AR设备，其特征在于，所述处理器还用于：

在所述显示屏上显示与所述目标设备相关的操作纠错按键；

响应于所述用户对所述操作纠错按键的触发操作，拍摄所述真实场景中操作异常的目标设备，以获得第二图像，所述第二图像包含所述目标设备的异常状态信息；

根据所述异常状态信息，获取用于指导将所述目标设备的操作恢复正常的纠错信息；

将所述纠错信息显示在所述显示屏上。

10.根据权利要求7所述的AR设备，其特征在于，所述处理器还用于：

识别所述用户的操作培训请求；

根据所述操作培训请求，确定与所述操作培训请求对应的第二操作培训信息；

根据所述第二操作培训信息，确定与所述第二操作培训信息对应的部件；

在所述显示屏上，突出显示与所述第二操作培训信息对应的部件。