CN114926665A - 一种利用ar技术进行离线单人训练的方法和终端 - Google Patents

Abstract

本发明涉及AR眼镜识别技术领域，尤其涉及一种利用AR技术进行离线单人训练的方法和终端。方法包括：服务器基于预设图像集进行深度学习训练，得到训练好的模型，生成并将训练好的模型对应的Blob文件发送至便携式智能终端；便携式智能终端接收AR眼镜采集的待识别图像，并运行Blob文件对待识别图像进行识别，并将识别结果发送至AR眼镜，以进行单人训练。服务器进行深度学习训练，将训练好的模型移植到便携式智能终端使用，能够识别准确率，且能延长AR眼镜的续航时间，而且，学员只需携带AR眼镜和便携式智能终端，即便在无互联网联接情况下，还能够有效展开单人训练如教学训练和消防训练等，保证单人训练效果。

Description

一种利用AR技术进行离线单人训练的方法和终端

技术领域

本发明涉及AR眼镜识别技术领域，尤其涉及一种利用AR技术进行离线单人训练的方法和终端。

背景技术

多便携式终端协同教学训练系统是一种教学训练系统，系统中多终端互联互通，在协同模式下，可共享推流及协同其它智能识别设备。目前智能识别设备主要是采用AR眼镜实现，在训练过程中，增强现实眼镜通常要与操作设备间通过无线信号进行数据传输，但增强现实的使用环境并非一成不变的，在部分使用条件下，训练环境中会存在大量的电磁干扰和环境光干扰，严重影响了系统的执行效果，为了减少工业环境下增强现实训练的干扰，现有技术通常使用二维码、特征码识别或机器视觉算法，常用“端+云”架构的方式进行智能识别。市场通用的AR开发架构都要求将深度学习的内容上传到云端进行学习和识别部署，对于一些有网络安全的AR教学训练系统，或户外复杂环境下的使用受限，无法识别。如发烟车的发烟训练，消防车训练等，需要在户外环境使用，网络环境受限。

由此可见，现有的增强现实训练中采用“端+云”架构，有网络安全约束、或户外无网络信号的条件，AR眼镜无法有效工作的问题，训练过程无有效机制保证训练的有效进行。

发明内容

本发明所要解决的技术问题是有网络安全约束、或户外无网络信号的条件，AR眼镜无法有效工作的问题，提供了一种利用AR技术进行离线单人训练的方法和终端。

本发明的一种利用AR技术进行离线单人训练的方法的技术方案如下：

S1：服务器基于预设图像集进行深度学习训练，得到训练好的数据模型，并生成所述训练好的数据模型对应的Blob二进制大对象文件，并将所述Blob文件发送至便携式智能终端；所述数据模型包括图像数据集和对应的分类信息；其中，所述服务器与所述便携式智能终端处于局域网内，且在所述Blob文件发送后，断开通信；

S2：所述便携式智能终端加载所述Blob文件，AR眼镜采集图像并读取图像中待识别内容的信息；

S3：通过所述待识别内容的信息在所述分类信息进行查找，找到所述图像数据集中的相应图像，将所述相应图像与所述待识别内容进行对比；

S4：如果一致，在AR眼镜上显示相关的提示信息。

以上步骤，由所述AR眼镜执行查找和对比的过程；所述AR眼镜具有边缘神经网络处理器；

或，所述便携式智能终端接收AR眼镜采集的待识别图像，并运行所述Blob文件对所述待识别图像进行对比识别，并将识别结果发送至所述AR眼镜。

进一步，所述服务器得到训练好的模型的过程，包括：

对所述预设图像集中的每个样本图像进行标注，通过Python脚本将所有标注后的样本图像进行处理，生成record文件；

基于所述record文件和预配置的config配置文件，进行深度学习训练，得到所述训练好的模型。

进一步，所述服务器生成所述训练好的模型对应的Blob文件的过程，包括：

利用OpenVION深度学习工具库对所述训练好的模型进行推理加速处理，得到推理加速处理后的模型，并将所述推理加速处理后的模型转换为所述Blob文件。

进一步，所述服务器生成所述训练好的模型对应的Blob文件之前，还包括：

利用Jupyter notebook管理平台对所述训练好的模型进行验证，得到验证结果；

所述服务器生成所述训练好的模型对应的Blob文件的过程，包括：

当所述验证结果为验证通过时，利用OpenVION深度学习工具库对所述训练好的模型进行推理加速处理，得到推理加速处理后的模型，并将所述推理加速处理后的模型转换为所述Blob文件。

进一步，深度学习训练所用的网络模型为：轻量化的神经网络SSD-MobileNet。

采用上述进一步方案的有益效果是：能够提高训练好的模型的识别精度。

进一步，进行深度学习训练时，迭代次数不少于30000次。

采用上述进一步方案的有益效果是：能够提高训练好的模型的识别精度。

进一步，所述便携式智能终端与所述AR眼镜之间通过有线方式连接。

采用上述进一步方案的有益效果是：能够保证便携式智能终端与AR眼镜之间的数据传输速度，且能够避免外界干扰。

进一步，所述便携式智能终端为智能手机。

进一步，AR眼镜为分体式AR双目眼镜。

本发明还提供一种利用AR技术进行离线单人训练的终端，用于单人佩戴，具有与AR眼镜通信功能，指引单人训练，包括：

处理器：用于接收局域网的服务器的数据模型，存储并运行数据模型对应的Blob二进制大对象文件；所述数据模型包括图像数据集和对应的分类信息；其中，在所述Blob文件发送后，断开所述局域网通信；接收AR眼镜采集图像并读取图像中待识别内容的信息，在所述分类信息进行查找，找到所述图像数据集中的相应图像，将所述相应图像与所述待识别内容进行对比；如果一致，在AR眼镜上显示相关的作训提示信息。

本发明的一种利用AR技术进行离线单人训练的终端的有益效果如下：

服务器进行深度学习训练，将训练好的模型移植到便携式智能终端使用，能够识别准确率，且能延长AR眼镜的续航时间，而且，学员只需携带AR眼镜和便携式智能终端，即便在无互联网联接的户外情况下，还能够有效展开单人训练，如发烟教学训练和/或消防训练、以及其他的安保训练等，保证单人训练效果。

附图说明

图1为本发明实施例的一种利用AR技术进行单人训练的方法的流程示意图；

图2为本发明实施例的一种利用AR技术进行单人训练的设备的结构示意图。

具体实施方式

为清楚说明本发明中的方案，下面给出优选的实施例并结合附图详细说明。

如图1所示，本发明实施例的一种利用AR技术进行单人训练的方法，包括如下步骤：

S1：服务器210基于预设图像集进行深度学习训练，得到训练好的数据模型，并生成所述训练好的数据模型对应的Blob二进制大对象文件，并将所述Blob文件发送至便携式智能终端220；所述数据模型包括图像数据集和对应的分类信息；其中，所述服务器与所述便携式智能终端处于局域网内，且在所述Blob文件发送后，断开通信；

S2：所述便携式智能终端加载所述Blob文件，AR眼镜230采集图像并读取图像中待识别内容的信息；

S3：通过所述待识别内容的信息在所述分类信息进行查找，找到所述图像数据集中的相应图像，将所述相应图像与所述待识别内容进行对比；

S4：如果一致，在AR眼镜上显示相关的提示信息。

以上步骤，由所述AR眼镜执行查找和对比的过程；所述AR眼镜具有边缘神经网络处理器；

或，所述便携式智能终端接收AR眼镜采集的待识别图像，并运行所述Blob文件对所述待识别图像进行对比识别，并将识别结果发送至所述AR眼镜。

上述的本发明的实施例，通过将预先训练好的数据模型，例如，可构建基于Python的深度学习Tensorflow 2.0本地开发平台环境，选择轻量化的SSD+MobileNet架构进行训练，便于将训练后的数据模型在便携智能终端使用。训练后的模型，可以采用OpenVION深度学习工具库对save model数据模型进行加速推理，并将加速推理后的数据模型对应的Bolb文件保存在便携智能终端，通过AR眼镜调用并对比，从而实现在AR眼镜上看到内容的图像，在便携智能终端侧进行匹配，并获得匹配结果，实现在AR眼镜上显示相关的识别后的提示信息或指导信息。可以在户外环境或无网络环境下实现网络安全要求的保密训练，对于户外环境下，也可以适用。提升了AR环境的训练适用范围。

由于采用了开源设计，可对于各种AR眼镜形成适配。实现AR眼镜与便携智能终端的实时配合，实现识别。

避免了现有技术中，识别对比的过程，需要借助网络到云端进行识别。可以在具有网络安全要求的场景，或户外场景进行使用。

结合图2进行说明，具体地：

预设图像集中包括多个图像，具体通过录相和照片采集的方式获取每个待识别对象在不同时间段不同角度的图像，待识别对象可根据实际情况确认，例如在教学训练中，待识别对象可为各种教具等，例如，发烟训练中，可以是发烟车，在消防训练中，待识别对象可为消防车、消防栓或灭火器等，每个待识别对象的对应的图像不小于500张，所有待识别对象的对应的图像组成预设图像集，以便于进行深度学习训练。

对待识别图像进行识别以及进行单人训练的过程进行具体阐述，如下：

便携式智能终端220接收AR眼镜230采集的待识别图像，如包含消防车设备的操作面板、灭火器的待识别图像，对包含灭火器的待识别图像进行识别，能够识别出灭火器以及灭火器在待识别图像上的具体位置，即得到识别结果，此时将识别结果发送至学员佩戴的AR眼镜230上，AR眼镜230内显示灭火器的标记以及对灭火器的位置进行标记，以便于学员进行消防训练。

服务器210进行深度学习训练，将训练好的模型移植到便携式智能终端220使用，能够识别准确率，且能延长AR眼镜230的续航时间，而且，学员只需携带AR眼镜230和便携式智能终端220，即便在无互联网联接情况下，还能够有效展开单人训练如教学训练和消防训练等，保证单人训练效果。

可选地，在上述技术方案中，S1中，服务器210得到训练好的模型的过程，包括：

S10、对预设图像集中的每个样本图像进行标注，通过Python脚本将所有标注后的样本图像进行处理，生成record文件；具体地：

例如将包括灭火器的样本图像进行标注，具体标注出灭火器在样本图像上的特征点，可通过Anaconda软件的Labellmy工具实现标注，并匹配每个特征点的分类信息，特征点具体为：灭火器的拉环、提手等，分类信息为特征点的名称，如灭火器的拉环的分类信息可为“lahuan”，分类信息可根据情况进行编辑，标注后的包括灭火器的样本图像的文件格式为XML格式，该标注后的包括灭火器的样本图像对应的XML文件存储：该标注后的样本图像的图像信息，如像素、图像大小和分类信息等，直至得到每个样本图像对应的XML文件，通过Python脚本将所有标注后的样本图像进行处理，即对所有的XML文件进行处理，生成一个record文件。

S11、基于record文件和预配置的config配置文件，进行深度学习训练，得到训练好的模型。

config配置文件存储分类信息，以及提供调用Python脚本的方法，以及进行深度学习训练所需要的参数比如存储路径和迭代次数等。

可选地，在上述技术方案中，S1中，服务器210生成训练好的模型对应的Blob文件的过程，包括：

S12、利用OpenVION深度学习工具库对训练好的模型进行推理加速处理，得到推理加速处理后的模型，并将推理加速处理后的模型转换为Blob文件。该文件包括两个内容，一个内容为图像数据集，另一个内容为图像数据集对应的分类信息，分类信息可以采用xml或txt等格式的文件。

OpenVION深度学习工具库的作用为：对于一些边缘端的低算力设备，借助OpenVION深度学习工具库可以通过调度MKLDNN库、CLDNN库来在CPU、iGPU、FPGA以及其它设备上，加速部署的模型推理的速度；也就是说，服务器210通过借助OpenVION深度学习工具库能够对训练好的模型进行推理加速处理，得到推理加速处理后的模型，然后通过Python脚本对推理加速处理后的模型转换为Blob文件；

Blob文件具体为：推理加速处理后的模型所对应的执行文件。

可选地，在上述技术方案中，服务器210生成训练好的模型对应的Blob文件之前，还包括：

利用Jupyter notebook管理平台对训练好的模型进行验证，得到验证结果；具体地：

利用Jupyter notebook管理平台判断训练好的模型的识别准确率是否达到预设准确率阈值时，若是，则验证结果为验证通过，若否，验证结果为验证通过，那么：

1)当验证结果为验证通过时，利用OpenVION深度学习工具库对训练好的模型进行推理加速处理，得到推理加速处理后的模型，并将推理加速处理后的模型转换为Blob文件。

2)当验证结果为验证不通过时，通过增加迭代次数进行继续训练，或者，向预设图像集中添加更多样本图像后，进行重新训练，直使训练好的模型的识别准确率达到预设准确率阈值。

可选地，在上述技术方案中，深度学习训练所用的网络模型为：轻量化的神经网络SSD-MobileNet。能够提高训练好的模型的识别精度。

可选地，在上述技术方案中，进行深度学习训练时，迭代次数不少于30000次。能够提高训练好的模型的识别精度。

可选地，在上述技术方案中，便携式智能终端220与AR眼镜230之间通过有线方式连接。具体可使用Type-C接口的数据线、USB接口的数据线实现便携式智能终端220与AR眼镜230之间的有线方式连接，当，便携式智能终端220或AR眼镜230上没相应的数据接口时，通过转接头实现连接。那么：

AR眼镜230采集的待识别图像，并根据待识别内容的特征信息，在便携式智能终端220存储的分类信息中查找匹配，在匹配到模型的数据集的图像文件后，识别对比，如果一致，则在AR眼镜的显示器上显示提示信息，如识别到的操作面板的信息，识别到的灭火器的信息等。

便携式智能终端220通过数据线接收AR眼镜230采集的待识别图像，并将识别结果通过数据线发送至AR眼镜230，既能够保证便携式智能终端220与AR眼镜230之间的数据传输速度，还能够避免外界干扰。

可选地，在上述技术方案中，便携式智能终端220为智能手机、平板电脑或智能手环，也可根据实际情况选用其它便携式智能终端220。其具有处理器：可运行如安卓、x86或塞班等系统，用于接收局域网的服务器的数据模型，存储并运行数据模型对应的Blob二进制大对象文件；所述数据模型包括图像数据集和对应的分类信息；其中，在所述Blob文件发送后，断开所述局域网通信；接收AR眼镜采集图像并读取图像中待识别内容的信息，在所述分类信息进行查找，找到所述图像数据集中的相应图像，将所述相应图像与所述待识别内容进行对比；如果一致，在AR眼镜上显示相关的作训提示信息。

可选地，在上述技术方案中，AR眼镜230为分体式AR双目眼镜，也可根据实际情况选用其它的AR眼镜230。

在上述各实施例中，虽然对步骤进行了编号S1、S2等，但只是本申请给出的具体实施例，本领域的技术人员可根据实际情况调整S1、S2等的执行顺序，此也在本发明的保护范围内，可以理解，在一些实施例中，可以包含如上述各实施方式中的部分或全部。

如图2所示，本发明实施例的一种利用AR技术进行单人训练的设备，包括服务器210、AR眼镜230和便携式智能终端220；

服务器210用于：服务器210基于预设图像集进行深度学习训练，得到训练好的模型，并生成训练好的模型对应的Blob文件，并将Blob文件发送至便携式智能终端220；

便携式智能终端220用于：接收AR眼镜230采集的待识别图像，并运行Blob文件对待识别图像进行识别，并将识别结果发送至AR眼镜230，以进行单人训练。

服务器210进行深度学习训练，将训练好的模型移植到便携式智能终端220使用，能够识别准确率，且能延长AR眼镜230的续航时间，而且，学员只需携带AR眼镜230和便携式智能终端220，即便在无互联网联接情况下，还能够有效展开单人训练如教学训练和消防训练等，保证单人训练效果。

可选地，在上述技术方案中，服务器210得到训练好的模型的过程，包括：

服务器210得到训练好的模型的过程，包括：

对预设图像集中的每个样本图像进行标注，通过Python脚本将所有标注后的样本图像进行处理，生成record文件；

基于record文件和预配置的config配置文件，进行深度学习训练，得到训练好的模型。

可选地，在上述技术方案中，服务器210生成训练好的模型对应的Blob文件的过程，包括：

利用OpenVION深度学习工具库对训练好的模型进行推理加速处理，得到推理加速处理后的模型，并将推理加速处理后的模型转换为Blob文件。

可选地，在上述技术方案中，还包括验证模块，验证模块用于：

利用Jupyter notebook管理平台对训练好的模型进行验证，得到验证结果；

服务器210生成训练好的模型对应的Blob文件的过程，包括：

当验证结果为验证通过时，利用OpenVION深度学习工具库对训练好的模型进行推理加速处理，得到推理加速处理后的模型，并将推理加速处理后的模型转换为Blob文件。

可选地，在上述技术方案中，深度学习训练所用的网络模型为：轻量化的神经网络SSD-MobileNet。

可选地，在上述技术方案中，进行深度学习训练时，迭代次数不少于30000次。

可选地，在上述技术方案中，便携式智能终端220与AR眼镜230之间通过有线方式连接。

可选地，在上述技术方案中，便携式智能终端220为智能手机。

可选地，在上述技术方案中，AR眼镜230为分体式AR双目眼镜。

在本发明中，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种利用AR技术进行离线单人训练的方法，其特征在于，包括：

S1：服务器基于预设图像集进行深度学习训练，得到训练好的数据模型，并生成所述训练好的数据模型对应的Blob二进制大对象文件，并将所述Blob文件发送至便携式智能终端；所述数据模型包括图像数据集和对应的分类信息；其中，所述服务器与所述便携式智能终端处于局域网内，且在所述Blob文件发送后，断开通信；

S2：所述便携式智能终端加载所述Blob文件，AR眼镜采集图像并读取图像中待识别内容的信息；

S3：通过所述待识别内容的信息在所述分类信息进行查找，找到所述图像数据集中的相应图像，将所述相应图像与所述待识别内容进行对比；

S4：如果一致，在AR眼镜上显示相关的提示信息；

以上步骤，所述便携式智能终端接收AR眼镜采集的待识别图像，并运行所述Blob文件对所述待识别图像进行对比识别，并将识别结果发送至所述AR眼镜。

2.根据权利要求1所述的一种利用AR技术进行离线单人训练的方法，其特征在于，所述服务器得到训练好的数据模型的过程，包括：

对所述预设图像集中的每个样本图像进行标注，通过Python脚本将所有标注后的样本图像进行处理，生成record文件；

基于所述record文件和预配置的config配置文件，进行深度学习训练，得到所述训练好的数据模型。

3.根据权利要求2所述的一种利用AR技术进行离线单人训练的方法，其特征在于，所述服务器生成所述训练好的数据模型对应的Blob文件的过程，包括：

利用OpenVION深度学习工具库对所述训练好的数据模型进行推理加速处理，得到推理加速处理后的数据模型，并将所述推理加速处理后的数据模型转换为所述Blob文件。

4.根据权利要求3所述的一种利用AR技术进行离线单人训练的方法，其特征在于，所述服务器生成所述训练好的数据模型对应的Blob文件之前，还包括：

利用Jupyter notebook管理平台对所述训练好的数据模型进行验证，得到验证结果；

所述服务器生成所述训练好的数据模型对应的Blob文件的过程，包括：

当所述验证结果为验证通过时，利用OpenVION深度学习工具库对所述训练好的数据模型进行推理加速处理，得到推理加速处理后的数据模型，并将所述推理加速处理后的数据模型转换为所述Blob文件。

5.根据权利要求1至4任一项所述的一种利用AR技术进行离线单人训练的方法，其特征在于，深度学习训练所用的网络数据模型为：轻量化的神经网络SSD-MobileNet。

6.根据权利要求1至4任一项所述的一种利用AR技术进行离线单人训练的方法，其特征在于，进行深度学习训练时，迭代次数不少于30000次。

7.根据权利要求1至4任一项所述的一种利用AR技术进行离线单人训练的方法，其特征在于，所述便携式智能终端与所述AR眼镜之间通过有线方式连接。

8.根据权利要求1至4任一项所述的一种利用AR技术进行离线单人训练的方法，其特征在于，所述便携式智能终端为智能手机。

9.根据权利要求1至4任一项所述的一种利用AR技术进行离线单人训练的方法，其特征在于，AR眼镜为分体式AR双目眼镜。

10.一种利用AR技术进行单人训练的离线终端，用于单人佩戴，具有与AR眼镜通信功能，指引单人训练，其特征在于，包括：

处理器：用于接收局域网的服务器的数据模型，存储并运行数据模型对应的Blob二进制大对象文件；所述数据模型包括图像数据集和对应的分类信息；其中，在所述Blob文件发送后，断开所述局域网通信；接收AR眼镜采集图像并读取图像中待识别内容的信息，在所述分类信息进行查找，找到所述图像数据集中的相应图像，将所述相应图像与所述待识别内容进行对比；如果一致，在AR眼镜上显示相关的作训提示信息。

Images