CN112684892A - 一种增强现实弹药识别眼镜-手柄连携系统 - Google Patents

Abstract

本发明公开了一种增强现实弹药识别眼镜‑手柄连携系统，包括：AR眼镜主体、与AR眼镜主体连携使用的手柄以及数据库系统，AR眼镜主体内置有图像识别单元、头部显示单元、交互单元、虚拟场景生成单元以及低功耗管理单元，头部显示单元用于显示弹药的基本信息、图片、视频以及三维模型，低功耗管理单元在无操作时，控制系统进入休眠倒计时，时间到达进入超低功耗状态，手柄包括触控板，通过触控板实现对头部显示单元显示界面的切换。本发明可实现弹药基础信息的快速准确识别、弹药结构三维立体显示、弹药操作使用流程与要求直观演示。

Description

一种增强现实弹药识别眼镜-手柄连携系统

技术领域

本发明涉及弹药管理领域，尤其涉及一种增强现实弹药识别眼镜-手柄连携系统。

背景技术

当前弹药的使用与管理主要存在以下几个问题：(1)当前所使用弹药品种繁多、操作使用各异，造成弹药知识学习成本极高；(2)当前弹药保障和使用人员弹药基础知识匮乏，致使弹药操作使用能力匮乏；(3)由于弹药的特性，在实际学习和使用过程中具有较高的安全隐患。

发明内容

本发明为了解决以上问题，提供一种增强现实弹药识别眼镜-手柄连携系统，可实现弹药基础信息的快速准确识别、弹药结构三维立体显示、弹药操作使用流程与要求直观演示等，使弹药保障和使用人员快速掌握弹药知识，视觉感知弹药结构组成以及操作使用流程，降低弹药使用过程中的安全隐患。

为实现上述目的，本发明所采用的技术方案如下：

一种增强现实弹药识别眼镜-手柄连携系统，包括：AR眼镜主体、与所述AR眼镜主体连携使用的手柄以及数据库系统，所述AR眼镜主体内置有图像识别单元、头部显示单元、交互单元、虚拟场景生成单元以及低功耗管理单元，所述图像识别单元用于识别弹药的二维码和弹药标识，所述虚拟场景生成单元用于将所述图像识别单元识别到的信息与储存在所述数据库系统内的弹药信息数据匹配，并将所述交互单元产生的交互数据和跟踪数据进行处理，生成与真实环境数据匹配的虚拟画面并传送至所述头部显示单元，所述头部显示单元用于显示弹药的基本信息、图片、视频以及三维模型，所述低功耗管理单元在无操作时，控制系统进入休眠倒计时，时间到达进入超低功耗状态，所述手柄包括触控板，通过所述触控板实现对所述头部显示单元显示界面的切换。

可选的，所述二维码置于弹药弹体柱面上或弹药包装箱上，所述二维码包括龙贝码以及汉明码。

可选的，所述弹药标识置于弹药弹体柱面上或弹药包装箱上，所述弹药标识为中文、英文以及数字。

可选的，所述头部显示单元为光学透视显示器。

可选的，所述交互单元包括语音交互模组以及手势交互模组，所述语音交互模组通过语言指令实现对所述AR眼镜系统的交互，所述手势交互模组通过抓取手势并将手势解读为指令实现对所述AR眼镜系统的交互。

可选的，所述弹药的基本信息包括弹药的种类、名称、装配信息和诸元信息。

可选的，所述弹药的视频包括操作使用视频、事故维修视频以及弹药拆解视频。

可选的，所述弹药的图片包括弹药本体的照片以及弹药的使用手册。

可选的，所述弹药的三维模型由Solidworks完成部件的三维建模和虚拟装配。

可选的，所述头部显示单元还用于显示仓储信息以及生产信息，其中，所述仓储信息包括提供仓库弹药位置引领以及弹药调拨登统计，所述生产信息包括提供弹药质量状态以及销毁提示。

本发明与现有技术相比，所取得的技术进步在于：

该系统通过仿真模型演示和增强现实交互等先进方法手段，可以使弹药使用人员能够实现弹药基础信息的快速准确识别、弹药结构三维立体显示、弹药操作使用流程与要求直观演示等。实现弹药技术保障与操作使用人员快速、直观掌握药基本性能，熟悉操作使用，减少弹药使用准备等待时间，降低弹药的使用安全隐患等奠定基础。

采用AR增强现实技术和计算机仿真技术构建可视化虚拟系统，使弹药保障和使用人员快速掌握弹药知识，视觉感知弹药结构组成以及操作使用流程。更重要的是，很多弹药拆开后，无法观察其内部运作机理。采用增强现实视景仿真技术，能够清晰逼真的展示系统的构造特点和工作过程，可以提供大量可视化的弹药结构信息，大大提高了其学习和掌握技能的效率。

系统包含弹药的操作使用与事故处理的图片、视频、三维模型等多媒体资料，通过虚拟学习和操作快速掌握弹药使用和处理知识，进一步降低安全事故发生的机率。

通过后续功能拓展实现弹药仓库数字化管理(仓库弹药位置引领、弹药调拨自动化登统计等)、弹药质量数字化管理(常规检测自动化录入、质量状态自动化标识等)以及弹药销毁自动化警示提示(销毁危险品自动警示提示)等，为提升陆军弹药的信息化管理水平提供奠定基础。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。

在附图中：

图1为本发明的结构示意图。

图2为本发明是基于模式匹配原理的语音识别系统框图。

图3为本发明查看视频操作过程示意图。

图4为本发明查看图片操作过程示意图。

图5为本发明查看三维模型操作过程示意图。

图6为三维建模装配体的分层的示意图。

图7为弹药三维建模示意图。

具体实施方式

下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本发明的实施例进行描述。

如图1所示，本发明公开了一种增强现实弹药识别眼镜-手柄连携系统，该系统包括AR眼镜主体、与AR眼镜主体连携使用的手柄以及数据库系统，AR眼镜主体内置有图像识别单元、头部显示单元、交互单元、虚拟场景生成单元以及低功耗管理单元。

其中，AR眼镜主体产品设计形式为分体式，其支持对模型结构尺寸角度等进行调整，支持对弹药三维模型进行移动、分拆、组合等多种编辑方式，支持添加多媒体信息和模型进行叠加，支持真实物体与虚拟物体进行虚实叠加，支持第一视角与第三视角同步显示，支持多终端(平板、眼镜、显示器等)同步显示与同步编辑，支持4G/5G/WIFI等方式获得云端数据，支持远程语音交流操作交互，支持常见数字模型导入，支持手势识别和语言交互，支持指纹识别，支持NFC功能，支持各种AI算法集成与应用，支持对应用软件进行定制与适配，定位功能支持GPS以及北斗卫星定位，支持远程协助功能，AR眼镜主体还提供有开放式应用编程接口，满足后续二次开发的要求。

在本实施例中AR眼镜主体性能参数为：

处理器：高通骁龙845；

内存：6GB；

内置储存空间：64GB；

连接：Wi-Fi,Bluetooth,USB TypeC；

显示屏：Micro-OLED；

显示屏数量：双显示屏；

单眼分辨率：不低于1920*1080；

视场角：43°

对比度：10000:1；

视频：720P@30fps,1080P@30fps；

自动对焦：支持；

操作系统：Android(提供开放式应用编程接口)；

手势交互：支持；

传感器(眼镜)：加速计,陀螺仪,磁力计，光线传感器；

音频：立体声耳机/麦克风；

储存卡：可扩展256G Micro SD；

电池容量6300mAh；

满负载使用时间：大于3小时；

手势识别功能：支持；

SLAM功能：6DOF跟踪；

定位精度：99％；

CPU占用率：10％；

初始化时间：＜1s；

支持单目/双目模式；

闭环重定位速度：＜2s；

离线地图：支持多设备云端同步共享统一坐标系；

运动预测：＜25ms；

3D mapping：刷新率10Hz；Mesh精度80％；扫描空间尺寸10m*10m*10m；

手柄与AR眼镜主体连接，其包括返回键、主页键、菜单键、系统指示灯、电源键、音量键、储存扩展槽、USB接口以及触控板，利用其感应用户手部的移动来控制指针的动作，通过实体按键实现块接操作，作为鼠标的替代物，配合实体按键可达到良好的交互体验，通过集成手柄交互设备，使得用户便利的进行虚拟物体的交互输入，例如通过触控板实现对头部显示单元显示界面的切换。

交互单元包括语音交互模组以及手势交互模组，语音交互模组如图2所示通过语言指令实现对AR眼镜系统的交互，首先对输入语音进行预处理，其中预处理包括分帧，加窗，预加重等。其次是特征提取，因此选择合适的特征参数尤为重要。常用的特征参数包括：基音周期，共振峰，短时平均能量或幅度，线性预测系数(LPC)，感知加权预测系数(PLP)，短时平均过零率，线性预测倒谱系数(LPCC)，自相关函数，梅尔倒谱系数(MFCC)，小波变换系数，经验模态分解系数(EMD)，伽马通滤波器系数(GFCC)等。在进行实际识别时，要对测试语音按训练过程产生模板，最后根据失真判决准则进行识别。常用的失真判决准则有欧式距离，协方差矩阵与贝叶斯距离等。AR眼镜主体集成麦克风模块和扬声器模块，结合语音识别SDK，实现精准的离线语音识别功能，能达到良好的语音交互。其可在本地进行语音识别，无需网络，不需要安装app，响应速度快，体积小成本低，可实现多种长度和条数的语音识别，无需后台服务器，无后期隐患。

手势交互模组通过抓取手势并将手势解读为指令实现对AR眼镜系统的交互，手势识别是一种感知运算用户界面，它允许计算机抓取并将人类的手势解读为指令。手势非常多样化，可以是简单的双击，也可以是一系列复杂的手语，目前的手势识别主要分为与触摸屏互动的手势识别和无需触摸屏的手势识别。本系统集成了无需触摸屏的手势识别，其基于深度感知摄像机实现，利用深度摄像头获取图像深度信息，解算出手部姿态，与手势模型库进行匹配从而识别手势信息。

图像识别单元用于识别弹药的二维码和弹药标识，二维码置于弹药弹体柱面上或弹药包装箱上，二维码包括龙贝码以及汉明码，二维码采用DES、RSA双重加密算法，确保明文数据无法被非授权方窃取，并可对二维码进行导出、打印、重命名等操作，方便二维码管理。弹药标识置于弹药弹体柱面上或弹药包装箱上，弹药标识为中文、英文以及数字。其中，柱面二维码采用8等分分割方式矫正柱面图像畸变提高识别率，对图像识别过程中，通过高分辨率摄像头捕捉图像，进行图像预处理-图像特征抽取进而匹配模型输出结果。同时，图像识别单元能适应各种实际环境，能够在过亮、过暗、能见度相对较低、雨雪天气中对图像进行精准识别。

其中，二维码识别过程主要有：图像预处理、定位位置探测图形、定位校正图形、透视变换、译码和纠错。具体为：

A图像预处理：灰度化、去噪、畸变矫正以及二值化；二维码识别过程容易受到环境影响而难以识别，预处理过程用来改善图像质量和识别环境。

①图像灰度化：摄像头输出的数据格式很多，黑白摄像头直接输出灰度图，而彩色摄像头输出格式有YUV422，YUV410，RGB565，RGB888等，二维码识别只需要单通道的灰度图，因此需要转化，以RGB888为例，转换公式如下：

Gray＝0.2989R+0.5870G+0.1140B

②去噪：噪声的影响会使特征定位不准以及数据阶段译码错误，常见的噪声主要是高斯噪声和椒盐噪声，可以采用高斯滤波，中值滤波或均值滤波来改善图像质量。

③畸变矫正：广角摄像头或鱼眼摄像头带有较大的畸变，越靠近视角边缘图像形变越大，对于畸变较大的图像而言，不仅1：1：3：1：1的特征的比例关系失调，数据区的数据没有标准的模块大小，会造成无法准确译码。对于这种情况，需通过畸变模型矫正，矫正成无畸变的图像。

④二值化：正常情况下背景和QR码目标区分明显，光照均匀，只需要简单使用全局二值化方法即可，常见的方法有固定阈值法、Otsu法，直方图双峰阈值化方法等。对于光照不均匀的情况，则不适用，会造成全局亮度失衡而无法正常识码，因此需要自适应局部阈值化方法处理，可以采用分块求阈值再均衡化的方法实现。

B.定位位置探测图形：通过位置探测图形特征查找，水平和垂直方向扫描该特征，多次穿透极为侯选位置探测图像，通过筛选策略剔除假位置探测图形确定真图形，再确定他们的方位。

C.定位校正图形：根据探测图像估计校正符。

D.透视变换：根据定位点和校正符获取单应性矩阵，再通过透视变换获取标准正方形图像，透视变换公式如下：

x＝a₁₁u+a₁₂v+a₁₃

Y＝a₂₁u+a₂₂v+a₂₃

z＝a₃₁u+a₃₂v+a₃₃

E.译码和纠错：译码是对二维码版本信息、格式信息、数据和纠错码进行解码和对比。将数据区转为0和1的比特流，并用纠错算法对比特流校验和纠错。判断编码格式后译码，就得到了二维码包含的数据。

F.柱面二维码识别：针对本项目研究对象，存在柱面二维码图像识别需求。对此，对于采集的二维码图像采用8等分分割方式矫正柱面畸变，以提高识别率。

G.二维码加密：在二维码生成时，采用DES、RSA双重加密算法对明文数据进行加密；在解码过程中进行相应的解密，确保铭文数据无法被非授权方窃取。

其中，弹药标识识别过程有：弹药标识是位于弹药柱体及包装箱上编号数据，由中文、英文、数字组成。位于箱体或弹药的几个位置，分别标注了该弹药的几个组成部分。对于此类数据识别，采用文字识别技术，通过相机获取图像，通过检测暗、亮的模式确定其形状，然后用字符识别方法将形状翻译成计算机文字。

A.预处理：主要包括灰度化、二值化、噪声去除、倾斜矫正等。

灰度化：灰度图是只含亮度信息，不含色彩信息的图片。在RGB模型中，如果R＝G＝B时，则彩色表示一种灰度颜色，其中R＝G＝B的值叫灰度值。一般满足下面这个公式：Gray＝0.299R+0.587G+0.114B这种参数考虑到了人眼的生理特点。

B.二值化：非黑即白。对摄像头拍摄的图片，大多数是彩色图像，彩色图像所含信息量巨大，对于图片的内容，可以简单的分为前景与背景，为了让计算机更快的，更好的识别文字，需要先对彩色图进行处理，使图片只前景信息与背景信息，可以简单的定义前景信息为黑色，背景信息为白色，这就是二值化图了。经过灰度处理的彩色图像还需经过二值化处理将文字与背景进一步分离开。二值化的过程中涉及到“阈值”的概念，简单来说就是想找到一个合适的值来作为一个界限，大于或小于这个界限的值变为白色或黑色即0或255。

使用直方图方法(也叫双峰法)来寻找二值化阀值，直方图是图像的重要特质。直方图方法认为图像由前景和背景组成，在灰度直方图上，前景和背景都形成高峰，在双峰之间的最低谷处就是阀值所在。

C.图像降噪：现实中的数字图像在数字化和传输过程中常受到成像设备与外部环境噪声干扰等影响，称为含噪图像或噪声图像。减少数字图像中噪声的过程称为图像降噪(Image Denoising)。在演示的过程中可以看到当二值化之后的图片会显示很多小黑点，这些都是不需要的信息，会对后面进行图片的轮廓切割识别造成极大的影响，降噪是一个非常重要的阶段，降噪处理的好坏直接影响了图片识别的准确率。

D.倾斜矫正：拍照或者选取的图片不可能完全是水平的，倾斜会影响后面切出来的图片，所以要对图片进行旋转倾斜矫正最常用的方法是霍夫变换，其原理是将图片进行膨胀处理，将断续的文字连成一条直线，便于直线检测。计算出直线的角度后就可以利用旋转算法，将倾斜图片矫正到水平位置。

E.图片分割：对于一段多行文本来讲，文字切分包含了行切分与字符切分两个步骤，倾斜矫正是文字切分的前提。我们将倾斜矫正后的文字投影到Y轴，并将所有值累加，这样就能得到一个在y轴上的直方图。

F.文字识别：通过获取图像切片，把每一部分的图像扫描的文字提取特征向量与特征模板进行模板粗分类和模板细匹配，识别出字符。

虚拟场景生成单元由处理器(CPU和GPU)、存储(内存和存储)等构成，其用于将图像识别单元识别到的信息与储存在数据库系统内的弹药信息数据匹配，并将交互单元产生的交互数据和跟踪数据进行处理，生成与真实环境数据匹配的虚拟画面并传送至头部显示单元。

头部显示单元的显示界面为弹药的基本信息、图片、视频以及三维模型，其中，弹药的基本信息包括ID(二维码ID)、名称、国家、类型、描述，用于数据库检索查询、应用时的概略显示，装配信息、诸元信息、如射程、长度、直径、发射方式、制导方式等。

弹药的视频包括操作使用视频、事故维修视频以及弹药拆解视频，查看视频操作过程如图3所示，弹药的图片包括弹药本体的照片以及弹药的使用手册，查看图片操作过程如图4所示，弹药的三维模型由Solidworks完成部件的三维建模和虚拟装配，查看三维模型操作过程如图5所示。

本实施例中将实体三维建模分为两个阶段：数据采集阶段和模型生成阶段，主要采用Solidworks完成。通过3D建模软件Soliworks和Pro/e建立弹药3D模型，要求虚拟三维模型的物理特性与实弹一致，按照1：1的比例进行建模，以求弹药三维虚拟模型的真实性，同时也要在不影响显示仿真效果的前提下，尽量简化一些不太重要的尺寸结构。

整个建模的流程是从绘制弹药的零件库开始，然后根据零件之间的配合关系自下而上地进行装配，最后得到完整的装备三维模型。

装配体的模型内部，从功能或者机械组成上分，是具有一定的层次关系的，即可分解为不同层次的子装配体和零件，子装配体可分解为若干个子子装配体和零件。通常用装配树来描述这种父子从属的关系，如图6所示。在建模软件中，进行自下而上的建模时，这种结构可通过软件中的“再装配”功能实现。

实体模型建模一般分为两个阶段：数据采集阶段和模型生成阶段，如图7所示。

数据采集阶段：获取实物外观参数和行动效果参数用于高精度、高仿真度的实体模型构建的参数依据。

参照模型生成：使用仪器扫描或图像生成的先进方法快速生成模型，作为三维制作的参照和依据。

模型生成阶段：原始高精度模型生成：通过三维软件，最大精度的还原实物模型，包括主体结构外观和细微纹理、凹凸等细节。原始高精度模型不能被直接使用，其细节在后续阶段以多种方法转录，在应用阶段完全呈现。

应用级高精度模型生成：使用模型拓扑技术将原始高精度模型生成符合虚拟仿真运行级别的高精度模型。使用烘焙技术，记录原始高精度模型的细节信息，主要包括表示模型细节凹凸的法线贴图。

材质、纹理生成：采用基于物理的渲染(PBR)技术，直接以物理参数来编写表面材质，使模型的表现更加符合物理规则，对光照的计算也更符合现实。

其核心算法如下：

其结果以贴图形式存储：albedo map无光颜色贴图、normal map法线贴图、metallic map金属度贴图、roughness粗糙度贴图、ao map环境遮挡贴图等。

行动及效果生成：为实体模型添加关节、父子等关系绑定、骨骼绑定、物理行为绑定等，制作模型的行进、展开、撤收等行动效果，并使用粒子系统制作模型的烟尘、火光等效果。

多外观模型生成：以应用级高精度模型为依据，生成损坏、损毁等外观效果模型。

应用级多精度模型生成：以应用级高精度模型为依据，生成中级精度和低级精度模型，以具备LOD多细节层次。

参数驱动绑定：包括多精度、多效果模型合成、行动及效果绑定，实现以参数驱动模型。

本发明采用的软件建模方式，具有精度及质量高度可控，高精准度还原实物外观、动作效果；基于物理的渲染(PBR)具备更为出色的显示效果；多外观状态，丰富和满足显示需要；多细节层次LOD，满足不同距离的渲染效果和性能优化；参数模型，可对接仿真系统实现参数化驱动。

头部显示单元还用于显示仓储信息以及生产信息，其中，仓储信息包括提供仓库弹药位置引领以及弹药调拨登统计，生产信息包括提供弹药质量状态以及销毁提示。

显示单元的重要属性包括：视场、视窗大小、亮度，透明度和占空时间、对比度、均匀性和色彩质量、分辨率、现实世界畸变、虚拟图像畸变、人眼安全、适眼距、色差、深度感知、体积，重量和形状参数、光学效率、延迟、杂散光，其中，在本实施例中更大的视场能够增加沉浸感。视场，视窗和眼距紧密相关，如下面简化的方程式所示：

s＝b+2r tan(v/2)

其中s是光学表面的尺寸(如宽度)，b是视窗尺寸，r是适眼距，v是视场。

显示亮度定义了显示器的亮度是否足够支持用户在特定情况下清楚地感知虚拟内容。透明度则关于有多少现实世界光线能够到达眼睛。

显示器亮度非常具有挑战性，所以大多数的AR眼镜通常都是经过调配，只限于室内使用，而且在户外变得不可用，尤其是在阳光直射的情况下。为了减轻这个问题，头显会降低透明度，并因而减少到达用户眼睛的环境光线数量的有色面板，从而令显示器相对更加光亮。

对比度描述了显示器同时产生更亮和更暗像素的能力。本实施例硬件采用的OLED具有较高的对比度，可以达到1：1.000.000或更高。

颜色质量定义了显示器能够再现颜色的准确程度。为了实现适当的色彩再现，需要进行校准(包括伽玛)。由于AR显示器通常是添加光线，所以感知颜色同时取决于虚拟内容所叠加的场景。本硬件通过合理的优化显示器的位置和图像识别算法，实现较好的均匀性和颜色质量。

本AR眼镜主体使用畸变校准，减少和消除虚拟内容的畸变，将其作为渲染管道的一部分进行处理，实现与真实世界匹配的显示效果。

AR眼镜需要确保眼睛不受AR显示器的影响；确保AR显示器保护眼睛免受外部伤害。

通过将所有的玻璃原件整合至不易破碎的护盖中实现。并符合ANSI Z87.Z的眼镜保护安全标准。

适眼距是指瞳孔到AR显示器最近点的支持距离。由于并非所有用户都具有相同的头形，所以需要支持一定范围的适眼距，从而限定视窗的厚度(沿着观察方向)。

通过优选足够足够支持常规眼镜的适眼距，这样存在视力问题的用户就无需购买定制透镜，从而兼容眼镜佩戴。

AR眼镜是两个视场：AR眼镜用于显示虚拟内容的可视觉增强区域，是通常所指的视场；但人类可以感知的视场范围要大于当前AR显示器的可视觉增强区域，而我们将可视觉增强区域之外的视场称为外围视场。我们需要确保不能过分遮挡外围视场。

人类视场是单眼约150度×120度，双眼加起来是220度×120度。将显示器放在眼睛前面会造成额外的遮挡，所以一个重要的设计目标是将这种遮挡保持在最低限度。

透镜的折射率随光波长而变化，这导致不同的“颜色相关”焦距。色差是AR显示器中引人注目的问题。需要在软件中校正一定的像差(通过适当的校准)来减少伪影。

AR显示器，两个最重要的线索是视觉辐辏(眼睛旋转以观察相同的对象)和视觉调节(瞳孔聚焦对象)。它们是神经耦合，而不匹配的视觉辐辏和视觉调节会造成用户不适，亦即所谓的视觉辐辏调节冲突(VAC)。AR显示器使用单个焦平面显示器，就需要决定放置它的位置。最适合大多数场景的情况似乎是2米左右。焦平面应该为大致平坦且对所有颜色相同。

显示器尺寸和眼镜尺寸是当今AR设备最具挑战性的设计参数之一。由于要求大视场和大视窗，所以很难令显示器变小。较大的显示器通常会导致更重的光学元件。尺寸和重量不是独立于其他属性的参数。人体头部可以舒适地承受比70克更重的重量(如果重量分布均匀)。尽管承受很轻的重量都会很快造成鼻梁受伤，但耳朵可以承受更多的重量，而且头顶更加坚硬。重量分布比重量本身更为重要。

光学效率是指发光元件所发出的光线有多少实际到达用户眼睛。采用微型LED的AR眼镜，能够实现更高的亮度水平。

当用户将头部向右旋转时，显示器索显示的内容必须相应地“向左移动”。对AR而言，需要实现足够低延迟的系统及5毫秒以下的延迟。

AR眼镜的敞开程度越高，越多来至多余方向和光源的光线就能够进入系统。尽管AR显示器通常能够很好地应对来自前方的环境光，但来自侧面或用户后方的光线会引起严重问题。需要通过良好的设计来减少杂散光。

立体图形显示器的视觉辐辏和视觉调节是一个众所周知的问题，另外还存在与双眼视觉相关的其他问题，而它们会对舒适性产生巨大影响。其中一个是被称为双目垂直角差。当双目显示器之间存在垂直视差或倾斜时，双目垂直角差就会出现。人类视觉系统难以忍受这一问题，并且可能会导致头晕，恶心，甚至呕吐。这一点，也需要通过良好的设计来解决。

数据库系统选择SQLite，用于承载本系统的各类弹药数据。用户可对现有数据库内的各类弹药数据进行增、删、改、查操作，随着系统的逐渐完善，可以向数据库不断地完善弹药的信息和模型数据。其中，SQLite是一款轻量级关系型数据库管理系统，占用资源非常低，能够支持本项目需求的Windows和Android操作系统，能够跟多程序语言相结合，并且处理速度优于Mysql、PostgreSQL等，并且是开源数据库。

数据库系统存储有：二维码及二维码加密数据、二维码映射数据、弹药的基本信息(种类、名称、装配信息、诸元信息等)数据、弹药直观感受(三维)及部组件的结构体征，快速掌握弹药的操作使用与事故处理视频数据、弹药本体的照片以及弹药的使用手册图片数据、弹药的三维模型数据、弹药仓库数字化管理(仓库弹药位置引领、弹药调拨自动化登统计等)仓储数据、弹药质量数字化管理(常规检测自动化录入、质量状态自动化标识等)以及弹药销毁自动化警示提示(销毁危险品自动警示提示)等生产数据。

数据升级：数据库软件支持将数据打包导入到AR眼镜系统目录中，通过数据库软件可以实现对AR眼镜数据库的升级。

低功耗管理单元在无操作时，控制系统进入休眠倒计时，时间到达进入超低功耗状态，当有触控时间触发时，休眠被立刻唤醒，进入正常的识别状态。

本系统通过仿真模型演示和增强现实交互等先进方法手段，可以使弹药使用人员能够实现弹药基础信息的快速准确识别、弹药结构三维立体显示、弹药操作使用流程与要求直观演示等。实现弹药技术保障与操作使用人员快速、直观掌握药基本性能，熟悉操作使用，减少弹药使用准备等待时间，降低弹药的使用安全隐患等奠定基础。

提高弹药知识学习效率和学习效果，采用AR增强现实技术和计算机仿真技术构建可视化虚拟系统，使弹药保障和使用人员快速掌握弹药知识，视觉感知弹药结构组成以及操作使用流程。更重要的是，很多弹药拆开后，无法观察其内部运作机理。采用增强现实视景仿真技术，能够清晰逼真的展示系统的构造特点和工作过程，可以提供大量可视化的弹药结构信息，大大提高了其学习和掌握技能的效率。

减少安全隐患，系统包含弹药的操作使用与事故处理的图片、视频、三维模型等多媒体资料，通过虚拟学习和操作快速掌握弹药使用和处理知识，进一步降低安全事故发生的机率。

提升弹药信息化管理水平，通过后续功能拓展实现弹药仓库数字化管理(仓库弹药位置引领、弹药调拨自动化登统计等)、弹药质量数字化管理(常规检测自动化录入、质量状态自动化标识等)以及弹药销毁自动化警示提示(销毁危险品自动警示提示)等，为提升陆军弹药的信息化管理水平提供奠定基础。

基于视觉感知技术的弹药识别与使用研究，研制了增强现实弹药识别眼镜系统，实现了真实环境和虚拟环境的融合。通过计算机生成的数据对弹药进行增强显示，加强用户对弹药的理解。利用空间定位技术、三维渲染显示技术，实现真实物体和虚拟物体的完美融合与显示。

系统集成了多种交互方式，包括语音、手势、触摸、实体按键等，在保留传统交互方式的基础上，集成先进技术，实现了更为自然的交互方式。

通过研究图像识别算法，继承了多种弹药识别方法，并针对弹药特有属性，开发了专门的开发二维码识别算法、二维码加密算法、弹药标识识别算法等算法，提高了弹药的识别效能。

系统集成了多种弹药的多元信息数据，包括参数属性数据、图片文本数据、视频多媒体数据、三维模型数据，形成了一个完整的综合性弹药数据平台。

系统具有高度可扩展性，支持多类型弹药数据存储，并开放预留了弹药质量管理和弹药仓储数据管理接口，满足了弹药管理应用需求。增强现实弹药识别眼镜系统设计要考虑到业务未来发展的需要，尽可能设计得简明，降低各功能模块耦合度，并充分考虑兼容性。

最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明权利要求保护的范围之内。

Claims (10)

1.一种增强现实弹药识别眼镜-手柄连携系统，其特征在于，包括：AR眼镜主体、与所述AR眼镜主体连携使用的手柄以及数据库系统，所述AR眼镜主体内置有图像识别单元、头部显示单元、交互单元、虚拟场景生成单元以及低功耗管理单元，所述图像识别单元用于识别弹药的二维码和弹药标识，所述虚拟场景生成单元用于将所述图像识别单元识别到的信息与储存在所述数据库系统内的弹药信息数据匹配，并将所述交互单元产生的交互数据和跟踪数据进行处理，生成与真实环境数据匹配的虚拟画面并传送至所述头部显示单元，所述头部显示单元用于显示弹药的基本信息、图片、视频以及三维模型，所述低功耗管理单元在无操作时，控制系统进入休眠倒计时，时间到达进入超低功耗状态，所述手柄包括触控板，通过所述触控板实现对所述头部显示单元显示界面的切换。

2.根据权利要求1所述的增强现实弹药识别眼镜-手柄连携系统，其特征在于：所述二维码置于弹药弹体柱面上或弹药包装箱上，所述二维码包括龙贝码以及汉明码。

3.根据权利要求1所述的增强现实弹药识别眼镜-手柄连携系统，其特征在于：所述弹药标识置于弹药弹体柱面上或弹药包装箱上，所述弹药标识为中文、英文以及数字。

4.根据权利要求1所述的增强现实弹药识别眼镜-手柄连携系统，其特征在于：所述头部显示单元为光学透视显示器。

5.根据权利要求1所述的增强现实弹药识别眼镜-手柄连携系统，其特征在于：所述交互单元包括语音交互模组以及手势交互模组，所述语音交互模组通过语言指令实现对所述AR眼镜系统的交互，所述手势交互模组通过抓取手势并将手势解读为指令实现对所述AR眼镜系统的交互。

6.根据权利要求1所述的增强现实弹药识别眼镜-手柄连携系统，其特征在于：所述弹药的基本信息包括弹药的种类、名称、装配信息和诸元信息。

7.根据权利要求1所述的增强现实弹药识别眼镜-手柄连携系统，其特征在于：所述弹药的视频包括操作使用视频、事故维修视频以及弹药拆解视频。

8.根据权利要求1所述的增强现实弹药识别眼镜-手柄连携系统，其特征在于：所述弹药的图片包括弹药本体的照片以及弹药的使用手册。

9.根据权利要求1所述的增强现实弹药识别眼镜-手柄连携系统，其特征在于：所述弹药的三维模型由Solidworks完成部件的三维建模和虚拟装配。

10.根据权利要求1所述的增强现实弹药识别眼镜-手柄连携系统，其特征在于：所述头部显示单元还用于显示仓储信息以及生产信息，其中，所述仓储信息包括提供仓库弹药位置引领以及弹药调拨登统计，所述生产信息包括提供弹药质量状态以及销毁提示。

Images