CN116887020B - 一种视觉增强方法 - Google Patents

Abstract

本发明公开了一种视觉增强系统及方法，该方法包括：利用环境探测成像模块进行现场环境影像采集；利用方位感知模块获取现场方位数据信息；利用数据通信模块与视觉增强系统外部进行数据交互；利用操控模块对视觉增强系统进行功能控制；利用中央计算处理模块接收环境探测成像模块、方位感知模块、数据通信模块和操控模块的数据信息，并进行数据信息处理；利用增强现实光学模块接收中央计算处理模块的增强现实虚拟图像，进行增强现实虚拟图像的近眼显示；利用风镜模块进行增强现实光学模块和人脸的防护，增强现实光学模块置于风镜模块内部，风镜模块与人脸贴合；利用装配模块进行视觉增强系统的固定。本发明提高了使用者在夜间行动的能力和效率。

Description

一种视觉增强方法

技术领域

本发明涉及视觉增强技术领域，尤其涉及一种视觉增强系统及方法。

背景技术

夜晚由于环境光亮度很低，人眼难以辨识环境纹理细节，视野范围相比白天大大缩小。且传统上，在黑暗环境下，对于人员和车辆等目标物的发现，主要通过可见光和声音的手段，发现能力较弱。为提升夜晚场景的视觉能力，当前主要的手段是通过独立的夜视镜设备来进行视觉的增强。例如微光夜视镜，主要用于观察环境纹理细节；红外夜视镜，主要用于观察人员和车辆等热红外目标；微光和红外相结合的双光融合夜视镜，综合两种技术手段的特点来进一步提升夜晚视觉能力。该手段确实很好的强化了人眼在夜晚环境的观察能力，但该类设备通常是作为单功能体设备存在，功能仅限于环境成像和图像显示的处理优化，图像数据难以做进一步的利用和信息化整合。另外，由于体积和重量的原因，无论是手持式设备，还是头戴式设备，都会带来一定的使用不便或者人机工效问题，尤其是头戴式设备极易与其它同位置设备在使用上发生冲突，例如在使用夜视镜时，需要取下风镜等。

受限于夜晚的低照度环境，人员在执行任务时，对于有人/无人平台的协同需求更加强烈。当前，主要是通过手机、平板等手持式显示屏幕进行信息查看和交互，占用双手的同时，会造成人眼视线频繁在显示屏幕和现实环境之间切换，对于使用者快速获取协同信息，完成现场全方位态势感知带来了极大的不便。

发明内容

本发明的目的是提供一种视觉增强系统及方法，通过充分整合和优化视觉增强信息的处理和显示，大大提高使用者在夜间行动的能力和效率。

为了解决上述技术问题，本发明实施例第一方面公开了一种视觉增强系统，所述系统包括：

中央计算处理模块、增强现实光学模块、环境探测成像模块、方位感知模块、数据通信模块、操控模块、风镜模块和装配模块；

所述环境探测成像模块，用于进行现场环境影像采集；

所述方位感知模块，用于获取现场方位数据信息；

所述数据通信模块，用于与所述视觉增强系统外部进行数据交互；

所述操控模块，用于利用手动操作按键和旋钮对所述视觉增强系统进行功能控制；

所述中央计算处理模块，用于接收所述环境探测成像模块、所述方位感知模块、所述数据通信模块和所述操控模块的数据信息，并进行数据信息处理；

所述增强现实光学模块，用于接收所述中央计算处理模块的增强现实虚拟图像，进行所述增强现实虚拟图像的近眼显示；

所述风镜模块，用于进行所述增强现实光学模块和人脸的防护，所述增强现实光学模块置于所述风镜模块内部，所述风镜模块与人脸贴合；

所述装配模块，用于进行所述视觉增强系统的固定。

作为一种可选的实施方式，在本发明实施例第一方面中，所述增强现实光学模块包括图像源和光学投影成像单元；

所述图像源用于生成待投影的虚拟图像；

所述光学投影成像单元用于对所述待投影的虚拟图像投影，并在不遮挡现实的情况下，投射入人眼。

作为一种可选的实施方式，在本发明实施例第一方面中，所述环境探测成像模块包括微光相机和红外相机；

所述微光相机用于在环境光低亮度情况下进行环境纹理灰度成像，得到微光视频流数据信息；

所述红外相机用于在环境光低亮度情况下进行环境热红外成像，得到红外视频流数据信息。

作为一种可选的实施方式，在本发明实施例第一方面中，所述方位感知模块包括地理位置定位单元、方向定位单元和高度定位单元；

所述地理位置定位单元用于获取经纬度数据信息；

所述方向定位单元用于获取当前航向数据信息；

所述高度定位单元用于获取海拔高度数据信息。

作为一种可选的实施方式，在本发明实施例第一方面中，所述

装配模块包括绑带和挂钩，用于适配不同头盔进行所述视觉增强系统的固定。

本发明实施例第二方面公开了一种视觉增强方法，所述方法包括：

S1，利用所述环境探测成像模块进行现场环境影像采集，得到视频流数据信息；

所述视频流数据信息包括微光视频流数据信息和红外视频流数据信息；

S2，利用所述中央计算处理模块，对所述微光视频流数据信息和红外视频流数据信息进行多源传感图像融合处理，得到图像融合图层信息；

S3，利用所述数据通信模块，从所述视觉增强系统外部获取协同业务数据信息；

S4，利用所述中央计算处理模块，对所述协同业务数据信息进行处理，得到有人/无人协同业务显示图层信息；

S5，利用所述方位感知模块获取现场方位数据信息；所述现场方位数据信息包括经纬度数据信息、航向数据信息和海拔高度数据信息；

S6，利用所述中央计算处理模块获取系统关键状态数据信息；所述系统关键状态数据信息包括Wi-Fi连接状态、系统时间、内嵌锂电池电量和图像显示模式；

S7，利用所述中央计算处理模块，对所述现场方位数据信息和所述系统关键状态数据信息进行处理，得到用户界面图层信息；

S8，利用所述中央计算处理模块，对所述图像融合图层信息、有人/无人协同业务显示图层信息和用户界面图层信息进行图层叠加融合处理，得到双目视觉增强图像；

所述双目视觉增强图像包括：所述用户界面图层信息位于相对人眼的近层，所述有人/无人协同业务显示图层信息位于相对人眼的中层，所述图像融合图层信息位于相对人眼的远层；

S9，利用所述增强现实光学模块，对所述双目视觉增强图像进行处理，得到增强现实虚拟图像；

S10，利用所述增强现实光学模块，将所述增强现实虚拟图像投射入人眼，完成近眼显示，实现视觉增强。

作为一种可选的实施方式，在本发明实施例第二方面中，所述对所述微光视频流数据信息和红外视频流数据信息进行多源传感图像融合处理，得到图像融合图层信息，包括：

S21，对所述微光视频流数据信息和红外视频流数据信息进行处理，得到关键目标信息；

S22，对所述微光相机和红外相机内部参数、所述关键目标信息在世界坐标系中的坐标值、预设的缩放平移矩阵和预设的缩放系数进行处理，得到超定方程组；

S23，对所述超定方程组进行求解，得到最小最优拟合解；所述得到最小最优拟合解构成标定校准参数；

S24，根据所述关键目标信息、所述超定方程组和所述标定校准参数，对所述微光视频流数据信息和红外视频流数据信息进行多源传感图像融合处理，得到图像融合图层信息。

作为一种可选的实施方式，在本发明实施例第二方面中，所述对所述协同业务数据信息进行处理，得到有人/无人协同业务显示图层信息，包括：

S41，利用所述数据通信模块，从所述视觉增强系统外部获取业务功能数据包；

S42，根据UDP和FTP协议，对所述业务功能数据包进行解析和数据提取，得到指控信息、地图文件信息、位置坐标信息、目标类型信息和视频流信息，并分发给软件处理进程；

S43，利用所述软件处理进程，对所述指控信息、地图文件信息、位置坐标信息、目标类型信息和视频流信息进行处理，得到有人/无人协同业务显示图层信息。

作为一种可选的实施方式，在本发明实施例第二方面中，所述对所述方位数据信息和所述系统关键状态数据信息进行处理，得到用户界面图层信息，包括：

S71，利用所述中央计算处理模块，对所述方位数据信息和所述系统关键状态数据信息进行显示，得到数据显示方式；

S72，利用所述中央计算处理模块，对所述方位数据信息、所述系统关键状态数据信息和所述数据显示方式进行用户界面排版和渲染，获得用户界面图层信息。

作为一种可选的实施方式，在本发明实施例第二方面中，所述数据显示方式包括：

S711，所述航向数据信息的数据显示方式为：以360°航向游标刻度的方式进行显示，并在地图上进行实时方向指示；

S712，所述Wi-Fi连接状态的数据显示方式为：以图标方式进行显示提示；

S713，所述系统时间的数据显示方式为：以数字时间方式进行显示；

S714，所述内嵌锂电池电量的数据显示方式为：以百分比方式通过电池图标进行实时剩余电量标识，并支持充电提示；

S715，所述图像显示模式的数据显示方式为：通过文本方式进行显示提示。

与现有技术相比，本发明实施例具有以下有益效果：

本发明提供一种视觉增强系统及方法，利用环境探测成像模块进行现场环境影像采集；利用方位感知模块获取现场方位数据信息；利用数据通信模块与视觉增强系统外部进行数据交互；利用操控模块对视觉增强系统进行功能控制；利用中央计算处理模块进行现场环境影像信息的融合、目标检测、方位信息和业务功能的集成处理和控制，通过充分整合和优化视觉增强信息的处理和显示，大大提高使用者在夜间行动的能力和效率。

本发明利用风镜模块进行增强现实光学模块和人脸的防护，增强现实光学模块置于风镜模块内部，风镜模块通过柔性材料与人脸贴合，使用者佩戴舒适，且不容易与面部产生相对位移。

本发明利用装配模块进行视觉增强系统的固定，具备良好的随稳性和适配性。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例公开的一种视觉增强系统的结构示意图；

图2是本发明实施例公开的一种视觉增强系统各个功能模块的连接关系示意图；

图3是本发明实施例公开的一种视觉增强方法的流程示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、装置、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。

在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本发明的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。

本发明公开了一种视觉增强系统及方法，该方法包括：利用环境探测成像模块进行现场环境影像采集；利用方位感知模块获取现场方位数据信息；利用数据通信模块与视觉增强系统外部进行数据交互；利用操控模块对视觉增强系统进行功能控制；利用中央计算处理模块接收环境探测成像模块、方位感知模块、数据通信模块和操控模块的数据信息，并进行数据信息处理；利用增强现实光学模块接收中央计算处理模块的增强现实虚拟图像，进行增强现实虚拟图像的近眼显示；利用风镜模块进行增强现实光学模块和人脸的防护，增强现实光学模块置于风镜模块内部，风镜模块与人脸贴合；利用装配模块进行视觉增强系统的固定。本发明提高了使用者在夜间行动的能力和效率。

实施例一

请参阅图1，图1是本发明实施例公开的一种视觉增强系统的结构示意图，其中，图1所描述的视觉增强系统应用于视觉增强技术领域，如驾驶员的夜间行驶，本发明实施例不做限定。如图1所示，该视觉增强系统包括：中央计算处理模块、增强现实光学模块、环境探测成像模块、方位感知模块、数据通信模块、操控模块、风镜模块和装配模块；

所述环境探测成像模块，用于进行现场环境影像采集；

所述方位感知模块，用于获取现场方位数据信息；

所述数据通信模块，用于与所述视觉增强系统外部进行数据交互；

所述操控模块，用于利用手动操作按键和旋钮对所述视觉增强系统进行功能控制；为实现更好的人机交互，按键和旋钮根据操作习惯和功能分布特点，置于胸前部位。

所述中央计算处理模块，用于接收所述环境探测成像模块、所述方位感知模块、所述数据通信模块和所述操控模块的数据信息，并进行数据信息处理；

所述增强现实光学模块，用于接收所述中央计算处理模块的增强现实虚拟图像，进行所述增强现实虚拟图像的近眼显示；

所述风镜模块，用于进行所述增强现实光学模块和人脸的防护，所述增强现实光学模块置于所述风镜模块内部，所述风镜模块通过海绵面衬与人脸贴合；

所述装配模块，用于进行所述视觉增强系统的固定。

所述装配模块，包括具有弹性形变能力的绑带和挂钩。考虑到固定的稳定性，所述绑带设有3条，分别通过水平方向和竖直方向两个维度环绕头盔表面进行分布，所述绑带末端汇集到所述挂钩，所述挂钩钩挂在头盔的盔沿。依靠所述弹性绑带和所述挂钩形成的拉力，所述视觉增强系统完成与头盔的适配结合。

数据通信模块用于系统与外部通过双频Wi-Fi的方式进行无线数据交互传输，支持自组网。数据通信模块就近与所述中央计算处理模块置于同一结构内，在所述中央计算处理模块的控制下进行数据的收发。

可选的，所述增强现实光学模块包括图像源和光学投影成像单元；

所述图像源用于生成待投影的虚拟图像；

所述光学投影成像单元用于对所述待投影的虚拟图像投影，并在不遮挡现实的情况下，投射入人眼。

可选的，图像源可以采用LCoS模组，所述LCoS模组用于生成待投影的虚拟图像，分辨率为1920×1080P，刷新率≥60Hz；

可选的，光学投影成像单元可以采用阵列光波导光机，所述阵列光波导光机用于将所述LCoS模组生成的虚拟图像经过光学投影后，在不遮挡现实的情况下，投射入人眼，FOV≥50°，出瞳距离设定为20mm，采用双目阵列光波导光机置于双眼正前方的方式进行近眼显示，为兼容绝大多数人双目瞳距，所述双目阵列光波导光机显示区域中心间距为64mm。

可选的，所述环境探测成像模块包括微光相机和红外相机；

所述微光相机用于在环境光低亮度情况下进行环境纹理灰度成像，得到微光视频流数据信息；

所述红外相机用于在环境光低亮度情况下进行环境热红外成像，得到红外视频流数据信息。

所述微光相机能够工作在至少3×10^-4lux环境光条件下，为更好的贴合人眼生理上的双目视觉效果，使用2台所述微光相机，分别对应左右双目视觉，置于人脸额头部位，在结构设计允许的范围内，尽可能靠近人眼，彼此间距为64mm，与所述双目光机相同。所述红外相机目标发现距离≥200米，置于所述2台微光相机的正中央，与所述2台微光相机保持同一水平面。

为更好的实现数据的高速并发处理和低延时效果，中央计算处理模块采用高性能商用CPU芯片的组合方式进行设计。结构上，为平衡整体质心分布，中央计算处理模块置于头顶正上方位置。

可选的，所述方位感知模块包括地理位置定位单元、方向定位单元和高度定位单元；

所述地理位置定位单元用于获取经纬度数据信息；

所述方向定位单元用于获取当前航向数据信息；

所述高度定位单元用于获取海拔高度数据信息。

方位感知模块包括北斗定位模块、高精度数字罗盘和气压计。所述北斗定位模块用于经纬度坐标的获取。所述高精度数字罗盘用于当前航向角度的获取。所述气压计用于海拔高度的获取。方位感知模块就近与所述中央计算处理模块置于同一结构内，采集的数据传送至所述中央计算处理模块进行处理和调用。

可选的，所述装配模块包括绑带和挂钩，用于适配不同头盔进行所述视觉增强系统的固定。

作为一种可选的实施方式，所述视觉增强系统可以与头盔组合，如图2所示为各个模块的位置示意图，其中①为增强现实光学模块，②为环境探测成像模块，③为中央计算处理模块，④为方位感知模块，⑤为数据通信模块，⑥为操控模块，⑦为风镜模块，⑧为装配模块。

实施例二

请参阅图3，图3是本发明实施例公开的一种视觉增强方法的流程示意图，其中，图3所描述的视觉增强方法应用于视觉增强技术领域，如驾驶员的夜间行驶，本发明实施例不做限定。如图3所示，该视觉增强方法包括：

S1，利用所述环境探测成像模块进行现场环境影像采集，得到视频流数据信息；

所述视频流数据信息包括微光视频流数据信息和红外视频流数据信息；

S2，利用所述中央计算处理模块，对所述微光视频流数据信息和红外视频流数据信息进行多源传感图像融合处理，得到图像融合图层信息；

通过对所述环境探测成像模块所采集的微光视频流数据信息和红外视频流数据信息进行算法的分析、处理，生成能够以色差、明暗或勾勒等方式凸显关键目标信息的图像融合图层。

S3，利用所述数据通信模块，从所述视觉增强系统外部获取协同业务数据信息；

S4，利用所述中央计算处理模块，对所述协同业务数据信息进行处理，得到有人/无人协同业务显示图层信息；

S5，利用所述方位感知模块获取现场方位数据信息；所述现场方位数据信息包括经纬度数据信息、航向数据信息和海拔高度数据信息；

S6，利用所述中央计算处理模块获取系统关键状态数据信息；所述系统关键状态数据信息包括Wi-Fi连接状态、系统时间、内嵌锂电池电量和图像显示模式；

S7，利用所述中央计算处理模块，对所述现场方位数据信息和所述系统关键状态数据信息进行处理，得到用户界面图层信息；

S8，利用所述中央计算处理模块，对所述图像融合图层信息、有人/无人协同业务显示图层信息和用户界面图层信息进行图层叠加融合处理，得到双目视觉增强图像；

所述双目视觉增强图像包括：所述用户界面图层信息位于相对人眼的近层，所述有人/无人协同业务显示图层信息位于相对人眼的中层，所述图像融合图层信息位于相对人眼的远层；

S9，利用所述增强现实光学模块，对所述双目视觉增强图像进行处理，得到增强现实虚拟图像；

S10，利用所述增强现实光学模块，将所述增强现实虚拟图像投射入人眼，完成近眼显示，实现视觉增强。

可选的，所述对所述微光视频流数据信息和红外视频流数据信息进行多源传感图像融合处理，得到图像融合图层信息，包括：

S21，对所述微光视频流数据信息和红外视频流数据信息进行处理，得到关键目标信息；

所述关键目标信息包括视野环境中的人员、车辆等关键目标信息；

可选的，目标检测的基本流程包括以下几个步骤：

图像预处理：对输入的数字图像进行预处理，例如图像增强、归一化和裁剪等；

物体定位：利用图像特征或模型，定位数字图像中的物体；

物体识别：对定位到的物体进行分类和识别，通常使用深度学习模型进行分类；

目标输出：输出目标的位置、类别和置信度等信息。

S22，对所述微光相机和红外相机内部参数、所述关键目标信息在世界坐标系中的坐标值、预设的缩放平移矩阵和预设的缩放系数进行处理，得到超定方程组；

S23，对所述超定方程组进行求解，得到最小最优拟合解；所述得到最小最优拟合解构成标定校准参数；

S24，根据所述关键目标信息、所述超定方程组和所述标定校准参数，对所述微光视频流数据信息和红外视频流数据信息进行多源传感图像融合处理，得到图像融合图层信息。

可选的，所述多源传感图像融合处理，包括对微光视频流数据信息和红外视频流数据信息进行融合，获得合成影像画面，结合应用深度和映射法则，将所述合成影像画面进行虚实对齐。同时，对画面中的关键信息采取色差、明暗或勾勒等方式作凸显处理。

可选的，所述对微光视频流数据信息和红外视频流数据信息进行融合的方法为：

利用多尺度方向非局部均值滤波器对微光视频流数据信息进行处理，得到微光视频流数据信息近似子带和微光视频流数据信息细节子带；

利用多尺度方向非局部均值滤波器对红外视频流数据信息进行处理，得到红外视频流数据信息近似子带和红外视频流数据信息细节子带；

利用基于近似子带的融合方法，对微光视频流数据信息近似子带和红外视频流数据信息近似子带进行处理，得到第一融合信息；

利用局部八阶相关融合方法，对微光视频流数据信息细节子带和红外视频流数据信息细节子带进行处理，得到第二融合信息；

利用多尺度方向非局部均值滤波器反变换对第一融合信息和第二融合信息进行处理，得到合成影像画面。

多尺度方向非局部均值滤波器为：先将源图像用多尺度分局部均值滤波器分解成一个近似子带和多个不同尺度上的细节子带，然后将不同尺度的细节子带发送到非下采样方向(NSDFB)滤波器中提取细节子带的方向信息，最终获得多尺度方向的细节子带：

I＝{I^s(p,q)}+{I^s,d(p,q)|1≤s≤S,d＝1,2,...2^K}

{I^s,d(p,q)|1≤s≤S,d＝1,2,...2^K}＝D^S*DF_d

其中DF_d为NSDFB，K为分解级数，(p,q)是子带的特定系数位置，I^s(p,q)表示源图像近似子带，I^s,d(p,q)表示图像的s级和第d方向上的方向细节子带。

NSDFB重构为：

D^s＝{I^s,d(p,q)|1≤s≤S,d＝1,2,...2^K}*DF_d ^*

其中，为反NSDFB。

由于近似子带中含有大量的图像信息，因此可以根据像素点的局部邻域能量来作为融合近似子带在该像素点灰度值大小的衡量指标。局部邻域能量：

其中E(i,j)为近似子带在点(i,j)处的局部邻域能量，f(i,j)为该点在图像中的灰度值，ω₁为局部邻域大小。

通过局部邻域能量计算红外和可见光近似子带在该局部邻域窗口的匹配程度：

融合近似子带按照匹配程度的大小选择或者加权平均红外和可见光近似子带。如果匹配程度小于阈值λ，说明红外和可见光近似子带在该像素点的局部邻域处的空间特性有很大差别，因此融合近似子带在该点上的灰度值为局部领域能量较大的点的系数；如果匹配程度大于阈值λ，则说明匹配程度很高，融合近似子带在该像素点上将同时包含红外光和可见光近似子带在该像素点的信息，对红外和可见光的细节子带运用加权处理。权值大小为：

w_max＝1-w_min

最后融合近似子带选取为：

(1)如果M_A,B(i,j)≤λ，E_A(i,j)≥E_B(i,j)则融合近似子带在该点的灰度值为C_A(i,j)。

(2)如果M_A,B(i,j)≤λ，E_A(i,j)＜E_B(i,j)则融合近似子带在该点的灰度值为C_B(i,j)。

(3)如果M_A,B(i,j)＞λ，E_A(i,j)≥E_B(i,j)则融合近似子带在该点的灰度值为：

C_f(i,j)＝w_max×C_A(i,j)+w_min×C_B(i,j)

(4)如果M_A,B(i,j)＞λ，E_A(i,j)＜E_B(i,j)则融合近似子带在该点的灰度值为：

C_f(i,j)＝w_min×C_A(i,j)+w_max×C_B(i,j)

在上面的两个融合规则中，C_f(i,j)、C_A(i,j)和C_B(i,j)分别为融合后的图像、微光视频流数据信息和红外视频流数据信息近似子带在该点上的灰度值大小。

局部八阶相关系数作为确定融合细节子带系数的准则：

判别标准CF定义为：

其中A(m,n)、B(m,n)分别代表微光视频流数据信息和红外视频流数据信息细节子带在该点的值,μ_A和μ_B分别是微光视频流数据信息和红外视频流数据信息细节子带在局部邻域的平均值，X×Y为局部领域大小。判别标准CF_A,B用来衡量在局部领域区域内微光视频流数据信息和红外视频流数据信息细节子带的匹配程度。为了选择合适的方向细节子带，使用阈值Th作为标准。

(1)当CF_A,B≤Th时，说明微光视频流数据信息和红外视频流数据信息细节子带的匹配程度较低，因此，为了保留更多的细节信息，融合的方向细节子带为:

(2)当CF_A,B＞Th时，则说明微光视频流数据信息和红外视频流数据信息细节子带的匹配程度较高，在这种情况下，为了减少冗余信息，通过用选择最大绝对值来获得融合方向细节子带的值，融合的方向细节子带为：

A.当时，

B.当时，

最终融合图像为：

其中I_f为经过重构后的最终的融合图像，B_f为融合近似子带，D_f为融合细节子带。

可选的，所述虚实对齐包括：

1.在光机显示屏既定的坐标上设置十字图案；

2.在现实环境中设置标志物，供环境探测成像模块采集目标信息；

3.将光机上的十字图案与现实中的标志物对齐，进行图像采集；

4.重复步骤2，设置多个标志物的深度，然后重复步骤3，直至采集足够的点；

5.利用标定算法将各个坐标系的关系融合得到标定信息，并对双目光机做极线校准，联合标定信息得到标定结果；

6.在显示图像处理软件中应用上述标定结果，实现虚实对齐；

可选的，所述对所述协同业务数据信息进行处理，得到有人/无人协同业务显示图层信息，包括：

S41，利用所述数据通信模块，从所述视觉增强系统外部获取业务功能数据包；

S42，根据UDP和FTP协议，对所述业务功能数据包进行解析和数据提取，得到指控信息、地图文件信息、位置坐标信息、目标类型信息和视频流信息，并分发给软件处理进程；

S43，利用所述软件处理进程，对所述指控信息、地图文件信息、位置坐标信息、目标类型信息和视频流信息进行处理，得到有人/无人协同业务显示图层信息。

所述指控信息在显示画面通过滚动字幕形式显示，所述地图文件信息进行解析和渲染后，通过开窗的方式进行显示，支持缩放、平移、旋转等操作，所述位置坐标信息和所述目标类型信息采用直接在地图上标记的方式进行显示或导航，支持编辑和共享，所述无人影像设备视频流信息通过开窗的方式进行显示。

可选的，步骤S43包括：

1.获取经纬度坐标、方向和高度等信息，获取目标类型和属性信息；获取指控信息；获取视频流信息；

2.加载地图文件，根据步骤1中所获取的方位信息，在地图上相应位置加载目标信息，并显示对应的目标类型和属性；

3.在显示画面中进行指控信息的开窗排布；

4.在显示画面中进行所接引的视频流画面的开窗显示；

5.通过操作按键，在上述地图画面和视频流画面之间进行显示切换；

可选的，所述对所述方位数据信息和所述系统关键状态数据信息进行处理，得到用户界面图层信息，包括：

S71，利用所述中央计算处理模块，对所述方位数据信息和所述系统关键状态数据信息进行显示，得到数据显示方式；

S72，利用所述中央计算处理模块，对所述方位数据信息、所述系统关键状态数据信息和所述数据显示方式进行用户界面排版和渲染，获得用户界面图层信息。

可选的，S72包括：

1.通过方位感知模块，获取经纬度数据和航向数据；

2.通过系统监控进程，对系统各关键的功能模块进行状态监控；

3.经纬度数据通过数字方式在显示界面较易观察的位置进行呈现，航向数据通过数字罗盘的方式在显示界面较易观察的位置进行呈现；

4.系统各关键状态信息通过图标的方式在显示界面合适的位置进行呈现，图标能够根据实际模块状态至少区分显示正常与非正常；

可选的，所述数据显示方式包括：

S711，所述航向数据信息的数据显示方式为：以360°航向游标刻度的方式进行显示，并在地图上进行实时方向指示；

S712，所述Wi-Fi连接状态的数据显示方式为：以图标方式进行显示提示；

S713，所述系统时间的数据显示方式为：以数字时间方式进行显示；

S714，所述内嵌锂电池电量的数据显示方式为：以百分比方式通过电池图标进行实时剩余电量标识，并支持充电提示；

S715，所述图像显示模式的数据显示方式为：通过文本方式进行显示提示。

以上所描述的装置实施例仅是示意性的，其中作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施例的具体描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中,存储介质包括只读存储器(Read-Only Memory，ROM)、随机存储器(Random Access Memory，RAM)、可编程只读存储器(Programmable Read-only Memory，PROM)、可擦除可编程只读存储器(ErasableProgrammable Read Only Memory，EPROM)、一次可编程只读存储器(One-timeProgrammable Read-Only Memory，OTPROM)、电子抹除式可复写只读存储器(Electrically-Erasable Programmable Read-Only Memory，EEPROM)、只读光盘(CompactDisc Read-Only Memory，CD-ROM)或其他光盘存储器、磁盘存储器、磁带存储器、或者能够用于携带或存储数据的计算机可读的任何其他介质。

最后应说明的是：本发明实施例公开的一种视觉增强系统和方法所揭露的仅为本发明较佳实施例而已，仅用于说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解；其依然可以对前述各项实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或替换，并不使相应的技术方案的本质脱离本发明各项实施例技术方案的精神和范围。

Claims (4)

1.一种视觉增强方法，应用于一种视觉增强系统，其特征在于，所述系统包括：中央计算处理模块、增强现实光学模块、环境探测成像模块、方位感知模块、数据通信模块、操控模块、风镜模块和装配模块；

所述环境探测成像模块，用于进行现场环境影像采集；

所述方位感知模块，用于获取现场方位数据信息；

所述数据通信模块，用于与所述视觉增强系统外部进行数据交互；

所述操控模块，用于利用手动操作按键和旋钮对所述视觉增强系统进行功能控制；

所述中央计算处理模块，用于接收所述环境探测成像模块、所述方位感知模块、所述数据通信模块和所述操控模块的数据信息，并进行数据信息处理；

所述增强现实光学模块，用于接收所述中央计算处理模块的增强现实虚拟图像，进行所述增强现实虚拟图像的近眼显示；

所述风镜模块，用于进行所述增强现实光学模块和人脸的防护，所述增强现实光学模块置于所述风镜模块内部，所述风镜模块与人脸贴合；

所述装配模块，用于进行所述视觉增强系统的固定；

所述环境探测成像模块包括微光相机和红外相机；

所述微光相机用于在环境光低亮度情况下进行环境纹理灰度成像，得到微光视频流数据信息；

所述红外相机用于在环境光低亮度情况下进行环境热红外成像，得到红外视频流数据信息；

所述视觉增强系统的视觉增强方法为：

S1，利用所述环境探测成像模块进行现场环境影像采集，得到视频流数据信息；

所述视频流数据信息包括微光视频流数据信息和红外视频流数据信息；

S2，利用所述中央计算处理模块，对所述微光视频流数据信息和红外视频流数据信息进行多源传感图像融合处理，得到图像融合图层信息，包括：

S21，对所述微光视频流数据信息和红外视频流数据信息进行处理，得到关键目标信息；

S22，对所述微光相机和红外相机内部参数、所述关键目标信息在世界坐标系中的坐标值、预设的缩放平移矩阵和预设的缩放系数进行处理，得到超定方程组；

S23，对所述超定方程组进行求解，得到最小最优拟合解；所述最小最优拟合解构成标定校准参数；

S24，根据所述关键目标信息、所述超定方程组和所述标定校准参数，对所述微光视频流数据信息和红外视频流数据信息进行多源传感图像融合处理，得到图像融合图层信息，包括：

利用多尺度方向非局部均值滤波器对微光视频流数据信息进行处理，得到微光视频流数据信息近似子带和微光视频流数据信息细节子带；

利用多尺度方向非局部均值滤波器对红外视频流数据信息进行处理，得到红外视频流数据信息近似子带和红外视频流数据信息细节子带；

利用基于近似子带的融合方法，对微光视频流数据信息近似子带和红外视频流数据信息近似子带进行处理，得到第一融合信息；

利用局部八阶相关融合方法，对微光视频流数据信息细节子带和红外视频流数据信息细节子带进行处理，得到第二融合信息；

利用多尺度方向非局部均值滤波器反变换对第一融合信息和第二融合信息进行处理，得到合成影像画面；

S3，利用所述数据通信模块，从所述视觉增强系统外部获取协同业务数据信息；

S4，利用所述中央计算处理模块，对所述协同业务数据信息进行处理，得到有人/无人协同业务显示图层信息，包括：

S41，利用所述数据通信模块，从所述视觉增强系统外部获取业务功能数据包；

S42，根据UDP和FTP协议，对所述业务功能数据包进行解析和数据提取，得到指控信息、地图文件信息、位置坐标信息、目标类型信息和视频流信息，并分发给软件处理进程；

S43，利用所述软件处理进程，对所述指控信息、地图文件信息、位置坐标信息、目标类型信息和视频流信息进行处理，得到有人/无人协同业务显示图层信息；

S5，利用所述方位感知模块获取现场方位数据信息；所述现场方位数据信息包括经纬度数据信息、航向数据信息和海拔高度数据信息；

S6，利用所述中央计算处理模块获取系统关键状态数据信息；所述系统关键状态数据信息包括Wi-Fi连接状态、系统时间、内嵌锂电池电量和图像显示模式；

S7，利用所述中央计算处理模块，对所述现场方位数据信息和所述系统关键状态数据信息进行处理，得到用户界面图层信息，包括：

S71，利用所述中央计算处理模块，对所述方位数据信息和所述系统关键状态数据信息进行显示，得到数据显示方式；

所述数据显示方式包括：

S711，所述航向数据信息的数据显示方式为：以360°航向游标刻度的方式进行显示，并在地图上进行实时方向指示；

S712，所述Wi-Fi连接状态的数据显示方式为：以图标方式进行显示提示；

S713，所述系统时间的数据显示方式为：以数字时间方式进行显示；

S714，所述内嵌锂电池电量的数据显示方式为：以百分比方式通过电池图标进行实时剩余电量标识，并支持充电提示；

S715，所述图像显示模式的数据显示方式为：通过文本方式进行显示提示；

S72，利用所述中央计算处理模块，对所述方位数据信息、所述系统关键状态数据信息和所述数据显示方式进行用户界面排版和渲染，获得用户界面图层信息；

S8，利用所述中央计算处理模块，对所述图像融合图层信息、有人/无人协同业务显示图层信息和用户界面图层信息进行图层叠加融合处理，得到双目视觉增强图像；

所述双目视觉增强图像包括：所述用户界面图层信息位于相对人眼的近层，所述有人/无人协同业务显示图层信息位于相对人眼的中层，所述图像融合图层信息位于相对人眼的远层；

S9，利用所述增强现实光学模块，对所述双目视觉增强图像进行处理，得到增强现实虚拟图像；

S10，利用所述增强现实光学模块，将所述增强现实虚拟图像投射入人眼，完成近眼显示，实现视觉增强。

2.根据权利要求1所述视觉增强方法，其特征在于，所述增强现实光学模块包括图像源和光学投影成像单元；

所述图像源用于生成待投影的虚拟图像；

所述光学投影成像单元用于对所述待投影的虚拟图像投影，并在不遮挡现实的情况下，投射入人眼。

3.根据权利要求1所述视觉增强方法，其特征在于，所述方位感知模块包括地理位置定位单元、方向定位单元和高度定位单元；

所述地理位置定位单元用于获取经纬度数据信息；

所述方向定位单元用于获取当前航向数据信息；

所述高度定位单元用于获取海拔高度数据信息。

4.根据权利要求1所述视觉增强方法，其特征在于，所述装配模块包括绑带和挂钩，用于适配不同头盔进行所述视觉增强系统的固定。