CN117870458A - 一种多光谱融合昼夜瞄具 - Google Patents
一种多光谱融合昼夜瞄具 Download PDFInfo
- Publication number
- CN117870458A CN117870458A CN202311846019.3A CN202311846019A CN117870458A CN 117870458 A CN117870458 A CN 117870458A CN 202311846019 A CN202311846019 A CN 202311846019A CN 117870458 A CN117870458 A CN 117870458A
- Authority
- CN
- China
- Prior art keywords
- module
- multispectral
- image
- data
- interface
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000004927 fusion Effects 0.000 title claims abstract description 31
- 238000012545 processing Methods 0.000 claims abstract description 25
- 230000003993 interaction Effects 0.000 claims abstract description 24
- 238000000701 chemical imaging Methods 0.000 claims abstract description 21
- 238000003331 infrared imaging Methods 0.000 claims abstract description 18
- 238000012805 post-processing Methods 0.000 claims abstract description 4
- 238000007781 pre-processing Methods 0.000 claims description 9
- 230000003595 spectral effect Effects 0.000 claims description 9
- 230000005855 radiation Effects 0.000 claims description 8
- 230000006870 function Effects 0.000 claims description 7
- 238000000034 method Methods 0.000 claims description 7
- 238000003384 imaging method Methods 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 6
- 238000003702 image correction Methods 0.000 claims description 5
- 230000010365 information processing Effects 0.000 claims description 5
- 238000012790 confirmation Methods 0.000 claims description 4
- 238000000605 extraction Methods 0.000 claims description 4
- 238000009960 carding Methods 0.000 claims description 3
- 238000013075 data extraction Methods 0.000 claims description 3
- 238000009434 installation Methods 0.000 claims description 3
- 230000003321 amplification Effects 0.000 claims description 2
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 2
- 230000002060 circadian Effects 0.000 claims 3
- 238000001228 spectrum Methods 0.000 abstract description 10
- 238000005516 engineering process Methods 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 5
- 238000005070 sampling Methods 0.000 description 5
- 230000008901 benefit Effects 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 238000007499 fusion processing Methods 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 230000004075 alteration Effects 0.000 description 2
- 239000000306 component Substances 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 230000003111 delayed effect Effects 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 238000012952 Resampling Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000008358 core component Substances 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 239000000523 sample Substances 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Landscapes
- Image Processing (AREA)
Abstract
本发明公开了一种多光谱融合昼夜瞄具，包括多光谱成像模块、红外成像模块、目镜模块、接口模块、核心算法处理模块、人机交互模块、电源模块、缓冲模块；所述多光谱成像模块和红外成像模块将采集的图像数据送往接口模块，所述核心算法处理模块对接口模块接入的图像数据进行后处理，再由人机交互模块完成编码数据交互，最终通过目镜模块实时显示出来。本发明利用多光谱和红外融合技术，能快速探测复杂战场环境中多个光谱波段的光谱维度信息，发现典型目标及伪装目标，引导武器系统完成瞄准射击。
Description
技术领域
本发明属于图像技术领域，尤其涉及一种多光谱融合昼夜瞄具。
背景技术
目前新一代瞄准镜装置的研发均围绕核心成像器件、系统融合方案优化、AI训练样本、高容量数据库建立等各个方面开展，涌现出众多的瞄准镜形态。然而，现有昼夜瞄具系统的识别能力较为单一，不能较好的识别宽波段侦察中不易探测的伪装隐身目标，无法满足复杂环境条件下的作战需求。
发明内容
为解决上述问题，本发明的目的是提供一种多光谱融合昼夜瞄具，使原本在宽波段侦察中不易探测的伪装隐身目标在多光谱侦察中能被探测，对地面军事目标有很强的侦察威胁能力。
为实现上述目的，本发明采用如下技术方案：一种多光谱融合昼夜瞄具，包括多光谱成像模块、红外成像模块、目镜模块、接口模块、核心算法处理模块、人机交互模块、电源模块、缓冲模块；所述多光谱成像模块和红外成像模块将采集的图像数据送往接口模块，所述核心算法处理模块对接口模块接入的图像数据进行后处理，再由人机交互模块完成编码数据交互，最终通过目镜模块实时显示出来。
进一步地，所述多光谱成像模块和红外成像模块位于瞄具前端，所述目镜模块位于瞄具后端，所述接口模块、核心算法处理模块、人机交互模块位于瞄具内部，所述缓冲模块位于瞄具下部，所述电源模块位于瞄具上部。
进一步地，所述多光谱成像模块用于多光谱图像采集，完成光谱立方体数据的采集和预处理，并将标准格式数据送往接口模块；
所述红外成像模块用于红外热辐射图像采集及预处理，并将标准格式数据送往接口模块；
所述接口模块用于各类载荷模块接口的统一梳理，采用各个模块分配独立供电混合数据接口；便于内部走线和接口统一管理，接收数据还有一级数据缓冲可以方便衔接核心算法处理模块和各分模块之间功能；
所述核心算法处理模块对接口模块接入的多光谱图像数据和红外热辐射图像数据进行图像融合，还包括光谱数据提取、重构、标定、敌我识别处理、以及基于多光谱和红外特征的伪装识别及数据库比对提取；
所述人机交互模块通过与核心处理器完成编码数据交互，结合投屏在OLED上的UI界面对各类预制参数调整，包括显示模式的选择、无极放大倍数、显示屏亮度的调整和选择、装表范围的调整与确认；
所述电源模块对电池的安装和工作提供支撑、保护和管理，确保电池在射击过程中稳固可靠，能够持续为信息处理组件提供能源；
所述目镜模块完成实时显示经系统处理的用户级图像信息，以及对OLED图像的变倍，供操作人员观察；
所述缓冲模块将多光谱昼夜融合瞄具总体结构部分与枪械皮卡导轨进行紧固连接，避免冲击过程中对瞄具内的成像组件造成损伤。
进一步地，所述多光谱成像模块的光谱立方体数据预处理，包括图像去噪、图像校正、图像复原、图像配准、图像拼接。
本发明利用多光谱和红外融合技术，能快速探测复杂战场环境中多个光谱波段的光谱维度信息，发现典型目标及伪装目标，引导武器系统完成瞄准射击；与传统瞄具相比，具有如下优点：
1、多光谱成像模块的传感器和红外成像模块的传感器得到同一个场景的相同景象，多光谱图像经图像去噪、图像校正、图像复原、图像配准、图像拼接及图像融合，融合后从图像提取角、纹理、边缘、线、相似的景深区域、相似的亮度区域等信息处理的典型特征，由于信息和决策分析是密切相关的，图像融合的结果，可以提供必要的决策分析的信息。
2、本发明利用多光谱和红外融合技术，搭建了用于实现融合的光机电一体化平台。
3、本发明提出的多光谱与红外图像的融合方式，在光谱信息接受方面较传统单一的红外瞄具有优势；多光谱与红外图像融合后不仅可以对视场内红外图像感知，而且加入了红外瞄具难以探查的多光谱信息，目标、伪目标和背景之间的光谱特征具有差异，在各个光谱通道具有不同光谱亮度，解决了对夜间伪装军事目标难以发现的痛点。
4、多光谱融合瞄具具有丰富的物质光谱特性，能拓宽可接受的光谱波段，可以从多个维度对复杂的环境进行观察。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单的介绍。
图1为本发明的系统框图；
图2为本发明各组成部件的结构示意图；
图3为本发明的系统原理图；
图4为本发明的工作流程图；
图5为多光谱图像数据和红外热辐射图像数据的融合处理框架图。
具体实施方式
下面结合附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1-4所示，本实施例的一种多光谱融合昼夜瞄具，包括多光谱成像模块、红外成像模块、目镜模块、接口模块、核心算法处理模块、人机交互模块、电源模块、缓冲模块；多光谱成像模块和红外成像模块将采集的图像数据送往接口模块，核心算法处理模块对接口模块接入的图像数据进行后处理，再由人机交互模块完成编码数据交互，最终通过目镜模块实时显示出来。
如图2所示，多光谱成像模块和红外成像模块位于瞄具前端，目镜模块位于瞄具后端，接口模块、核心算法处理模块、人机交互模块位于瞄具内部，缓冲模块位于瞄具下部，电源模块位于瞄具上部。
本实施例中的多光谱成像模块用于多光谱图像采集，完成光谱立方体数据的采集和预处理，并将标准格式数据送往接口模块；多光谱成像模块的光谱立方体数据预处理，包括图像去噪、图像校正、图像复原、图像配准、图像拼接；具体地，多光谱成像模块选用了快照式多光谱探测器QS-CMP-8-003开展设计，物镜成像模块根据精准计算，选用焦距25mm，相对孔径较大的光学系统。
本实施例中的红外成像模块用于红外热辐射图像采集及预处理，并将标准格式数据送往接口模块；具体地，红外成像模块通过调研对比，结合多方面，选用机芯成熟度较高的方案；物镜设计根据红外镜组的技术指标，选择合适的初始结构，用ZEMAX光学设计软件进行多次优化迭代和调整，得到一个满足指标要求的光学系统。
本实施例中的接口模块用于各类载荷模块接口的统一梳理，采用各个模块分配独立供电混合数据接口，然后统一与核心处理板连接以及电源模块连接；便于内部走线和接口统一管理，接收数据还有一级数据缓冲可以方便衔接核心算法处理模块和各分模块之间功能。
本实施例中的核心板算法处理模块的硬件控制平台CPU使用海思的Hi3559A芯片；核心算法处理模块对接口模块接入的多光谱图像数据和红外热辐射图像数据进行图像融合，还包括光谱数据提取、重构、标定、敌我识别处理、以及基于多光谱和红外特征的伪装识别及数据库比对提取。
如图5所示，本实施例中多光谱图像数据和红外热辐射图像数据的图像融合处理采用3阶拉普拉斯融合算法， VIS_G1为原图VIS_GO的高斯滤波图像，1阶拉普拉斯滤波图像VIS_L1=VIS_GO-VIS_G1,VIS_G1_2为VIS_G1下采样图像，且下采样去掉偶数行和偶数列；VIS_L2=VIS_G1_2-VIS_G2,PIX_R1为VIS_L1与IR_L1的融合图，最终的融合图为PIX_R3上采样+PIX_R2再上采样+PIX_R1，上采样为采用双线性插值法补充缺少的行和列；其中PIX_R1要延时到PIX_R2上采样结束，而PIX_R2 要延时到PIX_R3上采样结束。以3阶为例流程总时间，采用5*5高斯滤波算法，不采用DDR,G1需要5行，G2需要10行，G3需要20行，上采样需要2行，一共延时39行。需要的存储资源，分辨率为1280*1024,G1需要4*2*2*8K,G2需要4*1*2*8K,G3需要4*0.5*2*8K,R3上采样需要2*0.5*8K,R2上采样需要2*1*8K,PIX_R1数据保存延时需要34*2*8K,PIX_R2数据保存延时22*2*8K, 总存储资源需求为1144K。随迭代阶数增加PIX_R1存储需要的资源成倍增加。
本实施例中的人机交互模块通过与核心处理器完成编码数据交互，结合投屏在OLED上的UI界面对各类预制参数调整，包括显示模式的选择、无极放大倍数、显示屏亮度的调整和选择、装表范围的调整与确认；具体地，人机交互模块采用按键与旋钮组合控制单元来进行功能实现，其中包括系统开关机及功能菜单的选择、确认操作。通过按键长按5s区分按键的操作时开关机操作还是对功能的选择/确认操作。
本实施例中的电源模块对电池的安装和工作提供支撑、保护和管理，确保电池在射击过程中稳固可靠，能够持续为信息处理组件提供能源；具体地，电源模块选用2节18650电池串联供电，同时系统采取功耗管理设计，为瞄具提供稳定、可靠电源输出，并保证系统的使用时间。
本实施例中的目镜模块完成实时显示经系统处理的用户级图像信息，以及对OLED图像的变倍，供操作人员观察；具体地，目镜成像模块中的核心组件选用酷睿特OLED显示器，目镜系统根据长出瞳目镜的像差特点，由几何光学理论计算了初始结构，并基于像差理论，通过ZEMAX设计软件进行多次迭代和优化后，得到一个满足指标要求的光学系统。
本实施例中的缓冲模块将多光谱昼夜融合瞄具总体结构部分与枪械皮卡导轨进行紧固连接，避免冲击过程中对瞄具内的成像组件造成损伤。
工作原理：多光谱成像模块采集宽波段侦察中不易探测的伪装隐身目标等多光谱视频数据，并对其进行图像去噪、图像校正、图像复原、图像配准、图像拼接等预处理，再将经过预处理的多光谱视频传送至核心板算法处理模块；红外成像模块同步将采集的红外视频数据进行预处理后，传送至核心板算法处理模块；核心板算法处理模块将多光谱视频与红外视频进行图像融合处理，融合后进行图像提取角、纹理、边缘、线、相似的景深区域、相似的亮度区域等信息处理，然后将处理的信息传送至人机交互模块完成编码数据交互，结合投屏在OLED上的UI界面对各类预制参数调整，最终通过目镜模块实时显示出来。
本发明的多光谱融合昼夜瞄具大幅提升复杂战场环境下目标探测能力和对视场内伪装目标的高概率识别，主要应用于有昼夜观测需求的平台上，具有系统小型化、轻量化和低功耗，一定程度上能满足对于复杂环境条件下的作战需求。
Claims (4)
1.一种多光谱融合昼夜瞄具，其特征在于，包括多光谱成像模块、红外成像模块、目镜模块、接口模块、核心算法处理模块、人机交互模块、电源模块、缓冲模块；所述多光谱成像模块和红外成像模块将采集的图像数据送往接口模块，所述核心算法处理模块对接口模块接入的图像数据进行后处理，再由人机交互模块完成编码数据交互，最终通过目镜模块实时显示出来。
2.如权利要求1所述的多光谱融合昼夜瞄具，其特征在于，所述多光谱成像模块和红外成像模块位于瞄具前端，所述目镜模块位于瞄具后端，所述接口模块、核心算法处理模块、人机交互模块位于瞄具内部，所述缓冲模块位于瞄具下部，所述电源模块位于瞄具上部。
3.如权利要求2所述的多光谱融合昼夜瞄具，其特征在于，所述多光谱成像模块用于多光谱图像采集，完成光谱立方体数据的采集和预处理，并将标准格式数据送往接口模块；
所述红外成像模块用于红外热辐射图像采集及预处理，并将标准格式数据送往接口模块；
所述接口模块用于各类载荷模块接口的统一梳理，采用各个模块分配独立供电混合数据接口；便于内部走线和接口统一管理，接收数据还有一级数据缓冲可以方便衔接核心算法处理模块和各分模块之间功能；
所述核心算法处理模块对接口模块接入的多光谱图像数据和红外热辐射图像数据进行图像融合，还包括光谱数据提取、重构、标定、敌我识别处理、以及基于多光谱和红外特征的伪装识别及数据库比对提取；
所述人机交互模块通过与核心处理器完成编码数据交互，结合投屏在OLED上的UI界面对各类预制参数调整，包括显示模式的选择、无极放大倍数、显示屏亮度的调整和选择、装表范围的调整与确认；
所述电源模块对电池的安装和工作提供支撑、保护和管理，确保电池在射击过程中稳固可靠，能够持续为信息处理组件提供能源；
所述目镜模块完成实时显示经系统处理的用户级图像信息，以及对OLED图像的变倍，供操作人员观察；
所述缓冲模块将多光谱昼夜融合瞄具总体结构部分与枪械皮卡导轨进行紧固连接，避免冲击过程中对瞄具内的成像组件造成损伤。
4.如权利要求3所述的多光谱融合昼夜瞄具，其特征在于，所述多光谱成像模块的光谱立方体数据预处理，包括图像去噪、图像校正、图像复原、图像配准、图像拼接。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311846019.3A CN117870458A (zh) | 2023-12-29 | 2023-12-29 | 一种多光谱融合昼夜瞄具 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311846019.3A CN117870458A (zh) | 2023-12-29 | 2023-12-29 | 一种多光谱融合昼夜瞄具 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117870458A true CN117870458A (zh) | 2024-04-12 |
Family
ID=90596232
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311846019.3A Pending CN117870458A (zh) | 2023-12-29 | 2023-12-29 | 一种多光谱融合昼夜瞄具 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117870458A (zh) |
-
2023
- 2023-12-29 CN CN202311846019.3A patent/CN117870458A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5357902B2 (ja) | 撮像装置向き検出装置および当該装置を備える移動体 | |
| CN106595869B (zh) | 一种高分辨率制冷型红外热像仪 | |
| CN102982518A (zh) | 红外与可见光动态图像的融合方法及装置 | |
| US8908054B1 (en) | Optics apparatus for hands-free focus | |
| CN103390281A (zh) | 一种双光谱夜视仪车载系统及双光谱融合设计方法 | |
| CN105333771A (zh) | 视觉伪装与隐身设备 | |
| CN104601953A (zh) | 一种视频图像融合处理系统 | |
| CN102997996A (zh) | 短波红外昼夜远距离多光谱成像仪及成像方法 | |
| CN112672054B (zh) | 对焦方法、装置及电子设备 | |
| CN106023073A (zh) | 一种图像拼接系统 | |
| CN113141442B (zh) | 一种摄像机及其补光方法 | |
| CN109632092A (zh) | 一种基于空间光场的亮度测试系统及方法 | |
| CN112629519A (zh) | 一种目标定位手持观测仪及其导航方法 | |
| CN108401551B (zh) | 双镜头微光立体全景成像装置及其超大视场测距方法 | |
| Toet et al. | Augmenting full colour-fused multi-band night vision imagery with synthetic imagery in real-time | |
| CN205940283U (zh) | 一种手持式短波红外单目和双目观瞄装置 | |
| CN207148422U (zh) | 一种微光夜视和长波红外夜视图像融合光学系统 | |
| CN117870458A (zh) | 一种多光谱融合昼夜瞄具 | |
| CN214842764U (zh) | 一种近距离复杂环境条件下目标快速瞄准捕获装置 | |
| CN206563533U (zh) | 电子瞄准镜 | |
| CN209265070U (zh) | 一种夜视观察仪光学系统 | |
| CN113606993A (zh) | 一种反伪装智能光电跟踪瞄准镜 | |
| CN113194230A (zh) | 一种用于昼夜观察的长焦距微光和红外融合观察系统 | |
| CN205897964U (zh) | 一种弹道修正的红外热成像枪瞄仪 | |
| CN111273134A (zh) | 紫外与短波红外波段融合的电晕监测装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |