CN116156144A - 一种面向高光谱信息采集传输的一体化系统和方法 - Google Patents
一种面向高光谱信息采集传输的一体化系统和方法 Download PDFInfo
- Publication number
- CN116156144A CN116156144A CN202310410568.XA CN202310410568A CN116156144A CN 116156144 A CN116156144 A CN 116156144A CN 202310410568 A CN202310410568 A CN 202310410568A CN 116156144 A CN116156144 A CN 116156144A
- Authority
- CN
- China
- Prior art keywords
- module
- image
- transmission
- layer
- optical
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000005540 biological transmission Effects 0.000 title claims abstract description 81
- 238000000034 method Methods 0.000 title claims abstract description 19
- 230000003287 optical effect Effects 0.000 claims abstract description 60
- 238000003384 imaging method Methods 0.000 claims abstract description 55
- 230000009466 transformation Effects 0.000 claims abstract description 34
- 238000001228 spectrum Methods 0.000 claims abstract description 21
- 239000013307 optical fiber Substances 0.000 claims description 26
- 230000004913 activation Effects 0.000 claims description 19
- 238000005070 sampling Methods 0.000 claims description 19
- 230000006835 compression Effects 0.000 claims description 18
- 238000007906 compression Methods 0.000 claims description 18
- 230000009977 dual effect Effects 0.000 claims description 17
- 230000006837 decompression Effects 0.000 claims description 6
- 238000011176 pooling Methods 0.000 claims description 6
- 238000012546 transfer Methods 0.000 claims description 3
- 230000006870 function Effects 0.000 description 14
- 238000010586 diagram Methods 0.000 description 10
- 238000004891 communication Methods 0.000 description 9
- 230000008569 process Effects 0.000 description 8
- 238000000701 chemical imaging Methods 0.000 description 5
- 238000013527 convolutional neural network Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 239000000463 material Substances 0.000 description 5
- 230000003595 spectral effect Effects 0.000 description 5
- 239000006185 dispersion Substances 0.000 description 4
- 238000011084 recovery Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 238000007792 addition Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000001427 coherent effect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000036039 immunity Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 238000012634 optical imaging Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/28—Investigating the spectrum
- G01J3/2823—Imaging spectrometer
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
- G06T9/002—Image coding using neural networks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/194—Transmission of image signals
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
- Y02A40/10—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in agriculture
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- Signal Processing (AREA)
- Spectroscopy & Molecular Physics (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Theoretical Computer Science (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本发明提供一种面向高光谱信息采集传输的一体化系统和方法,所述系统包括:图像采集模块,所述图像采集模块包括光传递模块和成像模块,所述光传递模块分束器、多个透镜和掩码板,所述成像模块包括相机,所述分束器和多个透镜用于对成像光线进行传递,所述掩码板用于对不同波段的成像光线进行编码,所述相机采集成像光线生成灰度图像;编码模块,对所述输入图像进行双残差变换,并进行平铺处理,得到一维码流;光传输模块,所述光传输模块包括将一维码流转化为光信号,并传输至解码模块;解码模块,所述解码模块包括光谱信息重建网络模块,所述光谱信息重建网络模块将图像重建为高光谱图像。
Description
技术领域
本发明涉及光成像通信技术领域,尤其涉及一种面向高光谱信息采集传输的一体化系统和方法。
背景技术
高光谱图像简而言之就是三维立体图像,不同于黑白图片是单通道,彩色图片RGB三通道,高光谱图像的通道数是由波段数决定的,图像的长宽与正常图片相同,但包含了几十甚至上百个波段的信息。比如对一个物体进行高光谱成像,使用200*200像素并且选择300个波段,那么最终成像结果是200*200*300的三维立体图像,随着对高光谱图像信息获取需求的急速增长,高光谱成像技术在过去几十年中迅速发展。
但是由于高光谱图像巨大的信息量,对于已有的数字通信系统的传递效率较低,现有的数字通信系统传递效率较低,无法支持实时传输。
发明内容
鉴于此,本发明的实施例提供了一种面向高光谱信息采集传输的一体化系统,以消除或改善现有技术中存在的一个或更多个缺陷。
本发明的一个方面提供了一种面向高光谱信息采集传输的一体化系统,所述系统包括:
图像采集模块,所述图像采集模块包括光传递模块和成像模块,所述光传递模块分束器、多个透镜和掩码板,所述成像模块包括相机,所述分束器和多个透镜用于对成像光线进行传递,所述掩码板用于对不同波段的成像光线进行编码,所述相机采集成像光线生成灰度图像;
编码模块,所述编码模块包括双残差特征变换网络模块和特征平铺模块,所述双残差特征变换网络模块用于接收输入图像,并对所述输入图像进行双残差变换,所述特征平铺模块用于对接收到的图像进行平铺处理,得到一维码流;
光传输模块,所述光传输模块包括将一维码流转化为光信号,并传输至解码模块;
解码模块,所述解码模块包括光谱信息重建网络模块,所述光谱信息重建网络模块包括两个重建单元和一个上采样层,所述上采样层的输入和输出端各连接一个重建单元,所述重建单元由顺序连接的卷积层和激活函数层构成,所述光谱信息重建网络模块将图像重建为高光谱图像。
采用上述方案,本方案首先通过所述掩码板对不同波段的成像光线进行编码压缩,使相机采集到的是压缩灰度图像,将灰度图像通过编码模块进行编码,并通过光传输模块传输至解码模块,所述解码模块通过光谱信息重建网络模块将图像恢复为高光谱图像,本方案在传输过程中仅需要对灰度图像进行传输,并可以将图像恢复为高光谱图像,在保证图像质量的前提下提高了传递效率,保证图像的实时传输。
在本发明的一些实施方式中,所述双残差特征变换网络模块用于接收输入图像,并对所述输入图像进行双残差变换的步骤中,将所述相机采集成像光线生成的灰度图像和掩码板对应的掩码图像组合为输入图像。
在本发明的一些实施方式中,所述灰度图像与掩码图像的像素格一一对应,在将所述相机采集成像光线生成的灰度图像和掩码板对应的掩码图像组合为输入图像的步骤中,将灰度图像的像素格与掩码图像中对应的像素格的像素格一一对应相乘,并将得到的图像复制预设个数次,得到预设个数个通道的输入图像。
在本发明的一些实施方式中,所述光传递模块包括顺序设置的第一透镜、分束器、第二透镜、棱镜、第三透镜和掩码板,所述成像光线通过第一透镜、分束器、第二透镜、棱镜和第三透镜到达掩码板,再从掩码板反射通过第三透镜、棱镜、第二透镜和分束器,由所述分束器将成像光线传递到成像模块。
在本发明的一些实施方式中,所述编码模块包括顺序设置的双残差特征变换网络模块、特征压缩编码层模块、特征抗噪增强层模块和特征平铺模块。
在本发明的一些实施方式中,所述双残差特征变换网络模块的结构包括下采样层和多个残差单元,每个残差单元均有顺序设置的卷积层和激活函数层组成,所述下采样层连接于最后一个残差单元之前;
所述特征压缩编码层模块的结构为一个卷积层;
所述特征抗噪增强层模块包括一个最大池化层、两个全连接层和两个激活函数层,所述特征抗噪增强层模块的结构为顺序设置的最大池化层、全连接层、激活函数层、全连接层和激活函数层;
所述特征平铺模块将接入的多通道图像中每个通道的图像均平铺为一段一维码流。
在本发明的一些实施方式中,所述解码模块包括顺序设置的二维排布模块、特征解压缩层模块和光谱信息重建网络模块。
在本发明的一些实施方式中,所述二维排布模块用于将接入的每段一维码流均重建为一个通道的图像,并将多段一维码流重建为多通道图像;
所述特征压缩编码层模块的结构为一个卷积层。
在本发明的一些实施方式中,所述光传输模块包括发射端模块、光链路模块和接收端模块;
所述发射端模块包括任意波形生成器、放大器和马赫曾德尔调制器,所述任意波形生成器输入端接入一维码流,所述任意波形生成器的输出端与放大器的输入端相连接,所述放大器的输出端与马赫曾德尔调制器的输入端相连接,所述马赫曾德尔调制器的输出端与光链路模块相连接,向光链路模块输出一维码流所对应的光信号;
所述光链路模块包括传输光纤和光纤放大器,所述光纤放大器的输入端和输出端均连接有传输光纤,处于所述光纤放大器的输入端的传输光纤与发射端模块相连接,处于所述光纤放大器的输出端的传输光纤与接收端模块相连接;
所述接收端模块包括光电探测器和数字采样示波器,所述光电探测器的输入端接入光信号,所述光电探测器的输出端与数字采样示波器的输入端相连接,所述光电探测器用于将光信号转化为电信号,所述数字采样示波器用于采集电信号对应的一维码流。
在本发明的一些实施方式中,所述发射端模块还包括与马赫曾德尔调制器相连接的激光器和偏置控制器;
所述激光器用于向马赫曾德尔调制器输出光载波;
所述偏置控制器用于控制功率。
本发明的另一个方面提供了一种应用上述系统的面向高光谱信息采集传输的一体化方法,所述方法的步骤包括:
通过图像采集模块接入所述成像光线,所述图像采集模块包括光传递模块和成像模块,通过所述光传递模块的分束器、多个透镜和掩码板对成像光线进行传递,所述掩码板用于对不同波段的成像光线进行编码,并通过所述相机采集成像光线生成灰度图像;
编码模块接入灰度图像,通过所述编码模块的双残差特征变换网络模块对输入图像进行双残差变换,再基于所述编码模块的特征平铺模块用于对接收到的图像进行平铺处理,得到一维码流;
将所述一维码流输入到光传输模块,所述光传输模块将编码字符串转化为光信号传输至解码模块;
所述解码模块接收光传输模块传递的光信号,基于所述解码模块的光谱信息重建网络模块重建高光谱图像,所述光谱信息重建网络模块包括两个重建单元和一个上采样层,所述上采样层的输入和输出端各连接一个重建单元,所述重建单元由顺序连接的卷积层和激活函数层构成。
本发明的附加优点、目的,以及特征将在下面的描述中将部分地加以阐述,且将对于本领域普通技术人员在研究下文后部分地变得明显,或者可以根据本发明的实践而获知。本发明的目的和其它优点可以通过在说明书以及附图中具体指出并获得。
本领域技术人员将会理解的是,能够用本发明实现的目的和优点不限于以上具体所述,并且根据以下详细说明将更清楚地理解本发明能够实现的上述和其他目的。
附图说明
此处所说明的附图用来提供对本发明的进一步理解,构成本申请的一部分,并不构成对本发明的限定。
图1为本发明面向高光谱信息采集传输的一体化系统一种实施方式的示意图;
图2为本发明面向高光谱信息采集传输的一体化系统另一种实施方式的示意图;
图3为本发明面向高光谱信息采集传输的一体化系统的结构示意图;
图4为本发明中图像采集模块的结构示意图;
图5为本发明中编码模块的结构示意图;
图6为本发明中双残差特征变换网络模块的结构示意图;
图7为本发明中特征压缩编码层模块或特征解压缩层模块的结构示意图;
图8为本发明中特征抗噪增强层模块的结构示意图;
图9为本发明中光谱信息重建网络模块的结构示意图;
图10为本发明中光传输模块的结构示意图;
图11为实验例的实验结果信噪比(SNR)对比示意图;
图12为实验例的实验结果光信噪比(OSNR)对比示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白,下面结合实施方式和附图,对本发明做进一步详细说明。在此,本发明的示意性实施方式及其说明用于解释本发明,但并不作为对本发明的限定。
在此,还需要说明的是,为了避免因不必要的细节而模糊了本发明,在附图中仅仅示出了与根据本发明的方案密切相关的结构和/或处理步骤,而省略了与本发明关系不大的其他细节。
应该强调,术语“包括/包含”在本文使用时指特征、要素、步骤或组件的存在,但并不排除一个或更多个其它特征、要素、步骤或组件的存在或附加。
在此,还需要说明的是,如果没有特殊说明,术语“连接”在本文不仅可以指直接连接,也可以表示存在中间物的间接连接。
在下文中,将参考附图描述本发明的实施例。在附图中,相同的附图标记代表相同或类似的部件,或者相同或类似的步骤。
为解决以上问题,如图1所示,本发明提出一种面向高光谱信息采集传输的一体化系统,所述系统包括:
本发明的一个方面提供了一种面向高光谱信息采集传输的一体化系统,所述系统包括:
图像采集模块100,所述图像采集模块包括光传递模块110和成像模块120,所述光传递模块分束器、多个透镜和掩码板,所述成像模块包括相机,所述分束器和多个透镜用于对成像光线进行传递,所述掩码板用于对不同波段的成像光线进行编码,所述相机采集成像光线生成灰度图像;
所述掩码板基于掩码图像构建,所述掩码图像中像素格的标记为0或1,0或1在每个位置的像素格均随机标记,若所述掩码图像中像素格的标记为0则在所述掩码板的对应位置为完全透射材质,若所述掩码图像中像素格的标记为1则在所述掩码板的对应位置为完全反射材质。
所述完全投射材质可以为玻璃,所述完全反射材质可以为玻璃镜面。
本方案的掩码板根据压缩感知的原理,该设计能够更好地恢复高光谱信息。当物体的光照射到掩码上时,“0”的部分完全透射过去,“1”的部分完全反射,从而实现对物体信息的空间编码。
在具体实施过程中,第一个透镜对场景进行成像,分束器负责改变光路,分束器后的两个透镜形成4-f系统,负责物像的传输。色散棱镜可以使不同波长的光分开,掩码板能够对不同波段的信息进行编码,同时可以改变光路。经过反射的光再次经过分束器,在收集端输出单张采集的灰度图像。
4-f系统是一种光学系统。当输入两束相干的偏振光时,经过光学装置、余弦光栅或变换平面等,使输入的光在屏幕上产生衍射谱精密的横向移动余弦光栅,可以连续的改变两束光的衍射级数的相位差,达到衍射光强相减或相加的目的。
如图2所示,编码模块200,所述编码模块包括双残差特征变换网络模块210和特征平铺模块240,所述双残差特征变换网络模块用于接收输入图像,并对所述输入图像进行双残差变换,所述特征平铺模块用于对接收到的图像进行平铺处理,得到一维码流;
在具体实施过程中,所述双残差特征变换网络模块中设置有两个残差连接,可以训练更加深层的网络。若所述双残差特征变换网络模块网络输入图像为C×H×W,则输出为2C×H/2×W/2。双残差特征变换网络由三个双残差连接模块组成,其中C、H和W分别表示输入图像的通道数,以及输入图像每个通道图像的行数和列数。
光传输模块300,所述光传输模块包括将一维码流转化为光信号,并传输至解码模块;
如图2和9所示,解码模块400,所述解码模块包括光谱信息重建网络模块430,所述光谱信息重建网络模块包括两个重建单元和一个上采样层,所述上采样层的输入和输出端各连接一个重建单元,所述重建单元由顺序连接的卷积层和激活函数层构成,所述光谱信息重建网络模块将图像重建为高光谱图像。
在具体实施过程中,采集的灰度图像在编码模块利用深度卷积神经网络进行编码,生成信息量大幅压缩的一维信号,该信号经过无线信道或光纤信道进行传输后,在接收端经过解码模块的卷积神经网络进行高光谱图像的重建恢复。
采用上述方案,本方案首先通过所述掩码板对不同波段的成像光线进行编码压缩,使相机采集到的是压缩灰度图像,将灰度图像通过编码模块进行编码,并通过光传输模块传输至解码模块,所述解码模块通过光谱信息重建网络模块将图像恢复为高光谱图像,本方案在传输过程中仅需要对灰度图像进行传输,并可以将图像恢复为高光谱图像,在保证图像质量的前提下提高了传递效率,保证图像的实时传输。
在本发明的一些实施方式中,所述双残差特征变换网络模块用于接收输入图像,并对所述输入图像进行双残差变换的步骤中,将所述相机采集成像光线生成的灰度图像和掩码板对应的掩码图像组合为输入图像。
在本发明的一些实施方式中,所述灰度图像与掩码图像的像素格一一对应,在将所述相机采集成像光线生成的灰度图像和掩码板对应的掩码图像组合为输入图像的步骤中,将灰度图像的像素格与掩码图像中对应的像素格的像素格一一对应相乘,并将得到的图像复制预设个数次,得到预设个数个通道的输入图像。
如图5所示,在具体实施过程中,所拍摄的灰度图像和掩码图像的空间大小相同,设为H×W。进入编码网络之前,首先用掩码和所拍摄图片对应空间位置相乘,再复制C份,其中C为系统的高光谱波段数。生成初始化的数据,大小为H×W×C。此操作是为了将掩码信息融入到神经网络的训练当中,为了提升接收端高光谱重建的质量,同时能够加快神经网络的收敛速度。
如图5所示,在具体实施过程中,所述相机采集成像光线生成的灰度图像为一张大小为1×256×256的灰度图片,利用该灰度图片中每个位置的像素值和256×256的掩码图像中每个位置的参数,即0或1,相乘并重复预设个数C次生成大小为C×256×256的输入图像,其中C为高光谱图像的波段数目,由硬件参数决定。
如图3或4所示,在本发明的一些实施方式中,所述光传递模块包括顺序设置的第一透镜、分束器、第二透镜、棱镜、第三透镜和掩码板,所述成像光线通过第一透镜、分束器、第二透镜、棱镜和第三透镜到达掩码板,再从掩码板反射通过第三透镜、棱镜、第二透镜和分束器,由所述分束器将成像光线传递到成像模块。
如图3或4所示,所拍摄物体经过第一个透镜之后在透镜1和透镜2之间成像,所成像处于透镜2焦点处。物像经过透镜2转化为平行光,并经过棱镜实现色散。平行光经过透镜3,再次成像在透镜3焦点处,该处放置随机“0”、“1”分布的掩码板实现对物像进行调制。由于掩码板为反射材料,被调制的物像被反射经过透镜3,再次经过棱镜后色散被抵消。经过透镜2之后,在透镜2焦点上再次成像,此时的光被分束器反射到相机的接收路径上,且相机处于透镜2的焦点处。相机接收到一张被调制的灰度图像。
在本发明的一些实施方式中,所述编码模块包括顺序设置的双残差特征变换网络模块210、特征压缩编码层模块220、特征抗噪增强层模块230和特征平铺模块240。
如图6所示,在本发明的一些实施方式中,所述双残差特征变换网络模块的结构包括下采样层和多个残差单元,每个残差单元均有顺序设置的卷积层和激活函数层组成,所述下采样层连接于最后一个残差单元之前。
如图5所示,在具体实施过程中,所述输入图像经过双残差特征变换网络模块生成256个大小为32×32的特征图,特征图经过压缩编码层,数目变为α,参数α用于控制数据的压缩率。之后特征图经过特征抗噪增强层模块来抵抗通信系统中的噪声。最后,所述特征平铺模块将接收到的多通道图像平铺生成一维码流,进入所述光传输模块进行传输。
如图7所示,所述特征压缩编码层模块的结构为一个卷积层;
如图8所示,所述特征抗噪增强层模块包括一个最大池化层、两个全连接层和两个激活函数层,所述特征抗噪增强层模块的结构为顺序设置的最大池化层、全连接层、激活函数层、全连接层和激活函数层;
如图8所示,所述特征抗噪增强层模块若输入的图像大小为C×H×W,分支会对输入做最大池化,生成长度为C的向量。两个全连接层分别有2C、C个神经元。该向量经过两个全连接层和激活函数,生成长度为C的权重向量。该向量与输入特征逐通道相乘,生成增强的特征,其大小仍为C×H×W。
所述特征平铺模块将接入的多通道图像中每个通道的图像均平铺为一段一维码流。
如图2所示,在本发明的一些实施方式中,所述解码模块包括顺序设置的二维排布模块410、特征解压缩层模块420和光谱信息重建网络模块430。
在本发明的一些实施方式中,所述二维排布模块用于将接入的每段一维码流均重建为一个通道的图像,并将多段一维码流重建为多通道图像;
所述特征压缩编码层模块的结构为一个卷积层。
如图5所示,在具体实施过程中,特征压缩编码层模块和特征解压缩层模块均为一个卷积层。如果为特征压缩编码层模块,输入为C×H×W,则输出为α×H×W,其中α由压缩率决定。同时在所述解码模块,特征解压缩层模块输入为α×H×W,输出为C×H×W。
在具体实施过程中,所述解码模块在接收到一维码流之后,通过二维排布模块将其重新排布成二维特征图,再经过特征压缩编码层模块,生成256张尺寸为32×32的特征图。这些特征图经过光谱信息重建网络模块,最终输出大小为C×256×256重建高光谱图像。
如图10所示,在本发明的一些实施方式中,所述光传输模块包括发射端模块、光链路模块和接收端模块;
所述发射端模块包括任意波形生成器、放大器和马赫曾德尔调制器,所述任意波形生成器输入端接入一维码流,所述任意波形生成器的输出端与放大器的输入端相连接,所述放大器的输出端与马赫曾德尔调制器的输入端相连接,所述马赫曾德尔调制器的输出端与光链路模块相连接,向光链路模块输出一维码流所对应的光信号;
所述光链路模块包括传输光纤和光纤放大器,所述光纤放大器的输入端和输出端均连接有传输光纤,处于所述光纤放大器的输入端的传输光纤与发射端模块相连接,处于所述光纤放大器的输出端的传输光纤与接收端模块相连接;
所述接收端模块包括光电探测器和数字采样示波器,所述光电探测器的输入端接入光信号,所述光电探测器的输出端与数字采样示波器的输入端相连接,所述光电探测器用于将光信号转化为电信号,所述数字采样示波器用于采集电信号对应的一维码流。
在本发明的一些实施方式中,所述发射端模块还包括与马赫曾德尔调制器相连接的激光器和偏置控制器;
所述激光器用于向马赫曾德尔调制器输出光载波;
所述偏置控制器用于控制功率。
如图3所示,采集的信息在发射端利用深度卷积神经网络进行编码,生成信息量大幅压缩的一维信号,该信号经过无线信道或光纤信道进行传输后,在接收端经过另一个卷积神经网络进行高光谱图像的重建恢复。
本发明的另一个方面提供了一种应用上述系统的面向高光谱信息采集传输的一体化方法,所述方法的步骤包括:
通过图像采集模块接入所述成像光线,所述图像采集模块包括光传递模块和成像模块,通过所述光传递模块的分束器、多个透镜和掩码板对成像光线进行传递,所述掩码板用于对不同波段的成像光线进行编码,并通过所述相机采集成像光线生成灰度图像;
编码模块接入灰度图像,通过所述编码模块的双残差特征变换网络模块对输入图像进行双残差变换,再基于所述编码模块的特征平铺模块用于对接收到的图像进行平铺处理,得到一维码流;
将所述一维码流输入到光传输模块,所述光传输模块将编码字符串转化为光信号传输至解码模块;
所述解码模块接收光传输模块传递的光信号,基于所述解码模块的光谱信息重建网络模块重建高光谱图像,所述光谱信息重建网络模块包括两个重建单元和一个上采样层,所述上采样层的输入和输出端各连接一个重建单元,所述重建单元由顺序连接的卷积层和激活函数层构成。
实验例:
本方案的光传输仿真实验系统框图如图10所示。本方案与传统方案在AWGN信道以及光背靠背(OB2B)信道中的传输性能对比如图11和12所示,各方案的传输速率相等,其中横坐标分别为信噪比(SNR),光信噪比(OSNR),评价指标为峰值信噪比(Peak Signal toNoise Ratio,PSNR)和结构相似度(Structural Similarity Index Measure,SSIM)。所对比的传统方案采用JPEG2000信源编码,和LDPC信道编码。从图11中可以发现,当SNR降到10dB以下,在传统的数字通信系统中,由于悬崖效应,性能指标会出现陡降。同样在图12中,当OSNR下降到24dB一下,传统方案无法实现有效通信。而对于深度学习驱动的一体化系统,在高信噪比范围内,性能可以对标传统数字通信系统的性能,而随着信噪比下降,性能指标呈现缓降的趋势,并且在低信噪比区域,仍然能够很好地实现高光谱信息传输和恢复。
目前的单曝光压缩高光谱成像系统,可以实现快速的高光谱成像。该系统通常利用色散棱镜或光栅实现不同波段信息的分离,并利用特殊设计的编码板对不同波段信息进行编码,最后利用相机采集单张压缩灰度图像,并使用算法恢复高光谱信息。近年来,随着机器学习技术的兴起,深度学习技术被广泛应用到高光谱成像领域,用来实时的高光谱信息恢复。已有的算法只考虑高光谱信息的恢复,并没有考虑到后续信息传输的问题,使得高光谱信息无法获得实时处理。同时,使用传统数字通信技术,无法满足海量高光谱信息的高速传输。面对多维图像信息流量急速增长的需求,在短距离、带宽限制、恶劣信道环境下的高光谱信息大规模高速获取传输一体化的问题也亟待解决。本方案使用单曝光压缩感知技术进行高光谱采集,利用机器学习中的卷积神经网络,实现发射端信息压缩和接收端高光谱图像恢复重建。该方案能够实现短距离大规模高光谱信息传输,同时能够有效节省带宽资源、适应恶劣信道环境,具有泛化性强、高光谱传输质量好等优点。
本领域普通技术人员应该可以明白,结合本文中所公开的实施方式描述的各示例性的组成部分、系统和方法,能够以硬件、软件或者二者的结合来实现。具体究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。当以硬件方式实现时,其可以例如是电子电路、专用集成电路(ASIC)、适当的固件、插件、功能卡等等。当以软件方式实现时,本发明的元素是被用于执行所需任务的程序或者代码段。程序或者代码段可以存储在机器可读介质中,或者通过载波中携带的数据信号在传输介质或者通信链路上传送。
需要明确的是,本发明并不局限于上文所描述的特定配置和处理。为了简明起见,这里省略了对已知方法的详细描述。在上述实施例中,描述和示出了若干具体的步骤作为示例。但是,本发明的方法过程并不限于所描述和示出的具体步骤,本领域的技术人员可以在领会本发明的精神后,做出各种改变、修改和添加,或者改变步骤之间的顺序。
本发明中,针对一个实施方式描述和/或例示的特征,可以在一个或更多个其它实施方式中以相同方式或以类似方式使用,和/或与其他实施方式的特征相结合或代替其他实施方式的特征。
以上所述仅为本发明的优选实施例,并不用于限制本发明,对于本领域的技术人员来说,本发明实施例可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (10)
1.一种面向高光谱信息采集传输的一体化系统,其特征在于,所述系统包括:
图像采集模块,所述图像采集模块包括光传递模块和成像模块,所述光传递模块分束器、多个透镜和掩码板,所述成像模块包括相机,所述分束器和多个透镜用于对成像光线进行传递,所述掩码板用于对不同波段的成像光线进行编码,所述相机采集成像光线生成灰度图像;
编码模块,所述编码模块包括双残差特征变换网络模块和特征平铺模块,所述双残差特征变换网络模块用于接收输入图像,并对所述输入图像进行双残差变换,所述特征平铺模块用于对接收到的图像进行平铺处理,得到一维码流;
光传输模块,所述光传输模块包括将一维码流转化为光信号,并传输至解码模块;
解码模块,所述解码模块包括光谱信息重建网络模块,所述光谱信息重建网络模块包括两个重建单元和一个上采样层,所述上采样层的输入和输出端各连接一个重建单元,所述重建单元由顺序连接的卷积层和激活函数层构成,所述光谱信息重建网络模块将图像重建为高光谱图像。
2.根据权利要求1所述的面向高光谱信息采集传输的一体化系统,其特征在于,所述双残差特征变换网络模块用于接收输入图像,并对所述输入图像进行双残差变换的步骤中,将所述相机采集成像光线生成的灰度图像和掩码板对应的掩码图像组合为输入图像。
3.根据权利要求2所述的面向高光谱信息采集传输的一体化系统,其特征在于,所述灰度图像与掩码图像的像素格一一对应,在将所述相机采集成像光线生成的灰度图像和掩码板对应的掩码图像组合为输入图像的步骤中,将灰度图像的像素格与掩码图像中对应的像素格的像素格一一对应相乘,并将得到的图像复制预设个数次,得到预设个数个通道的输入图像。
4.根据权利要求1所述的面向高光谱信息采集传输的一体化系统,其特征在于,所述光传递模块包括顺序设置的第一透镜、分束器、第二透镜、棱镜、第三透镜和掩码板,所述成像光线通过第一透镜、分束器、第二透镜、棱镜和第三透镜到达掩码板,再从掩码板反射通过第三透镜、棱镜、第二透镜和分束器,由所述分束器将成像光线传递到成像模块。
5.根据权利要求1所述的面向高光谱信息采集传输的一体化系统,其特征在于,所述编码模块包括顺序设置的双残差特征变换网络模块、特征压缩编码层模块、特征抗噪增强层模块和特征平铺模块。
6.根据权利要求5所述的面向高光谱信息采集传输的一体化系统,其特征在于,所述双残差特征变换网络模块的结构包括下采样层和多个残差单元,每个残差单元均有顺序设置的卷积层和激活函数层组成,所述下采样层连接于最后一个残差单元之前;
所述特征压缩编码层模块的结构为一个卷积层;
所述特征抗噪增强层模块包括一个最大池化层、两个全连接层和两个激活函数层,所述特征抗噪增强层模块的结构为顺序设置的最大池化层、全连接层、激活函数层、全连接层和激活函数层;
所述特征平铺模块将接入的多通道图像中每个通道的图像均平铺为一段一维码流。
7.根据权利要求5所述的面向高光谱信息采集传输的一体化系统,其特征在于,所述解码模块包括顺序设置的二维排布模块、特征解压缩层模块和光谱信息重建网络模块;
所述二维排布模块用于将接入的每段一维码流均重建为一个通道的图像,并将多段一维码流重建为多通道图像;所述特征压缩编码层模块的结构为一个卷积层。
8.根据权利要求1~7任一项所述的面向高光谱信息采集传输的一体化系统,其特征在于,所述光传输模块包括发射端模块、光链路模块和接收端模块;
所述发射端模块包括任意波形生成器、放大器和马赫曾德尔调制器,所述任意波形生成器输入端接入一维码流,所述任意波形生成器的输出端与放大器的输入端相连接,所述放大器的输出端与马赫曾德尔调制器的输入端相连接,所述马赫曾德尔调制器的输出端与光链路模块相连接,向光链路模块输出一维码流所对应的光信号;
所述光链路模块包括传输光纤和光纤放大器,所述光纤放大器的输入端和输出端均连接有传输光纤,处于所述光纤放大器的输入端的传输光纤与发射端模块相连接,处于所述光纤放大器的输出端的传输光纤与接收端模块相连接;
所述接收端模块包括光电探测器和数字采样示波器,所述光电探测器的输入端接入光信号,所述光电探测器的输出端与数字采样示波器的输入端相连接,所述光电探测器用于将光信号转化为电信号,所述数字采样示波器用于采集电信号对应的一维码流。
9.根据权利要求8所述的面向高光谱信息采集传输的一体化系统,其特征在于,所述发射端模块还包括与马赫曾德尔调制器相连接的激光器和偏置控制器;
所述激光器用于向马赫曾德尔调制器输出光载波;
所述偏置控制器用于控制功率。
10.一种应用如权利要求1~9任一项所述系统的面向高光谱信息采集传输的一体化方法,其特征在于,所述方法的步骤包括:
通过图像采集模块接入所述成像光线,所述图像采集模块包括光传递模块和成像模块,通过所述光传递模块的分束器、多个透镜和掩码板对成像光线进行传递,所述掩码板用于对不同波段的成像光线进行编码,并通过所述相机采集成像光线生成灰度图像;
编码模块接入灰度图像,通过所述编码模块的双残差特征变换网络模块对输入图像进行双残差变换,再基于所述编码模块的特征平铺模块用于对接收到的图像进行平铺处理,得到一维码流;
将所述一维码流输入到光传输模块,所述光传输模块将编码字符串转化为光信号传输至解码模块;
所述解码模块接收光传输模块传递的光信号,基于所述解码模块的光谱信息重建网络模块重建高光谱图像,所述光谱信息重建网络模块包括两个重建单元和一个上采样层,所述上采样层的输入和输出端各连接一个重建单元,所述重建单元由顺序连接的卷积层和激活函数层构成。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310410568.XA CN116156144B (zh) | 2023-04-18 | 2023-04-18 | 一种面向高光谱信息采集传输的一体化系统和方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310410568.XA CN116156144B (zh) | 2023-04-18 | 2023-04-18 | 一种面向高光谱信息采集传输的一体化系统和方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116156144A true CN116156144A (zh) | 2023-05-23 |
CN116156144B CN116156144B (zh) | 2023-08-01 |
Family
ID=86358509
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310410568.XA Active CN116156144B (zh) | 2023-04-18 | 2023-04-18 | 一种面向高光谱信息采集传输的一体化系统和方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116156144B (zh) |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020127422A1 (fr) * | 2018-12-19 | 2020-06-25 | Lysia | Dispositif de détection hyperspectrale |
CN111754592A (zh) * | 2020-03-31 | 2020-10-09 | 南京航空航天大学 | 一种基于特征通道信息的端到端多光谱遥感图像压缩方法 |
CN112819910A (zh) * | 2021-01-08 | 2021-05-18 | 上海理工大学 | 基于双鬼注意力机制网络的高光谱图像重建方法 |
CN113125010A (zh) * | 2021-03-01 | 2021-07-16 | 北京邮电大学 | 一种高光谱成像设备 |
CN114615499A (zh) * | 2022-05-07 | 2022-06-10 | 北京邮电大学 | 一种面向图像传输的语义光通信系统和方法 |
CN114791320A (zh) * | 2022-03-24 | 2022-07-26 | 浙江大学 | 折衍射混合的两次对焦图像融合多光谱成像系统和方法 |
WO2022242029A1 (zh) * | 2021-05-18 | 2022-11-24 | 广东奥普特科技股份有限公司 | 视觉分辨率增强的生成方法、系统、装置及存储介质 |
-
2023
- 2023-04-18 CN CN202310410568.XA patent/CN116156144B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020127422A1 (fr) * | 2018-12-19 | 2020-06-25 | Lysia | Dispositif de détection hyperspectrale |
CN111754592A (zh) * | 2020-03-31 | 2020-10-09 | 南京航空航天大学 | 一种基于特征通道信息的端到端多光谱遥感图像压缩方法 |
CN112819910A (zh) * | 2021-01-08 | 2021-05-18 | 上海理工大学 | 基于双鬼注意力机制网络的高光谱图像重建方法 |
CN113125010A (zh) * | 2021-03-01 | 2021-07-16 | 北京邮电大学 | 一种高光谱成像设备 |
WO2022242029A1 (zh) * | 2021-05-18 | 2022-11-24 | 广东奥普特科技股份有限公司 | 视觉分辨率增强的生成方法、系统、装置及存储介质 |
CN114791320A (zh) * | 2022-03-24 | 2022-07-26 | 浙江大学 | 折衍射混合的两次对焦图像融合多光谱成像系统和方法 |
CN114615499A (zh) * | 2022-05-07 | 2022-06-10 | 北京邮电大学 | 一种面向图像传输的语义光通信系统和方法 |
Also Published As
Publication number | Publication date |
---|---|
CN116156144B (zh) | 2023-08-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Yuan et al. | Plug-and-play algorithms for large-scale snapshot compressive imaging | |
Ma et al. | Deep tensor admm-net for snapshot compressive imaging | |
Cheng et al. | Recurrent neural networks for snapshot compressive imaging | |
CN102706450B (zh) | 基于压缩感知的双通道多光谱视频成像仪及成像方法 | |
CN106997581A (zh) | 一种利用深度学习重建高光谱图像的方法 | |
Peng et al. | Residual pixel attention network for spectral reconstruction from RGB images | |
CN107817641B (zh) | 基于多模光纤的单像素相机系统 | |
CN110650340B (zh) | 一种时空复用的压缩视频成像方法 | |
CN109828285B (zh) | 一种双波段时域压缩感知高速成像方法及装置 | |
CN112911304B (zh) | 基于编码的双路视频压缩装置及压缩视频重建方法 | |
Ye et al. | Ghost difference imaging using one single-pixel detector | |
CN113048907B (zh) | 一种基于宏像素分割的单像素多光谱成像方法及装置 | |
Deng et al. | Sinusoidal sampling enhanced compressive camera for high speed imaging | |
CN116245726A (zh) | 基于深度学习框架的压缩感知偏振超分辨成像方法 | |
CN114659634A (zh) | 微型快照式压缩光谱成像探测装置及探测方法 | |
CN117571128B (zh) | 一种高分辨率偏振光谱图像成像方法及系统 | |
CN108696728A (zh) | 图像生成装置及拍摄装置 | |
CN109798978B (zh) | 一种采用异形蓝色噪声编码孔径的光谱成像方法 | |
CN116156144B (zh) | 一种面向高光谱信息采集传输的一体化系统和方法 | |
CN111443358B (zh) | 单点探测成像系统 | |
CN110631703B (zh) | 一种基于可调谐滤光片的单像素光谱成像系统 | |
CN210862922U (zh) | 一种基于可调谐滤光片的单像素光谱成像系统 | |
CN116258783A (zh) | 基于深度学习网络的水下单像素成像方法及系统 | |
CN111273050B (zh) | 信号采集处理方法及装置 | |
CN115002466B (zh) | 一种透射式双通道压缩成像方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |