CN115994983B - 一种基于快照式编码成像系统的医药高光谱重构方法 - Google Patents

一种基于快照式编码成像系统的医药高光谱重构方法 Download PDF

Info

Publication number
CN115994983B
CN115994983B CN202310298901.2A CN202310298901A CN115994983B CN 115994983 B CN115994983 B CN 115994983B CN 202310298901 A CN202310298901 A CN 202310298901A CN 115994983 B CN115994983 B CN 115994983B
Authority
CN
China
Prior art keywords
image
hyperspectral
medical
hyperspectral image
reconstruction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310298901.2A
Other languages
English (en)
Other versions
CN115994983A (zh
Inventor
王耀南
陈忠伟
毛建旭
张辉
刘彩苹
苏学叁
苗绘
陈煜嵘
尹阿婷
赵禀睿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hunan University
Original Assignee
Hunan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hunan University filed Critical Hunan University
Priority to CN202310298901.2A priority Critical patent/CN115994983B/zh
Publication of CN115994983A publication Critical patent/CN115994983A/zh
Application granted granted Critical
Publication of CN115994983B publication Critical patent/CN115994983B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
    • Y02A40/10—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in agriculture

Landscapes

  • Image Processing (AREA)

Abstract

本发明公开了一种基于快照式编码成像系统的医药高光谱重构方法，采集医药高光谱原始图像并处理，得到增强后的医药高光谱图像，经过模拟空间编码，获得编码后的测量图像，对编码后的测量图像进行光谱反移位后作反向编码处理，得到反向编码后的三维高光谱图像，将增强后的医药高光谱图像作为目标图像，根据反编码后的测量图像和目标图像构建训练集和测试集；搭建深度对称神经重构网络，并通过训练集和测试集进行训练和测试；将测试后的深度对称神经重构网络部署到快照式编码成像系统，利用快照式编码成像系统实时采集得到医药测量图像，经过计算重构，得到重构的三维高光谱图像。该方法能够实现对快照式成像系统医药高光谱的高质量重构。

Description

一种基于快照式编码成像系统的医药高光谱重构方法
技术领域
本发明属于高光谱图像重构领域，具体涉及一种基于快照式编码成像系统的医药高光谱重构方法。
背景技术
目前，对于医药流水线生产工艺生产的医药产品的质量检测，国内外大都采用化学滴定和以RGB相机组成的视觉检测。化学滴定不仅需要培训专业的实验人员，浪费大量财力物力，还在很大程度上增加了企业生产成本，而且检测时间长，极大影响生产效率。虽然RGB视觉检测解放了劳动力，能在一定程度上满足部分医药安全质量检测，但是RGB相机只能拍摄由R、G、B三个通道组成的包含空间信息的RGB图像，缺乏光谱维度的特征，不能满足成分、含量等检测分析的需求，这极大地限制了检测能力。而高光谱成像是一种将传统二维成像技术和光谱技术有机结合的前沿新兴技术，它利用物质特有的反射特征，采样场景的光谱反射率，捕捉场景的详细光谱分布，获取同时融合空间信息和光谱信息的三维数据立方体，也就是三维高光谱图像。能够实现对医药的质量、成分、含量、可见异物、澄清度、均匀度、溶出度等多个检测项的集成、快速、无损和精准测量。
快照压缩光谱成像通过多路复用技术将三维高光谱数据调制到2D探测器，能在单次的采样中同时捕获空间信息和光谱信息，有效地避免了运动伪影，使得高速高光谱成像成为可能。因此，研究如何把二维测量图像计算重构成三维高光谱图像是一个极需解决的难题。
由于快照式编码成像系统的观测值是原始数据的投影，从采集的二维测量图像重建三维高光谱数据的方程未知数大于方程个数，解并不唯一，是一个高度不适定问题。目前，众所周知的传统算法有贪婪迭代算法、凸优化算法、进化算法等，然而，这些根据经验制作的手工先验难以描述真实场景的复杂光谱特征，降低了成像的质量。
基于深度学习的算法能够借助外部数据库隐式地学习得到先验以及光谱空间相似性和结构相似性去增强初解得到终解。目前，基于学习的算法已经应用到遥感、植物光谱、医学影像等领域，但在医药产品的图像重构领域还鲜有研究，如何通过快照式编码成像系统对医药高光谱数据进行高效重构，成了本领域技术人员致力研究的问题。
发明内容
为了避免现有技术中的不足，本发明提供了一种基于快照式编码成像系统的医药高光谱重构方法，具体包括如下步骤：
S1、通过高光谱相机采集医药高光谱原始图像并预处理，得到预处理后的医药高光谱图像，对预处理后的医药高光谱图像进行数据增强处理，得到增强后的医药高光谱图像；
S2、对增强后的医药高光谱图像进行模拟空间编码，获得编码后的测量图像；
S3、对编码后的测量图像进行光谱反移位后再作反向编码处理，得到反向编码后的三维高光谱图像，将增强后的医药高光谱图像作为目标图像，将反向编码后的三维高光谱图像和目标图像共同作为用于监督训练的数据集，根据数据集构建训练集和测试集；
S4、搭建深度对称神经重构网络，通过训练集对深度对称神经重构网络进行训练，调整网络损失，反向传播并更新网络参数，得到训练后的深度对称神经重构网络，通过测试集对训练后的深度对称神经重构网络进行测试，得到测试后的深度对称神经重构网络；
S5、将测试后的深度对称神经重构网络部署到快照式编码成像系统，利用快照式编码成像系统实时采集得到医药测量图像，经过计算重构，得到重构的三维高光谱图像。
优选地，S1中通过高光谱相机采集医药高光谱原始图像并进行预处理，得到预处理后的医药高光谱图像，具体包括：
S11、预设波段、波段间隔和高光谱图像尺寸；
S12、通过高光谱相机采集医药高光谱原始图像，根据预设波段和波段间隔从每个医药高光谱原始图像中选出若干个图像并组合，相应得到组合后医药高光谱图像，根据预设高光谱图像尺寸对组合后医药高光谱图像进行裁剪，得到裁剪后医药高光谱图像；
S13、计算每个裁剪后医药高光谱图像的平均清晰度；
S14、根据平均清晰度对裁剪后医药高光谱图像进行降序排序，选出前80%作为预处理后的医药高光谱图像。
优选地，S13中计算每个裁剪后医药高光谱图像的平均清晰度，具体公式为：
Figure SMS_1
式中，
Figure SMS_2
为第/>
Figure SMS_6
个裁剪后医药高光谱图像的平均清晰度，/>
Figure SMS_9
为第/>
Figure SMS_4
个裁剪后医药高光谱图像中第/>
Figure SMS_8
个波段图像对应像素点/>
Figure SMS_11
的灰度值，/>
Figure SMS_13
为第/>
Figure SMS_3
个裁剪后医药高光谱图像中第/>
Figure SMS_7
个波段图像对应像素点/>
Figure SMS_10
的灰度值，/>
Figure SMS_12
为裁剪后医药高光谱图像的波段数，/>
Figure SMS_5
。
优选地，S1中对预处理后的医药高光谱图像进行数据增强处理，得到增强后的医药高光谱图像，具体包括：
S15、对预处理后的医药高光谱图像中每个通道的二维图像均以预设的旋转角度进行旋转，得到旋转后高光谱图像；
S16、将预处理后的医药高光谱图像和对应的旋转后高光谱图像进行拼接，得到混合高光谱图像；
S17、对混合高光谱图像进行多次随机裁剪，得到多张裁剪后的混合高光谱图像，将多张裁剪后的混合高光谱图像作为增强后的医药高光谱图像。
优选地，S2中对增强后的医药高光谱图像进行模拟空间编码，获得编码后的测量图像，具体包括：
S21、随机建立包含0和1的二维物理掩码；
S22、根据CASSI的数学模型和二维物理掩码，对增强后的医药高光谱图像进行模拟空间编码，得到空间编码后的医药高光谱图像；
S23、对空间编码后的医药高光谱图像进行光谱偏移，得到倾斜数据立方体；
S24、对倾斜数据立方体进行波段融合，并添加椒盐噪声，得到编码后的测量图像。
优选地，S3具体包括；
S31、对编码后的测量图像进行光谱反移位，得到反移位后的测量图像；
S32、对反移位后的测量图像进行反向编码，得到反向编码后的三维高光谱图像；
S33、将增强后的医药高光谱图像作为目标图像，将反向编码后的三维高光谱图像和目标图像共同作为用于监督训练的数据集；
S34、将数据集中80%的数据作为训练集，用于对深度对称神经重构网络进行训练，将数据集中20%的数据作为测试集，用于对深度对称神经重构网络进行测试。
优选地，S31中对编码后的测量图像进行光谱反移位，得到反移位后的测量图像，具体公式为：
Figure SMS_14
其中，
Figure SMS_15
为反移位步长，/>
Figure SMS_16
是反移位后的测量图像，H为高光谱图像高度，/>
Figure SMS_17
为高光谱图像的波段数，W为高光谱图像宽度，/>
Figure SMS_18
为实数，/>
Figure SMS_19
表示第n个波段，
Figure SMS_20
。
优选地，S32中对反移位后的测量图像进行反向编码，得到反向编码后的三维高光谱图像，具体公式为：
Figure SMS_21
其中，
Figure SMS_22
式中，
Figure SMS_23
为二维物理掩码，/>
Figure SMS_24
为二维反向物理掩码，/>
Figure SMS_25
为反向编码后的三维高光谱图像。
优选地，S4中的深度对称神经重构网络包括依次连接的第一残差网络、第一空谱注意力机制重构模块、特征细化模块、第二空谱注意力机制重构模块、第二残差网络，第一残差网络用于对反向编码后的三维高光谱图像进行特征提取，第一空谱注意力机制重构模块用于捕获反向编码后的三维高光谱图像全局非局部的空间-光谱相似性，特征细化模块用于捕获反向编码后的三维高光谱图像的上下文特征图，第二空谱注意力机制重构模块用于对上下文特征图的每个条目进行加权，重构空谱信息，第二残差网络用于学习输入和输出的残差信息，并逐步细化特征。
优选地，S1中的医药高光谱原始图像包含300nm-2400nm波段的高光谱数据。
上述一种基于快照式编码成像系统的医药高光谱重构方法，首先通过数据增强扩大样本数量，提高模型泛化能力和鲁棒性；然后对数据集进行模拟快照编码得到具备参考数据的观测图像，并根据CASSI（快照式编码成像系统）的色散原理和空间编码原理对观测图像进行反移位和反向编码以实现从三维到三维的映射；接着采用一种改进的融合空谱注意力机制和特征细化模块的深度重构网络进行重构，最后把重构网络部署到快照式编码成像系统上，从而实现医药高光谱快照式采集和计算重构。
附图说明
图1是本发明一实施例中一种基于快照式编码成像系统的医药高光谱重构方法的流程图；
图2是本发明一实施例中深度对称神经重构网络的网络结构示意图；
图3是本发明一实施例中第一空谱注意力机制重构模块的计算过程示意图；
图4是本发明一实施例中医药药片重建结果对比图，图4中的（a），（c），（e），（g）分别为医药药片在462nm、559nm、586nm、615nm四个波段下的原始图，图4中的（b）,（d），（f），（h）分别为医药药片在462nm、559nm、586nm、615nm四个波段下的重构图；
图5是本发明一实施例中药药材重建结果对比图，图5中的（a），（c），（e），（g）分别为医药药材在462nm、559nm、586nm、615nm四个波段下的原始图，图5中的（b）,（d），（f），（h）分别为医药药材在462nm、559nm、586nm、615nm四个波段下的重构图。
具体实施方式
为了使本技术领域的人员更好地理解本发明的技术方案，下面结合附图对本发明作进一步的详细说明。
一种基于快照式编码成像系统的医药高光谱重构方法，具体包括：
S1、通过高光谱相机采集医药高光谱原始图像并预处理，得到预处理后的医药高光谱图像，对预处理后的医药高光谱图像进行数据增强处理，得到增强后的医药高光谱图像；
S2、对增强后的医药高光谱图像进行模拟空间编码，获得编码后的测量图像；
S3、对编码后的测量图像进行光谱反移位后再作反向编码处理，得到反向编码后的三维高光谱图像，将增强后的医药高光谱图像作为目标图像，将反向编码后的三维高光谱图像和目标图像共同作为用于监督训练的数据集，根据数据集构建训练集和测试集；
S4、搭建深度对称神经重构网络，通过训练集对深度对称神经重构网络进行训练，调整网络损失，反向传播并更新网络参数，得到训练后的深度对称神经重构网络，通过测试集对训练后的深度对称神经重构网络进行测试，得到测试后的深度对称神经重构网络；
S5、将测试后的深度对称神经重构网络部署到快照式编码成像系统，利用快照式编码成像系统实时采集得到医药测量图像，经过计算重构，得到重构的三维高光谱图像。
具体地，参见图1，图1为本发明一实施例中一种基于快照式编码成像系统的医药高光谱重构方法的流程图。
一种基于快照式编码成像系统的医药高光谱重构方法，具体包括：
首先通过高光谱相机采集医药高光谱原始图像数据。具体地，在Dualix双利合谱高光谱分选仪的黑色底盘上均匀摆放待检测药品，设定好传送带的速度，以环绕形式对称设置八组照射光源，采用可见光波段和近红外波段的两个高光谱相机分别拍摄一次。需要说明的是，在本步骤中，两个高光谱相机间隔一定距离，待检测药品传送到可见光波段相机后，减速再加速，在间隔距离内调整传送带的速度以近红外波段高光谱相机的速度运行，拍摄得到医药高光谱原始图像，格式为raw格式。进一步地，采集的医药高光谱原始图像包含300nm-2400nm波段的高光谱数据，由于这一波段的高光谱数据包含了可见光和近红外，大部分药品和杂质特征在该波段范围可以实现有效区分。
然后对医药高光谱原始图像进行预处理和数据增强处理，得到增强后的医药高光谱图像，对增强后的医药高光谱图像进行模拟空间编码，获得编码后的测量图像；接着对编码后的测量图像进行光谱反移位后再作反向编码处理，得到反向编码后的三维高光谱图像，将增强后的医药高光谱图像作为反向编码后的三维高光谱图像对应的目标图像，将反向编码处理后的测量图像和目标图像共同作为用于监督训练的数据集，根据数据集构建训练集和测试集；
接着搭建深度对称神经重构网络，通过训练集对深度对称神经重构网络进行训练，调整网络损失，反向传播并更新网络参数，得到训练后的深度对称神经重构网络，通过测试集对训练后的深度对称神经重构网络进行测试，得到测试后的深度对称神经重构网络；
最后将测试后的深度对称神经重构网络部署到快照式编码成像系统，通过快照式编码成像系统进行实时采集，得到医药测量图像，对医药测量图像进行计算重构，得到重构的三维高光谱图像，从而实现医药高光谱快照式采集和计算重构。与主流的高光谱相机不同，快照式编码成像系统是利用压缩感知原理，使用物镜、棱镜、CCD探测器、物理掩码等光学器件，用时间换空间，能够实现一次能像，得到的就是混叠的二维压缩测量值，也就是医药测量图像。
在一个实施例中，S1中通过高光谱相机采集医药高光谱原始图像并进行预处理，得到预处理后的医药高光谱图像，具体包括：
S11、预设波段、波段间隔和高光谱图像尺寸；
S12、通过高光谱相机采集医药高光谱原始图像，根据预设波段和波段间隔从每个医药高光谱原始图像中选出若干个图像并组合，相应得到组合后医药高光谱图像，根据预设高光谱图像尺寸对组合后医药高光谱图像进行裁剪，得到裁剪后医药高光谱图像；
S13、计算每个裁剪后医药高光谱图像的平均清晰度；
S14、根据平均清晰度对裁剪后医药高光谱图像进行降序排序，选出前80%作为预处理后的医药高光谱图像。
S13中计算每个裁剪后医药高光谱图像的平均清晰度，具体公式为：
Figure SMS_26
式中，
Figure SMS_27
为第/>
Figure SMS_31
个裁剪后医药高光谱图像的平均清晰度，/>
Figure SMS_34
为第/>
Figure SMS_29
个裁剪后医药高光谱图像中第/>
Figure SMS_33
个波段图像对应像素点/>
Figure SMS_35
的灰度值，/>
Figure SMS_37
为第/>
Figure SMS_28
个裁剪后医药高光谱图像中第/>
Figure SMS_32
个波段图像对应像素点/>
Figure SMS_36
的灰度值，/>
Figure SMS_38
为裁剪后医药高光谱图像的波段数，/>
Figure SMS_30
。
具体地，在对所有采集的医药高光谱原始图像进行进行预处理，得到预处理后的医药高光谱图像，过程如下：
预设波段为300nm ~580nm，波段间隔为10nm，可计算得出波段数
Figure SMS_39
，保证每个波段的图像区分度明显。综合考量医药产品的像素占比，预设高光谱图像尺寸为/>
Figure SMS_40
，以最大化展现医药产品的全部特征。此外，为匹配后续处理步骤，将采集的医药高光谱原始图像的格式转换成.mat格式；
从每一幅医药高光谱原始图像中先抽取300nm-580nm波段，再以波段间隔为10nm提取出28个波段图像并重新组合，得到组合后医药高光谱图像，采用
Figure SMS_41
的矩形框框定药品居中的区域并裁剪，得到/>
Figure SMS_42
的裁剪后医药高光谱图像。/>
计算每个裁剪后医药高光谱图像的平均清晰度，平均清晰度的计算公式如下：
Figure SMS_43
式中，
Figure SMS_44
为第/>
Figure SMS_48
个裁剪后医药高光谱图像的平均清晰度，/>
Figure SMS_51
为第/>
Figure SMS_45
个裁剪后医药高光谱图像中第/>
Figure SMS_49
个波段图像对应像素点/>
Figure SMS_52
的灰度值，/>
Figure SMS_54
为第/>
Figure SMS_47
个裁剪后医药高光谱图像中第/>
Figure SMS_50
个波段图像对应像素点/>
Figure SMS_53
的灰度值，/>
Figure SMS_55
为裁剪后医药高光谱图像的波段数，/>
Figure SMS_46
。
根据平均清晰度值对裁剪后医药高光谱图像进行降序排序并从中选出前80%，由此得到药品居中、尺寸统一的预处理后的医药高光谱图像。
在一个实施例中，S1中对预处理后的医药高光谱图像进行数据增强处理，得到增强后的医药高光谱图像，具体包括：
S15、对预处理后的医药高光谱图像中每个通道的二维图像均以预设的旋转角度进行旋转，得到旋转后高光谱图像；
S16、将预处理后的医药高光谱图像和对应的旋转后高光谱图像进行拼接，得到混合高光谱图像；
S17、对混合高光谱图像进行多次随机裁剪，得到多张裁剪后的混合高光谱图像，将多张裁剪后的混合高光谱图像作为增强后的医药高光谱图像。
具体地，在采样样本少的情况下，对预处理后的医药高光谱图像进行数据增强处理，可以得到多个数据样本。对每张预处理后的医药高光谱图像每个通道的二维图像
Figure SMS_56
都进行相同角度的旋转，比如均旋转90°、180°和 270°，得到三张旋转后二维图像/>
Figure SMS_57
，将这三张旋转后的二维图像和原来的二维图像进行拼接，得到一张大小为/>
Figure SMS_58
的混合高光谱图像，对混合高光谱图像进行多次随机裁剪，得到多张大小为/>
Figure SMS_59
的裁剪后混合高光谱图像，将多张裁剪后混合高光谱图像作为增强后的医药高光谱图像。
在一个实施例中，S2中对增强后的医药高光谱图像进行模拟空间编码，获得编码后的测量图像，具体包括：
S21、随机建立包含0和1的二维物理掩码；
S22、根据CASSI的数学模型和二维物理掩码，对增强后的医药高光谱图像进行模拟空间编码，得到空间编码后的医药高光谱图像；
S23、对空间编码后的医药高光谱图像进行光谱偏移，得到倾斜数据立方体；
S24、对倾斜数据立方体进行波段融合，并添加椒盐噪声，得到编码后的测量图像。
具体地，对增强后的医药高光谱图像进行模拟空间编码，获得编码后的测量图像，包括：
1）随机建立包含0和1的二维物理掩码
Figure SMS_60
，大小为/>
Figure SMS_61
；
2）将增强后的医药高光谱图像与二维物理掩码M相乘，进行模拟空间编码，得到空间编码调制后的医药高光谱图像，具体公式为：
Figure SMS_62
式中，
Figure SMS_63
表示从1到C共n个波段，/>
Figure SMS_64
表示矩阵对应元素相乘，/>
Figure SMS_65
表示增强后的医药高光谱图像，/>
Figure SMS_66
为二维掩码，/>
Figure SMS_67
代表空间编码后的数据立方体，也就是空间编码调制后的医药高光谱图像。
3）将空间编码调制后的医药高光谱图像的每个通道都沿着宽度方向偏移特定像素点，得到倾斜数据立方体
Figure SMS_68
，具体公式为：
Figure SMS_69
式中，
Figure SMS_71
表示快照式编码成像系统中探测器的平面坐标，/>
Figure SMS_73
为第n个通道的波长，/>
Figure SMS_74
为色散后不改变方向的中心波长，/>
Figure SMS_72
表示第n个通道的空间偏移量，
Figure SMS_75
表示偏移后的倾斜数据立方体，/>
Figure SMS_76
和/>
Figure SMS_77
表示空间编码后的数据立方体
Figure SMS_70
上的横、纵坐标。
4）将倾斜数据立方体
Figure SMS_78
中所有波段的每个像素的像素值相加整合，并添加椒盐噪声模拟真实环境干扰，得到模拟观测值y，也就是编码后的测量图像y，具体公式为：
Figure SMS_79
式中，Z为添加的椒盐噪声，Σ表示求和，
Figure SMS_80
为倾斜数据立方体。
在一个实施例中，S3具体包括；
S31、对编码后的测量图像进行光谱反移位，得到反移位后的测量图像；
S32、对反移位后的测量图像进行反向编码，得到反向编码后的三维高光谱图像；
S33、将增强后的医药高光谱图像作为目标图像，将反向编码后的三维高光谱图像和目标图像共同作为用于监督训练的数据集；
S34、将数据集中80%的数据作为训练集，用于对深度对称神经重构网络进行训练，将数据集中20%的数据作为测试集，用于对深度对称神经重构网络进行测试。
在一个实施例中，S31中对编码后的测量图像进行光谱反移位，得到反移位后的测量图像，具体公式为：
Figure SMS_81
其中，
Figure SMS_82
为反移位步长，/>
Figure SMS_83
是反移位后的测量图像，H为高光谱图像高度，/>
Figure SMS_84
为高光谱图像的波段数，W为高光谱图像宽度，/>
Figure SMS_85
为实数，/>
Figure SMS_86
表示第n个波段，
Figure SMS_87
。
在一个实施例中，S32中对反移位后的测量图像进行反向编码，得到反向编码后的三维高光谱图像，具体公式为：
Figure SMS_88
其中，
Figure SMS_89
式中，
Figure SMS_90
为二维物理掩码，/>
Figure SMS_91
为二维反向物理掩码，/>
Figure SMS_92
为反向编码后的三维高光谱图像。
具体地：
1）根据快照式编码成像系统中分散器对编码光谱的色散偏移原理，对模拟观测值y（也就是编码后的测量图像）进行光谱反移位，得到反移位后的测量图像，具体公式为：
Figure SMS_93
其中，
Figure SMS_94
为反移位步长，/>
Figure SMS_95
是反移位后的测量图像，H为高光谱图像高度，/>
Figure SMS_96
为高光谱图像的波段数，W为高光谱图像宽度，/>
Figure SMS_97
为实数，/>
Figure SMS_98
表示第n个波段，
Figure SMS_99
。
对模拟观测值y进行光谱反移位，也就是在每个通道将模拟观测值y沿着色散方向偏移相应空间距离之后，截取得到与增强后的医药高光谱图像大小一致的三维数据立方体，也就是反移位后的测量图像
Figure SMS_100
。
2）根据快照式编码成像系统中空间编码原理，对反移位后的测量图像
Figure SMS_101
进行反向编码，得到一个包含二维物理掩码和模拟观测值的三维数据立方体，将三维数据立方体作为反向编码后的三维高光谱图像/>
Figure SMS_102
：
Figure SMS_103
其中，
Figure SMS_104
式中，
Figure SMS_105
为二维反向物理掩码，通过对二维物理掩码/>
Figure SMS_106
的所有元素取倒数获得，
Figure SMS_107
为反向编码后的三维高光谱图像，其尺寸大小与增强后的医药高光谱图像一致。
3）将增强后的医药高光谱图像作为目标图像，也就是标签，将反向编码后的三维高光谱图像
Figure SMS_108
和目标图像共同作为数据集，将数据集中80%作为训练集，用于训练深度对称神经重构网络的各项参数，将数据集中20%作为测试集，用于测试评估深度对称神经重构网络中的参数性能。
在一个实施例中，S4中的深度对称神经重构网络包括依次连接的第一残差网络、第一空谱注意力机制重构模块、特征细化模块、第二空谱注意力机制重构模块、第二残差网络，第一残差网络用于对反向编码后的三维高光谱图像进行特征提取，第一空谱注意力机制重构模块用于捕获反向编码后的三维高光谱图像全局非局部的空间-光谱相似性，特征细化模块用于捕获反向编码后的三维高光谱图像的上下文特征图，第二空谱注意力机制重构模块用于对上下文特征图的每个条目进行加权，重构空谱信息，第二残差网络用于学习输入和输出的残差信息，并逐步细化特征。
具体地，参见图2，图2为本发明一实施例中深度对称神经重构网络的网络结构示意图。
在图2中，深度对称神经重构网络包括依次连接的第一残差网络、第一空谱注意力机制重构模块、特征细化模块、第二空谱注意力机制重构模块、第二残差网络。深度对称神经重构网络以残差网络为骨架，建立融合细化特征模块和空谱注意力机制的重构模块参与监督训练，其中第一残差网络和第二残差网络的网络结构相同，第一空谱注意力机制重构模块和第二空谱注意力机制重构模块的网络结构相同。
第一残差网络用于对反向编码后的三维高光谱图像进行特征提取，挖掘其混叠的图像信息和编码信息；第一空谱注意力机制重构模块采用空间注意力输出特征与光谱注意力特征联融合输出的方式捕获反向编码后的三维高光谱图像全局非局部的空间-光谱相似性，其中空间注意力通道计算空间相关性，光谱注意力计算光谱相似性；特征细化模块采用三层级联的多尺度3D卷积代替传统的2D卷积来捕获反向编码后的三维高光谱图像的上下文；第二空谱注意力机制重构模块用于进一步的自适应地对所捕的上下文特征图的每个条目进行加权，以有效地重构空谱信息；第二残差网络以跳跃地形式学习所输入和输出地残差信息，并逐步细化特征表示，同时有效避免梯度消失。
分别利用第一残差网络和第二残差网络的跳跃连接学习输入与输出之间的残差信息，逐步细化特征表示，并在多个阶段累计知识，这样可避免网络过深而导致的梯度消失，具体可量化为：
Figure SMS_109
其中，
Figure SMS_110
表示第k个残差层的输出，也就是第/>
Figure SMS_111
个残差层的输入，/>
Figure SMS_112
表示残差网络的原始输入，/>
Figure SMS_113
表示第/>
Figure SMS_114
个残差层的输出，/>
Figure SMS_115
表示残差层的数学算子。
第一空谱注意力机制重构模块和第二空谱注意力机制重构模块的空谱注意力机制均采用空间注意力特征与光谱注意力特征联融合输出的方式，通过分别求解光谱注意力矩阵和空间注意力矩阵从而得到权重系数，进而获得每个特征的权重占比，以挖掘和捕获全局非局部空间-光谱相似性。
具体参见图3，图3为本发明一实施例中第一空谱注意力机制模块的计算过程示意图。
以第一空谱注意力机制模块为例，具体计算过程如下：
设
Figure SMS_116
为第一空谱注意力机制重构模块的输入；
在光谱注意力机制中，输入
Figure SMS_117
分别经过1x1的卷积、卷积和维度重塑（Reshape），得到两个尺寸分别为/>
Figure SMS_118
和/>
Figure SMS_119
的key矩阵/>
Figure SMS_120
和query矩阵/>
Figure SMS_121
；
Figure SMS_122
Figure SMS_123
式中，
Figure SMS_124
和/>
Figure SMS_125
均表示1x1的卷积操作，/>
Figure SMS_126
表示维度重构。
计算key矩阵
Figure SMS_127
与query矩阵/>
Figure SMS_128
的点积，然后进行Softmax运算，得到光谱注意力矩阵/>
Figure SMS_129
，/>
Figure SMS_130
：
Figure SMS_131
把
Figure SMS_132
经过1x1的卷积操作后，再与光谱注意力矩阵/>
Figure SMS_133
相乘，得到光谱注意力加权矩阵/>
Figure SMS_134
：
Figure SMS_135
式中，
Figure SMS_136
表示1x1的卷积操作。
在空间注意力机制中，输入
Figure SMS_137
经过1x1的卷积得到非线性卷积矩阵
Figure SMS_138
，然后分别对其进行基于光谱通道的最大池化（MaxPool）和平均池化（AvgPool），得到最大池化矩阵/>
Figure SMS_139
和平均池化矩阵/>
Figure SMS_140
：
Figure SMS_141
Figure SMS_142
式中，
Figure SMS_143
为最大池化矩阵，/>
Figure SMS_144
为平均池化矩阵，/>
Figure SMS_145
表示最大池化操作，/>
Figure SMS_146
表示平均池化操作，/>
Figure SMS_147
为非线性卷积矩阵。
将最大池化矩阵
Figure SMS_148
和平均池化矩阵/>
Figure SMS_149
求和之后先进行卷积压缩，再进行Softmax运算，得到空间注意力矩阵/>
Figure SMS_150
：
Figure SMS_151
式中，
Figure SMS_152
为空间注意力矩阵，/>
Figure SMS_153
表示7x7卷积运算，/>
Figure SMS_154
表示softmax运算。
输入
Figure SMS_155
经过1x1卷积，然后再将其与空间注意力矩阵/>
Figure SMS_156
相乘，得到空间注意力加权矩阵/>
Figure SMS_157
：
Figure SMS_158
式中，
Figure SMS_159
为1x1卷积运算。
空谱注意力模块输出矩阵
Figure SMS_160
由光谱注意力加权矩阵/>
Figure SMS_161
和空间注意力加权矩阵/>
Figure SMS_162
共同组成：
Figure SMS_163
最后特征细化模块采用三层级联的3D卷积神经网络来深度挖掘残余的空谱信息。
第二空谱注意力机制模块的计算过程和第一空谱注意力机制模块的计算过程相同，此处不再赘述。
根据深度对称神经重构网络在测试集上输出的重构图像的峰值信噪比PSNR和结构相似性SSIM来评估该深度对称神经重构网络的最终性能，判断重构质量是否达标，如果达标，将训练好的深度对称神经重构网络部署到快照式编码成像系统，从而实现医药高光谱快照式采集和计算重构，反之，如果不达标，需要对深度对称神经重构网络进行再次监督训练，并通过测试集测试其最终性能，直至重构质量达标。
参见图4和图5，图4为本发明一实施例中医药药片重建结果对比图，图5为本发明一实施例中医药药材重建结果对比图。
从图4和图5中可以看出，对于医药高光谱图图像所展示的各个波段，重建结果都展现出优异的视觉细节，未出现明显模糊、混叠、色彩失真等现象。进一步地，图4中医药药片重构图像的峰值信噪比为39.56dB，结构相似性为0.982，图5中医药药材的峰值信噪比为41.88dB，结构相似性为0.990，均展现出与对应的真实三维医药高光谱图像极高的相似度。
上述一种基于快照式编码成像系统的医药高光谱重构方法，首先通过数据增强扩大样本数量，提高模型泛化能力和鲁棒性；然后对增强后的医药高光谱图像进行模拟空间编码得到具备参考数据的观测图像，并根据CASSI（快照式编码成像系统）的色散原理和空间编码原理对观测图像进行反移位和反向编码以实现从三维到三维的映射；接着采用一种改进的融合空谱注意力机制和特征细化模块的深度重构网络进行重构，最后把重构网络部署到快照式编码成像系统上，从而实现医药高光谱快照式采集和计算重构。
以上对本发明所提供的一种基于快照式编码成像系统的医药高光谱重构方法进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。

Claims (9)

1.一种基于快照式编码成像系统的医药高光谱重构方法，其特征在于，所述方法包括：
S1、通过高光谱相机采集医药高光谱原始图像并预处理，得到预处理后的医药高光谱图像，对所述预处理后的医药高光谱图像进行数据增强处理，得到增强后的医药高光谱图像；
S2、对所述增强后的医药高光谱图像进行模拟空间编码，获得编码后的测量图像；
S3、对所述编码后的测量图像进行光谱反移位后再作反向编码处理，得到反向编码后的三维高光谱图像，将所述增强后的医药高光谱图像作为目标图像，将所述反向编码后的三维高光谱图像和所述目标图像共同作为用于监督训练的数据集，根据所述数据集构建训练集和测试集；
S4、搭建深度对称神经重构网络，通过所述训练集对所述深度对称神经重构网络进行训练，调整网络损失，反向传播并更新网络参数，得到训练后的深度对称神经重构网络，通过所述测试集对所述训练后的深度对称神经重构网络进行测试，得到测试后的深度对称神经重构网络；
S5、将所述测试后的深度对称神经重构网络部署到快照式编码成像系统，利用快照式编码成像系统实时采集得到医药测量图像，经过计算重构，得到重构的三维高光谱图像；
所述S4中的深度对称神经重构网络包括依次连接的第一残差网络、第一空谱注意力机制重构模块、特征细化模块、第二空谱注意力机制重构模块、第二残差网络，所述第一残差网络用于对反向编码后的三维高光谱图像进行特征提取，所述第一空谱注意力机制重构模块用于捕获反向编码后的三维高光谱图像全局非局部的空间-光谱相似性，所述特征细化模块用于捕获反向编码后的三维高光谱图像的上下文特征图，所述第二空谱注意力机制重构模块用于对所述上下文特征图的每个条目进行加权，重构空谱信息，所述第二残差网络用于学习输入和输出的残差信息，并逐步细化特征。
2.如权利要求1所述的基于快照式编码成像系统的医药高光谱重构方法，其特征在于，所述S1中通过高光谱相机采集医药高光谱原始图像并进行预处理，得到预处理后的医药高光谱图像，具体包括：
S11、预设波段、波段间隔和高光谱图像尺寸；
S12、通过高光谱相机采集医药高光谱原始图像，根据所述预设波段和波段间隔从每个医药高光谱原始图像中选出若干个图像并组合，相应得到组合后医药高光谱图像，根据所述预设高光谱图像尺寸对所述组合后医药高光谱图像进行裁剪，得到裁剪后医药高光谱图像；
S13、计算每个裁剪后医药高光谱图像的平均清晰度；
S14、根据平均清晰度对裁剪后医药高光谱图像进行降序排序，选出前80%作为预处理后的医药高光谱图像。
3.如权利要求2所述的基于快照式编码成像系统的医药高光谱重构方法，其特征在于，所述S13中计算每个裁剪后医药高光谱图像的平均清晰度，具体公式为：
Figure QLYQS_4
式中，/>
Figure QLYQS_5
为第/>
Figure QLYQS_9
个裁剪后医药高光谱图像的平均清晰度，/>
Figure QLYQS_1
为第/>
Figure QLYQS_6
个裁剪后医药高光谱图像中第/>
Figure QLYQS_10
个波段图像对应像素点/>
Figure QLYQS_13
的灰度值，/>
Figure QLYQS_2
为第/>
Figure QLYQS_7
个裁剪后医药高光谱图像中第/>
Figure QLYQS_11
个波段图像对应像素点/>
Figure QLYQS_12
的灰度值，/>
Figure QLYQS_3
为裁剪后医药高光谱图像的波段数，/>
Figure QLYQS_8
。
4.如权利要求3所述的基于快照式编码成像系统的医药高光谱重构方法，其特征在于，所述S1中对所述预处理后的医药高光谱图像进行数据增强处理，得到增强后的医药高光谱图像，具体包括：
S15、对所述预处理后的医药高光谱图像中每个通道的二维图像均以预设的旋转角度进行旋转，得到旋转后高光谱图像；
S16、将所述预处理后的医药高光谱图像和对应的旋转后高光谱图像进行拼接，得到混合高光谱图像；
S17、对所述混合高光谱图像进行多次随机裁剪，得到多张裁剪后的混合高光谱图像，将多张所述裁剪后的混合高光谱图像作为增强后的医药高光谱图像。
5.如权利要求4所述的基于快照式编码成像系统的医药高光谱重构方法，其特征在于，所述S2中对所述增强后的医药高光谱图像进行模拟空间编码，获得编码后的测量图像，具体包括：
S21、随机建立包含0和1的二维物理掩码；
S22、根据CASSI的数学模型和所述二维物理掩码，对所述增强后的医药高光谱图像进行模拟空间编码，得到空间编码后的医药高光谱图像；
S23、对所述空间编码后的医药高光谱图像进行光谱偏移，得到倾斜数据立方体；
S24、对所述倾斜数据立方体进行波段融合，并添加椒盐噪声，得到编码后的测量图像。
6.如权利要求5所述的基于快照式编码成像系统的医药高光谱重构方法，其特征在于，所述S3具体包括；
S31、对所述编码后的测量图像进行光谱反移位，得到反移位后的测量图像；
S32、对所述反移位后的测量图像进行反向编码，得到反向编码后的三维高光谱图像；
S33、将所述增强后的医药高光谱图像作为目标图像，将所述反向编码后的三维高光谱图像和所述目标图像共同作为用于监督训练的数据集；
S34、将所述数据集中80%的数据作为训练集，用于对所述深度对称神经重构网络进行训练，将所述数据集中20%的数据作为测试集，用于对所述深度对称神经重构网络进行测试。
7.如权利要求6所述的基于快照式编码成像系统的医药高光谱重构方法，其特征在于，所述S31中对所述编码后的测量图像进行光谱反移位，得到反移位后的测量图像，具体公式为：
Figure QLYQS_14
其中，/>
Figure QLYQS_15
为反移位步长，/>
Figure QLYQS_16
是反移位后的测量图像，H为高光谱图像高度，/>
Figure QLYQS_17
为高光谱图像的波段数，W为高光谱图像宽度，/>
Figure QLYQS_18
为实数，/>
Figure QLYQS_19
表示第n个波段，/>
Figure QLYQS_20
。
8.如权利要求7所述的基于快照式编码成像系统的医药高光谱重构方法，其特征在于，所述S32中对所述反移位后的测量图像进行反向编码，得到反向编码后的三维高光谱图像，具体公式为：
Figure QLYQS_21
其中，/>
Figure QLYQS_22
式中，/>
Figure QLYQS_23
为二维物理掩码，
Figure QLYQS_24
为二维反向物理掩码，/>
Figure QLYQS_25
为反向编码后的三维高光谱图像。
9.如权利要求1所述的基于快照式编码成像系统的医药高光谱重构方法，其特征在于，所述S1中的医药高光谱原始图像包含300nm-2400nm波段的高光谱数据。
CN202310298901.2A 2023-03-24 2023-03-24 一种基于快照式编码成像系统的医药高光谱重构方法 Active CN115994983B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310298901.2A CN115994983B (zh) 2023-03-24 2023-03-24 一种基于快照式编码成像系统的医药高光谱重构方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310298901.2A CN115994983B (zh) 2023-03-24 2023-03-24 一种基于快照式编码成像系统的医药高光谱重构方法

Publications (2)

Publication Number Publication Date
CN115994983A CN115994983A (zh) 2023-04-21
CN115994983B true CN115994983B (zh) 2023-06-02

Family

ID=85992507

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310298901.2A Active CN115994983B (zh) 2023-03-24 2023-03-24 一种基于快照式编码成像系统的医药高光谱重构方法

Country Status (1)

Country Link
CN (1) CN115994983B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116990243B (zh) * 2023-09-26 2024-01-19 湖南大学 一种基于gap框架的轻量化注意力高光谱计算重构方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109886898A (zh) * 2019-03-05 2019-06-14 北京理工大学 基于优化启发的神经网络的光谱成像系统的成像方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102013208415B4 (de) * 2013-05-07 2023-12-28 Carl Zeiss Microscopy Gmbh Mikroskop und Verfahren für die 3D-hochauflösende Lokalisierungsmikroskopie
CN103617617B (zh) * 2013-12-05 2016-05-04 淮海工学院 基于功率谱描述的水下图像质量评价测量方法
CN106170052B (zh) * 2015-05-22 2020-11-06 微软技术许可有限责任公司 双传感器超光谱运动成像系统
CN109883548B (zh) * 2019-03-05 2020-04-21 北京理工大学 基于优化启发的神经网络的光谱成像系统的编码优化方法
CN110533620B (zh) * 2019-07-19 2021-09-10 西安电子科技大学 基于aae提取空间特征的高光谱和全色图像融合方法
CN111783603A (zh) * 2020-06-24 2020-10-16 有半岛(北京)信息科技有限公司 生成对抗网络训练方法、图像换脸、视频换脸方法及装置
CN112985600B (zh) * 2021-02-04 2022-01-04 浙江大学 一种基于衍射的光谱编码成像系统和方法
CN113554720A (zh) * 2021-07-22 2021-10-26 南京航空航天大学 一种基于多方向卷积神经网络的多光谱图像压缩方法及系统
CN114092509A (zh) * 2021-11-12 2022-02-25 湖南大学 一种医药高光谱数据的图像重构方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109886898A (zh) * 2019-03-05 2019-06-14 北京理工大学 基于优化启发的神经网络的光谱成像系统的成像方法

Also Published As

Publication number Publication date
CN115994983A (zh) 2023-04-21

Similar Documents

Publication Publication Date Title
Ruderman et al. Statistics of natural images: Scaling in the woods
CN107525588B (zh) 一种基于gpu的双相机光谱成像系统的快速重构方法
CN115994983B (zh) 一种基于快照式编码成像系统的医药高光谱重构方法
CN108288256A (zh) 一种多光谱马赛克图像复原方法
CN111563562B (zh) 基于卷积神经网络的单帧散射图像的彩色目标重建方法
CN106170052A (zh) 双传感器超光谱运动成像系统
CN109087262B (zh) 一种多视图光谱图像的重建方法、存储介质
CN112802145A (zh) 一种基于深度学习的彩色计算鬼成像方法
CN116503292B (zh) 一种基于SwinIR的高光谱遥感图像去噪方法
Yu et al. Cloud removal in optical remote sensing imagery using multiscale distortion-aware networks
CN114638758A (zh) 一种基于压缩感知的光谱成像技术进行受损图像的恢复重构方法
Mur et al. Deep neural networks for single-pixel compressive video reconstruction
Fryskowska et al. Some aspects of satellite imagery integration from Eros B and Landsat 8
CN109798978B (zh) 一种采用异形蓝色噪声编码孔径的光谱成像方法
Mukojima et al. Deep-learning-assisted single-pixel imaging for gesture recognition in consideration of privacy
Li et al. A brief review on 2D and 3D image reconstruction using single-pixel imaging
Nuffer et al. Multispectral/hyperspectral image enhancement for biological cell analysis
CN115753691A (zh) 一种基于rgb重建高光谱的水质参数检测方法
Lv et al. Turn a silicon camera into an ingaas camera
Wei et al. Rapid hyperspectral imaging system via sub-sampling coding
Huang et al. High-Fidelity Hyperspectral Snapshot of Physical World: System Architecture, Dataset and Model
Zhang et al. Sub-pixel dispersion model for coded aperture snapshot spectral imaging
Soufi et al. Enhancing Accessibility to High-Resolution Satellite Imagery: A Novel Deep Learning-Based Super-Resolution Approach
Sharma DSP in image processing
Pan et al. Perceptual monocular depth estimation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant