CN115994983A - 一种基于快照式编码成像系统的医药高光谱重构方法 - Google Patents
一种基于快照式编码成像系统的医药高光谱重构方法 Download PDFInfo
- Publication number
- CN115994983A CN115994983A CN202310298901.2A CN202310298901A CN115994983A CN 115994983 A CN115994983 A CN 115994983A CN 202310298901 A CN202310298901 A CN 202310298901A CN 115994983 A CN115994983 A CN 115994983A
- Authority
- CN
- China
- Prior art keywords
- image
- hyperspectral
- medical
- hyperspectral image
- reconstruction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 60
- 238000003384 imaging method Methods 0.000 title claims abstract description 47
- 238000005259 measurement Methods 0.000 claims abstract description 56
- 238000001228 spectrum Methods 0.000 claims abstract description 53
- 238000012549 training Methods 0.000 claims abstract description 32
- 238000012360 testing method Methods 0.000 claims abstract description 26
- 210000005036 nerve Anatomy 0.000 claims abstract description 25
- 230000001537 neural effect Effects 0.000 claims abstract description 20
- 238000004364 calculation method Methods 0.000 claims abstract description 15
- 238000012545 processing Methods 0.000 claims abstract description 10
- 230000003595 spectral effect Effects 0.000 claims description 19
- 238000005520 cutting process Methods 0.000 claims description 7
- 235000001466 Ribes nigrum Nutrition 0.000 claims description 5
- 241001312569 Ribes nigrum Species 0.000 claims description 5
- 238000007781 pre-processing Methods 0.000 claims description 5
- 235000002566 Capsicum Nutrition 0.000 claims description 4
- 239000006002 Pepper Substances 0.000 claims description 4
- 235000016761 Piper aduncum Nutrition 0.000 claims description 4
- 235000017804 Piper guineense Nutrition 0.000 claims description 4
- 235000008184 Piper nigrum Nutrition 0.000 claims description 4
- 150000003839 salts Chemical class 0.000 claims description 4
- 238000004088 simulation Methods 0.000 claims description 4
- 230000004927 fusion Effects 0.000 claims description 3
- 238000013178 mathematical model Methods 0.000 claims description 3
- 238000007670 refining Methods 0.000 claims description 3
- 244000203593 Piper nigrum Species 0.000 claims 1
- 238000000605 extraction Methods 0.000 claims 1
- 239000011159 matrix material Substances 0.000 description 19
- 238000011176 pooling Methods 0.000 description 10
- 239000003814 drug Substances 0.000 description 9
- 238000001514 detection method Methods 0.000 description 7
- 238000004422 calculation algorithm Methods 0.000 description 6
- 239000006185 dispersion Substances 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 239000000463 material Substances 0.000 description 4
- 241000722363 Piper Species 0.000 description 3
- 230000006835 compression Effects 0.000 description 3
- 238000007906 compression Methods 0.000 description 3
- 229940079593 drug Drugs 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 229940127554 medical product Drugs 0.000 description 3
- 239000000126 substance Substances 0.000 description 3
- 230000006978 adaptation Effects 0.000 description 2
- 238000000701 chemical imaging Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000004448 titration Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 241000196324 Embryophyta Species 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000008033 biological extinction Effects 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 238000004090 dissolution Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 239000012535 impurity Substances 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 239000000825 pharmaceutical preparation Substances 0.000 description 1
- 229940127557 pharmaceutical product Drugs 0.000 description 1
- 238000002310 reflectometry Methods 0.000 description 1
- 238000007634 remodeling Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000011179 visual inspection Methods 0.000 description 1
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
- Y02A40/10—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in agriculture
Landscapes
- Image Processing (AREA)
Abstract
本发明公开了一种基于快照式编码成像系统的医药高光谱重构方法,采集医药高光谱原始图像并处理,得到增强后的医药高光谱图像,经过模拟空间编码,获得编码后的测量图像,对编码后的测量图像进行光谱反移位后作反向编码处理,得到反向编码后的三维高光谱图像,将增强后的医药高光谱图像作为目标图像,根据反编码后的测量图像和目标图像构建训练集和测试集;搭建深度对称神经重构网络,并通过训练集和测试集进行训练和测试;将测试后的深度对称神经重构网络部署到快照式编码成像系统,利用快照式编码成像系统实时采集得到医药测量图像,经过计算重构,得到重构的三维高光谱图像。该方法能够实现对快照式成像系统医药高光谱的高质量重构。
Description
技术领域
本发明属于高光谱图像重构领域,具体涉及一种基于快照式编码成像系统的医药高光谱重构方法。
背景技术
目前,对于医药流水线生产工艺生产的医药产品的质量检测,国内外大都采用化学滴定和以RGB相机组成的视觉检测。化学滴定不仅需要培训专业的实验人员,浪费大量财力物力,还在很大程度上增加了企业生产成本,而且检测时间长,极大影响生产效率。虽然RGB视觉检测解放了劳动力,能在一定程度上满足部分医药安全质量检测,但是RGB相机只能拍摄由R、G、B三个通道组成的包含空间信息的RGB图像,缺乏光谱维度的特征,不能满足成分、含量等检测分析的需求,这极大地限制了检测能力。而高光谱成像是一种将传统二维成像技术和光谱技术有机结合的前沿新兴技术,它利用物质特有的反射特征,采样场景的光谱反射率,捕捉场景的详细光谱分布,获取同时融合空间信息和光谱信息的三维数据立方体,也就是三维高光谱图像。能够实现对医药的质量、成分、含量、可见异物、澄清度、均匀度、溶出度等多个检测项的集成、快速、无损和精准测量。
快照压缩光谱成像通过多路复用技术将三维高光谱数据调制到2D探测器,能在单次的采样中同时捕获空间信息和光谱信息,有效地避免了运动伪影,使得高速高光谱成像成为可能。因此,研究如何把二维测量图像计算重构成三维高光谱图像是一个极需解决的难题。
由于快照式编码成像系统的观测值是原始数据的投影,从采集的二维测量图像重建三维高光谱数据的方程未知数大于方程个数,解并不唯一,是一个高度不适定问题。目前,众所周知的传统算法有贪婪迭代算法、凸优化算法、进化算法等,然而,这些根据经验制作的手工先验难以描述真实场景的复杂光谱特征,降低了成像的质量。
基于深度学习的算法能够借助外部数据库隐式地学习得到先验以及光谱空间相似性和结构相似性去增强初解得到终解。目前,基于学习的算法已经应用到遥感、植物光谱、医学影像等领域,但在医药产品的图像重构领域还鲜有研究,如何通过快照式编码成像系统对医药高光谱数据进行高效重构,成了本领域技术人员致力研究的问题。
发明内容
为了避免现有技术中的不足,本发明提供了一种基于快照式编码成像系统的医药高光谱重构方法,具体包括如下步骤:
S1、通过高光谱相机采集医药高光谱原始图像并预处理,得到预处理后的医药高光谱图像,对预处理后的医药高光谱图像进行数据增强处理,得到增强后的医药高光谱图像;
S2、对增强后的医药高光谱图像进行模拟空间编码,获得编码后的测量图像;
S3、对编码后的测量图像进行光谱反移位后再作反向编码处理,得到反向编码后的三维高光谱图像,将增强后的医药高光谱图像作为目标图像,将反向编码后的三维高光谱图像和目标图像共同作为用于监督训练的数据集,根据数据集构建训练集和测试集;
S4、搭建深度对称神经重构网络,通过训练集对深度对称神经重构网络进行训练,调整网络损失,反向传播并更新网络参数,得到训练后的深度对称神经重构网络,通过测试集对训练后的深度对称神经重构网络进行测试,得到测试后的深度对称神经重构网络;
S5、将测试后的深度对称神经重构网络部署到快照式编码成像系统,利用快照式编码成像系统实时采集得到医药测量图像,经过计算重构,得到重构的三维高光谱图像。
优选地,S1中通过高光谱相机采集医药高光谱原始图像并进行预处理,得到预处理后的医药高光谱图像,具体包括:
S11、预设波段、波段间隔和高光谱图像尺寸;
S12、通过高光谱相机采集医药高光谱原始图像,根据预设波段和波段间隔从每个医药高光谱原始图像中选出若干个图像并组合,相应得到组合后医药高光谱图像,根据预设高光谱图像尺寸对组合后医药高光谱图像进行裁剪,得到裁剪后医药高光谱图像;
S13、计算每个裁剪后医药高光谱图像的平均清晰度;
S14、根据平均清晰度对裁剪后医药高光谱图像进行降序排序,选出前80%作为预处理后的医药高光谱图像。
优选地,S13中计算每个裁剪后医药高光谱图像的平均清晰度,具体公式为:
式中,为第个裁剪后医药高光谱图像的平均清晰度,为第个裁剪后医药高光谱图像中第个波段图像对应像素点的灰度值,为第个裁剪后医药高光谱图像中第个波段图像对应像素点的灰度值,为裁剪后医药高光谱图像的波段数,。
优选地,S1中对预处理后的医药高光谱图像进行数据增强处理,得到增强后的医药高光谱图像,具体包括:
S15、对预处理后的医药高光谱图像中每个通道的二维图像均以预设的旋转角度进行旋转,得到旋转后高光谱图像;
S16、将预处理后的医药高光谱图像和对应的旋转后高光谱图像进行拼接,得到混合高光谱图像;
S17、对混合高光谱图像进行多次随机裁剪,得到多张裁剪后的混合高光谱图像,将多张裁剪后的混合高光谱图像作为增强后的医药高光谱图像。
优选地,S2中对增强后的医药高光谱图像进行模拟空间编码,获得编码后的测量图像,具体包括:
S21、随机建立包含0和1的二维物理掩码;
S22、根据CASSI的数学模型和二维物理掩码,对增强后的医药高光谱图像进行模拟空间编码,得到空间编码后的医药高光谱图像;
S23、对空间编码后的医药高光谱图像进行光谱偏移,得到倾斜数据立方体;
S24、对倾斜数据立方体进行波段融合,并添加椒盐噪声,得到编码后的测量图像。
优选地,S3具体包括;
S31、对编码后的测量图像进行光谱反移位,得到反移位后的测量图像;
S32、对反移位后的测量图像进行反向编码,得到反向编码后的三维高光谱图像;
S33、将增强后的医药高光谱图像作为目标图像,将反向编码后的三维高光谱图像和目标图像共同作为用于监督训练的数据集;
S34、将数据集中80%的数据作为训练集,用于对深度对称神经重构网络进行训练,将数据集中20%的数据作为测试集,用于对深度对称神经重构网络进行测试。
优选地,S31中对编码后的测量图像进行光谱反移位,得到反移位后的测量图像,具体公式为:
优选地,S32中对反移位后的测量图像进行反向编码,得到反向编码后的三维高光谱图像,具体公式为:
优选地,S4中的深度对称神经重构网络包括依次连接的第一残差网络、第一空谱注意力机制重构模块、特征细化模块、第二空谱注意力机制重构模块、第二残差网络,第一残差网络用于对反向编码后的三维高光谱图像进行特征提取,第一空谱注意力机制重构模块用于捕获反向编码后的三维高光谱图像全局非局部的空间-光谱相似性,特征细化模块用于捕获反向编码后的三维高光谱图像的上下文特征图,第二空谱注意力机制重构模块用于对上下文特征图的每个条目进行加权,重构空谱信息,第二残差网络用于学习输入和输出的残差信息,并逐步细化特征。
优选地,S1中的医药高光谱原始图像包含300nm-2400nm波段的高光谱数据。
上述一种基于快照式编码成像系统的医药高光谱重构方法,首先通过数据增强扩大样本数量,提高模型泛化能力和鲁棒性;然后对数据集进行模拟快照编码得到具备参考数据的观测图像,并根据CASSI(快照式编码成像系统)的色散原理和空间编码原理对观测图像进行反移位和反向编码以实现从三维到三维的映射;接着采用一种改进的融合空谱注意力机制和特征细化模块的深度重构网络进行重构,最后把重构网络部署到快照式编码成像系统上,从而实现医药高光谱快照式采集和计算重构。
附图说明
图1是本发明一实施例中一种基于快照式编码成像系统的医药高光谱重构方法的流程图;
图2是本发明一实施例中深度对称神经重构网络的网络结构示意图;
图3是本发明一实施例中第一空谱注意力机制重构模块的计算过程示意图;
图4是本发明一实施例中医药药片重建结果对比图,图4中的(a),(c),(e),(g)分别为医药药片在462nm、559nm、586nm、615nm四个波段下的原始图,图4中的(b),(d),(f),(h)分别为医药药片在462nm、559nm、586nm、615nm四个波段下的重构图;
图5是本发明一实施例中药药材重建结果对比图,图5中的(a),(c),(e),(g)分别为医药药材在462nm、559nm、586nm、615nm四个波段下的原始图,图5中的(b),(d),(f),(h)分别为医药药材在462nm、559nm、586nm、615nm四个波段下的重构图。
具体实施方式
为了使本技术领域的人员更好地理解本发明的技术方案,下面结合附图对本发明作进一步的详细说明。
一种基于快照式编码成像系统的医药高光谱重构方法,具体包括:
S1、通过高光谱相机采集医药高光谱原始图像并预处理,得到预处理后的医药高光谱图像,对预处理后的医药高光谱图像进行数据增强处理,得到增强后的医药高光谱图像;
S2、对增强后的医药高光谱图像进行模拟空间编码,获得编码后的测量图像;
S3、对编码后的测量图像进行光谱反移位后再作反向编码处理,得到反向编码后的三维高光谱图像,将增强后的医药高光谱图像作为目标图像,将反向编码后的三维高光谱图像和目标图像共同作为用于监督训练的数据集,根据数据集构建训练集和测试集;
S4、搭建深度对称神经重构网络,通过训练集对深度对称神经重构网络进行训练,调整网络损失,反向传播并更新网络参数,得到训练后的深度对称神经重构网络,通过测试集对训练后的深度对称神经重构网络进行测试,得到测试后的深度对称神经重构网络;
S5、将测试后的深度对称神经重构网络部署到快照式编码成像系统,利用快照式编码成像系统实时采集得到医药测量图像,经过计算重构,得到重构的三维高光谱图像。
具体地,参见图1,图1为本发明一实施例中一种基于快照式编码成像系统的医药高光谱重构方法的流程图。
一种基于快照式编码成像系统的医药高光谱重构方法,具体包括:
首先通过高光谱相机采集医药高光谱原始图像数据。具体地,在Dualix双利合谱高光谱分选仪的黑色底盘上均匀摆放待检测药品,设定好传送带的速度,以环绕形式对称设置八组照射光源,采用可见光波段和近红外波段的两个高光谱相机分别拍摄一次。需要说明的是,在本步骤中,两个高光谱相机间隔一定距离,待检测药品传送到可见光波段相机后,减速再加速,在间隔距离内调整传送带的速度以近红外波段高光谱相机的速度运行,拍摄得到医药高光谱原始图像,格式为raw格式。进一步地,采集的医药高光谱原始图像包含300nm-2400nm波段的高光谱数据,由于这一波段的高光谱数据包含了可见光和近红外,大部分药品和杂质特征在该波段范围可以实现有效区分。
然后对医药高光谱原始图像进行预处理和数据增强处理,得到增强后的医药高光谱图像,对增强后的医药高光谱图像进行模拟空间编码,获得编码后的测量图像;接着对编码后的测量图像进行光谱反移位后再作反向编码处理,得到反向编码后的三维高光谱图像,将增强后的医药高光谱图像作为反向编码后的三维高光谱图像对应的目标图像,将反向编码处理后的测量图像和目标图像共同作为用于监督训练的数据集,根据数据集构建训练集和测试集;
接着搭建深度对称神经重构网络,通过训练集对深度对称神经重构网络进行训练,调整网络损失,反向传播并更新网络参数,得到训练后的深度对称神经重构网络,通过测试集对训练后的深度对称神经重构网络进行测试,得到测试后的深度对称神经重构网络;
最后将测试后的深度对称神经重构网络部署到快照式编码成像系统,通过快照式编码成像系统进行实时采集,得到医药测量图像,对医药测量图像进行计算重构,得到重构的三维高光谱图像,从而实现医药高光谱快照式采集和计算重构。与主流的高光谱相机不同,快照式编码成像系统是利用压缩感知原理,使用物镜、棱镜、CCD探测器、物理掩码等光学器件,用时间换空间,能够实现一次能像,得到的就是混叠的二维压缩测量值,也就是医药测量图像。
在一个实施例中,S1中通过高光谱相机采集医药高光谱原始图像并进行预处理,得到预处理后的医药高光谱图像,具体包括:
S11、预设波段、波段间隔和高光谱图像尺寸;
S12、通过高光谱相机采集医药高光谱原始图像,根据预设波段和波段间隔从每个医药高光谱原始图像中选出若干个图像并组合,相应得到组合后医药高光谱图像,根据预设高光谱图像尺寸对组合后医药高光谱图像进行裁剪,得到裁剪后医药高光谱图像;
S13、计算每个裁剪后医药高光谱图像的平均清晰度;
S14、根据平均清晰度对裁剪后医药高光谱图像进行降序排序,选出前80%作为预处理后的医药高光谱图像。
S13中计算每个裁剪后医药高光谱图像的平均清晰度,具体公式为:
式中,为第个裁剪后医药高光谱图像的平均清晰度,为第个裁剪后医药高光谱图像中第个波段图像对应像素点的灰度值,为第个裁剪后医药高光谱图像中第个波段图像对应像素点的灰度值,为裁剪后医药高光谱图像的波段数,。
具体地,在对所有采集的医药高光谱原始图像进行进行预处理,得到预处理后的医药高光谱图像,过程如下:
预设波段为300nm ~580nm,波段间隔为10nm,可计算得出波段数,保证每个波段的图像区分度明显。综合考量医药产品的像素占比,预设高光谱图像尺寸为,以最大化展现医药产品的全部特征。此外,为匹配后续处理步骤,将采集的医药高光谱原始图像的格式转换成.mat格式;
从每一幅医药高光谱原始图像中先抽取300nm-580nm波段,再以波段间隔为10nm提取出28个波段图像并重新组合,得到组合后医药高光谱图像,采用的矩形框框定药品居中的区域并裁剪,得到的裁剪后医药高光谱图像。
计算每个裁剪后医药高光谱图像的平均清晰度,平均清晰度的计算公式如下:
式中,为第个裁剪后医药高光谱图像的平均清晰度,为第个裁剪后医药高光谱图像中第个波段图像对应像素点的灰度值,为第个裁剪后医药高光谱图像中第个波段图像对应像素点的灰度值,为裁剪后医药高光谱图像的波段数,。
根据平均清晰度值对裁剪后医药高光谱图像进行降序排序并从中选出前80%,由此得到药品居中、尺寸统一的预处理后的医药高光谱图像。
在一个实施例中,S1中对预处理后的医药高光谱图像进行数据增强处理,得到增强后的医药高光谱图像,具体包括:
S15、对预处理后的医药高光谱图像中每个通道的二维图像均以预设的旋转角度进行旋转,得到旋转后高光谱图像;
S16、将预处理后的医药高光谱图像和对应的旋转后高光谱图像进行拼接,得到混合高光谱图像;
S17、对混合高光谱图像进行多次随机裁剪,得到多张裁剪后的混合高光谱图像,将多张裁剪后的混合高光谱图像作为增强后的医药高光谱图像。
具体地,在采样样本少的情况下,对预处理后的医药高光谱图像进行数据增强处理,可以得到多个数据样本。对每张预处理后的医药高光谱图像每个通道的二维图像都进行相同角度的旋转,比如均旋转90°、180°和 270°,得到三张旋转后二维图像,将这三张旋转后的二维图像和原来的二维图像进行拼接,得到一张大小为的混合高光谱图像,对混合高光谱图像进行多次随机裁剪,得到多张大小为的裁剪后混合高光谱图像,将多张裁剪后混合高光谱图像作为增强后的医药高光谱图像。
在一个实施例中,S2中对增强后的医药高光谱图像进行模拟空间编码,获得编码后的测量图像,具体包括:
S21、随机建立包含0和1的二维物理掩码;
S22、根据CASSI的数学模型和二维物理掩码,对增强后的医药高光谱图像进行模拟空间编码,得到空间编码后的医药高光谱图像;
S23、对空间编码后的医药高光谱图像进行光谱偏移,得到倾斜数据立方体;
S24、对倾斜数据立方体进行波段融合,并添加椒盐噪声,得到编码后的测量图像。
具体地,对增强后的医药高光谱图像进行模拟空间编码,获得编码后的测量图像,包括:
2)将增强后的医药高光谱图像与二维物理掩码M相乘,进行模拟空间编码,得到空间编码调制后的医药高光谱图像,具体公式为:
在一个实施例中,S3具体包括;
S31、对编码后的测量图像进行光谱反移位,得到反移位后的测量图像;
S32、对反移位后的测量图像进行反向编码,得到反向编码后的三维高光谱图像;
S33、将增强后的医药高光谱图像作为目标图像,将反向编码后的三维高光谱图像和目标图像共同作为用于监督训练的数据集;
S34、将数据集中80%的数据作为训练集,用于对深度对称神经重构网络进行训练,将数据集中20%的数据作为测试集,用于对深度对称神经重构网络进行测试。
在一个实施例中,S31中对编码后的测量图像进行光谱反移位,得到反移位后的测量图像,具体公式为:
在一个实施例中,S32中对反移位后的测量图像进行反向编码,得到反向编码后的三维高光谱图像,具体公式为:
具体地:
1)根据快照式编码成像系统中分散器对编码光谱的色散偏移原理,对模拟观测值y(也就是编码后的测量图像)进行光谱反移位,得到反移位后的测量图像,具体公式为:
3)将增强后的医药高光谱图像作为目标图像,也就是标签,将反向编码后的三维高光谱图像和目标图像共同作为数据集,将数据集中80%作为训练集,用于训练深度对称神经重构网络的各项参数,将数据集中20%作为测试集,用于测试评估深度对称神经重构网络中的参数性能。
在一个实施例中,S4中的深度对称神经重构网络包括依次连接的第一残差网络、第一空谱注意力机制重构模块、特征细化模块、第二空谱注意力机制重构模块、第二残差网络,第一残差网络用于对反向编码后的三维高光谱图像进行特征提取,第一空谱注意力机制重构模块用于捕获反向编码后的三维高光谱图像全局非局部的空间-光谱相似性,特征细化模块用于捕获反向编码后的三维高光谱图像的上下文特征图,第二空谱注意力机制重构模块用于对上下文特征图的每个条目进行加权,重构空谱信息,第二残差网络用于学习输入和输出的残差信息,并逐步细化特征。
具体地,参见图2,图2为本发明一实施例中深度对称神经重构网络的网络结构示意图。
在图2中,深度对称神经重构网络包括依次连接的第一残差网络、第一空谱注意力机制重构模块、特征细化模块、第二空谱注意力机制重构模块、第二残差网络。深度对称神经重构网络以残差网络为骨架,建立融合细化特征模块和空谱注意力机制的重构模块参与监督训练,其中第一残差网络和第二残差网络的网络结构相同,第一空谱注意力机制重构模块和第二空谱注意力机制重构模块的网络结构相同。
第一残差网络用于对反向编码后的三维高光谱图像进行特征提取,挖掘其混叠的图像信息和编码信息;第一空谱注意力机制重构模块采用空间注意力输出特征与光谱注意力特征联融合输出的方式捕获反向编码后的三维高光谱图像全局非局部的空间-光谱相似性,其中空间注意力通道计算空间相关性,光谱注意力计算光谱相似性;特征细化模块采用三层级联的多尺度3D卷积代替传统的2D卷积来捕获反向编码后的三维高光谱图像的上下文;第二空谱注意力机制重构模块用于进一步的自适应地对所捕的上下文特征图的每个条目进行加权,以有效地重构空谱信息;第二残差网络以跳跃地形式学习所输入和输出地残差信息,并逐步细化特征表示,同时有效避免梯度消失。
分别利用第一残差网络和第二残差网络的跳跃连接学习输入与输出之间的残差信息,逐步细化特征表示,并在多个阶段累计知识,这样可避免网络过深而导致的梯度消失,具体可量化为:
第一空谱注意力机制重构模块和第二空谱注意力机制重构模块的空谱注意力机制均采用空间注意力特征与光谱注意力特征联融合输出的方式,通过分别求解光谱注意力矩阵和空间注意力矩阵从而得到权重系数,进而获得每个特征的权重占比,以挖掘和捕获全局非局部空间-光谱相似性。
具体参见图3,图3为本发明一实施例中第一空谱注意力机制模块的计算过程示意图。
以第一空谱注意力机制模块为例,具体计算过程如下:
最后特征细化模块采用三层级联的3D卷积神经网络来深度挖掘残余的空谱信息。
第二空谱注意力机制模块的计算过程和第一空谱注意力机制模块的计算过程相同,此处不再赘述。
根据深度对称神经重构网络在测试集上输出的重构图像的峰值信噪比PSNR和结构相似性SSIM来评估该深度对称神经重构网络的最终性能,判断重构质量是否达标,如果达标,将训练好的深度对称神经重构网络部署到快照式编码成像系统,从而实现医药高光谱快照式采集和计算重构,反之,如果不达标,需要对深度对称神经重构网络进行再次监督训练,并通过测试集测试其最终性能,直至重构质量达标。
参见图4和图5,图4为本发明一实施例中医药药片重建结果对比图,图5为本发明一实施例中医药药材重建结果对比图。
从图4和图5中可以看出,对于医药高光谱图图像所展示的各个波段,重建结果都展现出优异的视觉细节,未出现明显模糊、混叠、色彩失真等现象。进一步地,图4中医药药片重构图像的峰值信噪比为39.56dB,结构相似性为0.982,图5中医药药材的峰值信噪比为41.88dB,结构相似性为0.990,均展现出与对应的真实三维医药高光谱图像极高的相似度。
上述一种基于快照式编码成像系统的医药高光谱重构方法,首先通过数据增强扩大样本数量,提高模型泛化能力和鲁棒性;然后对增强后的医药高光谱图像进行模拟空间编码得到具备参考数据的观测图像,并根据CASSI(快照式编码成像系统)的色散原理和空间编码原理对观测图像进行反移位和反向编码以实现从三维到三维的映射;接着采用一种改进的融合空谱注意力机制和特征细化模块的深度重构网络进行重构,最后把重构网络部署到快照式编码成像系统上,从而实现医药高光谱快照式采集和计算重构。
以上对本发明所提供的一种基于快照式编码成像系统的医药高光谱重构方法进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的核心思想。应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以对本发明进行若干改进和修饰,这些改进和修饰也落入本发明权利要求的保护范围内。
Claims (10)
1.一种基于快照式编码成像系统的医药高光谱重构方法,其特征在于,所述方法包括:
S1、通过高光谱相机采集医药高光谱原始图像并预处理,得到预处理后的医药高光谱图像,对所述预处理后的医药高光谱图像进行数据增强处理,得到增强后的医药高光谱图像;
S2、对所述增强后的医药高光谱图像进行模拟空间编码,获得编码后的测量图像;
S3、对所述编码后的测量图像进行光谱反移位后再作反向编码处理,得到反向编码后的三维高光谱图像,将所述增强后的医药高光谱图像作为目标图像,将所述反向编码后的三维高光谱图像和所述目标图像共同作为用于监督训练的数据集,根据所述数据集构建训练集和测试集;
S4、搭建深度对称神经重构网络,通过所述训练集对所述深度对称神经重构网络进行训练,调整网络损失,反向传播并更新网络参数,得到训练后的深度对称神经重构网络,通过所述测试集对所述训练后的深度对称神经重构网络进行测试,得到测试后的深度对称神经重构网络;
S5、将所述测试后的深度对称神经重构网络部署到快照式编码成像系统,利用快照式编码成像系统实时采集得到医药测量图像,经过计算重构,得到重构的三维高光谱图像。
2.如权利要求1所述的基于快照式编码成像系统的医药高光谱重构方法,其特征在于,所述S1中通过高光谱相机采集医药高光谱原始图像并进行预处理,得到预处理后的医药高光谱图像,具体包括:
S11、预设波段、波段间隔和高光谱图像尺寸;
S12、通过高光谱相机采集医药高光谱原始图像,根据所述预设波段和波段间隔从每个医药高光谱原始图像中选出若干个图像并组合,相应得到组合后医药高光谱图像,根据所述预设高光谱图像尺寸对所述组合后医药高光谱图像进行裁剪,得到裁剪后医药高光谱图像;
S13、计算每个裁剪后医药高光谱图像的平均清晰度;
S14、根据平均清晰度对裁剪后医药高光谱图像进行降序排序,选出前80%作为预处理后的医药高光谱图像。
4.如权利要求3所述的基于快照式编码成像系统的医药高光谱重构方法,其特征在于,所述S1中对所述预处理后的医药高光谱图像进行数据增强处理,得到增强后的医药高光谱图像,具体包括:
S15、对所述预处理后的医药高光谱图像中每个通道的二维图像均以预设的旋转角度进行旋转,得到旋转后高光谱图像;
S16、将所述预处理后的医药高光谱图像和对应的旋转后高光谱图像进行拼接,得到混合高光谱图像;
S17、对所述混合高光谱图像进行多次随机裁剪,得到多张裁剪后的混合高光谱图像,将多张所述裁剪后的混合高光谱图像作为增强后的医药高光谱图像。
5.如权利要求4所述的基于快照式编码成像系统的医药高光谱重构方法,其特征在于,所述S2中对所述增强后的医药高光谱图像进行模拟空间编码,获得编码后的测量图像,具体包括:
S21、随机建立包含0和1的二维物理掩码;
S22、根据CASSI的数学模型和所述二维物理掩码,对所述增强后的医药高光谱图像进行模拟空间编码,得到空间编码后的医药高光谱图像;
S23、对所述空间编码后的医药高光谱图像进行光谱偏移,得到倾斜数据立方体;
S24、对所述倾斜数据立方体进行波段融合,并添加椒盐噪声,得到编码后的测量图像。
6.如权利要求5所述的基于快照式编码成像系统的医药高光谱重构方法,其特征在于,所述S3具体包括;
S31、对所述编码后的测量图像进行光谱反移位,得到反移位后的测量图像;
S32、对所述反移位后的测量图像进行反向编码,得到反向编码后的三维高光谱图像;
S33、将所述增强后的医药高光谱图像作为目标图像,将所述反向编码后的三维高光谱图像和所述目标图像共同作为用于监督训练的数据集;
S34、将所述数据集中80%的数据作为训练集,用于对所述深度对称神经重构网络进行训练,将所述数据集中20%的数据作为测试集,用于对所述深度对称神经重构网络进行测试。
9.如权利要求8所述的基于快照式编码成像系统的医药高光谱重构方法,其特征在于,所述S4中的深度对称神经重构网络包括依次连接的第一残差网络、第一空谱注意力机制重构模块、特征细化模块、第二空谱注意力机制重构模块、第二残差网络,所述第一残差网络用于对反向编码后的三维高光谱图像进行特征提取,所述第一空谱注意力机制重构模块用于捕获反向编码后的三维高光谱图像全局非局部的空间-光谱相似性,所述特征细化模块用于捕获反向编码后的三维高光谱图像的上下文特征图,所述第二空谱注意力机制重构模块用于对所述上下文特征图的每个条目进行加权,重构空谱信息,所述第二残差网络用于学习输入和输出的残差信息,并逐步细化特征。
10.如权利要求1所述的基于快照式编码成像系统的医药高光谱重构方法,其特征在于,所述S1中的医药高光谱原始图像包含300nm-2400nm波段的高光谱数据。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310298901.2A CN115994983B (zh) | 2023-03-24 | 2023-03-24 | 一种基于快照式编码成像系统的医药高光谱重构方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310298901.2A CN115994983B (zh) | 2023-03-24 | 2023-03-24 | 一种基于快照式编码成像系统的医药高光谱重构方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115994983A true CN115994983A (zh) | 2023-04-21 |
CN115994983B CN115994983B (zh) | 2023-06-02 |
Family
ID=85992507
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310298901.2A Active CN115994983B (zh) | 2023-03-24 | 2023-03-24 | 一种基于快照式编码成像系统的医药高光谱重构方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115994983B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116990243A (zh) * | 2023-09-26 | 2023-11-03 | 湖南大学 | 一种基于gap框架的轻量化注意力高光谱计算重构方法 |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103617617A (zh) * | 2013-12-05 | 2014-03-05 | 淮海工学院 | 基于功率谱描述的水下图像质量评价测量方法 |
US20160085062A1 (en) * | 2013-05-07 | 2016-03-24 | Carl Zeiss Microscopy Gmbh | Microscope and method for 3d high-resolution localization microscopy with an enlarged measurement region |
US20180182069A1 (en) * | 2015-05-22 | 2018-06-28 | Microsoft Technology Licensing, Llc | Dual-sensor hyperspectral motion imaging system |
CN109883548A (zh) * | 2019-03-05 | 2019-06-14 | 北京理工大学 | 基于优化启发的神经网络的光谱成像系统的编码优化方法 |
CN109886898A (zh) * | 2019-03-05 | 2019-06-14 | 北京理工大学 | 基于优化启发的神经网络的光谱成像系统的成像方法 |
CN110533620A (zh) * | 2019-07-19 | 2019-12-03 | 西安电子科技大学 | 基于aae提取空间特征的高光谱和全色图像融合方法 |
CN112985600A (zh) * | 2021-02-04 | 2021-06-18 | 浙江大学 | 一种基于衍射的光谱编码成像系统和方法 |
CN113554720A (zh) * | 2021-07-22 | 2021-10-26 | 南京航空航天大学 | 一种基于多方向卷积神经网络的多光谱图像压缩方法及系统 |
WO2021258920A1 (zh) * | 2020-06-24 | 2021-12-30 | 百果园技术(新加坡)有限公司 | 生成对抗网络训练方法、图像换脸、视频换脸方法及装置 |
CN114092509A (zh) * | 2021-11-12 | 2022-02-25 | 湖南大学 | 一种医药高光谱数据的图像重构方法 |
-
2023
- 2023-03-24 CN CN202310298901.2A patent/CN115994983B/zh active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20160085062A1 (en) * | 2013-05-07 | 2016-03-24 | Carl Zeiss Microscopy Gmbh | Microscope and method for 3d high-resolution localization microscopy with an enlarged measurement region |
CN103617617A (zh) * | 2013-12-05 | 2014-03-05 | 淮海工学院 | 基于功率谱描述的水下图像质量评价测量方法 |
US20180182069A1 (en) * | 2015-05-22 | 2018-06-28 | Microsoft Technology Licensing, Llc | Dual-sensor hyperspectral motion imaging system |
CN109883548A (zh) * | 2019-03-05 | 2019-06-14 | 北京理工大学 | 基于优化启发的神经网络的光谱成像系统的编码优化方法 |
CN109886898A (zh) * | 2019-03-05 | 2019-06-14 | 北京理工大学 | 基于优化启发的神经网络的光谱成像系统的成像方法 |
CN110533620A (zh) * | 2019-07-19 | 2019-12-03 | 西安电子科技大学 | 基于aae提取空间特征的高光谱和全色图像融合方法 |
WO2021258920A1 (zh) * | 2020-06-24 | 2021-12-30 | 百果园技术(新加坡)有限公司 | 生成对抗网络训练方法、图像换脸、视频换脸方法及装置 |
CN112985600A (zh) * | 2021-02-04 | 2021-06-18 | 浙江大学 | 一种基于衍射的光谱编码成像系统和方法 |
CN113554720A (zh) * | 2021-07-22 | 2021-10-26 | 南京航空航天大学 | 一种基于多方向卷积神经网络的多光谱图像压缩方法及系统 |
CN114092509A (zh) * | 2021-11-12 | 2022-02-25 | 湖南大学 | 一种医药高光谱数据的图像重构方法 |
Non-Patent Citations (3)
Title |
---|
LIANG GAO: "Snapshot Image Mapping Spectrometer (IMS) with high sampling density for hyperspectral microscopy", 《OPTICS EXPRESS》, pages 14330 - 14344 * |
袁晓玲;冯燕;贾应彪;: "一种高光谱图像分布式压缩感知重构方法", 电子设计工程, no. 14, pages 187 - 190 * |
陈煜嵘: "医学高光谱显微成像与智能分析关键技术研究及应用", 《人工智能综述分析》, pages 22 - 32 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116990243A (zh) * | 2023-09-26 | 2023-11-03 | 湖南大学 | 一种基于gap框架的轻量化注意力高光谱计算重构方法 |
CN116990243B (zh) * | 2023-09-26 | 2024-01-19 | 湖南大学 | 一种基于gap框架的轻量化注意力高光谱计算重构方法 |
Also Published As
Publication number | Publication date |
---|---|
CN115994983B (zh) | 2023-06-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106840398B (zh) | 一种多光谱光场成像方法 | |
CN107525588B (zh) | 一种基于gpu的双相机光谱成像系统的快速重构方法 | |
CN112700499A (zh) | 一种辐照环境下基于深度学习的视觉定位仿真方法及系统 | |
CN111563562B (zh) | 基于卷积神经网络的单帧散射图像的彩色目标重建方法 | |
CN115994983B (zh) | 一种基于快照式编码成像系统的医药高光谱重构方法 | |
Zheng et al. | Joint image and depth estimation with mask-based lensless cameras | |
CN108288256A (zh) | 一种多光谱马赛克图像复原方法 | |
CN109977834B (zh) | 从深度图像中分割人手与交互物体的方法和装置 | |
CN106170052A (zh) | 双传感器超光谱运动成像系统 | |
CN109087262B (zh) | 一种多视图光谱图像的重建方法、存储介质 | |
CN112802145A (zh) | 一种基于深度学习的彩色计算鬼成像方法 | |
Khryashchev et al. | Modification of U-Net neural network in the task of multichannel satellite images segmentation | |
CN114638758A (zh) | 一种基于压缩感知的光谱成像技术进行受损图像的恢复重构方法 | |
CN116503292A (zh) | 一种基于SwinIR的高光谱遥感图像去噪方法 | |
Goode et al. | Machine learning for fast transients for the Deeper, Wider, Faster programme with the Removal Of BOgus Transients (ROBOT) pipeline | |
Mukojima et al. | Deep-learning-assisted single-pixel imaging for gesture recognition in consideration of privacy | |
Li et al. | A brief review on 2D and 3D image reconstruction using single-pixel imaging | |
CN115278247A (zh) | 一种偏振光谱视频压缩采集系统 | |
Nuffer et al. | Multispectral/hyperspectral image enhancement for biological cell analysis | |
CN115753691A (zh) | 一种基于rgb重建高光谱的水质参数检测方法 | |
Huang et al. | High-Fidelity Hyperspectral Snapshot of Physical World: System Architecture, Dataset and Model | |
Lv et al. | Turn a silicon camera into an ingaas camera | |
Xu et al. | Fast non-iterative blind restoration of hyperspectral images with spectrally-varying PSFs | |
CN112347925A (zh) | 基于二进制神经网络的单光子压缩识别系统及其使用方法 | |
Zhang et al. | Sub-pixel dispersion model for coded aperture snapshot spectral imaging |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |