CN114092509A - 一种医药高光谱数据的图像重构方法 - Google Patents
一种医药高光谱数据的图像重构方法 Download PDFInfo
- Publication number
- CN114092509A CN114092509A CN202111341858.0A CN202111341858A CN114092509A CN 114092509 A CN114092509 A CN 114092509A CN 202111341858 A CN202111341858 A CN 202111341858A CN 114092509 A CN114092509 A CN 114092509A
- Authority
- CN
- China
- Prior art keywords
- image
- medical
- hyperspectral
- data
- hyperspectral image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 46
- 238000005457 optimization Methods 0.000 claims abstract description 19
- 238000007781 pre-processing Methods 0.000 claims abstract description 18
- 239000000843 powder Substances 0.000 claims description 47
- 239000003814 drug Substances 0.000 claims description 43
- 230000009466 transformation Effects 0.000 claims description 40
- 239000011159 matrix material Substances 0.000 claims description 15
- 230000003595 spectral effect Effects 0.000 claims description 14
- 238000012958 reprocessing Methods 0.000 claims description 12
- 239000012535 impurity Substances 0.000 claims description 9
- 238000003708 edge detection Methods 0.000 claims description 8
- 238000012545 processing Methods 0.000 claims description 8
- 230000005540 biological transmission Effects 0.000 claims description 7
- 230000006870 function Effects 0.000 claims description 7
- 235000009508 confectionery Nutrition 0.000 claims description 6
- 238000001914 filtration Methods 0.000 claims description 6
- 239000000126 substance Substances 0.000 claims description 4
- 230000009286 beneficial effect Effects 0.000 claims description 3
- 150000001875 compounds Chemical class 0.000 claims description 3
- 230000001131 transforming effect Effects 0.000 claims description 3
- 238000013519 translation Methods 0.000 claims description 3
- 238000003860 storage Methods 0.000 abstract description 9
- 229940127554 medical product Drugs 0.000 abstract description 8
- 230000006872 improvement Effects 0.000 description 14
- 238000010586 diagram Methods 0.000 description 11
- 238000012549 training Methods 0.000 description 7
- 238000001514 detection method Methods 0.000 description 6
- 238000001228 spectrum Methods 0.000 description 6
- 229940079593 drug Drugs 0.000 description 5
- 238000011084 recovery Methods 0.000 description 5
- 238000004519 manufacturing process Methods 0.000 description 4
- 238000011426 transformation method Methods 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 230000031700 light absorption Effects 0.000 description 2
- 239000007788 liquid Substances 0.000 description 2
- 238000002156 mixing Methods 0.000 description 2
- 238000002310 reflectometry Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 238000010521 absorption reaction Methods 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000000746 purification Methods 0.000 description 1
- 230000000452 restraining effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000011410 subtraction method Methods 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
- G06T9/002—Image coding using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
- G06T2207/20032—Median filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
- G06T2207/20132—Image cropping
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种医药高光谱数据的图像重构方法，在通过高光谱相机获取到医药高光谱数据后，首先采用数据预处理的方法，对采集的原始数据进行筛选和裁剪，预处理部分为数据集的建立提供了保障，在保留医药产品特性和对比度的同时，极大程度去除托盘背景部分的干扰；其次，通过构建的卷积自编码器，学习医药高光谱的非线性表示，最后通过求解全局非线性最优化问题，通过保真度先验，将学习到的非线性表示的保真度和空间域梯度的稀疏性统一起来，从编码后的图像重构出高光谱图像。本发明显然能够提升重构准确率，提高信噪比，降低硬件设备存储压力。
Description
技术领域
本发明属于高光谱图像重构领域，具体涉及一种医药高光谱数据的图像重构方法。
背景技术
目前，国内外主流医药生产工艺流程中对产品成分和杂质检测的中间检和终检是采用液相色谱仪，而检测之前需要对被检药品进行提纯、萃取等一系列复杂的预处理操作。这个过程不仅需要大量的人力物力以及专业的实验人员，很大程度上提升了企业的生产成本；而且耗费较长的时间，这对高度自动化的生产流水线是致命的打击。高光谱被誉为指纹谱，能做到异物必定不同谱，可以准确地分析药物杂质和成分，较之传统的液相色谱仪，高光谱技术不需要复杂的预处理操作，只需要拍摄一幅高光谱图像，就能对药品进行成分分析，具有客观、无损以及实时获取信息的优势。
然而，在获取医药高光谱的过程中存在的主要问题是医药高光谱数据量巨大，这意味着需要大量的存储空间来进行存储。随着高光谱相机的发展，医药高光谱的分辨率越来越高，这对硬件的存储提出了更高的要求，为了降低存储成本迫切需要一种新的方法利用较少的数据准确重构出医药高光谱图像。
压缩感知作为一种新颖的数据采集理论，以远小于奈奎斯特采样率的频率采集数据，降低了存储硬件的要求。目前，总所周知的传统算法有贪婪迭代算法、凸优化算法、进化算法等，然而这些手工设计的先验无法准确表示真实世界不同场景的光谱数据。
基于深度学习的算法能够借助外部数据库隐式地学习得到先验以及光谱空间相似性和结构相似性去增强初解得到终解。目前，基于学习的算法已经应用到遥感、植物光谱、医学影像等领域，但在医药产品的图像重构领域还鲜有研究，如何有效利用医药产品的光谱特性进行高效重构，成了本领域技术人员致力研究的问题。
发明内容
本发明的目的在于针对医药产品光谱特性提供一种医药高光谱数据的图像重构方法。根据采集医药对象的不同，针对性地提出不同的处理方法，对于医药粉末中间检，一般采用方形透明容器均匀盛放粉末并放置于黑色吸光底盘上，获得的高光谱图像包含大量的底盘背景图像，该部分由于光源被吸收，像素几乎为零，光谱反射率低，丢失了空间纹理及特征，同时将其作为原始高光谱图像进行重构大大降低了重构的速度，针对医药粉末高光谱的特性，采用一种图像预处理变换方法，剔除背景区域，重组有效像素，增强整幅图像的空间相关性，提升重构速度；对于医药药片的终检，一般将检测药片直接放置于黑色吸光底盘上，不同于粉末形成规则的方形检测区域，药片高光谱图像由多个圆形或方形药片混合而成，且位置随机散布不均，难以去除各缝隙的背景图像并重组有效图像，针对医药药片高光谱的特性，采用另一种图像预处理变换方法，用药片像素替换背景，获得只包含药片和杂质的高光谱图像，增强结构相似性和统一性。然后，通过构建一个端到端的卷积自动编码器，从预处理的医药高光谱数据学习非线性表示。由于预处理后的医药高光谱图像只包含医药产品和微量杂质，且由于生产工艺的提升，同种医药产品的密度、结构等几乎一致，在高光谱图像上的光谱反射率以及空间像素也几乎一致，空间梯度上表现出稀疏性。因此，通过全局求解一个非线性优化问题，经保真度先验，将学习到的非线性表示的保真度和空间域梯度的稀疏性统一起来，实现医药高光谱图像的重建，最后根据粉末重构和药片重构的不同进行对应的图像恢复处理，得到最原始的医药高光谱图像。
本发明的目的通过以下技术方案实现：提供一种医药高光谱数据的图像重构方法，包括以下步骤：
S1、通过高光谱相机采集医药高光谱图像数据；
S2、对采集的医药高光谱图像数据进行预处理，得到预设间隔波段与尺寸大小的高光谱数据；
S3、对预处理后的医药高光谱图像数据进行图像变换再处理，以剔除或变换底盘背景区域；
S4、对图像变换再处理的医药高光谱图像数据进行模拟编码，获得编码后的图像；
S5、构建一个卷积自编码器用于学习医药高光谱图像数据张量的非线性表示；
S6、将编码后的图像输入所述卷积自编码器，通过全局求解一个非线性最优化问题，重建医药高光谱图像；
S7、对重建的医药高光谱图像进行图像恢复变换，得到最终的医药高光谱图像。
作为进一步的改进，所述步骤S1采集的医药高光谱图像数据包含380-1000nm、1000-1700nm波段的高光谱数据。
作为进一步的改进，步骤S2中对医药高光谱数据进行预处理是在对所有采集的医药高光谱图像数据进行综合分析评估之后，选择清晰度高的统一波段数据体，并裁剪出医药高光谱图像数据中药品居中的统一尺寸的C*W*L高光谱数据集，C表示高度，W表示宽度，L表示图像的光谱通道数。
作为进一步的改进，步骤S3中具体根据采集医药对象的不同对预处理后的医药高光谱图像数据进行图像变换再处理，所述采集医药对象为医药粉末，对医药粉末采用RemBG方法剔除背景区域，重组有效像素，增强整幅图像的空间相关性，具体表现为：
S31、读取医药粉末的医药高光谱图像数据；
S32、计算步骤S31医药高光谱图像数据中每个光谱通道的高光谱图像像素均方根对比度：
式中，
是像素均方根对比度，
是图像的像素平均值，Iw×h描述的是一幅宽和高分别为w和h的单通道光谱图，I(x,y)是图像中某点的像素值，x表示横坐标，y表示纵坐标；
S33、选择步骤S31医药高光谱图像数据的所有通道中像素均方根对比度
最大的一幅高光谱图像作为待处理图像，以提高医药粉末与背景边缘的区分度；
S34、对待处理图像进行中值滤波：
g(x,y)＝med{f(x-k,y-l),(k,l∈m)} (3)
式中，f(x,y)，g(x,y)分别为原始图像和处理后图像，m为二维模板，取5*5区域，即{-2,-1,0,1,2}，k、l分别表示像素点横、纵坐标平移的值，f(x-k,y-l)表示像素点(x,y)周围5*5区域内各像素点(x-k,y-l)的像素值，med{·}表示像素点(x,y)周围5*5区域共25个像素点的中值；
S35、对滤波后的图像进行二值化处理；
S36、对二值化后的图像进行candy边缘检测；
S37、根据所检测边缘，提取轮廓，对每个轮廓进行多边形拟合，直到拟合成四边形；
S38、记录步骤S37中四边形坐标，求取透射投影变换矩阵I，对原始待处理图像的所述四边形区域进行透视变换，得到仅包含医药粉末的M*N的矩形图像，M表示图像的宽度，N表示图像的高度；
S39、根据所记录的四边形坐标和求取的透射投影变换矩阵I，对步骤S31医药高光谱图像数据中每个通道的高光谱图像分别进行透视变换，组合各通道图像得到M*N*L的只包含粉末的医药高光谱图像F，L表示通道图像的通道数。
作为进一步的改进，步骤S3中具体根据采集医药对象的不同对预处理后的医药高光谱图像数据进行图像变换再处理，所述采集医药对象为医药药片，对医药药片采用RepBG方法替换背景，获得只包含药片和杂质的高光谱图像，增强结构相似性和统一性，具体表现为：
S31’、读取医药药片的医药高光谱图像数据；
S32’、计算步骤S31’医药高光谱图像数据中每个通道的高光谱图像像素均方根对比度；
S33’、选择步骤S31’医药高光谱图像数据的所有通道中像素均方根对比度最大的一幅高光谱图像作为待处理图像，以提高医药药片与背景边缘的区分度；
S34’、对待处理图像进行中值滤波；
S35’、对滤波后的图像进行二值化处理；
S36’、对二值化后的图像进行candy边缘检测；
S37’、根据所检边缘，提取轮廓，对轮廓进行圆形或矩形识别；
S38’、记录所识别的圆形或矩形的位置坐标，用药片像素代替圆形或矩形以外区域像素；
S39’、根据所记录的圆形或矩形坐标对步骤S31’医药高光谱图像数据的每个通道的图像分别进行背景替换，组合各通道图像得到M*N*L的医药高光谱图像F。
作为进一步的改进，步骤S4中模拟编码的具体表现为：
S41、建立随机二维掩码M*N；
S42、将二维掩码拓维成M*N*L的三维掩码；
S43、将步骤S3进行图像变换再处理的医药高光谱图像数据与三维掩码相乘，进行编码；
S44、将编码后的医药高光谱图像数据的每个通道都沿着宽度方向等差偏移2个像素点距离得到数据集H；
S45、将数据集H中所有波段的每个像素的像素值相加，得到模拟编码的M*(N+2L-2)的图像g。
作为进一步的改进，卷积自动编码器由编码器网络和解码器网络两个子网络组成：
β＝E(F) (4)
F'＝D(β) (5)
其中，E(.)为编码器网络将输入的医药高光谱数据转换成对应的非线性表示，D(.)为解码器网络将所述非线性表示生成原始数据集，β为编码器的非线性输出，F'为自编码器重构的高光谱数据集，F为步骤S3预处理后得到的医药高光谱图像。
作为进一步的改进，在步骤S6中全局非线性最优化问题表示为：
其中，
表示求变量β使得包含β的式子的值最小，
是空间梯度算子，
表示通过解码器重建的高光谱图像的空间梯度，α1和α2表示数据保真度和先验之间的相对重要性，α1使用编码器-解码器来正则化医药高光谱非线性表示的保真度，α2是针对医药高光谱的空间梯度稀疏性设计的，有利于提升重建的空间域相关性，Φ为观测矩阵，g为步骤S45得到的二维图像，
表示二范数，||.||1表示一范数。
上述优化问题可等价为：
n(z)＝α2||z||1 (11)
其中，z表示通过解码器重建的高光谱图像的空间梯度；
基于公式(9)-(12)，使用交替方向乘子算法求解上述优化问题，得到β的值，D(β)即为重构得到的高光谱图像G。
作为进一步的改进，步骤S7中具体根据采集医药对象的不同对重建的医药高光谱图像进行图像恢复变换，得到最终的医药高光谱图像，当所述采集医药对象为医药粉末时，对于医药粉末高光谱图像，结合步骤S3记录的四边形位置，将S6中重构的高光谱图像G的每个通道的矩形图像分别投影变换到只包含黑色背景的对应四边形位置，得到最终的医药高光谱图像，具体表现为：
S71、构建全是黑色背景的C*W*L的高光谱数据H1；
S72、结合步骤S3所记录的四边形坐标求取变换矩阵I’；
S73、将步骤S6重构的医药高光谱图像G投影变换到H1的相应区域，得到最终重构的医药粉末高光谱图像。
作为进一步的改进，步骤S7中具体根据采集医药对象的不同对重建的医药高光谱图像进行图像恢复变换，得到最终的医药高光谱图像，当所述采集医药对象为医药药片时，对于医药药片高光谱图像，结合S3记录的位置坐标，将S6中重构的高光谱图像G的每个通道的图像进行背景恢复，得到最终的医药高光谱图像，具体地，结合步骤S3所记录的圆形或矩形位置坐标，用黑色背景像素代替圆形或矩形区域外的原像素，得到最终重构的医药药片高光谱图像。
与现有技术相比，本发明结合高光谱相机，采集典型中间检(医药粉末)和终检(医药药片)的医药高光谱数据集，针对医药粉末和医药药片高光谱数据的不同特性，针对性地提出了RemBG和RepBG图像预处理方法，剔除背景区域，重组有效像素，增强了整幅图像的空间相关性，然后结合神经网络和恢复算法进行压缩重构，将医药高光谱数据预处理后，输入卷积自编码器，利用编码解码的特性，学习医药高光谱图像数据张量的非线性表示，然后利用医药高光谱图像只包含医药产品和杂质的强空间梯度稀疏性，将学习到的非线性谱表示的保真度和空间域梯度的稀疏性统一起来，通过全局求解非线性最优化问题，从编码的输入图像重建医药高光谱图像，最后根据重构对象的不同，选择对应的恢复变换方法，得到最终的医药高光谱图像。本发明成功将压缩重构应用到医药高光谱的新领域，根据医药高光谱的特性针对性地进行了重构，有效地解决了由于医药高光谱数据过大而占用大量存储空间的问题，方便了后期对医药数据进行存储和运输，同时结合深度神经网络，提升了医药高光谱图像的重构精度和效果。
附图说明
利用附图对本发明作进一步说明，但附图中的实施例不构成对本发明的任何限制，对于本领域的普通技术人员，在不付出创造性劳动的前提下，还可以根据以下附图获得其它的附图。
图1是本发明一种医药高光谱数据的图像重构方法的流程图。
图2是本发明一种医药高光谱数据的图像重构方法的高光谱分选仪结构图。
图3是本发明一种医药高光谱数据的图像重构方法的针对医药粉末的预处理再变换流程图。
图4是本发明一种医药高光谱数据的图像重构方法的针对医药药片的预处理再变换流程图。
图5是本发明一种医药高光谱数据的图像重构方法的卷积自编码器结构图。
图6是本发明一种医药高光谱数据的图像重构方法的医药粉末重建结果对比图。
图7是本发明一种医药高光谱数据的图像重构方法的医药粉末信噪比随训练次数的变化图。
图8是本发明一种医药高光谱数据的图像重构方法的医药药片重建结果对比图。
图9是本发明一种医药高光谱数据的图像重构方法的医药药片信噪比随训练次数的变化图。
具体实施方式
为了使本领域的技术人员更好地理解本发明的技术方案，下面结合附图和具体实施例对本发明作进一步详细的描述，需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。
本发明提供了一种医药高光谱数据的图像重构方法。请参照图1，在本发明中，一种医药高光谱数据的图像重构方法，如图1所示，包括如下步骤：
S1、通过高光谱相机采集医药高光谱图像数据，采集的医药高光谱图像数据包含380-1000nm、1000-1700nm波段的高光谱数据；具体地，在Dualix双利合谱高光谱分选仪1的黑色底盘上均匀摆放药品，设定好传送带速度，以环绕形式对称设置八组照射光源4，可见光波段高光谱相机2和近红外波段高光谱相机3的两个高光谱相机分别拍摄一次。需要说明的是，在本步骤中，两个高光谱相机间隔一定距离，采样台5上的药品通过传送带6传送到可见光波段高光谱相机2后，减速再加速，在间隔距离调整传送带6得速度，以另一种适配specim近红外波段高光谱相机3的速度运行，结构简图如图2所示，拍得的医药高光谱图像数据格式为raw格式。
S2、对采集的医药高光谱图像数据进行预处理，得到预设间隔波段与尺寸大小的高光谱数据；优选地，对医药高光谱数据进行预处理是在对所有采集的医药高光谱图像数据进行综合分析评估之后，选择清晰度高的统一波段数据体，并裁剪出医药高光谱图像数据中药品居中的统一尺寸的C*W*L高光谱数据集，C表示高度，W表示宽度，L表示图像的光谱通道数。在本发明的具体实施例中，可选择430nm～740nm波段，间隔10nm，包含31通道的医药高光谱图像数据，保证每个通道的图形区分度明显，综合考量医药产品的像素占比，裁剪出800*800像素的区域，最大化展现医药产品的全部特征。此外，为匹配后续处理步骤，将采集的医药高光谱图像数据的格式转换成.mat格式。
S3、对预处理后的医药高光谱图像数据进行图像变换再处理，以剔除或变换底盘背景区域。优选地，根据采集医药对象的不同对预处理后的医药高光谱图像数据进行相应的变换再处理。该采集对象为医药粉末或医药药片。
S4、对图像变换再处理的医药高光谱数据集进行模拟编码，获得编码后的图像；
S5、构建一个卷积自编码器用于学习医药高光谱图像数据张量的非线性表示；
S6、将编码后的图像输入所述卷积自编码器，通过全局求解一个非线性最优化问题，重建医药高光谱图像；
S7、对重建的医药高光谱图像进行图像恢复变换，得到最终的医药高光谱图像。
具体的，在步骤S3中，针对医药粉末而言，获得的高光谱图像包含大量光源被吸收的底盘背景图像，采用RemBG(背景消除法)方法剔除背景区域，重组有效像素，增强整幅图像的空间相关性，如图3所示，具体表现为：
S31、读取医药粉末的医药高光谱图像数据；
S32、计算步骤S31医药高光谱图像数据中每个光谱通道的高光谱图像像素均方根对比度：
式中，
是像素均方根对比度，
是图像的像素平均值，Iw×h描述的是一幅宽和高分别为w和h的单通道光谱图，I(x,y)是图像中某点的像素值，x表示横坐标，y表示纵坐标；
S33、选择步骤S31医药高光谱图像数据的所有通道中
最大的一幅高光谱图像作为待处理图像，以提高医药粉末与背景边缘的区分度；
S34、对待处理图像进行中值滤波：
g(x,y)＝med{f(x-k,y-l),(k,l∈w)} (3)
式中，f(x,y)，g(x,y)分别为原始图像和处理后图像，m为二维模板，取5*5区域，即{-2,-1,0,1,2}，k、l分别表示像素点横、纵坐标平移的值，f(x-k,y-l)表示像素点(x,y)周围5*5区域内各像素点(x-k,y-l)的像素值，med{·}表示像素点(x,y)周围5*5区域共25个像素点的中值；
S35、对滤波后的图像进行二值化处理；
S36、对二值化后的图像进行candy边缘检测，具体步骤如下：
S361、使用sobel(索贝尔)算子，计算出每个点的梯度大小和梯度方向；
S362、使用非极大值抑制(只有最大的保留)，消除边缘检测带来的杂散效应；
S363、应用双阈值，来确定真实和潜在的边缘；
S364、通过抑制弱边缘来完成最终的边缘检测；
S37、根据所检测边缘，提取轮廓，对每个轮廓进行多边形拟合，直到拟合成四边形；
具体的，在步骤S37中，每次步长增长值设置为1，比较所有拟合的四边形，选择面积最大的四边形为目标值。
S38、记录步骤S37中四边形坐标，求取透射投影变换矩阵I，对原始待处理图像的该四边形区域进行透视变换，得到仅包含医药粉末的M*N的矩形图像，M表示图像的宽度，N表示图像的高度。需要说明的是，该步骤中透射投影变换矩阵I是指从四边形投影到M*N的矩形的变换矩阵。
S39、根据所记录的四边形坐标和求取的透射投影变换矩阵I，对步骤S31医药高光谱图像数据中每个通道的高光谱图像分别进行透视变换，组合各通道图像得到M*N*L的只包含粉末的医药高光谱图像F，L表示通道图像的通道数。
具体的，在步骤S3中，对医药药片而言，不同于粉末形成规则的方形检测区域，医药药片的高光谱图像由多个圆形或方形药片混合而成，位置随机散布不均，难以去除各缝隙的背景图像并重组有效图像，采用RepBG(背景替换法)方法替换背景，获得只包含药片和杂质的高光谱图像，增强结构相似性和统一性，如图4所示，具体表现为：
S31’、读取粉末医药高光谱数据；
S32’、计算步骤S31’医药高光谱图像数据中每个通道的高光谱图像像素均方根对比度；
S33’、选择步骤S31’医药高光谱图像数据的所有通道中像素均方根对比度最大的一幅高光谱图像作为待处理图像，以提高医药粉末与背景边缘的区分度；
S34’、对待处理图像进行中值滤波；
S35’、对滤波后的图像进行二值化处理；
S36’、对二值化后的图像进行candy边缘检测；
S37’、根据所检边缘，提取轮廓，对轮廓进行圆形或矩形识别；
S38’、记录所识别的圆形或矩形的位置坐标，用药片像素代替圆形或矩形以外区域像素。
S39’、根据所记录的圆形或矩形坐标对步骤S31’医药高光谱图像数据中每个通道的图像分别进行背景替换，组合各通道图像得到M*N*L医药高光谱图像F。
此外，值得提及的是，医药药片预处理步骤的S31’-S36’与医药粉末预处理步骤的S31-S36是相同的。
作为进一步的改进，在步骤S4内，模拟编码的具体表现为：
S41、建立随机二维掩码M*N，其具体尺寸为步骤S3处理再变换后所得光谱图像的长宽；
S42、将二维掩码拓维成M*N*L的三维掩码，其中L为步骤S3所得光谱图像的通道数：
S43、将步骤S3进行图像变换再处理的的医药高光谱图像数据与三维掩码相乘，进行编码；
S44、将编码后的医药高光谱图像数据的每个通道都沿着宽度方向等差偏移2个像素点距离得到数据集H；
S45、将数据集H中所有波段的每个像素的像素值相加，得到模拟编码的M*(N+2L-2)的图像g。
作为进一步的改进，在步骤S5中，卷积自动编码器由编码器网络和解码器网络两个子网络组成：编码器网络将输入的医药高光谱数据转换成对应的非线性表示，解码器网络将所述非线性表示生成原始数据集，如图5所示。
通过编码器网络的编码器函数E(.)把高光谱图像F转换成非线性表示β:
β＝E(F) (4)
式中，β为编码器的非线性输出，E(.)为编码器网络将输入的医药高光谱数据转换成对应的非线性表示，F为步骤S3预处理后得到的医药高光谱图像；
然后使用解码器网络的解码器函数D(.)从非线性表示β重建高光谱图像F':
F'＝D(β) (5)
式中，F'为自编码器重构的高光谱数据集，D(.)为解码器网络将所述非线性表示生成原始数据集，β为编码器的非线性输出；
训练之后的卷积自编码器的自编码器网络可以描述为：
A(F)＝D(E(F))≈F (6)
式中，A()表示卷积自编码器的自编码器网络表示的函数。
对于卷积自编码器的自编码网络，针对医药高光谱图像的针对性优化目标损失函数为：
式中
表示k个通道的高光谱图像，F(i)表示第i个通道的图像，θ表示网络的权重，τω为保正参数，平衡了数据保真度和正则化之间的相对重要性，以免过度拟合，d为编码层数，
和
分别表示编码器网络和解码器网络的核权值，使用归一化来初始化，以便保持反向传播梯度，
表示二范数。
作为进一步的改进，在步骤S6中，全局非线性最优化问题可以表示为：
其中，
表示求变量β使得包含β的式子的值最小，
是空间梯度算子，
表示通过解码器重建的高光谱图像的空间梯度，α1和α2表示数据保真度和先验之间的相对重要性，α1使用编码器-解码器来正则化医药高光谱非线性表示的保真度，α2是针对医药高光谱的空间梯度稀疏性设计的，有利于提升重建的空间域相关性，Φ为观测矩阵，g为步骤S45得到的二维图像，
表示二范数，||.||1表示一范数。
由于梯度稀疏项是不可微的，上式的优化问题等价成两个问题：
n(z)＝α2||z||1 (11)
其中，
优化问题重新表述为：
式中，z表示通过解码器重建的高光谱图像的空间梯度，f(β)和n(z)分别为式(8)的前两项和最后一项。在满足
的条件下使用交替方向乘数法算子(ADMM)迭代地求取上述优化问题的最小值，直到得到了β的值，D(β)即为重构得到的高光谱图像G。
作为进一步的改进，在步骤S7中，根据采集医药对象的不同对重构后的图像进行恢复变换。对于医药粉末高光谱图像，将重构后的图像缩放到原始矩形尺寸，然后，结合S3记录的四边形位置，将S6中重构的高光谱图像G的每个通道的矩形图像分别投影变换到只包含黑色背景的对应矩阵位置，得到最终的医药高光谱图像。具体表现为：
S71、构建全是黑色背景的C*W*L的高光谱数据H1；
S72、结合S3所记录的四边形坐标求取变换矩阵I’。
S73、将S6重构的医药高光谱图像G投影变换到H1的相应区域，得到最终重构的医药粉末高光谱图像；
对于医药药片高光谱图像，结合S3记录的坐标位置，将S6中重构的高光谱图像G的每个通道的图像进行背景恢复，得到最终的医药高光谱图像。具体地，结合S3所记录的圆形或矩形位置坐标，用黑色背景像素代替圆形或矩形区域外的原像素，得到最终重构的医药粉末高光谱图像；
具体的，针对医药粉末重建结果对比如图6所示，图6中(a)表示402nm医药粉末原始图，(b)表示402nm医药粉末重建图，(c)表示420nm医药粉末原始图，(d)表示420nm医药粉末重建图，从中可知，无论医药粉末大小，通过本发明方法得到的重建图与原始图基本相同。psnr(Peak Signal to Noise Ratio，即峰值信噪比)随训练次数的变化结果如图7所示，psnr随训练次数增加而趋于稳定。针对医药药片重建结果对比如图8所示，图8中(a)表示402nm医药药片原始图，(b)表示402nm医药药片重建图，(c)表示420nm医药药片原始图，(d)表示420nm医药药片重建图，(e)表示438nm医药药片原始图，(f)表示438nm医药药片重建图，从中可知，无论医药药片大小，通过本发明方法得到的重建图与原始图基本相同。psnr随训练次数的变化结果如图9所示，psnr随训练次数增加而趋于稳定。
本发明针对新型医药高光谱数据图像重构问题，在通过高光谱相机获取到医药高光谱数据后，针对医药粉末和医药药片高光谱数据的不同特性，针对性地提出了RemBG和RepBG图像预处理方法来剔除背景区域，重组有效像素，增强整幅图像的空间相关性，然后通过构建卷积自编码器，学习医药高光谱的非线性表示，接着利用医药高光谱图像只包含医药产品和杂质表现出来的空间梯度稀疏性，将学习到的非线性谱表示的保真度和空间域梯度的稀疏性统一起来，通过求解全局非线性最优化问题，从编码的输入图像重建医药高光谱图像。最后，根据重构对象的不同，选择对应的恢复变换方法，得到最终的医药高光谱图像。上述医药高光谱图像重构方法显然能够提升重构准确率，提高信噪比，降低硬件设备存储压力。
上面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的其他方式来实施，因此，不能理解为对本发明保护范围的限制。
总之，本发明虽然列举了上述优选实施方式，但是应该说明，虽然本领域的技术人员可以进行各种变化和改型，除非这样的变化和改型偏离了本发明的范围，否则都应该包括在本发明的保护范围内。
Claims (10)
1.一种医药高光谱数据的图像重构方法，其特征在于，包括以下步骤：
S1、通过高光谱相机采集医药高光谱图像数据；
S2、对采集的医药高光谱图像数据进行预处理，得到预设间隔波段与尺寸大小的高光谱数据；
S3、对预处理后的医药高光谱图像数据进行图像变换再处理，以剔除或变换底盘背景区域；
S4、对图像变换再处理的医药高光谱图像数据进行模拟编码，获得编码后的图像；
S5、构建一个卷积自编码器用于学习医药高光谱图像数据张量的非线性表示；
S6、将编码后的图像输入所述卷积自编码器，通过全局求解一个非线性最优化问题，重建医药高光谱图像；
S7、对重建的医药高光谱图像进行图像恢复变换，得到最终的医药高光谱图像。
2.根据权利要求1所述的一种医药高光谱数据的图像重构方法，其特征在于，步骤S1采集的医药高光谱图像数据包含380-1000nm、1000-1700nm波段的高光谱数据。
3.根据权利要求2所述的一种医药高光谱数据的图像重构方法，其特征在于，步骤S2中对医药高光谱数据进行预处理是在对所有采集的医药高光谱图像数据进行综合分析评估之后，选择清晰度高的统一波段数据体，并裁剪出医药高光谱图像数据中药品居中的统一尺寸的C*W*L高光谱数据集，C表示高度，W表示宽度，L表示图像的光谱通道数。
4.根据权利要求3所述的一种医药高光谱数据的图像重构方法，其特征在于，步骤S3中具体根据采集医药对象的不同对预处理后的医药高光谱图像数据进行图像变换再处理，所述采集医药对象为医药粉末，对医药粉末采用RemBG方法剔除背景区域，重组有效像素，增强整幅图像的空间相关性，具体表现为：
S31、读取医药粉末的医药高光谱图像数据；
S32、计算步骤S31医药高光谱图像数据中每个光谱通道的高光谱图像像素均方根对比度：
式中，
是像素均方根对比度，
是图像的像素平均值，Iw×h描述的是一幅宽和高分别为w和h的单通道光谱图，I(x,y)是图像中某点的像素值，x表示横坐标，y表示纵坐标；
S33、选择步骤S31医药高光谱图像数据的所有通道中像素均方根对比度
最大的一幅高光谱图像作为待处理图像，以提高医药粉末与背景边缘的区分度；
S34、对待处理图像进行中值滤波：
g(x,y)＝med{f(x-k,y-l),(k,l∈m)} (3)
式中，f(x,y)，g(x,y)分别为原始图像和处理后图像，m为二维模板，取5*5区域，即{-2,-1,0,1,2}，k、l分别表示像素点横、纵坐标平移的值，f(x-k,y-l)表示像素点(x,y)周围5*5区域内各像素点(x-k,y-l)的像素值，med{·}表示像素点(x,y)周围5*5区域共25个像素点的中值；
S35、对滤波后的图像进行二值化处理；
S36、对二值化后的图像进行candy边缘检测；
S37、根据所检测边缘，提取轮廓，对每个轮廓进行多边形拟合，直到拟合成四边形；
S38、记录步骤S37中四边形坐标，求取透射投影变换矩阵I，对原始待处理图像的所述四边形区域进行透视变换，得到仅包含医药粉末的M*N的矩形图像，M表示图像的宽度，N表示图像的高度；
S39、根据所记录的四边形坐标和求取的透射投影变换矩阵I，对步骤S31医药高光谱图像数据中每个通道的高光谱图像分别进行透视变换，组合各通道图像得到M*N*L的只包含粉末的医药高光谱图像F，L表示通道图像的通道数。
5.根据权利要求3所述的一种医药高光谱数据的图像重构方法，其特征在于，步骤S3中具体根据采集医药对象的不同对预处理后的医药高光谱图像数据进行图像变换再处理，所述采集医药对象为医药药片，对医药药片采用RepBG方法替换背景，获得只包含药片和杂质的高光谱图像，增强结构相似性和统一性，具体表现为：
S31’、读取医药药片的医药高光谱图像数据；
S32’、计算步骤S31’医药高光谱图像数据中每个通道的高光谱图像像素均方根对比度；
S33’、选择步骤S31’医药高光谱图像数据的所有通道中像素均方根对比度最大的一幅高光谱图像作为待处理图像，以提高医药药片与背景边缘的区分度；
S34’、对待处理图像进行中值滤波；
S35’、对滤波后的图像进行二值化处理；
S36’、对二值化后的图像进行candy边缘检测；
S37’、根据所检边缘，提取轮廓，对轮廓进行圆形或矩形识别；
S38’、记录所识别的圆形或矩形的位置坐标，用药片像素代替圆形或矩形以外区域像素；
S39’、根据所记录的圆形或矩形坐标对步骤S31’医药高光谱图像数据的每个通道的图像分别进行背景替换，组合各通道图像得到M*N*L的医药高光谱图像F。
6.根据权利要求4或5所述的一种医药高光谱数据的图像重构方法，其特征在于，步骤S4中模拟编码的具体表现为：
S41、建立随机二维掩码M*N；
S42、将二维掩码拓维成M*N*L的三维掩码；
S43、将步骤S3进行图像变换再处理的医药高光谱图像数据与三维掩码相乘，进行编码；
S44、将编码后的医药高光谱图像数据的每个通道都沿着宽度方向等差偏移2个像素点距离得到数据集H；
S45、将数据集H中所有波段的每个像素的像素值相加，得到模拟编码的M*(N+2L-2)的图像g。
7.根据权利要求6所述的一种医药高光谱数据的图像重构方法，其特征在于，在步骤S5中，卷积自动编码器由编码器网络和解码器网络两个子网络组成：
β＝E(F) (4)
F'＝D(β) (5)
其中，E(.)为编码器网络将输入的医药高光谱数据转换成对应的非线性表示，D(.)为解码器网络将所述非线性表示生成原始数据集，β为编码器的非线性输出，F'为自编码器重构的高光谱数据集，F为步骤S3预处理后得到的医药高光谱图像。
8.根据权利要求7所述的一种医药高光谱数据的图像重构方法，其特征在于，在步骤S6中全局非线性最优化问题表示为：
其中，
表示求变量β使得包含β的式子的值最小，
是空间梯度算子，
表示通过解码器重建的高光谱图像的空间梯度，α1和α2表示数据保真度和先验之间的相对重要性，α1使用编码器-解码器来正则化医药高光谱非线性表示的保真度，α2是针对医药高光谱的空间梯度稀疏性设计的，有利于提升重建的空间域相关性，Φ为观测矩阵，g为步骤S45得到的二维图像，
表示二范数，||.||1表示一范数；
上述优化问题可等价为：
n(z)＝α2||z||1 (11)
其中，z表示通过解码器重建的高光谱图像的空间梯度；
基于公式(9)-(12)，使用交替方向乘子算法求解上述优化问题，得到β的值，D(β)即为重构得到的高光谱图像G。
9.根据权利要求8所述的一种医药高光谱数据的图像重构方法，其特征在于，步骤S7中具体根据采集医药对象的不同对重建的医药高光谱图像进行图像恢复变换，得到最终的医药高光谱图像，当所述采集医药对象为医药粉末时，对于医药粉末高光谱图像，结合步骤S3记录的四边形位置，将S6中重构的高光谱图像G的每个通道的矩形图像分别投影变换到只包含黑色背景的对应四边形位置，得到最终的医药高光谱图像，具体表现为：
S71、构建全是黑色背景的C*W*L的高光谱数据H1；
S72、结合步骤S3所记录的四边形坐标求取变换矩阵I’；
S73、将步骤S6重构的医药高光谱图像G投影变换到H1的相应区域，得到最终重构的医药粉末高光谱图像。
10.根据权利要求8所述的一种医药高光谱数据的图像重构方法，其特征在于，步骤S7中具体根据采集医药对象的不同对重建的医药高光谱图像进行图像恢复变换，得到最终的医药高光谱图像，当所述采集医药对象为医药药片时，对于医药药片高光谱图像，结合S3记录的位置坐标，将S6中重构的高光谱图像G的每个通道的图像进行背景恢复，得到最终的医药高光谱图像，具体地，结合步骤S3所记录的圆形或矩形位置坐标，用黑色背景像素代替圆形或矩形区域外的原像素，得到最终重构的医药药片高光谱图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111341858.0A CN114092509A (zh) | 2021-11-12 | 2021-11-12 | 一种医药高光谱数据的图像重构方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111341858.0A CN114092509A (zh) | 2021-11-12 | 2021-11-12 | 一种医药高光谱数据的图像重构方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114092509A true CN114092509A (zh) | 2022-02-25 |
Family
ID=80300377
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111341858.0A Pending CN114092509A (zh) | 2021-11-12 | 2021-11-12 | 一种医药高光谱数据的图像重构方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114092509A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115994983A (zh) * | 2023-03-24 | 2023-04-21 | 湖南大学 | 一种基于快照式编码成像系统的医药高光谱重构方法 |
-
2021
- 2021-11-12 CN CN202111341858.0A patent/CN114092509A/zh active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115994983A (zh) * | 2023-03-24 | 2023-04-21 | 湖南大学 | 一种基于快照式编码成像系统的医药高光谱重构方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Li et al. | Thin cloud removal in optical remote sensing images based on generative adversarial networks and physical model of cloud distortion | |
| Zhao et al. | Hyperspectral image denoising via sparse representation and low-rank constraint | |
| Xu et al. | Attention mechanism-based generative adversarial networks for cloud removal in Landsat images | |
| IL249566A (en) | Orthonormal system and method are optimized to reduce the dimensions of spectral figures | |
| CN106709881A (zh) | 一种基于非凸低秩矩阵分解的高光谱图像去噪方法 | |
| Tan et al. | Remote sensing image fusion via boundary measured dual-channel PCNN in multi-scale morphological gradient domain | |
| Zheng et al. | AFFU-Net: Attention feature fusion U-Net with hybrid loss for winter jujube crack detection | |
| Ha et al. | A review of potential image fusion methods for remote sensing-based irrigation management: Part II | |
| Tao et al. | Hyperspectral image recovery based on fusion of coded aperture snapshot spectral imaging and RGB images by guided filtering | |
| CN108288256A (zh) | 一种多光谱马赛克图像复原方法 | |
| Shin et al. | Postharvest citrus mass and size estimation using a logistic classification model and a watershed algorithm | |
| Shihavuddin et al. | Automated classification and thematic mapping of bacterial mats in the north sea | |
| CN114092509A (zh) | 一种医药高光谱数据的图像重构方法 | |
| Wang et al. | An effective sinogram inpainting for complementary limited-angle dual-energy computed tomography imaging using generative adversarial networks | |
| Huang et al. | The application of convolutional neural networks for tomographic reconstruction of hyperspectral images | |
| El-Tokhy et al. | Classification of welding flaws in gamma radiography images based on multi-scale wavelet packet feature extraction using support vector machine | |
| Fortuna et al. | Multivariate image fusion: A pipeline for hyperspectral data enhancement | |
| CN116452872A (zh) | 一种基于改进的Deeplabv3+的森林场景树种分类方法 | |
| Kwiatkowska et al. | Merger of ocean color information from multiple satellite missions under the NASA SIMBIOS Project Office | |
| Divya et al. | A Study on Tree Rings: Dendrochronology using Image Processing | |
| Larbi | Advancing Microsoft Excel’s potential for teaching digital image processing and analysis | |
| Maddalena et al. | Restoration of blue scratches in digital image sequences | |
| Wang et al. | Design and implementation of trace inspection system based upon hyperspectral imaging technology | |
| Mani et al. | Mixed pixel removal in north Tamil Nadu region for accurate area measurement | |
| Sadjadi | Measures of effectiveness and their use in comparative image fusion analysis |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |