CN114913358B - 一种基于自动编码器的医药高光谱异物检测方法 - Google Patents
一种基于自动编码器的医药高光谱异物检测方法 Download PDFInfo
- Publication number
- CN114913358B CN114913358B CN202210493427.4A CN202210493427A CN114913358B CN 114913358 B CN114913358 B CN 114913358B CN 202210493427 A CN202210493427 A CN 202210493427A CN 114913358 B CN114913358 B CN 114913358B
- Authority
- CN
- China
- Prior art keywords
- feature
- hyperspectral
- image
- attention
- hash
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 27
- 238000012549 training Methods 0.000 claims abstract description 55
- 238000012360 testing method Methods 0.000 claims abstract description 34
- 238000003860 storage Methods 0.000 claims abstract description 25
- 239000003814 drug Substances 0.000 claims abstract description 23
- 230000007246 mechanism Effects 0.000 claims abstract description 12
- 238000004519 manufacturing process Methods 0.000 claims abstract description 5
- 238000007781 pre-processing Methods 0.000 claims abstract description 4
- 239000013598 vector Substances 0.000 claims description 56
- 230000006870 function Effects 0.000 claims description 27
- 239000011159 matrix material Substances 0.000 claims description 27
- 238000009826 distribution Methods 0.000 claims description 25
- 238000000034 method Methods 0.000 claims description 23
- 206010040736 Sinoatrial block Diseases 0.000 claims description 17
- 229940079593 drug Drugs 0.000 claims description 15
- 238000005070 sampling Methods 0.000 claims description 14
- 230000002159 abnormal effect Effects 0.000 claims description 12
- 238000012545 processing Methods 0.000 claims description 9
- 238000010586 diagram Methods 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000013461 design Methods 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 3
- 230000017105 transposition Effects 0.000 claims 1
- 230000009467 reduction Effects 0.000 description 3
- 230000006978 adaptation Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000036541 health Effects 0.000 description 2
- 238000003064 k means clustering Methods 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 231100000331 toxic Toxicity 0.000 description 1
- 230000002588 toxic effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
- G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
- G01N21/31—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
- G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/243—Classification techniques relating to the number of classes
- G06F18/2433—Single-class perspective, e.g. one-against-all classification; Novelty detection; Outlier detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/047—Probabilistic or stochastic networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Molecular Biology (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Probability & Statistics with Applications (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于自动编码器的医药高光谱异物检测方法，包括：采集医药生产线上的药物高光谱图像，对图像进行预处理并划分为训练集和测试集；设计多尺度注意块，基于多尺度注意块设计一种带哈希寻址的多尺度注意力机制自动编码器网络，包括编码器、哈希存储模块和解码器；网络相关参数的初始化；对网络进行训练，以优化重构误差，得到训练好的网络，采用医药高光谱测试图像进行测试，完成异物检测。提升了高光谱图像异常检测的准确率和效率。
Description
技术领域
本发明属于医药图像检测领域，特别是涉及一种基于自动编码器的医药高光谱异物检测方法。
背景技术
医药安全是重大的民生和公共安全问题，事关人民群众的身体健康和经济发展，国家对医药研发质量和速度也提出了更高的要求。医药污染和医药在研制过程中混入有毒、有害物质等因素而造成健康受损的案例日益增多，研究保障医药质量安全的异物检测方法具有重大意义。
当前，已经开发了一系列方法用于异常检测。例如神经网络单分类方法，该方法需要对正常样本进行标记，但是正常样本往往难以定义，也不可能定义所有正常情况，此外，与正常情况相比，异常情况非常罕见，导致在训练这些算法时正、负样本数量的不平衡，标签费时费力，特别是对于医药图像要求很高的工作，这阻碍了它们在许多实际应用中的部署。半监督自动编码器用于异常检测时，由于网络具有“优秀”的泛化能力，只能学习一个模糊的模型，因此异常值能很好的重构，难以区分正常样本还是异常样本。传统的异物检测的准确率和效率低。
发明内容
针对以上技术问题，本发明提供一种能有效提升异物检测的准确率和效率的一种基于自动编码器的医药高光谱异物检测方法。
本发明解决其技术问题采用的技术方案是：
一种基于自动编码器的医药高光谱异物检测方法，方法包括以下步骤：
步骤S100：采集医药生产线上的医药高光谱图像并进行预处理，将预处理后的医药高光谱图像按照预设比例划分为药物高光谱训练图像和药物高光谱测试图像，其中，医药高光谱训练图像为正常样本，医药高光谱测试图像包括正常样本和异常样本；
步骤S200：设计多尺度注意块，将多尺度注意块插入编码器和解码器，根据编码器、哈希存储模块和解码器构建多尺度注意记忆自动编码器网络，编码器、哈希存储模块和解码器依次连接；
步骤S300：对网络进行参数的初始化后，输入医药高光谱训练图像对网络进行训练得到重构训练图像，计算医药高光谱训练图像和重构训练图像得到输入数据和输出数据之间的均方误差以及输入数据和输出数据分布之间的差值，根据输入数据和输出数据之间的均方误差以及输入数据和输出数据分布之间的差值建立损失函数，根据损失函数对网络进行反向传播更新网络参数，得到训练好的多尺度注意力机制自动编码器网络；
步骤S400：获取医药高光谱测试图像，将医药高光谱测试图像输入至训练好的多尺度注意力机制自动编码器网络进行测试，得到重构测试图像，计算重构测试图像和医药高光谱测试图像重构误差，根据重构误差和预设的阈值得到异物检测结果。
优选地，步骤S200中，编码器用于接收预处理后的药物高光谱图像进行编码后得到特征嵌入向量；哈希存储模块用于接收特征嵌入向量，通过哈希编码的汉明距离检索出最接近的张量值，得到潜在特征嵌入向量；解码器用于根据接收的潜在特征嵌入向量进行解码，得到重构训练图像。
优选地，步骤S200中设计多尺度注意块包括：
步骤S210：设计空间注意模块(SAM)，使用1×1Conv将医药高光谱训练图像F生成三个新的特征图A、B和D，其中并将A、B和D三个特征图重塑为其中，N＝H×W表示像素数，特征图A与特征图B进行矩阵乘法并应用softmax层处理，输出/>S与特征图D进行矩阵乘法，再使用平衡参数α与F执行逐元素求和运算以获得最终输出，计算方式如下：
其中，Sij表示S矩阵中像素点i对像素点j的影响，S是一个NxN的矩阵，表示特征图A的第i个像素点，Bj表示特征图B的第j个像素点，Ei为空间注意模块(SAM)对于第i个像素点提取的相应特征；
步骤S220：设计通道注意模块(CAM)，CAM将医药高光谱训练图像F重塑为三个相同的特征图G，特征图大小为将特征图G的转置与特征图G作矩阵乘法，应用softmax层处理得到/>再对Xij和特征图G的转置进行矩阵乘法，返回结果的维度为/>具体为：
其中，Xij表示X矩阵中的像素点i对像素点j的影响，Mi为通道注意模块(CAM)对于第i个像素点提取的相应特征，Gi表示特征图G的第i个像素点，Gj表示特征图G的第j个像素点，X是一个CxC的矩阵，β为平衡参数，C表示通道数；
步骤S230：设计多尺度注意块包括通道注意模块(CAM)和空间注意模块(SAM)，给定多尺度注意块的输入表示为其中C是通道总数，H×W是特征图大小，根据医药高光谱训练图像F、空间注意力E和通道注意力M精化特征图/>具体为：
其中，F经过3×3Conv，将BN层和ReLU函数应用于空间注意力E和通道注意力M，使用元素求和并使用1×1Conv将得到的特征压缩到紧凑的嵌入中。
优选地，步骤S200中多尺度注意块用于常规采样、上采样和下采样，多尺度注意块包括正则卷积的相同注意块(SA)、下注意块(DA)和上注意块(UA)，相同注意块(SA)用于输出相同大小的特征图，下注意块(DA)用于输出大小为一半的下采样，上注意块(UA)用于输出两倍大小的上采样；其中，SA块的内核大小KS＝3，步幅S＝1，DA块的内核大小KS＝3，步幅S＝2，UA块的内核大小KS＝3，步幅S＝2。
优选地，步骤S200中的编码器包括三个DA块和一个SA块，编码器用于接收预处理后的药物高光谱图像进行编码后得到特征嵌入向量，具体为：
z＝fe(x；θe)
其中，θe为编码器网络的参数，z为特征嵌入向量，x为预处理后的药物高光谱图像。
优选地，步骤S200中，哈希存储模块用于接收特征嵌入向量，通过哈希编码的汉明距离检索出最接近的张量值，得到潜在特征嵌入向量，包括：
步骤S250：将特征嵌入向量作为哈希存储模块的输入，并将其存储在内存插槽中；
步骤S260：利用哈希函数对特征嵌入向量映射得到哈希二进制码，并将其存储在哈希表中；
步骤S270：利用汉明距离计算特征嵌入向量与哈希表的相似系数；
步骤S280：从内存插槽中提取相似系数最高对应的输入特征作为潜在特征嵌入向量。
优选地，步骤S260中的哈希函数具体为：
其中，fc代表一个全连接层，将mi记忆特征向量转化为hi，sgn代表一个符号激活函数，基于输入mi输出正负1，1表示长度为hi的一维向量。
优选地，步骤S200中的解码器包括两个SA块和三个UA块，解码器用于根据接收的潜在特征嵌入向量进行解码，得到重构训练图像，具体为：
其中，θd为解码器网络的参数，为潜在特征嵌入向量，/>为重构训练图像。
优选地，步骤S300中根据医药高光谱训练图像和重构训练图像得到输入数据和输出数据之间的均方误差以及输入数据和输出数据分布之间的差值，具体为：
其中，Px表示输入数据分布，表示输出数据分布，/>表示Px和/>之间的差值，/>表示联合概率分布，/>表示距离期望值的下限，/>表示输入数据和输出数据之间的均方误差。
优选地，根据输入数据和输出数据之间的均方误差以及输入数据和输出数据分布之间的差值建立损失函数，具体为：
其中，Loss表示损失值。
上述一种基于自动编码器的医药高光谱异物检测方法，设计了哈希存储模块，用于快速检索最相关的项，在训练阶段，哈希存储模块以典型的正常项为加号进行更新。在测试过程中，哈希存储模块是固定的，正常情况和异常情况都通过汉明距离进行寻址，从而更高效地产生异常的高重构误差。设计了多尺度注意块，用于替换卷积层和转置卷积层，实现采样、下采样和上采样功能，解决单卷积层和反卷积层不变局部算子接收域有限的问题，有效地融合全局信息，更好的实现特征提取。输入数据和输出数据之间的均方误差以及输入数据和输出数据分布之间的差值相结合，建立新的损失函数。最终有效提高了异常检测的准确率和效率。
附图说明
图1为本发明的一种基于自动编码器的医药高光谱异物检测方法的流程图；
图2为本发明一实施例中多尺度注意力机制自动编码器网络结构图。
具体实施方式
为了使本技术领域的人员更好地理解本发明的技术方案，下面结合附图对本发明作进一步的详细说明。
在一个实施例中，一种基于自动编码器的医药高光谱异物检测方法，方法包括以下步骤：
步骤S100：采集医药生产线上的医药高光谱图像，将医药高光谱图像按照预设比例划分为药物高光谱训练图像和药物高光谱测试图像，其中，医药高光谱训练图像为正常样本，医药高光谱测试图像包括正常样本和异常样本；
具体地，制作数据集，采集医药生产线上的药物高光谱图像，训练集只涉及到正常的实例，并且与测试集没有重叠，测试集中包含异常样本。
具体地，对高光谱图像进行预处理，使用K-means聚类算法并结合PCA降维方法处理高光谱图像数据，实现噪声的有效去除。
对于输入数据样本X＝{x1，x2，...，xn}，样本包含n个数据，每个数据包含m维波段子集，使用K-means聚类算法将m维波段依据数据间的相似性聚集到指定的k个类簇中，每个数据属于且仅属于一个其到类簇中心距离最小的类簇中。设定K个聚类中心C＝{C1，C2，C3，...，Ck}，1＜k≤m，然后计算每一个数据到每一个聚类中心的欧式距离，如下式所示：
其中，Xi表示第i个波段1≤i≤m，Cj表示第j个聚类中心1≤j≤k。
依次比较每一个对象到每一个聚类中心的距离，将对象分配到距离最近的聚类中心的类簇中，得到k个类簇{S1，S2，S3，...，Sk}，类簇中心是类簇内所有对象在各个维度的均值，然后再迭代的进行分配点和更新类簇中心点，直至类簇中心点的变化很小，得到聚类结果为{S1，S2，S3，...，Sk}。
对高光谱图像原始数据完成聚类后，再对数据进行PCA降维处理。取波段子集S＝{S1，S2，S3，...，Sk}，设定阈值t，提取波段Sk内贡献率最高的前y个成分，形成降维后的新的波段Sk′，组合形成新的波段子集S′即为去噪的高光谱数据。
步骤S200：设计多尺度注意块，将多尺度注意块插入编码器和解码器，根据编码器、哈希存储模块和解码器构建多尺度注意力机制自动编码器网络，编码器、哈希存储模块和解码器依次连接。
在一个实施例中，步骤S200中，编码器用于接收预处理后的药物高光谱图像进行编码后得到特征嵌入向量；哈希存储模块用于接收特征嵌入向量，通过哈希编码的汉明距离检索出最接近的张量值，得到潜在特征嵌入向量；解码器用于根据接收的潜在特征嵌入向量进行解码，得到重构训练图像。
具体地，设计训练网络，设计一种带哈希寻址的多尺度注意力机制自动编码器网络用于医药高光谱异物检测。网络主要包括三个部分：编码器网络，用于学习输入数据潜在信息；哈希存储模块，从编码器中获得一个查询张量，通过哈希编码的汉明距离检索出存储模块中最接近的张量值；解码器网络，将哈希存储模块有意义的张量值重构出图像。
在一个实施例中，步骤S200中设计多尺度注意块包括：
步骤S210：设计空间注意模块(SAM)，使用1×1Conv将医药高光谱训练图像F生成三个新的特征图A、B和D，其中并将A、B和D三个特征图重塑为其中，N＝H×W表示像素数，特征图A与特征图B进行矩阵乘法并应用softmax层处理，输出/>S与特征图D进行矩阵乘法，再使用平衡参数α与F执行逐元素求和运算以获得最终输出，计算方式如下：
其中，Sij表示S矩阵中像素点i对像素点j的影响，S是一个NxN的矩阵，表示特征图A的第i个像素点，Bj表示特征图B的第j个像素点，Ei为空间注意模块(SAM)对于第i个像素点提取的相应特征；
步骤S220：设计通道注意模块(CAM)，CAM将医药高光谱训练图像F重塑为三个相同的特征图G，特征图大小为将特征图G的转置与特征图G作矩阵乘法，应用softmax层处理得到/>再对Xij和特征图G的转置进行矩阵乘法，返回结果的维度为/>具体为：
其中，Xij表示X矩阵中的像素点i对像素点j的影响，Mi为通道注意模块(CAM)对于第i个像素点提取的相应特征，Gi表示特征图G的第i个像素点，Gj表示特征图G的第j个像素点，X是一个CxC的矩阵，β为平衡参数，C表示通道数；
步骤S230：设计多尺度注意块包括通道注意模块(CAM)和空间注意模块(SAM)，给定多尺度注意块的输入表示为其中C是通道总数，H×W是特征图大小，根据医药高光谱训练图像F、空间注意力E和通道注意力M精化特征图/>具体为：
其中，F经过3×3Conv，将BN层和ReLU函数应用于空间注意力E和通道注意力M，使用元素求和并使用1×1Conv将得到的特征压缩到紧凑的嵌入中。
在一个实施例中，步骤S200中多尺度注意块用于常规采样、上采样和下采样，多尺度注意块包括正则卷积的相同注意块(SA)、下注意块(DA)和上注意块(UA)，相同注意块(SA)用于输出相同大小的特征图，下注意块(DA)用于输出大小为一半的下采样，上注意块(UA)用于输出两倍大小的上采样；其中，SA块的内核大小KS＝3，步幅S＝1，DA块的内核大小KS＝3，步幅S＝2，UA块的内核大小KS＝3，步幅S＝2。
具体地，设置多尺度注意块代替单卷积层和反卷积层，实现有效地融合全局信息。多尺度注意块可用于常规采样，下采样和上采样，可以输出像素块注意层和通道注意层新组合的任意维度。
在一个实施例中，步骤S200中的编码器包括三个DA块和一个SA块，编码器用于接收预处理后的药物高光谱图像进行编码后得到特征嵌入向量，具体为：
z＝fe(x；θe)
其中，θe为编码器网络的参数，z为特征嵌入向量，x为预处理后的药物高光谱训练图像。
具体地，首先将所有输入的大小调整为H×W×C，建立由三个DA块(DownAttention block)和一个SA块(Same Attention block)组成的编码器。每个DA块将生成尺寸为输入一半大小的特征图，最终的特征图尺寸为H/8×W/8×512。SA块生成语义基来表示编码特征的语义信息，并将其与最近的解码特征映射连接起来。具体来说，将语义基插入解码器，充分完成特征融合。
在一个实施例中，步骤S200中，哈希存储模块用于接收特征嵌入向量，通过哈希编码的汉明距离检索出最接近的张量值，得到潜在特征嵌入向量，包括：
步骤S250：将特征嵌入向量作为哈希存储模块的输入，并将其存储在内存插槽中；
步骤S260：利用哈希函数对特征嵌入向量映射得到哈希二进制码，并将其存储在哈希表中；
步骤S270：利用汉明距离计算特征嵌入向量与哈希表的相似系数；
步骤S280：从内存插槽中提取相似系数最高对应的输入特征作为潜在特征嵌入向量。
具体地，哈希存储模块包含一组内存插槽，用于保留正常实例的编码以及查询和检索基于哈希的寻址。首先将特征嵌入向量z作为内存模块的输入，并将其存储在内存插槽中。然后，利用哈希函数将特征嵌入向量z映射得到哈希二进制码，并将其存储在哈希表中。利用汉明距离即时计算输入z与整个哈希表的相似系数。最后，从内存插槽中提取相应的输入特征向量z来输入解码器。哈希内存模块包含一组内存插槽，用于保留正常实例的编码以及查询和检索基于哈希的寻址。内存槽位矩阵表示为 其中N表示槽数，F表示每个记忆特征的尺寸。M每个行向量mi表示一个存储项。理论上F是可选的，而在实践中，为了降低计算成本，F总是被设置为与编码表示的维数相同。将内存模块矩阵M映射到哈希矩阵HS＝{h1，h2，...，hi，...，hN}∈{0，1}N×F′。
进一步地，汉明距离HD(hamming distance)计算方式如下所示：
汉明距离权重向量表示查询张量z和每个内存插槽的相似性。HD越小意味着越均匀，相似性越高。软寻址和硬寻址方法都可以在该框架上进行。软寻址采用最上面最小的HD内存项，并通过Softmax操作将HD内存项与HD的系数组合，Softmax操作如下所示：
硬寻址方式如下所示：
哈希存储模块的应用，使得硬寻址检索下正常实例输出的汉明距离达到最小值。然后通过散列对应的存储矩阵M得到潜在表示该方法大大降低了计算成本，并促进模型用较少的潜在表示来表示更多的信息特征。
在一个实施例中，步骤S260中的哈希函数具体为：
其中，fc代表一个全连接层，将mi记忆特征向量转化为hi，sgn代表一个符号激活函数，基于输入mi输出正负1，1表示长度为hi的一维向量。
在一个实施例中，步骤S200中的解码器包括两个SA块和三个UA块，解码器用于根据接收的潜在特征嵌入向量进行解码，得到重构训练图像，具体为：
其中，θd为解码器网络的参数，为潜在特征嵌入向量，/>为重构训练图像。
具体地，解码器网络由两个SA块和三个UA块组成。首先每个连接层被传递到SA块以减少通道。然后UA块可以生成尺寸为输入两倍大小的新特征图。
步骤S300：对网络进行参数的初始化后，输入医药高光谱训练图像对网络进行训练得到重构训练图像，计算医药高光谱训练图像和重构训练图像得到输入数据和输出数据之间的均方误差以及输入数据和输出数据分布之间的差值，根据输入数据和输出数据之间的均方误差以及输入数据和输出数据分布之间的差值建立损失函数，根据损失函数对网络进行反向传播更新网络参数，得到训练好的多尺度注意力机制自动编码器网络。
具体地，对于编码器网络，用三个DA块(KS＝3，S＝2)和一个SA块(KS＝3，S＝1)进行构建。首先，将输入大小调整为228×228，取输入，令C″＝64的第一个DA块生成同样，第二个和第三个DA块输出/>和
接下来，模型中使用了SA块生成的语义基编码表示/> 来源于第三个DA块输出的Conv_3。哈希存储块有一组用于记录和检索的内存插槽(N×F)和一个哈希表(N×F)。通过观察可得到结论，N越大，结果越好。需要强调的是，N＝2000是性能的瓶颈。
在训练阶段，初始阶段所有哈希存储模块包含内存插槽的参数都是随机的。哈希编码由Sigmoid激活函数实现，其维数F设为128。
解码器网络由两个UA块(KS＝3，S＝2)和两个SA块(KS＝3，S＝1)。UA块产生尺寸为输入两倍大小特征图，SA块用来减少通道，处理结果如下： 以及/>在所有实验中，均采用与均方误差和瓦瑟斯坦距离(Wasserstein distance)耦合的损耗。
训练模型，对编码器、解码器网络和哈希存储模块进行训练，以优化重构误差。在训练过程中，通过对正常数据的迭代训练，更新所有的哈希存储模块内存插槽以保留正常实例的编码表示，从而完成对哈希存储模块的优化和更新。因此，给定一个正常样本，它可以在内存模块中检索一个类似的正常项，并输出一个小的重构错误。相反，异常实例需要检索最相关的正常实例，将正常实例进行输出，那么输出与输入的正常实例之间会产生较大的重构误差。这一点与传统的自动编码器作用效果不同，传统的自动编码器由于经过训练后生成一个模糊的模型，会造成正常实例输出正常实例，异常实例输出异常实例，从而难以检测出异常样本。
在一个实施例中，步骤S300中根据医药高光谱训练图像和重构训练图像得到输入数据和输出数据之间的均方误差以及输入数据和输出数据分布之间的差值，具体为：
其中，Px表示输入数据分布，表示输出数据分布，/>表示Px和/>之间的差值，/>表示联合概率分布，/>表示距离期望值的下限，/>表示输入数据和输出数据之间的均方误差。
在一个实施例中，根据输入数据和输出数据之间的均方误差以及输入数据和输出数据分布之间的差值建立损失函数，具体为：
其中，Loss表示损失值。
步骤S400：获取医药高光谱测试图像，将医药高光谱测试图像输入至训练好的多尺度注意力机制自动编码器网络进行测试，得到重构测试图像，计算重构测试图像和医药高光谱测试图像重构误差，根据重构误差和预设的阈值得到异物检测结果。
具体地，在测试阶段，哈希存储模块固定不变。将步骤S100构造的测试数据集应用于模型，得到医药高光谱异物检测的结果，当重构测试误差大于预设的阈值时，则判定有异物，最后模型将结果输出。
上述一种基于自动编码器的医药高光谱异物检测方法，设计了一种哈希寻址存储模块，用于快速检索最相关的项，从而更高效地产生异常的高重构误差。(原理：在训练阶段，哈希存储模块以典型的正常项为加号进行更新。在测试过程中，哈希存储模块是固定的，正常情况和异常情况都通过汉明距离进行寻址)。提出了一种结合像素注意层和通道注意层的多尺度注意块，用于替换卷积层和转置卷积层，实现采样、下采样和上采样功能，解决单卷积层和反卷积层不变局部算子接收域有限的问题，有效地融合全局信息，更好的实现特征提取。将瓦瑟斯坦距离与均方误差(MSE)的数据分布相结合，建立新的损失函数。有效提高了异常检测的准确率和效率。
以上对本发明所提供的一种基于自动编码器的医药高光谱异物检测方法进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。
Claims (9)
1.一种基于自动编码器的医药高光谱异物检测方法，其特征在于，所述方法包括以下步骤：
步骤S100：采集医药生产线上的医药高光谱图像并进行预处理，将所述预处理后的医药高光谱图像按照预设比例划分为药物高光谱训练图像和药物高光谱测试图像，其中，所述医药高光谱训练图像为正常样本，所述医药高光谱测试图像包括正常样本和异常样本；
步骤S200：设计多尺度注意块，将所述多尺度注意块插入编码器和解码器，根据所述编码器、哈希存储模块和所述解码器构建多尺度注意力机制自动编码器网络，所述编码器、所述哈希存储模块和所述解码器依次连接；
步骤S300：对所述网络进行参数的初始化后，输入所述医药高光谱训练图像对所述网络进行训练得到重构训练图像，根据所述医药高光谱训练图像和所述重构训练图像得到输入数据和输出数据之间的均方误差以及输入数据和输出数据分布之间的差值，根据所述输入数据和输出数据之间的均方误差以及所述输入数据和输出数据分布之间的差值建立损失函数，根据所述损失函数对所述网络进行反向传播更新网络参数，得到训练好的多尺度注意力机制自动编码器网络；
步骤S400：获取医药高光谱测试图像，将所述医药高光谱测试图像输入至所述训练好的多尺度注意力机制自动编码器网络进行测试，得到重构测试图像，计算所述重构测试图像和所述医药高光谱测试图像重构误差，根据所述重构误差和预设的阈值得到异物检测结果；
步骤S200中设计多尺度注意块包括：
步骤S210：设计空间注意模块SAM，使用1×1Conv将医药高光谱训练图像F生成三个新的特征图A、B和D，其中A、B、并将所述A、B和D三个特征图重塑为其中，N＝H×W表示像素数，所述特征图A与所述特征图B进行矩阵乘法并应用softmax层处理，输出/>所述S与所述特征图D进行矩阵乘法，再使用平衡参数α与F执行逐元素求和运算以获得最终输出，计算方式如下：
其中，Sij表示S矩阵中像素点i对像素点j的影响，S是一个NxN的矩阵，Ai表示特征图A的第i个像素点，Bj表示特征图B的第j个像素点，Ei为空间注意模块(SAM)对于第i个像素点提取的相应特征；
步骤S220：设计通道注意模块CAM，CAM将医药高光谱训练图像F重塑为三个相同的特征图G，特征图大小为将所述特征图G的转置与所述特征图G作矩阵乘法，应用softmax层处理得到/>再对Xij和所述特征图G的转置进行矩阵乘法，返回结果的维度为具体为：
其中，Xij表示X矩阵中的像素点i对像素点j的影响，Mi为通道注意模块(CAM)对于第i个像素点提取的相应特征，Gi表示特征图G的第i个像素点，Gj表示特征图G的第j个像素点，X是一个CxC的矩阵，β为平衡参数，C表示通道数；
步骤S230：设计多尺度注意块包括通道注意模块CAM和空间注意模块SAM，给定多尺度注意块的输入表示为其中C是通道总数，H×W是特征图大小，根据所述医药高光谱训练图像F、空间注意力E和通道注意力M精化特征图/>具体为：
其中，F经过3×3Conv，将BN层和ReLU函数应用于空间注意力E和通道注意力M，使用元素求和并使用1×1Conv将得到的特征压缩到紧凑的嵌入中。
2.根据权利要求1所述的方法，其特征在于，步骤S200中，所述编码器用于接收预处理后的药物高光谱图像进行编码后得到特征嵌入向量；所述哈希存储模块用于接收所述特征嵌入向量，通过哈希编码的汉明距离检索出最接近的张量值，得到潜在特征嵌入向量；所述解码器用于根据接收的所述潜在特征嵌入向量进行解码，得到重构训练图像。
3.根据权利要求2所述的方法，其特征在于，步骤S200中所述多尺度注意块用于常规采样、上采样和下采样，所述多尺度注意块包括正则卷积的相同注意块(SA)、下注意块(DA)和上注意块(UA)，所述相同注意块(SA)用于输出相同大小的特征图，所述下注意块(DA)用于输出大小为一半的下采样，所述上注意块(UA)用于输出两倍大小的上采样；其中，所述SA块的内核大小KS＝3，步幅S＝1，所述DA块的内核大小KS＝3，步幅S＝2，所述UA块的内核大小KS＝3，步幅S＝2。
4.根据权利要求3所述的方法，其特征在于，步骤S200中的所述编码器包括三个所述DA块和一个所述SA块，所述编码器用于接收预处理后的药物高光谱图像进行编码后得到特征嵌入向量，具体为：
z＝fe(x；θe)
其中，θe为编码器网络的参数，z为特征嵌入向量，x为预处理后的药物高光谱图像。
5.根据权利要求4所述的方法，其特征在于，步骤S200中，所述哈希存储模块用于接收所述特征嵌入向量，通过哈希编码的汉明距离检索出最接近的张量值，得到潜在特征嵌入向量，包括：
步骤S250：将所述特征嵌入向量作为哈希存储模块的输入，并将其存储在内存插槽中；
步骤S260：利用哈希函数对所述特征嵌入向量映射得到哈希二进制码，并将其存储在哈希表中；
步骤S270：利用汉明距离计算所述特征嵌入向量与所述哈希表的相似系数；
步骤S280：从所述内存插槽中提取相似系数最高对应的输入特征作为潜在特征嵌入向量。
6.根据权利要求5所述的方法，其特征在于，步骤S260中的哈希函数具体为：
其中，fc代表一个全连接层，将mi记忆特征向量转化为hi，sgn代表一个符号激活函数，基于输入mi输出正负1，1表示长度为hi的一维向量。
7.根据权利要求6所述的方法，其特征在于，步骤S200中的所述解码器包括两个所述SA块和三个所述UA块，所述解码器用于根据接收的所述潜在特征嵌入向量进行解码，得到重构训练图像，具体为：
其中，θd为解码器网络的参数，为潜在特征嵌入向量，/>为重构训练图像。
8.根据权利要求7所述的方法，其特征在于，步骤S200中根据所述医药高光谱训练图像和所述重构训练图像得到输入数据和输出数据之间的均方误差以及输入数据和输出数据分布之间的差值，具体为：
其中，Px表示输入数据分布，表示输出数据分布，/>表示Px和/>之间的差值，表示联合概率分布，/>表示距离期望值的下限，/>表示输入数据和输出数据之间的均方误差。
9.根据权利要求8所述的方法，其特征在于，根据所述输入数据和输出数据之间的均方误差以及所述输入数据和输出数据分布之间的差值建立损失函数，具体为：
其中，Loss表示损失值。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210493427.4A CN114913358B (zh) | 2022-05-07 | 2022-05-07 | 一种基于自动编码器的医药高光谱异物检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210493427.4A CN114913358B (zh) | 2022-05-07 | 2022-05-07 | 一种基于自动编码器的医药高光谱异物检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114913358A CN114913358A (zh) | 2022-08-16 |
| CN114913358B true CN114913358B (zh) | 2024-05-10 |
Family
ID=82766257
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210493427.4A Active CN114913358B (zh) | 2022-05-07 | 2022-05-07 | 一种基于自动编码器的医药高光谱异物检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114913358B (zh) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017092183A1 (zh) * | 2015-12-03 | 2017-06-08 | 中山大学 | 一种基于可变长深度哈希学习的图像检索方法 |
| CN113836341A (zh) * | 2021-09-13 | 2021-12-24 | 武汉理工大学 | 基于无监督转换器平衡哈希的遥感图像检索方法 |
-
2022
- 2022-05-07 CN CN202210493427.4A patent/CN114913358B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017092183A1 (zh) * | 2015-12-03 | 2017-06-08 | 中山大学 | 一种基于可变长深度哈希学习的图像检索方法 |
| CN113836341A (zh) * | 2021-09-13 | 2021-12-24 | 武汉理工大学 | 基于无监督转换器平衡哈希的遥感图像检索方法 |
Non-Patent Citations (1)
| Title |
|---|
| 深度哈希算法在心脏超声图像检索中的应用;张凯;姚宇;伍岳庆;陈哲彬;;计算机应用;20191230(第S2期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114913358A (zh) | 2022-08-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Song et al. | Unified binary generative adversarial network for image retrieval and compression | |
| US20200104721A1 (en) | Neural network image search | |
| CN115937655B (zh) | 多阶特征交互的目标检测模型及其构建方法、装置及应用 | |
| CN110188827A (zh) | 一种基于卷积神经网络和递归自动编码器模型的场景识别方法 | |
| CN111401375A (zh) | 文本识别模型训练方法、文本识别方法、装置及设备 | |
| CN112199532B (zh) | 一种基于哈希编码和图注意力机制的零样本图像检索方法及装置 | |
| CN112651940B (zh) | 基于双编码器生成式对抗网络的协同视觉显著性检测方法 | |
| CN110046660B (zh) | 一种基于半监督学习的乘积量化方法 | |
| Chu et al. | Stacked Similarity-Aware Autoencoders. | |
| CN115222998B (zh) | 一种图像分类方法 | |
| Yang et al. | Deep attention-guided hashing | |
| CN110083734B (zh) | 基于自编码网络和鲁棒核哈希的半监督图像检索方法 | |
| CN113988147A (zh) | 基于图网络的遥感图像场景多标签分类方法及装置、多标签检索方法及装置 | |
| CN113806580A (zh) | 基于层次语义结构的跨模态哈希检索方法 | |
| Zhao et al. | Deeply supervised active learning for finger bones segmentation | |
| CN117033657A (zh) | 一种信息检索方法及装置 | |
| CN114037699B (zh) | 一种病理图像分类方法、设备、系统及存储介质 | |
| Khan et al. | Data Dimension Reduction makes ML Algorithms efficient | |
| CN114511733A (zh) | 基于弱监督学习的细粒度图像识别方法、装置及可读介质 | |
| CN114913358B (zh) | 一种基于自动编码器的医药高光谱异物检测方法 | |
| Wang et al. | Deep correlation structure preserved label space embedding for multi-label classification | |
| CN116091763A (zh) | 苹果叶部病害图像语义分割系统及分割方法、设备和介质 | |
| Yu et al. | Deep hash image retrieval method based on anti-autoencoder | |
| CN113627436A (zh) | 一种表面压印字符图像的无监督分割方法 | |
| Zhang et al. | Nonlinear dictionary learning based deep neural networks |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |