CN116524495A - 一种基于多维通道注意力机制的中药显微识别方法及系统 - Google Patents
一种基于多维通道注意力机制的中药显微识别方法及系统 Download PDFInfo
- Publication number
- CN116524495A CN116524495A CN202310108437.6A CN202310108437A CN116524495A CN 116524495 A CN116524495 A CN 116524495A CN 202310108437 A CN202310108437 A CN 202310108437A CN 116524495 A CN116524495 A CN 116524495A
- Authority
- CN
- China
- Prior art keywords
- chinese medicine
- traditional chinese
- dimensional
- layer
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 239000003814 drug Substances 0.000 title claims abstract description 153
- 238000000034 method Methods 0.000 title claims abstract description 85
- 230000007246 mechanism Effects 0.000 title claims abstract description 56
- 238000000605 extraction Methods 0.000 claims abstract description 29
- 238000009826 distribution Methods 0.000 claims abstract description 11
- 210000000988 bone and bone Anatomy 0.000 claims abstract description 10
- 230000002708 enhancing effect Effects 0.000 claims abstract description 7
- 238000001514 detection method Methods 0.000 claims description 33
- 238000012549 training Methods 0.000 claims description 28
- 238000012545 processing Methods 0.000 claims description 19
- 230000004927 fusion Effects 0.000 claims description 17
- 238000010586 diagram Methods 0.000 claims description 9
- 230000003993 interaction Effects 0.000 claims description 7
- 238000004220 aggregation Methods 0.000 claims description 6
- 230000002776 aggregation Effects 0.000 claims description 6
- 235000019580 granularity Nutrition 0.000 claims description 6
- 238000011176 pooling Methods 0.000 claims description 5
- 230000006835 compression Effects 0.000 claims description 4
- 238000007906 compression Methods 0.000 claims description 4
- 238000012216 screening Methods 0.000 claims description 4
- 230000011218 segmentation Effects 0.000 claims description 4
- 230000001629 suppression Effects 0.000 claims description 4
- 238000013519 translation Methods 0.000 claims description 4
- 238000012935 Averaging Methods 0.000 claims description 3
- 101100173048 Mus musculus Mcat gene Proteins 0.000 claims description 3
- 230000001131 transforming effect Effects 0.000 claims description 3
- 238000002474 experimental method Methods 0.000 description 22
- 238000004422 calculation algorithm Methods 0.000 description 16
- 241001673966 Magnolia officinalis Species 0.000 description 13
- 230000000052 comparative effect Effects 0.000 description 9
- 230000008569 process Effects 0.000 description 8
- 240000004534 Scutellaria baicalensis Species 0.000 description 7
- 235000017089 Scutellaria baicalensis Nutrition 0.000 description 7
- 230000000694 effects Effects 0.000 description 7
- 239000000463 material Substances 0.000 description 6
- 238000013527 convolutional neural network Methods 0.000 description 5
- 239000000835 fiber Substances 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 4
- 238000013507 mapping Methods 0.000 description 4
- 241000207929 Scutellaria Species 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 230000018109 developmental process Effects 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 229940126680 traditional chinese medicines Drugs 0.000 description 3
- 238000012795 verification Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 229940126678 chinese medicines Drugs 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 229940079593 drug Drugs 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 239000003153 chemical reaction reagent Substances 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000005284 excitation Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000035772 mutation Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000006116 polymerization reaction Methods 0.000 description 1
- 239000000843 powder Substances 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000013441 quality evaluation Methods 0.000 description 1
- 239000004334 sorbic acid Substances 0.000 description 1
- 239000004575 stone Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 210000001519 tissue Anatomy 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000011282 treatment Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
- G06V20/695—Preprocessing, e.g. image segmentation
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
Abstract
本发明公开一种基于多维通道注意力机制的中药显微识别方法及系统，包括：在Input层结合中药显微图像细胞结构不完整、图像立体、特征分布不均衡的特性，得到一中药显微图像数据增强模型，并利用该增强模型对中药显微图像数据进行增强；在Backbone层融合浅层的特征信息，并在Neck层后Prediction层前融合深层的特征信息，得到一多维通道注意力的显微特征提取模型；通过该提取模型从浅层到深层不同通道中获取隐含有效辅助信息；利用隐含有效辅助信息，通过Prediction层生成预测框对中药显微图像特征进行预测，得到中药显微图像细胞的特征，完成中药显微图像细胞的识别，从而提高中药显微图像的预测准确率。
Description
技术领域
本发明涉及显微图像信息处理技术领域，具体涉及一种基于多维通道注意力机制的中药显微识别方法及系统。
背景技术
随着中药材市场的蓬勃发展，中药材检测与鉴定业务也发展得如火如荼。近年来，中药材检测市场规模高达17.5亿元，中药材年产量更是达到450.5万吨，中药材日检测量达2200万余次，中药材及中成药快检市场潜力巨大。但目前大多药企及检测部门在中药材、中成药鉴定领域仍然采用传统的人工鉴定方式，该方式对检测人员专业性要求强，显微镜视野小、快速检索目标困难。同时，当今药材野生少，栽培多，存在细胞变异现象，根据经验与显微图谱识别，辨认率低，专属性低。此外，由于目前缺乏完整的细胞数据对照库，传统显微图谱等资料较分散且不全面、更新迭代慢，对目标物描叙主观因素多。因此，检测时间长、成本高、过程复杂已经成为了限制了药企和检测部门发展的痛点。
传统的中药材鉴别方法主要包括基原鉴别、性状鉴定、显微鉴定和理化鉴定。其中，显微鉴定基于不同药材显微特征不同的原理，利用显微镜观察药材的组织结构和粉末特征来实现真伪鉴别。目前，由于显微镜的成本逐年降低，显微鉴定已经成为了药企、医院和药品监督机构的主要的鉴别手段。
近年来，得益于人工神经网络的发展，形成了诸多基于深度学习的图像识别方法。图像识别(也称目标检测)方法已经被广泛用于通过构建神经网络模型从数据中学习来准确检测和定位图像中的对象。基于深度学习的目标检测算法主要分为两类：一是基于区域建议的Two-Stage检测算法；二是基于回归思想的One-Stage检测算法。对比Two-Stage检测算法，One-Stage检测算法速度更快，代表的算法有：SSD、RetinaNet、YOLO系列算法。
基于深度学习的目标检测算法在各行各业中的应用非常广泛，尤其是One-Stage检测算法中的YOLO系列算法。在YOLO系列算法中，YOLOv5网络因其使用Pytorch框架更容易投入生产，且具有对用户友好、方便训练、训练速度快和准确率高等的优势被广泛使用。但是由于YOLOv5网络对小目标的检测效果较差，因此对中药显微图像进行预测时，存在以下问题：
(1)由于中药显微图像存在结构不完整，图像立体，特征分布不均衡等问题，导致预测准确率较低；
(2)在对中药显微图像进行识别时，由于存在重要数据随卷积神经网络层数加深而丢失，以及低维特征图与高维特征图之间存在信息鸿沟，从而进一步地降低预测准确率。
发明内容
为了克服现有技术的不足，本发明提供一种基于多维通道注意力机制的中药显微识别方法及系统，用于解决现有的显微图像识别技术在对中药显微图像进行预测时准确率较低的技术问题，从而达到提高中药显微图像预测准确率的目的。
为解决上述问题，本发明所采用的技术方案如下：
一种基于多维通道注意力机制的中药显微识别方法，包括以下步骤：
在Input层结合中药显微图像细胞结构不完整、图像立体、特征分布不均衡的特性，得到一中药显微图像数据增强模型，并利用所述中药显微图像数据增强模型对中药显微图像数据进行增强；
在Backbone层融合浅层的特征信息，并在Neck层后Prediction层前融合深层的特征信息，得到一多维通道注意力的显微特征提取模型；
通过所述多维通道注意力的显微特征提取模型从浅层到深层不同通道中获取隐含有效辅助信息；
利用所述隐含有效辅助信息，通过Prediction层生成预测框，并利用所述预测框对中药显微图像特征进行预测，得到中药显微图像细胞的特征，完成中药显微图像细胞的识别。
作为本发明优选的实施方式，在利用所述中药显微图像数据增强模型对数据进行增强时，包括：
从原训练数据集中随机选取n张图片，并对所述n张图片进行水平方向的平均分割，获得若干分割好的图片；
从所述若干分割好的图片中再随机抽取n张图片进行水平方向的拼接，获得若干拼接后的图片；
利用所述若干拼接后的图片和所述原训练数据集中图片，构建出一全新训练数据集。
作为本发明优选的实施方式，在构建出一全新训练数据集时，包括：
对所述若干拼接后的图片和所述原数据集中图片进行镜像处理、平移处理以及旋转处理。
作为本发明优选的实施方式，在Backbone层融合浅层的特征信息时，包括：
在网络的浅层融入SENet注意力机制，得到浅层通道注意力机制SEAtt；
将经所述中药显微图像数据增强模型进行增强后输出的第一特征图像，经过特征处理模块处理后，变换为第二特征图像，并将所述第二特征图像作为SEAtt模块的输入；
通过所述SEAtt模块对所述第二特征图像进行不同粒度的聚合形成图像特征并提取，完成浅层的特征信息的融合。
作为本发明优选的实施方式，在进行不同粒度的聚合形成图像特征并提取时，包括：
将所述第二特征图像通过一系列卷积操作后变换得到图像特征U；
通过SENet模块中的Squeeze操作对所述图像特征U进行压缩得到一残差通道统计量；
根据所述残差通道统计量，并由所述SENet模块中的Excitation操作对每个通道的重要性进行预测，得到不同通道的非线性关系；
根据所述图像特征U和所述不同通道的非线性关系，通过所述SENet模块中的Scale操作进行输出；
其中，所述Excitation操作中采用Sigmoid形式的门控机制。
作为本发明优选的实施方式，在Neck层后Prediction层前融合深层的特征信息时，包括：
通过多维深度通道注意力机制MCAtt在网络的深层引入ECA注意力机制，对不同维度、不同层次的语义信息和定位信息进行注意力的重构，在网络的深层为低、中、高不同维度特征图的精准融合提供基础；
并结合所述浅层通道注意力机制SEAtt和所述多维深度通道注意力机制MCAt，得到所述多维通道注意力的显微特征提取模型；
其中，所述网络的深层包括低、中、高不同维度。
作为本发明优选的实施方式，在网络的深层为低、中、高不同维度特征图的精准融合提供基础时，包括：
将输入的低维特征El、中维特征Em以及高维特征Eh通过一系列的卷积操作后分别变换成特征Ul、特征Um以及特征Uh；
进行Squeeze操作，利用全局平均池化沿空间维度压缩所述特征Ul、所述特征Um以及所述特征Uh，压缩后分别得到一维的实数Zl、一维的实数Zm以及一维的实数Zh；
根据所述实数Zl、所述实数Zm以及所述实数Zh，ECA模块通过卷积核大小为k的一维卷积进行跨通道信息交互，分别得到低维权重、中维权重以及高维权重；
将所述低维权重、所述中维权重以及所述高维权重分别结合原始特征图，并通过所述ECA模块中的Scale操作进行输出，分别得到低维残差特征、中维残差特征以及高维残差特征，为低、中、高不同维度特征图的精准融合提供基础；
其中，所述Neck层往Prediction层分别有低维特征El、中维特征Em以及高维特征Eh三个不同维度的特征输出。
作为本发明优选的实施方式，在通过Prediction层生成预测框，并利用所述预测框对中药显微图像特征进行预测时，包括：
通过中药显微识别模型分别以低、中和高3个不同的维度融合不同感受野的特征，产生三个不同目标尺度的特征图；
利用所述三个不同目标尺度的特征图以预测中药显微图像中的目标。
作为本发明优选的实施方式，在预测中药显微图像中的目标时，包括：
将输入的中药显微图像进行网格划分，获取存在目标的中心的网格，并利用所述网格预测所述目标；
采用目标损失、类别损失与置信度损失三部分的损失在训练阶段对所述中药显微图像进行预测；
采用非极大值抑制来剔除冗余的预测框，筛选出高质量的检测结果，得到中药显微图像细胞的特征。
一种基于多维通道注意力机制的中药显微识别系统，包括：
增强单元：用于在Input层结合中药显微图像细胞结构不完整、图像立体、特征分布不均衡的特性，得到一中药显微图像数据增强模型，并利用所述中药显微图像数据增强模型对中药显微图像数据进行增强；
辅助信息获取单元：用于在Backbone层融合浅层的特征信息，并在Neck层后Prediction层前融合深层的特征信息，得到一多维通道注意力的显微特征提取模型；通过所述多维通道注意力的显微特征提取模型从浅层到深层不同通道中获取隐含有效辅助信息；
预测单元：用于利用所述隐含有效辅助信息，通过Prediction层生成预测框，并利用所述预测框对中药显微图像特征进行预测，得到中药显微图像细胞的特征，完成中药显微图像细胞的识别。
相比现有技术，本发明的有益效果在于：
(1)本发明针对中药显微图像存在结构不完整、图像立体、特征分布不均衡等问题，提出了一种中药显微图像数据增强模型，可扩充和均衡现有中药显微图像数据集，为中药显微图像的有效预测提供了数据基础；
(2)本发明针对显微图像识别技术在中药材鉴别中存在重要数据随卷积神经网络层数加深而丢失的问题以及考虑到低维特征图与高维特征图之间存在信息鸿沟，构建了一种多维通道注意力的显微特征提取模型，从浅层和深层(含低、中、高的不同维度)不同通道中获取隐含有效辅助信息，为低、中、高不同维度特征图的精准融合提供基础，以加强在大小不同的特征图上的预测准确率；
(3)本发明对2种中药构建了1.2万规模的小数据集并进行了系列对比实验。结果表明本发明的MCA-CHMR方法与YOLOv5、SSD、RetinaNet和FASTER RCNN等方法相比，效果最佳。
下面结合附图和具体实施方式对本发明作进一步详细说明。
附图说明
图1-是本发明实施例的基于多维通道注意力机制的中药显微识别方法步骤图；
图2-是本发明实施例的MCA-CHMR的网络结构示意图；
图3-是本发明实施例的中药显微图像数据增强模型的处理过程图；
图4-是本发明实施例的黄芩Vessels和黄芩Corkcells的对比实验图；
图5-是本发明实施例的黄芩Corkcells和厚朴Stonecells的第一对比实验图；
图6-是本发明实施例的黄芩Corkcells和厚朴Stonecells的第二对比实验图；
图7-是本发明实施例的厚朴Stonecells的对比实验AP曲线图；
图8-是本发明实施例的厚朴Fibres的各对比实验图。
具体实施方式
本发明所提供的基于多维通道注意力机制的中药显微识别方法，如图1所示，包括以下步骤：
步骤S1：在Input层结合中药显微图像细胞结构不完整、图像立体、特征分布不均衡的特性，得到一中药显微图像数据增强模型，并利用中药显微图像数据增强模型对中药显微图像数据进行增强；
步骤S2：在Backbone层融合浅层的特征信息，并在Neck层后Prediction层前融合深层的特征信息，得到一多维通道注意力的显微特征提取模型；
步骤S3：通过多维通道注意力的显微特征提取模型从浅层到深层不同通道中获取隐含有效辅助信息；
步骤S4：利用隐含有效辅助信息，通过Prediction层生成预测框，并利用预测框对中药显微图像特征进行预测，得到中药显微图像细胞的特征，完成中药显微图像细胞的识别。
具体地，本发明在YOLOv5的基础上提出了一种基于多维通道注意力机制的中药显微识别方法(MCA-CHMR)。如图2所示，首先在Input层结合中药显微图像的细胞结构不完整、图像立体、特征分布不均衡等特性，设计了中药显微图像数据增强模型(TCM-MIEM)，可扩充和均衡现有的中药显微图像数据集。其次，在Backbone层融合浅层的特征信息及在Neck后，Prediction层前融合深层的特征信息，提出了多维通道注意力的显微特征提取模型(SEAtt+MC Att)，从浅层和深层(含低、中、高的不同维度)不同通道中获取隐含有效辅助信息。最后，通过Prediction层对图像特征进行预测，生成边界框并预测得到最终的结果。本发明提出的MCA-CHMR方法同样分为Input、Backbone、Neck、Prediction四大模块，模块按顺序执行。
在上述步骤S1中，在利用中药显微图像数据增强模型对数据进行增强时，包括：
从原训练数据集中随机选取n张图片，并对n张图片进行水平方向的平均分割，获得若干分割好的图片；
从若干分割好的图片中再随机抽取n张图片进行水平方向的拼接，获得若干拼接后的图片；
利用若干拼接后的图片和原训练数据集中图片，构建出一全新训练数据集。
具体地，如图2所示，本发明在MCA-CHMR的Input阶段，提出了中药显微图像数据增强模型(TCM-MIEM)，TCM-MIEM的具体操作流程如图3所示。首先，从数据集中随机选取2张图片a和b；接着，对这2张图片进行水平方向的平均分割；最后，从分割好的图片中再随机抽取2张图片进行水平方向的拼接，拼接后的图像可以是除a、b外的任意一种组合。
例如，拓展的图像数量为M，则数据规模从原来的N变成了N+M，即i∈[1,N+M]，X＝{X1,X2,...,Xi,...,XN+M}。
考虑到不可能真正为本发明的模型在推理中要看到的每个真实场景捕捉一个图像，为了进一步拓展数据规模，本发明在中药显微图像数据增强模型的基础上，还参考了YOLOv5引入了镜像、平移和旋转等处理。
在本发明中采用TCM-MIEM方法对数据进行增强后，数据集会作为全新的训练数据输入到网络中完成训练。总体而言，本发明提出的TCM-MIEM方法，可以扩充和均衡现有中药显微图像数据集，为中药显微图像的有效预测提供了数据基础。
进一步地，在构建出一全新训练数据集时，包括：
对若干拼接后的图片和原数据集中图片进行镜像处理、平移处理以及旋转处理。
在上述步骤S2中，在Backbone层融合浅层的特征信息时，包括：
在网络的浅层融入SENet注意力机制，得到浅层通道注意力机制SEAtt；
将经中药显微图像数据增强模型进行增强后输出的第一特征图像，经过特征处理模块处理后，变换为第二特征图像，并将第二特征图像作为SEAtt模块的输入；
通过SEAtt模块对第二特征图像进行不同粒度的聚合形成图像特征并提取，完成浅层的特征信息的融合。
具体地，通道注意力机制可以使神经网络更有效地提取包含在较低卷积层的位置信息和更深层的语义信息。考虑到在目标检测模型训练过程中，存在重要的特征数据会随着网络层数加深而丢失的问题，本发明在通道注意力机制的基础上提出了融合浅层和深层特征信息的思想，给予重要的特征信息更大的权重，摒弃不重要的特征信息，以加强对目标图像重要特征的提取及目标图像特征信息的理解。同时，考虑到低维特征图与高维特征图之间存在不可跨越的信息鸿沟，本发明在浅层和深层的基础上提出了多维特征融合的思想。从不同维度，不同层次对语义信息和定位信息进行注意力的重构，以加强在大小不同的特征图上的预测准确率。
考虑到卷积神经网络会随着网络层数的增加而丢失重要数据的问题，本发明设计了浅层通道注意力机制(SEAtt)。SEAtt的思想是在网络的浅层融入SENet注意力机制。SENet注意力机制属于轻量级的模块，可以应用到现有的任何网络结构体系中，也可以用于任何映射。以卷积为例，卷积核的计算是将所有信道信息直接叠加在一起，所有特征图对分类结果具有相同的权重。但在目标检测任务中，不同的目标特征提取网络关注的关键特征区域不同。如果在训练开始时对每个featuremap都给予同等的重视程度，会增加网络收敛所需的时间。所以，SENet通道注意机制是较好的选择。
在MCA-CHMR方法的Backbone模块，主要是对浅层的图像进行不同粒度的聚合并形成图像特征，提取图片中的信息，以供后面的网络使用。本发明将TCM-MIEM后输出的特征图像X(第一特征图像)经过CBS、C3_1等模块的处理，变换为特征图像E(第二特征图像)，变换后的图像特征作为SEAtt模块的输入。
进一步地，在进行不同粒度的聚合形成图像特征并提取时，包括：
将第二特征图像通过一系列卷积操作后变换得到图像特征U；
通过SENet模块中的Squeeze操作对图像特征U进行压缩得到一残差通道统计量；
根据残差通道统计量，并由SENet模块中的Excitation操作对每个通道的重要性进行预测，得到不同通道的非线性关系；
根据图像特征U和不同通道的非线性关系，通过SENet模块中的Scale操作进行输出；
其中，Excitation操作中采用Sigmoid形式的门控机制。
具体地，SEAtt模块能够给予特征图中的重要特征信息更大的权重，摒弃不重要的特征信息。它对卷积得到的特征图进行包含Sequeeze、Excitation和Scale3步操作，其结构如图2中的SEAtt模块所示。具体操作过程如下：
首先，输入E通过一系列卷积操作后变换得到特征U。用V＝[v1,v2,...,vC]来表示一系列卷积核，其中vC表示第c层卷积的参数。即输出特征U＝[u1,u2,...,uC]可用以下公式1表示：
其中，*表示卷积操作，表示第s个输入的第c个卷积核，ES表示第s个输入。
其次，由SENet模块中的Squeeze操作为图像特征U进行全局平均池化，以对图像特征U进行压缩，压缩后变成一个一维的实数z，表示为残差通道统计量。假设将输出结果的长度设置为c,Zc＝[z1,z2......,zc]，(x，y)表示大小为W*H的特征，x为横坐标，y为纵坐标。即z的第c个元素可以用以下公式2表示：
紧接着，由SENet模块中Excitation操作对每个通道的重要性进行预测，得到不同通道的非线性关系，因此在Excitation操作中采用Sigmoid形式的门控机制。假设为两个不同的全连接层，r为降维率，当r较小时，可以更好地保留上一层的全局信息，但计算量会相对增加。为了达到传播速度和检测精度的平衡，设置SENet中的r＝16。最终Excitation操作的输出参数为每个特征通道的权重ω，则ω可以表示为公式3：
ω＝σ(W2×δ(W1×z))| (3)；
其中，σ为Sigmoid函数，δ为ReLU激活函数。
最后，将得到的1×1×C的实数结合原始特征图通过SENet模块中的Scale操作进行输出，如公式4所示：
式中表示图像特征uc∈RW×H和标量ωc之间通道内对应像素点的乘积。通过Scale操作，使得网络模型能够自动学习各通道的重要性，从而加强了图像特征的识别能力。
综上，引入SEAtt方法所提取的特征，包含了更多更准确的辅助信息，加强了模型对目标图像特征信息的理解，实现了模型识别率的提升。
在上述步骤S2中，在Neck层后Prediction层前融合深层的特征信息时，包括：
通过多维深度通道注意力机制MCAtt在网络的深层引入ECA注意力机制，对不同维度、不同层次的语义信息和定位信息进行注意力的重构，在网络的深层为低、中、高不同维度特征图的精准融合提供基础；
并结合浅层通道注意力机制SEAtt和多维深度通道注意力机制MCAt，得到多维通道注意力的显微特征提取模型；
其中，网络的深层包括低、中、高不同维度。
具体地，考虑到低维特征图与高维特征图之间存在不可跨越的信息鸿沟，本发明设计了多维深度通道注意力机制(MCAtt)，MCAtt的思想是在网络的深层(含低、中、高不同维度)引入ECA注意力机制，对不同维度，不同层次的语义信息和定位信息进行注意力的重构，在网络的深层为低、中、高不同维度特征图的精准融合提供基础。
进一步地，在网络的深层为低、中、高不同维度特征图的精准融合提供基础时，包括：
将输入的低维特征El、中维特征Em以及高维特征Eh通过一系列的卷积操作后分别变换成特征Ul、特征Um以及特征Uh；
进行Squeeze操作，利用全局平均池化沿空间维度压缩特征Ul、特征Um以及特征Uh，压缩后分别得到一维的实数Zl、一维的实数Zm以及一维的实数Zh；
根据实数Zl、实数Zm以及实数Zh，ECA模块通过卷积核大小为k的一维卷积进行跨通道信息交互，分别得到低维权重、中维权重以及高维权重；
将低维权重、中维权重以及高维权重分别结合原始特征图，并通过ECA模块中的Scale操作进行输出，分别得到低维残差特征、中维残差特征以及高维残差特征，为低、中、高不同维度特征图的精准融合提供基础；
其中，Neck层往Prediction层分别有低维特征El、中维特征Em以及高维特征Eh三个不同维度的特征输出。
具体地，在MCA-CHMR方法的Neck模块，主要使用PAN和FPN结构，将浅层丰富的位置信息映射叠加到深层特征来进行信息融合，底层的位置信息再向高层传递，加强不同特征图之间的信息传递，准确保留空间信息，从而提高网络对大中型目标的检测能力。如图2所示，Neck层往Prediction层分别有低El、中Em和高Eh三个不同维度的特征输出。以Eh为例，Eh可以表示为公式5：
其中，+表示对特征图像串行处理，⊕表示张量拼接，作用是为不同层次的输入特征分配不同的权重。f表示SPPF模块对特征图像的处理，g表示CBS模块对特征图像的处理；d表示C3_1_F模块对特征图像的处理；
ECA注意力机制对卷积得到的特征图进行包含Sequeeze、Conv和Scale 3步操作，其结构如图2的MCAtt模块所示。MCAtt模块的具体处理过程如下：
首先，将输入Eh通过一系列的卷积操作后变换得到特征Uh。
其次，进行Squeeze操作，利用全局平均池化沿空间维度压缩特征Uh，压缩后变成一个一维的实数z。对于z中的第c个单元格计算如公式6所示：
紧接着，为了避免降维，ECA模块通过卷积核大小为k的一维卷积实现跨通道信息交互，如公式7所示：
ω＝σ(C1Dk(zc)) (7)；
其中，其中，C1D为一维卷积，k为一维卷积核的大小，用于表示跨通道交互的范围。k与通道数c有特征映射关系，可以通过以下公式8自适应计算。
k＝ψ(C)＝|log2(C)/γ+b/γ|odd (8)；
其中，|n|odd是最接近n的奇数,将γ和b分别设为2和1。通过映射ψ，使高维通道具有更长的相互作用，而低维通道通过使用非线性映射进行更短的相互作用。
最后，将输出的权重结合原始特征图通过ECA模块中的Scale操作进行输出，最终的残差特征表示如公式9：
同理，可以得到低维残差特征和中维残差特征/>
综上，引入MCAtt方法所提取的特征，包含了不同维度和不同层次的有效辅助信息，为低、中、高不同维度特征图的精准融合提供了基础，加强了模型对目标图像特征信息的理解，实现了模型在不同维度、不同大小特征图上的预测准确率。
在上述步骤S4中，在通过Prediction层生成预测框，并利用预测框对中药显微图像特征进行预测时，如图2所示，包括：
通过中药显微识别模型分别以低、中和高3个不同的维度融合不同感受野的特征，产生三个不同目标尺度的特征图；
利用三个不同目标尺度的特征图以预测中药显微图像中的目标。
进一步地，在预测中药显微图像中的目标时，包括：
将输入的中药显微图像进行网格划分，获取存在目标的中心的网格，并利用网格预测目标；
采用目标损失、类别损失与置信度损失三部分的损失在训练阶段对中药显微图像进行预测；
采用非极大值抑制来剔除冗余的预测框，筛选出高质量的检测结果，得到中药显微图像细胞的特征。
具体地，预测的过程如下：
首先，将输入的中药显微图像进行网格划分，如果网格中存在目标的中心,则利用该网格预测此目标。每个网格单元的预测内容包括三个目标边界框的位置信息和一个置信度信息，一个目标框对应四个位置信息(x,y,w,h)和一个置信度信息。其中，x和y表示物体的中心点位置；w和h分别表示中心点距离物体两边的宽高；置信度C代表所预测的目标框中包含目标的置信度和这个目标框预测的准确度两重信息，如公式10所示：
其中，IOU＝(A∩B)/(A∪B)，A表示真实框，B表示预测框。当Pr(obj)＝1时，表明图像中存在目标，当Pr(obj)＝0时，表明图像中不存在目标。
其次，采用目标损失、类别损失与置信度损失三部分的损失在训练阶段对中药显微图像进行预测。目标损失通过二元交叉熵计算，如公式11所示：
其中，S×S表示将输入图像分割成S×S网状格；N表示一个网格负责预测框的个数；(xi,yi,wi,hi)表示真实框的位置信息；表示预测框的位置信息；/>表示第i个网络各自的第j个预测框负责预测物体obj时为1，否则为0；分类损失也是通过二元交叉熵计算，如公式12所示：
其中，c表示类别个数；pi(c)表示真实类别的概率；置信度损失采用表示预测类别的概率。
置信度损失CIOU计算，如公式13所示：
其中，表示第i个网络的第j个预测框不负责预测物体时为0，否则为1；λnoobj是为了降低对于不存在的物体obj的预测框的置信度损失，将λnoobj设置为0.5；
总损失为目标损失、类别损失与置信度损失三部分损失的加权和，如公式14所示：
L＝lobj+lcls+lciou (14)；
最后，采用非极大值抑制(Non-max Suppression，NMS)来剔除冗余的预测框，筛选出高质量的检测结果。
通过上述过程获取中药显微图像细胞的特征，实现中药显微图像细胞的识别。
本发明所提供的基于多维通道注意力机制的中药显微识别系统，包括增强单元、辅助信息获取单元以及预测单元。增强单元用于在Input层结合中药显微图像细胞结构不完整、图像立体、特征分布不均衡的特性，得到一中药显微图像数据增强模型，并利用中药显微图像数据增强模型对中药显微图像数据进行增强。辅助信息获取单元用于在Backbone层融合浅层的特征信息，并在Neck层后Prediction层前融合深层的特征信息，得到一多维通道注意力的显微特征提取模型；通过多维通道注意力的显微特征提取模型从浅层到深层不同通道中获取隐含有效辅助信息。预测单元用于利用隐含有效辅助信息，通过Prediction层生成预测框，并利用预测框对中药显微图像特征进行预测，得到中药显微图像细胞的特征，完成中药显微图像细胞的识别。
实施例
1.实验设置
1.1数据集
如表1所示，将黄芩和厚朴两种粉末状的中药制作成玻片，在Nikon E200电子显微镜上采用40/0.65物镜对中药显微图像数据进行采集。其中，2种中药涉及到9种细胞特征，共形成了11060张显微图像和12840个标注数据的小样本数据集。此外，在本实施例中，中药显微图像细胞标注使用labelImg,训练数据集、校验数据集以及测试数据集的比例为8：1：1。
表1显微中药图像标注数据集
1.2评估指标
为了对本发明提出的MCA-CHMR方法进行全面的评测，选取了精确度Pr ecision、召回率Recall、AP曲线和平均精准率(Mean Average Precision,MAP)作为评价指标。
Precision表示预测为真的真实正例与所有预测正例的比值。计算的方式如公式15所示：
precision＝TP/(TP+FP)| (15)；
其中，TP表示预测值和真实值一样，预测值为正样本；FP表示预测值和真实值不一样，预测值为正样本。Recall表示预测为真的真实正例与所有真实正例的比值。计算的方式如公式16所示：
recall＝TP/(TP+FN) (16)；
其中，TP表示预测值和真实值一样，预测值为正样本；FN预测值和真实值不一样，预测值为负样本。
AP曲线是由Precision和Recall两个维度下曲线包围的面积，一般Recall比较低的时候，Precision比较高，Recall比较高的时候，Precision会比较低。即，AP曲线越大表示模型的性能越好。
MAP是关注序列权重的综合性评价指标，近年来成为目标检测问题最重要的实际度量标准之一。mAP@.0.5表示在IoU＝0.5时，计算每一类的所有图片的AP，然后对所有类别求平均，mAP@.0.5的值越高越好。
1.3参数优化
为了确定模型训练过程中的最优解，考虑了四个重要的参数，以在一段学习时间内获得最优的MAP值。四个参数分别是：学习率(lrf)、权值衰减(weight decay)、分类损失系数(cls)和置信度损失系数(obj)。其中，学习率(lrf)是指导如何通过损失函数的梯度调整网络权重的超参数。它决定了网络参数更新的跨度，如果倾斜率设置过小，则需要进行更多迭代，直到收敛。它的取值以5-10轮训练迭代为标准，探索范围为1-2，并且每次探索幅度为扩大或者缩小10倍。权值衰减(weight decay)也叫L2正则化，L2正则化的目的就是为了让权重衰减到更小的值，在一定程度上减少模型的过拟合问题。它的取值以极小的值开始，以5-10倍缩放进行探索，在得到合适的量级之后以极小值(如0.01)进行调整。这四个参数可以在0和1之间的区间内变化。
在本实施例中将影响网络性能的4个超参数分别设为四个级别。若使用网格搜索的方法，总共有256(4)种可能的组合需要分析。可想而知，这么多的实验将消耗大量的时间，需要更多的计算资源。为了减少实验次数，并获取一个相对较好的实验结果。本发明引入田口法，田口法(Taguchi method)是一种工业优化方法，通过影响因素的正交组合来寻找最优结构。该方法由于正交阵列的存在，减少了实验次数，因此，它适用于不能涵盖所有可能的实验的研究。
本实施例提出的四个参数及其水平见表2。
表2实验参数及其水平表
表3给出了一个20行的正交表，四个参数按表2所示的级别相互联系又相互作用。表3中的最后三列分别是每个实验得到的黄芩Fibres细胞、黄芩Stone cells细胞以及黄芩Oilcells细胞的mAP@.0.5值。通过表3可知，第17行的正交表对应的黄芩Fibres细胞、黄芩Stonecells细胞以及黄芩Oilcells细胞的mAP@.0.5值最高。由此可知，当学习率(lrf)、权值衰减(L2)、分类损失系数(cls)和置信度损失系数(obj)分别为0.01、0.00036、0.5以及1.0时，mAP@.0.5的值最优。
表3正交实验表
1.4比较方法
为了全面验证本发明的中药显微识别方法，本实施例选择了2种当下流行的One-Stage目标检测算法(YOLOv5和SSD)以及2种传统的Two-Stage目标检测算法(FasterRCNN和RetinaNet)进行对比实验。
Single Shot MultiBox Detector(SSD)是一种基于前馈卷积神经网络的算法，它以回归的方式进行分类和定位，并结合Faster RCNN中的锚点思想进行预测，其算法中的先验框可以使得模型更快的收敛，降低训练成本。
Faster RCNN是一个真正意义上的端到端的深度学习检测算法，其最大的创新之处在于通过添加RPN网络，基于Anchor机制来生成候选框，最终将特征提取、候选框选取、边框回归和分类都整合到一个网络中，从而有效的提高检测精度和检测效率。
RetinaNet网络的核心是Focal Loss,它在精度上超过Two-Stage网络的精度，在速度上超过One-Stage网络的速度，首次实现One-Stage网络对Two-Stag e网络的全面超越。
对比实验分别针对黄芩和厚朴共9种中药显微图像细胞进行识别，并取得了较好的效果。对比实验使用相同的数据集进行训练，硬件环境和软件环境、模型的训练参数以及迭代的次数均相同，实验对比的mAP@.0.5结果如表4所示。
表4不同卷积神经网络训练结果的比较表
从对比结果可以看出，针对厚朴的3种中药显微图像细胞的分类，本文提出的中药显微图像识别方法在mAP@.0.5上效果是最好的，说明了本方法在解决显微中药细胞图像分类的问题上是可行的，更具有鲁棒性。
2.数据增强有效性验证
与RetinaNet、RCNN和SSD相比YOLOv5的网络结构更精简，特征提取精度最高，以及它的检测速度更快。因此，在本实施例中使用基于YOLOv5的检测结果作为本实施例的对比实验，以验证本发明提出的中药显微图像数据增强模型(TCM-MIEM)的准确性。其中YOLOv5预训练图库使用的是9793张中药显微图像的数据集；数据增强的图像主要从数据集中随机抽取5000张图片。如图4所示，图片数量为550的黄芩Corkcells和图片数量仅为299的黄芩Vess els的实验结果。实验结果表明，黄芩Vessels在加入数据增强模型之后识别精确度和召回率也都有一定的提升且效果比黄芩Corkcells更为明显。说明本发明提出的数据增强方法，对于极小样本的问题也有一定的效果。因此，本发明提出的TCM-MIEM对于提升中药显微图像细胞识别的性能有很大的帮助。
3.注意力有效性验证
为了验证多维通道注意力的显微特征提取模型的有效性，本文分别对YOLOv5网络模型、SEAtt、MCAtt以及多维通道注意力的显微特征提取模型(SEAtt+MCAtt)进行对比实验，分析黄芩Corkcells细胞和厚朴Stonecells细胞的目标识别性能，实验结果如图5所示。
实验结果表明，就精确度而言，黄芩Corkcells融入注意力机制提升效果最为明显，融入SEAtt提升1.8％，融入MCAtt提升5.5％，而融合SEAtt+MCAtt总提升8.1％。厚朴Stonecells细胞也分别提升了5％，3.3％，0.4％。因此，说明多维通道注意力的显微特征提取模型对于提升中药显微图像细胞识别的性能有很大的帮助。
4.各个中药显微识别方法性能对比实验
为了验证中药显微图像数据增强模型和多维通道注意力的显微特征提取模型的有效性，本文分别对YOLOv5网络模型、中药显微图像数据增强模型(TC M-MIEM)、多维通道注意力的显微特征提取模型(SEAtt+MCAtt)以及融合后中药显微识别模型(MCA-CHMR)进行了对比实验，分析黄芩Corkcells细胞和厚朴Stonecells细胞的目标识别性能，实验结果如图6所示。由图6可看出，相比YOLOv5网络模型，融合后的中药显微识别模型中，黄芩Corkcells的预测精确度提升了8.1％，mAP@.5提升了1.7％。厚朴Stonecells的预测精确度提升了8.4％，mAP@.5提升了0.7％。此外，YOLOv5、TCM-MIEM、SEAtt+MCAtt、MCA-CHMR的精确度和召回率结果所构成的AP曲线如图7所示。
由图7可看出，黄芩Corkcells在YOLOv5、TCM-MIEM、SEAtt+MCAtt、MCA-CHMR各实验下精确度和召回率所构成的面积分别为70.488％、74.11％、71.72％、77.41％，说明本发明所提出的MCA-CHMR对于提升中药显微图像细胞识别的性能有很大的帮助。
5.数据质量评测与分析
在YOLOv5、TCM-MIEM、SEAtt+MCAtt、MCA-CHMR各对比实验中，可看出小样本数据集数据量最多的厚朴Fibres在各实验上的mAP@.5值几乎没有变化，如图8所示。AP曲线也几乎没有变化，如表5所示。该现象与本实验中其他中药显微图像细胞的结果相违背。进一步分析发现，厚朴Fibre的7555张数据集中有4540张数据集由于前期对显微镜操作不熟悉及玻片制作过程中试剂的比例控制不好，导致拍摄出来的图像不够清晰。因此，说明数据质量是提升识别率的另外一种有效方式。
表5厚朴Fibre的各对比实验AP值表
在本发明中，通过分析中药显微图像特征，针对中药显微图像因规模小和不均衡的特性导致无法直接使用已有图像识别方法的问题。提出了一种基于多维通道注意力机制的中药显微识别方法。首先，结合中药显微图像的细胞结构不完整、图像立体、特征分布不均衡等特性，设计了中药显微图像数据增强模型，扩充并均衡了现有中药显微图像数据集。其次，融合浅层和深层(含低、中、高的不同维度)的特征信息，提出了多维通道注意力的显微特征提取模型，从小规模的数据集中获取了更多更具代表性的辅助信息。实验结果表明，本发明提出的基于多维通道注意力机制的中药显微识别方法能够有效的提取中药显微图像中的显著目标，证明了本发明所提供方法的有效性及鲁棒性。
上述实施方式仅为本发明的优选实施方式，不能以此来限定本发明保护的范围，本领域的技术人员在本发明的基础上所做的任何非实质性的变化及替换均属于本发明所要求保护的范围。
Claims (10)
1.一种基于多维通道注意力机制的中药显微识别方法，其特征在于，包括以下步骤：
在Input层结合中药显微图像细胞结构不完整、图像立体、特征分布不均衡的特性，得到一中药显微图像数据增强模型，并利用所述中药显微图像数据增强模型对中药显微图像数据进行增强；
在Backbone层融合浅层的特征信息，并在Neck层后Prediction层前融合深层的特征信息，得到一多维通道注意力的显微特征提取模型；
通过所述多维通道注意力的显微特征提取模型从浅层到深层不同通道中获取隐含有效辅助信息；
利用所述隐含有效辅助信息，通过Prediction层生成预测框，并利用所述预测框对中药显微图像特征进行预测，得到中药显微图像细胞的特征，完成中药显微图像细胞的识别。
2.根据权利要求1所述的基于多维通道注意力机制的中药显微识别方法，其特征在于，在利用所述中药显微图像数据增强模型对数据进行增强时，包括：
从原训练数据集中随机选取n张图片，并对所述n张图片进行水平方向的平均分割，获得若干分割好的图片；
从所述若干分割好的图片中再随机抽取n张图片进行水平方向的拼接，获得若干拼接后的图片；
利用所述若干拼接后的图片和所述原训练数据集中图片，构建出一全新训练数据集。
3.根据权利要求2所述的基于多维通道注意力机制的中药显微识别方法，其特征在于，在构建出一全新训练数据集时，包括：
对所述若干拼接后的图片和所述原数据集中图片进行镜像处理、平移处理以及旋转处理。
4.根据权利要求1所述的基于多维通道注意力机制的中药显微识别方法，其特征在于，在Backbone层融合浅层的特征信息时，包括：
在网络的浅层融入SENet注意力机制，得到浅层通道注意力机制SEAtt；
将经所述中药显微图像数据增强模型进行增强后输出的第一特征图像，经过特征处理模块处理后，变换为第二特征图像，并将所述第二特征图像作为SEAtt模块的输入；
通过所述SEAtt模块对所述第二特征图像进行不同粒度的聚合形成图像特征并提取，完成浅层的特征信息的融合。
5.根据权利要求4所述的基于多维通道注意力机制的中药显微识别方法，其特征在于，在进行不同粒度的聚合形成图像特征并提取时，包括：
将所述第二特征图像通过一系列卷积操作后变换得到图像特征U；
通过SENet模块中的Squeeze操作对所述图像特征U进行压缩得到一残差通道统计量；
根据所述残差通道统计量，并由所述SENet模块中的Excitation操作对每个通道的重要性进行预测，得到不同通道的非线性关系；
根据所述图像特征U和所述不同通道的非线性关系，通过所述SENet模块中的Scale操作进行输出；
其中，所述Excitation操作中采用Sigmoid形式的门控机制。
6.根据权利要求4或5所述的基于多维通道注意力机制的中药显微识别方法，其特征在于，在Neck层后Prediction层前融合深层的特征信息时，包括：
通过多维深度通道注意力机制MCAtt在网络的深层引入ECA注意力机制，对不同维度、不同层次的语义信息和定位信息进行注意力的重构，在网络的深层为低、中、高不同维度特征图的精准融合提供基础；
并结合所述浅层通道注意力机制SEAtt和所述多维深度通道注意力机制MCAt，得到所述多维通道注意力的显微特征提取模型；
其中，所述网络的深层包括低、中、高不同维度。
7.根据权利要求6所述的基于多维通道注意力机制的中药显微识别方法，其特征在于，在网络的深层为低、中、高不同维度特征图的精准融合提供基础时，包括：
将输入的低维特征El、中维特征Em以及高维特征Eh通过一系列的卷积操作后分别变换成特征Ul、特征Um以及特征Uh；
进行Squeeze操作，利用全局平均池化沿空间维度压缩所述特征Ul、所述特征Um以及所述特征Uh，压缩后分别得到一维的实数Zl、一维的实数Zm以及一维的实数Zh；
根据所述实数Zl、所述实数Zm以及所述实数Zh，ECA模块通过卷积核大小为k的一维卷积进行跨通道信息交互，分别得到低维权重、中维权重以及高维权重；
将所述低维权重、所述中维权重以及所述高维权重分别结合原始特征图，并通过所述ECA模块中的Scale操作进行输出，分别得到低维残差特征、中维残差特征以及高维残差特征，为低、中、高不同维度特征图的精准融合提供基础；
其中，所述Neck层往Prediction层分别有低维特征El、中维特征Em以及高维特征Eh三个不同维度的特征输出。
8.根据权利要求1所述的基于多维通道注意力机制的中药显微识别方法，其特征在于，在通过Prediction层生成预测框，并利用所述预测框对中药显微图像特征进行预测时，包括：
通过中药显微识别模型分别以低、中和高3个不同的维度融合不同感受野的特征，产生三个不同目标尺度的特征图；
利用所述三个不同目标尺度的特征图以预测中药显微图像中的目标。
9.根据权利要求1所述的基于多维通道注意力机制的中药显微识别方法，其特征在于，在预测中药显微图像中的目标时，包括：
将输入的中药显微图像进行网格划分，获取存在目标的中心的网格，并利用所述网格预测所述目标；
采用目标损失、类别损失与置信度损失三部分的损失在训练阶段对所述中药显微图像进行预测；
采用非极大值抑制来剔除冗余的预测框，筛选出高质量的检测结果，得到中药显微图像细胞的特征。
10.一种基于多维通道注意力机制的中药显微识别系统，其特征在于，包括：
增强单元：用于在Input层结合中药显微图像细胞结构不完整、图像立体、特征分布不均衡的特性，得到一中药显微图像数据增强模型，并利用所述中药显微图像数据增强模型对中药显微图像数据进行增强；
辅助信息获取单元：用于在Backbone层融合浅层的特征信息，并在Neck层后Prediction层前融合深层的特征信息，得到一多维通道注意力的显微特征提取模型；通过所述多维通道注意力的显微特征提取模型从浅层到深层不同通道中获取隐含有效辅助信息；
预测单元：用于利用所述隐含有效辅助信息，通过Prediction层生成预测框，并利用所述预测框对中药显微图像特征进行预测，得到中药显微图像细胞的特征，完成中药显微图像细胞的识别。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310108437.6A CN116524495A (zh) | 2023-02-14 | 2023-02-14 | 一种基于多维通道注意力机制的中药显微识别方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310108437.6A CN116524495A (zh) | 2023-02-14 | 2023-02-14 | 一种基于多维通道注意力机制的中药显微识别方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116524495A true CN116524495A (zh) | 2023-08-01 |
Family
ID=87401830
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310108437.6A Pending CN116524495A (zh) | 2023-02-14 | 2023-02-14 | 一种基于多维通道注意力机制的中药显微识别方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116524495A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117131908A (zh) * | 2023-10-20 | 2023-11-28 | 华东交通大学 | 一种基于退火衰减的深度卷积神经网络的压缩方法 |
-
2023
- 2023-02-14 CN CN202310108437.6A patent/CN116524495A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117131908A (zh) * | 2023-10-20 | 2023-11-28 | 华东交通大学 | 一种基于退火衰减的深度卷积神经网络的压缩方法 |
| CN117131908B (zh) * | 2023-10-20 | 2024-01-30 | 华东交通大学 | 一种基于退火衰减的深度卷积神经网络的压缩方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6980958B1 (ja) | 深層学習に基づく農村地域分けゴミ識別方法 | |
| CN111191660B (zh) | 一种基于多通道协同胶囊网络的结肠癌病理学图像分类方法 | |
| CN109447998B (zh) | 基于PCANet深度学习模型下的自动分割方法 | |
| CN108765383B (zh) | 基于深度迁移学习的视频描述方法 | |
| CN111008693B (zh) | 一种基于数据压缩的网络模型构建方法、系统和介质 | |
| CN112348036A (zh) | 基于轻量化残差学习和反卷积级联的自适应目标检测方法 | |
| CN109102498B (zh) | 一种宫颈涂片图像中簇型细胞核分割的方法 | |
| CN103914705B (zh) | 一种基于多目标免疫克隆的高光谱图像分类和波段选择的方法 | |
| Han et al. | Automatic recognition of 3D GGO CT imaging signs through the fusion of hybrid resampling and layer-wise fine-tuning CNNs | |
| CN109376787B (zh) | 流形学习网络及基于其的计算机视觉图像集分类方法 | |
| CN111524140B (zh) | 基于cnn和随机森林法的医学图像语义分割方法 | |
| Zhang et al. | Global context aware RCNN for object detection | |
| Zhou et al. | Sampling-attention deep learning network with transfer learning for large-scale urban point cloud semantic segmentation | |
| CN112132827A (zh) | 病理图像的处理方法、装置、电子设备及可读存储介质 | |
| CN113807176B (zh) | 一种基于多知识融合的小样本视频行为识别方法 | |
| CN114743007A (zh) | 一种基于通道注意力与多尺度融合的三维语义分割方法 | |
| Chen et al. | Binarized neural architecture search for efficient object recognition | |
| CN111860587A (zh) | 一种用于图片小目标的检测方法 | |
| CN115100467A (zh) | 一种基于核注意力网络的病理全切片图像分类方法 | |
| CN111339950B (zh) | 一种遥感图像目标检测方法 | |
| CN116524495A (zh) | 一种基于多维通道注意力机制的中药显微识别方法及系统 | |
| CN112434798A (zh) | 一种基于半监督学习的多尺度图像翻译方法 | |
| Qian et al. | Classification of rice seed variety using point cloud data combined with deep learning | |
| CN117788957B (zh) | 一种基于深度学习的资质图像分类方法及系统 | |
| CN117788810A (zh) | 一种无监督语义分割的学习系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |