CN117095393A - 基于显微高光谱成像技术的微生物检测方法、系统、电子设备及存储介质 - Google Patents

基于显微高光谱成像技术的微生物检测方法、系统、电子设备及存储介质 Download PDF

Info

Publication number
CN117095393A
CN117095393A CN202311098839.9A CN202311098839A CN117095393A CN 117095393 A CN117095393 A CN 117095393A CN 202311098839 A CN202311098839 A CN 202311098839A CN 117095393 A CN117095393 A CN 117095393A
Authority
CN
China
Prior art keywords
dimensional
convolution kernel
microorganism
pseudo
sample
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311098839.9A
Other languages
English (en)
Inventor
车露美
朱鹏
张园
李莉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xi'an Fangheyuan Optical Inspection Technology Co ltd
Original Assignee
Xi'an Fangheyuan Optical Inspection Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xi'an Fangheyuan Optical Inspection Technology Co ltd filed Critical Xi'an Fangheyuan Optical Inspection Technology Co ltd
Priority to CN202311098839.9A priority Critical patent/CN117095393A/zh
Publication of CN117095393A publication Critical patent/CN117095393A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/693—Acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/0985—Hyperparameter optimisation; Meta-learning; Learning-to-learn
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/803—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/698—Matching; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Measuring Or Testing Involving Enzymes Or Micro-Organisms (AREA)

Abstract

本申请公开了一种基于显微高光谱成像技术的微生物检测方法、系统、电子设备及存储介质，其中微生物检测方法包括：采集获取所述样本微生物的三维数据立方体，并映射至RGB波段，生成对应的伪彩色图像，将所述伪彩色图像中的微生物点标记为不同尺寸的三维数据立方体，得到所有像元的三维空谱样本，并作为样本库R，将所述样本库R输入一卷积神经网络模型进行模型训练，并基于训练完成的所述卷积神经网络模型对待检测微生物进行分类检测。本申请技术方案应用于临床微生物检测可以准确识别微生物种类，同时相比于传统微生物检测技术该方法还具有操作简便、灵敏度高的特点。

Description

基于显微高光谱成像技术的微生物检测方法、系统、电子设备 及存储介质
技术领域
本申请属于高光谱遥感成像检测技术领域，具体涉及一种基于显微高光谱成像技术的微生物检测方法。
背景技术
人体内含有的细菌种类繁多，数量巨大，总菌数可达几百万亿，它们分布在人体各个部位。每个人身上都携带有一些有害的细菌及病原体，当人体处于健康状态时，本会导致人体某些部位发炎的细菌能和各种良性细菌共存且相安无事；当人体出现健康问题时，原本稳定的细菌生态环境被打破，各种致病菌和体外入侵的细菌大量增殖，甚至危害人体健康。因此，临床微生物检验对于人体健康至关重要。
微生物学检验属于检验医学的亚专业，主要包括病原学检查、抗生素药物监测、流行病学检查等，这些检查被广泛的应用于感染性疾病的诊断、治疗中，具体作用如下：①微生物学检验致力于研究感染性疾病致病菌的特征，对引发感染的病菌变化情况进行观察，为感染性疾病的诊治提供参考依据；②微生物学检验可对病原菌进行快速、准确的诊断，在临床患者细菌感染的判断中应用效果显著；③微生物学检验通过对病原体的耐药性和药物敏感性进行研究，根据其耐药性和敏感性为患者选择合理的治疗药物，以便于临床合理用药，更好地发挥出抗生素的抗菌效果；④微生物学检验还能够对院内感染发生情况进行检测和控制，提高医疗服务过程中的消毒水平和灭菌达标率。
临床微生物检验对病患的诊断和治疗至关重要，它主要是通过提取人体的血液、尿液、脑脊液等各种体液，对患者的所感染部分的病原微生物进行鉴定。目前，临床微生物检验已经广泛应用于就诊患者的各项疾病诊疗中，是帮助医生更加准确的判定患者所感染病菌的重要参考依据。然而，由于现实操作临床微生物检验这项技术需要有相当强的专业性和对医学专业知识清晰的专业认知性，整个检验微生物病菌的操作过程难度比较大，往往会因为各种原因导致临床医生对微生物检验质量的把控并不是很准确，严重的话甚至会出现错误的检验报告诊断。随着生物技术的发展，新型快速鉴定技术不断涌现，现有的微生物快速鉴定技术主要有以下几种：
基质辅助激光解吸电离飞行时间质谱(MALDI-TOF MS)利用激光照射蛋白和基质的共结晶体使细菌等病原体核糖体蛋白离子化，在电场中按离子质荷比分离后可获得该病原的蛋白图谱，将其与参考图谱比对进行鉴定。但是MALDI-TOF MS目前仍存在诸如对于混合菌的鉴定准确率不高、近亲缘关系菌种分辨率不高、直接鉴定所需菌量较高等问题。
基于免疫学的方法，如酶联荧光免疫分析技术(ELISA)、免疫荧光技术(IFT)、免疫磁珠分离技术(IMBS)、免疫层析技术(ICA)等，这些免疫学检测系统均是基于抗体进行的，通常具有高灵敏度和特异性，同时也受限于抗体抗原的反应，检测范围有限的缺陷，且需要对样品进行前处理，盐、酸、金属离子或其他化合物的存在均会对检测结果存在一定的影响，不仅操作过程繁琐复杂，还可能会出现假阳性或假阴性的结果。
分子生物学技术，如基因芯片技术、基因探针技术、聚合酶链式反应(PCR)、核酸恒温扩增技术、全基因组测序等。分子生物学检测技术具有准确、高效、高通量等优点，但是分子生物学技术检测普遍存在实验要求严格，设备昂贵，操作人员需要经过系统的学习及规范化的技能培训过程，通常主要在实验室应用，在临床检测上还无法普及。
鉴于以上几种方法在微生物临床检测中的局限性，研究和开发一种可以针对各种病原微生物检测技术，实现准确、快捷地检测与确认病原体，对临床感染性疾病的治疗和预后有重要意义。
发明内容
本申请的目的旨在提供一种基于显微高光谱成像技术的微生物检测方法，该方法基于高光谱成像技术检测微生物具有较高的准确率，应用于临床微生物检测可以准确识别微生物种类，同时相比于传统微生物检测技术该方法还具有操作简便、灵敏度高的特点。
第一方面，本申请实施例提供了一种基于显微高光谱成像技术的微生物检测方法，包括：
制取样本微生物的检测涂片，采集获取所述样本微生物的三维数据立方体，选取波段生成对应的伪彩色图像；在所述伪彩色图像中，每个像素块的三维立方体对应于所述样本微生物在该像素位置的光谱特性；
将所述伪彩色图像中的微生物点标记为不同尺寸的三维数据立方体，得到所有像元的三维空谱样本，并作为样本库R；
将所述样本库R输入一卷积神经网络模型进行模型训练；所述卷积神经网络模型为2D-3D-CNN混合模型，所述2D-3D-CNN混合模型由三层三维卷积核、一层二维卷积核和三层全连接层构成，按照所述三层三维卷积核和一层二维卷积核的运算次序做卷积运算；
基于训练完成的所述卷积神经网络模型对待检测微生物进行分类检测。
在此情况下，通过采集样本微生物的三维数据，并将其映射至RGB波段生成伪彩色图像，实现了对微生物形态和光谱特性的综合分析，相比传统的二维图像分析方法，该方法能够提供更加全面和准确的微生物信息。并通过将伪彩色图像中的微生物点标记为三维数据立方体，并将其作为样本库R，为后续的模型训练提供了准确的微生物样本。采用具有三层三维卷积核、一层二维卷积核和三层全连接层的混合模型，能够同时处理三维和二维数据，充分提取微生物的特征信息，该模型结构具有较强的表达能力和分类能力，能够有效地对待检测微生物进行准确分类。本申请方案通过整合三维数据分析、样本库构建和混合模型训练等关键步骤，能够在较短的时间内对微生物进行快速而准确的分类检测。
根据第一方面，在所述微生物检测方法可能的实现方式中，对采集获取的所述三维数据立方体进行辐射矫正。其中，所述辐射矫正包括光谱维辐射矫正和空间维辐射矫正。在此情况下，所述光谱维辐射矫正单元通过对原始图像进行光谱矫正，可以消除在采集过程中因吸收和散射等因素引起的光谱畸变，使得图像的颜色和亮度更加准确和稳定。所述空间维辐射矫正单元通过对原始图像进行空间矫正，可以消除在采集过程中畸变导致的图像形状和大小发生的变化，以提高图像的几何精度、空间分辨率和可视化效果。
根据第一方面，在所述微生物检测方法可能的实现方式中，所述不同尺寸的三维数据立方体依次为3×3、5×5、7×7、9×9、11×11、15×15、21×21和44×44。
根据第一方面，在所述微生物检测方法可能的实现方式中，采用中心取点法对病原微生物的数据进行标记，包括以下步骤：
在所述伪彩色细菌图像中，以选取微生物的中心点作为A点，记录其坐标(x,y)，像素点对应坐标以A(x,y)点为中心，对应的(x,y,λ)表示为伪彩色微生物图像波段λ在A点的亮度值；
选取所述伪彩色微生物图像中所有的微生物点进行标记，得到不同尺寸的所述三维数据立方体；
依次存储多个所述三维数据立方体。
根据第一方面，在所述微生物检测方法可能的实现方式中，采用覆盖取点法对病原微生物的数据进行标记，包括以下步骤：
在所述伪彩色图像中，选取单个微生物的整个区域；
将所述整个区域的平均值作为所述单个微生物的数据，即A点坐标为(i,j)，其中x为所述单个微生物区域对应的所有横坐标，y为所述单个微生物对应的所有纵坐标；
记录A对应(x,y,λ)，(x,y,λ)表示为伪彩色微生物图像波段λ在所述单个微生物区域内的亮度平均值；
选取所述伪彩色微生物图像中所有的微生物点进行标记，得到不同尺寸的所述三维数据立方体；
依次存储多个所述三维数据立方体。
根据第一方面，在所述微生物检测方法可能的实现方式中，在所述三维卷积核中空间位置(x,y,z)第i层第j个特征的激活值记为
其中，激活函数中，bi,j表示第i层第j个特征的偏置参数，di-1是第i-1层特征映射的数量，τ表示特征映射的数量，λ表示卷积核的光谱维深度，η表示卷积核在光谱维深度的值，ρ表示卷积核的宽度，γ表示卷积核宽度的值，σ表示卷积核的高度，δ表示卷积核在高度的值，/>表示卷积核(σ,ρ,λ)在第i层第j个特征映射的权值参数，/>表示卷积核(x+σ，y+ρ，z+λ)在第i-1层特征映射的权值参数。
根据第一方面，在所述微生物检测方法可能的实现方式中，在所述二维卷积核中空间位置(x,y)第i层第j个波段的激活值记为
其中，激活函数中，bi,j表示第i层第j个特征的偏置参数，di-1是第i-1层特征映射的数量，τ表示特征映射的数量，ρ表示卷积核的宽度，γ表示卷积核宽度的值，σ表示卷积核的高度，δ表示卷积核在高度的值，/>表示卷积核(σ,ρ)在第i层第j个特征映射的权值参数，/>表示卷积核(x+σ，y+ρ)在第i-1层特征映射的权值参数。
根据第一方面，在所述微生物检测方法可能的实现方式中，将所述样本库R的数据立方体进行主成分分析，以分析结果作为输入样本。在此情况下，可消除光谱冗余，减少光谱波段的数量，且不改变空间维度。通过主成分分析模块消除了样本库三位数据立方体的光谱冗余，将高光谱数据转化为具有更高可区分性的低维特征，从而提高微生物检测的准确性和可靠性。
第二方面，本申请实施例提供了一种基于显微高光谱成像的微生物检测系统，包括：
数据采集模块，用于采集样本微生物的三维数据立方体，并映射生成对应的伪彩色图像；标记模块，用于将所述伪彩色图像中的微生物点标记为不同尺寸的三维数据立方体，得到所有像元的三维空谱样本，并作为样本库R；
检测模块，包含卷积神经网络模型，用于将所述样本库R输入进行模型训练，并基于训练完成的所述卷积神经网络模型对待检测微生物进行分类检测；其中，所述卷积神经网络模型为2D-3D-CNN混合模型，所述2D-3D-CNN混合模型由三层三维卷积核、一层二维卷积核和三层全连接层构成，按照所述三层三维卷积核和一层二维卷积核的运算次序做卷积运算。
根据第二方面，在所述基于显微高光谱成像的微生物检测系统可能的实现方式中，所述采集模块包括光学成像单元、光谱分析单元、数据处理单元和伪彩色映射单元，所述光学成像单元用于获取样本微生物的显微图像；所述光谱分析单元用于获取样本微生物的光谱信息；所述数据处理单元用于将显微图像和光谱信息进行配准和融合，生成对应的三维数据立方体；所述伪彩色映射模块用于将所述三维数据立方体映射为伪彩色图像。
根据第二方面，在所述基于显微高光谱成像的微生物检测系统可能的实现方式中，还包括矫正模块，所述矫正模块包括光谱维辐射矫正单元和空间维辐射矫正单元，用于对所述高光谱数据进行矫正。
根据第二方面，在所述基于显微高光谱成像的微生物检测系统可能的实现方式中，所述标记模块采用中心取点算法或覆盖取点算法提取待检测微生物的特征向量。
根据第二方面，在所述基于显微高光谱成像的微生物检测系统可能的实现方式中，还包括主成分分析模块，通过所述主成分分析模块将所述样本库R中每个三维数据立方体的光谱波段数量得到样本库R’，以所述样本库R’作为所述检测模块的输入数据。
根据第二方面，在所述基于显微高光谱成像的微生物检测系统可能的实现方式中，所述三维卷积核中空间位置(x,y,z)第i层第j个特征的激活值记为
其中，激活函数中，bi,j表示第i层第j个特征的偏置参数，di-1是第i-1层特征映射的数量，τ表示特征映射的数量，λ表示卷积核的光谱维深度，η表示卷积核在光谱维深度的值，ρ表示卷积核的宽度，γ表示卷积核宽度的值，σ表示卷积核的高度，δ表示卷积核在高度的值，/>表示卷积核(σ,ρ,λ)在第i层第j个特征映射的权值参数，/>表示卷积核(x+σ，y+ρ，z+λ)在第i-1层特征映射的权值参数。
根据第二方面，在所述微生物检测方法可能的实现方式中，在所述二维卷积核中空间位置(x,y)第i层第j个波段的激活值记为
其中，激活函数中，bi,j表示第i层第j个特征的偏置参数，di-1是第i-1层特征映射的数量，τ表示特征映射的数量，ρ表示卷积核的宽度，γ表示卷积核宽度的值，σ表示卷积核的高度，δ表示卷积核在高度的值，/>表示卷积核(σ,ρ)在第i层第j个特征映射的权值参数，/>表示卷积核(x+σ，y+ρ)在第i-1层特征映射的权值参数。
第三方面，本申请实施例提供了一种电子设备，包括存储器、处理器和存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述第一方面所述的检测方法。
第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有指令，当所述指令被执行时，所述计算机执行如上述第一方面所述的检测方法。
综上所述，本申请实施例中提供的一个或多个技术方案，至少具有如下技术效果或优点：
本申请通过采集微生物的光谱特性并映射生成伪彩色图像，不同尺寸的三维数据立方体，并将伪彩色图像中微生物点的标记为不同尺寸的三维数据立方体，根据微生物的尺度变化而提取不同空间尺度上的光谱特性，从而将所有像元的三维空谱样本收集起来，作为卷积神经网络模型的输入数据，用于模型的训练和学习，从而实现对待检测微生物的分类。
具体的，本申请通过将微生物点标记为不同尺寸的三维数据立方体，可以捕捉到微生物在不同空间尺度上的细节信息。不同尺寸的立方体可以对应不同尺度的微生物结构，从而提供更全面的信息来区分不同类型的微生物。
采用主成分分析对卷积神经网络模型的输入数据进行修正，从原始高光谱数据立方体中提取出最重要的特征，减少光谱波段的数量，同时保留了数据的主要信息。这样可以达到消除光谱冗余的目的，提高数据处理和分析的效率。
同时，采用具有三层三维卷积核、一层二维卷积核和三层全连接层的混合模型，能够同时处理三维和二维数据，充分提取微生物的特征信息，该模型结构具有较强的表达能力和分类能力，能够有效地对待检测微生物进行准确分类。
附图说明
图1是本申请实施例提供的一种基于显微高光谱成像技术的微生物检测方法的流程示意图；
图2是本申请实施例提供的采集样本的伪彩色图像；
图3是本申请实施例提供的一卷积神经网络模型的运算示意图；
图4是本申请实施例提供的对待检测微生物进行分类检测的结果；
图5是本申请实施例提供的一种高光谱图像的矫正前后对比图；其中图a为矫正前，图b为矫正后；
图6是本申请实施例提供的基于显微高光谱成像的微生物检测系统示意图；
图7是本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
为了使本领域的技术人员更好地理解本说明书中的技术方案，下面将结合本说明书实施例中的附图，对本说明书实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。
结合了显微成像和光谱技术的高光谱成像技术，可以得到更高光谱分辨率和空间分辨率的显微高光谱影像。高光谱技术可以实现物质的快速、无损检测，在细菌快速识别和检测中具有广泛应用前景。医学高光谱成像将二维图像信息与一维光谱信号结合为一个三维数据立方体，图谱合一最终得到目标物详细的指纹信息。由于生物组织自身结构不均一，对光的透射有差异，其自身中的蛋白质、水分对不同波长的光吸收不同，所以不同的细菌能够得到峰位、峰强、峰形有显著差异的光谱曲线。光谱分析可以获得细菌样本的完整光谱数据，不同属、不同种的细菌，特征反射光谱均由各自的生理特性决定，这就为细菌识别提供了理论基础。但是由于高光谱成像技术在检测时需要依靠卷积神经网络对二维图像信息与一维光谱信号形成的三维数据立方体数据进行识别，经过卷积、池化、全连接的过程最终根据一定的权重确定该三维数据立方体数据，该确定过程实际上是一种统计概率的确定过程，无法实现百分百的准确率，而且一般同种属的微生物在形态上具有一定的相似性，利用高光谱成像技术进行区分的准确性较差，阻碍了高光谱成像技术在临床检测中的普及应用，因此，为了在临床检测中应用高光谱成像技术，需要提高对微生物的识别准确度，为临床治疗和预后提供诊断基础。
作为本申请的第一实施例，提供了一种基于显微高光谱成像技术的微生物分类方法，下面以细菌样本为例进行说明，本实施例以金黄色葡萄球菌、大肠埃希菌、铜绿假单胞菌、肺炎克雷伯菌、类肠球菌、鲍曼不动杆菌、奇异变形杆菌、溶血性葡萄球菌和嗜麦芽窄食单胞菌的混合菌悬液为样本。如图1所示，该方法包括步骤S1至步骤S4：
S1、制取样本细菌的检测涂片，采集获取所述样本细菌的三维数据立方体，选取波段(波段400nm-1000nm，分为300个通道)生成对应的伪彩色图像。
在制片时对潜在细菌感染等样本进行镜检，当样本中各菌量达到104～105CFU/ml时，直接涂片，进行鉴定。但对于无菌体液，部分样本由于其即便感染，菌量也可能比较少，因此需要进行分离培养，增菌培养后涂片，再进行鉴定。
将送检样本接种于血平板，监测培养时间，分别挑取培养2h、4h、6h、8h或10h的菌落进行制片，下面以培养8h的细菌为例进行描述。
在对样本进行涂片时，采用直接涂片法，具体步骤为：
①取一片干净的载玻片，先清洗干净，再用酒精灯对其进行烘烤除蜡，冷却备用；
②向载玻片中间位置滴上适量无水乙醇；可选的，此处还可以采用磷酸缓冲盐溶液(PBS)涂片、蒸馏水涂片法或生理盐水制备菌悬液涂片法的制片方式。
③用接种环从培养皿中挑出适量细菌，均匀地涂在滴有无水乙醇(TBS/PBS/蒸馏水/生理盐水)的载玻片上，并用接种环充分研磨使细菌分散开。
④将载玻片放置在生物安全柜中，让无水乙醇(TBS/PBS/蒸馏水/生理盐水)自然干燥，固定细菌。
⑤固定好的细菌即可放在显微镜载物台上为下一步观察做准备。
基于显微高光谱病原微生物鉴定要求制片后得到的菌落单一且均匀分布，因此对病原微生物的制片技术也提出了更高的要求，本实施例优先选用无水乙醇涂片法。
在对样本进行涂片时，作为本实施例的另一实现方式，还可以制备菌悬液(涂片后溶解结晶法)，具体步骤为：
①取一只干净的、加有生理盐水的浊度管备用；
②用医用棉签从培养皿中挑出适量细菌，加入到准备好的浊度管中，制成菌悬液，并用震荡器充分震荡、混匀；
③测量菌悬液的浊度，浊度合适后将制好的菌悬液放置备用；
④取一片干净的载玻片，先清洗干净，再用酒精灯对其进行烘烤，冷却备用；
⑤从浊度管中取出适量菌悬液，均匀、迅速地涂在步骤四所得到的载玻片上；
⑥将制备好的涂片放在生物安全柜中待其完全干透，并需将干透的载玻片于酒精灯下来回烘烤几次，用以固定细菌。
⑦或将步骤六制备的涂片用生理盐水(75％酒精)进行冲洗，然后吸干其表面残余的生理盐水(75％酒精)，放置晾干固定。
具体的，在采集获取上述制备得到的涂片的高光谱数据时，将上述制取的涂片置于显微镜载物台上，进行显微高光谱数据的采集。该高光谱数据为样本通过显微高光谱成像仪采集得到。在本实施例的实现方式中，采集方式可以是单点采集法、多点采集法、全片扫描法或多片扫描法。
具体的，单点采集法是一种较为简单的采集方法，只需要在样品上选取一个点进行光谱采集。在采集时将载玻片放置于显微镜载物台上，先在10倍物镜下寻找视野，再将物镜转换为100倍物镜，在显微镜下寻找细菌均匀分布的视野。然后进行自动推扫，得到细菌高光谱图像。其优点是采集速度快，适用于对时间要求较高的应用；缺点是只能采集到一个点的信息，无法获得样品的全局信息，不利于检测的准确性。
多点采集法是在样品上选取多个点进行光谱采集，通过对多个点的光谱信息进行比较和分析，可以获得样品的全局信息。在采集时将载玻片放置于显微镜载物台上，先在10倍物镜下寻找视野，再将物镜转换为100倍物镜，在显微镜下寻找细菌均匀分布的视野。然后进行自动推扫，得到细菌高光谱图像。重复此操作，得到多张细菌光谱图像。这种方法的优点是可以获得样品的全局信息，适用于对样品全局信息有要求的应用；缺点是采集时间较长，适用于对时间要求不是很高的应用。
全片扫描法是将样品放在扫描仪上，通过扫描仪对整个样品进行扫描，获得样品的全局信息。在采集时首先调整物镜倍数、检查相机装置是否平衡、判断相机方向是否正确，以上检查完毕后点击新建扫描；进行预览拍照以快速找到样本所在位置；调整扫描区域，使选框范围刚好框住样本即可；点选焦点，手动或定制焦点数量及焦点位置(焦点位置选取有样本的区域)；开始扫描(等待系统进行自动对焦，自动对焦完成后会自动进行扫描工作)；扫描完毕后检查扫描效果(扫描图片是否完整拼接、对焦是否清晰等)；如以上检查均无问题，可选择相应方式对图片进行保存。这种方法的优点是可以获得样品的全局信息，采集速度较快；缺点是采集分辨率较低，无法获得样品局部信息。
可选地，作为全片扫描法的另一实施方式，还可以采用多点拼接的方式，具体为调整物镜倍数、检查相机装置是否平衡、判断相机方向是否正确；选定样本区域，从样本区域左上角开始依据单点采集法的方式采集；设置固定的步长，平移显微高光谱相机，进行采集图谱信息；使用平移模型进行图像拼接，得到制片的全片图谱信息。
按照上述环节前期采集的伪彩色图像如图2所示，包括金黄色葡萄球菌、大肠埃希菌、铜绿假单胞菌、肺炎克雷伯菌、类肠球菌、鲍曼不动杆菌、奇异变形杆菌、溶血性葡萄球菌和嗜麦芽窄食单胞菌等病原菌种类。
S2、将所述伪彩色图像中的微生物点标记为不同尺寸的三维数据立方体，得到所有像元的三维空谱样本，并作为样本库R。
其中，标记方式采用中心取点法。通过在三维数据体内选取一个代表点为中心点，以中心点为中心，取一个固定大小的邻域，计算邻域内像元的平均值，作为该中心点的特征向量，将所有中心点的特征向量组成一个样本库，用于分类和识别。对微生物点的标记技术选取代表性的样本点，一方面使得分类器学习到的特征更加准确和充分，从而提高分类精度，另一方面减少样本数量，降低分类器的计算复杂度和存储开销。
具体的，采用中心取点法进行微生物点的标记方法为：
①选取细菌点，在伪彩色细菌图像中，点击细菌中心点记为A点，记录其坐标为(x,y)，对应(x,y,λ)表示为伪彩色细菌图像波段λ在A点的亮度值。
②选取细菌伪彩色细菌图像中所有的细菌点。
③存储3×3的像素块，像素点对应坐标为
④存储5×5的像素块，像素点对应坐标为
⑤按照上述坐标依次存储7×7、9×9、11×11、15×15、21×21、44×44的像素块，像素点对应坐标以A(x,y)点为中心。
S3、将样本库R的数据立方体输入一卷积神经网络模型进行模型训练。
具体的，如图3所示，根据问题的特点和数据集的特征，选择构建合适的模型结构，在本实施例中构建了2D-3D-CNN混合模型，该2D-3D-CNN混合模型包括三层三维卷积核、一层二维卷积核和三层全连接层。按照三层三维卷积核和一层二维卷积核的运算次序进行卷积运算，并通过全连接层进行特征整合，最终输出分类结果。其中，三维卷积核对输入数据进行卷积运算，提取细菌样本库R的形态特征和光谱特征构成输出集，二维卷积层对三层三维卷积核的输出集进行卷积运算，提取输出集的形态特征，全连接层对二维卷积层的输出进行扁平化处理，并通过全连接层进行特征整合，以得到最终的分类结果。优选的，还包括池化层，池化层对二维卷积层的输出结果进行池化操作，以减少特征维度和计算量，输出结果作为全连接层的输入向量。
将样本库R随机的划分为训练集、验证集和测试集，训练集用于训练模型，验证集用于验证模型的性能和调整模型的超参数，测试集用于测试模型的泛化能力。在每个训练周期中，将训练集分成若干个batch，每个batch包含多个样本。对于每个batch，将其输入到模型中进行前向传播，计算模型的输出和损失函数的值。然后，使用反向传播算法计算模型参数的梯度，并使用优化算法(如随机梯度下降)来更新模型参数，得到初始训练模型。在每个训练周期结束后，使用验证集来验证模型的性能，对于每个验证集的样本，将其输入到模型中进行前向传播，计算模型的输出和损失函数的值。然后，计算模型的验证误差，并根据验证误差来调整模型的超参数(如学习率、正则化系数等)。在训练完成后，使用测试集来测试神经网络的泛化能力。对于每个测试集的样本，将其输入到神经网络中进行前向传播，计算神经网络的输出和损失函数的值。然后，计算神经网络的测试误差，并根据测试误差来评估神经网络的性能，从而得到最佳训练模型。
优选的，验证集采用交叉验证的方式，将训练集随机划分为k个大小相似的子集，其中k-1个子集用于训练模型，1个子集作为验证集用于验证模型，训练模型并在验证集上评估模型的性能，重复直至每个子集都被用作验证集一次，得到k个模型的评估结果，对k个模型的评估结果进行平均，得到最终的评估结果。该方法可以保证每个子集都被用作验证集一次，从而避免了模型评估结果的偏差，提高模型评估的稳定性和可靠性，同时可以选择最优的超参数，从而提高模型的性能。
在本实施例中，三维卷积层是通过将三维核与三维数据进行卷积来完成的，利用输入层中多个连续波段上的三维核生成卷积层的特征图。在三维卷积中，图中空间位置(x,y,z)第i层第j个特征的激活值，记为值为：
其中，激活函数中，bi,j表示第i层第j个特征的偏置参数，di-1是第i-1层特征映射的数量，τ表示特征映射的数量，λ表示卷积核的光谱维深度，η表示卷积核在光谱维深度的值，ρ表示卷积核的宽度，γ表示卷积核宽度的值，σ表示卷积核的高度，δ表示卷积核在高度的值，/>表示卷积核(σ,ρ,λ)在第i层第j个特征映射的权值参数，/>表示卷积核(x+σ，y+ρ，z+λ)在第i-1层特征映射的权值参数。
在该三维卷积层中卷积核尺寸为(2η+1)×(2γ+1)×(2δ+1)，其中2η+1对应于光谱维，(2γ+1)×(2δ+1)对应于空间维，即卷积核通过(2η+1)×(2γ+1)×(2δ+1)像素点矩阵作为滑动窗口，对有效图像画面像素点矩阵数据进行卷积运算。
该卷积核的运算过程如下：
假设有一个输入数据的三维张量(λ,σ,ρ)，对于卷积核的运算过程，可以分为以下几个步骤：
①根据卷积核的尺寸和步长，确定输出特征图的大小。假设输入数据的形状为(λ,σ,ρ)，卷积核尺寸为(2η+1)×(2γ+1)×(2δ+2)，步长为2，则输出特征图的大小为(λ,(σ-2η-1)/2+1,(ρ-2γ-1)/2+1)。
②根据卷积核的尺寸，在输入数据的每个位置上进行卷积运算。对于每个位置，卷积核与输入数据的对应位置进行逐元素相乘，然后将所有元素求和，得到该位置的输出值。
③遍历输入数据的所有位置，重复步骤2，得到输出特征图。
举例说明：
假设输入数据的形状为(3,5,5)，即3个通道，高度和宽度都为5，卷积核的尺寸为(3,3,4)，即η＝1,γ＝1,δ＝2，步长为2。则输出特征图的大小为(3,(5-2×1-1)/2+1,(5-2×1-1)/2+1)＝(3,2,2)。对于输出特征图的每个位置，进行卷积运算。
假设输入数据的一个位置为(λ1,σ1,ρ1)，其中λ1表示通道索引，σ1表示高度索引，ρ1表示宽度索引。对于输出特征图的位置(λ1,σ2,ρ2)，其中
σ2表示高度索引，ρ2表示宽度索引。则卷积运算的过程为：输出特征图的位置(λ1,σ2,ρ2)＝输入数据位置(λ1,σ2×2+η,ρ2×2+γ)与卷积核逐元素相乘后求和。
例如，对于输出特征图的位置(0,0,0)，即通道索引为0，高度索引为0，宽度索引为0。则卷积运算的过程为：输出特征图的位置(0,0,0)＝输入数据位置(0,0×2+1,0×2+1)与卷积核逐元素相乘后求和。
其中，输入数据位置(0,1,1)表示通道索引为0，高度索引为1，宽度索引为1的位置。通过遍历输出特征图的所有位置，进行卷积运算，得到最终的输出特征图。
在本实施例中，二维卷积层是将输入数据与二维核进行卷积，通过计算输入数据与核之间的卷积之和来实现卷积，内核覆盖完整的空间维度。将卷积特征通过激活函数传递，引入非线性模型。在二维卷积中，图中空间位置(x,y)第i层第j个波段的激活值，记为值为：
其中，激活函数中，bi,j表示第i层第j个特征的偏置参数，di-1是第i-1层特征映射的数量，τ表示特征映射的数量，ρ表示卷积核的宽度，γ表示卷积核宽度的值，σ表示卷积核的高度，δ表示卷积核在高度的值，/>表示卷积核(σ,ρ)在第i层第j个特征映射的权值参数，/>表示卷积核(x+σ，y+ρ)在第i-1层特征映射的权值参数。
在该二维卷积层中卷积核尺寸为(2γ+1)×(2δ+1)，即卷积核通过(2γ+1)×(2δ+1)像素点矩阵作为滑动窗口，对有效图像画面像素点矩阵数据进行卷积运算。
该卷积核的运算过程如下：
假设有一个输入数据矩阵，其尺寸为δ×ρ，卷积核的尺寸为(2γ+1)×(2δ+2)，步长为2。将该卷积核在输入数据上进行滑动，每次滑动的步长为2。滑动的过程中，卷积核会与输入数据的子矩阵进行逐元素相乘，并将相乘结果累加，得到卷积核的输出值。
具体的计算过程如下：
①根据卷积核的尺寸，确定每次滑动的范围。假设当前滑动到的位置为(i，j)，则卷积核的滑动范围为(i-γ，i+γ)×(j-δ，j+δ+1)。
②在滑动范围内，取出与卷积核尺寸相同的子矩阵。该子矩阵的尺寸为(2γ+1)×(2δ+2)。
③将卷积核与子矩阵逐元素相乘，并将相乘结果累加，得到卷积核的输出值。
④将卷积核的输出值放置在输出矩阵的对应位置，输出矩阵的尺寸为(δ/2)×(ρ/2)。输出矩阵的每个元素表示卷积核在对应位置的输出值。
S4、基于训练完成的所述卷积神经网络模型对待检测微生物进行分类检测。
同上述步骤S1～S3，将待检测样本制片，采集获取样本的三维数据立方体，并映射至RGB波段，生成对应的伪彩色图像，将所述伪彩色图像中的微生物点标记为不同尺寸的三维数据立方体，依据细菌大小分别将细菌标记为大小N×N的方块，然后进行主成分分成，选取B个主成分作为波段特征，其中N为宽度与高度即数据立方体的维度，B为光谱波段的数量。将N×N×B的像素块作为卷积神经网络模型的输入，如图4所示输出分类结果。
在本申请的另一实施例中，步骤S2将所述伪彩色图像中的微生物点标记为不同尺寸的三维数据立方体，得到所有像元的三维空谱样本，并作为样本库R。
其中，采集伪彩色图像的三维数据体进行微生物点的标记方式采用覆盖取点法。
通过在采集的伪彩色图像中确定采样点(单个细菌)的整个区域，根据研究需要单个细菌可以是随机点、系统点或者规则点；将细菌整个区域的平均值作为该细菌点的数据，记为A为(x,y)。
由于每个细菌大小不一样，细菌区域的大小不固定，因此根据边缘检测的分割方法，自动选取细菌区域。具体过程为：
①预处理：对图像进行预处理以减少噪声和增强对比度。可以使用滤波器(如高斯滤波器)来平滑图像并去除噪声。然后，使用直方图均衡化或对比度拉伸等方法增强图像的对比度。
②边缘检测：应用边缘检测算法来检测图像中的细菌边缘。常用的边缘检测算法包括Canny算法、Sobel算法和Laplacian算法等。这些算法可以根据图像中的灰度变化来检测边缘。
③阈值分割：根据边缘检测结果，使用阈值分割来将细菌区域与背景分离。通过设置适当的阈值，将边缘像素标记为目标区域，其他像素标记为背景。可以使用简单的全局阈值或自适应阈值方法来进行分割。
④形态学处理：对分割结果进行形态学处理，以去除噪声和填充细菌区域。可以使用腐蚀和膨胀等形态学操作来消除小的噪点和连接断开的边缘。
⑤区域选择：根据细菌的形状和大小，选择合适的区域。可以使用连通组件分析(Connected Component Analysis)来识别和提取细菌区域。
记录选取细菌区域对应(x,y；λ)，(x,y；λ)表示为伪彩色细菌图像波段λ在细菌区域内的亮度平均值。
选取伪彩色图像中所述有确定的细菌区域，依次存储3×3、5×5、7×7、9×9、11×11、15×15、21×21、44×44的像素块；像素块的存储矩阵同上述中心取点法。
该方法采集的光谱数据，可以反映研究区域内细菌样本的光谱特征。与传统的采样方法相比，可以保证采样点的分布均匀，避免采样点之间的重复采样，同时也可以保证每个采样点的样本量相等。此外，通过采集的光谱数据进行细菌检测和分类，可以更加客观地反映微生物的特征，为微生物的研究和应用提供了更加有效的手段。
在本申请的第二实施例中，以第一实施例的实施方案为基础，对于采集得到的高光谱数据进行辐射矫正，通过辐射矫正对高光谱数据的处理，可以消除由于光照条件和传感器响应等因素引起的辐射不均匀性，使得不同像素位置和不同波段的数据具有可比性和可信度。
其中，辐射矫正包括光谱维辐射矫正和空间维辐射矫正，包括以下步骤：
1)将样本固定在载物台上，确定物镜放大倍数(选用100X)，调节光源亮度，粗调焦距找到符合要求的样本图像，再焦距微调，计算机屏显清晰的样本图像；系统采集样本图像数据保存。
2)保持光源强度、焦距和放大倍数不变，取载玻片上空白处，采集一图像并保存。
3)计算空白样本的校正系数h1：
其中，B1(i,j；λ)是空白样本在波段λ在图像O(i,j)点的高光谱图像数据；B(i,j)是空白样本在图像O(i,j)点的所有波段平均高光谱图像数据，N高光谱图像数据的波段数。
具体地，对于空白样本的每个像元(i,j)，计算其在所有波段上的平均高光谱数据B(i,j)，即将该像元在所有波段上的高光谱数据相加取平均得到的值。获取空白样本的每个像元在每个波段上的高光谱数据，计算其在每个波段上的光谱维矫正系数。
举例来说，假设高光谱数据为2×2的矩阵，每个像元有3个波段的数据。首先计算出每个像元在所有波段上的平均光谱数据B(i,j)，其中，B(1,1)＝(3+4+2)/3＝3，B(1,2)＝(2+1+3)/3＝2，B(2,1)＝(3+4+2)/3＝3，B(2,2)＝(2+1+3)/3＝2；计算每个像元在每个波段上的光谱维矫正系数：
h1(1,1,λ1)＝3/3＝1；h1(1,1,λ2)＝3/4＝0.75；h1(1,1,λ3)＝3/2＝1.5；
h1(1,2,λ1)＝2/3＝0.67；h1(1,2,λ2)＝2/4＝0.5；h1(1,2,λ3)＝2/2＝1；
h1(2,1,λ1)＝3/2＝1.5；h1(2,1,λ2)＝3/4＝0.75；h1(2,1,λ3)＝3/3＝1；
h1(2,2,λ1)＝2/2＝1；h1(2,2,λ2)＝2/1＝2；h1(2,2,λ3)＝2/3＝0.67。
此时，得到每个像元点在每个波段上对应的光谱维矫正系数。
4)计算空白样本的空间维校正系数h2：
其中，P为空白样本在空间光谱图像中横向像元数量，Q为空白样本在空间光谱图像中纵向像元数量，h2为空间维矫正系数。
具体地，获取空白样本中每个像元在每个波段的高光谱数据；对于空间光谱图像中的每个像元，将该像元在所有波段上的高光谱数据相加，得到总像元高光谱数据，再将所有像元的总像元高光谱数据相加，得到所有像元的总高光谱数据；最后将总高光谱数据除以总像元数量得到空间维矫正系数。
举例来说，假设高光谱数据为2×2的矩阵，每个像元有3个波段的数据。首先获取空白样本中每个像元在每个波段的高光谱数据：
B1(1,1,λ1)＝3；B1(1,1,λ2)＝4；B1(1,1,λ3)＝2；
B1(1,2,λ1)＝2；B1(1,2,λ2)＝1；B1(1,2,λ3)＝3；
B1(2,1,λ1)＝3；B1(2,1,λ2)＝4；B1(2,1,λ3)＝2；
B1(2,2,λ1)＝2；B1(2,2,λ2)＝1；B1(2,2,λ3)＝3；
然后计算所有像元的总高光谱数据：(3+4+2)+(2+1+3)+(3+4+2)+(2+1+3)＝30；最后将总高光谱数据除以总像元数量得到空间维矫正系数：h2＝30/(2×2)＝7.5。
5)经过空间维和光谱维联合矫正后的生物样本高光谱图像数据S′:
其中，S(i,j,λ)是生物样本在波段λ在图像O(i,j)点的光谱图像数据，S1为S(i,j,λ)经矫正后的高光谱数据。
如图5所示，由a图可知，在系统光源、光学器件以及实验环境等因素的影响下，原始图像中存在大量横向阴影，这些阴影不仅导致在对图像进行处理造成误差，而且还会导致阴影将病原菌特征进行覆盖，从而导致缺失一部分细菌特征。在将a图矫正后，得到b图，在b图中，横向阴影的情况得到了极大地改善，并且每个病原菌特征清晰可见，从而便于质谱分析仪更加容易识别提取病原菌的特征。以下是矫正效果，经过矫正后，去除采集过程中系统光源、光学器件的影响，背景均匀。
在本申请的第三实施例中，以或第二实施例的实施方案为基础，在将样本库R输入卷积神经网络模型2D-3D-CNN进行训练之前，对样本库R的高光谱数据立方体进行主成分分析处理，样本库R的高光谱数据立方体用M表示，M∈RN×N×B,其中M为原始输入，N为宽度与高度即数据立方体的维度，B为光谱波段的数量。为了消除光谱冗余，首先对原始数据上使用主成分分析(PCA),将光谱波段的数量从B减少到D，这个过程不改变其空间维度。通过主成分分析简化后得到的数据立方体M1∈RN×N×D,其中M1为修正后输入，N为宽度与高度，D为PCA提取后的光谱波段的数量。使用主成分分析可以从原始高光谱数据立方体中提取出最重要的特征，减少光谱波段的数量，同时保留了数据的主要信息。这样可以达到消除光谱冗余的目的，提高数据处理和分析的效率。
具体过程为：
①数据预处理：
将高光谱数据立方体M进行预处理，使得数据的均值为0。这可以通过对每个像素点的光谱波段值减去其对应波段的均值来实现。
②数据重塑：
将预处理后的数据立方体M重塑为一个矩阵X，维度为B×(N×M)。X的每一列代表一个像素点的光谱波段值。
③计算协方差矩阵：
计算重塑后的数据矩阵X的协方差矩阵C，维度为B×B。可以使用以下公式计算：C＝XT×X/(N×M-1)，其中XT表示矩阵X的转置。
④特征值分解：
对协方差矩阵C进行特征值分解，得到特征值和对应的特征向量。特征向量的个数等于光谱波段的数量B。
⑤选择主成分：
根据特征值的大小，选择前D个特征值对应的特征向量作为主成分。这些主成分对应的特征向量构成了一个维度为B×D的矩阵P。
⑥数据转换：
将重塑后的数据矩阵X与主成分矩阵P相乘，得到修正后的输入数据立方体M1。M1的维度为N×M×D，即空间维度不变，但光谱波段的数量从B减少到D。
通过该处理过程，实现了对高光谱数据立方体进行降维，消除光谱冗余，并得到修正后的输入数据立方体M1，其中M1的维度为N×M×D。这样可以减少数据的维度，提高数据处理效率，并保留了最重要的信息。
在本申请的第四实施例中，提供了一种基于显微高光谱成像的微生物检测系统，需要说明的是，该系统可以通过硬件或硬件与计算机软件的结合来实现上述第一实施例、第二实施例和第三实施例中基于显微高光谱成像技术的微生物分类方法。具体操作步骤的执行方式，取决于技术方案的特定应用和设计约束条件。在本实施例中，技术人员可以根据每个特定的应用，采用不同的方法来实现所描述的功能。然而，这种实现不应被认为超出本申请的范围。
如图6所示，基于显微高光谱成像的微生物检测系统包括：
数据采集模块601，用于采集样本涂片的高光谱数据；该模块通过高光谱成像仪获取样本的高光谱图像数据。
标记模块602，用于对采集的高光谱图像的进行微生物点的标记，标记为不同尺寸的三维数据立方体，得到所有像元的三维空谱样本，并作为样本库R。
检测模块604，包含卷积神经网络模型，用于将所述样本库R输入进行模型训练，并基于训练完成的所述卷积神经网络模型对待检测微生物进行分类检测；其中，所述卷积神经网络模型为2D-3D-CNN混合模型，所述2D-3D-CNN混合模型由三层三维卷积核、一层二维卷积核和三层全连接层构成，按照所述三层三维卷积核和一层二维卷积核的运算次序做卷积运算。首先，通过三层三维卷积核对样本库R进行卷积运算，提取特征信息。然后，使用一层二维卷积核对卷积后的结果进行进一步处理。最后，通过三层全连接层对卷积结果进行分类和识别。
在本实施例的一个实现方式中，所述数据采集模块601包括光学成像单元、光谱分析单元、数据处理单元和伪彩色映射单元，所述光学成像单元用于获取样本微生物的显微图像；所述光谱分析单元用于获取样本微生物的光谱信息；所述数据处理单元用于将显微图像和光谱信息进行配准和融合，生成对应的三维数据立方体；所述伪彩色映射模块用于将所述三维数据立方体映射为伪彩色图像。
其中，光学成像单元用来获取样本细菌的显微图像。在实际操作中，这个过程通常涉及到一个摄像头或者其它类型的图像获取设备，这个设备会将微生物样本的图像转化为计算机可以理解的数字信号。
例如，一个典型的显微图像获取过程可能包括以下步骤：
①微生物样本被放置在显微镜下。
②光源照亮样本，并通过显微镜的物镜产生放大的图像。
③图像获取设备(如CCD或CMOS相机)获取这个放大的图像，并将其转化为数字信号。
光谱分析单元是获取样本微生物的光谱信息。这个过程通常涉及到一个光谱仪，它可以对接收到的光进行频率分析，从而得到光的频谱分布。
例如，一个典型的光谱分析过程可能包括以下步骤：
①待检样本接收光源发出的光，经样本反射和吸收之后透出或反射、折射的光被光谱仪捕获。
②光谱仪将接收的光分离成不同的频率。
③光谱仪测量每个频率的光强度，从而得到光谱信息。
数据处理单元是将显微图像和光谱信息进行配准和融合，生成对应的三维数据立方体。这个过程主要涉及到图像处理和数据融合的算法。
例如，一个典型的数据处理过程可能包括以下步骤：
①使用图像配准算法，将显微图像和光谱图像进行空间对齐。
②使用数据融合算法，将对齐后的显微图像和光谱图像融合成一个三维数据立方体。
伪彩色映射单元是将三维数据立方体映射为伪彩色图像。这个过程主要涉及到颜色映射的算法。
例如，一个典型的伪彩色映射过程可能包括以下步骤：
①对三维数据立方体中的每一个像素，使用颜色映射算法将其映射到一个颜色值。
②将映射后的颜色值组成一个新的图像，这个图像就是最终的伪彩色图像。
在本实施例的一个实现方式中，标记模块502采用中心取点法，用于将所述伪彩色图像中的微生物点标记为不同尺寸的三维数据立方体，得到所有像元的三维空谱样本，并作为样本库R。
具体的，采用中心取点法，通过在三维数据体内选取一个代表点为中心点，以中心点为中心，取一个固定大小的邻域，计算邻域内像元的平均值，作为该中心点的特征向量，将所有中心点的特征向量组成一个样本库，用于分类和识别。对微生物点的标记技术选取代表性的样本点，一方面使得分类器学习到的特征更加准确和充分，从而提高分类精度，另一方面减少样本数量，降低分类器的计算复杂度和存储开销。
采用中心取点法进行微生物点的标记方法为：
①选取细菌点，在伪彩色细菌图像中，点击细菌中心点记为A点，记录其坐标为(i,j)，对应(i,j；λ)表示为伪彩色细菌图像波段λ在A点的亮度值。
②选取细菌伪彩色细菌图像中所有的细菌点。
③存储3×3的像素块，像素点对应坐标为
④存储5×5的像素块，像素点对应坐标为
⑤按照上述坐标依次存储7×7、9×9、11×11、15×15、21×21、44×44的像素块，像素点对应坐标以A(x,y)点为中心。
在本实施例的一个实现方式中，标记模块采用覆盖取点法，用于将所述伪彩色图像中的微生物点标记为不同尺寸的三维数据立方体，得到所有像元的三维空谱样本，并作为样本库R。
具体的，通过在采集的伪彩色图像中确定采样点(单个细菌)的整个区域，根据研究需要单个细菌可以是随机点、系统点或者规则点；将细菌整个区域的平均值作为该细菌点的数据，记为A为(x,y)。
记录选取细菌区域对应(x,y；λ)，(x,y；λ)表示为伪彩色细菌图像波段λ在细菌区域内的亮度平均值。
选取伪彩色图像中所述有确定的细菌区域，依次存储3×3、5×5、7×7、9×9、11×11、15×15、21×21、44×44的像素块；像素块的存储矩阵同上述中心取点法。
通过对高光谱数据进行伪彩色标记，可以将复杂的光谱信息转化为直观的图像，使微生物点在图像上更加明显可见。这样可以方便研究人员或医生进行目测分析和观察，快速识别和定位微生物点的位置。高光谱数据包含了大量的光谱信息，通过对伪彩色图像进行标记，可以突出显示微生物点的特征，如颜色、形状等。这有助于提取微生物点的特征参数，进一步分析微生物的类型、数量和分布情况，为微生物研究和诊断提供有价值的信息。
在本实施例的一个实现方式中，包含卷积神经网络模型，用于将所述样本库R输入进行模型训练，并基于训练完成的所述卷积神经网络模型对待检测微生物进行分类检测；其中，所述卷积神经网络模型为2D-3D-CNN混合模型，所述2D-3D-CNN混合模型由三层三维卷积核、一层二维卷积核和三层全连接层构成，按照所述三层三维卷积核和一层二维卷积核的运算次序做卷积运算。
在本实施例的一个实现方式中，基于显微高光谱成像的微生物检测系统还包括矫正模块603，矫正模块603包括光谱维辐射矫正单元和空间维辐射矫正单元，用于对数据采集模块获取的所述高光谱数据进行矫正，通过矫正单元消除数据采集模块在采集过程中畸变导致的图像形状和大小发生的变化，使得矫正的后高光谱数据的几何精度、空间分辨率和可视化效果得到了有效提高。
在本实施例中矫正模块603通过以下步骤实现对高光谱数据的矫正：
1)将样本固定在载物台上，确定物镜放大倍数(选用100X)，调节光源亮度，粗调焦距找到符合要求的样本图像，再焦距微调，计算机屏显清晰的样本图像；系统采集样本图像数据保存。
2)保持光源强度、焦距和放大倍数不变，取载玻片上空白处，采集一图像并保存。
3)计算空白样本的校正系数h1：
其中,B1(i,j；λ)是空白样本在波段λ在图像O(i,j)点的高光谱图像数据；B(i,j)是空白样本在图像O(i,j)点的所有波段平均高光谱图像数据，N高光谱图像数据的波段数。
4)计算空白样本的空间维校正系数h2：
其中，P为空白样本在空间光谱图像中横向像元数量，Q为空白样本在空间光谱图像中纵向像元数量，h2为空间维矫正系数。
5)经过空间维和光谱维联合矫正后的生物样本高光谱图像数据S′:
其中，S(i,j,λ)是生物样本在波段λ在图像O(i,j)点的光谱图像数据，S1为S(i,j,λ)经矫正后的高光谱数据。
在本实施例的一个实现方式中，2D-3D-CNN混合模型在卷积的运算的过程中，三维卷积核中空间位置(x,y,z)第i层第j个特征的激活值记为
其中，激活函数中，bi,j表示第i层第j个特征的偏置参数，di-1是第i-1层特征映射的数量，τ表示特征映射的数量，λ表示卷积核的光谱维深度，η表示卷积核在光谱维深度的值，ρ表示卷积核的宽度，γ表示卷积核宽度的值，σ表示卷积核的高度，δ表示卷积核在高度的值，/>表示卷积核(σ,ρ,λ)在第i层第j个特征映射的权值参数，/>表示卷积核(x+σ，y+ρ，z+λ)在第i-1层特征映射的权值参数。
二维卷积核中空间位置(x,y)第i层第j个波段的激活值记为
其中，激活函数中，bi,j表示第i层第j个特征的偏置参数，di-1是第i-1层特征映射的数量，τ表示特征映射的数量，ρ表示卷积核的宽度，γ表示卷积核宽度的值，σ表示卷积核的高度，δ表示卷积核在高度的值，/>表示卷积核(σ,ρ)在第i层第j个特征映射的权值参数，/>表示卷积核(x+σ，y+ρ)在第i-1层特征映射的权值参数。
在本申请的第五实施例中，如图7所示，提供了一种电子设备，该电子设备700可以包括：至少一个处理器701，至少一个网络接口704，用户接口703，存储器705，至少一个通信总线702。
其中，通信总线702用于实现这些组件之间的连接通信。
其中，用户接口703可以包括显示屏(Display)、摄像头(Camera)，可选用户接口703还可以包括标准的有线接口、无线接口。
其中，网络接口704可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。
其中，处理器701可以包括一个或者多个处理核心。处理器701利用各种接口和线路连接整个服务器内的各个部分，通过运行或执行存储在存储器705内的指令、程序、代码集或指令集，以及调用存储在存储器705内的数据，执行服务器的各种功能和处理数据。可选的，处理器701可以采用数字信号处理(Digital Signal Processing，DSP)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)、可编程逻辑阵列(Programmable LogicArray，PLA)中的至少一种硬件形式来实现。处理器701可集成中央处理器(CentralProcessing Unit，CPU)、图像处理器(Graphics Processing Unit，GPU)和调制解调器等中的一种或几种的组合。其中，CPU主要处理操作系统、用户界面和应用程序等；GPU用于负责显示屏所需要显示的内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到处理器701中，单独通过一块芯片进行实现。
其中，存储器705可以包括随机存储器(Random Access Memory，RAM)，也可以包括只读存储器(Read-Only Memory)。可选的，该存储器705包括非瞬时性计算机可读介质(non-transitory computer-readable storage medium)。存储器705可用于存储指令、程序、代码、代码集或指令集。存储器705可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作系统的指令、用于至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现上述各个方法实施例的指令等；存储数据区可存储上面各个方法实施例中涉及的数据等。存储器705可选的还可以是至少一个位于远离前述处理器701的存储装置。参照图7，作为一种计算机存储介质的存储器705中可以包括操作系统、网络通信模块、用户接口模块以及一种基于高光谱成像技术的病原菌成像方法的应用程序。
在图7所示的电子设备700中，用户接口703主要用于为用户提供输入的接口，获取用户输入的数据；而处理器701可以用于调用存储器705中存储一种基于高光谱成像技术的病原菌成像方法的应用程序，当由一个或多个处理器701执行时，使得电子设备700执行如上述实施例中一个或多个所述的方法。需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本申请所必需的。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
以上所述者，仅为本公开的示例性实施例，不能以此限定本公开的范围。即但凡依本公开教导所作的等效变化与修饰，皆仍属本公开涵盖的范围内。本领域技术人员在考虑说明书及实践真理的公开后，将容易想到本公开的其他实施方案。
本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未记载的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的范围和精神由权利要求限定。

Claims (10)

1.一种基于显微高光谱成像技术的微生物检测方法，其特征在于，包括：
制取样本微生物的检测涂片，采集获取所述样本微生物的三维数据立方体，选取波段生成对应的伪彩色图像；在所述伪彩色图像中，每个像素块的三维立方体对应于所述样本微生物在该像素位置的光谱特性；
将所述伪彩色图像中的微生物点标记为不同尺寸的三维数据立方体，得到所有像元的三维空谱样本，并作为样本库R；
将所述样本库R输入一卷积神经网络模型进行模型训练；所述卷积神经网络模型为2D-3D-CNN混合模型，所述2D-3D-CNN混合模型由三层三维卷积核、一层二维卷积核和三层全连接层构成，按照所述三层三维卷积核和一层二维卷积核的运算次序做卷积运算；
基于训练完成的所述卷积神经网络模型对待检测微生物进行分类检测。
2.根据权利要求1所述的一种基于显微高光谱成像技术的微生物检测方法，其特征在于，对采集获取的所述三维数据立方体进行辐射矫正，所述辐射矫正包括光谱维辐射矫正和空间维辐射矫正。
3.根据权利要求1所述的一种基于显微高光谱成像技术的微生物检测方法，其特征在于，所述不同尺寸的三维数据立方体依次为3×3、5×5、7×7、9×9、11×11、15×15、21×21和44×44。
4.根据权利要求1所述的一种基于显微高光谱成像技术的微生物检测方法，其特征在于，采用中心取点法对病原微生物的数据进行标记：
在所述伪彩色细菌图像中，以选取微生物的中心点作为A点，记录其坐标(x,y)，像素点对应坐标以A(x,y)点为中心，对应的(x,y,λ)表示为伪彩色微生物图像波段λ在A点的亮度值；
选取所述伪彩色微生物图像中所有的微生物点进行标记，得到不同尺寸的所述三维数据立方体；
依次存储多个所述三维数据立方体。
5.根据权利要求1所述的一种基于显微高光谱成像技术的微生物检测方法，其特征在于，采用覆盖取点法对病原微生物的数据进行标记：
在所述伪彩色图像中，选取单个微生物的整个区域；
将所述整个区域的平均值作为所述单个微生物的数据，即A为(x,y)；
记录A对应(x,y,λ)，(x,y,λ)表示为伪彩色微生物图像波段λ在所述单个微生物区域内的亮度平均值；
选取所述伪彩色微生物图像中所有的微生物点进行标记，得到不同尺寸的所述三维数据立方体；
依次存储多个所述三维数据立方体。
6.根据权利要求1所述的一种基于显微高光谱成像技术的微生物检测方法，其特征在于，在所述三维卷积核中空间位置(x,y,z)第i层第j个特征的激活值记为
其中，激活函数中，bi,j表示第i层第j个特征的偏置参数，di-1是第i-1层特征映射的数量，τ表示特征映射的数量，λ表示卷积核的光谱维深度，η表示卷积核在光谱维深度的值，ρ表示卷积核的宽度，γ表示卷积核宽度的值，σ表示卷积核的高度，δ表示卷积核在高度的值，/>表示卷积核(σ,ρ,λ)在第i层第j个特征映射的权值参数，/>表示卷积核(x+σ，y+ρ，z+λ)在第i-1层特征映射的权值参数；
在所述二维卷积核中空间位置(x,y)第i层第j个波段的激活值记为
其中，激活函数中，bi,j表示第i层第j个特征的偏置参数，di-1是第i-1层特征映射的数量，τ表示特征映射的数量，ρ表示卷积核的宽度，γ表示卷积核宽度的值，σ表示卷积核的高度，δ表示卷积核在高度的值，/>表示卷积核(σ,ρ)在第i层第j个特征映射的权值参数，表示卷积核(x+σ，y+ρ)在第i-1层特征映射的权值参数。
7.一种基于显微高光谱成像的微生物检测系统，其特征在于，包括：
数据采集模块，用于采集样本微生物的三维数据立方体，选取波段并映射生成对应的伪彩色图像；
标记模块，用于将所述伪彩色图像中的微生物点标记为不同尺寸的三维数据立方体，得到所有像元的三维空谱样本，并作为样本库R；
检测模块，包含卷积神经网络模型，用于将所述样本库R输入进行模型训练，并基于训练完成的所述卷积神经网络模型对待检测微生物进行分类检测；其中，所述卷积神经网络模型为2D-3D-CNN混合模型，所述2D-3D-CNN混合模型由三层三维卷积核、一层二维卷积核和三层全连接层构成，按照所述三层三维卷积核和一层二维卷积核的运算次序做卷积运算。
8.根据权利要求7所述的一种基于显微高光谱成像的微生物检测系统，其特征在于，还包括主成分分析模块，通过所述主成分分析模块将所述样本库R中每个三维数据立方体的光谱波段数量得到样本库R’，以所述样本库R’作为所述检测模块的输入数据。
9.一种电子设备，其特征在于，包括存储器、处理器和存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现权利要求1-7中任一项所述的检测方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有指令，当所述指令被执行时，所述计算机执行权利要求1-7中任一项所述的检测方法。
CN202311098839.9A 2023-08-30 2023-08-30 基于显微高光谱成像技术的微生物检测方法、系统、电子设备及存储介质 Pending CN117095393A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311098839.9A CN117095393A (zh) 2023-08-30 2023-08-30 基于显微高光谱成像技术的微生物检测方法、系统、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311098839.9A CN117095393A (zh) 2023-08-30 2023-08-30 基于显微高光谱成像技术的微生物检测方法、系统、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN117095393A true CN117095393A (zh) 2023-11-21

Family

ID=88771302

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311098839.9A Pending CN117095393A (zh) 2023-08-30 2023-08-30 基于显微高光谱成像技术的微生物检测方法、系统、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN117095393A (zh)

Similar Documents

Publication Publication Date Title
US10755406B2 (en) Systems and methods for co-expression analysis in immunoscore computation
CN109670510B (zh) 一种基于深度学习的胃镜活检病理数据筛查系统
US20210191094A1 (en) Real-time Pathological Microscopic Image Collection and Analysis System, Method and Device and Medium
EP1428016B1 (en) Method of quantitative video-microscopy and associated system and computer software program product
US20150213599A1 (en) Automated histological diagnosis of bacterial infection using image analysis
Yoon et al. Detection of Campylobacter colonies using hyperspectral imaging
JP5469070B2 (ja) 生物検体を処理するための複数の波長を用いる方法およびシステム
JP2008541048A (ja) 自動画像解析
JP7487418B2 (ja) 多重化免疫蛍光画像における自己蛍光アーチファクトの識別
EP3241181B1 (en) Vessel analysis in multiplexed images
US20080102487A1 (en) Method and apparatus for non-invasive rapid fungal specie (mold) identification having hyperspectral imagery
US20240079116A1 (en) Automated segmentation of artifacts in histopathology images
JP7492650B2 (ja) 多重免疫蛍光染色組織のデジタル画像における壊死領域の自動識別
Ulaganathan et al. A clinicopathological study of various oral cancer diagnostic techniques
CN111492065A (zh) 一种鉴别细菌革兰氏类型的系统和方法
CN117095393A (zh) 基于显微高光谱成像技术的微生物检测方法、系统、电子设备及存储介质
WO2022190891A1 (ja) 情報処理システム及び情報処理方法
KR102550665B1 (ko) 마이크로 니들 패치를 이용한 반려동물 알레르기 진단 시스템 및 방법
CN117529750A (zh) 使用多重免疫荧光成像的组织学染色的数字合成
EP4390376A1 (en) An improved method for performing fluorescence measurement on a sample
Tian et al. Accurate classification of glomerular diseases by hyperspectral imaging and Transformer
Gorokhov et al. Intelligent Technologies for the Segmentation and Classification of Microbiological Photographic Images
Du et al. Rapid Determination of Positive–Negative Bacterial Infection Based on Micro-Hyperspectral Technology
WO2024132514A1 (en) An improved method for performing fluorescence measurement on a sample
CN117237341A (zh) 基于高光谱图像的人体外周血样本检测方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination