CN115131317A - 一种基于双模态图像的胃癌癌前病变分析系统及方法 - Google Patents
一种基于双模态图像的胃癌癌前病变分析系统及方法 Download PDFInfo
- Publication number
- CN115131317A CN115131317A CN202210752986.2A CN202210752986A CN115131317A CN 115131317 A CN115131317 A CN 115131317A CN 202210752986 A CN202210752986 A CN 202210752986A CN 115131317 A CN115131317 A CN 115131317A
- Authority
- CN
- China
- Prior art keywords
- image
- bimodal
- data
- hyperspectral
- gastric cancer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000002902 bimodal effect Effects 0.000 title claims abstract description 103
- 208000005718 Stomach Neoplasms Diseases 0.000 title claims abstract description 71
- 206010017758 gastric cancer Diseases 0.000 title claims abstract description 71
- 201000011549 stomach cancer Diseases 0.000 title claims abstract description 71
- 230000003902 lesion Effects 0.000 title claims abstract description 62
- 238000000034 method Methods 0.000 title claims abstract description 41
- 238000004458 analytical method Methods 0.000 title claims abstract description 24
- 238000010276 construction Methods 0.000 claims abstract description 34
- 238000013145 classification model Methods 0.000 claims abstract description 24
- 230000002496 gastric effect Effects 0.000 claims abstract description 15
- 230000004927 fusion Effects 0.000 claims abstract description 11
- 238000012549 training Methods 0.000 claims description 46
- 230000001575 pathological effect Effects 0.000 claims description 24
- 230000008569 process Effects 0.000 claims description 20
- 238000012360 testing method Methods 0.000 claims description 18
- 238000012795 verification Methods 0.000 claims description 12
- 238000004364 calculation method Methods 0.000 claims description 8
- 238000013527 convolutional neural network Methods 0.000 claims description 7
- 238000004891 communication Methods 0.000 abstract description 4
- 230000003595 spectral effect Effects 0.000 description 11
- 238000003745 diagnosis Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 238000003384 imaging method Methods 0.000 description 5
- 238000000701 chemical imaging Methods 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000000052 comparative effect Effects 0.000 description 3
- 238000004195 computer-aided diagnosis Methods 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 3
- 206010028980 Neoplasm Diseases 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000013399 early diagnosis Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 238000000513 principal component analysis Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 230000004083 survival effect Effects 0.000 description 2
- 206010054949 Metaplasia Diseases 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 201000011510 cancer Diseases 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 229910052736 halogen Inorganic materials 0.000 description 1
- 150000002367 halogens Chemical class 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 239000012535 impurity Substances 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 208000020082 intraepithelial neoplasia Diseases 0.000 description 1
- 238000012634 optical imaging Methods 0.000 description 1
- 238000010827 pathological analysis Methods 0.000 description 1
- 230000007170 pathology Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000004393 prognosis Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000004445 quantitative analysis Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000010187 selection method Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000001356 surgical procedure Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
- A61B5/0075—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by spectroscopy, i.e. measuring spectra, e.g. Raman spectroscopy, infrared absorption spectroscopy
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/42—Detecting, measuring or recording for evaluating the gastrointestinal, the endocrine or the exocrine systems
- A61B5/4222—Evaluating particular parts, e.g. particular organs
- A61B5/4238—Evaluating particular parts, e.g. particular organs stomach
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10056—Microscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30092—Stomach; Gastric
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Abstract
本发明公开了一种基于双模态图像的胃癌癌前病变分析系统，包括：图像获取模块，用于获取胃癌癌前病变的双模态图像，其中双模态图像包括：高光谱图像和三色原图像；数据获取模块，用于对高光谱图像进行波段选择，得到高光谱实验数据；模型构建模块，基于高光谱实验数据，构建自监督分类模型；联合网格构建模块，基于双模态图像及自监督分类模型，构建双模态联合网络；通过双模态联合网络对胃癌癌前病变区域进行分析，得到分析结果。本发明能够进行两种模态数据学习之间的交流与融合，增强胃癌癌前病变数据集分类任务的准确性。
Description
技术领域
本发明属于高光谱成像以及计算机辅助诊断领域，特别是涉及一种基于双模态图像的胃癌癌前病变分析系统及方法。
背景技术
胃癌是全球最常见的癌症之一，胃癌的发展是一个多阶段的过程，整个过程可能持续数年。研究发现胃癌的早期诊断对预后至关重要，早期治疗后五年生存率可超过90％，而进展性胃癌即使经过手术治疗，五年生存率仍低于30％。因此，胃癌癌前病变的早期诊断和治疗在一定程度上可以有效预防胃癌的发生。不幸的是，由于早期病变的隐匿性，大多患者一经发现即为进展期。
病理诊断通常被认为是胃癌诊断的“金标准”。病理学家通过在显微镜下观察组织病理标本来做出诊断。这个过程需要病理学家具备丰富的专业知识和经验，可能会导致诊断缺乏客观性和一致性。基于成像技术与图像处理技术的计算机辅助诊断可以协助诊断疾病，提高了诊断准确性的同时也减少了病理学家的工作量。
传统的病理辅助诊断依赖于彩色成像，而高光谱成像技术将光学成像和光谱技术相结合，在获取样本空间信息的同时还融入了丰富的光谱信息。由于生物组织的特异性，不同组织之间具有不同的光谱特性，可以利用光谱特性的区别去探测其特异性，所以高光谱图像为实现更精确的样本识别提供了可能。
随着深度学习的突破性进展，基于人工智能、深度学习的数字病理图像分析和癌症辅助诊断已经成为了热点研究的方向，为实现病理图像端到端的全自动诊断提供了可能。但深度学习网络需要大量的数据去增大学习的鲁棒性，所以如何在有限的数据中充分、有效地挖掘特征信息，为后续计算机辅助诊断提供准确的量化分析仍是关键问题。
发明内容
本发明的目的是提供一种基于双模态图像的胃癌癌前病变分析系统及方法，以解决上述现有技术存在的问题。
为实现上述目的，本发明提供了一种基于双模态图像的胃癌癌前病变分析系统，包括：图像获取模块、数据获取模块、模型构建模块及联合网格构建模块；其中所述图像获取模块、所述数据获取模块、所述模型构建模块及所述联合网格构建模块依次连接；
所述图像获取模块，用于获取胃癌癌前病变的双模态图像，其中所述双模态图像包括：高光谱图像和三色原图像；
所述数据获取模块，用于对所述高光谱图像进行波段选择，得到高光谱实验数据；
所述模型构建模块，基于所述高光谱实验数据，构建自监督分类模型；
所述联合网格构建模块，基于所述双模态图像及所述自监督分类模型，构建双模态联合网络；通过所述双模态联合网络对胃癌癌前病变区域进行分析，得到分析结果。
优选地，所述图像获取模块：数据采集单元和图像获取单元；
所述数据采集单元，用于对胃癌病理玻片进行数据采集，获取采集的胃癌病理数据；
所述图像获取单元，基于采集的胃癌病理数据，分别获取高光谱图像和三色原图像，其中所述高光谱图像和所述三色原图像为胃癌癌前病变的双模态图像。
优选地，所述数据获取模块包括：互信息计算单元和数据获取单元；
所述互信息计算单元，用于获取参考图像，通过计算单波段高光谱图像与所述参考图像的互信息相关性；
所述数据获取单元，基于所述互信息，对所述高光谱图像进行波段选择，得到高光谱实验数据；其中所述参考图像为全部波段图像信息的融合图像。
优选地，所述模型构建模块模块包括：模型构建单元；
所述模型构建单元，基于所述高光谱实验数据及卷积神经网络模型构建自监督分类模型。
优选地，所述联合网格构建模块包括：数据划分单元和联合网格构建单元；
所述数据划分单元，用于对所述双模态图像的数据进行划分，得到训练数据、验证数据及测试数据；
所述联合网格构建单元，基于所述训练数据与所述验证数据，对所述双模态联合网络进行训练，直到输出的误差减小到期望值；基于所述测试数据，对训练好的双模态联合网络进行测试，得到测试好的双模态联合网络，通过测试好的双模态联合网络对胃癌癌前病变区域进行分析。
为实现上述技术目的，本发明提供了一种基于双模态图像的胃癌癌前病变分析方法，包括以下步骤：
获取胃癌癌前病变的双模态图像，其中所述双模态图像包括：高光谱图像和三色原图像；
对所述高光谱图像进行波段选择，得到高光谱实验数据；
基于所述高光谱实验数据，构建自监督分类模型；
基于所述双模态图像及所述自监督分类模型，构建双模态联合网络；通过所述双模态联合网络对胃癌癌前病变区域进行分析，得到分析结果。
优选地，获取胃癌癌前病变的双模态图像的过程：
对胃癌病理玻片进行数据采集，获取采集的胃癌病理数据，基于采集的胃癌病理数据，分别获取高光谱图像和三色原图像，其中所述高光谱图像和所述三色原图像为胃癌癌前病变的双模态图像。
优选地，对所述高光谱图像进行波段选择的过程包括：
获取参考图像，通过计算单波段高光谱图像与所述参考图像的互信息相关性，基于所述互信息，对所述高光谱图像进行波段选择，得到高光谱实验数据；其中所述参考图像为全部波段图像信息的融合图像。
优选地，构建自监督分类模型的过程包括：
基于所述高光谱实验数据及卷积神经网络模型构建自监督分类模型。
优选地，对胃癌癌前病变区域进行分析之前过程包括：
对所述双模态图像的数据进行划分，得到训练数据、验证数据及测试数据，基于所述训练数据与所述验证数据，对所述双模态联合网络进行训练，直到输出的误差减小到期望值；基于所述测试数据，对训练好的双模态联合网络进行测试，得到测试好的双模态联合网络，通过测试好的双模态联合网络对胃癌癌前病变区域进行分析。
本发明的技术效果为：
本发明通过图像获取模块，获取胃癌癌前病变的双模态图像；通过数据获取模块，对高光谱图像进行波段选择，得到高光谱实验数据；通过模型构建模块，构建自监督分类模型；通过联合网格构建模块，构建双模态联合网络；通过双模态联合网络对胃癌癌前病变区域进行分析，得到分析结果。
本发明使用自监督训练为其中的高光谱图像构造了预训练模型，给下游分类任务提供了帮助；本发明提出一种双模态数据联合训练的网络来提取特性，进行两种模态数据学习之间的交流与融合，增强胃癌癌前病变数据集分类任务的准确性。
附图说明
构成本申请的一部分的附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1为本发明实施例中的方法流程图；
图2为本发明实施例中的显微高光谱图像采集系统的硬件组成图；
图3为本发明实施例中的光谱曲线变化示意图；
图4为本发明实施例中的互信息计算结果展示图；
图5为本发明实施例中的双数据模态以及高光谱图像光谱曲线的展示图；
图6为本发明实施例中的高光谱图像自监督预训练分类的流程图；
图7为本发明实施例中的双模态联合训练的网络架构图。
具体实施方式
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
实施例一
如图1所示，本实施例中提供一种基于双模态图像的胃癌癌前病变分析方法，包括以下步骤：
获取胃癌癌前病变的双模态图像，其中双模态图像包括：高光谱图像和三色原图像；
对高光谱图像进行波段选择，得到高光谱实验数据；
基于高光谱实验数据，构建自监督分类模型；
基于双模态图像及自监督分类模型，构建双模态联合网络；通过双模态联合网络对胃癌癌前病变区域进行分析，得到分析结果。
在一些实施例中，获取胃癌癌前病变的双模态图像的过程：
对胃癌病理玻片进行数据采集，获取采集的胃癌病理数据，基于采集的胃癌病理数据，分别获取高光谱图像和三色原图像，其中高光谱图像和三色原图像为胃癌癌前病变的双模态图像。
在一些实施例中，对高光谱图像进行波段选择的过程包括：
获取参考图像，通过计算单波段高光谱图像与参考图像的互信息相关性，基于互信息，对高光谱图像进行波段选择，得到高光谱实验数据；其中参考图像为全部波段图像信息的融合图像。
在一些实施例中，构建自监督分类模型的过程包括：
基于高光谱实验数据及卷积神经网络模型构建自监督分类模型。
在一些实施例中，对胃癌癌前病变区域进行分析之前过程包括：
对双模态图像的数据进行划分，得到训练数据、验证数据及测试数据，基于训练数据与验证数据，对双模态联合网络进行训练，直到输出的误差减小到期望值；基于测试数据，对训练好的双模态联合网络进行测试，得到测试好的双模态联合网络，通过测试好的双模态联合网络对胃癌癌前病变区域进行分析。
基于双模态图像的胃癌癌前病变分析方法的具体步骤：
1.用显微高光谱成像系统在胃癌癌前病变病理组织上进行数据采集，获取双模态(高光谱图像和RGB图像)图像。该步骤具体包括：
1)使用自制的显微的高光谱成像系统对病理玻片进行数据采集，成像系统的硬件组成图，如图2所示。硬件设施包括一个光学显微镜、卤素灯、分光器、彩色相机、灰度相机、声光可调谐滤波器(AOTF)、AOTF驱动器、用于控制采集的电脑以及三轴电动载物台；
2)将病理玻片放至显微镜的载物台上，光透过玻片和物镜后抵达AOTF，AOTF的驱动器会在窄带宽下进行波长切换，最终在灰度相机上进行成像，完成高光谱图像的采集。另一光路会在分光器的切换下最终在彩色相机上进行成像，完成RGB图像的采集；
3)整个采集过程由计算机软件控制完成，数据采集者只需选择感兴趣的区域即可。
2.对高光谱图像进行数据预处理。由于一些光路杂质、伪影和不均匀的光谱响应等噪声问题，原始的高光谱图像需要预处理来减少噪声。该步骤具体为：
1)在用于生物医学应用的显微高光谱透射成像系统方面，典型的预处理方法是利用空白图像作为参考图像来对原始图像进行校准；
2)本实施例在没有病理组织的空白区域捕获空白图像来对原始图像进行预处理。如图3所示，左图为原始图像的光谱特征曲线，中间图为空白图像的光谱特征曲线，右图为校准后的图像。可看出，去除噪声后得到了更显著的组织光谱特征曲线；
3)如图4所示，展示了胃癌癌前病变双模态数据集中的样例以及高光谱图像的光谱曲线差异，其中列出了三类组织(正常组织，肠化生组织，上皮内瘤变组织)的光谱曲线，可以看出在光谱维度，三类组织具有明显的差异。
3.提供波段选择的方法。高光谱图像具有一定的冗余性，为了在不同计算力环境下选出最有效的波段，本实施例提供一个有效的波段选择方法。该步骤具体如下：
1)对预处理后的高光谱图像进行主成分分析(PCA)，将全部波段图像信息融合入一张图像，作为后续波段选择的参考图像；
2)通过计算互信息In来表示每个单波段图像Hn与参考图像R之间的相关性。定义计算公式为下式，其中n为第n个波段，p(·)为概率分布或联合概率分布：
3)如图5所示，图中展示了单波段图像Hn与参考图像R的互信息相关性。可以选择相关性较高的波段子集作为实验数据，可以有效的降低冗余性以及节省计算资源。
4.基于自监督训练为高光谱图像分类提供有效的预训练模型。深度学习网络经常存在过拟合问题。为网络加载预先训练的权值可以有效地防止过拟合问题。由于高光谱数具有多个通道，现存的预训练模型并不适用，所以本发明提供了一个基于自监督训练为高光谱图像分类提供有效的预训练模型的方法。如图6所示，该步骤具体如下：
1)高光谱图像x通过随机数据增强得到x1和x2；
2)增强后的高光谱图像被送入由卷积神经网络ResNet和多层感知器(MLP)组成的编码器f中。输入的高光谱图像有N个波段，网络入口处采用N个卷积核来匹配输入的多通道性；
3)经过编码器f后，将两个分支的输出记作z1＝f(x1)和z2＝f(x2)。z1通过MLP后表示为pred(z1)；
4)最后，本实施例计算两个对称分支输出特征图的余弦相似度，同样，如果在x2分支中加入MLP，将得到与上式相似的结果；
5)此外，为了避免训练崩塌，编码器只接收含有MLP分支的梯度反传。最后，将整个对称的损失函数l定义为下式，以最小化损失函数l来指导整个训练过程，经过此步骤后，可以得到高光谱图像分类的预训练模型，会为后续步骤的训练提供帮助；
为了说明本发明中此步骤所述方法的有益效果，在具体实施过程中，本实施例在两种深度学习模型(ResNet18和ResNet50)中，使用数据集不同比例(50％、75％和100％)的子集去针对是否使用经自监督得到的预训练模型进行了对比实验。使用数据集中不同比例的子集进行关于自监督预训练模型有效性的对比实验，实验结果如表1所示。
表1
5.将RGB图像与高光谱图像联合训练，进一步提高识别的准确率。数据集中含有RGB与高光谱两种模态的图像，受不同图像模态联合训练的启发，本发明提出了一种由两个对称分支组成的深度连接网络。如图7所示，该步骤具体如下：
1)第一个分支输入高光谱图像进行训练，第二个分支输入RGB图像进行训练；
2)在分支之间建立特征间交流的连接，最终将两个分支的高级特征连接在一起，决定网络的输出；
3)本实施例使用ResNet50作为两个分支的特征提取器。在训练分类器前，分别加载了两个分支的预训练模型，以有效地防止训练过程的过拟合现象。对于RGB图像分支，本实施例加载了ImgNet数据集上的预训练模型。对于高光谱图像分支，本实施例加载了上个步骤得到的自监督预训练模型；
4)本实施例在ResNet50各模块之间的用卷积核和跳连接建立了信息交换和融合的通道。最后，将两个分支的高级特征组合起来，并将它们输入到平均池化层、全连接层和softmax激活函数，以得到三个类别的预测得分；
5)为了促进两个分支之间的有效地交流与整合。在计算预测分数前，本实施例使用Pearson系数对两个分支的特征相关性进行了计算。Pearson系数r被定义为两个变量之间协方差和标准差的商。它是用来衡量关联度：
6)在训练过程中，本实施例使用Pearson距离d作为损失函数来约束训练过程的学习，减少了两个分支之间的分歧，获得更好的融合结果，其定义为：
dx,y＝1-rx,y,d∈[0,2]
将两分支的输出特征分别记为
和
定义对称深连通网络的损耗函数
为：
7)在得到预测结果后，本实施例使用交叉熵损失
来惩罚预测与真实标签之间的差异。整体损失函数
定义为前面提到的两个损失函数的线性和：
8)为了说明本发明中此步骤所述方法的有益效果，在具体实施过程中，使用ResNet50作为此步骤中的特征提取器，并针对单独训练两分支和联合训练的效果进行了对比实验，实验结果展示如表2所示，其中SDCN代表本发明提出的深度连接网络。
表2
本实施例提出一种基于高光谱和RGB双模态图像的胃癌癌前病变识别方法。构建胃癌癌前病变双模态数据集。使用自监督训练为其中的高光谱图像构造了预训练模型，给下游分类任务提供了帮助。针对数据集中的两种数据模态，受启发与多模态数据联合训练，提出一种双模态数据联合训练的网络来提取特性，进行两种模态数据学习之间的交流与融合，增强胃癌癌前病变数据集分类任务的准确性。
实施例二
为实现上述技术目的，本发明提供了一种基于双模态图像的胃癌癌前病变分析系统，包括：图像获取模块、数据获取模块、模型构建模块及联合网格构建模块；其中图像获取模块、数据获取模块、模型构建模块及联合网格构建模块依次连接；
图像获取模块，用于获取胃癌癌前病变的双模态图像，其中双模态图像包括：高光谱图像和三色原图像；
数据获取模块，用于对高光谱图像进行波段选择，得到高光谱实验数据；
模型构建模块，基于高光谱实验数据，构建自监督分类模型；
联合网格构建模块，基于双模态图像及自监督分类模型，构建双模态联合网络；通过双模态联合网络对胃癌癌前病变区域进行分析，得到分析结果。
在一些实施例中，图像获取模块：数据采集单元和图像获取单元；
数据采集单元，用于对胃癌病理玻片进行数据采集，获取采集的胃癌病理数据；
图像获取单元，基于采集的胃癌病理数据，分别获取高光谱图像和三色原图像，其中高光谱图像和三色原图像为胃癌癌前病变的双模态图像。
在一些实施例中，数据获取模块包括：互信息计算单元和数据获取单元；
互信息计算单元，用于获取参考图像，通过计算单波段高光谱图像与参考图像的互信息相关性；
数据获取单元，基于互信息，对高光谱图像进行波段选择，得到高光谱实验数据；其中参考图像为全部波段图像信息的融合图像。
在一些实施例中，模型构建模块模块包括：模型构建单元；
模型构建单元，基于高光谱实验数据及卷积神经网络模型构建自监督分类模型。
在一些实施例中，联合网格构建模块包括：数据划分单元和联合网格构建单元；
数据划分单元，用于对双模态图像的数据进行划分，得到训练数据、验证数据及测试数据；
联合网格构建单元，基于训练数据与验证数据，对双模态联合网络进行训练，直到输出的误差减小到期望值；基于测试数据，对训练好的双模态联合网络进行测试，得到测试好的双模态联合网络，通过测试好的双模态联合网络对胃癌癌前病变区域进行识别。
以上所述，仅为本申请较佳的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应该以权利要求的保护范围为准。
Claims (10)
1.一种基于双模态图像的胃癌癌前病变分析系统，其特征在于，包括：图像获取模块、数据获取模块、模型构建模块及联合网格构建模块；其中所述图像获取模块、所述数据获取模块、所述模型构建模块及所述联合网格构建模块依次连接；
所述图像获取模块，用于获取胃癌癌前病变的双模态图像，其中所述双模态图像包括：高光谱图像和三色原图像；
所述数据获取模块，用于对所述高光谱图像进行波段选择，得到高光谱实验数据；
所述模型构建模块，基于所述高光谱实验数据，构建自监督分类模型；
所述联合网格构建模块，基于所述双模态图像及所述自监督分类模型，构建双模态联合网络；通过所述双模态联合网络对胃癌癌前病变区域进行分析，得到分析结果。
2.根据权利要求1所述的基于双模态图像的胃癌癌前病变分析系统，其特征在于，所述图像获取模块：数据采集单元和图像获取单元；
所述数据采集单元，用于对胃癌病理玻片进行数据采集，获取采集的胃癌病理数据；
所述图像获取单元，基于采集的胃癌病理数据，分别获取高光谱图像和三色原图像，其中所述高光谱图像和所述三色原图像为胃癌癌前病变的双模态图像。
3.根据权利要求1所述的基于双模态图像的胃癌癌前病变分析系统，其特征在于，所述数据获取模块包括：互信息计算单元和数据获取单元；
所述互信息计算单元，用于获取参考图像，计算单波段高光谱图像与所述参考图像的互信息相关性；
所述数据获取单元，基于所述互信息，对所述高光谱图像进行波段选择，得到高光谱实验数据；其中所述参考图像为全部波段图像信息的融合图像。
4.根据权利要求1所述的基于双模态图像的胃癌癌前病变分析系统，其特征在于，所述模型构建模块模块包括：模型构建单元；
所述模型构建单元，基于所述高光谱实验数据及卷积神经网络模型构建自监督分类模型。
5.根据权利要求1所述的基于双模态图像的胃癌癌前病变分析系统，其特征在于，所述联合网格构建模块包括：数据划分单元和联合网格构建单元；
所述数据划分单元，用于对所述双模态图像的数据进行划分，得到训练数据、验证数据及测试数据；
所述联合网格构建单元，基于所述训练数据与所述验证数据，对所述双模态联合网络进行训练，直到输出的误差减小到期望值；基于所述测试数据，对训练好的双模态联合网络进行测试，得到测试好的双模态联合网络，通过测试好的双模态联合网络对胃癌癌前病变区域进行分析。
6.一种基于双模态图像的胃癌癌前病变分析方法，其特征在于，包括以下步骤：
获取胃癌癌前病变的双模态图像，其中所述双模态图像包括：高光谱图像和三色原图像；
对所述高光谱图像进行波段选择，得到高光谱实验数据；
基于所述高光谱实验数据，构建自监督分类模型；
基于所述双模态图像及所述自监督分类模型，构建双模态联合网络；通过所述双模态联合网络对胃癌癌前病变区域进行分析，得到分析结果。
7.根据权利要求6所述的基于双模态图像的胃癌癌前病变分析方法，其特征在于，获取胃癌癌前病变的双模态图像的过程：
对胃癌病理玻片进行数据采集，获取采集的胃癌病理数据，基于采集的胃癌病理数据，分别获取高光谱图像和三色原图像，其中所述高光谱图像和所述三色原图像为胃癌癌前病变的双模态图像。
8.根据权利要求6所述的基于双模态图像的胃癌癌前病变分析方法，其特征在于，对所述高光谱图像进行波段选择的过程包括：
获取参考图像，计算单波段高光谱图像与所述参考图像的互信息相关性，基于所述互信息，对所述高光谱图像进行波段选择，得到高光谱实验数据；其中所述参考图像为全部波段图像信息的融合图像。
9.根据权利要求6所述的基于双模态图像的胃癌癌前病变分析方法，其特征在于，构建自监督分类模型的过程包括：
基于所述高光谱实验数据及卷积神经网络模型构建自监督分类模型。
10.根据权利要求6所述的基于双模态图像的胃癌癌前病变分析方法，其特征在于，对胃癌癌前病变区域进行分析之前过程包括：
对所述双模态图像的数据进行划分，得到训练数据、验证数据及测试数据，基于所述训练数据与所述验证数据，对所述双模态联合网络进行训练，直到输出的误差减小到期望值；基于所述测试数据，对训练好的双模态联合网络进行测试，得到测试好的双模态联合网络，通过测试好的双模态联合网络对胃癌癌前病变区域进行分析。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210752986.2A CN115131317B (zh) | 2022-06-28 | 2022-06-28 | 一种基于双模态图像的胃癌癌前病变分析系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210752986.2A CN115131317B (zh) | 2022-06-28 | 2022-06-28 | 一种基于双模态图像的胃癌癌前病变分析系统及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115131317A true CN115131317A (zh) | 2022-09-30 |
| CN115131317B CN115131317B (zh) | 2024-03-12 |
Family
ID=83380068
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210752986.2A Active CN115131317B (zh) | 2022-06-28 | 2022-06-28 | 一种基于双模态图像的胃癌癌前病变分析系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115131317B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116503858A (zh) * | 2023-05-06 | 2023-07-28 | 华东师范大学 | 一种基于生成模型的免疫荧光图像分类方法及系统 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105046673A (zh) * | 2015-07-13 | 2015-11-11 | 哈尔滨工业大学 | 基于自学习的高光谱图像和可见光图像融合分类方法 |
| CN110458208A (zh) * | 2019-07-24 | 2019-11-15 | 哈尔滨工业大学 | 基于信息测度的高光谱图像分类方法 |
| CN112699756A (zh) * | 2020-12-24 | 2021-04-23 | 中国农业科学院农业信息研究所 | 一种基于高光谱图像的茶叶原产地识别方法和系统 |
| CN113269684A (zh) * | 2021-04-25 | 2021-08-17 | 中南大学 | 基于单张rgb图像和非监督学习的高光谱图像复原方法 |
-
2022
- 2022-06-28 CN CN202210752986.2A patent/CN115131317B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105046673A (zh) * | 2015-07-13 | 2015-11-11 | 哈尔滨工业大学 | 基于自学习的高光谱图像和可见光图像融合分类方法 |
| CN110458208A (zh) * | 2019-07-24 | 2019-11-15 | 哈尔滨工业大学 | 基于信息测度的高光谱图像分类方法 |
| CN112699756A (zh) * | 2020-12-24 | 2021-04-23 | 中国农业科学院农业信息研究所 | 一种基于高光谱图像的茶叶原产地识别方法和系统 |
| CN113269684A (zh) * | 2021-04-25 | 2021-08-17 | 中南大学 | 基于单张rgb图像和非监督学习的高光谱图像复原方法 |
Non-Patent Citations (2)
| Title |
|---|
| 黄双萍 等: "基于高光谱成像的水稻穗瘟病害程度分级方法", 农业工程学报, no. 01 * |
| 黄双萍 等: "基于高光谱成像的水稻穗瘟病害程度分级方法", 农业工程学报, no. 01, 8 January 2015 (2015-01-08) * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116503858A (zh) * | 2023-05-06 | 2023-07-28 | 华东师范大学 | 一种基于生成模型的免疫荧光图像分类方法及系统 |
| CN116503858B (zh) * | 2023-05-06 | 2024-01-23 | 华东师范大学 | 一种基于生成模型的免疫荧光图像分类方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115131317B (zh) | 2024-03-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111667489B (zh) | 基于双分支注意力深度学习的癌症高光谱图像分割方法及系统 | |
| dos Santos Ferreira et al. | Convolutional neural network and texture descriptor-based automatic detection and diagnosis of glaucoma | |
| Akshai et al. | Plant disease classification using deep learning | |
| CN110647875B (zh) | 一种血细胞分割、识别模型构造的方法及血细胞识别方法 | |
| CN113034505B (zh) | 一种基于边缘感知网络的腺体细胞图像分割方法及装置 | |
| CN108319977B (zh) | 基于通道信息多模态网络的宫颈活检区域识别方法及装置 | |
| CN116188436B (zh) | 基于局部特征和全局特征融合的膀胱镜图像分类方法 | |
| US20220237789A1 (en) | Weakly supervised multi-task learning for cell detection and segmentation | |
| CN114782760B (zh) | 一种基于多任务学习的胃部疾病图片分类系统 | |
| CN113450305B (zh) | 医疗图像的处理方法、系统、设备及可读存储介质 | |
| CN115131317B (zh) | 一种基于双模态图像的胃癌癌前病变分析系统及方法 | |
| CN112446298A (zh) | 一种小麦赤霉病的高光谱无损检测方法 | |
| CN115049666A (zh) | 基于彩色小波协方差深度图模型的内镜虚拟活检装置 | |
| Hossain et al. | Tissue artifact segmentation and severity assessment for automatic analysis using wsi | |
| CN114399465A (zh) | 良恶性溃疡识别方法及系统 | |
| Rai et al. | Classification of diseased cotton leaves and plants using improved deep convolutional neural network | |
| Kanwal et al. | Detection and localization of melanoma skin cancer in histopathological whole slide images | |
| Dong et al. | Supervised learning-based retinal vascular segmentation by m-unet full convolutional neural network | |
| Alom et al. | Species classification of brassica napus based on flowers, leaves, and packets using deep neural networks | |
| Liu et al. | Using hyperspectral imaging automatic classification of gastric cancer grading with a shallow residual network | |
| CN111476312B (zh) | 一种基于卷积神经网络的病变图像的分类方法 | |
| CN115457061A (zh) | 一种基于选择性多分支空洞卷积的腺体细胞图像分割方法 | |
| CN113222061B (zh) | 一种基于双路小样本学习的mri图像分类方法 | |
| CN116612333B (zh) | 一种基于快速全卷积网络的医学高光谱影像分类方法 | |
| Lopez-Tiro et al. | Improving automatic endoscopic stone recognition using a multi-view fusion approach enhanced with two-step transfer learning |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |