CN114399465B - 良恶性溃疡识别方法及系统 - Google Patents
良恶性溃疡识别方法及系统 Download PDFInfo
- Publication number
- CN114399465B CN114399465B CN202111495766.8A CN202111495766A CN114399465B CN 114399465 B CN114399465 B CN 114399465B CN 202111495766 A CN202111495766 A CN 202111495766A CN 114399465 B CN114399465 B CN 114399465B
- Authority
- CN
- China
- Prior art keywords
- picture
- sample data
- representation
- encoder
- small
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000003211 malignant effect Effects 0.000 title claims abstract description 57
- 208000025865 Ulcer Diseases 0.000 title claims abstract description 51
- 231100000397 ulcer Toxicity 0.000 title claims abstract description 50
- 238000000034 method Methods 0.000 title claims abstract description 35
- 238000012549 training Methods 0.000 claims abstract description 41
- 238000002372 labelling Methods 0.000 claims abstract description 14
- 230000004927 fusion Effects 0.000 claims abstract description 12
- 238000000605 extraction Methods 0.000 claims description 8
- 238000005457 optimization Methods 0.000 claims description 4
- 238000007781 pre-processing Methods 0.000 claims description 3
- 208000007107 Stomach Ulcer Diseases 0.000 description 15
- 238000013473 artificial intelligence Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 9
- 201000005917 gastric ulcer Diseases 0.000 description 8
- 238000004590 computer program Methods 0.000 description 7
- 208000005718 Stomach Neoplasms Diseases 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 206010017758 gastric cancer Diseases 0.000 description 6
- 201000011549 stomach cancer Diseases 0.000 description 6
- 238000002575 gastroscopy Methods 0.000 description 5
- 210000002784 stomach Anatomy 0.000 description 5
- 238000012360 testing method Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- QTBSBXVTEAMEQO-UHFFFAOYSA-N Acetic acid Chemical compound CC(O)=O QTBSBXVTEAMEQO-UHFFFAOYSA-N 0.000 description 3
- 238000013145 classification model Methods 0.000 description 3
- 238000004043 dyeing Methods 0.000 description 3
- 230000035945 sensitivity Effects 0.000 description 3
- 238000003860 storage Methods 0.000 description 3
- 238000012795 verification Methods 0.000 description 3
- 230000002159 abnormal effect Effects 0.000 description 2
- 230000003321 amplification Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 230000007717 exclusion Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000003199 nucleic acid amplification method Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 208000008469 Peptic Ulcer Diseases 0.000 description 1
- 206010039897 Sedation Diseases 0.000 description 1
- 238000001574 biopsy Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 239000006260 foam Substances 0.000 description 1
- 235000013305 food Nutrition 0.000 description 1
- 230000002496 gastric effect Effects 0.000 description 1
- KHLVKKOJDHCJMG-QDBORUFSSA-L indigo carmine Chemical compound [Na+].[Na+].N/1C2=CC=C(S([O-])(=O)=O)C=C2C(=O)C\1=C1/NC2=CC=C(S(=O)(=O)[O-])C=C2C1=O KHLVKKOJDHCJMG-QDBORUFSSA-L 0.000 description 1
- 229960003988 indigo carmine Drugs 0.000 description 1
- 235000012738 indigotine Nutrition 0.000 description 1
- 239000004179 indigotine Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000000873 masking effect Effects 0.000 description 1
- 201000011591 microinvasive gastric cancer Diseases 0.000 description 1
- 210000004877 mucosa Anatomy 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000007170 pathology Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 230000036280 sedation Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 230000004083 survival effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30092—Stomach; Gastric
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
- Investigating Or Analysing Biological Materials (AREA)
Abstract
本发明涉及一种良恶性溃疡识别方法，包括获取样本数据，每个样本数据包括多个图片，其中样本数据包括无标注的样本数据和有标注的样本数据；利用无标注的样本数据对编码器进行编码预训练，获得预训练后的图片表示编码器；将有标注的样本数据输入至所述图片表示编码器，输出每个图片的特征表示；将每个图片的特征表示进行特征融合，获得图片的特征终极表示；基于图片的特征终极表示进行类别预测。本发明采用编码器对无标注的样本数据进行预训练，然后使用有标注的样本数据进行分类预测，在可以获得更加全面的图片表示的同时显著减少数据标注的工作量，大大提高图片识别的精确度和效率。
Description
技术领域
本发明涉及图像分类技术领域，尤其是指一种良恶性溃疡识别方法及系统。
背景技术
胃溃疡是常见的消化性溃疡，其分为良性胃溃疡和恶性胃溃疡。恶性胃溃疡是胃癌的一种，在过去的40-50年中胃癌的发病率和死亡率虽然有显著下降，但其在中国的发病率和死亡率仍然非常高，占全球新发病例的42.6％和死亡病例的45.0％。早期发现恶性胃溃疡可以极大提升患者生存率并减少医疗费用。胃镜检查是早期发现恶性胃溃疡的重要手段。根据胃镜图片判断患者是否具有胃良、恶溃疡疾病，通常需要医生具有较长的胃镜操作经验。基于人工智能技术的胃良、恶溃疡胃图片分类方法可以辅助医生做出更准确的判断，并且可以减低医生漏掉可疑的早期胃癌的概率。
在人工智能领域，基于单图片分类方法通常被用于胃图片是否良、恶溃疡疾病的判断。这种人工智能方法是使用计算机视觉和机器学习算法从单个图像中提取含义的过程。目前最为广泛的人工智能方法是将该问题建模为输入一张图像并输出一个标签的问题。在胃良、恶溃疡疾病分类方面，标签为胃良性溃疡和胃恶性溃疡。
现有技术分为以下几个步骤：(1)专业人员标注大量带有胃良、恶性溃疡标签的图片，每个图片作为一个样本，获得多个带有标注样本的标注语料；(2)基于深度学习网络(一般是多层卷积神经网络)训练标注语料，获得分类模型；(3)使用分类模型对某个未知标签的图片进行测试，获得该图片的胃良、恶性溃疡标签。测试过程中，每次输入分类模型的是单张图片。由于胃良、恶溃疡疾病在某些图片上面表现类似，通过单张图片很难做出准确判断。因此，现有的基于单张图片的分类技术的识别率不够高，并且标注工作量较大，从而导致了效率低、精度低等问题。
发明内容
为此，本发明所要解决的技术问题在于克服现有技术存在的问题，提出一种良恶性溃疡识别方法及系统，其采用编码器对无标注的样本数据进行预训练，然后使用有标注的样本数据进行分类预测，在可以获得更加全面的图片表示的同时显著减少数据标注的工作量，大大提高图片识别的精确度和效率。
为解决上述技术问题，本发明提供了一种良恶性溃疡识别方法，包括以下步骤：
S1：获取样本数据，每个样本数据包括多个图片，其中所述样本数据包括无标注的样本数据和有标注的样本数据；
S2：利用所述无标注的样本数据对编码器进行编码预训练，获得预训练后的图片表示编码器；
S3：将所述有标注的样本数据输入至所述图片表示编码器，输出每个图片的特征表示；
S4：将每个图片的特征表示进行特征融合，获得图片的特征终极表示；
S5：基于所述图片的特征终极表示进行类别预测。
在本发明的一个实施例中，在S1中，所述有标注的样本数据为在所述样本数据中选择部分数据做标注的结果。
在本发明的一个实施例中，在S2中，利用所述无标注的样本数据对编码器进行编码预训练的方法包括：
将无标注的样本数据中的每个图片切分为若干小区域；
对每个小区域进行随机遮蔽处理，并将所有图片中的小区域进行拼接，得到序列；
将每个小区域的像素值加上其嵌入在所述序列中的位置和图片输入至编码器，获得每个小区域的特征中间表示；
将多个图片的所有小区域的特征中间表示输入至解码器，预测对应被遮蔽的小区域的像素值，以还原被遮蔽的图像信息；
将属于同一图片的小区域进行组合，得到完整的图片。
在本发明的一个实施例中，在S2中，将图片的小区域进行拼接包括对未遮蔽小区域和已遮蔽小区域的拼接。
在本发明的一个实施例中，在S2中，所述编码器为多源遮蔽自编码器。
在本发明的一个实施例中，在S3中，在将所述有标注的样本数据输入至所述图片表示编码器之前，将有标注的样本数据中的所有图片切分为若干小区域，并将所有图片中的小区域进行拼接得到序列。
此外，本发明还提供一种良恶性溃疡识别系统，包括：
数据获取模块，所述数据获取模块用于获取样本数据，每个样本数据包括多个图片，其中所述样本数据包括无标注的样本数据和有标注的样本数据；
编码预训练模块，所述编码预训练模块用于利用所述无标注的样本数据对编码器进行自动编码预训练，获得预训练后的图片表示编码器；
特征提取模块，所述特征提取模块用于将所述有标注的样本数据输入至所述图片表示编码器，输出每个图片的特征表示；
特征融合模块，所述特征融合模块用于将每个图片的特征表示进行特征融合，获得图片的特征终极表示；
分类预测模块，所述分类预测模块用于基于所述图片的特征终极表示进行类别预测。
在本发明的一个实施例中，所述数据获取模块包括：
标注子模块，所述标注子模块用于在所述样本数据中选择部分数据做标注，获得有标注的样本数据。
在本发明的一个实施例中，所述编码预训练模块包括：
预训练子模块，所述预训练子模块用于：
将无标注的样本数据中的每个图片切分为若干小区域；
对每个小区域进行随机遮蔽处理，并将所有图片中的小区域进行拼接，得到序列；
将每个小区域的像素值加上其嵌入在所述序列中的位置和图片输入至编码器，获得每个小区域的特征中间表示；
将多个图片的所有小区域的特征中间表示输入至解码器，预测对应被遮蔽的小区域的像素值，以还原被遮蔽的图像信息；
将属于同一图片的小区域进行组合，得到完整的图片。
在本发明的一个实施例中，所述特征提取模块包括：
预处理子模块，所述预处理子模块用于在将所述有标注的样本数据输入至所述图片表示编码器之前，将有标注的样本数据中的所有图片切分为若干小区域，并将所有图片中的小区域进行拼接得到序列。
本发明的上述技术方案相比现有技术具有以下优点：
1、本发明采用编码器对无标注的样本数据进行预训练，然后使用有标注的样本数据进行分类预测，在可以获得更加全面的图片表示的同时显著减少数据标注的工作量，大大提高图片识别的精确度和效率。
2、本发明可以处理一个病例的多图片输入，从而显著提高识别率。
3、本发明采用双阶段的人工智能模型：预训练和分类训练来完成良恶溃疡识别任务。
附图说明
为了使本发明的内容更容易被清楚的理解，下面根据本发明的具体实施例并结合附图，对本发明作进一步详细的说明。
图1是本发明良恶性溃疡识别方法的流程示意图。
图2是本发明良恶性溃疡识别系统的硬件结构示意图。
其中，附图标记说明如下：10、数据获取模块；20、编码预训练模块；30、特征提取模块；40、特征融合模块；50、分类预测模块。
具体实施方式
下面结合附图和具体实施例对本发明作进一步说明，以使本领域的技术人员可以更好地理解本发明并能予以实施，但所举实施例不作为对本发明的限定。
实施例一
请参阅图1所示，本实施例提供一种良恶性溃疡识别方法，包括以下步骤：
S1：获取样本数据，每个样本数据包括多个图片，其中所述样本数据包括无标注的样本数据和有标注的样本数据；
S2：利用所述无标注的样本数据对编码器进行编码预训练，获得预训练后的图片表示编码器；
S3：将所述有标注的样本数据输入至所述图片表示编码器，输出每个图片的特征表示；
S4：将每个图片的特征表示进行特征融合，获得图片的特征终极表示；
S5：基于所述图片的特征终极表示进行类别预测。
在本发明实施例公开的一种良恶性溃疡识别方法中，每个样本数据包括多个图片组成，其可以处理一个病例的多图片输入，从而显著提高识别率。
在本发明实施例公开的一种良恶性溃疡识别方法中，本发明采用多源遮蔽自编码器进行预训练，可以获得更加全面的图片表示。
在本发明实施例公开的一种良恶性溃疡识别方法中，本发明采用编码器对无标注的样本数据进行预训练，然后使用有标注的样本数据进行分类预测，在可以获得更加全面的图片表示的同时显著减少数据标注的工作量，大大提高图片识别的精确度和效率。
在本发明实施例公开的一种良恶性溃疡识别方法中，在S1中，所述有标注的样本数据为在所述样本数据中选择部分数据做标注的结果，即在所述样本数据中选择部分数据做标注，获得有标注的样本数据。
上述为了进一步减少数据标注的工作量，可以在所述样本数据中选择20-30％的数据做标注，其余样本数据不做标注，无标注的样本数据用于预训练阶段。
在本发明实施例公开的一种良恶性溃疡识别方法中，在S2中，利用所述无标注的样本数据对编码器进行编码预训练的方法包括：
S2.1：将无标注的样本数据中的每个图片切分为若干小区域，优选的，针对一个病例的多源图片(设为m张)集合X＝{X1，X2，…，Xi，…，Xm}，其中每张图片被平均切分为K×h个小区域；
S2.2：对每个小区域进行随机遮蔽处理，每个区域被遮蔽的概率为25％，
其中，Mask表示随机遮蔽函数，η0/1指示区域
是否被遮蔽，等于0(未被遮蔽)或者1(被遮蔽)，
表示第i张图片被切分成k×h个区域的集合。
S2.3：将所有图片中的小区域(包括未遮蔽小区域和已遮蔽小区域)进行拼接，得到序列
S2.4：将每个小区域的像素值加上其嵌入在所述序列中的位置和图片输入至编码器，获得每个小区域的特征中间表示
S2.5：将多个图片的所有小区域的特征中间表示输入至解码器，预测对应被遮蔽的小区域的像素值，以还原被遮蔽的图像信息，
S2.6：将属于同一图片的小区域进行组合，得到完整的图片。
综上所述，以下是我们优化的目标：
其中，
表示训练损失函数，目标是要求尽量小，M(Xi)和U(X)表示第i张图片中被遮蔽的区域和多源图片X中所有未被遮蔽的区域集合，
表示被遮蔽的一个区域，
表示基于U(X)还原被遮蔽区域
的条件概率。
需要说明的是，解码器只在预训练阶段使用，预训练能使编码器提取出的特征更加有效，并捕捉到同一病例的多张图片间的关系，使其在分类训练中表现出更好的性能。
下面介绍分类训练阶段，具体包括：
将有标注的样本数据中的所有图片切分为若干小区域，并将所有图片中的小区域进行拼接得到序列
序列经过预训练学习后的编码器获得像素块特征
编码器输出特征经过特征融合(池化)获得多源图片的特征终极表示：
经过全连接层使用
进行分类：
其中，W和b表示全连接层中的可学习的权重和偏置。p表示分类概率。
综上所述，以下是我们优化的目标：
其中，
表示真实标签和预测结果之间的交叉熵损失，yj表示真实标签中第j个元素，pj表示预测概率中第j个元素，c表示类别数量。
在本发明实施例公开的一种良恶性溃疡识别方法中，本发明采用双阶段的人工智能模型：预训练、分类训练，来完成良恶溃疡识别任务。
在本发明实施例公开的一种良恶性溃疡识别方法中，本发明的良、恶性胃溃疡识别整体准确率、灵敏度、阳性预测值都明显优于经验丰富的内镜医师。具体结果如下：医生的整体准确率为86％，本发明的整体准确率为91％。医生的灵敏度为87％，本发明的灵敏度为90％。医生的阳性预测值为89％，本发明的阳性预测值为93％。
下面提供一个具体的应用实施例对本发明一种良恶性溃疡识别方法进行详细的阐述。
本发明收集了内镜中心胃镜检查(包括无痛胃镜、清醒镇静胃镜及普通胃镜检查)患者的胃镜图片。图片拍摄设备主要为Olympus公司240、260、290系列以及日本Fujinon公司560、580系列内镜。所有图片在白光非放大模式下拍摄，BLI、FICE、NBI等光学染色及靛胭脂、醋酸染色放大等化学染色暂不做研究。纳入标准：诊断为：恶性胃溃疡、良性胃溃疡和正常胃镜粘膜图片(良恶性溃疡的诊断有活检病理结果支撑)。排除标准：①患者小于16岁或者大于95岁；②图片异常模糊、伪影、异常失真等影响观察的图片；③有大量泡沫、粘液湖或者食物等干扰严重的图片。
按照纳入和排除标准，一共纳入未标注病例样本50,000例，标注样本病例3238例。标注样本中，恶性胃溃疡、良性胃溃疡及正常胃的病例数分别为：747例、761例及1730例。通过图像格式转换、图像尺寸缩放、图像增强、图像归一化等一系类的图像操作对所获得的病例图像数据进行处理，以确保人工智能模型对图像的识别。为了保证训练集、验证集及测试集的病例无重复部分，运用随机原则将原始病例按照大致8:1:1的比例分为训练集(正常1380例，良性溃疡614例，胃癌596例)、验证集(正常179例，良性溃疡75例，胃癌70例)和测试集(正常171例，良性溃疡72例，胃癌81例)。通过训练集对人工智能的模型参数进行训练，然后用验证集验证模型的有效性，提高模型的泛化能力，对并行的超参数进行优调后形成最终的人工智能算法模型，最后通过测试集对人工智能算法模型的性能进行评价和考量。
实施例二
下面对本发明实施例二公开的一种良恶性溃疡识别系统进行介绍，下文描述的一种良恶性溃疡识别系统与上文描述的一种良恶性溃疡识别方法可相互对应参照。
请参阅图2所示，本发明实施例二提供了一种良恶性溃疡识别系统，包括：
数据获取模块10，所述数据获取模块10用于获取样本数据，每个样本数据包括多个图片，其中所述样本数据包括无标注的样本数据和有标注的样本数据；
编码预训练模块20，所述编码预训练模块20用于利用所述无标注的样本数据对编码器进行自动编码预训练，获得预训练后的图片表示编码器；
特征提取模块30，所述特征提取模块30用于将所述有标注的样本数据输入至所述图片表示编码器，输出每个图片的特征表示；
特征融合模块40，所述特征融合模块40用于将每个图片的特征表示进行特征融合，获得图片的特征终极表示；
分类预测模块50，所述分类预测模块50用于基于所述图片的特征终极表示进行类别预测。
在本发明实施例公开的一种良恶性溃疡识别系统中，每个样本数据包括多个图片组成，其可以处理一个病例的多图片输入，从而显著提高识别率。
在本发明实施例公开的一种良恶性溃疡识别系统中，本发明采用多源遮蔽自编码器进行预训练，可以获得更加全面的图片表示。
在本发明实施例公开的一种良恶性溃疡识别系统中，本发明采用编码器对无标注的样本数据进行预训练，然后使用有标注的样本数据进行分类预测，在可以获得更加全面的图片表示的同时显著减少数据标注的工作量，大大提高图片识别的精确度和效率。
在本发明实施例公开的一种良恶性溃疡识别系统中，所述数据获取模块10包括：
标注子模块，所述标注子模块用于在所述样本数据中选择部分数据做标注，获得有标注的样本数据。
在本发明实施例公开的一种良恶性溃疡识别系统中，所述编码预训练模块20包括：
预训练子模块，所述预训练子模块用于：
将无标注的样本数据中的每个图片切分为若干小区域；
对每个小区域进行随机遮蔽处理，并将所有图片中的小区域进行拼接，得到序列；
将每个小区域的像素值加上其嵌入在所述序列中的位置和图片输入至编码器，获得每个小区域的特征中间表示；
将多个图片的所有小区域的特征中间表示输入至解码器，预测对应被遮蔽的小区域的像素值，以还原被遮蔽的图像信息；
将属于同一图片的小区域进行组合，得到完整的图片。
在本发明实施例公开的一种良恶性溃疡识别系统中，所述特征提取模块30包括：
预处理子模块，所述预处理子模块用于在将所述有标注的样本数据输入至所述图片表示编码器之前，将有标注的样本数据中的所有图片切分为若干小区域，并将所有图片中的小区域进行拼接得到序列。
本实施例的良恶性溃疡识别系统用于实现前述的良恶性溃疡识别方法，因此该系统的具体实施方式可见前文中的良恶性溃疡识别方法的实施例部分，所以，其具体实施方式可以参照相应的各个部分实施例的描述，在此不再展开介绍。
另外，由于本实施例的良恶性溃疡识别系统用于实现前述的良恶性溃疡识别方法，因此其作用与上述方法的作用相对应，这里不再赘述。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然，上述实施例仅仅是为清楚地说明所作的举例，并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引申出的显而易见的变化或变动仍处于本发明创造的保护范围之中。
Claims (7)
1.一种良恶性溃疡识别方法，其特征在于，包括以下步骤：
S1：获取样本数据，每组样本数据包括一个病例的多个图片，其中所述样本数据包括多组无标注的样本数据和多组有标注的样本数据；
S2：利用所述无标注的样本数据对编码器进行编码预训练，获得预训练后的图片表示编码器，包括：
将无标注的样本数据中的每个图片切分为若干小区域；
对每个小区域进行随机遮蔽处理，并将所有图片中的小区域进行拼接，得到序列，其中将图片的小区域进行拼接包括对未遮蔽小区域和已遮蔽小区域的拼接；
将每个小区域的像素值加上其嵌入在所述序列中的位置和图片输入至编码器，获得每个小区域的特征中间表示；
将多个图片的所有小区域的特征中间表示输入至解码器，预测对应被遮蔽的小区域的像素值，以还原被遮蔽的图像信息；
将属于同一图片的小区域进行组合，得到完整的图片；
其中，优化的目标为：
其中，
表示训练损失函数，目标是要求尽量小，M(Xi)和U(X)表示第i张图片中被遮蔽的区域和多源图片X中所有未被遮蔽的区域集合，
表示被遮蔽的一个区域，
表示基于U(X)还原被遮蔽区域
的条件概率；
S3：将所述有标注的样本数据输入至所述图片表示编码器，输出每个图片的特征表示；
S4：将每个图片的特征表示进行特征融合，获得图片的特征终极表示；
S5：基于所述图片的特征终极表示进行类别预测。
2.根据权利要求1所述的良恶性溃疡识别方法，其特征在于：在S1中，所述有标注的样本数据为在所述样本数据中选择部分数据做标注的结果。
3.根据权利要求1所述的良恶性溃疡识别方法，其特征在于：在S2中，所述编码器为多源遮蔽自编码器。
4.根据权利要求1所述的良恶性溃疡识别方法，其特征在于：在S3中，在将所述有标注的样本数据输入至所述图片表示编码器之前，将有标注的样本数据中的所有图片切分为若干小区域，并将所有图片中的小区域进行拼接得到序列。
5.一种良恶性溃疡识别系统，其特征在于，包括：
数据获取模块，所述数据获取模块用于获取样本数据，每组样本数据包括一个病例的多个图片，其中所述样本数据包括多组无标注的样本数据和多组有标注的样本数据；
编码预训练模块，所述编码预训练模块用于利用所述无标注的样本数据对编码器进行自动编码预训练，获得预训练后的图片表示编码器，所述编码预训练模块包括：
预训练子模块，所述预训练子模块用于：
将无标注的样本数据中的每个图片切分为若干小区域；
对每个小区域进行随机遮蔽处理，并将所有图片中的小区域进行拼接，得到序列，其中将图片的小区域进行拼接包括对未遮蔽小区域和已遮蔽小区域的拼接；
将每个小区域的像素值加上其嵌入在所述序列中的位置和图片输入至编码器，获得每个小区域的特征中间表示；
将多个图片的所有小区域的特征中间表示输入至解码器，预测对应被遮蔽的小区域的像素值，以还原被遮蔽的图像信息；
将属于同一图片的小区域进行组合，得到完整的图片；
其中，优化的目标为：
其中，
表示训练损失函数，目标是要求尽量小，M(Xi)和U(X)表示第i张图片中被遮蔽的区域和多源图片X中所有未被遮蔽的区域集合，
表示被遮蔽的一个区域，
表示基于U(X)还原被遮蔽区域
的条件概率；
S3：将所述有标注的样本数据输入至所述图片表示编码器，输出每个图片的特征表示；
特征提取模块，所述特征提取模块用于将所述有标注的样本数据输入至所述图片表示编码器，输出每个图片的特征表示；
特征融合模块，所述特征融合模块用于将每个图片的特征表示进行特征融合，获得图片的特征终极表示；
分类预测模块，所述分类预测模块用于基于所述图片的特征终极表示进行类别预测。
6.根据权利要求5所述的良恶性溃疡识别系统，其特征在于，所述数据获取模块包括：
标注子模块，所述标注子模块用于在所述样本数据中选择部分数据做标注，获得有标注的样本数据。
7.根据权利要求5所述的良恶性溃疡识别系统，其特征在于，所述特征提取模块包括：
预处理子模块，所述预处理子模块用于在将所述有标注的样本数据输入至所述图片表示编码器之前，将有标注的样本数据中的所有图片切分为若干小区域，并将所有图片中的小区域进行拼接得到序列。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111495766.8A CN114399465B (zh) | 2021-12-08 | 2021-12-08 | 良恶性溃疡识别方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111495766.8A CN114399465B (zh) | 2021-12-08 | 2021-12-08 | 良恶性溃疡识别方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114399465A CN114399465A (zh) | 2022-04-26 |
| CN114399465B true CN114399465B (zh) | 2022-11-25 |
Family
ID=81226336
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111495766.8A Active CN114399465B (zh) | 2021-12-08 | 2021-12-08 | 良恶性溃疡识别方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114399465B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114882978A (zh) * | 2022-07-12 | 2022-08-09 | 紫东信息科技(苏州)有限公司 | 引入图片翻译信息的胃部图像处理方法及系统 |
| CN115115897B (zh) * | 2022-08-26 | 2022-12-09 | 紫东信息科技(苏州)有限公司 | 多模态预训练的胃部肿瘤分类系统 |
| CN116884561B (zh) * | 2023-09-08 | 2023-12-01 | 紫东信息科技(苏州)有限公司 | 基于自监督联合学习的胃部诊断报告生成系统 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020220048A1 (en) * | 2019-04-25 | 2020-10-29 | Beijing Dajia Internet Information Technology Co., Ltd. | Methods and apparatuses for prediction refinement with optical flow |
| CN112712122A (zh) * | 2020-12-31 | 2021-04-27 | 杭州电子科技大学 | 基于神经网络模型的角膜溃疡的分类检测方法及系统 |
| CN113191387A (zh) * | 2021-03-27 | 2021-07-30 | 西北大学 | 结合无监督学习与数据自增强的文物碎片点云分类方法 |
| CN113205820A (zh) * | 2021-04-22 | 2021-08-03 | 武汉大学 | 一种用于声音事件检测的声音编码器的生成方法 |
| CN113314205A (zh) * | 2021-05-28 | 2021-08-27 | 北京航空航天大学 | 一种高效的医学影像标注与学习系统 |
| CN113327595A (zh) * | 2021-06-16 | 2021-08-31 | 北京语言大学 | 发音偏误检测方法、装置及存储介质 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108108768B (zh) * | 2017-12-29 | 2020-09-25 | 清华大学 | 基于卷积神经网络的光伏玻璃缺陷分类方法及装置 |
| US11783198B2 (en) * | 2020-04-03 | 2023-10-10 | Baidu Usa Llc | Estimating the implicit likelihoods of generative adversarial networks |
| CN113139581B (zh) * | 2021-03-23 | 2023-09-01 | 广东省科学院智能制造研究所 | 一种基于多图融合的图像分类方法和系统 |
| CN112966774B (zh) * | 2021-03-24 | 2024-05-31 | 黑龙江机智通智能科技有限公司 | 一种基于图片Bert的组织病理图片分类方法 |
| CN113743384B (zh) * | 2021-11-05 | 2022-04-05 | 广州思德医疗科技有限公司 | 一种胃部图片识别方法及装置 |
-
2021
- 2021-12-08 CN CN202111495766.8A patent/CN114399465B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020220048A1 (en) * | 2019-04-25 | 2020-10-29 | Beijing Dajia Internet Information Technology Co., Ltd. | Methods and apparatuses for prediction refinement with optical flow |
| CN112712122A (zh) * | 2020-12-31 | 2021-04-27 | 杭州电子科技大学 | 基于神经网络模型的角膜溃疡的分类检测方法及系统 |
| CN113191387A (zh) * | 2021-03-27 | 2021-07-30 | 西北大学 | 结合无监督学习与数据自增强的文物碎片点云分类方法 |
| CN113205820A (zh) * | 2021-04-22 | 2021-08-03 | 武汉大学 | 一种用于声音事件检测的声音编码器的生成方法 |
| CN113314205A (zh) * | 2021-05-28 | 2021-08-27 | 北京航空航天大学 | 一种高效的医学影像标注与学习系统 |
| CN113327595A (zh) * | 2021-06-16 | 2021-08-31 | 北京语言大学 | 发音偏误检测方法、装置及存储介质 |
Non-Patent Citations (4)
| Title |
|---|
| A Survey on Self-supervised Pre-training for Sequential Transfer Learning in Neural Networks;Huanru Henry Mao;《ARXIV》;20200701;全文 * |
| Masked Autoencoders Are Scalable Vision Learners;Kaiming He 等;《ARXIV》;20211111;第1-5页、图1 * |
| 吴川北.基于卷积自编码神经网络的肺结节检测.《知网硕士电子期刊出版信息》.2018, * |
| 基于卷积自编码神经网络的肺结节检测;吴川北;《知网硕士电子期刊出版信息》;20180715;第16-30页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114399465A (zh) | 2022-04-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114399465B (zh) | 良恶性溃疡识别方法及系统 | |
| CN110909780B (zh) | 一种图像识别模型训练和图像识别方法、装置及系统 | |
| CN109886273B (zh) | 一种cmr图像分割分类系统 | |
| Pogorelov et al. | Deep learning and hand-crafted feature based approaches for polyp detection in medical videos | |
| CN110689025B (zh) | 图像识别方法、装置、系统及内窥镜图像识别方法、装置 | |
| CN113496489B (zh) | 内窥镜图像分类模型的训练方法、图像分类方法和装置 | |
| CN114782760B (zh) | 一种基于多任务学习的胃部疾病图片分类系统 | |
| CN115082747B (zh) | 基于组块对抗的零样本胃溃疡分类系统 | |
| Souaidi et al. | A new automated polyp detection network MP-FSSD in WCE and colonoscopy images based fusion single shot multibox detector and transfer learning | |
| CN113781489B (zh) | 一种息肉影像语义分割方法及装置 | |
| CN114882978A (zh) | 引入图片翻译信息的胃部图像处理方法及系统 | |
| CN115115897B (zh) | 多模态预训练的胃部肿瘤分类系统 | |
| CN112651375A (zh) | 基于深度学习模型的幽门螺杆菌胃部图像识别分类系统 | |
| You et al. | Vocal cord leukoplakia classification using deep learning models in white light and narrow band imaging endoscopy images | |
| CN118154969A (zh) | 基于深度学习和特征融合的胆管癌内镜影像分类方法及系统 | |
| CN113313177A (zh) | 消化道内窥镜图片多标签分类系统 | |
| Tsevas et al. | Automatic frame reduction of wireless capsule endoscopy video | |
| CN115171889B (zh) | 一种小样本胃部肿瘤诊断系统 | |
| CN117012370A (zh) | 多模态疾病辅助推理系统、方法、终端及存储介质 | |
| You et al. | Laryngeal leukoplakia classification via dense multiscale feature extraction in white light endoscopy images | |
| CN116758042A (zh) | 一种基于形变Transformer的肠化生严重程度分级系统 | |
| CN113689430B (zh) | 肠镜检查状态监测的图像处理方法与装置 | |
| CN115249302A (zh) | 基于多尺度上下文信息与注意力机制的肠壁血管分割方法 | |
| Adewole et al. | Lesion2Vec: Deep meta learning for few-shot lesion recognition in capsule endoscopy video | |
| Mahanty et al. | SRGAN Assisted Encoder-Decoder Deep Neural Network for Colorectal Polyp Semantic Segmentation. |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |