CN112837275B - 胶囊内窥镜图像器官分类方法、装置、设备及存储介质 - Google Patents

胶囊内窥镜图像器官分类方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN112837275B
CN112837275B CN202110050015.9A CN202110050015A CN112837275B CN 112837275 B CN112837275 B CN 112837275B CN 202110050015 A CN202110050015 A CN 202110050015A CN 112837275 B CN112837275 B CN 112837275B
Authority
CN
China
Prior art keywords
image
capsule
sequence number
organ
classification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110050015.9A
Other languages
English (en)
Other versions
CN112837275A (zh
Inventor
李丽娜
索宝军
李念峰
宋志强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changchun University
Original Assignee
Changchun University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changchun University filed Critical Changchun University
Priority to CN202110050015.9A priority Critical patent/CN112837275B/zh
Publication of CN112837275A publication Critical patent/CN112837275A/zh
Application granted granted Critical
Publication of CN112837275B publication Critical patent/CN112837275B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30028—Colon; Small intestine
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30092—Stomach; Gastric

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Public Health (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Biology (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Quality & Reliability (AREA)
  • Databases & Information Systems (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Endoscopes (AREA)

Abstract

本申请公开了一种胶囊内窥镜图像器官分类方法、装置、设备及存储介质，该方法包括：对胶囊内窥镜图像样本进行图像增强，产生胶囊图像数据集；针对胶囊图像数据集，选择并修改预训练模型；对修改后的预训练模型进行迁移学习训练，得到胶囊图像器官分类模型；通过胶囊图像器官分类模型，对待分类器官图像进行器官的初始分类；结合待分类器官图像的时序特性，采用基于路标的方法对初始分类结果进行更正。本申请提供的上述方法是基于深度卷积神经网络的胶囊内窥镜图像识别，主要包括图像增强、迁移学习、器官分类和分类更正这四部分，来实现胶囊内窥镜图像器官的自动化分类，能够帮助医生快速定位器官，效率高，计算成本低，准确率高。

Description

胶囊内窥镜图像器官分类方法、装置、设备及存储介质
技术领域
本发明涉及图像识别领域，特别是涉及一种胶囊内窥镜图像器官分类方法、装置、设备及存储介质。
背景技术
无线胶囊内窥镜是胃肠道疾病的一线诊断工具。由于胶囊内窥镜图像数量庞大，胶囊内镜医师检查工作是一项艰巨任务。
消化道器官一般包括食道、胃、小肠和大肠。但是由于消化道器官自身特征的相似性、胶囊内窥镜图像样本的数量少和差异性等原因，很难提供高性能的胶囊图像器官分类，导致胶囊内镜医师很难快速定位相应的器官。
因此，如何以低计算成本满足胶囊内窥镜图像器官分类需求，是本领域技术人员亟待解决的技术问题。
发明内容
有鉴于此，本发明的目的在于提供一种胶囊内窥镜图像器官分类方法、装置、设备及存储介质，可以实现胶囊内窥镜图像器官的自动化分类，帮助医生快速定位器官，计算成本低。其具体方案如下：
一种胶囊内窥镜图像器官分类方法，包括：
对胶囊内窥镜图像样本进行图像增强，产生胶囊图像数据集；
针对所述胶囊图像数据集，选择并修改预训练模型；
对修改后的所述预训练模型进行迁移学习训练，得到胶囊图像器官分类模型；
通过所述胶囊图像器官分类模型，对待分类器官图像进行器官的初始分类；
结合所述待分类器官图像的时序特性，采用基于路标的方法对初始分类结果进行更正。
优选地，在本发明实施例提供的上述胶囊内窥镜图像器官分类方法中，对胶囊内窥镜图像样本进行图像增强，具体包括：
确定对胶囊内窥镜图像样本的图像变换方式；
根据确定的所述图像变换方式，确定不同的图像变换组合；
根据确定的所述图像变换组合，对所述胶囊内窥镜图像样本进行图像增强。
优选地，在本发明实施例提供的上述胶囊内窥镜图像器官分类方法中，针对所述胶囊图像数据集，选择并修改预训练模型，具体包括：
针对所述胶囊图像数据集，选择Inception-V3、ResNet152和Efficient B0作为预训练模型，并对所述预训练模型进行结构修改。
优选地，在本发明实施例提供的上述胶囊内窥镜图像器官分类方法中，对修改后的所述预训练模型进行迁移学习训练，具体包括：
对修改后的所述预训练模型的训练参数进行相应的设置；
采用ImageNet数据集的权重作为原始权重，使用所述胶囊图像数据集重新训练除分类输出层以外的所有层权重。
优选地，在本发明实施例提供的上述胶囊内窥镜图像器官分类方法中，结合所述待分类器官图像的时序特性，采用基于路标的方法对初始分类结果进行更正，具体包括：
使用所述待分类器官图像对应的胶囊视频流上的路标信息，结合已有器官分类混淆矩阵数据分布特点，对初始分类结果进行更正。
优选地，在本发明实施例提供的上述胶囊内窥镜图像器官分类方法中，对初始分类结果进行更正，具体包括：
将所有矩阵初始化为0，所有待调整图像序号集合和调整后图像序号集合设置为空值，并将器官之间的调节量比率设置为50％；
根据胶囊视频流上的路标信息和原始图像序号集合，计算图像调整量矩阵和所述待调整图像序号集合；
计算每个数据集所有模型混淆矩阵中邻近器官混淆量的比例，并保存到相应的比例矩阵；
获取相邻器官的混淆量的比例的最大值，并保存到最大值矩阵；
将获取的所述比例的最大值与对应的阈值进行比较后，重新计算相邻器官之间的调节量比率；
根据重新计算得到的所述调节量比率，重新计算所述图像调整量矩阵，并修改所述待调整图像序号集合；
在修改后的所述待调整图像序号集合中搜索所述原始图像序号集合中对应的序号，找到后从所述原始图像序号集合中删除所述序号并添加到所述调整后图像序号集合中，并将所述调整后序号集合中的所述序号添加到所述原始图像序号集合中。
本发明实施例还提供了一种胶囊内窥镜图像器官分类装置，包括：
图像增强模块，用于对胶囊内窥镜图像样本进行图像增强，产生胶囊图像数据集；
模型生成模块，用于针对所述胶囊图像数据集，选择并修改预训练模型；
迁移学习模块，用于对修改后的所述预训练模型进行迁移学习训练，得到胶囊图像器官分类模型；
器官分类模块，用于通过所述胶囊图像器官分类模型，对待分类器官图像进行器官的初始分类；
分类更正模块，用于结合所述待分类器官图像的时序特性，采用基于路标的方法对初始分类结果进行更正。
本发明实施例还提供了一种胶囊内窥镜图像器官分类设备，包括处理器和存储器，其中，所述处理器执行所述存储器中保存的计算机程序时实现如本发明实施例提供的上述胶囊内窥镜图像器官分类方法。
本发明实施例还提供了一种计算机可读存储介质，用于存储计算机程序，其中，所述计算机程序被处理器执行时实现如本发明实施例提供的上述胶囊内窥镜图像器官分类方法。
从上述技术方案可以看出，本发明所提供的一种胶囊内窥镜图像器官分类方法，包括：对胶囊内窥镜图像样本进行图像增强，产生胶囊图像数据集；针对胶囊图像数据集，选择并修改预训练模型；对修改后的预训练模型进行迁移学习训练，得到胶囊图像器官分类模型；通过胶囊图像器官分类模型，对待分类器官图像进行器官的初始分类；结合待分类器官图像的时序特性，采用基于路标的方法对初始分类结果进行更正。
本发明提供的上述方法是基于深度卷积神经网络的胶囊内窥镜图像识别，主要包括图像增强、迁移学习、器官分类和分类更正这四部分，来实现胶囊内窥镜图像器官的自动化分类，能够帮助医生快速定位器官，提高疾病诊断的效率和准确性，降低计算成本。此外，本发明还针对胶囊内窥镜图像器官分类方法提供了相应的装置、设备及计算机可读存储介质，进一步使得上述方法更具有实用性，该装置、设备及计算机可读存储介质具有相应的优点。
附图说明
为了更清楚地说明本发明实施例或相关技术中的技术方案，下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本发明实施例提供的胶囊内窥镜图像器官分类方法的流程图；
图2为本发明实施例提供的胶囊内窥镜图像器官分类装置的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明提供一种胶囊内窥镜图像器官分类方法，如图1所示，包括以下步骤：
S101、对胶囊内窥镜图像样本进行图像增强，产生胶囊图像数据集；
需要说明的是，在图像增强技术中，是通过多种图像变换来增加图像的数量和多样性。然而，不同的图像变换方式产生不同的扩展胶囊图像数据集，进而影响深度卷积神经网络的训练结果。因此，有必要研究适应于不同深度卷积神经网络的图像增强方式，提高模型训练的性能。
S102、针对胶囊图像数据集，选择并修改预训练模型；
可以理解的是，由于消化道器官自身特征的相似性、胶囊内窥镜图像样本的数量少和差异性等原因，采用不同的深度卷积神经网络将导致胶囊图像器官分类的效果存在差异。因此，有必要选择合适的深度卷积神经网络，并根据需要修改模型的结构，从而减少模型的过拟合现象，提高模型的性能和通用性。
S103、对修改后的预训练模型进行迁移学习训练，得到胶囊图像器官分类模型；
需要说明的是，在迁移学习技术中，是通过把已训练好的模型(即预训练模型)参数迁移到新的模型来提高新模型训练效率。不同的微调方式和训练参数设置，对图像识别性能具有较大的影响。因此，选择合适的微调方式和设置合理的训练参数是至关重要的。在对预训练模型进行迁移学习训练的过程中，可以对不同预训练模型的训练参数进行相应的设置，使其适应于四种胶囊器官(食道、胃、小肠、大肠)分类。
S104、通过胶囊图像器官分类模型，对待分类器官图像进行器官的初始分类；
需要说明的是，待分类器官图像的文件名中包含与时间相关的序号。
S105、结合待分类器官图像的时序特性，采用基于路标的方法对初始分类结果进行更正；
需要说明的是，在胶囊内窥镜视频中，胶囊内窥镜图像之间具有时序关联性，一旦胶囊内窥镜图像按照时间顺序标好，图像的序列号就会从食道、胃、小肠到大肠逐渐增加。因此，可以根据图像序列号之间的关系进一步调整初始的分类图像，即对基于深度卷积神经网络的器官初始分类结果进行修正，从而提高器官分类的性能。
在本发明实施例提供的上述胶囊内窥镜图像器官分类方法中，首先对胶囊内窥镜图像样本进行图像增强，产生胶囊图像数据集；然后针对胶囊图像数据集，选择并修改预训练模型；之后对修改后的预训练模型进行迁移学习训练，得到胶囊图像器官分类模型；再通过胶囊图像器官分类模型，对待分类器官图像进行器官的初始分类；最后结合待分类器官图像的时序特性，采用基于路标的方法对初始分类结果进行更正。该方法基于深度卷积神经网络的胶囊内窥镜图像识别，主要包括图像增强、迁移学习、器官分类和分类更正这四部分，来实现胶囊内窥镜图像器官的自动化分类，能够帮助医生快速定位器官，提高效率和准确性，降低计算成本。
在具体实施时，在本发明实施例提供的上述胶囊内窥镜图像器官分类方法中，步骤S101对胶囊内窥镜图像样本进行图像增强，具体可以包括：确定对胶囊内窥镜图像样本的图像变换方式；根据确定的图像变换方式，确定不同的图像变换组合；根据确定的图像变换组合，对胶囊内窥镜图像样本进行图像增强。
在实际应用中，首先，基于图像增强的已有应用，选择常用的六种图像变换方式，包括：旋转、平移、横切变换、缩放、翻转、亮度增强；然后，基于胶囊内窥镜图像的特点，选择可能有利于胶囊内窥镜图像识别的变换组合方式，包括：旋转、旋转-亮度增强、旋转-平移、旋转-缩放、旋转-翻转-亮度增强、所有变换等；最后，对于不同的预训练模型，根据测试集上的器官分类结果，选择性能最好的变换组合作为训练集的图像增强方式。
在具体实施时，在本发明实施例提供的上述胶囊内窥镜图像器官分类方法中，步骤S102针对胶囊图像数据集，选择和修改预训练模型，具体可以包括：针对所述胶囊图像数据集，选择三种典型深度卷积神经网络：Inception-V3、ResNet152和Efficient B0作为预训练模型，并对所述预训练模型进行结构修改。
需要注意的是，修改结构的方式可以为Inception-V3，添加三层，即GlobalAveragePooling层，具有50％概率不更新权重的dropout层和具有softmax激活函数的四分类输出层；ResNet152，添加三层，除了Flatten层，其他两层同Inception-V3的后两层，即dropout层和输出层；EfficientNet B0，添加两层，同Inception-V3的后两层，即dropout层和输出层。
在具体实施时，在本发明实施例提供的上述胶囊内窥镜图像器官分类方法中，步骤S103对修改后的预训练模型进行迁移学习训练，具体可以包括：对修改后的预训练模型的训练参数进行相应的设置，如学习率＝0.001，训练次数＝100，批量大小＝10；采用ImageNet数据集的权重作为原始权重，使用胶囊图像数据集重新训练除分类输出层以外的所有层权重。每个模型的参数数量分别可以为：21,776,54(Inception-V3)、58,303,428(ResNet152)、4,012,672(EfficientNet B0)。
进一步地，在具体实施时，在本发明实施例提供的上述胶囊内窥镜图像器官分类方法中，步骤S105结合所述待分类器官图像的时序特性，采用基于路标的方法对初始分类结果进行更正，具体可以包括：使用待分类器官图像对应的胶囊视频流上的路标信息，结合已有器官分类混淆矩阵数据分布特点，对器官分类结果进行修正。
在具体实施时，在本发明实施例提供的上述胶囊内窥镜图像器官分类方法中，上述步骤中对器官分类的初始结果进行修正，具体可以包括以下步骤：
步骤一、将所有矩阵初始化为0，所有待调整图像序号集合Ψij和调整后图像序号集合Φk设置为空值，并将器官之间的调节量比率Tij设置为50％；该步骤可简称为初始化算法数据结构；
步骤二、根据胶囊视频流上的路标信息和原始图像序号集合Θi，计算图像调整量矩阵Nij和待调整图像序号集合Ψij；该步骤可简称为计算原始图像调整信息；
步骤三、计算每个数据集所有模型混淆矩阵中邻近器官混淆量的比例，并保存到相应的比例矩阵该步骤可简称为计算混淆矩阵信息；
步骤四、获取相邻器官的混淆量的比例的最大值，并保存到最大值矩阵该步骤可简称为计算相邻器官混淆信息；
步骤五、将获取的比例的最大值与对应的阈值进行比较后，重新计算相邻器官之间的调节量比率Tij；该步骤可简称为根据混淆信息确定调整比率；
步骤六、根据重新计算得到的调节量比率Tij，重新计算图像调整量矩阵Nij，并修改待调整图像序号集合Ψij；该步骤可简称为重新计算图像调整信息；
步骤七、在修改后的待调整图像序号集合Ψij中搜索原始图像序号集合Θi中对应的序号，找到后从原始图像序号集合Θi中删除该序号并添加到调整后序号集合Φk中，并将该集合中的序号添加到相应的原始图像序号集合Θk中；该步骤可简称为调整器官分类结果。
基于同一发明构思，本发明实施例还提供了一种胶囊内窥镜图像器官分类装置，由于该装置解决问题的原理与前述一种窥镜图像器官分类方法相似，因此该装置的实施可以参见胶囊内窥镜图像器官分类方法的实施，重复之处不再赘述。
在具体实施时，本发明实施例提供的胶囊内窥镜图像器官分类装置，如图2所示，具体包括：
图像增强模块21，用于对胶囊内窥镜图像样本进行图像增强，产生胶囊图像数据集；
模型生成模块22，用于针对胶囊图像数据集，选择并修改预训练模型；
迁移学习模块23，用于对修改后的预训练模型进行迁移学习训练，得到胶囊图像器官分类模型；
器官分类模块24，用于通过胶囊图像器官分类模型，对待分类器官图像进行器官的初始分类；
分类更正模块25，用于结合所述待分类器官图像的时序特性，采用基于路标的方法对初始分类结果进行更正。
在本发明实施例提供的上述胶囊内窥镜图像器官分类装置中，可以通过上述五个模块的相互作用，实现胶囊内窥镜图像器官的自动化分类，进而能够帮助医生快速定位器官，提高疾病诊断的效率和准确性，降低计算成本。
关于上述各个模块更加具体的工作过程可以参考前述实施例公开的相应内容，在此不再进行赘述。
相应地，本发明实施例还公开了一种胶囊内窥镜图像器官分类设备，包括处理器和存储器；其中，处理器执行存储器中保存的计算机程序时实现前述实施例公开的胶囊内窥镜图像器官分类方法。
关于上述方法更加具体的过程可以参考前述实施例中公开的相应内容，在此不再进行赘述。
进一步地，本发明还公开了一种计算机可读存储介质，用于存储计算机程序；计算机程序被处理器执行时实现前述公开的胶囊内窥镜图像器官分类方法。
关于上述方法更加具体的过程可以参考前述实施例中公开的相应内容，在此不再进行赘述。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置、设备、存储介质而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
本发明实施例提供的一种胶囊内窥镜图像器官分类方法，包括：对胶囊内窥镜图像样本进行图像增强，产生胶囊图像数据集；针对胶囊图像数据集，选择并修改预训练模型；对修改后的预训练模型进行迁移学习训练，得到胶囊图像器官分类模型；通过胶囊图像器官分类模型，对待分类器官图像进行器官的初始分类；结合待分类器官图像的时序特性，采用基于路标的方法对初始分类结果进行更正。上述方法是基于深度卷积神经网络的胶囊内窥镜图像识别，主要包括图像增强、迁移学习、器官分类和分类更正这四部分，来实现胶囊内窥镜图像器官的自动化分类，能够帮助医生快速定位器官，提高疾病诊断的效率和准确性，降低计算成本。此外，本发明还针对胶囊内窥镜图像器官分类方法提供了相应的装置、设备及计算机可读存储介质，进一步使得上述方法更具有实用性，该装置、设备及计算机可读存储介质具有相应的优点。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上对本发明所提供的胶囊内窥镜图像器官分类方法、装置、设备及存储介质进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (7)

1.一种胶囊内窥镜图像器官分类方法，其特征在于，包括：
对胶囊内窥镜图像样本进行图像增强，产生胶囊图像数据集；
针对所述胶囊图像数据集，选择并修改预训练模型；
对修改后的所述预训练模型进行迁移学习训练，得到胶囊图像器官分类模型；
通过所述胶囊图像器官分类模型，对待分类器官图像进行器官的初始分类；
使用所述待分类器官图像对应的胶囊视频流上的路标信息，结合已有器官分类混淆矩阵数据分布特点，对初始分类结果进行更正；所述对初始分类结果进行更正，具体包括：将所有矩阵初始化为0，所有待调整图像序号集合和调整后图像序号集合设置为空值，并将器官之间的调节量比率设置为50％；根据胶囊视频流上的路标信息和原始图像序号集合，计算图像调整量矩阵和所述待调整图像序号集合；计算每个数据集所有模型混淆矩阵中邻近器官混淆量的比例，并保存到相应的比例矩阵；获取相邻器官的混淆量的比例的最大值，并保存到最大值矩阵；将获取的所述比例的最大值与对应的阈值进行比较后，重新计算相邻器官之间的调节量比率；根据重新计算得到的所述调节量比率，重新计算所述图像调整量矩阵，并修改所述待调整图像序号集合；在修改后的所述待调整图像序号集合中搜索所述原始图像序号集合中对应的序号，找到后从所述原始图像序号集合中删除所述序号并添加到所述调整后图像序号集合中，并将所述调整后序号集合中的所述序号添加到所述原始图像序号集合中。
2.根据权利要求1所述的胶囊内窥镜图像器官分类方法，其特征在于，对胶囊内窥镜图像样本进行图像增强，具体包括：
确定对胶囊内窥镜图像样本的图像变换方式；
根据确定的所述图像变换方式，确定不同的图像变换组合；
根据确定的所述图像变换组合，对所述胶囊内窥镜图像样本进行图像增强。
3.根据权利要求1所述的胶囊内窥镜图像器官分类方法，其特征在于，针对所述胶囊图像数据集，选择并修改预训练模型，具体包括：
针对所述胶囊图像数据集，选择Inception-V3、ResNet152和Efficient B0作为预训练模型，并对所述预训练模型进行结构修改。
4.根据权利要求1所述的胶囊内窥镜图像器官分类方法，其特征在于，对修改后的所述预训练模型进行迁移学习训练，具体包括：
对修改后的所述预训练模型的训练参数进行相应的设置；
采用ImageNet数据集的权重作为原始权重，使用所述胶囊图像数据集重新训练除分类输出层以外的所有层权重。
5.一种胶囊内窥镜图像器官分类装置，其特征在于，包括：
图像增强模块，用于对胶囊内窥镜图像样本进行图像增强，产生胶囊图像数据集；
模型生成模块，用于针对所述胶囊图像数据集，选择并修改预训练模型；
迁移学习模块，用于对修改后的所述预训练模型进行迁移学习训练，得到胶囊图像器官分类模型；
器官分类模块，用于通过所述胶囊图像器官分类模型，对待分类器官图像进行器官的初始分类；
分类更正模块，用于使用所述待分类器官图像对应的胶囊视频流上的路标信息，结合已有器官分类混淆矩阵数据分布特点，对初始分类结果进行更正；所述对初始分类结果进行更正，具体包括：将所有矩阵初始化为0，所有待调整图像序号集合和调整后图像序号集合设置为空值，并将器官之间的调节量比率设置为50％；根据胶囊视频流上的路标信息和原始图像序号集合，计算图像调整量矩阵和所述待调整图像序号集合；计算每个数据集所有模型混淆矩阵中邻近器官混淆量的比例，并保存到相应的比例矩阵；获取相邻器官的混淆量的比例的最大值，并保存到最大值矩阵；将获取的所述比例的最大值与对应的阈值进行比较后，重新计算相邻器官之间的调节量比率；根据重新计算得到的所述调节量比率，重新计算所述图像调整量矩阵，并修改所述待调整图像序号集合；在修改后的所述待调整图像序号集合中搜索所述原始图像序号集合中对应的序号，找到后从所述原始图像序号集合中删除所述序号并添加到所述调整后图像序号集合中，并将所述调整后序号集合中的所述序号添加到所述原始图像序号集合中。
6.一种胶囊内窥镜图像器官分类设备，其特征在于，包括处理器和存储器，其中，所述处理器执行所述存储器中保存的计算机程序时实现如权利要求1至4任一项所述的胶囊内窥镜图像器官分类方法。
7.一种计算机可读存储介质，其特征在于，用于存储计算机程序，其中，所述计算机程序被处理器执行时实现如权利要求1至4任一项所述的胶囊内窥镜图像器官分类方法。
CN202110050015.9A 2021-01-14 2021-01-14 胶囊内窥镜图像器官分类方法、装置、设备及存储介质 Active CN112837275B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110050015.9A CN112837275B (zh) 2021-01-14 2021-01-14 胶囊内窥镜图像器官分类方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110050015.9A CN112837275B (zh) 2021-01-14 2021-01-14 胶囊内窥镜图像器官分类方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN112837275A CN112837275A (zh) 2021-05-25
CN112837275B true CN112837275B (zh) 2023-10-24

Family

ID=75928193

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110050015.9A Active CN112837275B (zh) 2021-01-14 2021-01-14 胶囊内窥镜图像器官分类方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN112837275B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114332025B (zh) * 2021-12-29 2022-07-26 长沙慧维智能医疗科技有限公司 消化内镜口咽通过时间自动检测系统及方法

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106934799A (zh) * 2017-02-24 2017-07-07 安翰光电技术（武汉）有限公司 胶囊内窥镜图像辅助阅片系统及方法
CN107239802A (zh) * 2017-06-28 2017-10-10 广东工业大学 一种图像分类方法及装置
CN108852268A (zh) * 2018-04-23 2018-11-23 浙江大学 一种消化内镜图像异常特征实时标记系统及方法
CN109064443A (zh) * 2018-06-22 2018-12-21 哈尔滨工业大学 一种基于腹部超声图像的多模型器官分割方法及系统
CN109376802A (zh) * 2018-12-12 2019-02-22 浙江工业大学 一种基于字典学习的胃镜器官分类方法
CN109376636A (zh) * 2018-10-15 2019-02-22 电子科技大学 基于胶囊网络的眼底视网膜图像分类方法
CN109635871A (zh) * 2018-12-12 2019-04-16 浙江工业大学 一种基于多特征融合的胶囊内窥镜图像分类方法
CN110367913A (zh) * 2019-07-29 2019-10-25 杭州电子科技大学 无线胶囊内窥镜图像幽门和回盲瓣定位方法
CN110634125A (zh) * 2019-01-14 2019-12-31 广州爱孕记信息科技有限公司 基于深度学习的胎儿超声图像识别方法及系统
CN111275107A (zh) * 2020-01-20 2020-06-12 西安奥卡云数据科技有限公司 一种基于迁移学习的多标签场景图像分类方法及装置
CN111340094A (zh) * 2020-02-21 2020-06-26 湘潭大学 基于深度学习的胶囊内窥镜图像辅助分类系统和分类方法
CN111612133A (zh) * 2020-05-20 2020-09-01 广州华见智能科技有限公司 基于人脸图像多阶段关系学习的内脏器官特征编码方法
CN111723679A (zh) * 2020-05-27 2020-09-29 上海五零盛同信息科技有限公司 基于深度迁移学习的人脸和声纹认证系统及方法
CN111986196A (zh) * 2020-09-08 2020-11-24 贵州工程应用技术学院 一种消化道胶囊内镜滞留自动监测方法及系统

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007077672A1 (ja) * 2005-12-28 2007-07-12 Olympus Medical Systems Corp. 画像処理装置および当該画像処理装置における画像処理方法
US10607112B2 (en) * 2017-03-21 2020-03-31 Case Western Reserve University Predicting biochemical recurrence in pre-treatment prostate magnetic resonance imaging (MRI) with field effect induced organ distension (FORGE)

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106934799A (zh) * 2017-02-24 2017-07-07 安翰光电技术（武汉）有限公司 胶囊内窥镜图像辅助阅片系统及方法
CN107239802A (zh) * 2017-06-28 2017-10-10 广东工业大学 一种图像分类方法及装置
CN108852268A (zh) * 2018-04-23 2018-11-23 浙江大学 一种消化内镜图像异常特征实时标记系统及方法
CN109064443A (zh) * 2018-06-22 2018-12-21 哈尔滨工业大学 一种基于腹部超声图像的多模型器官分割方法及系统
CN109376636A (zh) * 2018-10-15 2019-02-22 电子科技大学 基于胶囊网络的眼底视网膜图像分类方法
CN109635871A (zh) * 2018-12-12 2019-04-16 浙江工业大学 一种基于多特征融合的胶囊内窥镜图像分类方法
CN109376802A (zh) * 2018-12-12 2019-02-22 浙江工业大学 一种基于字典学习的胃镜器官分类方法
CN110634125A (zh) * 2019-01-14 2019-12-31 广州爱孕记信息科技有限公司 基于深度学习的胎儿超声图像识别方法及系统
CN110367913A (zh) * 2019-07-29 2019-10-25 杭州电子科技大学 无线胶囊内窥镜图像幽门和回盲瓣定位方法
CN111275107A (zh) * 2020-01-20 2020-06-12 西安奥卡云数据科技有限公司 一种基于迁移学习的多标签场景图像分类方法及装置
CN111340094A (zh) * 2020-02-21 2020-06-26 湘潭大学 基于深度学习的胶囊内窥镜图像辅助分类系统和分类方法
CN111612133A (zh) * 2020-05-20 2020-09-01 广州华见智能科技有限公司 基于人脸图像多阶段关系学习的内脏器官特征编码方法
CN111723679A (zh) * 2020-05-27 2020-09-29 上海五零盛同信息科技有限公司 基于深度迁移学习的人脸和声纹认证系统及方法
CN111986196A (zh) * 2020-09-08 2020-11-24 贵州工程应用技术学院 一种消化道胶囊内镜滞留自动监测方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Image-based localization of the active wireless capsule endoscope inside the stomach;M. Aghanouri等;《2017 IEEE EMBS International Conference on Biomedical & Health Informatics (BHI)》;第13-16页 *
无监督学习的无线胶囊内诊镜视频分类方法;冯文刚等;《中国图象图形学报》;第2041-2046页 *

Also Published As

Publication number Publication date
CN112837275A (zh) 2021-05-25

Similar Documents

Publication Publication Date Title
WO2020215557A1 (zh) 医学影像解释方法、装置、计算机设备及存储介质
CN109191476B (zh) 基于U-net网络结构的生物医学图像自动分割新方法
EP3876190B1 (en) Endoscopic image processing method and system and computer device
CN110889853B (zh) 基于残差-注意力深度神经网络的肿瘤分割方法
CN110930416B (zh) 一种基于u型网络的mri图像前列腺分割方法
CN109685819B (zh) 一种基于特征增强的三维医学图像分割方法
CN110517256B (zh) 一种基于人工智能的早期癌辅助诊断系统
CN112102266B (zh) 基于注意力机制的脑梗死医学影像分类模型的训练方法
CN110503626B (zh) 基于空间-语义显著性约束的ct图像模态对齐方法
CN113205523A (zh) 多尺度表征优化的医学影像分割识别系统、终端及存储介质
CN110245683B (zh) 一种少样本目标识别的残差关系网络构建方法及应用
CN110543916B (zh) 一种缺失多视图数据的分类方法及系统
Aleem et al. Random data augmentation based enhancement: a generalized enhancement approach for medical datasets
CN112950631B (zh) 基于显著图约束和x光头颅定位侧位图像的年龄估计方法
CN112837275B (zh) 胶囊内窥镜图像器官分类方法、装置、设备及存储介质
WO2022178997A1 (zh) 医学影像配准方法、装置、计算机设备及存储介质
CN114049935A (zh) 一种基于多卷积神经网络的her2图像分类系统
CN114743037A (zh) 一种基于多尺度结构学习的深度医学图像聚类方法
CN111127487B (zh) 一种实时多组织医学图像的分割方法
CN115294086A (zh) 医学影像分割方法、分割模型训练方法、介质及电子设备
CN116797938A (zh) 一种基于对比学习预训练的sar舰船分类方法
WO2023014789A1 (en) System and method for pathology image analysis using a trained neural network and active learning framework
CN113470085B (zh) 一种基于改进的ransac的图像配准方法
CN113486930B (zh) 基于改进RetinaNet的小肠淋巴瘤分割模型建立、分割方法及装置
CN115481256A (zh) 基于卷积四元数的逆向关系旋转嵌入知识表示方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant