CN111798408B - 一种内窥镜干扰图像检测与分级系统及方法 - Google Patents

一种内窥镜干扰图像检测与分级系统及方法 Download PDF

Info

Publication number
CN111798408B
CN111798408B CN202010416826.1A CN202010416826A CN111798408B CN 111798408 B CN111798408 B CN 111798408B CN 202010416826 A CN202010416826 A CN 202010416826A CN 111798408 B CN111798408 B CN 111798408B
Authority
CN
China
Prior art keywords
interference
network model
detection
unit
output
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010416826.1A
Other languages
English (en)
Other versions
CN111798408A (zh
Inventor
陈洪瀚
陈浜
赵一天
岳星宇
刘江
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ningbo Institute of Material Technology and Engineering of CAS
Cixi Institute of Biomedical Engineering CNITECH of CAS
Original Assignee
Ningbo Institute of Material Technology and Engineering of CAS
Cixi Institute of Biomedical Engineering CNITECH of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ningbo Institute of Material Technology and Engineering of CAS, Cixi Institute of Biomedical Engineering CNITECH of CAS filed Critical Ningbo Institute of Material Technology and Engineering of CAS
Priority to CN202010416826.1A priority Critical patent/CN111798408B/zh
Publication of CN111798408A publication Critical patent/CN111798408A/zh
Application granted granted Critical
Publication of CN111798408B publication Critical patent/CN111798408B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02ATECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Abstract

本发明提供一种内窥镜干扰图像检测与分级系统及方法,属于图像处理技术领域。该内窥镜干扰图像检测与分级系统包括检测分级网络模型、训练模块、检测分级模块。本发明中的训练模块训练检测分级网络模型,选取精度最高的网络模型作为预设网络模型,提高后续检测的精度,检测分级模块将采集的消化道图片输入至预设网络模型中,预设网络模型对消化道图片进行处理并输出图片中的干扰内容类别和干扰内容的分割信息,检测分级模块根据干扰内容的分割信息获取粘膜所占面积并根据粘膜所占面积进行分级,检测出不同类型的干扰图像,计算出粘膜面积,并根据粘膜面积对图像的重要性进行分级,方便医护人员根据粘膜判断人体消化道的疾病状况。

Description

一种内窥镜干扰图像检测与分级系统及方法
技术领域
本发明属于图像处理技术领域,涉及一种内窥镜干扰图像检测与分级系统及方法。
背景技术
内窥镜是一种检查人体消化道的摄像装置。医生通过观察内窥镜拍摄的视频或图像判断人体消化道的疾病状况。由于内窥镜图像存在大量干扰内容如非消化道图像、食物残渣、肠腔、气泡等,这些内容遮挡消化道黏膜或占据图像大部分面积,给医生审阅图像造成困难。因此,需要采用计算机自动检测干扰图像并根据干扰程度进行去除,提高医生诊断工作效率。内窥镜采集到的消化道图片数量巨大,自动识别出不同干扰内容,并通过剩余粘膜的面积进行重要性分级,可以为医生阅片的诊断起到积极作用。目前窥镜拍干扰图像主要是通过医务人员人工确认观察,增加医务人员负担,降低诊断效率;一些图像分类识别方法能够识别干扰内容但无法识别粘膜所占面积,一些图像的分割方法能够识别出粘膜面积但需要人工标注大量分割标签。综上所述,如何提供一种内窥镜干扰图像检测与分级方案,是目前本领域技术人员亟待解决的问题。
中国专利CN 106934799A公开了一种胶囊内窥镜图像辅助阅片系统,它的数据获取模块用于获取检查者的胶囊内窥镜图像数据;图像位置分类模块用于利用第一卷积神经网络CNN模型将胶囊内窥镜图像按拍摄部位的不同进行分类,得到不同拍摄部位的图像序列;图像序列描述模块用于利用第二卷积神经网络CNN模型对不同拍摄部位的图像序列进行图像特征提取得到不同消化道部位图像序列的特征矢量序列;图像序列描述模块还用于利用递归神经网络RNN模型将特征矢量序列中的图像特征转化为描述性文字,从而形成辅助诊断报告。本发明可以减少医生观看消化道图像的工作量,提高医生的诊断效率。上述专利中没有识别内窥镜图像中的干扰内容,从而影响识别内窥镜图像中的粘膜,影响对疾病的诊断。
发明内容
本发明针对现有的技术存在的上述问题,提供一种内窥镜干扰图像检测与分级系统及方法,本发明所要解决的技术问题是:如何提供一种内窥镜干扰图像检测与分级系统及方法。
本发明的目的可通过下列技术方案来实现:
一种内窥镜干扰图像检测与分级系统,包括检测分级网络模型、用以训练检测分级网络模型以获取预设网络模型的训练模块、检测分级模块,所述预设网络模型在检测分级模块将消化道图片输入至其中后对消化道图片处理输出干扰内容类别和干扰内容的分割信息,所述检测分级模块根据干扰内容的分割信息获取粘膜所占面积并根据粘膜所占面积进行分级。
优选的,还包括用以获取数据训练集和验证集的获取模块,所述训练集包括无干扰训练图片、干扰训练图片、干扰训练图片中的干扰训练内容标记、干扰训练图片中的训练粘膜面积标记,所述验证集包括干扰验证图片、干扰验证图片中的干扰验证内容标记、干扰验证图片中的验证粘膜面积标记;还包括训练模块,所述训练模块将训练集输入检测分级网络模型以获取实时训练网络模型,所述训练模块选取验证集测试实时训练网络模型的识别精度,所述训练模块在检测分级网络更换网络参数时重复训练检测分级网络模型和测试实时训练网络模型的识别精度并选取实时训练网络模型中识别精度最高的网络模型作为预设网络模型。
优选的,所述检测分级网络模型包括基本卷积神经网络单元、用于将基本卷积神经网络单元的特征输出映射到不同类别输出的变换卷积层单元、用以将变换卷积层单元的输出进行排序的排序池化层单元、用以将排序池化层单元输出的C个值作为类别输出值的类别输出单元。
优选的,所述基本卷积神经网络单元由预训练好的卷积神经网络中去除最后的全连接层构成,所述基本卷积神经网络通过全连接层前的多通道2维卷积输出提取图片特征,所述变换卷积层单元由多个1x1的卷积构成,所述变换卷积层单元的卷积的数量为识别类别数C的M倍,其中识别类别数为干扰内容类别+1,M为2~16整数,所述排序池化层单元由多个1x1的卷积构成,所述排序池化层单元的池化的数量为识别类别数,对于每个池化类别排序池化层单元将M个变换卷积输出进行排序并分别取比例为k的最大响应区域和最小响应区域进行平均合并作为池化输出,其中k的比例值范围可以是0.1~0.4,排序池化平均合并值为C个。
优选的,所述训练模块包括用以选取不同的卷积神经网络的基本神经网络选择单元,所述基本神经网络选择单元选择VGG、ResNet、InceptionNet卷积网络其中的一个作为基本卷积神经网络单元中的卷积神经网络。
优选的,所述检测分级模块包括用以判断干扰图像或者粘膜图像类别的分类输出单元,所述分类输出单元以类别输出单元输出向量为判断依据在其中某个或多个元素大于0时确定图像属于该元素对应的类别。
优选的,所述检测分级模块包括分级输出单元,所述分级输出单元根据分类输出单元输出的分类输出向量获取变换卷积层单元对应的卷积输出矩阵,所述分级输出单元将卷积输出矩阵归一化到0~255的整数并将尺寸通过图像插值缩放的方法变换到与输入图像一致的尺寸,所述分级输出单元根据阈值将缩放后矩阵进行二值化获取干扰类别和粘膜在图像中所占的区域,所述分级输出单元根据粘膜所占面积划分为多个等级。
优选的,所述训练模块包括用以对检测分级网络模型进行计算网格损失的损失函数单元,所述损失函数单元通过公式对卷积神经网络进行优化计算,其中对于每一张图像,x为网络预测得到的标签值,y为针对图像标注的标签值,C表示识别类别数。
优选的,所述训练模块包括用以采用随机梯度下降法对检测分级网络模型进行网络优化计算的优化函数单元。
一种内窥镜干扰图像检测与分级方法,其特征在于,包括如下步骤:
S1:建立检测分级网络模型;
S2:获取训练集和验证集;
S3:训练模块通过训练集训练检测分级网络模型和通过验证集测试训练后的检测分级网络模型提高网络模型的精度以获取预设网络模型;
S4:检测分级模块将消化道图片输入至预设网络模型,预设网络模型对消化道图片处理输出干扰内容和干扰内容的分割信息;
S5:检测分级模块根据干扰内容的分割信息获取粘膜所占面积并根据粘膜所占面积进行分级。
本发明中的有益效果:1、训练模块训练检测分级网络模型,选取精度最高的网络模型作为预设网络模型,从而提高后续检测的精度,检测分级模块将采集的消化道图片输入至预设网络模型中,预设网络模型对消化道图片进行处理并输出图片中的干扰内容类别和干扰内容的分割信息,检测分级模块根据干扰内容的分割信息获取粘膜所占面积并根据粘膜所占面积进行分级,从而检测出不同类型的干扰图像,计算出粘膜面积,并根据粘膜面积对图像的重要性进行分级,方便医护人员快速地根据粘膜判断人体消化道的疾病状况;
2、基本卷积神经网络通过全连接层前的多通道2维卷积输出提取图片特征,变换卷积层将基本卷积神经网络单元的特征输出映射到不同类别输出,排序池化层单元将变换卷积层单元的输出进行排序,类别输出单元将排序池化层单元输出的C个值作为类别输出值,从而实现检测分级网络模型输出干扰内容类别和干扰内容的分割信息,效率较高,精度较高;
3、分类输出单元通过以类别输出单元输出向量为判断依据在其中某个或多个元素大于0时确定图像属于该元素对应的类别,从而判断出干扰图像或者粘膜图像类别,分级输出单元根据分类输出单元输出的分类输出向量获取变换卷积层单元对应的卷积输出矩阵,然后分级输出单元将卷积输出矩阵归一化到0~255的整数并将尺寸通过图像插值缩放的方法变换到与输入图像一致的尺寸,接着分级输出单元根据阈值将缩放后矩阵进行二值化获取干扰类别和粘膜在图像中所占的区域,分级输出单元根据粘膜在图像中所占的区域计算粘膜所占面积并根据粘膜所占面积划分为多个等级,提高检测粘膜的精度,效率较高;
4、训练模块选择基本神经网络选择单元的卷积神经网络,损失函数单元对检测分级网络模型进行计算网格损失,在网格损失不在损失阀值内时调节网络模型的参数以使网格损失在损失阀值内,优化函数单元采用随机梯度下降阀对检测分级网络模型进行网络优化计算,提高网络模型的优化率,进而提高检测的精度;
5、首先建立检测分级网络模型,然后获取数据训练集和验证集,训练模块通过训练集训练检测分级网络模型和通过验证集测试训练后的检测分级网络模型提高网络模型的精度以获取预设网络模型,从而提高网络模型后续检测的精度,检测分级模块将消化道图片输入至预设网络模型,预设网络模型对消化道图片处理输出干扰内容和干扰内容的分割信息,检测分级模块根据干扰内容的分割信息获取粘膜所占面积并根据粘膜所占面积进行分级,可以识别干扰内容和干扰内容类别,进一步识别出粘膜内容和粘膜类别,并且可以根据粘膜所占区域计算粘膜面积,进而根据粘膜面积给粘膜进行分级,方便医护工作者根据粘膜的级别从高到低的顺序查看粘膜,提高诊断效率。
附图说明
图1时本发明中的内窥镜干扰图像检测与分级系统的结构示意图;
图2是本发明中的训练集或者验证集中的气泡干扰图像样本,标注类别为气泡和粘膜,粘膜所占面积大于20%小于80%,分级为2;
图3是发明中的训练集或者验证集中的肠液干扰图像样本,标注类别为肠液,粘膜所占面积小于20%,分级为1;
图4为本发明中的训练集或验证集中的粘膜图像样本,标注类别为粘膜,粘膜所占面积大于80%,分级为3;
图5为本发明中的干扰图像分类检测和分级的输入图像样本,该图像干扰内容为肠腔,且有50%的粘膜面积;
图6为本发明中的图5经过网络模型在变换卷积层的输出矩阵缩放后得到的灰度图;
图7为本发明中的图6经过二值化后得到的二值图像,该图像中肠腔的内容被分割为白色部分,约占50%面积,剩余粘膜约占50%面积,可以判定输入图像分级为2;
图8是本发明中的内窥镜干扰图像检测与分级方法的流程示意图;
图9是本发明中的检测分级网络模型示意图。
图中:1-检测分级网络模型,2-训练模块,3-检测分级模块,4-获取模块。
具体实施方式
以下是本发明的具体实施例并结合附图,对本发明的技术方案作进一步的描述,但本发明并不限于这些实施例。
请参阅图1-7、图9,本实施例中的内窥镜干扰图像检测与分级系统,包括检测分级网络模型1、用以训练检测分级网络模型1以获取预设网络模型的训练模块2、检测分级模块3,预设网络模型在检测分级模块3将消化道图片输入至其中后对消化道图片处理输出干扰内容类别和干扰内容的分割信息,检测分级模块3根据干扰内容的分割信息获取粘膜所占面积并根据粘膜所占面积进行分级。
此处,训练模块2训练检测分级网络模型1,选取精度最高的网络模型作为预设网络模型,从而提高后续检测的精度,检测分级模块3将采集的消化道图片输入至预设网络模型中,预设网络模型对消化道图片进行处理并输出图片中的干扰内容类别和干扰内容的分割信息,检测分级模块3根据干扰内容的分割信息获取粘膜所占面积并根据粘膜所占面积进行分级,从而检测出不同类型的干扰图像,计算出粘膜面积,并根据粘膜面积对图像的重要性进行分级,方便医护人员快速地根据粘膜判断人体消化道的疾病状况。
作为本实施例中的内窥镜干扰图像检测与分级系统还可以包括用以获取数据训练集和验证集的获取模块4,训练集包括无干扰训练图片、干扰训练图片、干扰训练图片中的干扰训练内容标记、干扰训练图片中的训练粘膜面积标记,验证集包括干扰验证图片、干扰验证图片中的干扰验证内容标记、干扰验证图片中的验证粘膜面积标记;还包括训练模块2,训练模块2将训练集输入检测分级网络模型1以获取实时训练网络模型,训练模块2选取验证集测试实时训练网络模型的识别精度,训练模块2在检测分级网络更换网络参数时重复训练检测分级网络模型1和测试实时训练网络模型的识别精度并选取实时训练网络模型中识别精度最高的网络模型作为预设网络模型。训练模块2将带有干扰内容的干扰训练图片和没有干扰内容的无干扰训练图片分别输入检测分级网络模型1中,根据干扰训练图片中的干扰训练内容标记、干扰训练图片中的训练粘膜面积标记调整网络模型的参数形成实时训练网络模型,然后通过训练模块2选取验证集测试实时训练网络模型的识别精度,接着根据实时训练网络模型的识别精度与预定的识别精度之差调节基本卷积神经网络的网络参数,重复多次训练、验证,直至实时训练网络模型的识别精度在预定的识别精度范围之内,并且选取识别精度最高的实时训练网络模型作为预设网络模型,从而提高网络模型的精度,进而提高后续检测消化道图片的精度。
检测分级网络模型1可以包括基本卷积神经网络单元、用于将基本卷积神经网络单元的特征输出映射到不同类别输出的变换卷积层单元、用以将变换卷积层单元的输出进行排序的排序池化层单元、用以将排序池化层单元输出的C个值作为类别输出值的类别输出单元。 检测分级网络模型1在训练阶段接受内窥镜各类干扰图片、无干扰图片、以及所述图片对应的类别标签输入,通过计算优化网络模型的参数,在检测分级阶段,对输入内窥镜图片输出不同干扰类别标签,同时输出干扰和粘膜内容的分割信息。
基本卷积神经网络单元可以由预训练好的卷积神经网络中去除最后的全连接层构成,基本卷积神经网络通过全连接层前的多通道2维卷积输出提取图片特征,变换卷积层单元由多个1x1的卷积构成,变换卷积层单元的卷积的数量为识别类别数C的M倍,变换卷积层单元的卷积的数量为CxM,其中识别类别数为干扰内容类别+1,M为2~16整数,M可以为8,排序池化层单元由多个1x1的卷积构成,排序池化层单元的池化的数量为识别类别数,排序池化层单元紧跟变换卷积层单元,对于每个池化类别排序池化层单元将M个变换卷积输出进行排序并分别取比例为k的最大响应区域和最小响应区域进行平均合并作为池化输出,其中k的比例值范围可以是0.1~0.4,排序池化平均合并值为C个。基本卷积神经网络通过全连接层前的多通道2维卷积输出提取图片特征,变换卷积层将基本卷积神经网络单元的特征输出映射到不同类别输出,排序池化层单元将变换卷积层单元的输出进行排序,类别输出单元将排序池化层单元输出的C个值作为类别输出值,从而实现检测分级网络模型1输出干扰内容类别和干扰内容的分割信息,效率较高,精度较高。变换卷积层单元输出CxM个HxW的特征矩阵数据,排序池化层单元将变换卷积层单元输出的CxM个中每个特征图矩阵数据进行排序,针对HxW的特征矩阵数据,选取比例为k的排序最大值和排序最小值,并对这些值求平均值作为模型输出,其中k的范围可以为0.1~0.4。
训练模块2包括用以选取不同的卷积神经网络的基本神经网络选择单元,基本神经网络选择单元选择VGG、ResNet、InceptionNet卷积网络其中的一个作为基本卷积神经网络单元中的卷积神经网络。
检测分级模块3包括用以判断干扰图像或者粘膜图像类别的分类输出单元,分类输出单元以类别输出单元输出向量为判断依据在其中某个或多个元素大于0时确定图像属于该元素对应的类别。
检测分级模块3包括分级输出单元,分级输出单元根据分类输出单元输出的分类输出向量获取变换卷积层单元对应的卷积输出矩阵,分级输出单元将卷积输出矩阵归一化到0~255的整数并将尺寸通过图像插值缩放的方法变换到与输入图像一致的尺寸,分级输出单元根据阈值将缩放后矩阵进行二值化获取干扰类别和粘膜在图像中所占的区域,分级输出单元根据粘膜所占面积划分为多个等级。
分类输出单元通过以类别输出单元输出向量为判断依据在其中某个或多个元素大于0时确定图像属于该元素对应的类别,从而判断出干扰图像或者粘膜图像类别,分级输出单元根据分类输出单元输出的分类输出向量获取变换卷积层单元对应的卷积输出矩阵,然后分级输出单元将卷积输出矩阵归一化到0~255的整数并将尺寸通过图像插值缩放的方法变换到与输入图像一致的尺寸,接着分级输出单元根据阈值将缩放后矩阵进行二值化获取干扰类别和粘膜在图像中所占的区域,分级输出单元根据粘膜在图像中所占的区域计算粘膜所占面积并根据粘膜所占面积划分为多个等级,提高检测粘膜的精度,效率较高。输出的干扰图像分类信息为模型输出向量经过阈值过滤得到,阈值为0,模型输出的向量元素如果大于0,则该元素对应的类别存在,如果小于0则该类别不存在。输出的干扰图像分级信息为级别分类,干扰图像级别分类可分为2~5级别,干扰图像级别可以设为3个级别,当粘膜图像所占面积小于20%为1级,粘膜图像所占面积大于20%小于80%为2级,粘膜图像所占面积大于80%为3级,根据类别输出信息,将干扰图像检测分级网络中的对应的变换卷积层的输出矩阵作为特征图,将该特征图的元素值归一化到0~255的整数,并通过图像插值的方法把尺寸变换的与输入图像一致,对该图像做二值化,可以采用OTSU二值化方法,最后对粘膜区域像素进行计算,得到所占图像面积的比例,从而得到该图像的分级。
训练模块2包括用以对检测分级网络模型1进行计算网格损失的损失函数单元,损失函数单元通过公式对卷积神经网络进行优化计算,其中对于每一张图像,x为网络预测得到的标签值,y为针对图像标注的标签值,C表示识别类别数。
训练模块2包括用以采用随机梯度下降法对检测分级网络模型1进行网络优化计算的优化函数单元。训练模块2选择基本神经网络选择单元的卷积神经网络,损失函数单元对检测分级网络模型1进行计算网格损失,在网格损失不在损失阀值内时调节网络模型的参数以使网格损失在损失阀值内,优化函数单元采用随机梯度下降阀对检测分级网络模型1进行网络优化计算,提高网络模型的优化率,进而提高检测的精度。
请参阅图2-9,一种内窥镜干扰图像检测与分级方法,包括如下步骤:
S1:建立检测分级网络模型1;
S2:获取训练集和验证集;
S3:训练模块2通过训练集训练检测分级网络模型1和通过验证集测试训练后的检测分级网络模型1提高网络模型的精度以获取预设网络模型;
S4:检测分级模块3将消化道图片输入至预设网络模型,预设网络模型对消化道图片处理输出干扰内容和干扰内容的分割信息;
S5:检测分级模块3根据干扰内容的分割信息获取粘膜所占面积并根据粘膜所占面积进行分级。
首先建立检测分级网络模型1,然后获取数据训练集和验证集,训练模块2通过训练集训练检测分级网络模型1和通过验证集测试训练后的检测分级网络模型1提高网络模型的精度以获取预设网络模型,从而提高网络模型后续检测的精度,检测分级模块3将消化道图片输入至预设网络模型,预设网络模型对消化道图片处理输出干扰内容和干扰内容的分割信息,检测分级模块3根据干扰内容的分割信息获取粘膜所占面积并根据粘膜所占面积进行分级,可以识别干扰内容和干扰内容类别,进一步识别出粘膜内容和粘膜类别,并且可以根据粘膜所占区域计算粘膜面积,进而根据粘膜面积给粘膜进行分级,方便医护工作者根据粘膜的级别从高到低的顺序查看粘膜,提高诊断效率。
训练集用于检测分级网络模型1的训练,验证集用于训练后的网络模型的精度验证,筛选精度最高的模型,训练集和验证集包含的图片和标记信息可以通过医务人员对内窥镜图片进行手工标记得到的,标记的干扰图像可以包括但不限于体外图像、肠液图像、气泡图像、胆汁图像、食物残渣图像、肠腔图像等,对不同干扰图像类别采用不同的标号进行标注,同时也对无干扰的粘膜图像进行标注,标记原则为可以依据单张图片信息进行人眼辨识解剖位置,训练集与验证集中包含的图片不同,由此能够提高训练出的深度网络模型的识别精度。
从图2至图4中可以看出粘膜面积越大,则分级越高,则粘膜越清晰,方便医护人员查看。从图5至图7中可以看出含有干扰内容、粘膜面积为50%的图像样本输入本系统中,最终可以得到干扰内容分割为白色、粘膜面积占比为50%,可以高精度地从消化道图片中获取粘膜,方便医护人员查看,提高诊断疫病的效率和精度。
本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代,但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

Claims (7)

1.一种内窥镜干扰图像检测与分级系统,其特征在于:包括检测分级网络模型(1)、用以训练检测分级网络模型(1)以获取预设网络模型的训练模块(2)、检测分级模块(3),所述预设网络模型在检测分级模块(3)将消化道图片输入至其中后对消化道图片处理输出干扰内容类别和干扰内容的分割信息,所述检测分级模块(3)根据干扰内容的分割信息获取粘膜所占面积并根据粘膜所占面积进行分级;所述检测分级网络模型(1)包括基本卷积神经网络单元、用于将基本卷积神经网络单元的特征输出映射到不同类别输出的变换卷积层单元、用以将变换卷积层单元的输出进行排序的排序池化层单元、用以将排序池化层单元输出的C个值作为类别输出值的类别输出单元;所述基本卷积神经网络单元由预训练好的卷积神经网络中去除最后的全连接层构成,所述基本卷积神经网络通过全连接层前的多通道2维卷积输出提取图片特征,所述变换卷积层单元由多个1x1的卷积构成,所述变换卷积层单元的卷积的数量为识别类别数C的M倍,其中识别类别数为干扰内容类别+1,M为2~16整数,所述排序池化层单元由多个1x1的卷积构成,所述排序池化层单元的池化的数量为识别类别数,对于每个池化类别排序池化层单元将M个变换卷积输出进行排序并分别取比例为k的最大响应区域和最小响应区域进行平均合并作为池化输出,其中k的比例值范围可以是0.1~0.4,排序池化平均合并值为C个;所述检测分级模块(3)包括分级输出单元,所述分级输出单元根据分类输出单元输出的分类输出向量获取变换卷积层单元对应的卷积输出矩阵,所述分级输出单元将卷积输出矩阵归一化到0~255的整数并将尺寸通过图像插值缩放的方法变换到与输入图像一致的尺寸,所述分级输出单元根据阈值将缩放后矩阵进行二值化获取干扰类别和粘膜在图像中所占的区域,所述分级输出单元根据粘膜所占面积划分为多个等级。
2.如权利要求1所述的一种内窥镜干扰图像检测与分级系统,其特征在于:还包括用以获取数据训练集和验证集的获取模块(4),所述训练集包括无干扰训练图片、干扰训练图片、干扰训练图片中的干扰训练内容标记、干扰训练图片中的训练粘膜面积标记,所述验证集包括干扰验证图片、干扰验证图片中的干扰验证内容标记、干扰验证图片中的验证粘膜面积标记;还包括训练模块(2),所述训练模块(2)将训练集输入检测分级网络模型(1)以获取实时训练网络模型,所述训练模块(2)选取验证集测试实时训练网络模型的识别精度,所述训练模块(2)在检测分级网络更换网络参数时重复训练检测分级网络模型(1)和测试实时训练网络模型的识别精度并选取实时训练网络模型中识别精度最高的网络模型作为预设网络模型。
3.如权利要求1所述的一种内窥镜干扰图像检测与分级系统,其特征在于:所述训练模块(2)包括用以选取不同的卷积神经网络的基本神经网络选择单元,所述基本神经网络选择单元选择VGG、ResNet、InceptionNet卷积网络其中的一个作为基本卷积神经网络单元中的卷积神经网络。
4.如权利要求1所述的一种内窥镜干扰图像检测与分级系统,其特征在于:所述检测分级模块(3)包括用以判断干扰图像或者粘膜图像类别的分类输出单元,所述分类输出单元以类别输出单元输出向量为判断依据在其中某个或多个元素大于0时确定图像属于该元素对应的类别。
5.如权利要求3所述的一种内窥镜干扰图像检测与分级系统,其特征在于:所述训练模块(2)包括用以对检测分级网络模型(1)进行计算网格损失的损失函数单元,所述损失函数单元通过公式对卷积神经网络进行优化计算,其中对于每一张图像,x为网络预测得到的标签值,y为针对图像标注的标签值,C表示识别类别数。
6.如权利要求5所述的一种内窥镜干扰图像检测与分级系统,其特征在于:所述训练模块(2)包括用以采用随机梯度下降法对检测分级网络模型(1)进行网络优化计算的优化函数单元。
7.一种内窥镜干扰图像检测与分级方法,其特征在于,包括如下步骤:
S1:建立检测分级网络模型(1);
S2:获取训练集和验证集;
S3:训练模块(2)通过训练集训练检测分级网络模型(1)和通过验证集测试训练后的检测分级网络模型(1)提高网络模型的精度以获取预设网络模型;
S4:检测分级模块(3)将消化道图片输入至预设网络模型,预设网络模型对消化道图片处理输出干扰内容和干扰内容的分割信息;
S5:检测分级模块(3)根据干扰内容的分割信息获取粘膜所占面积并根据粘膜所占面积进行分级;
所述检测分级网络模型(1)包括基本卷积神经网络单元、用于将基本卷积神经网络单元的特征输出映射到不同类别输出的变换卷积层单元、用以将变换卷积层单元的输出进行排序的排序池化层单元、用以将排序池化层单元输出的C个值作为类别输出值的类别输出单元;所述基本卷积神经网络单元由预训练好的卷积神经网络中去除最后的全连接层构成,所述基本卷积神经网络通过全连接层前的多通道2维卷积输出提取图片特征,所述变换卷积层单元由多个1x1的卷积构成,所述变换卷积层单元的卷积的数量为识别类别数C的M倍,其中识别类别数为干扰内容类别+1,M为2~16整数,所述排序池化层单元由多个1x1的卷积构成,所述排序池化层单元的池化的数量为识别类别数,对于每个池化类别排序池化层单元将M个变换卷积输出进行排序并分别取比例为k的最大响应区域和最小响应区域进行平均合并作为池化输出,其中k的比例值范围可以是0.1~0.4,排序池化平均合并值为C个;所述检测分级模块(3)包括分级输出单元,所述分级输出单元根据分类输出单元输出的分类输出向量获取变换卷积层单元对应的卷积输出矩阵,所述分级输出单元将卷积输出矩阵归一化到0~255的整数并将尺寸通过图像插值缩放的方法变换到与输入图像一致的尺寸,所述分级输出单元根据阈值将缩放后矩阵进行二值化获取干扰类别和粘膜在图像中所占的区域,所述分级输出单元根据粘膜所占面积划分为多个等级。
CN202010416826.1A 2020-05-18 2020-05-18 一种内窥镜干扰图像检测与分级系统及方法 Active CN111798408B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010416826.1A CN111798408B (zh) 2020-05-18 2020-05-18 一种内窥镜干扰图像检测与分级系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010416826.1A CN111798408B (zh) 2020-05-18 2020-05-18 一种内窥镜干扰图像检测与分级系统及方法

Publications (2)

Publication Number Publication Date
CN111798408A CN111798408A (zh) 2020-10-20
CN111798408B true CN111798408B (zh) 2023-07-21

Family

ID=72806636

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010416826.1A Active CN111798408B (zh) 2020-05-18 2020-05-18 一种内窥镜干扰图像检测与分级系统及方法

Country Status (1)

Country Link
CN (1) CN111798408B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113469996B (zh) * 2021-07-16 2023-06-20 四川大学华西医院 一种内窥镜黏膜图像反光区域检测与修复系统
CN113705546A (zh) * 2021-10-28 2021-11-26 武汉楚精灵医疗科技有限公司 干扰类别识别模型训练方法、识别方法、装置及电子设备
CN115049926B (zh) * 2022-06-10 2023-10-24 安徽农业大学 一种基于深度学习的小麦倒伏损失评估方法和装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103345638A (zh) * 2013-06-24 2013-10-09 清华大学深圳研究生院 基于医学影像的腔体病灶计算机辅助检测方法
CN108961222A (zh) * 2018-06-19 2018-12-07 江西大福医疗科技股份有限公司 一种基于阴道镜图像的宫颈癌早期筛查识别方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2585465A1 (en) * 2004-10-29 2006-05-11 New York University System, software arrangement and method for segmenting an image
WO2017042812A2 (en) * 2015-09-10 2017-03-16 Magentiq Eye Ltd. A system and method for detection of suspicious tissue regions in an endoscopic procedure
CN106934799B (zh) * 2017-02-24 2019-09-03 安翰科技(武汉)股份有限公司 胶囊内窥镜图像辅助阅片系统及方法
CN108765408B (zh) * 2018-05-31 2021-09-10 杭州同绘科技有限公司 构建癌症病理图像虚拟病例库的方法以及基于卷积神经网络的多尺度癌症检测系统
CN109086826B (zh) * 2018-08-06 2021-05-07 中国农业科学院农业资源与农业区划研究所 基于图像深度学习的小麦干旱识别方法
CN110909756A (zh) * 2018-09-18 2020-03-24 苏宁 用于医学图像识别的卷积神经网络模型训练方法和装置
CN110473179B (zh) * 2019-07-30 2022-03-25 上海深视信息科技有限公司 一种基于深度学习的薄膜表面缺陷检测方法、系统及设备
CN110946619B (zh) * 2019-11-27 2023-06-06 杨靖 血管内超声自动影像组学分析系统及分析方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103345638A (zh) * 2013-06-24 2013-10-09 清华大学深圳研究生院 基于医学影像的腔体病灶计算机辅助检测方法
CN108961222A (zh) * 2018-06-19 2018-12-07 江西大福医疗科技股份有限公司 一种基于阴道镜图像的宫颈癌早期筛查识别方法

Also Published As

Publication number Publication date
CN111798408A (zh) 2020-10-20

Similar Documents

Publication Publication Date Title
CN111798408B (zh) 一种内窥镜干扰图像检测与分级系统及方法
JP7198577B2 (ja) 画像解析方法、装置、プログラムおよび学習済み深層学習アルゴリズムの製造方法
US11514270B2 (en) Speckle contrast analysis using machine learning for visualizing flow
CN109948469A (zh) 基于深度学习的巡检机器人仪表自动检测识别方法
CN111079620B (zh) 基于迁移学习的白细胞图像检测识别模型构建方法及应用
CN112001895B (zh) 一种甲状腺钙化检测装置
CN113129287A (zh) 一种针对上消化道内镜影像的病灶自动留图方法
CN111080639A (zh) 基于人工智能的多场景消化道内镜图像识别方法及系统
CN113989284B (zh) 一种幽门螺杆菌辅助检测系统及检测装置
CN114581375A (zh) 一种无线胶囊内窥镜病灶自动检测方法、装置及存储介质
CN107543788A (zh) 一种尿红细胞畸形率检测方法及系统
CN111950812A (zh) 一种自动识别与预测雨量的方法及其装置
CN115578372A (zh) 基于目标检测和卷积变换的骨龄评估方法、设备及介质
CN114972230A (zh) 一种生产线上电路板缺陷检测方法及系统
CN112862749A (zh) 一种骨龄图像数字化处理后自动识别方法
CN111598868A (zh) 一种肺部超声图像识别方法和系统
CN114331961A (zh) 用于对象的缺陷检测的方法
CN110415246B (zh) 一种腹部脂肪成分的分析方法
CN106127738B (zh) 凝集试验判读方法
CN110051384B (zh) 结合医学统计信息的胎儿颈背透明物位置检测方法及系统
CN110543802A (zh) 眼底图像中左右眼识别方法与装置
KR102595429B1 (ko) 장 정결도의 자동화 계산 장치 및 방법
CN111292285A (zh) 一种基于朴素贝叶斯与支持向量机的糖网病自动筛查方法
TW202219494A (zh) 缺陷檢測方法及檢測裝置
CN114494299A (zh) 温度检测设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant