CN110367913B - 无线胶囊内窥镜图像幽门和回盲瓣定位方法 - Google Patents

Abstract

本发明公开了无线胶囊内窥镜图像幽门和回盲瓣定位方法。无线胶囊内窥镜检查时准确找到小肠的起始点和终止点，能减少医生阅览图像的工作量，并减少漏诊。本发明以深度学习思想为技术核心，结合迁移学习策略，利用深度学习模型中的卷积神经网络算法构建区域图像分类器，通过模型的训练自动学习得到无线胶囊内窥镜图像的特征，再利用区域定位算法对区域图像识别结果序列进行分析，实现无线胶囊内窥镜图像中幽门和回盲瓣的定位。本发明弥补目前胶囊内窥镜在智能识别和精准定位这一领域的空白，大幅度降低医生的工作强度，提高工作效率和确诊率，进一步促进胶囊内窥镜在消化道疾病诊断临床上的实用价值，从而形成更高效、更标准的诊断模式。

Description

无线胶囊内窥镜图像幽门和回盲瓣定位方法

技术领域

本发明属于图像处理技术领域，特别是涉及一种无线胶囊内窥镜图像幽门和回盲瓣定位方法。

背景技术

目前临床应用中常规的手持式内镜检查无法涉及到整个完整的消化道，胃镜能够检查上消化道，而肠镜只能检查结肠和直肠，因此还有部分肠道是常规内窥镜无法探及到的。近年来，随着科技的发展，无线胶囊内窥镜 (Wireless Capsule Endoscopy,WCE)在临床上得到了广泛的应用，且逐渐成为医生检测肠道病变的主流技术。通常，病人将胶囊内窥镜从口腔吞入，通过胃肠道的蠕动，胶囊内窥镜在体内停留约8小时，并按每秒2帧的速率拍摄图像。病人会随体携带一个接收装置，胶囊内窥镜拍摄的图像将传输到这个接收器上，最后所有内窥镜图像以视频序列的方式导出到计算机，由专业的软件供临床医生分析。

然而，无线胶囊内窥镜检查会产生大量图像数据，每个患者检查完毕后至少会产生50000张以上的数据图像。为了检测小肠的病变图像，医生需要消耗大量时间在阅览图像工作，同时也会因为视觉疲劳产生漏检和误检，所以如何在海量的图像数据中找到小肠的起止点对于医生来说就显得尤为重要。准确找到小肠的起始点和终止点，不仅能减少医生阅览图像的工作量，而且还能有效的减少医生的漏诊，极大地缩短医生的复审时间，所以在病人的整个无线胶囊内窥镜图像中准确找到小肠的起始位置(幽门)和终止位置 (回盲瓣)，在实际应用中对医生进行小肠疾病的诊断有着不可或缺的作用。因此，研究无线胶囊内窥镜图像幽门和回盲瓣定位方法，对于减轻医生负担，为临床诊断提供精确的辅助结果，具有重要实用价值和意义。

发明内容

本发明的目的是针对上述问题，提供一种高效、准确的无线胶囊内窥镜图像幽门和回盲瓣定位方法，以深度学习思想为技术核心，结合迁移学习策略，利用深度学习模型中的卷积神经网络(Convolutional Neural Network， CNN)算法构建区域图像分类器，再利用区域定位算法对区域图像识别结果序列进行分析，实现无线胶囊内窥镜图像(WCE)中幽门和回盲瓣的定位。

本发明采用如下技术方案：

本发明包括如下步骤：

步骤1：获取病人的无线胶囊内窥镜视频数据，并通过提取视频帧技术得到无线胶囊内窥镜图像；

步骤2：将得到的无线胶囊内窥镜图像输入到图像预处理模块进行预处理，去除无线胶囊内窥镜图像边缘无效区域，然后利用图像去噪与增强技术提高图像质量；

步骤3：图像预处理模块将预处理后的胶囊内窥镜图像输入到数据整理模块中，数据整理模块包括图像筛选模块和比例组合模块，图像筛选模块在若干病人中随机挑选无线胶囊内窥镜图像中肠道相对干净的病人，这些病人的无线胶囊内镜图像作为备选数据集；其中，肠道相对干净是指无线胶囊内窥镜图像能显示出肠道组织。然后比例组合模块对于挑选出来的每个病人按照小肠前区域图像数量、小肠区域图像数量和小肠后区域图像数量的比例为 0.15～0.25：0.5～0.7：0.15～0.25来随机挑选三个区域的图像，并建立模型数据集。

步骤4：数据整理模块将得到的模型数据集输入到模型调整模块的模型训练模块得到识别模型，模型调整模块将待定位数据集输入到优化后的识别模型中得到该数据集中各无线胶囊内窥镜图像的区域识别结果序列，并将待定位数据集中各无线胶囊内窥镜图像的区域识别结果序列与无线胶囊内窥镜图像按拍照时间排列的序号对应起来记录。

步骤5：区域定位模块利用区域定位算法将模型调整模块得到的区域识别结果序列进行分析，得到幽门和回盲瓣位置并将其转换成文字信息，形成辅助判断报告，供医生进一步的分析。

所述的区域定位算法将步骤4中得到的区域识别结果序列进行分析，其中，小肠前区域、小肠区域和小肠后区域的区域识别结果序列号分别为a、b 和c；分析过程具体如下：

5.1从第一个序列开始依次判断序列号，直到判断出序列号为b的序列，并将该序列号为b的序列对应的无线胶囊内窥镜图像序号记为A；

5.2判断A以后N个序号的无线胶囊内窥镜图像的序列，统计这N个无线胶囊内窥镜图像的序列号中出现b的次数，其中，80≤N≤150，若出现b的次数与N的比值大于或等于80％，则执行步骤5.4，否则执行步骤5.3；

5.3从序号A后一个无线胶囊内窥镜图像开始依次判断序列号，直到判断出序列号为b的序列，并将该序列号为b的序列对应的无线胶囊内窥镜图像序号重新赋值给A，然后回到步骤5.2；

5.4判断A+N以后N个序号的无线胶囊内窥镜图像的序列，统计这N个无线胶囊内窥镜图像的序列号中出现a的次数，若出现a的次数与N的比值小于或等于30％，则输出序号A并执行步骤5.5，否则回到步骤5.3；

5.5从序号A后一个无线胶囊内窥镜图像开始依次判断序列号，直到判断出序列号为c的序列，并将该序列号为c的序列对应的无线胶囊内窥镜图像序号记为B；

5.6判断B以后M个序号的无线胶囊内窥镜图像的序列，统计这M个无线胶囊内窥镜图像的序列号中出现不为b的次数，其中，80≤M≤150，若出现不为b的次数与M的比值大于或等于80％，则执行步骤5.8，否则执行步骤5.7；

5.7从序号B后一个无线胶囊内窥镜图像开始依次判断序列号，直到判断出序列号为c的序列，并将序列号为c的序列对应的无线胶囊内窥镜图像序号重新赋值给B，然后回到步骤5.6；

5.8判断B+M以后M个序号的无线胶囊内窥镜图像的序列，统计这M个无线胶囊内窥镜图像的序列号中出现b的次数，若出现b的次数与M的比值小于或等于30％，则输出序号B并执行步骤5.9，否则回到步骤5.7；

5.9将序号A和B对应的无线胶囊内窥镜图像分别定为幽门和回盲瓣位置。

进一步，步骤2中去除无线胶囊内窥镜图像边缘无效区域是利用掩模技术实现。

进一步，步骤4具体如下：

4.1模型调整模块包括模型训练模块和模型测试模块，数据整理模块将得到的模型数据集输入到模型调整模块的模型训练模块；

4.2模型训练模块基于建立好的模型数据集利用CNN结构中的ResNet结构并结合迁移学习策略进行识别模型训练，并根据模型测试模块的评价反馈对已训练好的模型进行再次调整，包括调整模型数据集和调整模型参数，得到优化后的识别模型；其中，调整模型数据集为数据整理模块的比例组合模块更换若干小肠前区域图像、小肠区域图像或小肠后区域图像，或者采用调整三个区域图像比例的方式，从而更新模型数据集；

4.3首先，模型测试模块将测试集输入到优化后的识别模型中得到小肠前区域、小肠区域和小肠后区域三个区域的特征值，从而得到区域识别结果序列，实现对不同区域的识别；小肠前区域、小肠区域和小肠后区域的区域识别结果序列号分别为a、b和c；测试集中各无线胶囊内窥镜图像均得到区域识别结果序列后，模型测试模块对模型训练模块训练好的识别模型进行测试评价，评价公式为：

式中，A表示评价准确性，T₁、T₂、T₃分别表示识别正确的小肠前区域图像个数、小肠区域图像个数以及小肠后区域图像个数，Sum表示测试集中无线胶囊内窥镜图像总数。

4.4如果评价准确性A没有达到预设值，则回到步骤4.2来继续进行识别模型优化，否则，模型测试模块将待定位数据集输入到优化后的识别模型中得到小肠前区域、小肠区域和小肠后区域三个区域的特征值，从而得到区域识别结果序列，并将待定位数据集中各无线胶囊内窥镜图像的区域识别结果序列与无线胶囊内窥镜图像按拍照时间排列的序号对应起来记录。

本发明具有的有益效果：

本发明采用深度学习模型的CNN结构，结合迁移学习，通过模型的训练自动学习得到无线胶囊内窥镜图像的特征，并结合区域定位算法，从而实现对幽门和回盲瓣的定位，能够弥补目前胶囊内窥镜在智能识别和精准定位这一领域的空白，从而大幅度降低医生的工作强度，提高工作效率和确诊率，进一步促进胶囊内窥镜在消化道疾病诊断临床上的实用价值，从而形成更高效、更标准的诊断模式。

附图说明

图1为本发明的结构框图；

图2为本发明中幽门和回盲瓣位置示意图；

图3为本发明中模型调整模块和区域识别流程图；

图4为本发明中区域定位算法的定位判断流程图；

图5为本发明中模型调整模块所使用的ResNet结构图；

图6为图5中虚线箭头所表示的残差模块传输示意图；

图7为图5中实线箭头所表示的残差模块传输示意图。

具体实施方式

以下结合附图和具体实施例对本发明详细说明。

如图1所示，无线胶囊内窥镜图像幽门和回盲瓣定位方法，采用的算法模块，包括数据输入模块1、图像预处理模块2、数据整理模块3、模型调整模块4和区域定位模块5；数据输入模块1的输出端连接图像预处理模块2的输入端，图像预处理模块2的输出端连接数据整理模块3的输入端，数据整理模块3的输出端连接模型调整模块4的输入端，模型调整模块4的输出端连接区域定位模块5的输入端。

数据输入模块1获取患者的无线胶囊内窥镜视频数据，并通过提取视频帧技术得到无线胶囊内窥镜图像；图像预处理模块2对无线胶囊内窥镜图像进行预处理，提高无线胶囊内窥镜图像质量及去除无效信息；数据整理模块 3是在图像预处理模块2预处理后得到的高质量无线胶囊内窥镜图像数据中随机挑选适量的图像数据建立模型数据集用于模型训练，这里随机挑选数据采用的是乱序(Shuffle)和随机采样(Random)方法；模型调整模块4包括模型训练模块和模型测试模块，模型测试模块的评价反馈给模型训练模块，模型训练模块通过模型优化、调整参数和调整数据集来修正算法模型；模型测试模块将待定位数据集输入到模型训练模块优化后的识别模型中，得到该数据集中各无线胶囊内窥镜图像的区域识别结果序列，并将区域识别结果序列与无线胶囊内窥镜图像按拍照时间排列的序号对应起来记录；区域定位模块5根据对模型调整模块的识别结果序列的分析，利用区域定位算法来判断回盲瓣和幽门的位置。

图像预处理模块2的预处理包含边缘移除及图像去噪与增强，其中，边缘移除是利用掩模技术去除无线胶囊内窥镜图像边缘无效区域。

数据整理模块3包括图像筛选模块和比例组合模块，是对图像预处理模块2预处理后得到的高质量无线胶囊内窥镜图像进行整理，主要是包括两个操作：首先图像筛选模块在适量的病人中随机挑选无线胶囊内窥镜图像中肠道相对干净的病人；然后比例组合模块对于挑选出来的每个病人按照小肠前区域(幽门之前)图像数量、小肠区域(幽门与回盲瓣之间)图像数量和小肠后区域(回盲瓣之后)图像数量的比例为0.15～0.25：0.5～0.7：0.15～0.25来随机挑选三个区域的图像，并建立模型数据集。每个病人吞服胶囊后，在三个区域停留的时间不同，每个区域拍到照片的数量也不一样，因此，三个区域图像数量按照合适的比例来选取。三个区域如图2所示。

区域定位模块5是利用区域定位算法将模型调整模块4得到的区域识别结果序列进行处理，包括对幽门位置的判断和回盲瓣位置的判断，并不断优化参数，让得到的幽门和回盲瓣位置更加精确，并且具备良好的鲁棒性。

该无线胶囊内窥镜图像幽门和回盲瓣定位方法，包括如下步骤：

步骤1：数据输入模块1获取病人的无线胶囊内窥镜视频数据，并通过提取视频帧技术得到无线胶囊内窥镜图像；

步骤2：数据输入模块1将得到的无线胶囊内窥镜图像输入到图像预处理模块2进行预处理，去除无线胶囊内窥镜图像边缘无效区域，减少冗余，然后利用图像去噪与增强技术提高图像质量；

步骤3：图像预处理模块2将预处理后的胶囊内窥镜图像输入到数据整理模块3中，数据整理模块3包括图像筛选模块和比例组合模块，图像筛选模块在若干病人中随机挑选无线胶囊内窥镜图像中肠道相对干净的病人，这些病人的无线胶囊内镜图像作为备选数据集；其中，肠道相对干净是指无线胶囊内窥镜图像能显示出肠道组织。然后比例组合模块对于挑选出来的每个病人按照小肠前区域(幽门之前)图像数量、小肠区域(幽门与回盲瓣之间)图像数量和小肠后区域(回盲瓣之后)图像数量的比例为0.15～0.25：0.5～0.7： 0.15～0.25来随机挑选三个区域的图像，并建立模型数据集。

步骤4：数据整理模块3将得到的模型数据集输入到模型调整模块4的模型训练模块得到识别模型，模型调整模块4将待定位数据集输入到优化后的识别模型中得到该数据集中各无线胶囊内窥镜图像的区域识别结果序列，具体如下：

4.1模型调整模块4包括模型训练模块和模型测试模块，数据整理模块3 将得到的模型数据集输入到模型调整模块4的模型训练模块；

4.2模型训练模块基于建立好的模型数据集利用CNN结构中的ResNet结构并结合迁移学习策略进行识别模型训练，并根据模型测试模块的评价反馈对已训练好的模型进行再次调整，包括调整模型数据集和调整模型参数，得到优化后的识别模型；其中，调整模型数据集为数据整理模块3的比例组合模块更换若干小肠前区域图像、小肠区域图像或小肠后区域图像，或者采用调整三个区域图像比例的方式，从而更新模型数据集；

4.3首先，模型测试模块将测试集输入到优化后的识别模型中得到小肠前区域、小肠区域和小肠后区域三个区域的特征值，从而得到区域识别结果序列，实现对不同区域的识别；小肠前区域、小肠区域和小肠后区域的区域识别结果序列号各不相同；测试集中各无线胶囊内窥镜图像均得到区域识别结果序列后，模型测试模块对模型训练模块训练好的识别模型进行测试评价，评价公式为：

式中，A表示评价准确性，T₁、T₂、T₃分别表示识别正确的小肠前区域图像个数、小肠区域图像个数以及小肠后区域图像个数，Sum表示测试集中无线胶囊内窥镜图像总数。

模型测试模块对模型训练模块训练好的识别模型进行测试评价并反馈，目的是保证得到的模型的普适性和准确性最高，便于临床应用。

4.4如果评价准确性A没有达到预设值(本实施例中预设值为92％)，则通过调整识别模型的模型参数回到步骤4.2来继续进行识别模型优化，否则，模型测试模块将待定位数据集输入到优化后的识别模型中得到小肠前区域、小肠区域和小肠后区域三个区域的特征值，从而得到区域识别结果序列，并将待定位数据集中各无线胶囊内窥镜图像的区域识别结果序列与无线胶囊内窥镜图像按拍照时间排列的序号对应起来记录。

步骤5：区域定位模块5利用区域定位算法将模型调整模块4得到的区域识别结果序列进行分析，得到幽门和回盲瓣位置并将其转换成文字信息，形成辅助判断报告，供医生进一步的分析。

步骤2中去除无线胶囊内窥镜图像边缘无效区域是利用掩模技术实现，提高内镜图像特征的有效价值，减少图像冗余，如此在不影响原图像病灶特征提取的情况下，降低之后进行卷积操作的计算量，提高运算效率。

如图3所示，步骤4中，模型训练模块是采用CNN结构的ResNet网络结构，并结合迁移学习策略，得到识别模型，该网络训练是在有监督情况下完成的，利用随机梯度下降法来最小化实际输出与期望输出之间的差异，并利用反向传播法计算梯度系数，通过不断调整神经网络模型间参数，减小训练误差；模型调整模块4中使用的迁移学习策略是指本发明在进行网络训练时，先是通过在ImageNet数据集上预训练ResNet得到基础网络。然后保持前几层参数不变，调整最后一个全连接层的参数，根据目标数据集，微调(fine-tune) 模型。具体而言，训练时随机初始化最后一个全连接层的权重并将预训练模型的权重作为其它学习层的初始权重。随机初始化的学习层学习率设置为0.1，所有迁移参数的学习层学习率设为0.01，模型采用“step”学习策略，梯度更新权重(momentum)为0.9，权重衰减(weightdecay)为0.0001。模型测试模块是利用模型训练模块训练得到的识别模型进行测试，得到区域识别结果序列，通过对的它的评价可以反馈到模型调整上，有利于选择最优的模型。

如图4所示，为步骤5中区域定位模块5使用的区域定位算法流程。区域定位算法将步骤4中得到的区域识别结果序列进行分析(序列中以a、b、c存储识别结果，a代表小肠前区域图像，b代表小肠区域图像，c代表小肠后区域图像，本实施例中a＝0，b＝1，c＝2)，具体如下：

5.1从第一个序列开始依次判断序列号，直到判断出序列号为b的序列，并将该序列号为b的序列对应的无线胶囊内窥镜图像序号记为A；

5.2判断A以后N个序号的无线胶囊内窥镜图像的序列，统计这N个无线胶囊内窥镜图像的序列号中出现b的次数，其中，80≤N≤150，若出现b的次数与N的比值大于或等于80％，则执行步骤5.4，否则执行步骤5.3；

5.3从序号A后一个无线胶囊内窥镜图像开始依次判断序列号，直到判断出序列号为b的序列，并将该序列号为b的序列对应的无线胶囊内窥镜图像序号重新赋值给A，然后回到步骤5.2；

5.4判断A+N以后N个序号的无线胶囊内窥镜图像的序列，统计这N个无线胶囊内窥镜图像的序列号中出现a的次数，若出现a的次数与N的比值小于或等于30％，则输出序号A并执行步骤5.5，否则回到步骤5.3；

5.5从序号A后一个无线胶囊内窥镜图像开始依次判断序列号，直到判断出序列号为c的序列，并将该序列号为c的序列对应的无线胶囊内窥镜图像序号记为B；

5.6判断B以后M个序号的无线胶囊内窥镜图像的序列，统计这M个无线胶囊内窥镜图像的序列号中出现不为b的次数，其中，80≤M≤150，若出现不为b的次数与M的比值大于或等于80％，则执行步骤5.8，否则执行步骤5.7；

5.7从序号B后一个无线胶囊内窥镜图像开始依次判断序列号，直到判断出序列号为c的序列，并将序列号为c的序列对应的无线胶囊内窥镜图像序号重新赋值给B，然后回到步骤5.6；

5.8判断B+M以后M个序号的无线胶囊内窥镜图像的序列，统计这M个无线胶囊内窥镜图像的序列号中出现b的次数，若出现b的次数与M的比值小于或等于30％，则输出序号B并执行步骤5.9，否则回到步骤5.7；

5.9将序号A和B对应的无线胶囊内窥镜图像分别定为幽门和回盲瓣位置。

图5是模型训练模块中所用的ResNet网络结构的示意图，主要由输入层、卷积层、最大池化层、深度卷积层、平均池化层、全连接层和Softmax分类器组成，该网络具体参数配置见表1。图5中的深度卷积层由多个1×1和3×3的卷积层(如图5中各个平面所示)和残差模块组成。模型训练模块中的ResNet 网络包含若干个残差模块，图5中虚线箭头所表示的残差模块由残差单元、捷径以及卷积组成，详细结构如图6所示；图5中实线箭头所表示的残差模块由残差单元和捷径组成，详细结构如图7所示。与其他模型相比，ResNet最大的创新点在于提出残差学习的思想。传统的卷积网络或者全连接网络在信息传递的时候或多或少会存在信息丢失，损耗等问题，同时还有导致梯度消失或者梯度爆炸，导致很深的网络无法训练。ResNet的Highway Network思想在一定程度上解决了这个问题，通过直接将输入信息绕道传到输出端，保护信息的完整性，整个网络只需要学习输入、输出差别的那一部分，简化学习目标和难度。与其他网络对比ResNet最大的区别在于有很多的旁路将输入直接连接到后面的层，这种结构也被称为捷径(shortcut/skip connections)。

表1本实施例所使用的ResNet-50网络结构配置

为了验证本发明无线胶囊内窥镜图像幽门和回盲瓣定位方法的具体效果，用独立的病人数据集做了五组验证实验，验证结果如表2所示：

表2小肠幽门(起点)和回盲瓣(终点)位置验证结果

表2中偏离度(Deviation degree,Dd)是定义来反映幽门或回盲瓣识别位置与实际位置的关系，其计算公式如下：

式(1)中的Y表示实际位置，y是识别位置，N是小肠图像总数；在偏离度列项中，“-”表示为右偏离即识别位置在实际位置右侧，“+”表示为左偏离即识别位置在实际位置左侧。

如表2中所示，采用本发明无线胶囊内窥镜图像幽门和回盲瓣定位方法，五组定位识别验证实验中偏离度的绝对值都小于0.5％，且最低可以降到0，由此可以看出本发明的精确性、实用性和稳定性，在实际临床病情诊断中具有一定的辅助性意义。

本发明采用深度学习模型的CNN结构，结合迁移学习，通过模型的训练自动学习得到无线胶囊内窥镜图像的特征，并结合区域定位算法，从而实现对幽门和回盲瓣的定位，从而大幅度降低医生的工作强度和提高确诊率，进一步促进胶囊内窥镜在临床上的实用价值，从而形成更高效、更标准的诊断模式。

上述具体实例方式用来解释本发明，而不是对本发明进行限制。在本发明的精神和权利要求的保护范围内，对本发明做出的任何修改和改变，都落入本发明的保护范围。

Claims (3)

1.无线胶囊内窥镜图像幽门和回盲瓣定位方法，其特征在于：该方法包括如下步骤：

步骤1：获取病人的无线胶囊内窥镜视频数据，并通过提取视频帧技术得到无线胶囊内窥镜图像；

步骤2：将得到的无线胶囊内窥镜图像输入到图像预处理模块进行预处理，去除无线胶囊内窥镜图像边缘无效区域，然后利用图像去噪与增强技术提高图像质量；

步骤3：图像预处理模块将预处理后的无线胶囊内窥镜图像输入到数据整理模块中，数据整理模块包括图像筛选模块和比例组合模块，图像筛选模块在若干病人中随机挑选无线胶囊内窥镜图像中肠道相对干净的病人，这些病人的无线胶囊内镜图像作为备选数据集；其中，肠道相对干净是指无线胶囊内窥镜图像能显示出肠道组织；然后比例组合模块对于挑选出来的每个病人按照小肠前区域图像数量、小肠区域图像数量和小肠后区域图像数量的比例为0.15～0.25：0.5～0.7：0.15～0.25来随机挑选三个区域的图像，并建立模型数据集；

步骤4：数据整理模块将得到的模型数据集输入到模型调整模块的模型训练模块得到识别模型，模型调整模块将待定位数据集输入到优化后的识别模型中得到该待定位数据集中各无线胶囊内窥镜图像的区域识别结果序列，并将待定位数据集中各无线胶囊内窥镜图像的区域识别结果序列与无线胶囊内窥镜图像按拍照时间排列的序号对应起来记录；

步骤5：区域定位模块利用区域定位算法将模型调整模块得到的区域识别结果序列进行分析，得到幽门和回盲瓣位置并将其转换成文字信息，形成辅助判断报告，供医生进一步的分析；

所述的区域定位算法将步骤4中得到的区域识别结果序列进行分析，其中，小肠前区域、小肠区域和小肠后区域的区域识别结果序列号分别为a、b和c；分析过程具体如下：

5.1从第一个序列开始依次判断序列号，直到判断出序列号为b的序列，并将该序列号为b的序列对应的无线胶囊内窥镜图像序号记为A；

5.2判断A以后N个序号的无线胶囊内窥镜图像的序列，统计这N个无线胶囊内窥镜图像的序列号中出现b的次数，其中，80≤N≤150，若出现b的次数与N的比值大于或等于80％，则执行步骤5.4，否则执行步骤5.3；

5.3从序号A后一个无线胶囊内窥镜图像开始依次判断序列号，直到判断出序列号为b的序列，并将该序列号为b的序列对应的无线胶囊内窥镜图像序号重新赋值给A，然后回到步骤5.2；

5.4判断A+N以后N个序号的无线胶囊内窥镜图像的序列，统计这N个无线胶囊内窥镜图像的序列号中出现a的次数，若出现a的次数与N的比值小于或等于30％，则输出序号A并执行步骤5.5，否则回到步骤5.3；

5.5从序号A后一个无线胶囊内窥镜图像开始依次判断序列号，直到判断出序列号为c的序列，并将该序列号为c的序列对应的无线胶囊内窥镜图像序号记为B；

5.6判断B以后M个序号的无线胶囊内窥镜图像的序列，统计这M个无线胶囊内窥镜图像的序列号中出现不为b的次数，其中，80≤M≤150，若出现不为b的次数与M的比值大于或等于80％，则执行步骤5.8，否则执行步骤5.7；

5.7从序号B后一个无线胶囊内窥镜图像开始依次判断序列号，直到判断出序列号为c的序列，并将序列号为c的序列对应的无线胶囊内窥镜图像序号重新赋值给B，然后回到步骤5.6；

5.8判断B+M以后M个序号的无线胶囊内窥镜图像的序列，统计这M个无线胶囊内窥镜图像的序列号中出现b的次数，若出现b的次数与M的比值小于或等于30％，则输出序号B并执行步骤5.9，否则回到步骤5.7；

5.9将序号A和B对应的无线胶囊内窥镜图像分别定为幽门和回盲瓣位置。

2.根据权利要求1所述的无线胶囊内窥镜图像幽门和回盲瓣定位方法，其特征在于：步骤2中去除无线胶囊内窥镜图像边缘无效区域是利用掩模技术实现。

3.根据权利要求1所述的无线胶囊内窥镜图像幽门和回盲瓣定位方法，其特征在于：步骤4具体如下：

4.1模型调整模块包括模型训练模块和模型测试模块，数据整理模块将得到的模型数据集输入到模型调整模块的模型训练模块；

4.2模型训练模块基于建立好的模型数据集利用CNN结构中的ResNet结构并结合迁移学习策略进行识别模型训练，并根据模型测试模块的评价反馈对已训练好的模型进行再次调整，包括调整模型数据集和调整模型参数，得到优化后的识别模型；其中，调整模型数据集为数据整理模块的比例组合模块更换若干小肠前区域图像、小肠区域图像或小肠后区域图像，或者采用调整三个区域图像比例的方式，从而更新模型数据集；

4.3首先，模型测试模块将测试集输入到优化后的识别模型中得到小肠前区域、小肠区域和小肠后区域三个区域的特征值，从而得到区域识别结果序列，实现对不同区域的识别；小肠前区域、小肠区域和小肠后区域的区域识别结果序列号分别为a、b和c；测试集中各无线胶囊内窥镜图像均得到区域识别结果序列后，模型测试模块对模型训练模块训练好的识别模型进行测试评价，评价公式为：

式中，A表示评价准确性，T₁、T₂、T₃分别表示识别正确的小肠前区域图像个数、小肠区域图像个数以及小肠后区域图像个数，Sum表示测试集中无线胶囊内窥镜图像总数；

4.4如果评价准确性A没有达到预设值，则回到步骤4.2来继续进行识别模型优化，否则，模型测试模块将待定位数据集输入到优化后的识别模型中得到小肠前区域、小肠区域和小肠后区域三个区域的特征值，从而得到区域识别结果序列，并将待定位数据集中各无线胶囊内窥镜图像的区域识别结果序列与无线胶囊内窥镜图像按拍照时间排列的序号对应起来记录。

Images