CN109635866A - 处理肠图像的方法 - Google Patents

处理肠图像的方法 Download PDF

Info

Publication number
CN109635866A
CN109635866A CN201811502438.4A CN201811502438A CN109635866A CN 109635866 A CN109635866 A CN 109635866A CN 201811502438 A CN201811502438 A CN 201811502438A CN 109635866 A CN109635866 A CN 109635866A
Authority
CN
China
Prior art keywords
image
polyp
intestines
texture
processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811502438.4A
Other languages
English (en)
Other versions
CN109635866B (zh
Inventor
杨光
叶旭冏
董豪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Digong Hangzhou Science And Technology Industry Co ltd
Hangzhou Dishi Technology Co ltd
Original Assignee
Hangzhou Dishi Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Dishi Technology Co Ltd filed Critical Hangzhou Dishi Technology Co Ltd
Priority to CN201811502438.4A priority Critical patent/CN109635866B/zh
Publication of CN109635866A publication Critical patent/CN109635866A/zh
Application granted granted Critical
Publication of CN109635866B publication Critical patent/CN109635866B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/24323—Tree-organised classifiers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G06V2201/032—Recognition of patterns in medical or anatomical images of protuberances, polyps nodules, etc.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种处理肠图像的方法，所述方法包括：1)提供肠图像；2)利用神经网络结构处理得到初步提议息肉分割数据；所述神经网络结构包括卷积计算和反卷积计算；3)通过息肉边界纹理补丁图像和/或非息肉边界纹理补丁图像进一步筛选出所期望的息肉分割数据。本发明所提供的处理肠图像的方法可以提高息肉识别的准确率。

Description

处理肠图像的方法
技术领域
本发明涉及一种图像处理方法，尤其涉及一种处理肠图像的方法。
背景技术
大肠癌是结直肠癌的统称，这是一种严重危害人类生命的恶性肿瘤。美国癌症统计数据显示，结肠癌每年新发病例超过10万例，发病率居全球恶性肿瘤的第三位，死亡率居所有肿瘤第二位。在2008年有超过120万新发病例和大约60万人死亡。大肠癌的风险因素包括酒精、烟草、肥胖、糖尿病、久坐、不健康饮食模式等。在欧盟，结直肠癌死亡率不断降低，这一方面归功于欧盟不断改进的生活方式，另一方面，50岁以上的肠癌筛查对降低结直肠癌发生率与死亡率也至关重要。自2000年，美国、加拿大、澳大利亚和挪威50岁患者的结直肠癌发病率和死亡率不断下降，但最近略有回升，这与肥胖、久坐及其他不良生活习惯相关，并且这一效应无法由肠镜筛查抵消，这值得关注。根据全国肿瘤登记中心发布的2015年报显示，癌症已成为我国死亡第一大原因，死亡人数占全球因癌症死亡人数四分之一。其中结直肠癌等发病上升迅速且出现年轻化趋势。结肠癌和直肠癌被统称为结直肠癌或者大肠癌。专家表示，结直肠癌发病率上升迅速，在北上广等大城市的白领人群中发病上升尤其明显，而且出现年轻化趋势，有科学家预测说，不久的将来结直肠癌的发病率可能超过肺癌及胃癌，成为癌症榜首。结直肠癌的年轻化，除了遗传因素外，城市化加剧和人群饮食结构改变也是重要原因，处在高强度工作压力下的都市白领尤其值得关注。近年来，随着我国人们生活水平提高、老龄化、工业化的进程和饮食结构的变化，我国大肠癌发病率与死亡率在逐渐上升，在北京、上海等发达城市结直肠癌发病率位于消化道肿瘤第一位。小于30岁的青年人结直肠癌发病率为12％～15％，直肠癌的发病率比结肠癌高，而且中低位直肠癌所占直肠癌比例高，约为70％。结肠癌根治手术后5年生存率一般为60％～80％之间，直肠癌为50％～70％。据相关资料显示，我国早期大肠癌的诊治率约较低，有着巨大的进步空间。因此，提升早期诊治能力无疑是提高我国大肠癌患者生存率的有效策略。然而患者数量巨大、内镜医师数量短缺、医师早癌诊断技术和经验不足、先进内镜设备缺乏等问题，严重影响了我国早期大肠癌诊断水平的提高，这些问题在基层医疗机构显得尤为突出。
结肠镜检查目前被认为是用于结肠直肠癌诊断的黄金标准诊断方法，并且有助于在结肠息肉发展成结肠直肠癌之前早期检测结肠息肉，这反过来降低了结肠直肠癌的死亡率。然而，结肠镜检查取决于操作者的技能和经验，并且可能导致在测试期间错过检测息肉和/或癌症。计算机辅助息肉检测(CAD)可以帮助内窥镜医师降低漏检率。它还可能有助于鉴别良性和恶性息肉或具有恶性潜能的良性息肉。已经开发了许多方法来自动检测结肠息肉。
现有的自动息肉检测方法可大致分为两组：基于分割的检测和基于检测的分类。Hwang等人提出了一种基于分水岭分割的椭圆拟合方法(Hwang,S.,Oh,J.,Tavanapong,W.,Wong,J.,de Groen,P.C.:Polyp detection in colonoscopy video using ellipticalshape feature.In:IEEE International Conference on Image Processing,pp.1029–1032(2007))。Bernal等人提出了一种利用山谷信息的息肉检测方法(Bernal,J.,Sanchez,J.,Vilarino,F.:Towards automatic polyp detection with a polyp appearancemodel.Pattern Recogn.45,3166–3182(2012))，其中潜在区域使用分水岭进行分段，然后进行区域合并和分类。在Li等人的研究中(Li,P.,Chan,K.L.,Krishnan,S.M.:Learning amulti-size patch-based hybrid kernel machine ensemble for abnormal regiondetection in colonoscopic images.In:Proceedings of CVPR,pp.670–675.IEEE(2005))，区域检测问题被视为图像分割问题，并提出了分片分割方法。Park等人利用时空特征来检测息肉(Park,S.Y.,Sargent,D.,Spofford,I.,Vosburgh,K.G.,A-Rahim,Y.:Acolon video analysis framework for polyp detection.IEEE Trans.Bio-Med.Eng.59,1408–1418(2012))，相邻帧中特征之间的依赖关系被考虑在内并由条件随机场(CRF)建模。Bae等人(Bae,S.H.,Yoon,K.J.:Polyp detection via imbalanced learning anddiscriminative feature learning.IEEE Trans.Bio-Med.Imaging 34,2379–2393(2015))，通过采用基于数据采样的增强框架克服了不平衡数据集问题，并且使用偏最小二乘分析来增强区分息肉和非息肉的能力。Tajbakhsh等人(Tajbakhsh,N.,Gurudu,S.R.,Liang,J.:Automatic polyp detection using globalgeometric constraints andlocal intensity variation patterns.In:Golland,P.,Hata,N.,Barillot,C.,Hornegger,J.,Howe,R.(eds.)MICCAI 2014.LNCS,vol.8674,pp.179–187.Springer,Cham(2014).doi:10.1007/978-3-319-10470-6_23)提出了一种使用全局几何约束和局部强度模式的自动息肉检测方法，使用两阶段息肉边界分类框架来改进息肉边缘，然后是用于定位息肉的投票方案。通过使用卷积神经网络(CNN)整合颜色，时间和形状特征来扩展这项工作以减少误报(Tajbakhsh,N.,Gurudu,S.R.,Liang,J.M.:Automatic polyp detection incolonoscopy videos using an ensemble of convolutional neural networks.In:International symposium on Biomed Imaging,pp.79–83(2015))，并进行进一步的评估(Tajbakhsh,N.,Gurudu,S.R.,Liang,J.M.:Automated polyp detection in colonoscopyvideos using shape and contextinformation.IEEE Trans.Med.Imaging 35,630–644(2016))。
然而，由于其在结肠镜检查框架中的复杂性，自动息肉检测仍然是一个开放的挑战。例如存在固有的帧形成伪像(例如光反射)、不同结构的类似外观(例如流体气泡)、褶皱和息肉等。此外，息肉类型的多样性仍然是训练用于精确检测的一般模型的主要障碍。另外，即使对于相同的息肉，其外观可能在不同的视点之间变化，并且在帧中经常遇到遮挡。基于此，本申请提出了一种新的处理肠图像的方法。
发明内容
有鉴于现有技术的上述缺陷，本发明提供了一种处理肠图像的方法，要解决的技术问题是提高息肉识别的准确率。
为解决上述问题，本发明采取的技术方案是：一种处理肠图像的方法，所述方法包括：
1)提供肠图像；
2)利用神经网络结构处理得到初步提议息肉分割数据；所述神经网络结构包括卷积计算和反卷积计算；
3)通过息肉边界纹理补丁图像和/或非息肉边界纹理补丁图像进一步筛选出所期望的息肉分割数据。
优选地，在所述步骤1)中，所述肠图像是三维图像；在所述步骤2)中，所述神经网络结构还包括递归计算，位于所述卷积计算之后、反卷积计算之前，所述卷积计算的输出被转换成一维矢量输入到所述递归计算。
优选地，所述的息肉边界纹理补丁图像和/或非息肉边界纹理补丁图像的处理包括：提供补丁图像，利用滤波器和卷积运算生成特征向量并聚类生成纹理文本存储于纹理字典。
优选地，所述滤波器采用二维Gabor滤波器。
优选地，所述聚类采用k均值聚类算法。
优选地，所述的息肉边界纹理补丁图像和/或非息肉边界纹理补丁图像的处理还包括：用纹理直方图表示补丁图像。
优选地，所述的用纹理直方图表示补丁图像包括：基于纹理和像素处的滤波器响应之间的最小距离，将补丁图像中的每个像素分配给一个来自所述纹理字典的文本标签，生成文本标签映射，从而实现用纹理直方图表示补丁图像。
优选地，所述卷积计算和反卷积计算基于完全卷积神经网络。
优选地，所述方法还包括：提供训练用息肉边界纹理补丁图像和/或训练用非息肉边界纹理补丁图像训练所述卷积神经网络。
优选地，所述卷积神经网络采用FCN-8s完全卷积神经网络。
本发明的有益效果为：本发明提出了一个结合浅网络编码的先验知识与深度完全卷积神经网络的方法以用于解决息肉在肠镜检查图像中的分割。首先，在本发明中，先验知识使用了纹理特征的提取，其中空间过滤器模拟简单了在初级视觉皮层(V1)上细胞接受域的功能；其次，本发明利用跳跃连接和卷积运算符的有效融合策略将通过浅网络编码的先验知识与从完全卷积神经网络(FCN)学习的分层数据驱动特征耦合，用于息肉在肠镜检查图像的详细分割。和现有深度学习模型比较，本发明的方法具有较好的稳定性，同时该方法不需要超深层的神经网络架构，不需要数据扩充或综合参数调整。另外，结合息肉的分割结果，该模型可以对病人的术前规划进行指导，并且针对每个病人可以形成息肉的可视化；结合息肉的分割结果，该模型还可以对术后结果优劣进行可靠的预测，并且针对病情复发也有一定的预测结果。另外，本发明还可以结合递归神经网络和随机森林分类器分析多模态大肠图像，对大肠息肉、大肠癌进行提前预测，诊断和制定治疗规划，可以形成一整套全自动的集合分析、预测、诊断和治疗规划的平台。基于递归神经网络的分割，第一、考虑到了三维图像上层与层之间的联系与互补，更加符合医生在浏览三维图像上的习惯，即一层层在二维图像上进行勾画和分析，而非直接在三维图像上进行工作；第二、充分利用了计算机资源，直接把整体三维图像读入计算机内存(显卡显存)会极大消耗资源；第三、由于充分利用了计算机资源，算法更加高效。
以下将结合附图对本发明的构思、具体结构及产生的技术效果作进一步说明，以充分地了解本发明的目的、特征和效果。
附图说明
图1为本发明提供的处理肠图像方法的获得初步提议息肉分割数据的第一种优化的具体实施方式的流程图。
图2为本发明提供的处理肠图像方法的进一步筛选出所期望的息肉分割数据的第一种优化的具体实施方式的流程图。
图3为本发明提供的处理肠图像方法的获得初步提议息肉分割数据的第二种优化的具体实施方式的流程图。
具体实施方式
在以下的描述中，参考各实施例对本发明进行描述。然而，本领域的技术人员将认识到可在没有一个或多个特定细节的情况下或者与其它替换和/或附加方法、材料或组件一起实施各实施例。在其它情形中，未示出或未详细描述公知的结构、材料或操作以免使本发明的各实施例的诸方面晦涩。类似地，为了解释的目的，阐述了特定数量、材料和配置，以便提供对本发明的实施例的全面理解。然而，本发明可在没有特定细节的情况下实施。此外，应理解附图中示出的各实施例是说明性表示且不一定按比例绘制。
在本说明书中，对“一个实施例”或“该实施例”的引用意味着结合该实施例描述的特定特征、结构或特性被包括在本发明的至少一个实施例中。在本说明书各处中出现的短语“在一个实施例中”并不一定全部指代同一实施例。
本发明所提供的方法主要包括两个步骤：获得初步提议息肉分割数据，以及进一步筛选出所期望的息肉分割数据。在现有技术中，卷积神经网络通常被用于人工智能图像识别，但如上所述，自动识别的精度不高，识别结果经常会包括非息肉数据。本发明在卷积神经网络技术的基础上对肠图像的息肉识别技术进行了改进，主要改进点包括：在获得初步提议息肉分割数据的过程中，使用递归神经网络
图1示出了本发明提供的处理肠图像方法的获得初步提议息肉分割数据的第一种优化的具体实施方式。
如图1所示，二维结肠镜图像通过神经网络结构得到初步提议息肉分割数据。在该具体实施方式中，神经网络结构包括卷积计算和反卷积计算，所采用的卷积神经网络为完全卷积神经网络。常规卷积神经网络结构由两个主要功能部分组成：多层特征提取器和可训练分类器，前者通过可训练过滤器，激活功能和池化操作来学习相关特征的层次结构。激活操作可以被认为是特征选择过程，而池化操作对于获得空间不变特征是至关重要的。完全卷积神经网络是已被证明是自然图像中语义分割的现有技术的卷积神经网络变体之一。这是一种具有监督学习方式的端到端训练，并且通过像素预测/分类来获得图像分割。通过将常规卷积神经网络网络(例如VGG16)的最后一个完全连接层变换为卷积层，然后将上采样或反卷积层添加到转换后的卷积神经网络网络来实现完全卷积神经网络。使用完全卷积神经网络和纹理替换结肠镜检查框架中的自动息肉分割完全连接的层使网络能够接受任意大小的图像输入。上采样层允许输出激活图与输入图像的大小级别一致，从而实现按像素预测。
在该具体实施方式中，所采用的完全卷积神经网络为FCN-8S(如论文Long,J.,Shelhamer,E.,Darrell,T.:Fully convolutional networks for semanticsegmentation.In:2015IEEE Conference on Computer Vision and PatternRecognition(CVPR),pp.3431–3440(2015)所述)。FCN-8S基于VGG16改进而成。该完全卷积神经网络带有VGG16(卷积神经网络分类网)。VGG16网络由5个堆栈组成，后跟3个变换卷积层，其中每个块包含若干卷积层，ReLU层和最大池层。由于以下原因使用VGG16网：(1)具有较小滤波器(3×3)的两个或三个卷积层的堆叠包含允许网络学习更多辨别特征的非线性。(2)息肉分割任务中训练数据数量有限的问题可以通过转移学习来解决，即使用学习的VGG16模型，该模型是使用丰富的自然图像预训练的。FCN-8s改进了FCN-16s跳过网和FCN-32s粗网。跳过层用于组合深层的粗略预测和浅层的精细尺度预测，并改善分割细节。更具体地，FCN-16s是跳过网，其融合在步幅32处的最后一层上计算的2×上采样预测与来自步骤16处的池4的预测。然后将两个预测的总和上采样回到具有步幅16的图像。以相同的方式，FCN-8s通过融合较浅层(Pool3)的预测以及从Pool4和最后一层导出的两个预测之和的2×上采样来实现。然后将步幅预测上采样回到图像。与FCN-16相比，FCN-8s产生更详细的分段。然而，由于缺乏完全卷积神经网络的空间正规化，可能存在一些误报(或假阴性)。在后面的内容中，本申请将介绍一种新的区域细化框架，该框架使用基于纹理的补丁方式预测来进一步细化从FCN-8s获得的区域。
图2示出了本发明提供的处理肠图像方法的进一步筛选出所期望的息肉分割数据的第一种优化的具体实施方式。
如图2所示，该具体实施方式提供的进一步筛选出所期望的息肉分割数据的步骤基于以上获得的初步提议息肉分割数据。
以前的研究已经证明了息肉边界特征在斑块鉴别中的重要性。在该具体实施方式的方法中，使用纹理补丁表示来建模与息肉边界相关的上下文信息。FCN-8s产生的初步提议息肉分割数据通过基于补丁的分类进行细化。整体框架包含三个阶段：文本生成，补丁描述和随机森林分类。
纹理由它对一组滤波器内核(f1，f2，...fn)的响应表示：
R＝[f1*I(x，y)，f2*I(x，y)，...，fn*I(x，y)] (1)
其中*表示卷积运算，n是滤波器内核的数量。通过在R中聚类滤波器响应来生成一组特征向量。然后使用这些特征向量来计算纹理。作为典型的基于过滤器的特征提取，设计适当的过滤器内核以根据给定的上下文信息提取特定特征是至关重要的。考虑到息肉边界的先验知识，采用二维Gabor滤波器，其被定义为：
其中γ表示内核的空间纵横比，例如如果γ＝1，则内核是圆形的，它与定向参数θ一起工作，定向参数θ确定旋转内核的方向。σ是高斯包络的标准偏差，φ是控制滤波器核的对称性的正弦波的相位，f是中心频率。鉴于息肉边界的特征，我们设计了Gabor滤波器内核，它更可能是边缘检测器，设置σ＝2，γ＝0.5，φ＝π，考虑到息肉可以在任何方向旋转，故φ的取值范围为φ＝[0,15,30,45,60,75,90,105,120,135,150,175]。考虑到本地空间信息，内核的大小为21×21。此外，该具体实施方式采用标准高斯尺度σ＝1来抽取非边界结构，这也对特征表示施加了简单的平滑约束。通过对滤波器响应采用k均值聚类算法生成纹理，然后基于在成员资格和聚类中心之间计算的距离来聚合。k均值聚类使具有相似滤波器响应的像素能够聚集到同一组中。根据k的数量(即k＝32)，我们不仅能够区分边界与非边界像素，还能够区分强边界像素和弱边界像素。纹理生成仅在训练阶段实施。使用基础事实制备了两组贴片(息肉和非息肉)。在训练阶段，二维Gabor滤波器组具有在方程式中定义的12个方向。如果应用于每个集合中的每个补丁，则对来自同一集合中的所有补丁的过滤器响应进行聚类以生成文本。因此，在结肠镜检查框架中使用完全卷积神经网络和Textons711文本有k*c个自动息肉分割，其中k是k均值中的聚类质心数，c是类的数量(即c＝2)，息肉和非息肉)。所有训练好的文本都存储在字典(D)中，该字典将用于补丁描述。
生成文本后，可以使用纹理直方图表示图像补丁。更具体地说，给定一个补丁，它首先与Gabor滤波器组进行卷积以产生滤波器响应，然后基于纹理和像素处的滤波器响应之间的最小距离，将补丁中的每个像素分配给一个来自纹理字典(D)的文本标签li(li∈D，通过此过程，对于给定的补丁，生成文本标签映射。从纹理标签图计算的直方图用于表示补丁。图3右上角显示了两个斑块(息肉和非息肉)的纹理直方图示例。在训练阶段，训练集中的每个斑块都用特克斯直方图表示，然后所有这些直方图都是馈入随即阵列分类器进行补丁分类。结果，训练阶段产生纹理字典和训练的随即阵列分类器模型，然后将其用于息肉分割的细化阶段。
在细化阶段期间，从FCN-8s获得的初步提议息肉分割数据生成图像补丁。每个补丁由来自文本标签图的文本直方图使用与上述相同的方式表示。纹理直方图用于使用训练的随机森林模型将贴片分类为息肉或非息肉贴片。从初始区域候选中移除被分类为非息肉候选的区域候选。最后，通过形态学操作进一步改进了精细分割。
以下对该具体实施方式提供的方法的效果进行验证。
验证试验使用公开可用的CVC-ColonDB数据库，其包含300个大小为500×574像素的结肠镜检查图像。每个图像包含一个息肉。另外提供息肉边界(地面实况图像)的手动描绘，其中息肉和非息肉区域在地面实况图像中被标记为1和0。数据被集拆分为训练和测试集。随机选择200个图像作为训练样本，其余100个图像用于评估该具体实施方式提供的方法。为了训练区域细化框架(即上面所讨论的文本字典生成和训练的随即阵列分类器)，从由地面实况图像引导的训练集产生两个补丁集(息肉和非息肉)。
使用一组标准分段评估度量来评估该具体实施方式提供的方法。这些基于区域的评估度量包括准确性、灵敏度、特异性和Dice相似性系数。平均每个图像的结果以获得与地面实况图像相比的整体自动分割性能。
在该试验中，FCN-8s训练有两类由地面实况图像给出的息肉和非息肉(背景)。MatConvNet被用于训练FCN-8s，MatConvNet常用于深度学习框架。通过随机梯度下降训练，动量为0.9，批量大小为20幅，倾斜率为0.0001。FCN-8s模型由预先训练的VGG16模型初始化。
对于区域细化框架，选择每个类中的文本数量为k＝32。因此，字典中总共有64个文本。随机森林中的树木数量为500。给定平衡补丁训练集，将截止参数设置为0.5。
在测试集上评估该具体实施方式提供的方法。所有单个图像评估均取平均值并显示如下的表1中。
表1
备注：对比方法为论文Bernal,J.,Sanchez,J.,Vilarino,F.:Towards automaticpolyp detection with a polyp appearance model.Pattern Recogn.45,3166–3182(2012)所披露的方法
从表1的结果可以看出，该具体实施方式提供的方法的准确度达到97.54％，灵敏度达到75.66％，特异性达到98.81％，DICE达到0.70。作为比较，仅使用FCN-8s的息肉分割也在表1的第二行中报告的相同数据集上实施和评估。所有指标仅与使用FCN-8的指标相比，可以看到该具体实施方式的方法(FCN-8s+文本补丁)具有更好的分割性能。这可归因于本法显着减少分割的假阳性像素。假阳性减少是息肉检测场景中的重要一步。
从表1的结果还可以看出，该具体实施方式的分割结果与对比方法相比，在灵敏度和DICE方面明显有优势，敏感度为75.66％，DICE为70.14％(对比方法的分别为61.91％和55.33％)。这表明与对比方法相比，该具体实施方式的分割可以检测到更真实的具有较少假阳性区域的阳性区域。
另外，从表1最后一行中每种方法的执行时间的数据可以看出，该具体实施方式的方法(FCN-8s+文本补丁)和FCN-8s都非常快(例如小于0.2s/帧)。将基于纹理的细化的第二步添加到FCN-8s，总计算时间仅增加0.06秒/帧。结肠息肉的快速和准确分割证明了该具体实施方式的方法用于实时临床结肠镜检查的希望。
从表1的结果还可以看出，该具体实施方式的方法比对比方法快得多。这是因为对比方法中使用的分水岭分割需要计算整个图像中相对耗时的梯度。同时，该方法应用预处理步骤以去除镜面反射。然而，在该具体实施方式的方法中，图像中的所有信息(包括光反射)被视为息肉分割的提示，而无需预处理步骤。
图3示出了本发明提供的处理肠图像方法的获得初步提议息肉分割数据的第二种优化的具体实施方式。
如图3所示，在该具体实施方式中，三维结肠CT图像切片通过神经网络结构得到初步提议息肉分割数据。在该具体实施方式中，神经网络结构包括卷积计算、反卷积计算以及递归计算。其中卷积计算和反卷积计算基于完全卷积神经网络(例如论文EvgenyA.Smirnov，Denis M.Timoshenko，Serge N.Andrianov:Comparison of RegularizationMethods for ImageNet Classification with Deep Convolutional NeuralNetworks.Aasri Procedia.6,89-94(2014)中所披露的全连接层)；递归计算基于递归神经网络(例如论文Nicolas Ballas1,Li Yao1,Chris Pal,Aaron Courville1:DelvingDeeper into Convolutional Networks for Learning VideoRepresentations.Published as a conference paper at ICLR 2016中所披露的基于标准Convolutional Gated Recurrent Unit的递归神经网络)。三维结肠CT图像切片的数据通过卷积计算，然后转换成一维矢量输入到递归计算，递归计算可以利用时态数据以得到更为准确的结果，递归计算的结果转化成二位图像数据后经过反卷积计算获得稠密预测(dense prediction)的二维图像分割数据。递归计算从每一帧图像提取矢量，输出最后一帧的分割数据。
常规的递归计算就能够处理时态数据，但是，常规的递归计算的结构不适于处理图像数据，因为权矩阵的尺寸很大，图像的空间关系没有考虑。在该具体实施方式中，权矩阵的尺寸为kh×kw×c×f，其中，kh和kw是内核的高度和宽度，c是输入的通道数，f是过滤器的数量。因为尺寸很小，图像的空间关系可以被考虑，所以这种递归计算更有效。
以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术人员无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。

Claims (10)

1.一种处理肠图像的方法，其特征在于，所述方法包括：
1)提供肠图像；
2)利用神经网络结构处理得到初步提议息肉分割数据；所述神经网络结构包括卷积计算和反卷积计算；
3)通过息肉边界纹理补丁图像和/或非息肉边界纹理补丁图像进一步筛选出所期望的息肉分割数据。
2.如权利要求1所述的处理肠图像的方法，其特征在于，在所述步骤1)中，所述肠图像是三维图像；在所述步骤2)中，所述神经网络结构还包括递归计算，位于所述卷积计算之后、反卷积计算之前，所述卷积计算的输出被转换成一维矢量输入到所述递归计算。
3.如权利要求1所述的处理肠图像的方法，其特征在于，所述的息肉边界纹理补丁图像和/或非息肉边界纹理补丁图像的处理包括：提供补丁图像，利用滤波器和卷积运算生成特征向量并聚类生成纹理文本存储于纹理字典。
4.如权利要求3所述的处理肠图像的方法，其特征在于，所述滤波器采用二维Gabor滤波器。
5.如权利要求3所述的处理肠图像的方法，其特征在于，所述聚类采用k均值聚类算法。
6.如权利要求3所述的处理肠图像的方法，其特征在于，所述的息肉边界纹理补丁图像和/或非息肉边界纹理补丁图像的处理还包括：用纹理直方图表示补丁图像。
7.如权利要求6所述的处理肠图像的方法，其特征在于，所述的用纹理直方图表示补丁图像包括：基于纹理和像素处的滤波器响应之间的最小距离，将补丁图像中的每个像素分配给一个来自所述纹理字典的文本标签，生成文本标签映射，从而实现用纹理直方图表示补丁图像。
8.如权利要求1所述的处理肠图像的方法，其特征在于，所述卷积计算和反卷积计算基于完全卷积神经网络。
9.如权利要求8所述的处理肠图像的方法，其特征在于，所述方法还包括：提供训练用息肉边界纹理补丁图像和/或训练用非息肉边界纹理补丁图像训练所述卷积神经网络。
10.如权利要求8所述的处理肠图像的方法，其特征在于，所述卷积神经网络采用FCN-8s完全卷积神经网络。
CN201811502438.4A 2018-12-10 2018-12-10 处理肠图像的方法 Expired - Fee Related CN109635866B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811502438.4A CN109635866B (zh) 2018-12-10 2018-12-10 处理肠图像的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811502438.4A CN109635866B (zh) 2018-12-10 2018-12-10 处理肠图像的方法

Publications (2)

Publication Number Publication Date
CN109635866A true CN109635866A (zh) 2019-04-16
CN109635866B CN109635866B (zh) 2021-07-23

Family

ID=66072216

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811502438.4A Expired - Fee Related CN109635866B (zh) 2018-12-10 2018-12-10 处理肠图像的方法

Country Status (1)

Country Link
CN (1) CN109635866B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020215807A1 (zh) * 2019-04-25 2020-10-29 天津御锦人工智能医疗科技有限公司 一种基于深度学习提高结肠镜腺瘤性息肉检出率的方法
CN113284146A (zh) * 2021-07-23 2021-08-20 天津御锦人工智能医疗科技有限公司 结直肠息肉图像的识别方法、装置及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107341499A (zh) * 2017-05-26 2017-11-10 昆明理工大学 一种基于无监督分割和elm的织物缺陷检测和分类方法
CN107886127A (zh) * 2017-11-10 2018-04-06 深圳市唯特视科技有限公司 一种基于卷积神经网络的组织病理学图像分类方法
CN108108757A (zh) * 2017-12-18 2018-06-01 深圳市唯特视科技有限公司 一种基于卷积神经网络的糖尿病足部溃疡分类方法
US20180165798A1 (en) * 2016-12-14 2018-06-14 Adobe Systems Incorporated Image hole filling that accounts for global structure and local texture

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180165798A1 (en) * 2016-12-14 2018-06-14 Adobe Systems Incorporated Image hole filling that accounts for global structure and local texture
CN107341499A (zh) * 2017-05-26 2017-11-10 昆明理工大学 一种基于无监督分割和elm的织物缺陷检测和分类方法
CN107886127A (zh) * 2017-11-10 2018-04-06 深圳市唯特视科技有限公司 一种基于卷积神经网络的组织病理学图像分类方法
CN108108757A (zh) * 2017-12-18 2018-06-01 深圳市唯特视科技有限公司 一种基于卷积神经网络的糖尿病足部溃疡分类方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020215807A1 (zh) * 2019-04-25 2020-10-29 天津御锦人工智能医疗科技有限公司 一种基于深度学习提高结肠镜腺瘤性息肉检出率的方法
CN113284146A (zh) * 2021-07-23 2021-08-20 天津御锦人工智能医疗科技有限公司 结直肠息肉图像的识别方法、装置及存储介质
CN113284146B (zh) * 2021-07-23 2021-10-22 天津御锦人工智能医疗科技有限公司 结直肠息肉图像的识别方法、装置及存储介质

Also Published As

Publication number Publication date
CN109635866B (zh) 2021-07-23

Similar Documents

Publication Publication Date Title
Qureshi et al. Medical image segmentation using deep semantic-based methods: A review of techniques, applications and emerging trends
Okur et al. A survey on automated melanoma detection
US20170249739A1 (en) Computer analysis of mammograms
CN107977671A (zh) 一种基于多任务卷积神经网络的舌象分类方法
CN109727243A (zh) 乳腺超声图像识别分析方法及系统
CN109447065A (zh) 一种乳腺影像识别的方法及装置
Albalawi et al. Classification of breast cancer mammogram images using convolution neural network
CN109363698A (zh) 一种乳腺影像征象识别的方法及装置
Petrini et al. Breast cancer diagnosis in two-view mammography using end-to-end trained efficientnet-based convolutional network
Jony et al. Detection of lung cancer from CT scan images using GLCM and SVM
CN114398979A (zh) 一种基于特征解耦的超声图像甲状腺结节分类方法
KR20200108685A (ko) 딥러닝 알고리즘을 이용한 유방의 병변 검출 프로그램
Songsaeng et al. Multi-scale convolutional neural networks for classification of digital mammograms with breast calcifications
CN109671060A (zh) 基于选择性搜索和cnn的计算机辅助乳腺肿块检测方法
CN109635866A (zh) 处理肠图像的方法
Li et al. A dual attention-guided 3D convolution network for automatic segmentation of prostate and tumor
Marrocco et al. Detection of cluster of microcalcifications based on watershed segmentation algorithm
Meng et al. Detection for pulmonary nodules using RGB channel superposition method in deep learning framework
Johora et al. A new strategy to detect lung cancer on CT images
Fraz et al. Retinal vessel segmentation using ensemble classifier of bagged decision trees
Domingues An automatic mammogram system: from screening to diagnosis
Deshpande et al. An experiment with statistical region merging and seeded region growing image segmentation techniques
Gallo et al. WCE video segmentation using textons
Che Improved nonalcoholic fatty liver disease diagnosis from ultrasound data based on deep learning
Wang et al. Bi-ResNet: fully automated classification of unregistered contralateral mammograms

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20200701

Address after: Room 1001-1008, 15 Block 57, Baiyang Street Science Park Road, Hangzhou Economic and Technological Development Zone, Zhejiang Province

Applicant after: HANGZHOU DISHI TECHNOLOGY Co.,Ltd.

Applicant after: DIGONG (HANGZHOU) SCIENCE AND TECHNOLOGY INDUSTRY Co.,Ltd.

Address before: Room 1001-1008, 15 Block 57, Baiyang Street Science Park Road, Hangzhou Economic and Technological Development Zone, Zhejiang Province

Applicant before: HANGZHOU DISHI TECHNOLOGY Co.,Ltd.

TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20200714

Address after: Room 1001-1008, 15 Block 57, Baiyang Street Science Park Road, Hangzhou Economic and Technological Development Zone, Zhejiang Province

Applicant after: HANGZHOU DISHI TECHNOLOGY Co.,Ltd.

Applicant after: DIGONG (HANGZHOU) SCIENCE AND TECHNOLOGY INDUSTRY Co.,Ltd.

Address before: Room 1001-1008, 15 Block 57, Baiyang Street Science Park Road, Hangzhou Economic and Technological Development Zone, Zhejiang Province

Applicant before: HANGZHOU DISHI TECHNOLOGY Co.,Ltd.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20210723