CN107256552A - 息肉图像识别系统及方法 - Google Patents

息肉图像识别系统及方法 Download PDF

Info

Publication number
CN107256552A
CN107256552A CN201710448353.1A CN201710448353A CN107256552A CN 107256552 A CN107256552 A CN 107256552A CN 201710448353 A CN201710448353 A CN 201710448353A CN 107256552 A CN107256552 A CN 107256552A
Authority
CN
China
Prior art keywords
polyp
mrow
probability
msub
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710448353.1A
Other languages
English (en)
Other versions
CN107256552B (zh
Inventor
肖潇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Medical Equipment Co Ltd Cantor
Original Assignee
Chengdu Medical Equipment Co Ltd Cantor
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Medical Equipment Co Ltd Cantor filed Critical Chengdu Medical Equipment Co Ltd Cantor
Priority to CN201710448353.1A priority Critical patent/CN107256552B/zh
Publication of CN107256552A publication Critical patent/CN107256552A/zh
Application granted granted Critical
Publication of CN107256552B publication Critical patent/CN107256552B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Landscapes

  • Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Endoscopes (AREA)
  • Image Processing (AREA)

Abstract

本发明公开一种息肉图像识别系统，包含图像处理器、视频采集器和多个程序模块；所述的程序模块包含图像获取模块、图像识别模块、算法处理模块和提示处理模块；图像获取模块用于将视频逐帧拆解成多个静态图像；图像识别模块用于将静态图像代入深度卷积神经网络识别引擎，以获得多个识别目标的像素级概率图；算法处理模块用于将输入的概率图进行针对性优化，以去除主要目标特征以外的环境干扰，进而判断息肉的位置；提示处理模块用于标示判断出的息肉位置。本发明亦公开该息肉图像识别系统的息肉图像识别方法。本发明的息肉图像识别系统及方法同时具有高敏感度和高特异度，可准确识别内窥镜图像中的息肉位置，显著降低息肉检测的漏识别和误识别率。

Description

息肉图像识别系统及方法
技术领域
本发明涉及一种图像识别系统及方法，还涉及一种对息肉组织具有高敏感度和高特异度的识别系统及方法，属于计算机领域。
背景技术
结直肠癌由死腺瘤性息肉等癌前病变和早癌发展而来，在国内外均为发病率位列前列的恶性肿瘤疾病，预后差。然而，移除腺瘤等癌前病变，可有效避免间期结直肠癌的发生和降低结肠癌的死亡风险；例如对于未发生转移的结肠早癌，内窥镜下的治疗效果良好，5年生存率可达90％以上。因此，如何提高结肠腺瘤及各种病理类型的息肉样病变的临床检出率，是肿瘤医学研究重点关注的研究方向。
Mahmud等人2017年在国际权威医学期刊《Gastroenterology Report》发表的学术论文《Computer Vision and Augmented Reality in Gastrointestinal Endoscopy》中提到，结肠息肉漏检的主要原因包含：息肉没有出现在结肠镜的视野内，以及息肉出现在视野内但被内窥镜操作医师忽视。虽然内窥镜硬件、肠道准备和操作习惯的改进带来结肠息肉检出率的提升，但视觉性漏检却因操作者疲劳、经验、视觉敏感度等多种无法避免的人为缺陷而鲜有解决办法。
Mahmud在论文中指出，在进行内窥镜操作时，若有其他医学专业人员从旁提醒，可使其息肉的检出率提高30％左右。因此，论文总结，通过增强现实(augmented reality；AR)提示息肉和腺瘤的检出率是提高早期癌变内窥镜诊疗效率的重要机会，且提高信噪比和降低误报率需利用深度学习和开发计算机视觉算法来达成。然而，如论文提及，目前没有任何一个可以提供上述功能的软件平台。
关于深度学习在结肠镜息肉检测的应用，Tajbakhsh等人2015年在《IEEE》期刊上发表的《Automatic Polyp Detection in Colonoscopy Videos using an Ensemble ofConvolutional Neural Networks》一文中，使用卷积神经网络(convolutional neuralnetworks；CNN)，示例性地对20例结肠镜视频中的图片帧进行深度卷积神经网络运算。其中，作者同时测量其识别系统的敏感度(即报告为阳性与所有阳性的比率，或称为真阳性)和平均每帧误报数(即假阳总数/(阳性总数+阴性总数))，并利用此两项指标来二维呈现识别系统的性能。其中的平均每帧误报数，间接反应了识别系统的特异度，即报告为阴性与所有阴性的比率。
结果显示，Tajabakhsh的识别系统在平均每帧误报数为0.002时的敏感度为50％；换句话说，当要求误报率很低时，敏感度仅为50％，也就是漏诊率为50％。若希望提高系统的敏感度，比如提升至70％-75％，其平均每帧误报数将会从0.1左右升至0.8，也就是特异度骤降。此外，无论如何改变系统参数，该系统的敏感度都无法超越75％。因此，该系统的最佳应用点应该在平均每帧误报数0.05左右，敏感度仅为65％。
然而，临床医疗需要的是敏感度和特异度能同时超过90％的识别系统；也就是说，单纯基于卷积神经网络(CNN)的识别方法，并无法同时达到高敏感性和高特异性，缺乏临床价值。在现有技术中，识别敏感性高时，CNN的特异性差，导致误识别大量的正常组织，如隆起、明显的血管区域、光线干扰所造成的图像不真实区域等；而在特异性高时，CNN的敏感性又大幅降低，很多息肉不能有效地被辨识出来。
此外，扁平息肉、小息肉、等色息肉和一些具有较高转化为早癌概率的病变，因为不具有明显的隆起或者空间几何特征，现有技术对这些特殊形态的息肉的识别效果差、敏感度低，存在大量的漏识别。其中，部分现有技术过多的关注息肉形态特征，而息肉在画面中会根据息肉自身形态和拍摄角度等多方面因素而变化，无法穷举；而另一些现有技术强调用大规模的卷积深度神经网络CNN来拟合，容易混淆息肉的形态学特征和正常的消化道内形态特征，例如隆起的皱壁等，此方法既无法有效发现扁平息肉，又会增加对正常隆起组织的误报。
“背景技术”段落只是用来帮助了解本发明内容，因此在“背景技术”段落所揭露的内容可能包含一些没有构成所属技术领域中具有通常知识者所知道的习知技术。在“背景技术”段落所揭露的内容，不代表该内容或者本发明一个或多个实施例所要解决的问题，在本发明申请前已被所属技术领域中具有通常知识者所知晓或认知。
发明内容
为解决上述的技术限制，本发明的一个目的是提供一种同时具有高敏感度和高特异度的息肉图像识别系统及方法，能够在内窥镜图像中准确的识别息肉位置并区分非息肉的区域，可显著降低息肉检测的漏识别率和误识别率。
本发明的另一个目的是提供一种可准确有效的识别扁平息肉、小息肉和等色息肉的图像识别系统及方法，能精确地拆解识别目标为若干对象，并控制识别对象的相互影响，达到临床适用的息肉识别效果。
本发明的其他目的和优点可以从本发明所揭露的技术特征中得到进一步的了解。
为达上述之一或部份或全部目的或是其他目的，本发明一方面提供了一种息肉图像识别系统。所述的息肉图像识别系统包含图像处理器、与图像处理器电性连接的视频采集器和由图像处理器执行的多个程序模块。所述的程序模块包含图像获取模块、图像识别模块、算法处理模块和提示处理模块。图像获取模块用于将视频逐帧拆解成多个静态图像。图像识别模块与图像获取模块相通信，用于将图像获取模块输出的静态图像代入深度卷积神经网络识别引擎，以获得多个识别目标的像素级概率图。算法处理模块与图像识别模块相通信，用于将图像识别模块所输入的概率图进行针对性优化，以去除主要目标特征以外的环境干扰，进而判断息肉的位置。提示处理模块与算法处理模块相通信，用于标示判断出的息肉位置。
优选地，所述的息肉图像识别系统与至少一个内窥镜系统电性连接，所述的内窥镜系统与图像获取模块和提示处理模块相通信。
优选地，所述的内窥镜系统是结肠内窥镜系统。
优选地，所述的内窥镜系统是腹腔、食道、胃、鼻腔、气管、支气管、宫腔、阴道的其中至少之一种的内窥镜系统。
优选地，所述的息肉图像识别系统与至少一个显示装置电性连接，所述的显示装置与提示处理模块相通信。
优选地，所述的识别目标特征包含息肉腺管、息肉边缘、正常血管、光干扰和遮挡物，所述的主要目标特征包含息肉腺管和息肉边缘。
优选地，所述的提示处理模块对静态图像的标示包含高亮显示、加框圈注、闪烁显示和音频提示的其中至少之一种。
本发明另一方面还提供了一种息肉图像识别方法，由图像处理器执行，并包括以下步骤：利用环境干扰概率图，对多个主要目标特征概率图分别进行针对性优化，得到主要目标特征的多个概率矩阵；以及合并运算所得的多个概率矩阵，以获得息肉判定概率图。
优选地，所述的主要目标特征概率图包含息肉腺管概率图和息肉边缘概率图，所述的环境干扰概率图包含正常血管概率图、光干扰概率图及遮挡物概率图，所述的概率矩阵包含息肉腺管概率矩阵和息肉边缘概率矩阵。
优选地，所述的对多个主要目标特征概率图分别进行针对性优化的步骤，包括以下步骤：挑选息肉腺管概率图中概率大于一阈值的像素，并将相连的像素归结为一个事件，从而得到息肉腺管事件图；将腺管事件图和正常血管概率图代入第一函数运算，得到第一概率矩阵；将光干扰概率图代入第二函数运算，得到第二概率矩阵；以及将遮挡物概率图和第二概率矩阵代入第三函数，得到第三概率矩阵。其中，第三概率矩阵为息肉腺管概率矩阵，第一函数为
第二函数为
第三函数为
优选地，所述的对多个主要目标特征分别进行针对性优化的步骤包括以下步骤：挑选息肉边缘概率图中概率大于一阈值的像素，并将相连的像素归结为一个事件，从而得到息肉边缘事件图；将息肉边缘事件图和光干扰概率图代入第四函数运算，得到第四概率矩阵；以及将遮挡物概率图和第四概率矩阵代入第五函数，得到第五概率矩阵。其中，第五概率矩阵为息肉边缘概率矩阵，第四函数为
第五函数为
优选地，所述的合并运算所得的多个概率矩阵的步骤，包括以下步骤：将息肉腺管概率矩阵和息肉边缘概率矩阵代入第六函数，得到息肉判定概率图。其中，第六函数为
本发明抛弃了现有技术中从外观形态的拟合来识别息肉的方法，而从像素级的息肉细节特征(如腺管和息肉边缘)入手，并使用数学手段消除正常血管、反光和遮挡物对息肉识别造成的干扰，进而计算出符合主要息肉细节特征的区域，生成完整的息肉概率图像。
本发明的有益效果在于：本发明运用最先进的人工智能算法模型，将深度卷积神经网络作为针对息肉特征和干扰因素的识别工具，再针对所得的识别目标像素级概率图进行迭代处理，进而达到在结肠内窥镜检查中实时识别、锁定、追踪息肉的效果，并利用增强现实技术呈现图像提示，从而根本性上的解决视觉性的息肉漏检和误检问题。经多次临床验证，本发明对内窥镜图像中息肉的识别，可实现敏感度和特异度都超过90％的优越效果。此外，本发明对于现有技术难以判定的扁平息肉，同样具有高敏感度和高特异度的识别效果。
为让本发明的上述和其它目的、特征和优点能更明显易懂，下文特举优选实施例，并配合附图，作详细说明如下。
附图说明
图1为本发明的息肉图像识别系统的实施示意图。
图2为本发明的息肉图像识别系统的另一实施示意图。
图3为本发明的深度卷积神经网络识别引擎的建立方法示意图。
图4为本发明的图像识别模块的实施示意图。
图5为本发明的算法处理模块的实施示意图。
图6-9为本发明的息肉图像识别系统的辨识效果曲线图。
图10-15为本发明的息肉图像识别系统的辨识效果对比图。
具体实施方式
有关本发明的前述及其它技术内容、特点与功效，在以下配合参考附图中的一个优选实施例的详细说明中，将可清楚的呈现。以下实施例中所提到的方向用语，例如：上、下、左、右、前或后等，仅是参考附图的方向。因此，使用的方向用语是用来说明并非用来限制本发明。
请参照图1，本发明的息肉图像识别系统的实施示意图。如图1所示，本发明的息肉图像识别系统100包含图像获取模块110、图像识别模块120、算法处理模块130和提示处理模块140。本发明的息肉图像识别系统100的配置，以使用不低于1000核图像处理器(GPU)的x86架构为佳，例如使用Nvidia GTX 1060系列、GTX 1070系列、GTX 1080、GTX TITAN X系列的图形处理器；但本发明不以此为限。
本发明的息肉图像识别系统100可外接至少一个内窥镜系统101。在本实施例中，与本发明的息肉图像识别系统100连接的内窥镜系统101可以是用于临床检测的内窥镜系统，如奥林巴斯(Olympus)、富士(Fuji)、卡尔史托斯(Karl Storz)、EndoChoice等生产商所提供的结肠内窥镜系统；在其他实施例中，上述的内窥镜系统101还可以是用于检测腹腔、食道、胃、鼻腔、气管、支气管、宫腔、阴道或其他体腔或孔道的内窥镜系统，但本发明不以此为限。
本发明的息肉图像识别系统100的图像获取模块110,与上述的内窥镜系统101相通信，用于接收由内窥镜系统101输出的实时视频流，并对所接收的视频进行逐帧拆解，再将拆解后的多个静态图像依序输出给图像识别模块120。在本实施例中，本发明的息肉图像识别系统100与结肠内窥镜系统连接；也就是说，图像获取模块110与结肠内窥镜系统相通信。通过HDMI、USB、VGA、S端子、CVBS复合视频信号、SDI、DVI等标准的视频端口，结肠内窥镜系统将临床检测所获取的实时视频流输出给图像获取模块110，图像获取模块110将接收的视频逐帧拆解成静态图像，并依序输出给图像识别模块120。本发明的图像获取模块110可利用通用的视频采集卡来实现，如AJA、Osprey、同三维、宝狮等品牌的视频卡；在实际应用中，使用者可依照内窥镜实际拍摄并输出的视频流的格式、帧数、分辨率等参数来选择性能和技术指标相匹配的视频采集卡。在一些实施例中，本发明的图像获取模块110还可利用独立外接的视频采集装置来实现。
图像识别模块120与图像获取模块110相通信，用于将图像获取模块110输出的静态图像代入深度卷积神经网络识别引擎，以获得多个识别目标的概率图。利用国际上通用的卷积神经网络(CNN)技术，本发明实施例的图像识别模块120采用基于VGG网络结构在SegNet架构中实现的深度分割模型，将一定数量的已人工标注了息肉目标识别特征的组织内窥图像，代入深度卷积神经网络中，以得到具备识别和分割息肉多个目标识别特征的能力的多个卷积神经网络；从而，当向图像识别模块120输入正常无标记的组织内窥图像，其中的多个卷积神经网络便会分别给出对应息肉不同的目标识别特征的多个概率图。
请参照图3，其以本发明的息肉图像识别系统100连接结肠内窥镜系统的实施例为例，示意本发明中深度卷积神经网络识别引擎的建立方法，其包含以下步骤S21-S23：步骤S21－使用新的图层在结肠内窥图像中人工标注识别目标，制作具有准确标注息肉的结肠内窥图像；其中，准确标注的图像的数量可为100-4000张，但本发明不以此为限。步骤S22－分别对每张已准确标注识别目标的结肠内窥图像进行拉伸、缩小、调色等变换。上述的准确标注的图像和变换后的图像，共同组成多张训练样本图像；其数量可为300-12000张，但本发明不以此为限。步骤S23－将训练样本图片代入深度卷积神经网络，得到对特定目标特征具有识别能力的深度卷积神经网络识别引擎。
在本实施例中，图像识别模块120的识别目标特征包含息肉腺管、息肉边缘、正常血管、光干扰及遮挡物(如粪便、血液、食物残渣、器械等)；因此，本实施例针对息肉腺管、息肉边缘、正常血管、光干扰及遮挡物等五个识别目标，分别依照上述步骤S21-S23代入SegNet深度卷积神经网络，便可获得对息肉腺管、息肉边缘、正常血管、光干扰及遮挡物具有识别和分割能力的五个目标特征识别引擎。应了解的是，本实施例中的五个识别目标特征仅为举例说明之用，并非用以限制本发明的范围；在其他实施例中，还可识别如皱壁皱缩状态、炎症反应、溃疡、出血等其他识别目标；在实际应用中，使用者可依照实际识别物体特征调整识别目标，以有效提高识别正确率。
图像识别模块120储存有上述的多个深度卷积神经网络识别引擎；因此，当来自图像获取模块110的结肠内窥图像或视频帧输入图像识别模块120，图像或视频帧将被分别代入识别引擎，而生成多个针对不同识别目标特征的概率图。如图4所示，本实施例中的图像识别模块121将接收到的无标注结肠内窥原图像，分别代入可识别和分割息肉腺管的识别引擎CNN1、可识别和分割正常血管的识别引擎CNN2、可识别和分割光干扰的识别引擎CNN3、可识别和分割遮挡物的识别引擎CNN4以及可识别和分割息肉边缘的识别引擎CNN5，得到针对每张图像的每个像素的息肉腺管概率图P1、正常血管概率图P2、光干扰概率图P3、遮挡物概率图P4以及息肉边缘概率图P5。
应了解的是，虽然利用卷积神经网络知识框架下得到的的识别引擎对目标特征的识别和分割具有一定的准确性，然而，现有技术所建立的识别引擎的识别能力并无法满足临床诊断中所要求的高敏感性和高特异性，难以同时降低漏识别率和错识别率。因此，本发明的图像识别系统及方法将单一识别目标拆分成多个子目标，并利用子目标相辅相成和互斥的关系搭配一系列创新的算法处理，达到对识别目标同时具有高敏感性和高特异性的技术效果。
算法处理模块130与图像识别模块120相通信，用于将图像识别模块120所输入的像素级的概率图进行多条线索的算法处理，以去除主要目标特征以外的环境干扰，进而判断息肉的正确位置。具体而言，本发明实施例的算法处理模块130，在接收了图像识别模块120所提供的像素级息肉腺管概率图P1、正常血管概率图P2、光干扰概率图P3、遮挡物概率图P4及息肉边缘概率图P5之后，将锁定其中的息肉腺管和息肉边缘作为主要的特征对象，并去除正常血管、反光和遮挡物对识别效果的干扰，从而得到最终的息肉判定概率。
请参照图5，本发明的算法处理模块的实施流程示意图。如图5所示，本发明实施例的算法处理模块122对目标特征概率图的处理步骤，如下：
步骤S410：利用环境干扰概率图，对多个主要识别特征分别进行针对性优化，得到主要识别特征的多个概率矩阵；以及
步骤S420：合并运算主要识别特征的多个概率矩阵，以得到息肉判定概率图。
在本实施例中，识别特征包含前述的息肉腺管和息肉边缘等两个主要识别目标特征以及正常血管、光干扰和遮挡物等三个环境识别目标特征；因此，为获得主要目标特征的概率矩阵，算法处理模块122将分别使用正常血管概率图P2、光干扰概率图P3和遮挡物概率图P4，针对性优化息肉腺管概率图P1，得到息肉腺管矩阵T3(步骤S411)以及使用光干扰概率图P3和遮挡物概率图P4，针对性优化息肉边缘概率图P2，得到息肉边缘矩阵T4(步骤S412)。最后，算法处理模块122再合并运算得到的息肉腺管概率矩阵T3和息肉边缘概率矩阵T4，以获得最终的息肉判定概率图P6(步骤S421)。
更具体地，针对息肉腺管概率进行优化的步骤S411，包含以下步骤S411a-411d：
步骤S411a：挑选息肉腺管概率图P1中概率大于一阈值的像素，并将相连的像素归结为一个事件，从而得到事件图Q1。其中，所述的阈值以0.9为佳，但本发明不以此为限；在实际应用中，使用者可依照实际识别需求调整像素挑选阈值，以有效突出主要目标特征在概率图中的聚集分布。
步骤S411b：将正常血管概率图P2和上述的腺管事件图Q1代入F1函数(公式1)运算，得到概率矩阵T1。
其中，Q1代表腺管事件分布，P2是血管概率分布。(i,j)表示像素坐标，i表示横坐标，j表示纵坐标，Σ为多项式求和运算，n表示项数。F1函数的主要功能在于减弱分支血管附近的腺管判定概率。
步骤S411c：将光干扰概率图P3代入F2函数(公式2)运算，得到概率矩阵T2。
其中，T1是由步骤S411b所得到的关于腺管事件和血管概率分布的概率矩阵，P3是光干扰概率分布，(i,j)表示像素坐标，i表示横坐标，j表示纵坐标，Σ为多项式求和运算，n表示项数。F2函数的主要功能在于调整腺管的事件分布、填充和增强光干扰处的腺管分布，以对矩阵T1进行填充和增强。
步骤S411d：将遮挡物概率图P4和概率矩阵T2代入F3函数(公式3)，得到概率矩阵T3。
其中，T2是由步骤S411c所得到的关于腺管事件、血管概率和光干扰概率的概率矩阵，P4是遮挡物概率分布，(i,j)表示像素坐标，i表示横坐标，j表示纵坐标，Σ为多项式求和运算，n表示项数。F3函数使用矩阵T2的结果对遮挡物概率P4进行分类处理；也就是说，F3函数的主要功能在于在有腺管分布的单连通区域内填充和增强遮挡物处的腺管分布以及在无腺管分布区域去除遮挡物概率分布。
同理，针对息肉边缘概率进行优化的步骤S412，包含以下步骤S412a-412c：
步骤S412a：将息肉边缘的概率图P5中的挑选出概率大于一阈值的像素，并将相连的像素归结为一个事件，从而得到事件图Q5。其中，所述的阈值以0.9为佳，但本发明不以此为限；在实际应用中，使用者可依照实际识别需求调整像素挑选阈值，以以有效突出主要目标特征在概率图中的聚集分布。
步骤S412b：将息肉边缘事件图Q5和光干扰概率图P3代入F4函数(公式4)运算，得到概率矩阵T4。
其中，Q5代表息肉边缘分布，P3是光干扰概率分布，Ym表示(i,j)的集合空间；是特征函数，其表示(i,j)在Ym上取值时，特征值为1，(i,j)不在Ym上取值时，特征值为0；∫∫didj代表对坐标(i,j)在指定空间(双积分号下方的内容)按照指定函数(本例中为上述特征函数)进行积分运算。F4函数的主要功能在于用光干扰的概率分布调整息肉边缘事件分布，以减轻可能误识别的光斑边缘。
其中，Q5代表息肉边缘分布，P3是光干扰概率分布。F4函数的主要功能在于用光干扰的概率分布调整息肉边缘事件分布，以减轻可能误识别的光斑边缘。
步骤S412c：将遮挡物概率图P4和概率矩阵T4代入F5函数(公式5)，得到概率矩阵T5。
其中，T4是由步骤S412b所得到的关于息肉边缘事件和光干扰分布的概率矩阵，P4是遮挡物概率分布，Zk表示(i,j)的集合空间；是特征函数，其表示(i,j)在Zk上取值时，特征值为1，(i,j)不在Ym上取值时，特征值为0；∫∫didj代表对坐标(i，j)在指定空间(双积分号下方的内容)按照指定函数(本例中为上述特征函数)进行积分运算。F5函数的主要功能在于利用遮挡物的概率分布，矫正息肉边缘的识别，减少因遮挡物边缘所造成的息肉边缘误识别的可能性。
而最后，合并运算息肉腺管和息肉边缘的概率矩阵T3、T5的步骤S421，使用F6函数(公式6)来得到最终的息肉判定结果概率图P6。
其中，T3是由步骤S411d所得到的关于腺管事件、血管概率、光干扰概率和遮挡物概率分布的概率矩阵，T5是由步骤S412c所得到的关于息肉边缘事件、光干扰概率和遮挡物概率分布的概率矩阵，(i,j)表示像素坐标，i表示横坐标，j表示纵坐标，Σ为多项式求和运算，n表示项数。F6函数的主要功能在于综合息肉腺管和息肉边缘的事件分布，保留两者中最显著的特征概率，以有效判定图像中息肉的最可能像素分布。
请再次参照图1。如图1所示，本发明息肉图像识别系统100的提示处理模块140与算法处理模块130相通信，用于标示图像中的目标识别对象的位置。本实施例的提示处理模块140在接收由算法处理模块130所输入的息肉概率图P6之后，将选择其中概率超过一阈值的像素点建立新图层,并将对新建的图层进行处理，以达到提示的效果。其中，所述的阈值以90％为佳，但本发明不以此为限；在实际应用中，使用者可依照实际临床需求和使用目的调整像素挑选阈值，以达到合适的识别敏感度和特异度。
为有效提示使用者，提示处理模块140将对新建图层的处理可包含高亮显示、加框圈注、闪烁显示和音频提示等其中之一种方法或其中之两种方法以上的组合；但本发明不以此为限。具体而言，高亮显示的方法可为，将新图层中的像素点使用高亮的颜色标注，并与原图层合并后输出显示；加框圈注的方法可为，绘制椭圆形或多边形，将新图层中至少一阈值(例如95％)的像素点圈入，并加粗该椭圆形或多边形的边缘，与原图层合并后输出显示；而闪烁显示的方法可为，对新图层的内容进行隔帧添加，并与原图层合并后输出，以在视频流中构成闪烁效果。
在图1所示的实施例中，提示处理模块140可直接与前述的内窥镜系统101电性连接，以利用内窥镜系统的原装显示器向操作者实时提示视频中的结肠息肉或其他目标识别对象。在其他实施例中，如图2所示，提示处理模块140还可外接其他通用的显示装置102，与内窥镜系统101的原装显示器同步使用,但本发明不以此为限。此外，提示处理模块140还可外接音频装置(图未示)，用于呈现音频提示，以更有效的发挥实时提示的功能。
同时，提示处理模块140还可存储相应的数据和分析结果图层，以备后续分析之用。或者，提示处理模块140可外接其他读取装置，如医院的PACS系统、内窥镜存储系统、移动硬盘、医务工作站等，以供使用者于手术后再次读取图层以进行分析。
本发明的息肉图像识别系统及方法同时具备高敏感性和高特异性的技术优势，且经过多次严格的临床验证，拥有大量的实验数据支撑。例如，当采用1000多位病人的超过24000张结肠内窥镜图像进行测试，其中含有息肉的结肠图像占比约20％，得到如图6-9所示的息肉辨识效果的ROC曲线；其中的AUC值代表曲线下面积，该值越接近于1，说明系统的识别性能越好。
由图6-9可知，本发明的息肉图像识别系统及方法对于所有息肉、扁平息肉、小息肉及等色息肉的识别敏感度和特异度均大于90％，辨识能力显著优于现有技术，且辨识效果非常稳定。其中，针对所有息肉的辨识效果，如图6所示，当其敏感度为92.3％时，特异度高达97.0％，每帧误报量为0.0298；若追求更高的敏感度，如94.9％，则每帧误报量为0.0776，但特异度仍可达92.0％。而对于扁平息肉的识别，如图7所示，本发明的息肉图像识别系统同样具有高度的敏感性和特异性；敏感度为91.1％时，特异度为94.6％，平均每帧误报数为0.0559。
此外，对于直径小于0.2cm的小息肉识别，如图8所示，本发明的息肉图像识别系统的识别敏感度为94.8％时，特异度为92.0％，平均每帧误报数为0.0795；其效果与所有息肉组(图6)的结果基本一致，AUC值亦一致。而对等色息肉的识别，如图9所示，本发明的息肉图像识别系统对于等色息肉的识别敏感度为94.9％时，特异度为92.0％，平均每帧误报率为0.0803；其与所有息肉组(图6)的结果基本一致，AUC值一致。
请参照图10-15。在实际临床验证中，本发明的息肉图像识别系统及方法面对多种高难度的识别场景，仍可准确的判定息肉的位置。本发明的息肉图像识别系统及方法通过高针对性的算法处理，在遮挡情况不是非常严重时，仍然能够准确的识别息肉位置，且判定结果与受过专业训练的医师的临床诊断结果一致。
如图10A所示，由于结肠的环境结构非常复杂，当肠道充气不足，常出现皱襞、褶皱、隆起等外观疑似息肉的形态，导致在现有技术中经常产生误判或漏检的情况。然而，如图10B所示的息肉判断概率信号图，成功显示了两处高息肉概率的信号；将该信号与内窥镜原图合并输出后，如图10D所示，本发明判断的两处息肉区域与受过专业训练的医生所识别的结果(图10C)达到一致，且没有出现误报。此结果证明了本发明的息肉图像识别系统及方法可成功的避开结构性的干扰，准确的判定息肉的位置。
此外，当粪便、器械、血液、强光等常见遮挡物出现在内窥镜图像中，或当遮挡物覆盖了息肉的边缘时，现有技术经常发生误判或漏检的情况。然而，如图11A所示，当内窥镜图像中存在粪便，遮挡了息肉和息肉的边缘部分，本发明仍可判断出明显的区域息肉概率信号(图11B)。与内窥镜原图合并输出后，如图11D所示，系统判断的息肉区域与医生所识别的结果(图11C)一致，且没有出现误报。同样地，当内窥镜图像中出现有色液体干扰，且镜头前出现器械干扰(图12A)，本发明仍可判断出明显的区域息肉概率信号(图12B)，且判断出的息肉区域(图12D)与医生所识别的结果(图12C)一致，没有出现误报。而当内窥镜图像中存在血液，覆盖了息肉的部分表面和边缘(图13A)，本发明仍可判断出明显的区域息肉概率信号(图13B)，指出的息肉区域(图13D)与医生所识别的结果(图13C)一致，且没有出现误报。
承上，当内窥镜图像一侧有强光干扰，息肉被皱壁部分遮挡，且位于黑暗之中(图14A)，本发明仍可判断出明显的区域息肉概率信号(图14B)，而判断出的息肉区域(图14D)与医生所识别的结果(图14C)一致，且没有出现误报。另一方面，当内窥镜图像有强光干扰、血液痕迹、手术创面，且有类似息肉的隆起，但不存在息肉(图15A)，本发明判断出的息肉概率信号(图15B)仅有一微弱的信号点，不足以构成息肉判定；因此，本发明判断出的息肉判断结果(图15D)与医生所识别的结果(图15C)一致，为无息肉。
在至少一个实施例中，本发明息肉图像识别系统中的各模块可以包括配置为执行由适当介质提供的所需程序的电路。例如，息肉图像识别系统中的各模块可以实现为一个或多个处理器和/或配置为执行可执行指令(例如包括软件和/或固件指令)的其他结构，和/或硬件电路。息肉图像识别系统中的各模块的示例实施例包括单独的硬件逻辑、PGA(可编程门阵列)、FPGA(现场可编程门阵列)、ASIC(专用集成电路)、状态机和/或其他结构，或者与处理器的组合。息肉图像识别系统中的各模块的这些例子只是示例性的，也可以采用其他的配置。
在一些实施例中，息肉图像识别系统中的各模块可以包括存储电路或外部存储电路(未示出)。存储电路配置为存储程序，例如可执行代码或指令(例如，软件和/或固件)、电子数据、数据库或其他数字信息，并且该存储电路可以包括处理器可用介质。处理器可用介质可以实现为能够包含、存储或维持程序、数据和/或数字信息的任意计算机程序产品或制品，其中所述程序、数据和/或数字信息为包括示例实施例中的息肉图像识别系统中的各模块的指令执行系统所使用或与该指令执行系统相关。例如，示例处理器可用介质可以包括例如电子、磁性、光学、电磁、红外或半导体介质之类的物理介质中的任意一种。处理器可用介质的一些更具体的例子包括但不限于便携式计算机磁盘，例如软盘、压缩(zip)磁盘、硬盘驱动器、随机访问存储器、只读存储器、闪速(flash)存储器、高速缓冲存储器(cachememory)和/或能够存储程序、数据或其他数字信息的其他配置。
可以使用存储在以上描述的适当的存储电路中并且配置为控制适当的息肉图像识别系统中的各模块的程序来实现本文描述的至少一些实施例或方案。例如，可以通过适当的介质(例如，包括实现在制品中的介质)来提供程序。
综上所述，本发明的息肉图像识别系统及方法抛弃了现有技术中从外观形态的拟合来识别息肉的方法，将深度卷积神经网络作为针对息肉特征和干扰因素的识别工具，再针对所得的识别目标像素级概率图进行迭代处理，进而显著提升了各种形态的息肉的识别敏感度和特异度，为视觉性的息肉漏检和误检问题提供了有效的解决方法。本发明还利用增强现实技术来呈现图像提示，实现了在结肠内窥镜检查中实时识别、锁定、追踪息肉的技术效果。
惟以上所述者，仅为本发明的优选实施例而已，当不能以此限定本发明实施的范围，即，大凡依本发明申请专利范围及发明说明内容所作的简单的等效变化与修饰，皆仍属本发明专利涵盖的范围内。另外本发明的任一实施例或申请专利范围无须达成本发明所揭露的全部目的或优点或特点。此外，摘要部分和标题仅是用来辅助专利文件搜寻之用，并非用来限制本发明的权利范围。
说明书中所涉及的“一实施例”、“实施例”、“示例性实施例”等，其含义是结合实施例描述的特定特征、结构、或特性均包括在本发明的至少一个实施例中。说明书中出现于各处的这些短语并不一定都涉及同一个实施例。此外，当结合任何实施例描述特定特征、结构或特性时，都认为其落在本领域技术人员结合其它实施例可以实现这些特征、结构或特性的范围内。
尽管对实施例的描述中参照了多个示例性实施例，但应当理解的是，在本公开内容的原理的精神和范围之内，本领域技术人员完全可以设计出许多其它改型和实施例。尤其是，可以在该公开、附图和所附权利要求的范围内对组件和/或附件组合设置中的排列进行多种变化和改型。除组件和/或排列的变化和改型之外，其它可选择的应用对于本领域技术人员而言也是显而易见的。

Claims (12)

1.一种息肉图像识别系统，其特征在于，所述的息肉图像识别系统包含图像处理器、与图像处理器电性连接的视频采集器和由图像处理器执行的多个程序模块，所述的程序模块包含图像获取模块、图像识别模块、算法处理模块和提示处理模块，
图像获取模块用于将视频逐帧拆解成多个静态图像；
图像识别模块与图像获取模块相通信，用于将图像获取模块输出的静态图像代入深度卷积神经网络识别引擎，以获得多个识别目标的像素级概率图；
算法处理模块与图像识别模块相通信，用于将图像识别模块所输入的概率图进行针对性优化，以去除主要目标特征以外的环境干扰，进而判断息肉的位置；
提示处理模块与算法处理模块相通信，用于标示判断出的息肉位置。
2.根据权利要求1所述的息肉图像识别系统，其特征在于，所述的息肉图像识别系统与至少一个内窥镜系统电性连接，所述的内窥镜系统与图像获取模块和提示处理模块相通信。
3.根据权利要求2所述的息肉图像识别系统，其特征在于，所述的内窥镜系统是结肠内窥镜系统。
4.根据权利要求2所述的息肉图像识别系统，其特征在于，所述的内窥镜系统是腹腔、食道、胃、鼻腔、气管、支气管、宫腔、阴道的其中至少之一种的内窥镜系统。
5.根据权利要求1所述的息肉图像识别系统，其特征在于，所述的息肉图像识别系统与至少一个显示装置电性连接，所述的显示装置与提示处理模块相通信。
6.根据权利要求1所述的息肉图像识别系统，其特征在于，所述的识别目标特征包含息肉腺管、息肉边缘、正常血管、光干扰和遮挡物，所述的主要目标特征包含息肉腺管和息肉边缘。
7.根据权利要求1所述的息肉图像识别系统，其特征在于，所述的提示处理模块对静态图像的标示包含高亮显示、加框圈注、闪烁显示和音频提示的其中至少之一种。
8.一种息肉图像识别方法，适用于根据权利要求1-7中任一项所述的息肉图像识别系统，其特征在于，所述的息肉图像识别方法由图像处理器执行，并包括以下步骤：
利用环境干扰概率图，对多个主要目标特征概率图分别进行针对性优化，得到主要目标特征的多个概率矩阵；以及
合并运算所得的多个概率矩阵，以获得息肉判定概率图。
9.根据权利要求8所述的息肉图像识别方法，其特征在于，所述的主要目标特征概率图包含息肉腺管概率图和息肉边缘概率图，所述的环境干扰概率图包含正常血管概率图、光干扰概率图及遮挡物概率图，所述的概率矩阵包含息肉腺管概率矩阵和息肉边缘概率矩阵。
10.根据权利要求9所述的息肉图像识别方法，其特征在于，所述的对多个主要目标特征概率图分别进行针对性优化的步骤，包括以下步骤：
挑选息肉腺管概率图中概率大于一阈值的像素，并将相连的像素归结为一个事件，从而得到息肉腺管事件图；
将腺管事件图和正常血管概率图代入第一函数运算，得到第一概率矩阵；
将光干扰概率图代入第二函数运算，得到第二概率矩阵；以及
将遮挡物概率图和第二概率矩阵代入第三函数，得到第三概率矩阵，
其中第一函数为
<mrow> <msub> <mi>T</mi> <mn>1</mn> </msub> <mo>=</mo> <msub> <mi>F</mi> <mn>1</mn> </msub> <mrow> <mo>(</mo> <msub> <mi>Q</mi> <mn>1</mn> </msub> <mo>,</mo> <msub> <mi>P</mi> <mn>2</mn> </msub> <mo>)</mo> </mrow> <mo>=</mo> <mfenced open = "{" close = ""> <mtable> <mtr> <mtd> <mrow> <msub> <mi>Q</mi> <mn>1</mn> </msub> <mrow> <mo>(</mo> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mo>)</mo> </mrow> </mrow> </mtd> <mtd> <mrow> <mi>f</mi> <mi>o</mi> <mi>r</mi> <mi> </mi> <msub> <mi>Q</mi> <mn>1</mn> </msub> <mrow> <mo>(</mo> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mo>)</mo> </mrow> <mo>&gt;</mo> <mn>0</mn> <msub> <mi>andP</mi> <mn>2</mn> </msub> <mrow> <mo>(</mo> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mo>)</mo> </mrow> <mo>&lt;</mo> <mn>0.4</mn> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <msub> <mi>Q</mi> <mn>1</mn> </msub> <mrow> <mo>(</mo> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mo>)</mo> </mrow> <mo>&amp;CenterDot;</mo> <mo>&amp;lsqb;</mo> <mn>1</mn> <mo>+</mo> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>n</mi> <mo>=</mo> <mn>1</mn> </mrow> <mn>20</mn> </munderover> <msup> <mrow> <mo>(</mo> <mo>-</mo> <mn>1</mn> <mo>)</mo> </mrow> <mi>n</mi> </msup> <msubsup> <mi>P</mi> <mn>2</mn> <mi>n</mi> </msubsup> <mrow> <mo>(</mo> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mo>)</mo> </mrow> <mo>/</mo> <mi>n</mi> <mo>!</mo> <mo>&amp;rsqb;</mo> </mrow> </mtd> <mtd> <mrow> <mi>f</mi> <mi>o</mi> <mi>r</mi> <mi> </mi> <msub> <mi>Q</mi> <mn>1</mn> </msub> <mrow> <mo>(</mo> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mo>)</mo> </mrow> <mo>&gt;</mo> <mn>0</mn> <msub> <mi>andP</mi> <mn>2</mn> </msub> <mrow> <mo>(</mo> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mo>)</mo> </mrow> <mo>&amp;GreaterEqual;</mo> <mn>0.4</mn> </mrow> </mtd> </mtr> <mtr> <mtd> <mn>0</mn> </mtd> <mtd> <mrow> <mi>f</mi> <mi>o</mi> <mi>r</mi> <mi> </mi> <msub> <mi>Q</mi> <mn>1</mn> </msub> <mrow> <mo>(</mo> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mo>)</mo> </mrow> <mo>=</mo> <mn>0</mn> </mrow> </mtd> </mtr> </mtable> </mfenced> </mrow> ，
其中，Q1表示腺管事件分布，P2表示血管概率分布，(i,j)表示像素坐标，i表示示横坐标，j表示纵坐标，Σ表示多项式求和运算，n表示项数，
第二函数为
<mrow> <msub> <mi>F</mi> <mn>2</mn> </msub> <mrow> <mo>(</mo> <msub> <mi>T</mi> <mn>1</mn> </msub> <mo>,</mo> <msub> <mi>P</mi> <mn>3</mn> </msub> <mo>)</mo> </mrow> <mo>=</mo> <msub> <mi>T</mi> <mn>1</mn> </msub> <mrow> <mo>(</mo> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mo>)</mo> </mrow> <mo>&amp;CenterDot;</mo> <mo>&amp;lsqb;</mo> <mn>1</mn> <mo>+</mo> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>n</mi> <mo>=</mo> <mn>1</mn> </mrow> <mn>100</mn> </munderover> <msup> <mn>1.2</mn> <mi>n</mi> </msup> <msubsup> <mi>P</mi> <mn>3</mn> <mi>n</mi> </msubsup> <mrow> <mo>(</mo> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mo>)</mo> </mrow> <mo>/</mo> <mi>n</mi> <mo>!</mo> <mo>&amp;rsqb;</mo> </mrow> ，
其中，T1表示由第一函数所得到的关于腺管事件和血管概率分布的概率矩阵，P3是光干扰概率分布，(i,j)表示像素坐标，i表示横坐标，j表示纵坐标，Σ为多项式求和运算，n表示项数，
第三函数为
<mrow> <msub> <mi>F</mi> <mn>3</mn> </msub> <mrow> <mo>(</mo> <msub> <mi>T</mi> <mn>2</mn> </msub> <mo>,</mo> <msub> <mi>P</mi> <mn>4</mn> </msub> <mo>)</mo> </mrow> <mo>=</mo> <msub> <mi>T</mi> <mn>2</mn> </msub> <mrow> <mo>(</mo> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mo>)</mo> </mrow> <mo>&amp;CenterDot;</mo> <mo>&amp;lsqb;</mo> <mn>1</mn> <mo>+</mo> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>n</mi> <mo>=</mo> <mn>1</mn> </mrow> <mn>200</mn> </munderover> <msup> <mn>1.6</mn> <mi>n</mi> </msup> <msubsup> <mi>P</mi> <mn>3</mn> <mi>n</mi> </msubsup> <mrow> <mo>(</mo> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mo>)</mo> </mrow> <mo>/</mo> <mi>n</mi> <mo>!</mo> <mo>&amp;rsqb;</mo> </mrow> ，
其中，T2是由第二函数所得到的关于腺管事件、血管概率和光干扰概率的概率矩阵，P4是遮挡物概率分布，(i,j)表示像素坐标，i表示横坐标，j表示纵坐标，Σ为多项式求和运算，n表示项数，
其中，第三概率矩阵为息肉腺管概率矩阵。
11.根据权利要求9所述的息肉图像识别方法，其特征在于，所述的对多个主要目标特征分别进行针对性优化的步骤包括以下步骤：
挑选息肉边缘概率图中概率大于一阈值的像素，并将相连的像素归结为一个事件，从而得到息肉边缘事件图；
将息肉边缘事件图和光干扰概率图代入第四函数运算，得到第四概率矩阵；以及
将遮挡物概率图和第四概率矩阵代入第五函数，得到第五概率矩阵，
其中第四函数为
，
其中，Q5代表息肉边缘分布，P3是光干扰概率分布，Ym表示坐标(i,j)的集合空间；是特征函数，其表示坐标(i,j)在Ym上取值时，特征值为1，坐标(i,j)不在Ym上取值时，特征值为0；∫∫didj代表对坐标(i,j)在指定空间按照指定函数进行积分运算，
第五函数为
，
其中，T4是由第四函数所得到的关于息肉边缘事件和光干扰分布的概率矩阵，P4是遮挡物概率分布，Zk表示坐标(i,j)的集合空间；是特征函数，其表示坐标(i,j)在Zk上取值时，特征值为1，坐标(i,j)不在Ym上取值时，特征值为0；∫∫didj代表对坐标(i,j)在指定空间按照指定函数进行积分运算，
其中，第五概率矩阵为息肉边缘概率矩阵。
12.根据权利要求9所述的息肉图像识别方法，其特征在于，所述的合并运算所得的多个概率矩阵的步骤，包括以下步骤：
将息肉腺管概率矩阵和息肉边缘概率矩阵代入第六函数，得到息肉判定概率图，
其中，第六函数为
<mrow> <msub> <mi>F</mi> <mn>6</mn> </msub> <mrow> <mo>(</mo> <msub> <mi>T</mi> <mn>3</mn> </msub> <mo>,</mo> <msub> <mi>T</mi> <mn>5</mn> </msub> <mo>)</mo> </mrow> <mo>=</mo> <mo>&amp;lsqb;</mo> <mn>1</mn> <mo>+</mo> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>n</mi> <mo>=</mo> <mn>1</mn> </mrow> <mn>100</mn> </munderover> <msubsup> <mi>T</mi> <mn>3</mn> <mi>n</mi> </msubsup> <mrow> <mo>(</mo> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mo>)</mo> </mrow> <mo>/</mo> <mi>n</mi> <mo>!</mo> <mo>&amp;rsqb;</mo> <mo>&amp;CenterDot;</mo> <mo>&amp;lsqb;</mo> <mn>1</mn> <mo>+</mo> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>n</mi> <mo>=</mo> <mn>1</mn> </mrow> <mn>100</mn> </munderover> <msubsup> <mi>T</mi> <mn>5</mn> <mi>n</mi> </msubsup> <mrow> <mo>(</mo> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mo>)</mo> </mrow> <mo>/</mo> <mi>n</mi> <mo>!</mo> <mo>&amp;rsqb;</mo> </mrow> ，
其中，T3是由第三函数所得到的关于腺管事件、血管概率、光干扰概率和遮挡物概率分布的概率矩阵，T5是由第五函数所得到的关于息肉边缘事件、光干扰概率和遮挡物概率分布的概率矩阵，(i,j)表示像素坐标，i表示横坐标，j表示纵坐标，Σ为多项式求和运算，n表示项数。
CN201710448353.1A 2017-06-14 2017-06-14 息肉图像识别系统及方法 Active CN107256552B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710448353.1A CN107256552B (zh) 2017-06-14 2017-06-14 息肉图像识别系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710448353.1A CN107256552B (zh) 2017-06-14 2017-06-14 息肉图像识别系统及方法

Publications (2)

Publication Number Publication Date
CN107256552A true CN107256552A (zh) 2017-10-17
CN107256552B CN107256552B (zh) 2020-08-18

Family

ID=60023281

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710448353.1A Active CN107256552B (zh) 2017-06-14 2017-06-14 息肉图像识别系统及方法

Country Status (1)

Country Link
CN (1) CN107256552B (zh)

Cited By (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107705852A (zh) * 2017-12-06 2018-02-16 北京华信佳音医疗科技发展有限责任公司 一种医用电子内窥镜的实时病变智能识别方法及装置
CN108022243A (zh) * 2017-11-23 2018-05-11 浙江清华长三角研究院 一种基于深度学习的图像中纸张检测方法
CN108055454A (zh) * 2017-12-08 2018-05-18 合肥工业大学 医用内窥镜人工智能芯片的体系架构及图像处理方法
CN108814717A (zh) * 2018-06-29 2018-11-16 微创（上海）医疗机器人有限公司 手术机器人系统
CN109035339A (zh) * 2017-10-27 2018-12-18 重庆金山医疗器械有限公司 胶囊内镜系统及其运行区域检测图片的位置识别方法
CN109215079A (zh) * 2018-07-17 2019-01-15 艾瑞迈迪医疗科技（北京）有限公司 图像处理方法、手术导航设备、电子设备、存储介质
CN109241898A (zh) * 2018-08-29 2019-01-18 合肥工业大学 腔镜视像的目标定位方法和系统、存储介质
CN109447973A (zh) * 2018-10-31 2019-03-08 腾讯科技（深圳）有限公司 一种结肠息肉图像的处理方法和装置及系统
CN109978015A (zh) * 2019-03-06 2019-07-05 重庆金山医疗器械有限公司 一种图像处理方法、装置及内窥镜系统
CN110097105A (zh) * 2019-04-22 2019-08-06 上海珍灵医疗科技有限公司 一种基于人工智能的消化内镜检查质量自动评估方法和系统
CN110472737A (zh) * 2019-08-15 2019-11-19 腾讯医疗健康(深圳)有限公司 神经网络模型的训练方法、装置和医学图像处理系统
WO2020078252A1 (en) * 2018-10-16 2020-04-23 The Chinese University Of Hong Kong Method, apparatus and system for automatic diagnosis
CN111064934A (zh) * 2019-12-30 2020-04-24 元力(天津)科技有限公司 一种医用影像处理系统及方法
CN111291755A (zh) * 2020-02-13 2020-06-16 腾讯科技（深圳）有限公司 对象检测模型训练及对象检测方法、装置、计算机设备和存储介质
WO2020194568A1 (ja) * 2019-03-27 2020-10-01 Hoya株式会社 内視鏡用プロセッサ、情報処理装置、内視鏡システム、プログラム及び情報処理方法
US10810460B2 (en) 2018-06-13 2020-10-20 Cosmo Artificial Intelligence—AI Limited Systems and methods for training generative adversarial networks and use of trained generative adversarial networks
WO2020215807A1 (zh) * 2019-04-25 2020-10-29 天津御锦人工智能医疗科技有限公司 一种基于深度学习提高结肠镜腺瘤性息肉检出率的方法
CN111914197A (zh) * 2019-05-09 2020-11-10 腾讯科技（深圳）有限公司 一种图层数据处理方法、装置及存储介质
CN112288768A (zh) * 2020-09-27 2021-01-29 绍兴文理学院 一种结肠镜图像序列肠息肉区域的跟踪初始化决策系统
CN112465766A (zh) * 2020-11-25 2021-03-09 武汉楚精灵医疗科技有限公司 扁平、微小息肉图像识别方法
CN112819834A (zh) * 2021-01-12 2021-05-18 平安科技（深圳）有限公司 基于人工智能的胃部病理图像的分类方法和装置
CN113160149A (zh) * 2021-03-31 2021-07-23 杭州海康威视数字技术股份有限公司 一种目标显示方法、装置、电子设备及内窥镜系统
CN113256656A (zh) * 2021-05-28 2021-08-13 北京达佳互联信息技术有限公司 图像分割方法和装置
US11100633B2 (en) 2018-06-13 2021-08-24 Cosmo Artificial Intelligence—Al Limited Systems and methods for processing real-time video from a medical image device and detecting objects in the video
CN113744266A (zh) * 2021-11-03 2021-12-03 武汉楚精灵医疗科技有限公司 一种病灶检测框的显示方法、装置、电子设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101912251A (zh) * 2007-06-06 2010-12-15 奥林巴斯医疗株式会社 内窥镜图像处理装置
CN105574859A (zh) * 2015-12-14 2016-05-11 中国科学院深圳先进技术研究院 一种基于ct图像的肝脏肿瘤分割方法及装置
WO2016161115A1 (en) * 2015-03-31 2016-10-06 Mayo Foundation For Medical Education And Research System and methods for automatic polyp detection using convolutional neural networks
CN106097335A (zh) * 2016-06-08 2016-11-09 安翰光电技术（武汉）有限公司 消化道病灶图像识别系统及识别方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101912251A (zh) * 2007-06-06 2010-12-15 奥林巴斯医疗株式会社 内窥镜图像处理装置
WO2016161115A1 (en) * 2015-03-31 2016-10-06 Mayo Foundation For Medical Education And Research System and methods for automatic polyp detection using convolutional neural networks
CN105574859A (zh) * 2015-12-14 2016-05-11 中国科学院深圳先进技术研究院 一种基于ct图像的肝脏肿瘤分割方法及装置
CN106097335A (zh) * 2016-06-08 2016-11-09 安翰光电技术（武汉）有限公司 消化道病灶图像识别系统及识别方法

Cited By (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109035339A (zh) * 2017-10-27 2018-12-18 重庆金山医疗器械有限公司 胶囊内镜系统及其运行区域检测图片的位置识别方法
CN108022243A (zh) * 2017-11-23 2018-05-11 浙江清华长三角研究院 一种基于深度学习的图像中纸张检测方法
CN107705852A (zh) * 2017-12-06 2018-02-16 北京华信佳音医疗科技发展有限责任公司 一种医用电子内窥镜的实时病变智能识别方法及装置
CN108055454A (zh) * 2017-12-08 2018-05-18 合肥工业大学 医用内窥镜人工智能芯片的体系架构及图像处理方法
CN108055454B (zh) * 2017-12-08 2020-07-28 合肥工业大学 医用内窥镜人工智能芯片的体系架构及图像处理方法
US11844499B2 (en) 2018-06-13 2023-12-19 Cosmo Artificial Intelligence—AI Limited Systems and methods for processing real-time video from a medical image device and detecting objects in the video
US11100633B2 (en) 2018-06-13 2021-08-24 Cosmo Artificial Intelligence—Al Limited Systems and methods for processing real-time video from a medical image device and detecting objects in the video
US11195052B2 (en) 2018-06-13 2021-12-07 Cosmo Artificial Intelligence—AI Limited Systems and methods for training generative adversarial networks and use of trained generative adversarial networks
US10810460B2 (en) 2018-06-13 2020-10-20 Cosmo Artificial Intelligence—AI Limited Systems and methods for training generative adversarial networks and use of trained generative adversarial networks
US11574403B2 (en) 2018-06-13 2023-02-07 Cosmo Artificial Intelligence—AI Limited Systems and methods for processing real-time video from a medical image device and detecting objects in the video
CN108814717A (zh) * 2018-06-29 2018-11-16 微创（上海）医疗机器人有限公司 手术机器人系统
CN109215079A (zh) * 2018-07-17 2019-01-15 艾瑞迈迪医疗科技（北京）有限公司 图像处理方法、手术导航设备、电子设备、存储介质
CN109241898B (zh) * 2018-08-29 2020-09-22 合肥工业大学 腔镜视像的目标定位方法和系统、存储介质
CN109241898A (zh) * 2018-08-29 2019-01-18 合肥工业大学 腔镜视像的目标定位方法和系统、存储介质
WO2020078252A1 (en) * 2018-10-16 2020-04-23 The Chinese University Of Hong Kong Method, apparatus and system for automatic diagnosis
CN109447973A (zh) * 2018-10-31 2019-03-08 腾讯科技（深圳）有限公司 一种结肠息肉图像的处理方法和装置及系统
CN109978015A (zh) * 2019-03-06 2019-07-05 重庆金山医疗器械有限公司 一种图像处理方法、装置及内窥镜系统
CN109978015B (zh) * 2019-03-06 2021-11-05 重庆金山医疗技术研究院有限公司 一种图像处理方法、装置及内窥镜系统
US11944262B2 (en) 2019-03-27 2024-04-02 Hoya Corporation Endoscope processor, information processing device, and endoscope system
JPWO2020194568A1 (ja) * 2019-03-27 2021-04-08 Hoya株式会社 内視鏡用プロセッサ、情報処理装置、内視鏡システム、プログラム及び情報処理方法
WO2020194568A1 (ja) * 2019-03-27 2020-10-01 Hoya株式会社 内視鏡用プロセッサ、情報処理装置、内視鏡システム、プログラム及び情報処理方法
CN110097105A (zh) * 2019-04-22 2019-08-06 上海珍灵医疗科技有限公司 一种基于人工智能的消化内镜检查质量自动评估方法和系统
WO2020215807A1 (zh) * 2019-04-25 2020-10-29 天津御锦人工智能医疗科技有限公司 一种基于深度学习提高结肠镜腺瘤性息肉检出率的方法
CN111914197B (zh) * 2019-05-09 2023-06-06 腾讯科技（深圳）有限公司 一种图层数据处理方法、装置及存储介质
CN111914197A (zh) * 2019-05-09 2020-11-10 腾讯科技（深圳）有限公司 一种图层数据处理方法、装置及存储介质
CN110472737A (zh) * 2019-08-15 2019-11-19 腾讯医疗健康(深圳)有限公司 神经网络模型的训练方法、装置和医学图像处理系统
CN110472737B (zh) * 2019-08-15 2023-11-17 腾讯医疗健康(深圳)有限公司 神经网络模型的训练方法、装置和医学图像处理系统
CN111064934A (zh) * 2019-12-30 2020-04-24 元力(天津)科技有限公司 一种医用影像处理系统及方法
CN111291755B (zh) * 2020-02-13 2022-11-15 腾讯科技（深圳）有限公司 对象检测模型训练及对象检测方法、装置、计算机设备和存储介质
CN111291755A (zh) * 2020-02-13 2020-06-16 腾讯科技（深圳）有限公司 对象检测模型训练及对象检测方法、装置、计算机设备和存储介质
CN112288768A (zh) * 2020-09-27 2021-01-29 绍兴文理学院 一种结肠镜图像序列肠息肉区域的跟踪初始化决策系统
CN112465766A (zh) * 2020-11-25 2021-03-09 武汉楚精灵医疗科技有限公司 扁平、微小息肉图像识别方法
CN112819834A (zh) * 2021-01-12 2021-05-18 平安科技（深圳）有限公司 基于人工智能的胃部病理图像的分类方法和装置
CN112819834B (zh) * 2021-01-12 2024-05-03 平安科技（深圳）有限公司 基于人工智能的胃部病理图像的分类方法和装置
CN113160149A (zh) * 2021-03-31 2021-07-23 杭州海康威视数字技术股份有限公司 一种目标显示方法、装置、电子设备及内窥镜系统
CN113160149B (zh) * 2021-03-31 2024-03-01 杭州海康威视数字技术股份有限公司 一种目标显示方法、装置、电子设备及内窥镜系统
CN113256656A (zh) * 2021-05-28 2021-08-13 北京达佳互联信息技术有限公司 图像分割方法和装置
CN113744266A (zh) * 2021-11-03 2021-12-03 武汉楚精灵医疗科技有限公司 一种病灶检测框的显示方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN107256552B (zh) 2020-08-18

Similar Documents

Publication Publication Date Title
CN107256552A (zh) 息肉图像识别系统及方法
Li et al. Colonoscopy polyp detection and classification: Dataset creation and comparative evaluations
Zhou et al. Quantitative analysis of patients with celiac disease by video capsule endoscopy: A deep learning method
CN106102554B (zh) 图像处理装置以及图像处理方法
Cong et al. Deep sparse feature selection for computer aided endoscopy diagnosis
CN113379693B (zh) 基于视频摘要技术的胶囊内镜关键病灶图像检测方法
JP5784404B2 (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
CN104537373B (zh) 舌下络脉诊断用多光谱舌下图像特征提取方法
Ghosh et al. Effective deep learning for semantic segmentation based bleeding zone detection in capsule endoscopy images
US20220058821A1 (en) Medical image processing method, apparatus, and device, medium, and endoscope
CN102984990A (zh) 诊断辅助装置
JPH09167238A (ja) 異常陰影の検出方法
CN109635871A (zh) 一种基于多特征融合的胶囊内窥镜图像分类方法
CN115049666B (zh) 基于彩色小波协方差深度图模型的内镜虚拟活检装置
Yuan et al. Automatic bleeding frame detection in the wireless capsule endoscopy images
Wang et al. Reduction of bubble-like frames using a RSS filter in wireless capsule endoscopy video
CN103218802B (zh) 图像处理装置以及图像处理方法
Xu et al. Upper gastrointestinal anatomy detection with multi‐task convolutional neural networks
Firmansyah et al. Detection melanoma cancer using ABCD rule based on mobile device
Vallée et al. Accurate small bowel lesions detection in wireless capsule endoscopy images using deep recurrent attention neural network
Ghosh et al. Block based histogram feature extraction method for bleeding detection in wireless capsule endoscopy
Wen et al. Pulmonary nodule detection based on convolutional block attention module
Amiri et al. [Retracted] A Computer‐Aided Method for Digestive System Abnormality Detection in WCE Images
Vajravelu et al. Machine learning techniques to detect bleeding frame and area in wireless capsule endoscopy video
Wang et al. Sk-Conv and SPP-based UNet for lesion segmentation of coronary optical coherence tomography

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 610000 District, Chengdu, Sichuan, China (Sichuan) free trade zone, Chengdu hi tech Development Zone Tianfu 199 street A District

Applicant after: Chengdu Weizhi Medical Equipment Co., Ltd

Address before: 610000 District, Chengdu, Sichuan, China (Sichuan) free trade zone, Chengdu hi tech Development Zone Tianfu 199 street A District

Applicant before: Chengdu Medical Equipment Co., Ltd. Cantor

GR01 Patent grant
GR01 Patent grant