CN114372951A - 基于图像分割卷积神经网络的鼻咽癌定位分割方法和系统 - Google Patents

基于图像分割卷积神经网络的鼻咽癌定位分割方法和系统 Download PDF

Info

Publication number
CN114372951A
CN114372951A CN202111294938.5A CN202111294938A CN114372951A CN 114372951 A CN114372951 A CN 114372951A CN 202111294938 A CN202111294938 A CN 202111294938A CN 114372951 A CN114372951 A CN 114372951A
Authority
CN
China
Prior art keywords
image
nasopharyngeal carcinoma
segmentation
convolutional neural
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111294938.5A
Other languages
English (en)
Inventor
文译辉
龙宇栋
项毅帆
雷文斌
文卫平
林浩添
肖钧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
First Affiliated Hospital of Sun Yat Sen University
Zhongshan Ophthalmic Center
Original Assignee
First Affiliated Hospital of Sun Yat Sen University
Zhongshan Ophthalmic Center
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by First Affiliated Hospital of Sun Yat Sen University, Zhongshan Ophthalmic Center filed Critical First Affiliated Hospital of Sun Yat Sen University
Priority to CN202111294938.5A priority Critical patent/CN114372951A/zh
Publication of CN114372951A publication Critical patent/CN114372951A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/048Activation functions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10068Endoscopic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30096Tumor; Lesion

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于图像分割卷积神经网络的鼻咽癌定位分割方法和系统,采用WLI模式和NBI模式获取电子鼻内镜图像,将鼻内镜图像输入基于图像分割卷积神经网络的鼻咽癌诊断模型,得到诊断模型标注的恶性肿瘤区域,只需要将镜头聚焦于鼻咽腔内的可疑病变组织,诊断系统即可实时对抓取的图像进行判断,并对鼻咽癌图像中恶性肿瘤部位进行标注,并导出诊断结果,直观地判断目标病变是否为恶性肿瘤组织,并据此确定恶性肿瘤病变的边界范围,快速选择可疑的病变部位进行活检,有效提高鼻内镜下鼻咽癌检测的准确度,提高活检的检出率。

Description

基于图像分割卷积神经网络的鼻咽癌定位分割方法和系统
技术领域
本发明属于医疗诊断领域,具体是涉及一种利用人工智能识别鼻内镜图像并抓取出恶性肿瘤目标区域(ROI)作为诊断鼻咽癌性质及范围的方法和系统。
背景技术
鼻咽癌(nasopharyngeal carcinoma,NPC)是指发生于鼻咽腔顶部和侧壁的恶性肿瘤,属于高发恶性肿瘤之一。目前的电子鼻内镜检查应用普通白光(white lightimaging,WLI) 作为照明装置,其清晰度和对比度具有一定的局限性,对发生在黏膜表面的浅表早期癌和癌前病变易漏诊。窄带成像(narrow band imaging,NBI)技术使用窄谱滤光片,将普通内镜中的红光去掉,只释放出中心波长为415nm(蓝光)和540nm(绿光)两种波长的光作为照明光,通过判断黏膜表面突出显示的微血管形态来判断鼻咽部病变的性质,使鉴别肿瘤性和非肿瘤性病变的准确度明显提高。
基于WLI和NBI技术的电子鼻内镜下的病变活检,是筛查和诊断鼻咽癌患者的重要方式。目前,对可疑病灶的定性和取材选择依赖于鼻内镜医生的临床知识和工作经验,其准确性及敏感性受到临床医生专业技术水平的影响。一方面,典型的粘膜下鼻咽癌或者侧方咽隐窝内的鼻咽癌难以与周围正常粘膜相鉴别,在肉眼下容易被内镜医师漏诊;另一方面,腺样体肥大等鼻咽腔内的共患病易造成重复活检,降低鼻咽癌的活检检出率,造成诊疗费用增加,以及治疗的延迟。研究表明,经验丰富的专家医生经电子鼻内镜图像诊断鼻咽癌,灵敏度及特异度可达80.5%及70.8%,但稍欠经验的住院医师仅达72.8%及55.5%。为克服内镜医师的主观偏倚对鼻咽部恶性病变诊断的影响,研究人员利用人工智能的图片识别、数据处理技术,尝试构建基于人工智能的鼻内镜辅助诊断系统,以进一步提高鼻内镜下诊断鼻咽癌的准确性、灵敏性和特异性,从而实现鼻咽癌的早筛早诊早治,改善患者的治疗效果和预后的目的。
人工智能AI技术的来临,可提供一种以鼻内镜检查为基础的新型恶性肿瘤筛查方法,高效、准确地从高危人群中识别出鼻咽癌患者。本领域技术人员已经探索了一些利用AI进行诊断的模型。例如,中国专利文献CN111653365A公开了一种鼻咽癌辅助诊断模型构建和辅助诊断方法,通过获取鼻咽癌高危人群鼻内镜图像(鼻内镜图像包含鼻咽癌组和非鼻咽癌组),对鼻内镜图像进行预处理,并将预处理后的鼻内镜图像输入卷积神经网络中,后对卷积神经网络进行训练,最终获得鼻咽癌辅助诊断模型。在临床应用中将受试者鼻内镜图像输入到鼻咽癌辅助诊断模型中,即可实时得到患病概率预测值。医师可参考输出的预测患病概率并结合自身的经验对病变组织的性质作出判断,决定是否进行取材活检及后续处理。该技术可有效提高鼻咽癌诊断的准确率,弥补内镜医师的技术和经验不足,提高后续活检的检出率,从而实现鼻咽癌早筛早诊早治,改善患者的治疗效果和预后的目的,预测结果较为准确,对于鼻咽癌的诊断过程有良好的辅助作用。
然而目前的人工智能鼻内镜辅助诊断系统均为二分类诊断模型,该系统通过对鼻内镜图像进行概率计算,将鼻咽部图像判定为“恶性肿瘤”或“非恶性肿瘤”,但该结果无法对图像中恶性肿瘤所处的具体部位做出确切判断。在鼻内镜的临床应用中,内镜医师需对鼻咽部病变范围进行判断,并选取可疑恶性病变部位进行活检。因此需要有新型的辅助诊断系统对鼻内镜图像中恶性肿瘤的部位做出精准的定位分割,为鼻咽部活检起明确引导作用。
发明内容
本发明要解决的技术问题是提供一种基于图像分割卷积神经网络的鼻咽癌定位分割方法和系统,在电子鼻内镜中提示鼻咽部病变的性质、部位及范围,以此辅助医师快速准确识别、定位鼻咽癌,为鼻咽部疾病的诊疗提供重要依据。
为了解决上述技术问题,本发明采用的技术方案为:一种基于图像分割卷积神经网络的鼻咽癌定位分割方法,先采用WLI模式和NBI模式获取鼻咽癌组和非鼻咽癌组的电子鼻内镜图像;再将鼻内镜图像输入基于图像分割卷积神经网络的鼻咽癌诊断模型,得到模型标注的恶性肿瘤区域,以辅助临床内镜医师实时诊断鼻咽部肿物的病变性质以及病变范围。
进一步地,所述鼻咽癌诊断模型的获得是将分割标注后的合格内镜图像输入卷积神经网络中,经图像分割卷积神经网络进行训练模型。
进一步地,人工筛选并结合标记软件对鼻咽癌组显像清晰的合格图像进行图像勾勒标记,并进而对合格图像进行扩增样本量;将合格内镜图像输入到由ResNet-FPN构成的特征提取网络中,得到多个不同层级的特征图,生成可能包含检测目标的候选区域;通过双线性插值对齐RoI Align层得到候选区域特征图;最后候选区域特征图被输入到头网络(Fast RCNN)中进行区域分类得到分割结果。
进一步地,所述区域分类包括由边框回归分支网络对候选区域进行修正,由区域分类分支网络给出候选区域包含检测目标的类别及可能性,由分割网络(Mask)给出候选区域内检测目标的分割结果。
进一步地,使用非极大值抑制去除物体存在可能性较小或者交并比较高的候选区域,得到最终的候选区域和分割结果。
进一步地,采用模型Backend ResNet对鼻内镜图像进行特征提取,然后通过FPN(Feature Pyramid Network)对Backend ResNet提取出的不同尺度分辨率的多层特征进行进一步的特征融合,融合后的多层次、多感兴趣的特征图会被送入RPN(Region ProposalNetwork)进行进一步的目标区域(ROI)的探索,输出的ROI经过ROIAlign线性内插值处理后再经过最终的Mask模块与回归分类模块得到最终的输出。
进一步地,所述卷积神经网络采用U-net、FC DenseNet、UperNet with W-MSA ViT或 Mask RCNN。
进一步地,采用均交并比、Dice相似系数(DSC)、像素准确率、平均像素准确率、ROC曲线、AUC值或损失值曲线的语义分割评价指标验证鼻咽癌诊断训练模型。
同时,本发明采用的技术方案为:一种基于图像分割卷积神经网络的鼻咽癌定位分割系统,包括:图像获取装置,用于获取WLI模式和NBI模式的鼻内镜图像;算法模型存储器,用于存储基于图像分割Mask-RCNN的鼻咽癌诊断模型算法;处理器,对鼻内镜图像进行处理后将分割结果图像发送给显示器和存储器;诊断结果存储器,用于存储鼻内镜图像内镜捕捉的鼻咽部图像及诊断模型分割后的鼻内镜图像;显示器,以视频方式显示鼻内镜图像和经分割标记的鼻内镜图像的诊断过程。
进一步地,所述鼻咽癌诊断模型的获得是将标注后的合格内镜图像输入卷积神经网络中,经图像分割卷积神经网络进行训练模型。
实施本发明技术方案,内镜医师只需要将镜头聚焦于鼻咽腔内的可疑病变组织,在WLI、 NBI两种模式下,对可疑组织进行拍摄,诊断系统即可实时对抓取的图像进行判断,并对鼻咽癌图像中恶性肿瘤部位进行标注,并导出诊断结果,让医师通过视频直观地判断目标病变是否为恶性肿瘤组织,并据此确定恶性肿瘤病变的边界范围,有利于引导医师快速选择可疑的病变部位进行活检,有效提高鼻内镜下鼻咽癌检测的准确度,提高活检的检出率,从而达到鼻咽癌早筛早诊早治,改善患者的治疗效果的目的,也为预后提供重要参考。
附图说明
图1为基于Mask RCNN算法的鼻内镜诊断模型架构图。
图2为基于图像分割卷积神经网络的鼻咽癌定位分割系统。
具体实施方式
下面结合附图对本发明的具体实施方式作进一步说明。在此需要说明的是,对于这些实施方式的说明用于帮助理解本发明,但并不构成对本发明的限定。此外,下面所描述的本发明各个实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互组合。
基于图像分割卷积神经网络的鼻咽癌定位分割方法和系统,通过与现有的搭载WLI、NBI 模式的电子鼻内镜系统结合,对操作者拍摄的鼻咽部内镜图像进行即时分析,并输出经辅助诊断系统分割后的电子鼻内镜图像(即对恶性病变区域进行描边),提示病变部位的性质、位置及范围,以此实现实时辅助诊断,指导内镜医师精准选取活检部位,提高活检检出率。
如图1所示,实施基于图像分割卷积神经网络的鼻咽癌定位分割方法和系统的关键在于鼻咽癌诊断模型的构建。鼻咽癌诊断模型的构建包括:获取鼻内镜图像样本、预处理图像数据、构建诊断模型以及验证模型。
一、获取鼻内镜图像样本。诊断模型的数据集来源于临床医院采集的临床患者鼻咽部内镜图像,且所有纳入的图像分辨率高于500像素、图片大小大于250kb。根据病理活检结果,将WLI、NBI两种模式下的图像分为鼻咽癌组及非鼻咽癌组。
二、预处理图像数据。数据的预处理包括对图像进行人工筛选,排除失焦、模糊、过度曝光、重复图像等不合格图像。将筛选后的图像进行统一编号,使同一个患者的图像具有独有的ID号。具有多年临床经验的内镜医师使用数据标记软件labelme对筛选合格的图像进行图像分割,并标记图像中的肿瘤区域,另一名内镜医师对标记图像的选择、标记及界限进行检阅。两位医师达成一致的分割图像视为合格样本,否则请示第三位医师后再进行分割。对分类后的合格图像采用旋转、平移、放缩、随即通道转移等方式进行数据扩增,以此提高样本量,完成后将预处理图像输入模型。
三、构建诊断模型。采用深度学习中的区域卷积神经网络(Mask RCNN)算法。MaskRCNN 是Faster-RCNN的扩展,添加了一个额外的掩膜(Mask)分支对目标进行并行预测,可实现对目标的分类、回归和分割,具有高速、简单直观、高准确率(高分类准确率、高实例分割准确率、高定位检测准确率)等优点。Mask-RCNN深度学习网络主要由3个部分组成:1)特征提取网络;2)区域建议网络(RPN,region proposal network);3)头网络(Fast RCNN)。将图像输入到由ResNet-FPN构成的特征提取网络中,得到多个不同层级的特征图,生成可能包含检测目标的候选区域。通过双线性插值对齐RoI Align层得到候选区域特征图。候选区域特征图被输入到头网络中,由边框回归分支网络对候选区域进行修正;由区域分类分支网络给出候选区域包含检测目标的类别及可能性;由分割网络(Mask)给出候选区域内检测目标的分割结果。使用非极大值抑制去除物体存在可能性较小或者交并比较高的候选区域,得到最终的候选区域和分割结果。
诊断模型的构建过程包括图像输入、特征提取、训练模型和验证模型。
1、图像输入。将样本数据增强后的鼻咽癌和非鼻咽癌数据分别作为正负例样本数据输入模型。
2、特征提取。输入某张图像至Mask RCNN,首先通过模型的网络Backend ResNet对其进行特征提取,然后通过FPN(Feature Pyramid Network)对Backend ResNet提取出的不同尺度分辨率的多层特征进行进一步的特征融合,融合后的多层次、多感兴趣的特征图会被送入RPN(Region Proposal Network)进行进一步的目标区域(ROI)的探索,输出的ROI经过ROIAlign线性内插值处理后再经过最终的Mask模块与回归分类模块得到最终的输出,模型在原始图片上对识别区域ROI做掩码处理。以输入RGB彩色图片像素512×512×3为例,首先通过ResNet的特征提取模块得到16×16×1024的特征图。
项目中所使用的模型为ResNet,结构主要由1×1、3×3、1×1卷积层组成的Bottleneck 结构单元模块组成,卷积层之间通过Batchnorm和Relu激活层连接;Bottleneck结构中包含ResNet的主要结构设计,residual block。residual block由1x1的卷积构成,下采样时stride(步长)取2,padding为1;除下采样之外的residual blockstride取1,padding 为1,不改变输入特征图的尺寸大小,只完成一定的线性变换和扩展特征图的通道数量。
以输入RGB彩色图片像素512×512×3为例,首先通过64个卷积核大小为7,stride为 2的卷积层,下采样提取出256×256×64的特征矩阵;之后通过resnet的四层layer,分别将特征矩阵中每一层的特征图继续下采样至128×128,64×64,32×32,16×16。第一层layer 首先通过3×3、stride步长为2的maxpool最大池化操作下采样特征,得到128×128×64 的特征图,然后采用了重复3次的BottleNeck。BottleNeck的第一个1×1卷积和3×3卷积都使用64个卷积核,最后一个1×1的卷积使用256个卷积核,residual block采用保留输入特征尺寸的1×1卷积,即256个stride为1,padding为1的1×1卷积核,卷积之后与最后一个Bottleneck的输出相加,所以得到的输出特征是(先后顺序)128×128×64,128 ×128×64,128×128×256;第二层layer中第一个Bottleneck采用下采样方式的residualblock(512个步长为2的1x1卷积核),Bottleneck的1×1、3×3、1×1卷积层分别将特征图变换至128×128×128,64×64×128,64×64×512,Bottleneck的输出与residual block 输出相加得到第二层layer的第一个Bottleneck输出,特征尺寸为64×64×512,然后重复使用3次无下采样的BottleNeck(类似layer1)得到layer2的输出64×64×512特征图;第三层layer结构同layer2,区别在于3×3下采样的卷积核个数为256,residual block 中下采样卷积核个数为1024,所以第一个Bottleneck的1×1、3×3、1×1卷积层分别将特征图变换至(先后顺序)64×64×256,32×32×256,32×32×1024,之后接23个无下采样操作的Bottleneck最终输出为32×32×1024;第四层layer结构同上,区别在于3x3下采样的卷积核个数为512,residual block中下采样卷积核个数为2048,所以第一个Bottleneck 的1×1、3×3、1×1卷积层分别将特征图变换至(先后顺序)32×32×512,16×16×512, 16×16×2048,之后接2个无下采样操作的Bottleneck最终输出为16×16×2048的特征图。
在生成的16×16×2048特征图上,RPN网络通过滑动窗口生成基于预设先验框(anchor) 的大量目标区域ROI,大量的滑动窗口ROI互相重叠地尽可能覆盖着物体。RPN根据sigmoid 层对每一个ROI输出二分类结果,分别对应包含目标区域的前景和不包含目标的背景,以及相应的预测分数。RPN根据生成的窗口进行评估,拥有最高评估分数的区域ROI会被保留并被送入下一阶段的模型结构即ROIAlign中。ROIAlign不论输入的ROI特征图尺寸大小如何,最终都将输出一个7×7×256与14×14×256的校正后特征图分别输入至分类/回归模块与 mask模块,分类/回归通过卷积与全连接层可以输出每个校正后ROI区域在原图的目标区域 (x,y,w,h)位置信息和对应的分类情况。而mask模块通过反卷积操作,最终得到一个28× 28×2的特征图,表示每个ROI区域内目标的像素级分类信息,输出为2通道对应2分类中的两种分类类别,以掩码形式表示。在推断过程中,掩码会被还原至原图片尺寸大小,以此完成图像分割,自动识别鼻咽癌区域的任务。
网络Backend ResNet卷积层的计算过程为:
Figure RE-GDA0003424085060000061
其中
Figure RE-GDA0003424085060000062
是第i层第j个特征图在(x,y)处的值;Pi与Qi是第i层使用的卷积核的尺寸大小;
Figure RE-GDA0003424085060000071
表示连接第i-1层第m个特征图与第i层第j个特征图尺寸大小为(P,Q)的卷积核在(x+p,y+q)点的权重大小。
激活函数Relu的计算如下:F(x)=max(0,x)。RPN和最终分类输出所使用的Sigmoid层的计算如下:
Figure RE-GDA0003424085060000072
3、训练模型。模型网络的训练过程主要是指,将训练数据送入模型网络,模型网络通过前向传播得到一个输出的特征向量即分类输出的特征向量,将输出的特征向量经过损失函数计算得到的损失,通过梯度更新的方式反向传播至模型网络用以更新网络参数,重复参数的更新迭代过程,使模型的分类输出能不断逼近真实标签。在完成一定的迭代周期后,或验证集的评价指标一定迭代周期内不再提升,即认为模型训练结束。Mask RCNN中的损失函数主要由分类和回归网络的二元交叉熵公式损失函数(公式1)、SmoothL1函数(公式2)以及Mask 网络中的二元交叉熵公式损失函数(公式1)组成。
Figure RE-GDA0003424085060000073
公式(1),其中
Figure RE-GDA0003424085060000074
代表第i个样本的标签,yi代表第i个样本的预测值。
Figure RE-GDA0003424085060000075
公式(2),其中t表示回归框的预测值,u表示回归框的真实值,并且,
Figure RE-GDA0003424085060000076
相关回归框(x,y,w,h)的计算如下;
tx=(x-xa)/wa,ty=(y-ya)/ha
tw=log(w/wa),th=log(h/ha),
Figure RE-GDA0003424085060000081
Figure RE-GDA0003424085060000082
其中x,y,w,h表示回归框的坐标位置,χ,χa,χ*表示回归框的预测坐标值,Anchor先验框的坐标值,以及回归框的真实坐标值。
4、验证模型。诊断模型的验证指的是通过一定指标反映模型的预测效果,常用的语义分割评价指标包括:均交并比、Dice相似系数(DSC)、像素准确率、平均像素准确率、ROC曲线、AUC值、损失值曲线等。这些指标都是通过模型对输入图片数据的分割、分类结果,计算所有输入正负例样本的预测情况与实际情况的偏差,反映模型对正负例样本的像素级预测能力。模型在训练过程中,通过内部验证即在每轮迭代结束时使用验证数据集的数据进行测试,测试结果分类评价指标反映了本轮迭代的模型训练效果。在最终迭代结束之后,模型的效果验证会在外部测试的测试数据中进行,测试数据集的模型预测分类能力的评价指标反映了模型的最终性能效果,确定模型对鼻咽癌图像的诊断识别能力达到较高水平。以验证后的诊断模型为基础,构建成可搭载在电子鼻内镜系统的实时辅助诊断系统。
如图2所示,基于图像分割卷积神经网络的鼻咽癌定位分割系统包括图像获取装置、图像分析模块和结果报告装置。
1、图像获取装置:包括电子鼻咽喉内窥镜系统(如市场上购买的OTV-S190,Olympus Medical Systems Corp奥林巴斯医疗系统)、内窥镜冷光源(如市场上购买的CLV-S190,Olympus Medical Systems Corp)、电子鼻内镜(如市场上购买的ENF-V,OlympusMedical Systems Corp)。
内镜医师使用上述鼻内镜系统,进入患者的鼻咽腔内对局部粘膜进行拍照,包括鼻咽腔顶壁、侧壁、咽隐窝等鼻咽癌高发部位,以及肉眼判断的可疑病变部位。拍摄图像时可选择 WLI和NBI两种模式,在医师切换照明模式时,处理器连接的诊断模式亦进行切换。拍摄的图像即时上传至处理器。
2、图像分析模块:包括与图像获取装置连接的处理器及与处理器连接的算法模型存储器,处理器连接的模式包括普通白光(WLI)模式和窄带成像(NBI)模式。算法模型存储器用于存储基于图像分割Mask-RCNN的鼻咽癌诊断模型算法,含有两种模式下的鼻咽癌和非鼻咽癌对应的Mask-RCNN鼻咽癌诊断模型。拍照医生首先判断拍摄的图像是否为合格的图像,包括是否清晰,是否过度曝光,是否存在伪影,可疑病变部位是否被分泌物、血液等遮挡,以此判定图像能否通过人工智能进行下一步分析。若图像无法达到要求,则重新对焦拍摄、清除鼻咽内视线遮挡物;若图像满足分析的基本要求,则将图片数据输入深度学习网络算法中进行下一步判断。处理器通过分析输入的图像,判定图像中的组织是否为鼻咽癌病变,并将包含鼻咽癌的内镜图像进行分割,并将上述结果输出至显示器。
3、结果报告装置:包括与处理器连接的监视器(如市场上购买的高清晰影像记录系统;Olympus Medical Systems Corp)或显示器(电脑荧幕)及诊断结果存储器,存储器用于存储鼻内镜图像内镜捕捉的鼻咽部图像及诊断模型分割后的鼻内镜图像。处理器将分割图像发送给显示器以及存储器。显示器中以视频形式显示经分割标记的鼻内镜图像,动态提示图像中病变的性质及范围。内镜医师结合自身的经验判断,以及WLI、NBI两种模式下系统得出的报告,对病变组织的性质做出判断,并进一步决定活检部位进行取材。
以上结合附图对本发明的实施方式作了详细说明,但本发明不限于所描述的实施方式。对于本领域的技术人员而言,在不脱离本发明原理和精神的情况下,对这些实施方式进行多种变化、修改、替换和变型,仍落入本发明的保护范围内。

Claims (10)

1.一种基于图像分割卷积神经网络的鼻咽癌定位分割方法,其特征在于步骤是:先采用WLI模式和NBI模式获取鼻咽癌组和非鼻咽癌组的电子鼻内镜图像;
再将鼻内镜图像输入基于图像分割卷积神经网络的鼻咽癌诊断模型,得到诊断模型标注的恶性肿瘤区域,以辅助临床内镜医师实时诊断鼻咽部肿物的病变性质以及病变范围。
2.根据权利要求1所述的基于图像分割卷积神经网络的鼻咽癌定位分割方法,其特征在于:所述鼻咽癌诊断模型的获得是将分割标注后的合格内镜图像输入卷积神经网络中,经图像分割卷积神经网络进行训练模型。
3.根据权利要求2所述的基于图像分割卷积神经网络的鼻咽癌定位分割方法,其特征在于:人工筛选并结合标记软件对鼻咽癌组显像清晰的合格图像进行图像勾勒标记,并进而对合格图像进行扩增样本量;将合格内镜图像输入到由ResNet-FPN构成的特征提取网络中,得到多个不同层级的特征图,生成可能包含检测目标的候选区域;通过双线性插值对齐RoI Align层得到候选区域特征图;最后候选区域特征图被输入到头网络(Fast RCNN)中进行区域分类得到分割结果。
4.根据权利要求3所述的基于图像分割卷积神经网络的鼻咽癌定位分割方法,其特征在于:所述区域分类包括由边框回归分支网络对候选区域进行修正,由区域分类分支网络给出候选区域包含检测目标的类别及可能性,由分割网络(Mask)给出候选区域内检测目标的分割结果。
5.根据权利要求4所述的基于图像分割卷积神经网络的鼻咽癌定位分割方法,其特征在于:使用非极大值抑制去除物体存在可能性较小或者交并比较高的候选区域,得到最终的候选区域和分割结果。
6.根据权利要求3所述的基于图像分割卷积神经网络的鼻咽癌定位分割方法,其特征在于:采用模型Backend ResNet对鼻内镜图像进行特征提取,然后通过FPN(FeaturePyramid Network)对Backend ResNet提取出的不同尺度分辨率的多层特征进行进一步的特征融合,融合后的多层次、多感兴趣的特征图会被送入RPN(Region Proposal Network)进行进一步的目标区域(ROI)的探索,输出的ROI经过ROIAlign线性内插值处理后再经过最终的Mask模块与回归分类模块得到最终的输出。
7.根据权利要求2所述的基于图像分割卷积神经网络的鼻咽癌定位分割方法,其特征在于:所述卷积神经网络采用U-net、FC DenseNet、UperNet with W-MSA ViT或Mask RCNN。
8.根据权利要求4所述的基于图像分割卷积神经网络的鼻咽癌定位分割方法,其特征在于:采用均交并比、Dice相似系数(DSC)、像素准确率、平均像素准确率、ROC曲线、AUC值或损失值曲线的语义分割评价指标验证鼻咽癌诊断训练模型。
9.一种基于图像分割卷积神经网络的鼻咽癌定位分割系统,其特征在于包括:
图像获取装置,用于获取WLI模式图像集和NBI模式图像集的鼻内镜图像;
算法模型存储器,用于存储基于图像分割Mask-RCNN的鼻咽癌诊断模型算法;
处理器,对鼻内镜图像进行处理后将分割结果图像发送给显示器和存储器;
诊断结果存储器,用于存储鼻内镜图像内镜捕捉的鼻咽部图像及诊断模型分割后的鼻内镜图像;
显示器,以视频方式显示鼻内镜图像和经分割标记的鼻内镜图像的诊断过程。
10.根据权利要求9所述的基于图像分割卷积神经网络的鼻咽癌定位分割系统,其特征在于:所述鼻咽癌诊断模型的获得是将合格内镜图像输入卷积神经网络中,经图像分割卷积神经网络进行训练模型。
CN202111294938.5A 2021-11-03 2021-11-03 基于图像分割卷积神经网络的鼻咽癌定位分割方法和系统 Pending CN114372951A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111294938.5A CN114372951A (zh) 2021-11-03 2021-11-03 基于图像分割卷积神经网络的鼻咽癌定位分割方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111294938.5A CN114372951A (zh) 2021-11-03 2021-11-03 基于图像分割卷积神经网络的鼻咽癌定位分割方法和系统

Publications (1)

Publication Number Publication Date
CN114372951A true CN114372951A (zh) 2022-04-19

Family

ID=81139060

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111294938.5A Pending CN114372951A (zh) 2021-11-03 2021-11-03 基于图像分割卷积神经网络的鼻咽癌定位分割方法和系统

Country Status (1)

Country Link
CN (1) CN114372951A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115049666A (zh) * 2022-08-16 2022-09-13 浙江卡易智慧医疗科技有限公司 基于彩色小波协方差深度图模型的内镜虚拟活检装置
CN115661096A (zh) * 2022-11-02 2023-01-31 中国人民解放军海军军医大学第一附属医院 一种胃食管结合部癌食道下段侵犯长度的影像判断方法
CN115761510A (zh) * 2022-12-08 2023-03-07 中化现代农业有限公司 一种果实计数方法
WO2024043531A1 (ko) * 2022-08-26 2024-02-29 고려대학교 산학협력단 비강종물 감별을 위한 모델의 학습 방법 및 학습 장치, 비강종물 감별 방법 및 장치

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115049666A (zh) * 2022-08-16 2022-09-13 浙江卡易智慧医疗科技有限公司 基于彩色小波协方差深度图模型的内镜虚拟活检装置
CN115049666B (zh) * 2022-08-16 2022-11-08 浙江卡易智慧医疗科技有限公司 基于彩色小波协方差深度图模型的内镜虚拟活检装置
WO2024043531A1 (ko) * 2022-08-26 2024-02-29 고려대학교 산학협력단 비강종물 감별을 위한 모델의 학습 방법 및 학습 장치, 비강종물 감별 방법 및 장치
CN115661096A (zh) * 2022-11-02 2023-01-31 中国人民解放军海军军医大学第一附属医院 一种胃食管结合部癌食道下段侵犯长度的影像判断方法
CN115661096B (zh) * 2022-11-02 2023-08-08 中国人民解放军海军军医大学第一附属医院 一种胃食管结合部癌食道下段侵犯长度的影像判断方法
CN115761510A (zh) * 2022-12-08 2023-03-07 中化现代农业有限公司 一种果实计数方法

Similar Documents

Publication Publication Date Title
JP6657480B2 (ja) 画像診断支援装置、画像診断支援装置の作動方法および画像診断支援プログラム
US12002573B2 (en) Computer classification of biological tissue
CN114372951A (zh) 基于图像分割卷积神经网络的鼻咽癌定位分割方法和系统
JP4409166B2 (ja) 画像処理装置
WO2021147429A9 (zh) 内窥镜图像展示方法、装置、计算机设备及存储介质
JP7278202B2 (ja) 画像学習装置、画像学習方法、ニューラルネットワーク、及び画像分類装置
KR102176139B1 (ko) 연속적인 딥 인코더-디코더 네트워크를 이용한 이미지 세그먼테이션 장치 및 그 방법
CN111653365A (zh) 一种鼻咽癌辅助诊断模型构建和辅助诊断方法及系统
CN115049666B (zh) 基于彩色小波协方差深度图模型的内镜虚拟活检装置
CN112529892A (zh) 消化道内镜病变图像检测方法、系统和计算机存储介质
JP6578058B2 (ja) 画像処理装置、画像処理装置の作動方法及び画像処理装置の作動プログラム
CN114004969A (zh) 一种内镜图像病灶区检测方法、装置、设备及存储介质
CN110974179A (zh) 一种基于深度学习的电子染色内镜下胃早癌的辅助诊断系统
CN113450305B (zh) 医疗图像的处理方法、系统、设备及可读存储介质
Garcia-Peraza-Herrera et al. Interpretable fully convolutional classification of intrapapillary capillary loops for real-time detection of early squamous neoplasia
JP6710853B2 (ja) プローブ型共焦点レーザー顕微内視鏡画像診断支援装置
CN112734749A (zh) 一种基于卷积神经网络模型的声带白斑辅助诊断系统
US20230162356A1 (en) Diagnostic imaging device, diagnostic imaging method, diagnostic imaging program, and learned model
Andrade A Portable System for Screening of Cervical Cancer
CN116071633A (zh) 一种基于神经网络识别及追踪鼻腔新生物的方法及系统
del Nozal et al. Reduction of pattern search area in colonoscopy images by merging non-informative regions
CA3205896A1 (en) Machine learning enabled system for skin abnormality interventions
Gomes et al. Convolutional neural network misclassification analysis in oral lesions: an error evaluation criterion by image characteristics
CN117593564A (zh) 一种喉内镜图像的病灶识别方法和系统
Bravo Higuera Automatic detection of colorectal polyps larger than 5 mm in colonoscopy videos

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination