CN105640577A - 一种自动检测放射影像中局部性病变的方法和系统 - Google Patents

一种自动检测放射影像中局部性病变的方法和系统 Download PDF

Info

Publication number
CN105640577A
CN105640577A CN201510947081.0A CN201510947081A CN105640577A CN 105640577 A CN105640577 A CN 105640577A CN 201510947081 A CN201510947081 A CN 201510947081A CN 105640577 A CN105640577 A CN 105640577A
Authority
CN
China
Prior art keywords
image
unit
locality
pathology
classification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201510947081.0A
Other languages
English (en)
Inventor
刘远明
权申文
段淑婷
周浩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Zhiying Medical Technology Co ltd
Original Assignee
Shenzhen Zhiying Medical Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Zhiying Medical Technology Co ltd filed Critical Shenzhen Zhiying Medical Technology Co ltd
Priority to CN201510947081.0A priority Critical patent/CN105640577A/zh
Publication of CN105640577A publication Critical patent/CN105640577A/zh
Pending legal-status Critical Current

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5217Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data extracting a diagnostic or physiological parameter from medical diagnostic data

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Optics & Photonics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Physiology (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Physics & Mathematics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Image Analysis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

这是一种能够改善现有放射图像异常(如肺癌局部性病变)检测流程的自动检测方法和系统。该检测方法和系统使用多重解析率技术,提高对不同尺寸局部性病变的检测效率,并进一步使用虚拟局部性病变进行关联和匹配,以检测所有或大多数尺寸的局部性病变。该检测方法和系统使用球面参数表征局部性病变,从而更准确的检测出非显著性局部性病变。该检测方法和系统使用的多个分类器包括反向传播神经网络、数据融合、基于决策的修剪神经网络和卷积神经网络结构,用来生成肺部局部性病变分类的分类评分,并最终决策时选择高可疑性图像进一步检验。

Description

一种自动检测放射影像中局部性病变的方法和系统
1.技术领域
本发明用于数字图像处理的方法和系统,更具体地用于一种再筛选和异常自动检查的方法和系统,例如:多重解析率处理放射性胸部图像肺局部性病变,数字图像处理和深度学习神经网络。
2.背景技术
肺癌是全球男性和女性的主要癌症类型,对潜在可治疗阶段的局部性肺癌进行早期检查和治疗可以明显提高患者的生存率。有研究表明由一个放射科医生阅片,肺癌被诊断出的概率接近68%,而增加一个阅片者成为第二阅片者,概率增加到82%。在梅奥诊所进行的一项长期肺癌筛选项目发现,追溯早期肺癌的X光胸片,90%的小尺寸周围型肺癌是可以发现的。
与常用的检测技术如胸部X射线、痰标本中的细胞类型的分析、支气管通道纤维光学检查等相比,胸部放射影像仍然是最有效和使用最广泛的方法。那些经验丰富的肺部放射医生可以达到较高准确度的诊断,然而在医生的培训阶段,虽然已有高水平的临床技巧和经验,但是总有一些错误很难纠正,因此检测胸片X光图像的肺局部性病变仍然存在问题。
于是计算机技术,如计算机辅助诊断(CAD)被引进用于辅助诊断非小细胞肺癌阶段的局部性病变。计算机辅助诊断技术要求计算机系统作为第二个医生再次检查第一个医生审查过的胸片。减少检查的假阳性,提高检测的精准度是CAD主要目的。
3.发明内容
本发明的一方面提供一种用于提高放射影像诊断程序的自动化方法和系统,另一方面使用多重解析率方法、数字图像处理和深度学习神经网络检测X光胸片图像肺局部性病变,进一步对已被放射科医生确认为阴性的X光胸片重新筛查。本发明也可用于其他疾病的筛查,包括但不限于微钙化簇,肿块,肿瘤和乳腺X线图像。
本发明的自动方法和系统采用了多个阶段的多重解析率处理、数字图像处理和深度学习神经网络以消除假阳性,增加检测的精准度。当从X光胸片中接收到图像数据,数据将提交给多项数字图像处理技术,可初步确认几个可疑区域。首先,在图像增强阶段,利用多重解析率匹配技术对数据进行背景-对象对比增强。再次,在快速选择阶段,数据经过球形检验,检测经过一系列像素阈值切割得到的每个图像生长区域的圆度值,并对可疑区域进行分割,阈分割阈以初步确定候选的疑似局部性病变。像素阈值通过可疑局部性病变区域的数量和大小、图像的信噪比(SNR)和图像的CDF得到的,以保障图像最大的灵敏度。在分类阶段,图像使用基于特征参数和图像区域的分类器进行处理。两种分类器都由深度学习神经网络实现:反向传播神经网络、基于修剪神经网络决策树和卷积神经网络。这些分类的检测结果汇集到一个数据融合中心,以获得最佳的分类评分。一些解剖结构除和阳性局部性病变被当做训练类,以开发神经网络分类器。在最后阶段——决策阶段,根据患病率、风险因子和系统性能分析可疑局部性病变,以确定需要进一步检查的放射图像。使用这些多重解析率、多分类器技术将高可疑的影像图片提供给医生做最后诊断,相比以前的诊断流程,消除了大量的假阳性,提高了检测精度。
本发明是进一步对医师首次诊断为阴性肺局部性病变(即无肺局部性病变)的X光胸片做再次医学诊断筛查的方法和过程。阴性图像经本发明计算机的再筛选单元处理,以确定潜在肺局部性病变。被计算机确定的含有可疑肺局部性病变的图像将被送到医生那里做最后的决定。计算机辅助设备或再筛查单元包括图像输入单元(例如,激光胶片扫描器)、检测单元和显示单元。扫描仪将X光胸部胶片转化成数字图像数据,检测单元具有先进的图像处理能力以检测数字图像肺局部性病变的能力,显示单元将显示检测结果,作为医生的诊断参考。使用这种筛查方法,可减少假阴性以达到较高的检测精度。
4.附图说明
为了更彻底理解本发明及其优点,现结合附图描述如下:
图1.用于肺癌检测的再筛查肺局部性病变过程的示意图;
图2.是形成图1计算机辅助再筛查(CARE)中使用再筛查单元的流程图;
图3.是形成图2中检测单元系统的方框图;
图4.是形成图3检测单元的图像增强单元方框图;
图5.是形成图3检测单元的快速选择单元方框图;
图6.是形成图5快速选择单元的像素阈值生成单元方框图;
图7.是形成图3决策单元的分类单元方框图;
图8.说明了形成图7中分类单元的一个反向传播训练的前馈神经网络分类器形成的体系结构;
图9.说明了形成图7分类单元的二叉决策树分类器;
图10.说明了形成图7分类单元的基于剪枝神经网络分类器决策树的体系结构;
图11.说明了形成图7分类单元的卷积神经网络分类器的体系结构;
图12.是形成图3中决策单元的做出决定单元的方框图
5.具体实施方式
图1表示的是提高可疑局部性病变检测的诊断步骤。患者的X光胸片13首先被安装在放射装置中的灯箱13A中,放射科医生仔细审查图像13中被确定存在的可以肺局部性病变,由放射科医生确认确实含有可疑肺局部性病变的图像被定义为阳性图像14,以备进一步的放射诊断。由放射科医生确定没有含有可疑局部性病变的阴性图像15传输到本发明的计算机辅助再筛选(CARE)系统12做进一步诊断。
计算机辅助再筛选(CARE)系统12是基于计算机的,包含多个阶段的处理。CARE系统12案例确认的类型有两种:阳性案例16和阴性案例17。阳性案例16被送回到放射科医生那里以备其根据X光胸片做最终决定。
本发明方法和程序可用于两种模式:(1)成批处理模式,放射科工作人员向CARE12传输一组阴性图像进行处理。(2)即时互动模式,当放射科医生初步诊断后立即通过CARE12运行这些阴性图像。
图2表示了本发明放射性图像数字处理的计算机辅助再筛查(CARE)系统12。
尽管系统12和操作方法在此处是根据使用数字图像处理、多重解析率处理和深度学习神经网络有关的X光片肺局部性病变的自动检测和再筛选来描述的,但是系统12和其操作方法也在很多其他数字图像处理中应用。
使用系统12,将感兴趣解剖区域的图像数据,如胸部(未显示),输入图像输入单元32.输入图像可以来自摄像仪,CR系统,直接数字化X线摄影(DDR)系统,图像接收和传输(PACS)系统,或者胶片扫描仪。图像输入单元32的数据存储以备用于存储单元34的后期检索,以及发送到检测单元36。任何合适的存储单元设置34,如磁带,计算机硬盘,光学激光存储等等,都可以使用。检测单元36使用本发明的深度学习分类方法(包括后面讨论的再筛查方法)检测输入图像的肺局部性病变。正如下面描述,检测单元36包括多个阶段,分别对应本发明深度学习分类方法几个主要步骤的。随后,图像被传输到存储单元34以备存储和/或发送到输出单元38,如显示器,打印机,绘图仪,图像记录器,或其他相似的设备。
参考图3,检测单元36通常包括多个阶段和状态,在第一个阶段,图像增强单元100进行多重解析率分解和匹配,以提高局部性病变增强的图像对象的背景对比度。
在第二个阶段,快速选择单元200执行一系列分割图像较小区域内的球形度测试,一些可疑局部性病变区域(SNA)被分割和选择,以识别可能含有异常(即局部性病变)的可疑区域(如32x32像素)250。
在第三阶段中,分类单元300采用特征提取、特征模式分类器、图像区域分类器和数据融合中心处理来确定在每一个位置的SNA分类评分(350)。
在第四阶段,决策单元400采用事件评价、分级确定、分类阈值测定和审查阈值以选择再审查后小部分标记为阳性的图像,以便医生做进一步的审查。
简单描述了检测单元36的四个阶段,以下是具体描述:如图3所示,数字胸部图像95被反馈到图像增强单元100,尽管当前数字X光片更便于使用,但典型的胸片中还是会有胶片(X射线)技术拍摄的。这种情况下提出了X胸片胶片的自动处理:由数字化临床X光胸部胶片获得数字化胸部图像,这通过直接数字化X线摄影(DDR)系统、PACS和计算机X线摄影术(CR)系统实现。数字化胸部图像在分辨率接近于100-200μm以及4096灰度级条件下处理像素,用简单的对比缩放功能(如,窗口调平)来获得肺面积与纵隔区之间的恒定的对比。每个肺图像随后减小到500x512x12bit(例如,用2x2的像素区域进行平均处理)以备系统12使用,并周期性的应用到后期的技术中。
图4表示的是图像单元100,通过多重解析率匹配滤波技术将X光片中潜在的局部性病变信息增强。首先,数字胸部图像604通过一个低通滤波器605,然后是图像抽取单元610,以获得低分辨率子图像612。因为被图像抽取单元610处理过,低分辨率子图像612的大小小于数字胸部图像604。所以,可疑局部性病变在低分辨率子图像612中的尺寸也小于在数字化胸部图像604中的尺寸,使用单一的虚拟虚拟局部性病变614来检测局部性病变的原始大小(在数字胸部图像95)和较大尺寸的局部性病变。在低分辨子图像612中局部性病变尺寸接近虚拟局部性病变614,局部性病变幻想614被作为图像抽取处理(单元610)的参考,将输入到单元610的局部性病变的大小变成与参考局部性病变幻像614的大小近似匹配。
低通滤波器605可以是空间滤波器,光谱滤波器,或光谱空间滤波器。中通滤波器是空间滤波器的一个例子,该滤波器将中心位置的中值像素值作为输出,随后并产生平滑的图像。光谱滤波器包括以下几个步骤:傅里叶变换,将图像转换成频域内的图像;采用低频率截止,消除转换后图像的高频部分;傅里叶逆变换将低频率截止图像转换为时域平滑图像;光谱空间滤波器使用小波变换,采用以下一个或多以下滤波器:拉普拉斯滤波、高斯滤波、正交镜像滤波器(QMF)、完美重建(QMF)滤波器(PR-QMF),或双正交滤波器(BIO)来进行转换。这些滤波器是包括不同相关系数的小型图像模板。
将小型模板和图像相乘得到光谱域和空间域的平滑图像。平滑图像采用单元610的方式按一定间隔进行向下采样,得到一个低分辨率的子图像。子图像再通过匹配滤波单元615进一步处理,在低分辨率条件下,获取局部性病变增强图像,多重解析率匹配滤波方法的使用可以有效检测出不同大小的局部性病变。有的方法使用指定大小的虚拟局部性病变来一次检测一个尺寸的局部性病变,而本发明描述了使用单一的虚拟虚拟局部性病变614来检测所有或大多数局部性病变尺寸。原始的数字图像可以通过一个大致类似于匹配滤波单元620的方式来处理,以产生一个基本上是原始分辨率的局部性病变增强图像。匹配滤波可以应用于光谱域或空间域中。在光谱域实施涉及前沿算法和傅立叶逆变换,数字图像胸部(604)和虚拟局部性病变(614)之间的矩阵连接和相乘。空间域中实现是一个相关算法,虚拟局部性病变乘以分辨率接近或小于原始图像的子图像,以生成局部性病变增强图像。生成虚拟局部性病变的例子如下:直径为3毫米的球面轮廓,虚拟局部性病变中心和其边界之间的对比度,两者用来合成理想的局部性病变图像及其周围的解剖背景。这样的虚拟局部性病变包含一个典型的局部性病变及其周围的信息。
多重解析率匹配滤波技术可检测出不同大小的局部性病变和减少搜索时间。匹配后带有原始分辨率的图像是通过3mm局部性病变增强的结果图像。随着分辨率降低,具有较大尺寸的可疑局部性病变将被检测到。参考图4,图像抽取单元610执行平滑图像向下采样并生成一个低分辨率的子图像作为输出结果。低分辨率子图像中的局部性病变大小与原始图像中较大的局部性病变大小相同。结论是,随着分辨率降低,具有较大尺寸的可疑局部性病变将被检测出来。
参考图5,在快速选择单元200中,由图像增强单元100生成的局部性病变增强图像主要是根据典型的局部性病变形状(如球形)进行处理。在单元220中,根据单元210中产生的一系列的像素阈值,检查不同分割阈阈值图像区域的球面参数,最后在单元240和255进行球形检验。
像素阈阈值(1107)对图像中最可能为真的局部性病变的成功选择至关重要,因为其影响每个分割图像可疑区域的数量。一系列像素阈阈值(1107)的选择主要是根据积分分布函数(CDF)的固定间隔(如97%,94%,93%等),可能导致的结果有:由于CDF的大间隔致使漏掉真局部性病变,或者在每个分割图像的球形测试中由于全面的阈阈值处理导致需要过长的处理时间。
参考图6,像素阈值生产单元210是组成图5中快速选择单元200的一部分,是根据所需SNA尺寸1101的特征,SNA量1103以及局部性病变增强图像(150)。局部性病变增强图像(150),所需SNA尺寸1101和SAN量1103被送到分数预估单元1122,以在包括潜在SNA的整个图像像素在没有任何假阳性的情况下确定SNA分数11221。在数学上,可以表示为:随后,SNA分数11221传输到阈值确定单元1125,局部性病变增强图像(150)也被传输到SNR评估单元1119和CDF生成单元1117。在SNR评估单元1119,图像的(150)的信噪比(SNA)被计算出来。计算信噪比的一种方法是计算在胸部区域中的平均像素值的比例得到像素值的标准偏差。当在完整图像中评估SNA区域更确切分数,SNR值11191允许考虑信号(局部性病变)和噪声(外部环境),SNA值11191被输送到阈值确定单元1125。
在图6的CDF图生成单元1117,在整个局部性病变增强图像150生成一个直方图和累积分布函数(CDF)曲线11171。沿CDF曲线11171的每个点(CDF值)表示在一个局部性病变增强图像的像素值的积分百分比。给定任何CDF值(如SNA分数11221),在单元1125始终会选择相应的像素值。换言之,将SNA分数11221作为CDF值可对应的选择像素值作为像素阈值1104。在阈值确定单元1125可以基于CDF曲线11171选择几个不同的像素值(代码值)。例如,在刚开始的时候,考虑到所需SNA量1103,有一定数量假阳性的真局部性病变的像素值大多处于一个范围内(最高为3%),97%的CDF图像像素值被选择作为第一阈值。根据SNA尺寸1101,数量1103,增强图像的尺寸以及SNA值,可以确定SNA分数11221。
在阈值确定单元1125,CDF阈值由公式[100%-{(SNA尺寸1101×SNA量1103)×(SNR.div.1)/(增强图像的大小)×100%}]计算得到。CDF阈值的下一个阶段是通过单元1130的SNA尺寸变化和单元1122,1119,1117和1125的评价获得。从阈值CDF,像素的阈值1107的序列是使用单位1125中的CDF曲线11171生成的,采用这种方法,不同层次的CDF值不是均匀选择。
该发明获得像素阈值的方法和先前采用固定CDF间隔方法直接的不同在于现有的发明可以在有效方法中获得更大的SNA,并保持灵敏度。此外,使用间隔均匀的CDF值将出现以下两种结果:由于大的CDF间隔导致忽视真局部性病变或由于细的CDF间隔导致过长的处理时间。
在图5单元220中,根据CDF中相应的概率选择十个不同代码值作为阈值,以生成10个不同二进制阈值图像,如果二进制代码值为1,则表示该像素值大于阈值(单元220中的)。将检测到含有可疑局部性病变的图像分割为10张不同阈值的二进制图像,这样使得三维球体(或者三维椭圆形)可作为不同尺寸的多个二位圆形叠加来分析。
随后,几个孤立的协方差为1的区域(即,生长区域)便出现在张阈值图像中。随着阈值的增加,该区域变得更小。不同阈值图像中的生长区域组合起来就可以检测到每个可疑局部性病变。
球形检验程序(单元245)在每个阈值图像中检查的参数包括:SNA的有效半径(R),SNA的圆度(C),阈值图像单元240-1、240-2、...240-N中SNA的不规则,其中N是阈值图像的序号(例如,n=10)。组合的圆参数相同的SNA在不同阈值/分割图像进行球面参数。将不同阈值/分割图像中的同一SNA的圆度参数组合起来形成球形参数。
如果SNA的球形度参数的值在一个预先定义的阈值范围内(如,10张阈值图像至少有7张),那么所述SNAS被选择为局部性病变候选。计算疑似局部性病变的重心,并且一旦重心被确定,就将所选局部性病变候选分割成32x32的图像块,或重心周围大约9mm^2区域(图5单元250),然后输入到分类单元300。在本文中,通过将生长区域内的所有候选局部性病变相加求平均值获得可疑局部性病变的重心。
经过对放射性图像进行前两个阶段的处理(图3和图4的图像增强,和图5的快速选择)之后,原始图像中的许多疑似局部性病变(即,图2中检测单元36的输入)和局部性病变增强图像块(即,图2中通过图像增强100输出的局部性病变增强图像)——例如大小为32x32像素的图像块,是通过基于分类得分350模块进一步发展和应用各种真、假分类类型而获得的。在本文中,真局部性病变是已经确定为早期癌病变或症状局部性病变,假局部性病变是指已被确定为没有癌症的疑似局部性病变。疑似局部性病变根据图7的分类单元300进行分类,以便确定局部性病变分类得分350,基于该得分350,确定局部性病变的真假。
图2的分类单元300现在将参考图7进行详细描述。分类单元300处理特征提取单元3010、特征模式分类3015、图像区域分类器3020和数据融合中心3030中的可疑局部性病变区域250,生成表示特定的SNA250为真局部性病变的可能性的分类得分350。本应用表明图像的分类可以有两种方式(基于抽象特征参数的分类和基于图像区域的分类)。通过考虑数据融合中心每个分类器的性能,可将分类结果进行组合,以获得更优化的结果。组合单元3010和3015是一种模式分类方法,特征提取单元3010将输入图像转换成特征参数,随后特征模式分类器3015将导出的特征进行分类。这样的特征参数可以是之前所提到的幅度和图像边缘的方向以及任何其他组织参数(如平均值,标准偏差等)。通常,特征参数的大小比图像区域的大小要小得多,因此,这些特征参数是与图像尺寸相独立的。这种特性允许一个更小的分类体系结构,也使分类器的训练速度比与使用整个图像区域的更快。与单元3010和单元3015根据提取的特征参数进行分类不同,单元3020直接在图像块上进行分类。
图像区域分类器3020内部在进行模式分类后进行特征提取。图像区域分类器读取整个图像随后执行分类。通常情况下,训练是漫长的,但这种方法不会错过图像中的细小结构。图像区域分类器进行特征提取,可以提取到一些传统特征提取技术忽略了的有用特征。数据融合中心3030需要从各个分类器的检测结果(例如,单元3015和3020)形成最后的检测结果,用分类得分350来表示每个类(即,为真阳性或假阳性局部性病变)的可能性。单元3015是基于贝叶斯决策规则执行的,良好的分类器分类结果在最终决策有较重的影响力,分类结果不好的对最终决策影响力较小。每个分类器的贡献通过检测精度和误报率来定量。
图8描述的是图7中使用反向传播(BP)深度学习神经网络(ANN)分类器的特征参数分类器进行特征模式分类处理(单元3015)的一个示例。BPANN分类器根据一个给定的图案和所需的目标进行训练,直到所需的目标和预测的目标之间的差别最小。
图8中单元3015A的体系结构是由四个处理层形成的:一个输入层,两个隐藏层和一个输出层。每层跟上下两层完全连接。输入层的神经元的数量与图7中特征提取单元3010输出的特征参数的数量相关。两个隐藏层包含任意数量的神经元,这取决于训练结果。选择两个隐藏层是因为多隐层BP神经网络能够执行任何种类的模式识别问题。含有两个神经元的输出层被用来区分真阳性和假阳性局部性病变(包括不存在局部性病变的)。变化值从-1到1的S形传递函数用作每个神经元的激活函数。
BPANN分类器由32×32图像块组成的数据集来训练,数据集由含有各种解剖类别的图像块组成,并分成训练集和测试集。在学习阶段(权值适应),BPANN从提供给它的训练集学习直到习得大部分的训练案例。然后将经过训练的BPANN应用到测试数据集。测试数据集的一部分被用作训练实例,剩余部分被用作测试集。BPANN的训练完成后,将整个学习到的参数集应用到特征参数中,在两个输出神经元生成变化范围为-1到1的输出值,表示局部性病变为真阳或假阳可能性。
特征模式分类3015由图9中基于启发式决策规则的二元决策树分类器实施的。启发式决策规则是通过经验和实验确定的决策准则。启发式决策规则本质上是条件决定的多分支序列。该多个条件决定的序列可以简化为一个二元决策树分类器。同样,在决策节点的任何复杂操作都可以简化成一个线性操作。通常情况下,二元决策树分类器3015B是由节点操作(U)和分支操作(.fwdarw.)组成。二元决策分类器3015B首先输入K个值,X_1,X_2,...,X_K,每个分支节点(3041-1,3041-2,...,3041-N_2)进行线性处理(U_1,U_2,...U_N2),并产生N_3终端输出(节点操作输出不进入任何分支节点),表明各决策分支的输出。输入X_2,...X_K可以是图7的特征提取单元3010获得的特征参数。最终的分类结果是(C1、C2分别表示真阳性、假阳性)结合不同的终端输出结果(C_1,C_2,...,C_N3)获得的。
二元决策树分类器3015B包括两个主要处理过程:每个分支节点(3041-1,3041-2,...3041-N_2)的线性操作(U_1,U_2,...)和从一个节点到另一节点分支操作(.fwdarw.)。在所有节点的线性操作(例如,U_1=a_1*x_1+a_2*x_2+...)通常是一个矩阵运算。分支操作(.fwdarw.)是根据在每个节点满足(Y)或不满足(N)预先确定的标准(u>0)。如图9所示,每个节点操作并不涉及所有的输入,每个分支操作也不一定涉及到所有的节点。二元决策分类是一个连续的分类体系结构,一旦决策准则U被处理,该准则将不会被重新评估,除非创建一个额外的分支。因此,连续的分类不允许后来的分支操作和节点操作改变较早的分支作出的决定。二叉决策树的输出在每个终端输出是一个整数,表示一个特定类的存在或不存在。
图10中四层(一个输入,两个隐藏层,和一个输出层)神经网络结构3105C用来实现图9中二元决策树分类器。通常,使用反向传播技术训练的神经网络体系结构(处理层,神经元的数量,和连接)在发展阶段不断的变化,一旦神经网络训练“成功”便获得最终的结构,反之神经网络结构3015C是不变的。输入层的神经元的数量和二元决策树分类器3015B的输入X_1,X_2,...X_K,的数字K相同。在第一个隐藏层中的神经元对应于图9中N_2分支节点的操作(3041-1,3041-2,...3041-N_2)。第二个隐藏层的神经元对应于二进制决策树分类器3015B在N_3终端输出的操作。在输出层神经元的数目对应于检测所需类。在本发明中,有2个对应于真阳性和假阳性局部性病变的输出神经元。
不像传统的神经网络结构(例如,图8的单元3015A)将上下层之间完全连接,图10中,单元3015C内各层之间的的部分连接被修剪掉(两层之间未完全连接)。使用一个修剪神经网络体系结构来实现图93015B中的二元决策分类器是因为并非所有的输入变量在每个节点操作(3041-1,3041-2,...,3041-N_2)中都能被使用,并非每个N_3终端输出都曾涉及所有节点的分支操作过。第二个原因是检测从终端输出的结果判定,而每个终端的输出仅属于一个单一的检测输出。
输入的神经元和第一个隐藏层的神经元之间的连接将节点操作作为多个输入的线性函数,只有节点操作中使用到的输入被反馈/连接到节点,而操作中没使用的节点不连接。条件声明(>0)是由一个硬性制器实现。然而,S形函数或其他连续的非线性函数也可以用于生成鲁棒的结果,该模拟值表示分类分数。在第一和第二隐藏层中的神经元之间的连接是源自节点操作和终端输出之间的逻辑电路操作,也就是说,终端输出结果作为多个节点的函数。
如果终端节点是分支节点的函数,则连接成功,否则权重/连接被修剪掉。第二隐藏层和输出层之间的权重仅仅是几个终端输出组合成所希望的输出。
初始权重(连接)由图9中二元决策树分类器3015P使用的启发式阈值来确定。非线性函数,例如二元输出(-1和1)的硬限制器,用于每个隐藏神经。此修剪神经网络结构得到了进一步训练,通过使用上述相同SNA图像集及其特征参数的反向传播训练方案。这种神经网络的完整训练仅需要几个时期,因为它是不完全连接,并且初始权重的获得是来自可能接近最优值的经验启发式规则。
图11为图7单元3020的卷积神经网络(CNN)的体系结构的具体实现,是分类单元300的组成部分。卷积神经网络结构是一个四层神经网络(一个输入层,两个隐藏层,和一个输出层)。输入层是由与SNA250中M应的预处理输入图像块对应的M^2神经元组成。两个隐藏层有n组N个隐个神经元,n的变化取决于N决于的特征图,其实N是等于M=k+1,K=k区域是感受野,每个隐藏神经元接收输入图像块k入图附近的输入。在相同特征图中的神经元是一个个分散的神经元,输入层的感受野是一个个分散的像素。而且,在相同特征图中的每个神经元被限制为具有相同的一组k^2权重,并在输入图像的对应的部分执行相同的操作。也就是说,每个神经元被精确的限制在其感受野并用相同的方式进行处理。限制权重的好处是能够执行移位不变模式识别网络。因此,操作的总效果可表现为k×k卷积核(感受野)的一个二维离散卷积。特征图是输入图像卷积内核的输出。在另一特征图中,所有神经元以同样的方式共享另一组k^2权重。
方形指示簇簇(即:特征图)是由二维排列的神经元组成。每个簇簇对应一张特征图。每个簇上的圆圈和簇之间的圆锥体分别代表权重模式和连接。信号流的计算作为常规的图像处理,由簇和权重直接离散卷积得到。在降低肺局部性病变检测假阳性的应用中,CNN通过疑似局部性病变的图像块进行训练,并且根据X光射线图像来配置和测试每个癌症局部性病变的诊断。在CNN通过有监督的学习过程进行训练达到一定效果,该程是指一个直接从32个直接像素的疑似局部性病变图像块直接提取具体特征的特征监视器。CNN的训练是对选择的可疑局部性病变图像直接操作,而不是操作预先识别的图像特征的一些子空间。
图12显示了图3中决策单元400用于选择病历的特定比例,以便医生或另一个设备根据局部性病变分类评分350做进一步查看。该病的患病率2010和风险因子2015先送入真局部性病变发生评价单元2045确定风险调整后的患病率RAPR2047(带有危险因子2015的人口疾病发生频率)。单元2045中的RAPR2047和检测系统的表现(包括真阳性2020的数量和假阳性2025的数量)被输入到分数确定单元2050,获得病例的百分比,以供进一步查看。PCFR2057是PCFR通过将假阳性和风险调整后的患病率2047进行相加得到。PCFR随后被输入到分类评分确定单元2055以确定分类评分阈值CST2067(比如圆度,神经网络等)。再回顾阈值单元2060,局部性病变分类评分350通过比较分类评分与分类阈值CST2067做进一步评估,那些满足CST2067都被标有再检查450的标志,然后送给医生做进一步查看。
应当理解为的是,本文所述发明的方法和系统可以在本发明的范围内进行修改。例如,虽然在本文描述的发明方法和系统是关于检测肺局部性病变的,但是这些系统和方法也可以用于检测其他类型的癌症,如如乳腺癌的微钙化聚簇或肿块、局部性病变、不规则肿或身体其他部位的肿瘤。

Claims (10)

1.这是一种用于重新筛选异常(如,放射图像中的局部性病变)的系统,系统接收前期放射性诊断技术识别为阴性的放射图像,该系统的检测单元包括以下部分:
1.1一种图像增强单元,使用多重解析率匹配滤波方法来增强任何可能出现的异常和图像背景之间的对比度;
1.2一种快速选择单元,使用像素阈值法初步选择一个可疑的异常;
1.3一种分类单元,对异常的出现位置和分类评分进行判断,能识别虚假异常;
1.4一种决策单元,选择图像的一部分用于进一步检查诊断;
1.5利用深度学习人工智能实行分类。
其中,如果影像图由上述检测单元分析被确定为阳性,对其进行进一步的放射学诊断,以确认是否存在真实局部性病变;如果影像图由上述检测单元分析被确定为阴性,无需进一步执行放射学诊断。
2.根据权利要求1所述,其中所述多重解析率匹配滤波方法生成低分辨率子图像,相比原始图像具有不同的分辨率和有多个不同大小的异常。
3.根据权利要求1所述,其中所述多重解析率匹配滤波方法利用单一局部性病变假体作为参考。
4.根据权利要求3所述,其中,所述局部性病变假体被与上述图象关联来确定异常可能的位置。
5.根据权利要求1所述,系统还包括:图像抽取单元,其生成低分辨率子图像,所述低分辨率子图像象素比输入的原始数字图像像素更小,通过丢弃多余图像象素,上述子图像覆盖原始图像相同的区域。
6.根据权利要求1所述,其所述图像增强单元包括:低通滤波单元用于平滑所述图像。
7.根据权利要求1所述,其所述快速选择单元包括至少一个以下内容作为用于确定所述像素阈值的方法,包括:信噪比(SNR)估算单元,累积分布函数(CDF)生成单元,分数估算单元,异常大小更新单元,和一个CDF阈值确定单元。
8.根据权利要求7所述,其所述快速选择单元包括所述分数估算单元,所述分数估算单元评估一个或多个可疑的局部性病变面积(SNA)分数,其中增强的图像是由图像增强单元的输出。
9.根据权利要求7所述,其所述快速选择单元包括所述的CDF阈值确定单元,所述CDF阈值确定单元通过评估表达式估算的一个或多个CDF阈值,SNA是一个可疑的局部性病变区和图像增强单元的输出增强图像。
10.一种用于在放射图像中重新筛选异常(如局部性病变)的方法:接收至少一幅放射图像,该图像在此前接受过诊断性评估;按照以下规则识别图像:
10.1如果放射线图像先前诊断审查被确定为阳性时,将该图像放置于一个组别中,用于进一步放射学诊断来确认真正局部性病变的存在;
10.2如果所述放射图像在先前诊断审查中被确定为阴性时,根据深度学习分类方法放置该图像在另一组中进行分析。该深度学习分类方法包括以下步骤:
10.2.1执行图像增强步骤,以提高任何异常和图象背景之间的对比度。图像增强步骤包括:运用多重解析率匹配滤波;进行快速选择步骤,初步选择一个可疑的异常,快速选择步骤包括:像素阈值。
10.2.2执行一个深度学习分类步骤,确定一个已存在异常的位置和一个深度学习分类评分,以确定一个虚假的异常;
10.2.3执行决策步骤来选择图像用于进一步诊断审查的一部分。所述决策步骤包括以下子步骤:如果一个放射线图像由上述检测单元分析被确定为阳性,并进行进一步的放射学诊断,以确认是否存在真实局部性病变,如果一个放射线图像由上述检测单元分析被确定为阴性,无需进一步执行放射学诊断。
CN201510947081.0A 2015-12-16 2015-12-16 一种自动检测放射影像中局部性病变的方法和系统 Pending CN105640577A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510947081.0A CN105640577A (zh) 2015-12-16 2015-12-16 一种自动检测放射影像中局部性病变的方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510947081.0A CN105640577A (zh) 2015-12-16 2015-12-16 一种自动检测放射影像中局部性病变的方法和系统

Publications (1)

Publication Number Publication Date
CN105640577A true CN105640577A (zh) 2016-06-08

Family

ID=56476625

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510947081.0A Pending CN105640577A (zh) 2015-12-16 2015-12-16 一种自动检测放射影像中局部性病变的方法和系统

Country Status (1)

Country Link
CN (1) CN105640577A (zh)

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106780475A (zh) * 2016-12-27 2017-05-31 北京市计算中心 一种基于病理组织切片图像组织区域的图像处理方法及装置
CN107610773A (zh) * 2017-09-12 2018-01-19 北京即刻叁维数据科技股份有限公司 一种基于主动脉医学影像的血管夹层辅助诊断方法
CN107644251A (zh) * 2016-07-22 2018-01-30 北京市商汤科技开发有限公司 神经元激活方法、装置和系统以及对象分类方法和系统
CN108470331A (zh) * 2017-02-23 2018-08-31 富士通株式会社 图像处理装置和图像处理方法
CN108618797A (zh) * 2017-03-21 2018-10-09 西门子医疗有限公司 光谱ct图像数据的对比度增强再现
CN108765374A (zh) * 2018-04-27 2018-11-06 华南理工大学 一种宫颈涂片图像中异常核区域筛查的方法
CN108765408A (zh) * 2018-05-31 2018-11-06 杭州同绘科技有限公司 构建癌症病理图像虚拟病例库的方法以及基于卷积神经网络的多尺度癌症检测系统
CN109509183A (zh) * 2018-10-31 2019-03-22 上海联影医疗科技有限公司 医学图像的筛选方法、装置、医学设备、医学影像系统及存储介质
CN110084790A (zh) * 2019-04-17 2019-08-02 电子科技大学成都学院 仿生模式识别在影像学肺炎判别的算法改进
CN110537204A (zh) * 2017-06-28 2019-12-03 渊慧科技有限公司 使用分割和分类神经网络的可泛化医学图像分析
CN110874550A (zh) * 2018-08-31 2020-03-10 华为技术有限公司 数据处理方法、装置、设备和系统
CN111382756A (zh) * 2018-12-28 2020-07-07 中国医药大学附设医院 影像电脑辅助直肠癌治疗反应预测系统、方法及电脑程序
CN111598853A (zh) * 2020-04-30 2020-08-28 科大讯飞股份有限公司 针对肺炎的ct影像评分方法、装置及设备
CN112437948A (zh) * 2018-07-31 2021-03-02 奥林巴斯株式会社 图像诊断支援系统及图像诊断支援装置
US10936912B2 (en) 2018-11-01 2021-03-02 International Business Machines Corporation Image classification using a mask image and neural networks
US11205509B2 (en) 2017-10-05 2021-12-21 Koninklijke Philips N.V. Image feature annotation in diagnostic imaging
CN115115620A (zh) * 2022-08-23 2022-09-27 安徽中医药大学 一种基于深度学习的肺炎病变模拟方法及系统
WO2023280221A1 (en) * 2021-07-07 2023-01-12 Versitech Limited Multi-scale 3d convolutional classification model for cross-sectional volumetric image recognition

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6125194A (en) * 1996-02-06 2000-09-26 Caelum Research Corporation Method and system for re-screening nodules in radiological images using multi-resolution processing, neural network, and image processing
CN104732086A (zh) * 2015-03-23 2015-06-24 深圳市智影医疗科技有限公司 基于云计算的疾病计算机辅助检测系统
CN104809331A (zh) * 2015-03-23 2015-07-29 深圳市智影医疗科技有限公司 一种计算机辅助诊断技术(cad)检测放射图像发现病灶的方法和系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6125194A (en) * 1996-02-06 2000-09-26 Caelum Research Corporation Method and system for re-screening nodules in radiological images using multi-resolution processing, neural network, and image processing
CN104732086A (zh) * 2015-03-23 2015-06-24 深圳市智影医疗科技有限公司 基于云计算的疾病计算机辅助检测系统
CN104809331A (zh) * 2015-03-23 2015-07-29 深圳市智影医疗科技有限公司 一种计算机辅助诊断技术(cad)检测放射图像发现病灶的方法和系统

Cited By (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107644251B (zh) * 2016-07-22 2020-09-18 北京市商汤科技开发有限公司 对象分类方法、装置和系统
CN107644251A (zh) * 2016-07-22 2018-01-30 北京市商汤科技开发有限公司 神经元激活方法、装置和系统以及对象分类方法和系统
CN106780475A (zh) * 2016-12-27 2017-05-31 北京市计算中心 一种基于病理组织切片图像组织区域的图像处理方法及装置
CN108470331A (zh) * 2017-02-23 2018-08-31 富士通株式会社 图像处理装置和图像处理方法
CN108618797A (zh) * 2017-03-21 2018-10-09 西门子医疗有限公司 光谱ct图像数据的对比度增强再现
US11954902B2 (en) 2017-06-28 2024-04-09 Google Llc Generalizable medical image analysis using segmentation and classification neural networks
CN110537204A (zh) * 2017-06-28 2019-12-03 渊慧科技有限公司 使用分割和分类神经网络的可泛化医学图像分析
CN107610773A (zh) * 2017-09-12 2018-01-19 北京即刻叁维数据科技股份有限公司 一种基于主动脉医学影像的血管夹层辅助诊断方法
US11205509B2 (en) 2017-10-05 2021-12-21 Koninklijke Philips N.V. Image feature annotation in diagnostic imaging
CN108765374A (zh) * 2018-04-27 2018-11-06 华南理工大学 一种宫颈涂片图像中异常核区域筛查的方法
CN108765374B (zh) * 2018-04-27 2022-03-29 华南理工大学 一种宫颈涂片图像中异常核区域筛查的方法
CN108765408A (zh) * 2018-05-31 2018-11-06 杭州同绘科技有限公司 构建癌症病理图像虚拟病例库的方法以及基于卷积神经网络的多尺度癌症检测系统
CN108765408B (zh) * 2018-05-31 2021-09-10 杭州同绘科技有限公司 构建癌症病理图像虚拟病例库的方法以及基于卷积神经网络的多尺度癌症检测系统
CN112437948A (zh) * 2018-07-31 2021-03-02 奥林巴斯株式会社 图像诊断支援系统及图像诊断支援装置
CN110874550A (zh) * 2018-08-31 2020-03-10 华为技术有限公司 数据处理方法、装置、设备和系统
CN109509183A (zh) * 2018-10-31 2019-03-22 上海联影医疗科技有限公司 医学图像的筛选方法、装置、医学设备、医学影像系统及存储介质
US11586851B2 (en) 2018-11-01 2023-02-21 International Business Machines Corporation Image classification using a mask image and neural networks
US10936912B2 (en) 2018-11-01 2021-03-02 International Business Machines Corporation Image classification using a mask image and neural networks
CN111382756A (zh) * 2018-12-28 2020-07-07 中国医药大学附设医院 影像电脑辅助直肠癌治疗反应预测系统、方法及电脑程序
CN111382756B (zh) * 2018-12-28 2023-06-02 台湾中国医药大学附设医院 影像电脑辅助直肠癌治疗反应预测系统及方法
CN110084790A (zh) * 2019-04-17 2019-08-02 电子科技大学成都学院 仿生模式识别在影像学肺炎判别的算法改进
CN111598853B (zh) * 2020-04-30 2024-02-13 讯飞医疗科技股份有限公司 针对肺炎的ct影像评分方法、装置及设备
CN111598853A (zh) * 2020-04-30 2020-08-28 科大讯飞股份有限公司 针对肺炎的ct影像评分方法、装置及设备
WO2023280221A1 (en) * 2021-07-07 2023-01-12 Versitech Limited Multi-scale 3d convolutional classification model for cross-sectional volumetric image recognition
CN115115620B (zh) * 2022-08-23 2022-12-13 安徽中医药大学 一种基于深度学习的肺炎病变模拟方法及系统
CN115115620A (zh) * 2022-08-23 2022-09-27 安徽中医药大学 一种基于深度学习的肺炎病变模拟方法及系统

Similar Documents

Publication Publication Date Title
CN105640577A (zh) 一种自动检测放射影像中局部性病变的方法和系统
CN112101451B (zh) 一种基于生成对抗网络筛选图像块的乳腺癌组织病理类型分类方法
CN111488921B (zh) 一种全景数字病理图像智能分析系统及方法
US6125194A (en) Method and system for re-screening nodules in radiological images using multi-resolution processing, neural network, and image processing
Jafarzadeh Ghoushchi et al. An extended approach to the diagnosis of tumour location in breast cancer using deep learning
JP3947109B2 (ja) コンピュータ利用画像分析
Hashemi et al. Mass detection in lung CT images using region growing segmentation and decision making based on fuzzy inference system and artificial neural network
US6654728B1 (en) Fuzzy logic based classification (FLBC) method for automated identification of nodules in radiological images
Sureka et al. Visualization for histopathology images using graph convolutional neural networks
Du et al. Identification of COPD from multi-view snapshots of 3D lung airway tree via deep CNN
Sreenivasu et al. [Retracted] Dense Convolutional Neural Network for Detection of Cancer from CT Images
Aslam et al. Neurological Disorder Detection Using OCT Scan Image of Eye
CN105956386B (zh) 基于健康人胸片的健康指标指数分类系统和方法
Wankhade et al. A novel hybrid deep learning method for early detection of lung cancer using neural networks
Thilagaraj et al. [Retracted] Classification of Breast Cancer Images by Implementing Improved DCNN with Artificial Fish School Model
Jiang et al. [Retracted] Application of Deep Learning in Lung Cancer Imaging Diagnosis
Elayaraja et al. An efficient approach for detection and classification of cancer regions in cervical images using optimization based CNN classification approach
Nayan et al. A deep learning approach for brain tumor detection using magnetic resonance imaging
Manikandan et al. Segmentation and Detection of Pneumothorax using Deep Learning
Tiwari et al. Optimized Ensemble of Hybrid RNN-GAN Models for Accurate and Automated Lung Tumour Detection from CT Images
Latha et al. Brain tumor detection and classification using convolution neural network models
CN115880266B (zh) 一种基于深度学习的肠道息肉检测系统和方法
WO2023223060A1 (en) Method for training a system adapted for aiding evaluation of a medical image
Farrag et al. An explainable AI system for medical image segmentation with preserved local resolution: Mammogram tumor segmentation
Singh et al. Detection of Brain Tumors Through the Application of Deep Learning and Machine Learning Models

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20160608