CN110969619B - 一种自动识别鼻咽癌原发肿瘤的方法及装置 - Google Patents
一种自动识别鼻咽癌原发肿瘤的方法及装置 Download PDFInfo
- Publication number
- CN110969619B CN110969619B CN201911314740.1A CN201911314740A CN110969619B CN 110969619 B CN110969619 B CN 110969619B CN 201911314740 A CN201911314740 A CN 201911314740A CN 110969619 B CN110969619 B CN 110969619B
- Authority
- CN
- China
- Prior art keywords
- pixel
- magnetic resonance
- dimensional image
- probability
- belongs
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10088—Magnetic resonance imaging [MRI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Medical Informatics (AREA)
- Quality & Reliability (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
Abstract
本发明涉及图像处理领域,提供一种自动识别鼻咽癌原发肿瘤的方法及装置,该方法包括将Mask RCNN深度语义分割网络中的骨干网络采用ResNeXt152网络,并将语义分割分支的预测类别定义为三类;利用预处理后的多个磁共振三维图像训练该深度语义分割网络,其输出包括:包含肿瘤区域的矩形框的四个端点的像素位置信息、矩形框为肿瘤区域的概率、矩形框内每个像素属于原发肿瘤区域的概率;将待识别磁共振三维图像输入该深度语义分割网络,得到每个像素属于原发肿瘤区域的概率;该方法通过深度学习方法,利用Mask RCNN的网络架构并对其进行改进,能有效提高预测的准确度和模型的泛化能力。
Description
技术领域
本发明涉及图像处理技术领域,尤其涉及一种自动识别鼻咽癌原发肿瘤的方法及装置。
背景技术
在医学领域,调强适形放射治疗技术能够大大提高癌症患者的生存率及生活质量。但是,这种先进的治疗方法需要对目标肿瘤的轮廓进行准确的判断,放射治疗方案的制定需要花费放疗科医生数小时时间。
由于鼻炎毗邻颅底,60%-70%的患者在就诊时即出现颅底骨质的破坏,18%的患者甚至伴有颅内及或海绵窦的侵犯,手术困难。同时85%的患者伴有颈部或咽喉淋巴结的转移,不适合手术。世卫组织将鼻咽癌分为三种类型:角化鳞状细胞癌、非角化癌、未分化癌。为保证在有限的医疗治疗资源下,使更多的患者能够接受及时有效的放射治疗,简化放疗医生的工作流程、提高放疗方案的制定效率至关重要。
近年来,人们对探索人工智能辅助医生进行疾病的诊断产生了浓厚的兴趣,并在某些领域利用人工智能(AI)算法建立了表现优于人类专家的数学模型。其中,在自动描绘鼻咽癌原发性肿瘤的初步研究中,可以发现人工智能作为一种强有力的方法,在正常组织分割任务中表现出相当的优势。但是,现有的识别医疗图像中原发肿瘤的方法,大多识别准确率较低。
发明内容
本发明实施例提供一种自动识别鼻咽癌原发肿瘤的方法及装置,用以解决现有技术中识别原发肿瘤准确率较低的问题。
本发明实施例提供一种自动识别鼻咽癌原发肿瘤的方法,包括:将Mask RCNN深度语义分割网络中的骨干网络采用ResNeXt152网络,并将语义分割分支的预测类别定义为三类,所述预测类别分别为像素属于非肿瘤区域的概率、像素属于肿瘤区域边界的概率及像素属于肿瘤区域内部的概率;
利用预处理后的多个磁共振三维图像训练所述Mask RCNN深度语义分割网络,所述Mask RCNN深度语义分割网络的输出包括:包含肿瘤区域的矩形框的四个端点的像素位置信息、所述矩形框为肿瘤区域的概率、以及所述矩形框内每个像素属于原发肿瘤区域的概率;
将待识别磁共振三维图像输入训练后的所述Mask RCNN深度语义分割网络,得到待识别磁共振三维图像中包含肿瘤区域的矩形框内每个像素属于原发肿瘤区域的概率。
本发明实施例提供一种自动识别鼻咽癌原发肿瘤的装置,包括:构建机构,用于将Mask RCNN深度语义分割网络中的骨干网络采用ResNeXt152网络,并将语义分割分支的预测类别定义为三类,所述预测类别分别为像素属于非肿瘤区域的概率、像素属于肿瘤区域边界的概率及像素属于肿瘤区域内部的概率;
训练机构,用于利用多个磁共振三维图像训练所述Mask RCNN深度语义分割网络,所述Mask RCNN深度语义分割网络的输出包括:包含肿瘤区域的矩形框的四个端点的像素位置信息、所述矩形框为肿瘤区域的概率、以及所述矩形框内每个像素属于原发肿瘤区域的概率;
识别机构,用于将待识别磁共振三维图像输入训练后的所述Mask RCNN深度语义分割网络,得到待识别磁共振三维图像中每个像素属于原发肿瘤区域的概率。
本发明还提供一种非暂态计算机可读存储介质,所述非暂态计算机可读存储介质存储计算机指令,所述计算机指令使所述计算机执行上述的自动识别鼻咽癌原发肿瘤的方法。
本发明实施例提供的自动识别鼻咽癌原发肿瘤的方法及装置,通过深度学习方法,利用Mask RCNN的网络架构并对其进行改进,使其能同时识别包含原发肿瘤区域的矩形框位置坐标、该矩形框为肿瘤区域的概率、该矩形框内每个像素属于原发肿瘤区域的概率,属于多任务学习,能有效提高预测的准确度和模型的泛化能力。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明提供的自动识别鼻咽癌原发肿瘤的方法一个实施例的流程框图;
图2为本发明提供的自动识别鼻咽癌原发肿瘤的方法另一实施例的流程框图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
在本发明的描述中,需要理解的是,术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”、“顺时针”、“逆时针”、“轴向”、“径向”、“周向”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。
此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中,“多个”的含义是至少两个,例如两个,三个等,除非另有明确具体的限定。
在本发明中,除非另有明确的规定和限定,术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或成一体;可以是机械连接,也可以是电连接或彼此可通讯;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通或两个元件的相互作用关系,除非另有明确的限定。对于本领域的普通技术人员而言,可以根据具体情况理解上述术语在本发明中的具体含义。
本发明提供一种自动识别鼻咽癌原发肿瘤的方法,其特征在于,包括:将MaskRCNN深度语义分割网络中的骨干网络采用ResNeXt152网络,并将语义分割分支的预测类别定义为三类,所述预测类别分别为像素属于非肿瘤区域的概率、像素属于肿瘤区域边界的概率及像素属于肿瘤区域内部的概率;利用多个磁共振三维图像训练所述Mask RCNN深度语义分割网络,所述Mask RCNN深度语义分割网络的输出包括:包含肿瘤区域的矩形框的四个端点的像素位置信息、所述矩形框为肿瘤区域的概率、以及所述矩形框内每个像素属于原发肿瘤区域的概率;将待识别磁共振三维图像输入训练后的所述Mask RCNN深度语义分割网络,得到待识别磁共振三维图像中每个像素属于原发肿瘤区域的概率。
如图1所示,先对Mask RCNN深度语义分割网络进行构建,即先将Mask RCNN深度语义分割网络中的骨干网络采用ResNeXt152网络,并把mask branch(语义分割分支)的预测类别改为三类,即预测类别分别为:像素属于非肿瘤区域的概率、像素属于肿瘤区域边界的概率及像素肿瘤区域内部的概率;此步骤对应图1中的步骤S101。
然后,对Mask RCNN深度语义分割网络进行训练,即利用预处理后的多个磁共振三维图像训练该Mask RCNN深度语义分割网络,例如,该对个磁共振三维图像可以为患有鼻咽癌患者的磁共振三维图像;该Mask RCNN深度语义分割网络的输出可以包括:包含肿瘤区域的矩形框的四个端点的像素位置信息、所述矩形框为肿瘤区域的概率、以及所述矩形框内每个像素属于原发肿瘤区域的概率。可以只将包含肿瘤区域的矩形框内每个像素属于原发肿瘤区域的概率作为最终的输出结果,即输出与磁共振三维图像尺寸相同的概率图。
当然也可以将上述三项均作为结果输出,可以根据需要进行选择。此步骤对应图1中的步骤S102。
随后,在构建并训练好该Mask RCNN深度语义分割网络后,只需将待识别磁共振三维图像输入该Mask RCNN深度语义分割网络,即可输出该待识别磁共振三维图像中包含肿瘤区域的矩形框内每个像素属于原发肿瘤区域的概率。此步骤对应图1中的步骤S103,步骤S101-步骤S103可以归纳为:S1,构建并训练Mask RCNN深度语义分割网络,并将待识别的磁共振三维图像输入训练后的Mask RCNN深度语义分割网络,得到待识别磁共振三维图像中包含肿瘤区域的矩形框内每个像素属于原发肿瘤区域的概率。
在本实施例中,通过深度学习方法,利用Mask RCNN的网络架构并对其进行改进,使其能同时识别包含原发肿瘤区域的矩形框位置坐标、该矩形框为肿瘤区域的概率、该矩形框内每个像素属于原发肿瘤区域的概率,属于多任务学习,能有效提高预测的准确度和模型的泛化能力。
进一步地,对多个所述磁共振三维图像均进行预处理的步骤包括:截取所述磁共振三维图像中的感兴趣区域、下采样、灰度值归一化处理和高斯平滑处理。
具体地,对训练Mask RCNN深度语义分割网络的多个磁共振三维图像均进行预处理,这样可以提高磁共振三维图像的质量,进而提高Mask RCNN深度语义分割网络训练的效率和提高Mask RCNN深度语义分割网络的预测效果。这里的预处理可以包括:截取磁共振三维图像中的感兴趣区域、下采样、灰度值归一化处理和高斯平滑处理;见图2所示,该步骤为S0。然后,将经过预处理后的磁共振三维图像训练Mask RCNN深度语义分割网络,使得训练后的Mask RCNN深度语义分割网络可以输出:包含肿瘤区域的矩形框的四个端点的像素位置信息、所述矩形框为肿瘤区域的概率、以及所述矩形框内每个像素属于原发肿瘤区域的概率。则在对患者的磁共振三维图像中鼻咽癌原发肿瘤进行识别时,只需将患者的磁共振三维图像输入该训练后的Mask RCNN深度语义分割网络,则可得到该患者的磁共振三维图像中包含肿瘤区域的矩形框内每个像素属于原发肿瘤区域的概率。
例如,可以采用如下步骤对每个磁共振三维图像进行预处理:
S01,以20为阈值把磁共振三维图像转化为二值图像,计算二值化后的磁共振三维图像在Z轴上的每个二维图像的所有像素的总和,并将该计算结果绘制成曲线;取该曲线中的第一个极小值点作为人体颈部的分割线,取该该人体颈部以上的图像作为感兴趣区域(即,可能储存在肿瘤的区域);
S02,对二维图像进行下采样,使二维图像在x方向上的相邻两像素间的距离为1mm(此处的1mm为真实的物理坐标)、y方向上的相邻两像素间的距离也为1mm(此处的1mm为真实的物理坐标);
S03,对下采样后的二维图像的灰度值进行归一化处理;首先,计算该下采样后的二维图像的直方图,并截取该直方图的3%分位数作为新的最小值min、截取直方图的97%分位数作为新的最大值max,通过下式计算窗宽w和窗位c,
w=max-min
c=min+0.5*w
然后,再通过下式把每个像素的灰度值映射至[0,255]区间内,
x=0if x<min
x=255if x>max
其中,x为像素的灰度值;
S04,通过高斯平滑处理对该归一化后的二维图像进行去噪处理。
通过上述步骤S01-S04的处理,可以得到质量较好的磁共振三维图像;将经过上述处理后的磁共振三维图像输入待训练的Mask RCNN深度语义分割网络,提高该Mask RCNN深度语义分割网络的训练效率和输出准确性。
进一步地,在对所述磁共振三维图像进行预处理后还包括:提取预处理后的磁共振三维图像中每个像素的SIFT特征和纹理特征,并将所述SIFT特征与所述纹理特征结合,得到每个像素总的特征;对每个像素总的特征进行筛选,得到与肿瘤相关的特征集;利用所述特征集计算预处理后的磁共振三维图像中每个像素的特征,并利用所述每个像素的特征训练随机森林模型;随机森林模块的输入为像素的特征、输出为像素属于原发肿瘤区域的概率;将待识别磁共振三维图像中像素的特征输入训练后的随机森林模型,得到待识别磁共振三维图像中每个像素属于原发肿瘤区域的概率。
具体地,在将磁共振三维图像进行预处理之后,可以通过其训练Mask RCNN深度语义分割网络,还可以通过其训练随机森林模型,这两个训练可以同时进行、也可以分先后进行,但是两个训练过程本身在进行中没有先后之分;在本实施例中以先训练Mask RCNN深度语义分割网络、后训练随机森林模型为例进行说明,但并不用于限制本发明的保护范围。如图2所示,在S1之后为:
S2,提取预处理后的磁共振三维图像中每个像素的SIFT特征和纹理特征,并将所述SIFT特征与所述纹理特征结合,得到每个像素总的特征;
S3,对每个像素总的特征进行筛选,得到与肿瘤相关的特征集;
S4,利用特征集计算预处理后的磁共振三维图像中每个像素的特征,并利用每个像素的特征训练随机森林模型;随机森林模块的输入为像素的特征、输出为该像素属于原发肿瘤区域的概率;
S5,将待识别磁共振三维图像中像素的特征输入训练后的随机森林模型,得到待识别磁共振三维图像中每个像素属于原发肿瘤区域的概率;此处可以得到与待识别磁共振三维图像尺寸相同的概率图;然后,获取Mask RCNN深度语义分割网络得到的待识别磁共振三维图像中每个像素属于原发肿瘤区域的概率,与随机森林模型得到的待识别磁共振三维图像中每个像素属于原发肿瘤区域的概率的平均值,将该平均值作为每个像素属于原发肿瘤区域的新概率,以得到概率图。
在本实施例中,将Mask RCNN深度语义分割网络得到的待识别磁共振三维图像中每个像素属于原发肿瘤区域的概率、与随机森林模型得到的待识别磁共振三维图像中每个像素属于原发肿瘤区域的概率的平均值作为每个像素属于原发肿瘤区域的新概率,可以进一步提高识别的准确性。
进一步地,可以将Mask RCNN深度语义分割网络得到的待识别磁共振三维图像中每个像素属于原发肿瘤区域的概率、随机森林模型得到的待识别磁共振三维图像中每个像素属于原发肿瘤区域的概率、与采用Graph Cut算法对待识别磁共振三维图像进行分割以识别原发肿瘤区域进行集成,形成最终的识别结果(即,待识别磁共振三维图像中每个像素属于原发肿瘤区域的概率)。
而在训练Mask RCNN深度语义分割网络和训练随机森林模型的同时,可以采用Graph Cut算法对待识别磁共振三维图像进行分割以识别原发肿瘤区域,将步骤S102、步骤S4和采用Graph Cut算法对待识别磁共振三维图像进行分割以识别原发肿瘤区域同时进行;当然也可以将上述三个步骤先后进行,但是上述该三个步骤在进行过程中本身没有先后之分。在本实施例中,以步骤S102、步骤S4和采用Graph Cut算法对待识别磁共振三维图像进行分割以识别原发肿瘤区域依次进行为例进行说明,但并不用于限制本发明的保护范围。如图2所示,在S5之后为:
S6,利用特征集对待识别磁共振三维图像进行初分割,生成不同的像素块;
S7,将每个像素块内所有像素的特征的平均值作为该像素块的特征,并采用GraphCut算法对待识别磁共振三维图像进行分割,以识别每个像素块是否属于原发肿瘤区域;再进行该步骤S7时,需要先统计每个像素块内所有像素的特征,然后再计算每个像素块的特征,之后,再用Graph Cut算法对待识别磁共振三维图像进行分割,进而识别出每个像素块是否属于原发肿瘤区域,从而得到整个待识别磁共振三维图像的原发肿瘤区域;
S8,对于概率图中处于原发肿瘤区域边界处的像素,若该像素所属的像素块被识别为原发肿瘤区域,则将该像素所属的像素块内所有的像素标记为肿瘤区域;反之,则将该像素所属的像素块内所有的像素标记为非肿瘤区域。
步骤S6-S8是对步骤S5中得到的概率图进行平滑处理,进而使得最终的输出结果更加平滑,即使得得到待识别磁共振三维图像中每个像素属于原发肿瘤区域的概率的结果更加平稳,即使得概率图更加平滑。
在本实施例中,通过集成Mask RCNN深度语义分割网络、随机森林模型、Graph Cut算法的结果,生成最终待识别磁共振三维图像中原发肿瘤的识别结果,能有效提高预测的准确度和模型的泛化能力。
进一步地,步骤S2提取预处理后的磁共振三维图像中每个像素的SIFT特征和纹理特征,并将SIFT特征与纹理特征结合,得到每个像素总的特征可以按照以下步骤进行:
S201,利用三维SIFT特征描述子提取预处理后磁共振三维图像中每个像素的SIFT特征;
S202,取不同的滤波尺寸σ和滤波方向θ产生的多个Gabor核函数对预处理后的磁共振三维图像在z轴上的每个二维图像(即,单个切片)进行卷积,得到每个像素的多个纹理特征,其中Gabor核函数的表达式为:
x′=xcos(θ)+ysin(θ)
y′=ycos(θ)-xsin(θ)
其中,x、y表示二维图像中每个像素的坐标位置;x’、y’表示每个像素以滤波方向旋转后的坐标位置;σ为滤波尺寸;θ为滤波方向;λ为余弦函数的波长;ψ为余弦函数的相位;γ为空间纵横比,表示滤波的椭圆度;
S203,将SIFT特征与纹理特征结合,得到每个像素总的特征。
进一步地,步骤S3对每个像素总的特征进行筛选,得到与肿瘤相关的特征集可以按照以下步骤进行:
S301,计算每个特征与预测类别中像素属于肿瘤区域内部的概率(简称为:预测类别c)的互信息IN,得到每个特征与预测类别c的相关性;
S302,根据相关性对所有特征进行排序,取相关性最大的特征加入特征集;
S303,依次取相关性次大的特征加入特征集,并用下式计算P值,
P=D-0.1*R
其中,P为特征集与预测类别中像素属于肿瘤区域内部的概率的相关性;D为特征集与预测类别中像素属于肿瘤区域内部的概率的相关性的平均值;R为特征集中每两个特征的相关性的平均值;|N|为特征集中的特征个数;c为预测类别中像素属于肿瘤区域内部的概率,即预测类别c;fi是第i个特征;fj是第j个特征;
S304,直至向特征集中加入相关性次大的特征后,P值减少,则剔除该相关性次大的特征,取目前特征构成的特征集为与肿瘤相关的特征集;否则返回步骤S303继续迭代。
进一步地,步骤S6利用特征集对待识别磁共振三维图像进行初分割,生成不同的像素块可以按照以下步骤进行:
S601,设定待识别磁共振三维图像分为k个像素块,例如,每个像素块由若干个像素组成的体积稍大的像素块;则初始化的种子点(即,聚类中心)为k个;
S602,对每个种子点在内的3×3×3区域,用下式计算该3×3×3区域内每个像素点的梯度值,选择梯度值最小的点(即,最平滑的点)作为新的种子点;如此操作可以防止种子点落在轮廓边界上或噪声点上;
G(x,y,z)=∑x′,y′,z′∈δ(x-x′)2+(y-y′)2+(z-z′)2
其中,G为梯度值,δ为某个种子点在内的3×3×3区域,(x,y,z)是某个种子点的坐标,(x’,y’,z’)是该种子点3×3×3区域内其余的26个点。
S603,对每个种子点周围2S×2S×2S区域内的每个像素点,用下式计算每个像素点与种子点的距离度量:
其中,D为像素点与种子点的距离度量;dc为某个像素点与种子点的特征的平方差;ds为某个像素点与种子点的距离;M是待识别磁共振三维图像中像素的个数;k是特征中的第k个值;m为权重参数;(xi,yi,zi)为种子点的坐标;(xj,yj,zj)为2S×2S×2S区域内像素点j的坐标;fi,k为第i个像素的特征中的第k项;fj,k为第j个像素的特征中的第k项;
S604,由于每个像素点会被至少一个种子点计算距离度量,选择与该像素点距离度量最小的种子点作为该像素点的聚类中心;
S605,取同一聚类中心中所有像素点的坐标的平均值作为最新的种子点;
S606,重复进行步骤S602至S605,直到每个聚类中心不再发生变化为止,则属于同一聚类中心的所有像素为一个像素块。该步骤为对聚类中心进行迭代优化,即,不断进行步骤S602至S605,知道误差收敛,即每个聚类中心不再发生变化为止。
本发明还提供一种自动识别鼻咽癌原发肿瘤的装置,包括:构建机构,用于将MaskRCNN深度语义分割网络中的骨干网络采用ResNeXt152网络,并将语义分割分支的预测类别定义为三类,所述预测类别分别为像素属于非肿瘤区域的概率、像素属于肿瘤区域边界的概率及像素属于肿瘤区域内部的概率;训练机构,用于利用多个磁共振三维图像训练所述Mask RCNN深度语义分割网络,所述Mask RCNN深度语义分割网络的输出包括:包含肿瘤区域的矩形框的四个端点的像素位置信息、所述矩形框为肿瘤区域的概率、以及所述矩形框内每个像素属于原发肿瘤区域的概率;识别机构,用于将待识别磁共振三维图像输入训练后的所述Mask RCNN深度语义分割网络,得到待识别磁共振三维图像中每个像素属于原发肿瘤区域的概率。
本发明还提供一种非暂态计算机可读存储介质,所述非暂态计算机可读存储介质存储计算机指令,所述计算机指令使所述计算机执行上述的自动识别鼻咽癌原发肿瘤的方法。
例如,该非暂态计算机可读存储介质可以执行如下步骤:S101,将Mask RCNN深度语义分割网络中的骨干网络采用ResNeXt152网络,并将语义分割分支的预测类别定义为三类,所述预测类别分别为像素属于非肿瘤区域的概率、像素属于肿瘤区域边界的概率及像素属于肿瘤区域内部的概率;S102,利用预处理后的多个磁共振三维图像训练所述MaskRCNN深度语义分割网络,所述Mask RCNN深度语义分割网络的输出包括:包含肿瘤区域的矩形框的四个端点的像素位置信息、所述矩形框为肿瘤区域的概率、以及所述矩形框内每个像素属于原发肿瘤区域的概率;S103,将待识别磁共振三维图像输入训练后的所述MaskRCNN深度语义分割网络,得到待识别磁共振三维图像中包含肿瘤区域的矩形框内每个像素属于原发肿瘤区域的概率。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (8)
1.一种自动识别鼻咽癌原发肿瘤的方法,其特征在于,包括:
将Mask RCNN深度语义分割网络中的骨干网络采用ResNeXt152网络,并将语义分割分支的预测类别定义为三类,所述预测类别分别为像素属于非肿瘤区域的概率、像素属于肿瘤区域边界的概率及像素属于肿瘤区域内部的概率;
利用预处理后的多个磁共振三维图像训练所述Mask RCNN深度语义分割网络,所述Mask RCNN深度语义分割网络的输出包括:包含肿瘤区域的矩形框的四个端点的像素位置信息、所述矩形框为肿瘤区域的概率、以及所述矩形框内每个像素属于原发肿瘤区域的概率;
将待识别磁共振三维图像输入训练后的所述Mask RCNN深度语义分割网络,得到待识别磁共振三维图像中每个像素属于原发肿瘤区域的概率;
其中,对多个所述磁共振三维图像均进行预处理的步骤包括:截取所述磁共振三维图像中的感兴趣区域、下采样、灰度值归一化处理和高斯平滑处理;
其中,在对所述磁共振三维图像进行预处理后还包括:
提取预处理后的磁共振三维图像中每个像素的SIFT特征和纹理特征,并将所述SIFT特征与所述纹理特征结合,得到每个像素总的特征;
对每个像素总的特征进行筛选,得到与肿瘤相关的特征集;
利用所述特征集计算预处理后的磁共振三维图像中每个像素的特征,并利用所述每个像素的特征训练随机森林模型;随机森林模块的输入为像素的特征、输出为像素属于原发肿瘤区域的概率;
将待识别磁共振三维图像中像素的特征输入训练后的随机森林模型,得到待识别磁共振三维图像中每个像素属于原发肿瘤区域的概率;获取所述Mask RCNN深度语义分割网络得到的待识别磁共振三维图像中每个像素属于原发肿瘤区域的概率,与所述随机森林模型得到的待识别磁共振三维图像中每个像素属于原发肿瘤区域的概率的平均值,将所述平均值作为每个像素属于原发肿瘤区域的新概率,以得到概率图。
2.根据权利要求1所述的自动识别鼻咽癌原发肿瘤的方法,其特征在于,对多个所述磁共振三维图像均进行预处理的具体步骤如下:
以20为阈值将所述磁共振三维图像转化为二值图像,计算转化后的磁共振三维图像在z轴上的每个二维图像的所有像素的总和、并绘制曲线,取所述曲线中的第一个极小值点作为人体颈部的分割线,并取人体颈部以上的图像作为感兴趣区域;
对所述二维图像进行下采样,使所述二维图像在x方向和y方向上的相邻两像素间距离分别为1mm;
对下采样后的二维图像的灰度值进行归一化:计算所述二维图像的直方图,截取直方图的3%分位数作为新的最小值min、截取直方图的97%分位数作为新的最大值max,通过下式计算窗宽w和窗位c,
w=max-min
c=min+0.5*w
再通过下式把每个像素的灰度值映射至[0,255]区间内,
x=0 if x<min
x=255 ifx>max
其中,x为像素的灰度值;
对进行归一化后的二维图像进行高斯平滑去噪处理。
3.根据权利要求1所述的自动识别鼻咽癌原发肿瘤的方法,其特征在于,还包括:
利用所述特征集对待识别磁共振三维图像进行初分割,生成不同的像素块;
将每个所述像素块内所有像素的特征的平均值作为所述像素块的特征,并采用GraphCut算法对所述待识别磁共振三维图像进行分割,以识别每个所述像素块是否属于原发肿瘤区域;
对于所述概率图中处于原发肿瘤区域边界处的像素,若所述像素所属的像素块被识别为原发肿瘤区域,则将所述像素所属的像素块内所有的像素标记为肿瘤区域;反之,则将所述像素所属的像素块内所有的像素标记为非肿瘤区域。
4.根据权利要求1所述的自动识别鼻咽癌原发肿瘤的方法,其特征在于,所述提取预处理后的磁共振三维图像中每个像素的SIFT特征和纹理特征的步骤包括:
利用三维SIFT特征描述子提取预处理后磁共振三维图像中每个像素的SIFT特征;
取不同的滤波尺寸和滤波方向产生的多个Gabor核函数对预处理后的磁共振三维图像在z轴上的每个二维图像进行卷积,得到每个像素的多个纹理特征,其中Gabor核函数的表达式为:
x′=x cos(θ)+y sin(θ)
y′=y cos(θ)-x sin(θ)
其中,x、y表示二维图像中每个像素的坐标位置;x’、y’表示每个像素以滤波方向旋转后的坐标位置;σ为滤波尺寸;θ为滤波方向;λ为余弦函数的波长;ψ为余弦函数的相位;γ为空间纵横比,表示滤波的椭圆度。
5.根据权利要求1所述的自动识别鼻咽癌原发肿瘤的方法,其特征在于,所述对每个像素总的特征进行筛选,得到与肿瘤相关的特征集的步骤包括:
计算每个特征与预测类别中像素属于肿瘤区域内部的概率的互信息IM,得到每个特征与预测类别中像素属于肿瘤区域内部的概率的相关性;
根据所述相关性对所有特征进行排序,取相关性最大的特征加入特征集;
依次取相关性次大的特征加入特征集,并用下式计算P值,
P=D-0.1*R
其中,P为特征集与预测类别中像素属于肿瘤区域内部的概率的相关性;D为特征集与预测类别中像素属于肿瘤区域内部的概率的相关性的平均值;R为特征集中每两个特征的相关性的平均值;|N|为特征集中的特征个数;c为预测类别中像素属于肿瘤区域内部的概率;fi是第i个特征;fj是第j个特征;
直至向特征集中加入相关性次大的特征后,P值减少,则剔除所述相关性次大的特征,取目前特征构成的特征集为与肿瘤相关的特征集。
6.根据权利要求3所述的自动识别鼻咽癌原发肿瘤的方法,其特征在于,利用所述特征集对待识别磁共振三维图像进行初分割,生成不同的像素块的步骤包括:
S601,设定待识别磁共振三维图像分为k个像素块,则初始化的种子点为k个;
S602,对每个种子点在内的3×3×3区域,用下式计算所述3×3×3区域内每个像素点的梯度值,选择梯度值最小的点作为新的种子点;
G(x,y,z)=Σx′,y′,z′∈δ(x-x′)2+(y-y′)2+(z-z′)2
其中,G为梯度值,δ为某个种子点在内的3×3×3区域,(x,y,z)是某个种子点的坐标,(x’,y’,z’)是该种子点3×3×3区域内其余的26个点;
S603,对每个种子点周围2S×2S×2S区域内的每个像素点,用下式计算每个像素点与种子点的距离度量:
其中,D为某个像素点与种子点的距离度量;dc为某个像素点与种子点的特征的平方差;ds为某个像素点与种子点的距离;M是待识别磁共振三维图像中像素的个数;k是特征中的第k个值;m为权重参数;(xi,yi,zi)为种子点的坐标;(xj,yj,zj)为2S×2S×2S区域内像素点i的坐标;fi,k为第i个像素的特征中的第k项;fj,k为第j个像素的特征中的第k项;
S604,由于每个像素点会被至少一个种子点计算距离度量,选择与所述像素点距离度量最小的种子点作为所述像素点的聚类中心;
S605,取同一聚类中心中所有像素点的坐标的平均值作为最新的种子点;
S606,重复进行步骤S602至S605,直到每个聚类中心不再发生变化为止,则属于同一聚类中心的所有像素为一个像素块。
7.一种自动识别鼻咽癌原发肿瘤的装置,其特征在于,包括:
构建机构,用于将Mask RCNN深度语义分割网络中的骨干网络采用ResNeXt152网络,并将语义分割分支的预测类别定义为三类,所述预测类别分别为像素属于非肿瘤区域的概率、像素属于肿瘤区域边界的概率及像素属于肿瘤区域内部的概率;
训练机构,用于利用多个磁共振三维图像训练所述Mask RCNN深度语义分割网络,所述Mask RCNN深度语义分割网络的输出包括:包含肿瘤区域的矩形框的四个端点的像素位置信息、所述矩形框为肿瘤区域的概率、以及所述矩形框内每个像素属于原发肿瘤区域的概率;
识别机构,用于将待识别磁共振三维图像输入训练后的所述Mask RCNN深度语义分割网络,得到待识别磁共振三维图像中每个像素属于原发肿瘤区域的概率;
其中,对多个所述磁共振三维图像均进行预处理的步骤包括:截取所述磁共振三维图像中的感兴趣区域、下采样、灰度值归一化处理和高斯平滑处理;
其中,在对所述磁共振三维图像进行预处理后还包括:
提取预处理后的磁共振三维图像中每个像素的SIFT特征和纹理特征,并将所述SIFT特征与所述纹理特征结合,得到每个像素总的特征;
对每个像素总的特征进行筛选,得到与肿瘤相关的特征集;
利用所述特征集计算预处理后的磁共振三维图像中每个像素的特征,并利用所述每个像素的特征训练随机森林模型;随机森林模块的输入为像素的特征、输出为像素属于原发肿瘤区域的概率;
将待识别磁共振三维图像中像素的特征输入训练后的随机森林模型,得到待识别磁共振三维图像中每个像素属于原发肿瘤区域的概率;获取所述Mask RCNN深度语义分割网络得到的待识别磁共振三维图像中每个像素属于原发肿瘤区域的概率,与所述随机森林模型得到的待识别磁共振三维图像中每个像素属于原发肿瘤区域的概率的平均值,将所述平均值作为每个像素属于原发肿瘤区域的新概率,以得到概率图。
8.非暂态计算机可读存储介质,其特征在于,所述非暂态计算机可读存储介质存储计算机指令,所述计算机指令使所述计算机执行如权利要求1至6任一所述的自动识别鼻咽癌原发肿瘤的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911314740.1A CN110969619B (zh) | 2019-12-19 | 2019-12-19 | 一种自动识别鼻咽癌原发肿瘤的方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911314740.1A CN110969619B (zh) | 2019-12-19 | 2019-12-19 | 一种自动识别鼻咽癌原发肿瘤的方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110969619A CN110969619A (zh) | 2020-04-07 |
CN110969619B true CN110969619B (zh) | 2021-06-29 |
Family
ID=70035029
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911314740.1A Active CN110969619B (zh) | 2019-12-19 | 2019-12-19 | 一种自动识别鼻咽癌原发肿瘤的方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110969619B (zh) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111784706B (zh) * | 2020-06-28 | 2021-06-04 | 广州柏视医疗科技有限公司 | 鼻咽癌原发肿瘤图像自动识别方法及系统 |
CN113989349B (zh) * | 2021-10-25 | 2022-11-25 | 北京百度网讯科技有限公司 | 图像生成方法、图像处理模型的训练方法、图像处理方法 |
CN114445421B (zh) * | 2021-12-31 | 2023-09-29 | 中山大学肿瘤防治中心(中山大学附属肿瘤医院、中山大学肿瘤研究所) | 一种鼻咽癌淋巴结区域的识别分割方法、装置及系统 |
CN115294125B (zh) * | 2022-10-08 | 2023-03-24 | 江苏南通鼎顺网络科技有限责任公司 | 基于图形识别的肿瘤ct图像处理方法 |
CN116740768B (zh) * | 2023-08-11 | 2023-10-20 | 南京诺源医疗器械有限公司 | 基于鼻颅镜的导航可视化方法、系统、设备及存储介质 |
CN117237435B (zh) * | 2023-11-16 | 2024-02-06 | 北京智源人工智能研究院 | 肿瘤预后效果评估的方法、装置、电子设备和存储介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2570820A2 (en) * | 2011-09-15 | 2013-03-20 | Sunnybrook Health Sciences Centre | Method for automatic three-dimensional segmentation of magnetic resonance images |
CN104794708A (zh) * | 2015-04-10 | 2015-07-22 | 浙江工业大学 | 一种基于多特征学习的动脉粥样硬化斑块成分分割方法 |
CN108765371A (zh) * | 2018-04-25 | 2018-11-06 | 浙江大学 | 一种病理切片中非常规细胞的分割方法 |
CN109671076A (zh) * | 2018-12-20 | 2019-04-23 | 上海联影智能医疗科技有限公司 | 血管分割方法、装置、电子设备及存储介质 |
CN110223261A (zh) * | 2019-05-20 | 2019-09-10 | 上海联影医疗科技有限公司 | 医学图像处理方法和系统、存储介质及计算机设备 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110189307B (zh) * | 2019-05-14 | 2021-11-23 | 慧影医疗科技(北京)有限公司 | 一种基于多模型融合的肺结节检测方法及系统 |
-
2019
- 2019-12-19 CN CN201911314740.1A patent/CN110969619B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2570820A2 (en) * | 2011-09-15 | 2013-03-20 | Sunnybrook Health Sciences Centre | Method for automatic three-dimensional segmentation of magnetic resonance images |
CN104794708A (zh) * | 2015-04-10 | 2015-07-22 | 浙江工业大学 | 一种基于多特征学习的动脉粥样硬化斑块成分分割方法 |
CN108765371A (zh) * | 2018-04-25 | 2018-11-06 | 浙江大学 | 一种病理切片中非常规细胞的分割方法 |
CN109671076A (zh) * | 2018-12-20 | 2019-04-23 | 上海联影智能医疗科技有限公司 | 血管分割方法、装置、电子设备及存储介质 |
CN110223261A (zh) * | 2019-05-20 | 2019-09-10 | 上海联影医疗科技有限公司 | 医学图像处理方法和系统、存储介质及计算机设备 |
Also Published As
Publication number | Publication date |
---|---|
CN110969619A (zh) | 2020-04-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110969619B (zh) | 一种自动识别鼻咽癌原发肿瘤的方法及装置 | |
Lu et al. | A dual-tree complex wavelet transform based convolutional neural network for human thyroid medical image segmentation | |
Sridar et al. | Decision fusion-based fetal ultrasound image plane classification using convolutional neural networks | |
WO2022001237A1 (zh) | 鼻咽癌原发肿瘤图像自动识别方法及系统 | |
Kar et al. | A review on progress in semantic image segmentation and its application to medical images | |
CN113239755B (zh) | 一种基于空谱融合深度学习的医学高光谱图像分类方法 | |
US11935246B2 (en) | Systems and methods for image segmentation | |
US20230177698A1 (en) | Method for image segmentation, and electronic device | |
CN107424162B (zh) | 一种图像分割方法及系统 | |
WO2018176189A1 (zh) | 图像分割的方法及系统 | |
Selvathi et al. | Automatic segmentation and classification of liver tumor in CT images using adaptive hybrid technique and contourlet based ELM classifier | |
CN113012173A (zh) | 基于心脏mri的心脏分割模型和病理分类模型训练、心脏分割、病理分类方法及装置 | |
Feng et al. | Supervoxel based weakly-supervised multi-level 3D CNNs for lung nodule detection and segmentation | |
CN116030325A (zh) | 基于深度混合学习框架的肺结节ct图像识别方法 | |
Banerjee et al. | A CADe system for gliomas in brain MRI using convolutional neural networks | |
Jaffar et al. | An ensemble shape gradient features descriptor based nodule detection paradigm: a novel model to augment complex diagnostic decisions assistance | |
US20220301224A1 (en) | Systems and methods for image segmentation | |
Tian et al. | Radiomics and Its Clinical Application: Artificial Intelligence and Medical Big Data | |
Chatterjee et al. | A survey on techniques used in medical imaging processing | |
CN107230211B (zh) | 一种图像分割方法及系统 | |
Farheen et al. | Segmentation of Lung Tumor from CT Images using Deep Supervision | |
CN112102351A (zh) | 医学图像分析方法、装置、电子设备及可读存储介质 | |
Molachan et al. | Brain Tumor Detection that uses CNN in MRI | |
CN116958705A (zh) | 基于图神经网络的医学影像归类系统 | |
WO2022252107A1 (zh) | 一种基于眼部图像的疾病检测系统及方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |