CN105405140B - 基于初始素描图的胃部ct图像淋巴结检测系统和方法 - Google Patents
基于初始素描图的胃部ct图像淋巴结检测系统和方法 Download PDFInfo
- Publication number
- CN105405140B CN105405140B CN201510770957.9A CN201510770957A CN105405140B CN 105405140 B CN105405140 B CN 105405140B CN 201510770957 A CN201510770957 A CN 201510770957A CN 105405140 B CN105405140 B CN 105405140B
- Authority
- CN
- China
- Prior art keywords
- sketch
- line
- sketch line
- lymph node
- frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20004—Adaptive image processing
- G06T2207/20012—Locally adaptive
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30092—Stomach; Gastric
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于初始素描图的胃部CT图像淋巴结检测系统,该检测系统包括8个功能模块。其中灰度值统计模块对CT图像中像素点的灰度值进行统计;素描线预处理模块对素描线进行预处理;基于素描线的自适应窗口确定模块是提取素描线的自适应窗口;疑似淋巴结图像块序列提取模块是基于素描线和自适应窗口提取图像块序列;基于行列切图的淋巴结检测模块是对图像块序列大于11×11的疑似淋巴结进行跟踪判定;低秩分解模块和质心跟踪模块是对图像块序列不大于11×11的疑似淋巴结进行跟踪判定;素描线标记模块是对跟踪过的疑似淋巴结围成的素描线标记为已处理。本发明利用CT图像的素描信息,提高了淋巴结的检测速度、降低了虚警率,可用于医学图像的处理。
Description
技术领域
本发明属于图像处理技术领域,特别是涉及图像检测系统,可用于医学影像的淋巴结检测及其辅助诊断。
背景技术
由于CT图像具有良好的视觉性,CT图像在医学领域得到了广泛的应用。在CT图像医疗诊断中,医生通过观察一组序列二维切片图像去发现病原体,即目前对CT图像信息的分析主要是依靠医生自身的经验。但是随着医学成像技术的快速发展,对每个人拍摄的CT图像的数目日益增多,对这些图像的处理,单纯的依靠医生会导致医生工作量的加大。随着计算机技术和图像处理技术的迅速发展,可以通过计算机对CT图像中的信息进行处理,使得医生不必花大量的时间和精力进行繁琐的病变信息的识别。所以,研究计算机辅助技术检测胃部CT图像的淋巴结具有很大的应用需求。
由于胃部CT图像里面包含的组织多样,各组织之间的存在着粘连,这就给胃部CT图像中疑似淋巴结的跟踪检测带来了困难,目前,胃部CT图像淋巴结跟踪检测的方法还比较少,研究工作仍然处于初期阶段。
西安电子科技大学已经申请的专利“基于多视角策略和质心跟踪的胃部CT图像淋巴结识别系统中”(申请专利号:201410776605.x),结合CT图像中灰度变化的特征,使用了otsu方法将CT图像按灰度分为四类,使用椭圆拟合方法提取出了疑似淋巴结,然后对于面积较大的疑似淋巴结,使用CT序列图的行切图和列切图多角度的定位疑似淋巴结的起始帧和结束帧,对于面积较小的疑似淋巴结基于低质分解和质心跟踪的方法来确定初始帧和结束帧,最后基于起始帧和结束帧提取面积等特征得到最后的跟踪结果。该方法基于的是CT图像中像素的灰度特征,所以用时长,且由于使用了淋巴结的形状类似椭圆这一先验,对淋巴结的边界定位不是特别准确,最后检测到的淋巴结中虚警率高。
发明内容
本发明的目的在于针对上述已有技术的不足,提供一种基于初始素描图的胃部CT图像淋巴结检测系统,以实现对淋巴结边界进行准确定位,降低淋巴结检测结果中的虚警率,提高了检测速度。
为实现上述目的,本发明基于初始素描图的胃部CT图像淋巴结检测系统,包括:
1.一种基于初始素描图的胃部CT图像淋巴结检测系统,包括:
灰度值统计模块,用于通过otsu分类算法将原始CT序列图中的每一副CT图像分为四类,分别统计每一类所在的灰度值范围,按灰度值从小到大的顺序依次为背景所在灰度值范围、脂肪所在灰度值范围、疑似淋巴结所在灰度值范围以及高亮区域所在灰度值范围;
素描线预处理模块,用于对原始CT序列图像中每一副CT图像提取初始素描图,基于初始素描图,对单帧中围成疑似淋巴结的素描线进行提取;
基于素描线的自适应窗口确定模块,用于对每一条围成疑似淋巴结的素描线进行跟踪,基于跟踪到的素描线所占区域提取矩形窗口,将面积最大的矩形窗口向上、向下、向左、向右各扩充5个素描点,将扩充后的矩形窗口作为素描线的自适应窗口;
疑似淋巴结图像块序列提取模块,用于将素描线的自适应窗口映射到对应帧的CT图像上,根据素描线所在位置,提取疑似淋巴结区域,得到CT图像上该疑似淋巴结的自适应窗口,并在CT序列图上,按该窗口提取疑似淋巴结图像块序列;
基于行列切的淋巴结检测模块,用于对序列图像块大于11×11的疑似淋巴结,作行切和列切处理,利用得到的行切图和列切图,基于质心所在的位置确定当前跟踪的疑似淋巴结的首尾帧位置和面积;
低秩分解模块,用于序列图像块不大于11×11的疑似淋巴结进行decolor低秩分解,根据低秩分解出来的背景序列进行初始首尾帧的确定;
质心跟踪模块,用于序列图像块不大于11×11的疑似淋巴结,在原始CT序列图像上进行质心跟踪,获取当前跟踪的疑似淋巴结的完整序列;
素描线标记模块,用于将首尾帧之间跟踪到的所有疑似淋巴结所围成的素描线从素描线预处理后的集合中标记为已处理。
为实现上述目的,本发明基于初始素描图的胃部CT图像淋巴结检测方法,包括如下步骤:
(1)通过otsu分类算法将原始CT序列图中的每一副CT图像分为四类,分别统计每一类所在的灰度值范围,按灰度值从小到大的顺序依次为背景所在灰度值范围gray1、脂肪所在灰度值范围gray2、疑似淋巴结所在灰度值范围gray3以及高亮区域所在灰度值范围gray4;
(2)依次输入原始CT序列图中每一副CT图像的初始素描图,对其包含的素描线进行预处理,得到预处理素描线集合PreLines;
(3)将预处理素描线集合PreLines中的第一条未处理的素描线line作为当前素描线,其所在帧cur作为当前帧,基于初始素描序列图提取当前素描线line的自适应窗口PrimWin,记该自适应窗口PrimWin所在的帧为win_zhen,并将素描线line标记为已处理;
(4)在第win_zhen的CT图像上提取当前素描线line的自适应窗口PrimWin所在区域的局部图像块,在局部图像块中基于当前素描线line的位置,提取该素描线line所围区域在第 win_zhen帧CT图像上的对应区域;
(5)判断当前素描线line所围区域在第win_zhen帧CT图像上的对应区域是否为疑似淋巴结,若是,则记该疑似淋巴结为当前跟踪的疑似淋巴结,并执行步骤(6);若不是,则判断预处理素描线集合PrimWin中是否存在未被处理的素描线,若存在,则返回步骤(3);否则,检测结束,在原始CT图像上将标记为淋巴结的区域显示出来;
(6)将当前跟踪的疑似淋巴结所占区域的最小外接矩形作为CT图像上该疑似淋巴结的自适应窗口CTWin,在原始CT序列图上,以该疑似淋巴结的自适应窗CTWin所在的帧win_zhen为当前帧,向前、向后各取g帧该自适应窗口CTWin对应区域的局部图像块,按帧的先后顺序排序,得到该疑似淋巴结的图像块序列D,其中g=20;
(7)如果当前跟踪的疑似淋巴结的图像块序列D中的图像块大于11×11,则执行步骤(8) ~(10),否则,跳转到步骤(11);
(8)在当前跟踪的疑似淋巴结的图像块序列D上,进行行切和列切处理,得到行切图和列切图,根据行切图和列切图的区域信息,得到当前跟踪的疑似淋巴结对应的首帧、首帧疑似淋巴结的面积、尾帧、尾帧疑似淋巴结的面积和当前跟踪的疑似淋巴结的面积;
(9)根据步骤(8)中得出的首帧疑似淋巴结的面积s1、尾帧疑似淋巴结的面积e1和当前跟踪的疑似淋巴结的面积c进行淋巴结的标记:如果则标记为淋巴结,并对该疑似淋巴结的帧号、区域信息和标记信息进行保存,否则,标记为非淋巴结;
(10)在当前跟踪的疑似淋巴结的图像块序列D中取出首帧和尾帧之间的图像块序列,以当前跟踪的疑似淋巴结所在帧为当前帧,通过窗口固定的质心跟踪方法,分别向前、向后提取当前疑似淋巴结在各帧上对应的疑似淋巴结区域,得到疑似淋巴结完整序列,跳转到步骤(14);
(11)将当前跟踪的疑似淋巴结的图像块序列D中当前跟踪的疑似淋巴结所在的图像块复制cl份,得到低秩分解图像块序列,对该低秩分解图像块序列进行decolor低秩分解,得到当前跟踪的疑似淋巴结的初始首帧、初始尾帧、初始首帧上疑似淋巴结的面积、初始尾帧上疑似淋巴结的面积,其中cl=40;
(12)在原始CT序列图像上,以当前跟踪疑似淋巴结所在的帧为当前帧,以跟踪目标的质心为窗口的质心,向前进行窗口内的目标匹配,得到跟踪目标的前向序列;向后进行窗口内的目标匹配,得到跟踪目标的后向序列;由前向跟踪序列和后向跟踪序列共同组成疑似淋巴结的完整序列;
(13)输入步骤(12)得到的疑似淋巴结的完整序列的序列长度l、首帧疑似淋巴结的面积s3、尾帧疑似淋巴结的面积e3、首帧疑似淋巴结质心和尾帧疑似淋巴结质心之间的距离d、序列中相邻帧之间疑似淋巴结的面积变化的平均值a、以及步骤(11)求出的初始首帧疑似淋巴结的面积s2、初始尾帧疑似淋巴结的面积e2,对淋巴结和血管进行区分:
如果l<20,l>=6,s3<=s2,e3<=e2,d<10,a>5,则标记为是淋巴结,并对该疑似淋巴结在疑似淋巴结序列图中的帧号、区域信息、首帧、尾帧进行保存;否则,不标记;
(14)对疑似淋巴结序列图中的每一个疑似淋巴结,判断围成其的素描线是否在集合 PreLines中,若在,则标记为已处理;判断预处理素描线集合PreLines中是否存在未被处理的素描线,若存在,则返回步骤(3)执行;否则,检测结束,在原始CT图像上将标记为淋巴结的区域显示出来。
本发明由于充分利用了CT图像的素描线信息,将基于CT图像中像素点信息的处理方法转换为基于素描线信息的处理方法,不仅很大程度的提高了处理速度,减少了处理的时间,而且对疑似淋巴结的提取更加精确,进而降低了淋巴结检测的虚警率。
附图说明
图1是本发明检测系统的框图;
图2是本发明检测方法的总流程图;
图3是本发明检测方法中用到的CT图像和初始素描图像示意图;
图4是本发明检测方法中对素描线提取长度特征后的效果图;
图5是本发明检测方法中对灰度值进行统计示意图;
图6是本发明检测方法中提取基于素描线的CT图像灰度特征后的效果图;
图7是本发明检测方法中对素描线提取多边聚拢形状特征后的效果图;
图8是本发明检测方法中基于多边聚拢形状素描线提取其自适应窗口的示意图;
图9是本发明检测方法中基于只包含一条素描线段的素描线提取其自适应窗口的示意图;
图10是本发明中提取到的疑似淋巴结示意图;
图11是本发明对疑似淋巴结跟踪处理最终判定为淋巴结的行列切示意图;
图12是本发明对疑似淋巴结跟踪处理最终判定为淋巴结的结果图。
具体实施方式
下面结合附图对本发明技术方案和效果进行详细描述:
参照图1,本发明的检测系统,包括:灰度值统计模块1、素描线预处理模块2、基于素描线的自适应窗口确定模块3、疑似淋巴结图像块序列提取模块4、基于行列切图的淋巴结检测模块5、低秩分解模块6、质心跟踪模块7、素描线标记模块8。其中:
所述灰度值统计模块1,用于通过otsu分类算法将原始CT序列图中的每一副CT图像分为四类,分别统计每一类所在的灰度值范围,按灰度值从小到大的顺序依次为背景所在灰度值范围、脂肪所在灰度值范围、疑似淋巴结所在灰度值范围以及高亮区域所在灰度值范围;
所述素描线预处理模块2,包括:素描线连接子模块21、素描线长度特征提取子模块22、基于素描线的CT图像灰度特征提取子模块23、素描线多边聚拢形状特征提取子模块24。
该素描线连接子模块21,用于查找以当前素描线的一个端点所在素描点为中心的3×3的邻域内是否存在其它素描线的端点,若存在且只存在一个端点,则将该端点所在素描线和当前素描线进行连接;若存在多个端点,则求各端点所在的素描线段与当前素描线该端点所在素描线段之间的夹角,取夹角值最大的素描线段所对应的素描线进行连接;其中素描线连接是将查找到的端点改为当前素描线的端点;对连接形成的新的素描线执行上述操作,直到所有素描线的所有端点所在的3×3领域内都不存在其他素描线的端点,则连接操作完成;
该素描线长度特征提取子模块22,用于提取长度在[6,40]范围内的素描线,其中素描线长度指每条素描线包含的所有素描线段上素描点的个数之和;
该基于素描线的CT图像灰度特征提取子模块23,用于对输入的一条素描线,对该素描线中最长的素描线段作中垂线,其长度为11个素描点,即该最长素描线段两侧各取5个素描点,将这11个素描点映射为原始CT图像中对应的11个像素点,并求这11个像素点在原始CT图像中的最大灰度值gray_max和最小灰度值gray_min,提取gray_max在[90,200]内且gray_min 在(0,75]内的素描线,其中[90,200]为原始CT图像中疑似淋巴结的灰度值范围;(0,75]为原始 CT图像中脂肪的灰度值范围;
该素描线多边聚拢形状特征提取子模块24,用于对包含两条及两条以上素描线段的素描线,提取其形状特征;记素描线包含素描线段的条数为n,n≥2,若n=2,则求唯一顶点的角度值,若该角度值在[10,145]的范围内,则标记该素描线具有多边聚拢形状的素描线;若n≥3, 求其对应的n-1个顶点的角度值,若该n-1个角度值都在[10,145]度的范围内,则求第i条素描线段相邻两条素描线段第i-1条和第i+1条是否在第i条素描线段所在直线的同一侧, 2≤i≤n-1,若在,则认为这三条素描线段有围回去的趋势,若素描线上的素描线段都有围回去的趋势,则标记该素描线具有多边聚拢形状的素描线。
所述基于素描线的自适应窗口确定模块3,包括:多边聚拢形状素描线矩形窗口提取子模块31、基于多边聚拢形状素描线匹配的最大面积窗口提取子模块32、单条素描线段的正方形窗口提取子模块33、基于单条素描线段匹配的最大面积窗口提取子模块34、素描线自适应窗口提取子模块35。
该多边聚拢形状素描线矩形窗口提取子模块31,用于对已标记为多边聚拢形状的素描线 line,取其所包含的所有素描线段的端点的横坐标的最大值xmax、横坐标的最小值xmin、纵坐标的最大值ymax、纵坐标的最小值ymin,并提取以(xmin,ymin)、(xmin,ymax)、(xmax,ymin)和(xmax,ymax) 这四个点为顶点的矩形区域作为该多边聚拢形状素描线line的矩形窗口RWin,并在初始素描序列图中取出以该多边聚拢形状素描线矩形窗口RWin所在的帧为当前帧,向前、向后各5帧的素描图,在每一帧的素描图中,提取在该素描图中与矩形窗口RWin对应的矩形区域内的或部分在该矩形区域内的素描线,将这些素描线与该多边聚拢形状素描线line进行匹配,根据匹配得到的素描线,提取在前、后5帧中匹配到的素描线的矩形窗口;对所有已标记的多边聚拢形状的素描线都执行上述操作;
该基于多边聚拢形状素描线匹配的最大面积窗口提取子模块32,用于对前后各5帧素描图中匹配到的素描线,提取这些素描线与多边聚拢形状素描线line的匹配度,基于匹配度提取多边聚拢形状素描线line对应的面积最大的矩形窗口;
该单条素描线段的正方形窗口提取子模块33,用于对只包含一条素描线段的素描线sline,求以该素描线段的中点为中心,该素描线段的长度的2倍为边长的正方形窗口SWin,并在初始素描序列图中取出以该素描线sline所在帧为当前帧,向前、向后各5帧的素描图,在每一帧的素描图中,提取在该素描图中与正方形窗口SWin对应的正方形区域内的或部分在该正方形区域内的素描线,将这些素描线与素描线sline进行匹配,根据匹配得到的素描线,提取在前、后5帧中匹配到的素描线的正方形窗口;对所有只包含一条素描线段且长度在[6,10]范围内的素描线都执行上述操作;
该基于单条素描线段匹配的最大面积窗口提取子模块34,用于对前后各5帧素描图中匹配到的素描线,提取这些素描线与素描线sline的匹配度,基于匹配度提取该只包含一条素描线段的素描线sline对应的面积最大的正方形窗口;
该素描线自适应窗口提取子模块35,用于将多边聚拢形状素描线line对应的面积最大的矩形窗口和只包含一条素描线段的素描线sline对应的面积最大的正方形窗口向上、向下、向左、向右各扩充5个素描点,得到多边聚拢形状素描线line的自适应窗口和只包含一条素描线段的素描线sline的自适应窗口。
所述疑似淋巴结图像块序列提取模块4,包括:局部图像块提取子模块41、素描线所围区域确定子模块42、疑似淋巴结的判定子模块43、CT图像上疑似淋巴结的自适应窗口提取子模块44、疑似淋巴结图像块序列提取子模块45。
该局部图像块提取子模块41,用于在当前素描线的自适应窗口所在帧的CT图像上提取该自适应窗口所在区域内的局部图像,并将局部图像中灰度值在疑似淋巴结所在灰度值范围内的像素点的值置为1,其它置为0;
该素描线所围区域确定子模块42,用于提取当前素描线所包含的最长的素描线段的中心素描点,在局部图像块中,求与该中心素描点对应的像素点以及距离该像素点最近的灰度值为 1的像素点所在的连通区域,若在局部图像块中还存在其他值为1的连通区域,则将这些区域所含的像素点的值置为0;
该疑似淋巴结的判定子模块43,用于判定素描线所围区域确定子模块(42)提取到的连通区域是否为疑似淋巴结;即求该区域的边界像素点距离该区域的质心像素点的距离的平均值 c和方差e,记类椭圆率t=c/e,若t≥1,则判定该区域为疑似淋巴结,保留该疑似淋巴结的区域信息;否则,判定为非疑似淋巴结,不予保留;
该CT图像上疑似淋巴结的自适应窗口提取子模块44,用于提取疑似淋巴结所在的区域的最小外接矩形,将该最小外接矩形作为CT图像上该疑似淋巴结的自适应窗口;
该疑似淋巴结图像块序列提取子模块45,用于将疑似淋巴结的自适应窗口所在区域作为固定区域,将原始CT序列图像上疑似淋巴结所在的帧作为当前帧,向前、向后各取l帧的固定区域的局部图像块,按所在帧的前后顺序进行排序,得到该疑似淋巴结的图像块序列D,其中l=20。
所述基于行列切图的淋巴结检测模块5,包括:行切图构造子模块51、行切图确定首尾帧子模块52、列切图构造子模块53、列切图确定首尾帧子模块54、淋巴结判定子模块55。
该行切图构造子模块51,用于疑似淋巴结图像块序列D,按照顺序依次取出第1副图像到第(2l+1)副图像的第i行,并按照如下规则构造行切图Ri:
将第1副图像的第i行作为新图像的第1行,将第2副图像的第i行作为新图像的第2行,依次类推,将第j副图像的第i行作为新图像的第j行,一直到取完序列图D中所有图像的第i 行,得到序列图D的第i行对应的行切图Ri,其中i=1~m,m为序列图D中每一副图像的行数;
该行切图确定首尾帧子模块52,用于对行切图R(z-1)求点(l+1,ceny)所在区域最上面一行的横坐标l1、最下面一行的横坐标l4;对行切图Rz求点(l+1,ceny)所在区域最上面一行的横坐标l2、最下面一行的横坐标l5;对行切图R(z+1)求点(l+1,ceny)所在区域最上面一行的横坐标l3、最下面一行的横坐标l6;计算疑似淋巴结图像块序列D中疑似淋巴结的首帧位置s和尾帧位置e:
s=min(min(l1,l2),l3)
e=max(max(l4,l5),l6)
其中z=m/2+1,ceny为当前跟踪的疑似淋巴结质心的纵坐标;
该列切图构造子模块53,用于在疑似淋巴结图像块序列D中,按照顺序依次取出第一副图像到第(2l+1)副图像的第k列,并按照如下规则构造列切图Ck:
将第1副图像的第k列作为新图像的第1行,将第2副图像的第k列作为新图像的第2列,依次类推,将第j副图像的第k列作为新图像的第j列,一直到取完序列图D中所有图像的第 k列,得到序列图D的第k列对应的列切图Ck,其中k=1~n,n为序列图D中每一副图像的列数;
该列切图确定首尾帧子模块54,用于对列切图C(z-1)求点(cenx,l+1)所在区域最左边一列的纵坐标h1、最右边一列的纵坐标h4;对列切图Cz求点(cenx,l+1)所在区域最左边一列的纵坐标 h2、最右边一列的纵坐标h5;对列切图C(z+1),求点(cenx,l+1)所在区域最左边一列的纵坐标h3、最右边一列的纵坐标h6,并更新序列D中疑似淋巴结的首帧位置s和尾帧位置e:
其中st=min(min(h1,h2),h3),et=max(max(h4,h5),h6),z=n/2+1,cenx为当前跟踪的疑似淋巴结质心的横坐标;
该淋巴结判定子模块55,用于对疑似淋巴结图像块序列D中图像块大于11×11的疑似淋巴结依据当前跟踪的疑似淋巴结的面积c、首帧疑似淋巴结面积s1和尾帧疑似淋巴结面积e1标记其是否是淋巴结:
如果则标记为淋巴结,并对该疑似淋巴结在疑似淋巴结序列图中的帧号、区域信息和标记信息进行保存,否则,标记为非淋巴结。
所述低秩分解模块6,包括:观测矩阵构建子模块61、decolor分解子模块62、初始首尾帧确定子模块63。
该观测矩阵构建子模块61,将疑似淋巴结的图像块序列D中当前跟踪的疑似淋巴结所在的图像块复制cl份,得到低秩分解图像块序列F,将低秩分解图像块序列F中每一副图像块拉成一列,按图像块的先后顺序进行放置,得到观测矩阵数据M,其中cl取值40;
该decolor分解子模块62,通过decolor低秩模型对观测矩阵M进行低秩分解,得到背景序列B;
该初始首尾帧确定子模块63,对背景序列B中计算每一列的方差v=[vleft,vcur,vright],其中vleft表示B序列中最左边l列对应的方差,vright表示B序列中最右边l列对应的,vcur表示B序列中间l+1 列到l+cl列对应的方差,计算vleft中方差小于1的帧号,并将最大的帧号标记为初始首帧,计算vright中方差小于1的帧号,并将最小的帧号标记为初始尾帧。
所述质心跟踪模块7,包括:前向质心跟踪子模块71、后向质心跟踪子模块72、淋巴结和血管区分子模块73。
该前向质心跟踪子模块71,用于在原始CT序列图上,以当前帧开始,向前跟踪当前疑似淋巴结对应的目标区域,得到当前跟踪的疑似淋巴结的首帧。其跟踪原理为:
在原始CT序列图上,以当前帧开始,以当前帧的疑似淋巴结自适应窗口的大小为窗口的固定大小,以跟踪目标的质心为窗口的质心,向前进行窗口内的目标匹配,如果匹配成功,则匹配成功的目标面积,就是跟踪目标的面积,并更新目标质心,继续向前进行匹配,得到跟踪目标的前向序列,将前向序列中最左边的帧作为当前跟踪的疑似淋巴结的首帧;如果匹配失败,则终止向前跟踪;
该后向质心跟踪子模块72,用于在原始CT序列图上上,以当前帧开始,向后跟踪当前疑似淋巴结对应的目标区域,得到当前跟踪的疑似淋巴结的尾帧。其跟踪原理为:
在原始CT序列图上,以当前帧开始,以当前帧的疑似淋巴结自适应窗口的大小为窗口的固定大小,以跟踪目标的质心为窗口的质心,向后进行窗口内的目标匹配,如果匹配成功,则匹配成功的目标面积,就是跟踪目标的面积,并更新目标质心,继续向后进行匹配,得到跟踪目标的后向序列,将后向序列中最右边的帧作为当前跟踪的疑似淋巴结的结帧;如果匹配失败,则终止向后跟踪;
该淋巴结和血管区分子模块73,对当前跟踪的疑似淋巴结的图像块序列D中的图像块不大于11×11的疑似淋巴结,根据疑似淋巴结完整序列的序列长度l、首帧疑似淋巴结的面积s3、尾帧疑似淋巴结的面积e3、首帧疑似淋巴结质心和尾帧疑似淋巴结质心之间的距离d、序列中相邻帧之间疑似淋巴结的面积变化的平均值a、初始首帧疑似淋巴结的面积s2、初始尾帧疑似淋巴结的面积e2,对淋巴结和血管进行区分:
如果l<20,l>=6,s3<=s2,e3<=e2,d<10,a>5,则标记为是淋巴结,并将该疑似淋巴结在疑似淋巴结序列图中的帧号、区域信息和标记信息进行保存;否则,不标记。
所述素描线标记模块8,用于首尾帧之间跟踪到的所有疑似淋巴结所围成的素描线从素描线预处理后的集合中标记为已处理。
参照图2,本发明基于初始素描图的胃部CT图像淋巴结检测方法,包括如下步骤:
步骤1,对灰度值进行统计。
通过otsu分类算法将原始CT序列图中的每一副CT图像分为四类,分别统计每一类所在的灰度值范围,按灰度值从小到大的顺序依次为背景所在灰度值范围gray1、脂肪所在灰度值范围gray2、疑似淋巴结所在灰度值范围gray3以及高亮区域所在灰度值范围gray4;
步骤2,对原始CT序列图中的每一副CT图像提取初始素描图,如图3所示,其中图3(a) 中是待检测的CT图像,3(b)是从图3(a)提取到的初始素描图。
提取初始素描图引用文献:C.E.Guo,S.C.Zhu,Y.N.Wu.Primal Sketch:Integrating Texture and Structure[J].ComputerVision and Image Understanding,2007,106(1):5-19.
步骤3,对提取到的所有初始素描图中的素描线进行预处理,得到预处理素描线集合PreLines。
3.1)对当前进行处理的初始素描图所包含的每一条素描线line,查找以该素描线line的一个端点所在素描点为中心的3×3的邻域内是否存在其它素描线的端点,若存在且只存在一个端点,则将该端点所在素描线和当前素描线line进行连接;若存在多个端点,则求各端点所在的素描线段与当前素描线line中该端点所在素描线段之间的夹角,取夹角值最大的素描线段所对应的素描线进行连接,其中素描线连接是将查找到的端点改为当前素描线的端点;对连接形成的新的素描线执行上述操作,直到所有素描线的所有端点所在的3×3领域内都不存在其他素描线的端点,则连接操作完成,得到初始素描线集合InitLines;
3.2)保留初始素描线集合InitLines中长度在[6,40]范围内的素描线,得到长度素描线集合 LenLines,其中素描线的长度指每条素描线包含的所有素描线段上素描点的个数之和;如图4 所示,其中图4(a)是将长度素描线集合LenLines中的素描线映射到CT图像上的效果图,图4(b)是长度素描线集合LenLines中包含的素描线的效果图;
3.3)对长度素描线集合LenLines中的每一条素描线,对该素描线中最长的素描线段作中垂线,其长度为11个素描点,即该最长素描线段两侧各取5个素描点,将这11个素描点映射为原始CT图像中对应的11个像素点,并求这11个像素点在原始CT图像中的最大灰度值 gray_max和最小灰度值gray_min,提取gray_max在[90,200]内且gray_min在(0,75]内的素描线,得到灰度素描线集合GrayLines,其中[90,200]为原始CT图像中疑似淋巴结的灰度值范围gray3;(0,75]为原始CT图像中脂肪的灰度值范围gray2;如图6所示,其中图6(a)是将灰度素描线集合GrayLines中的素描线映射到CT图像上的效果图,图6(b)是灰度素描线集合GrayLines中包含的素描线的效果图;
3.4)取灰度素描线集合GrayLines中包含n条素描线段的素描线,n>=2,若n=2,则求其唯一的顶点的角度值,若该角度值在[10,145]的范围内,则标记该素描线具有多边聚拢形状的素描线,保留该素描线;若n≥3,求其对应的n-1个顶点的角度值,若该n-1个角度值都在 [10,145]度的范围内,则求第i条素描线段相邻两条素描线段第i-1、第i+1是否在第i条素描线段所在直线的同一侧,2≤i≤n-1,若在,则认为这三条素描线段有围回去的趋势,若素描线上的素描线段都有围回去的趋势,则标记该素描线具有多边聚拢形状的素描线,保留该素描线;保留的所有的素描线构成多边聚拢形状素描线集合ShapeLines;如图7所示,其中7(a) 是将多边形状素描线集合ShapeLines中的素描线映射到CT图像上的效果图,图7(b)是多边形状素描线集合ShapeLines中包含的素描线的效果图;
其中第i条素描线段相邻两条素描线段第i-1、第i+1是否在第i条素描线段所在直线的同一侧是通过如下方法进行判断的:
记第i-1条、第i条以及第i+1条这三条素描线段的四个端点为p1,p2,p3,p4,其中端点p1是第i-1条素描线段独有的端点,端点p2是第i-1条和第i条素描线段公共的端点,端点p3是第i条和第i+1条素描线段公共的端点,端点p4是第i+1条素描线段独有的端点,若端点p1和端点p4在第i条素描线的一侧,则认为第i-1、第i+1条素描线段在第i条素描线段的同一侧;否则,不在同一侧;
3.5)取灰度素描线集合GrayLines中只包含一条素描线段且长度在[6,10]的范围内素描线,将这些素描线和多边聚拢形状素描线集合ShapeLines包含的素描线存入到预处理素描线集合 PreLines中;对每一副初始素描图都执行上述预处理操作,将预处理后得到的素描线及其对应的帧号信息都存入到预处理素描线集合PreLines中。
步骤4,基于初始素描序列图提取当前素描线的自适应窗口。
4.1)将预处理素描线集合PreLines中的第一条未处理的素描线line作为当前素描线,其所在帧cur作为当前帧,判断当前素描线line是否只包含一条素描线段,若是,则执行步骤4.2),若不是,则执行步骤4.3);
4.2)以当前素描线line的中点为中心,以该素描线的长度的2倍为边长作正方形窗口SWin,并在初始素描序列图中取出当前帧前5帧和后5帧的初始素描图,在每一帧初始素描图中,提取在正方形窗口SWin所对应区域内的或部分在该区域内的素描线,得到局部素描线集合 LocalLines,判断局部素描线集合LocalLines中是否存在与当前素描线line的夹角小于30度且中心点距离不大于5个素描点的素描线,若存在,则取距离最近的素描线作为该帧初始素描图中与当前素描线line匹配的素描线,以与当前素描线line相同的方法作正方形窗口;若不存,则认为在该帧初始素描图中,不存在与当前素描线line匹配的素描线,不作其他操作;在得到的所有正方形窗口中取出面积最大的正方形窗口,将该窗口向上、向下、向左、向右各扩充5 个素描点得当前素描线line的自适应窗口PrimWin;记该自适应窗口PrimWin所在的帧为 win_zhen,并将当前素描线line标记为已处理;如图9(a)是只包含一条素描线段的素描线的最大正方形窗口提取过程显示,其中☆标记的是当前素描线line所在的帧cur,★标记的是找到的最大正方形窗口所在的帧,每一帧图像中实现是匹配到的素描线,方框是基于该帧上匹配到的素描线找到的正方形窗口;图9(b)中的方框是将提取到的最大正方形窗口扩充后得到的该素描线的自适应窗口PrimWin。
4.3)求当前素描线line所包含的所有素描线段的端点的横坐标的最大值xmax、横坐标的最小值xmin、纵坐标的最大值ymax、纵坐标的最小值ymin,将以(xmin,ymin)、(xmin,ymax)、(xmax,ymin)和 (xmax,ymax)这四个点为顶点的矩形区域作为当前素描线line的矩形窗口RWin,并在初始素描序列图中取出当前帧前5帧和后5帧的初始素描图,在每一帧初始素描图中,提取在矩形窗口 RWin所对应区域内的或部分在该区域内的素描线,得到局部素描线集合LocalLines,对当前素描线line中的每一条素描线段cline,判断局部素描线集合LocalLines中距离该素描线段 cline最近的素描线和该素描线段cline的夹角是否小于30度,若是,则认为该素描线与该素描线段cline匹配;对所有两两匹配的素描线段,求其中心点的距离,若所有求得的距离的平均值不大于5个像素点,则认为该帧初始素描图上存在与当前素描线line匹配的素描线,以与当前素描线line同样的方式作矩形窗口;若平均距离大于5,则认为该帧初始素描图上不存在与当前素描线line匹配的素描线,不予处理;在得到的所有矩形形窗口中取出面积最大的矩形窗口,将该窗口向上、向下、向左、向右各扩充5个素描点得到当前素描线line的自适应窗口 PrimWin,记该自适应窗口PrimWin所在的帧为win_zhen,并将当前素描线line标记为已处理;如图8所示,其中图8(a)是多边聚拢形状素描线的最大矩形窗口提取过程显示,其中☆标记的是当前素描线line所在的帧cur,★标记的是找到的最大矩形窗口所在的帧,每一帧图像中实现是匹配到的素描线,方框是基于该帧上匹配到的素描线找到的矩形窗口,图8(b) 中方框是将提取到的最大矩形扩充后得到的该多边聚拢形状素描线的自适应窗口PrimWin。
步骤5,基于当前素描线的位置及其自适应窗口提取疑似淋巴结区域。
5.1)输入当前素描线line的自适应窗口PrimWin所在帧第win_zhen帧的CT图像,提取该图像上该自适应窗口PrimWin所在区域的局部图像,并将局部图像中灰度值在疑似淋巴结所在灰度值范围gray3内的像素点的灰度值置为1,其它置为0;
5.2)取当前素描线line所包含的最长的素描线段的中心素描点,求在局部图像块中,与该中心素描点对应的像素点,并求距离该像素点最近的灰度值为1的像素点,得到最近的值为1 的像素点所在连通区域area即为当前素描线所围成的区域在自适应窗口所在帧的CT图像上的对应区域,若在局部图像块中还存在其他值为1的连通区域,则将这些区域所含的像素点的值置为0;
5.3)求取出的连通区域area的边界像素点距离该区域的质心像素点的距离的平均值c和方差e,记类椭圆率t=c/e,若t≥1,则判定该区域为疑似淋巴结,保留该疑似淋巴结的区域信息,继续执行步骤6;否则,判定为非疑似淋巴结,并判断预处理素描线集合PreLines中是否存在未处理的素描线,若存在,返回步骤4;若不存在,检测结束,在原始CT图像上将标记为淋巴结的区域显示出来。如图10所示,其中图10(a)中较大的方框是将素描线自适应窗口映射到CT图像上效果,其中实线是当前素描线所在的位置;图10(b)方框中白色点表示的是提取到的疑似淋巴结。
步骤6,提取疑似淋巴结图像块序列。
将提取到的疑似淋巴结作为当前疑似淋巴结,提取其所在区域的最小外接矩形,以该区域作为固定区域,以原始CT序列图像上疑似淋巴结所在的帧为当前帧,向前、向后各取g帧的固定区域的局部图像块,按所在帧的前后顺序进行排序,得到该疑似淋巴结的图像块序列D,其中g=20,如图10(b)中较小的方框是提取到的疑似淋巴结的自适应窗口,图11(a)中标记出的疑似淋巴结的图像块序列。
步骤7,判定当前疑似淋巴结的图像块序列D中图像块的大小,若大于11×11,则执行步骤8,否则,跳转到步骤12。
步骤8,计算当前跟踪的疑似淋巴结的首尾帧面积。
8.1)输入步骤7得到的当前疑似淋巴结图像块序列D,按照顺序依次取出第1副图像到第(2l+1)副图像的第i行,并构造行切图Ri,即将第1副图像的第i行作为新图像的第1行,将第2副图像的第i行作为新图像的第2行,依次类推,将第j副图像的第i行作为新图像的第 j行,一直到取完序列图D中所有图像的第i行,得到序列图D的第i行对应的行切图Ri,其中 i=1~m,m为序列图D中每一副图像的行数;
8.2)计算行切图在点(l+1,ceny)所在区域的上下边界信息:
在行切图R(z-1)中求点(l+1,ceny)所在区域上边界的横坐标l1和下边界的横坐标l4;
在行切图Rz中求点(l+1,ceny)所在区域上边界的横坐标l2和下边界的横坐标l5;
在行切图R(z+1)中求点(l+1,ceny)所在区域上边界的横坐标l3和下边界的横坐标l6;
其中z=m/2+1,ceny为当前跟踪的疑似淋巴结质心的纵坐标;
如图11(b)中的白色框图为点(l+1,ceny)所在的区域;
8.3)根据步骤8.2)的结果,计算原始行列切序列图D中疑似淋巴结的首帧位置s和尾帧位置e:
8.4)在当前疑似淋巴结图像块序列D中,按照顺序依次取出第一副图像到第(2l+1)副图像的第k列,并构造行切图Ck,即将第1副图像的第k列作为新图像的第1行,将第2副图像的第k列作为新图像的第2列,依次类推,将第j副图像的第k列作为新图像的第j列,一直到取完序列图D中所有图像的第k列,得到序列图D的第k列对应的列切图Ck,其中k=1~n, n为序列图D中每一副图像的列数;
8.5)计算列切图在点(cenx,l+1)所在区域的左右边界信息:
在列切图C(z-1)中求点(cenx,l+1)所在区域左边界的纵坐标h1和右边界的纵坐标h4;
在列切图Cz中求点(cenx,l+1)所在区域左边界的纵坐标h2和右边界的纵坐标h5;
在列切图C(z+1)中求点(cenx,l+1)所在区域左边界的纵坐标h3和右边界的纵坐标h4;
其中z=n/2+1,cenx为当前跟踪的疑似淋巴结质心的横坐标;
如图11(c)中的白色框图为点(cenx,l+1)所在的区域;
8.6)根据步骤8.5)的结果,计算当前疑似淋巴结图像块序列D中疑似淋巴结的首帧位置 s和尾帧位置e:
其中x=min(min(h1,h2),h3),y=max(max(h4,h5),h6),z=n/2+1,cenx为当前跟踪的疑似淋巴结质心的横坐标;
8.7)根据步骤8.6)确定出的疑似淋巴结首尾帧,计算出首帧疑似淋巴结的面积s1、尾帧疑似淋巴结的面积e1及当前跟踪的疑似淋巴结的面积c。
步骤9,对疑似淋巴结进行标记和保存。
根据步骤8中求出的首帧疑似淋巴结的面积s1、尾帧疑似淋巴结的面积e1、当前跟踪的疑似淋巴结的面积c进行淋巴结的标记:如果则标记为淋巴结;否则,标记为非淋巴结;如图12中白色矩形为跟踪到的淋巴结,五角星标记的位置为当前帧的疑似淋巴结,左边菱形标记的位置为首帧,右边菱形标记的位置为尾帧。
步骤10,获取疑似淋巴结的完整序列。
在当前跟踪的疑似淋巴结的图像块序列D中取出首帧和尾帧之间的图像块序列,以当前跟踪的疑似淋巴结所在帧为当前帧,通过窗口固定的质心跟踪方法,分别向前、向后提取当前疑似淋巴结在各帧上对应的疑似淋巴结区域,得到疑似淋巴结完整序列。
步骤11,对素描线进行标记。
对疑似淋巴结完整序列中的每一个疑似淋巴结,判断对应初始素描图中围成其的素描线是否在PreLines中,若在,则标记为已处理;判断预处理素描线集合PreLines中是否存在未被处理的素描线,若存在,则返回步骤4执行;否则,检测结束,在原始CT图像上将标记为淋巴结的区域显示出来。
步骤12,计算图像块序列不大于11×11的疑似淋巴结的初始首尾帧的面积。
12.1)将当前跟踪的疑似淋巴结的图像块序列D中当前跟踪的疑似淋巴结所在的图像块复制cl份,得到低秩分解图像块序列F;
12.2)将低秩分解图像块序列F中的每一副图像拉成一列,构成观测矩阵M;
12.3)通过decolor低秩模型对观测矩阵M进行低秩分解,得到背景序列B;
12.4)计算背景序列B中每一列的方差v=[vleft,vcur,vright],其中vleft表示B序列中最左边l列对应的方差,vright表示B序列中最右边l列对应的方差,vcur表示B序列中第l+1列到l+cl列对应的方差;
取出vleft中方差小于1的所有列号,并将最大的列号加上cur-l记为初始首帧,计算初始首帧疑似淋巴结的面积s2,即背景序列B中最大列号列中1的个数;
取出vright中方差小于1的所有列号,并将最小的列号加上cur-l-cl记为初始尾帧,计算初始尾帧疑似淋巴结的面积e2,即背景序列B中最小列号列中1的个数;计算当前跟踪的疑似淋巴结的面积c,即背景序列B中第l+1列中1的个数。
步骤13,获取图像块序列不大于11×11的疑似淋巴结的完整序列。
13.1)输入原始CT序列图,将每一副CT图像中灰度值在疑似淋巴结灰度值范围内的像素点的值置为1,其它置为0,得到原始CT序列图像对应的二值图像序列;
13.2)以当前疑似淋巴所在的帧为当前帧,在步骤13.1)中得到的二值序列图像上,以当前帧开始,以当前帧疑似淋巴结自适应窗口的大小作为为窗口的固定大小,以跟踪目标的质心为窗口的质心,分别向前向后进行窗口内的目标匹配:
13.21)向前进行窗口内的目标匹配,判断目标质心所在点的像素值是否为1,若为1,则匹配成功,将目标质心更新为目标质心所在区域的中心,继续向前进行匹配;否则,匹配失败,停止向前匹配;
13.22)向后进行窗口内的目标匹配,判断目标质心所在点的像素值是否为1,为1则匹配成功,将目标执行更新为目标质心所在区域的中心,继续向后进行匹配;否则,匹配失败,停止向后匹配,得到跟踪目标的后向序列;
13.3)由前向跟踪序列和后向跟踪序列共同组成疑似淋巴结的完整序列。
步骤14,进行淋巴结和血管的区分。
输入步骤13得到的疑似淋巴结的完整序列的序列长度l、首帧疑似淋巴结的面积s3、尾帧疑似淋巴结的面积e3、首帧疑似淋巴结质心和尾帧疑似淋巴结质心之间的距离d、序列中相邻帧之间疑似淋巴结的面积变化的平均值a、以及步骤12求出的初始首帧疑似淋巴结的面积s2、初始尾帧疑似淋巴结的面积e2,对淋巴结和血管进行区分:
如果l>=20,s3>=s2,e3>=e2,d>10,a<=5,则标记为是淋巴结,并将该疑似淋巴结在疑似淋巴结序列图中的帧号、区域信息和标记信息进行保存;否则,不标记;返回到步骤11。
以上描述仅是本发明的一个具体实例,并不构成对本发明的任何限制,显然对于本领域的专业人员来说,在了解了本发明内容和原理后,都可能在不背离本发明原理、结构的情况下,进行形式和细节上的各种修改和改变,但是这些基于本发明思想的修改和改变仍在本发明的权利要求保护范围之内。
Claims (7)
1.一种基于初始素描图的胃部CT图像淋巴结检测系统,包括:
灰度值统计模块(1),用于通过otsu分类算法将原始CT序列图中的每一副CT图像分为四类,分别统计每一类所在的灰度值范围,按灰度值从小到大的顺序依次为背景所在灰度值范围、脂肪所在灰度值范围、疑似淋巴结所在灰度值范围以及高亮区域所在灰度值范围;
素描线预处理模块(2),用于对原始CT序列图像中每一副CT图像提取初始素描图,基于初始素描图,对单帧中围成疑似淋巴结的素描线进行提取;
基于素描线的自适应窗口确定模块(3),用于对每一条围成疑似淋巴结的素描线进行跟踪,基于跟踪到的素描线所占区域提取矩形窗口,将面积最大的矩形窗口向上、向下、向左、向右各扩充5个素描点,将扩充后的矩形窗口作为素描线的自适应窗口;
疑似淋巴结图像块序列提取模块(4),用于将素描线的自适应窗口映射到对应帧的CT图像上,根据素描线所在位置,提取疑似淋巴结区域,得到CT图像上该疑似淋巴结的自适应窗口,并在CT序列图上,按该窗口提取疑似淋巴结图像块序列;
基于行列切的淋巴结检测模块(5),用于对序列图像块大于11×11的疑似淋巴结,作行切和列切处理,利用得到的行切图和列切图,基于质心所在的位置确定当前跟踪的疑似淋巴结的首尾帧位置和面积;
低秩分解模块(6),用于序列图像块不大于11×11的疑似淋巴结进行decolor低秩分解,根据低秩分解出来的背景序列进行初始首尾帧的确定;
质心跟踪模块(7),用于序列图像块不大于11×11的疑似淋巴结,在原始CT序列图像上进行质心跟踪,获取当前跟踪的疑似淋巴结的完整序列;
素描线标记模块(8),用于将首尾帧之间跟踪到的所有疑似淋巴结所围成的素描线从素描线预处理后的集合中标记为已处理。
2.根据权利要求1所述的基于初始素描图的胃部CT图像淋巴结检测系统,其中素描线预处理模块(2),包括:
素描线连接子模块(21),用于查找以当前素描线的一个端点所在素描点为中心的3×3的邻域内是否存在其它素描线的端点,若存在且只存在一个端点,则将该端点所在素描线和当前素描线进行连接;若存在多个端点,则求各端点所在的素描线段与当前素描线该端点所在素描线段之间的夹角,取夹角值最大的素描线段所对应的素描线进行连接;其中素描线连接是将查找到的端点改为当前素描线的端点;对连接形成的新的素描线执行上述操作,直到所有素描线的所有端点所在的3×3领域内都不存在其他素描线的端点,则连接操作完成;
素描线长度特征提取子模块(22),用于提取长度在[6,40]范围内的素描线,其中素描线长度指每条素描线包含的所有素描线段上素描点的个数之和;
基于素描线的CT图像灰度特征提取子模块(23),用于对输入的一条素描线,对该素描线中最长的素描线段作中垂线,其长度为11个素描点,即该最长素描线段两侧各取5个素描点,将这11个素描点映射为原始CT图像中对应的11个像素点,并求这11个像素点在原始CT图像中的最大灰度值gray_max和最小灰度值gray_min,提取gray_max在[90,200]内且gray_min在(0,75]内的素描线,其中[90,200]为原始CT图像中疑似淋巴结的灰度值范围;(0,75]为原始CT图像中脂肪的灰度值范围;
素描线多边聚拢形状特征提取子模块(24),用于对包含两条及两条以上素描线段的素描线,提取其形状特征;记素描线包含素描线段的条数为n,n≥2,若n=2,则求唯一顶点的角度值,若该角度值在[10,145]的范围内,则标记该素描线具有多边聚拢形状的素描线;若n≥3,求其对应的n-1个顶点的角度值,若该n-1个角度值都在[10,145]度的范围内,则求第i条素描线段相邻两条素描线段第i-1条和第i+1条是否在第i条素描线段所在直线的同一侧,2≤i≤n-1,若在,则认为这三条素描线段有围回去的趋势,若素描线上的素描线段都有围回去的趋势,则标记该素描线具有多边聚拢形状的素描线。
3.根据权利要求1所述的基于初始素描图的胃部CT图像淋巴结检测系统,其中基于素描线的自适应窗口确定模块(3),包括:
多边聚拢形状素描线矩形窗口提取子模块(31),用于对已标记为多边聚拢形状的素描线line,取其所包含的所有素描线段的端点的横坐标的最大值xmax、横坐标的最小值xmin、纵坐标的最大值ymax、纵坐标的最小值ymin,并提取以(xmin,ymin)、(xmin,ymax)、(xmax,ymin)和(xmax,ymax)这四个点为顶点的矩形区域作为该多边聚拢形状素描线line的矩形窗口RWin,并在初始素描序列图中取出以该多边聚拢形状素描线矩形窗口RWin所在的帧为当前帧,向前、向后各5帧的素描图,在每一帧的素描图中,提取在该素描图中与矩形窗口RWin对应的矩形区域内的或部分在该矩形区域内的素描线,将这些素描线与该多边聚拢形状素描线line进行匹配,根据匹配得到的素描线,提取在前、后5帧中匹配到的素描线的矩形窗口;对所有已标记的多边聚拢形状的素描线都执行上述操作;
基于多边聚拢形状素描线匹配的最大面积窗口提取子模块(32),用于对前后各5帧素描图中匹配到的素描线,提取这些素描线与多边聚拢形状素描线line的匹配度,基于匹配度提取多边聚拢形状素描线line对应的面积最大的矩形窗口;
单条素描线段的正方形窗口提取子模块(33),用于对只包含一条素描线段的素描线sline,求以该素描线段的中点为中心,该素描线段的长度的2倍为边长的正方形窗口SWin,并在初始素描序列图中取出以该素描线sline所在帧为当前帧,向前、向后各5帧的素描图,在每一帧的素描图中,提取在该素描图中与正方形窗口SWin对应的正方形区域内的或部分在该正方形区域内的素描线,将这些素描线与素描线sline进行匹配,根据匹配得到的素描线,提取在前、后5帧中匹配到的素描线的正方形窗口;对所有只包含一条素描线段且长度在[6,10]范围内的素描线都执行上述操作;
基于单条素描线段匹配的最大面积窗口提取子模块(34),用于对前后各5帧素描图中匹配到的素描线,提取这些素描线与素描线sline的匹配度,基于匹配度提取该只包含一条素描线段的素描线sline对应的面积最大的正方形窗口;
素描线自适应窗口提取子模块(35),用于将多边聚拢形状素描线line对应的面积最大的矩形窗口和只包含一条素描线段的素描线sline对应的面积最大的正方形窗口向上、向下、向左、向右各扩充5个素描点,得到多边聚拢形状素描线line的自适应窗口和只包含一条素描线段的素描线sline的自适应窗口。
4.根据权利要求1所述的基于初始素描图的胃部CT图像淋巴结检测系统,其中疑似淋巴结图像块序列提取模块(4),包括:
局部图像块提取子模块(41),用于在当前素描线的自适应窗口所在帧的CT图像上提取该自适应窗口所在区域内的局部图像,并将局部图像中灰度值在疑似淋巴结所在灰度值范围内的像素点的值置为1,其它置为0;
素描线所围区域确定子模块(42),用于提取当前素描线所包含的最长的素描线段的中心素描点,在局部图像块中,求与该中心素描点对应的像素点以及距离该像素点最近的灰度值为1的像素点所在的连通区域,若在局部图像块中还存在其他值为1的连通区域,则将这些区域所含的像素点的值置为0;
疑似淋巴结的判定子模块(43),用于判定素描线所围区域确定子模块(42)提取到的连通区域是否为疑似淋巴结;即求该区域的边界像素点距离该区域的质心像素点的距离的平均值c和方差e,记类椭圆率t=c/e,若t≥1,则判定该区域为疑似淋巴结,保留该疑似淋巴结的区域信息;否则,判定为非疑似淋巴结,不予保留;
CT图像上疑似淋巴结的自适应窗口提取子模块(44),用于提取疑似淋巴结所在的区域的最小外接矩形,将该最小外接矩形作为CT图像上该疑似淋巴结的自适应窗口;
疑似淋巴结图像块序列提取子模块(45),用于将疑似淋巴结的自适应窗口所在区域作为固定区域,将原始CT序列图像上疑似淋巴结所在的帧作为当前帧,向前、向后各取l帧的固定区域的局部图像块,按所在帧的前后顺序进行排序,得到该疑似淋巴结的图像块序列,其中l=20。
5.一种基于初始素描图的胃部CT图像淋巴结检测方法,包括如下步骤:
(1)通过otsu分类算法将原始CT序列图中的每一副CT图像分为四类,分别统计每一类所在的灰度值范围,按灰度值从小到大的顺序依次为背景所在灰度值范围gray1、脂肪所在灰度值范围gray2、疑似淋巴结所在灰度值范围gray3以及高亮区域所在灰度值范围gray4;
(2)依次输入原始CT序列图中每一副CT图像的初始素描图,对其包含的素描线进行预处理,得到预处理素描线集合PreLines;
(3)将预处理素描线集合PreLines中的第一条未处理的素描线line作为当前素描线,其所在帧cur作为当前帧,基于初始素描序列图提取当前素描线line的自适应窗口PrimWin,记该自适应窗口PrimWin所在的帧为win_zhen,并将素描线line标记为已处理;
(4)在第win_zhen的CT图像上提取当前素描线line的自适应窗口PrimWin所在区域的局部图像块,在局部图像块中基于当前素描线line的位置,提取该素描线line所围区域在第win_zhen帧CT图像上的对应区域;
(5)判断当前素描线line所围区域在第win_zhen帧CT图像上的对应区域是否为疑似淋巴结,若是,则记该疑似淋巴结为当前跟踪的疑似淋巴结,并执行步骤(6);若不是,则判断预处理素描线集合PrimWin中是否存在未被处理的素描线,若存在,则返回步骤(3);否则,检测结束,在原始CT图像上将标记为淋巴结的区域显示出来;
(6)将当前跟踪的疑似淋巴结所占区域的最小外接矩形作为CT图像上该疑似淋巴结的自适应窗口CTWin,在原始CT序列图上,以该疑似淋巴结的自适应窗CTWin所在的帧win_zhen为当前帧,向前、向后各取g帧该自适应窗口CTWin对应区域的局部图像块,按帧的先后顺序排序,得到该疑似淋巴结的图像块序列D,其中g=20;
(7)如果当前跟踪的疑似淋巴结的图像块序列D中的图像块大于11×11,则执行步骤(8)~(10),否则,跳转到步骤(11);
(8)在当前跟踪的疑似淋巴结的图像块序列D上,进行行切和列切处理,得到行切图和列切图,根据行切图和列切图的区域信息,得到当前跟踪的疑似淋巴结对应的首帧、首帧疑似淋巴结的面积、尾帧、尾帧疑似淋巴结的面积和当前跟踪的疑似淋巴结的面积;
(9)根据步骤(8)中得出的首帧疑似淋巴结的面积s1、尾帧疑似淋巴结的面积e1和当前跟踪的疑似淋巴结的面积c进行淋巴结的标记:如果 则标记为淋巴结,并对该疑似淋巴结的帧号、区域信息和标记信息进行保存,否则,标记为非淋巴结;
(10)在当前跟踪的疑似淋巴结的图像块序列D中取出首帧和尾帧之间的图像块序列,以当前跟踪的疑似淋巴结所在帧为当前帧,通过窗口固定的质心跟踪方法,分别向前、向后提取当前疑似淋巴结在各帧上对应的疑似淋巴结区域,得到疑似淋巴结完整序列,跳转到步骤(14);
(11)将当前跟踪的疑似淋巴结的图像块序列D中当前跟踪的疑似淋巴结所在的图像块复制cl份,得到低秩分解图像块序列,对该低秩分解图像块序列进行decolor低秩分解,得到当前跟踪的疑似淋巴结的初始首帧、初始尾帧、初始首帧上疑似淋巴结的面积、初始尾帧上疑似淋巴结的面积,其中cl=40;
(12)在原始CT序列图像上,以当前跟踪疑似淋巴结所在的帧为当前帧,以跟踪目标的质心为窗口的质心,向前进行窗口内的目标匹配,得到跟踪目标的前向序列;向后进行窗口内的目标匹配,得到跟踪目标的后向序列;由前向跟踪序列和后向跟踪序列共同组成疑似淋巴结的完整序列;
(13)输入步骤(12)得到的疑似淋巴结的完整序列的序列长度l、首帧疑似淋巴结的面积s3、尾帧疑似淋巴结的面积e3、首帧疑似淋巴结质心和尾帧疑似淋巴结质心之间的距离d、序列中相邻帧之间疑似淋巴结的面积变化的平均值a、以及步骤(11)求出的初始首帧疑似淋巴结的面积s2、初始尾帧疑似淋巴结的面积e2,对淋巴结和血管进行区分:
如果l<20,l>=6,s3<=s2,e3<=e2,d<10,a>5,则标记为是淋巴结,并对该疑似淋巴结在疑似淋巴结序列图中的帧号、区域信息、首帧、尾帧进行保存;否则,不标记;
(14)对疑似淋巴结序列图中的每一个疑似淋巴结,判断围成其的素描线是否在集合PreLines中,若在,则标记为已处理;判断预处理素描线集合PreLines中是否存在未被处理的素描线,若存在,则返回步骤(3)执行;否则,检测结束,在原始CT图像上将标记为淋巴结的区域显示出来。
6.根据权利要求5所述的基于初始素描图的胃部CT图像淋巴结检测方法,其中步骤(2)中对素描线进行预处理,按如下步骤进行:
2.1)对输入的初始素描图所包含的每一条素描线line,查找以该素描线line的一个端点所在素描点为中心的3×3的邻域内是否存在其它素描线的端点,若存在且只存在一个端点,则将该端点所在素描线和当前素描线line进行连接;若存在多个端点,则求各端点所在的素描线段与当前素描线line中该端点所在素描线段之间的夹角,取夹角值最大的素描线段所对应的素描线进行连接,其中素描线连接是将查找到的端点改为当前素描线的端点;对连接形成的新的素描线执行上述操作,直到所有素描线的所有端点所在的3×3领域内都不存在其他素描线的端点,则连接操作完成,得到初始素描线集合InitLines;
2.2)保留初始素描线集合InitLines中长度在[6,40]范围内的素描线,得到长度素描线集合LenLines,其中素描线的长度指每条素描线包含的所有素描线段上素描点的个数之和;
2.3)对长度素描线集合LenLines中的每一条素描线,对该素描线中最长的素描线段作中垂线,其长度为11个素描点,即该最长素描线段两侧各取5个素描点,将这11个素描点映射为原始CT图像中对应的11个像素点,并求这11个像素点在原始CT图像中的最大灰度值gray_max和最小灰度值gray_min,提取gray_max在[90,200]内且gray_min在(0,75]内的素描线,得到灰度素描线集合GrayLines,其中[90,200]为原始CT图像中疑似淋巴结的灰度值范围gray3;(0,75]为原始CT图像中脂肪的灰度值范围gray2;
2.4)取灰度素描线集合GrayLines中包含n条素描线段的素描线,n>=2,若n=2,则求其唯一的顶点的角度值,若该角度值在[10,145]的范围内,则标记该素描线具有多边聚拢形状的素描线,保留该素描线;若n≥3,求其对应的n-1个顶点的角度值,若该n-1个角度值都在[10,145]度的范围内,则求第i条素描线段相邻两条素描线段第i-1、第i+1是否在第i条素描线段所在直线的同一侧,2≤i≤n-1,若在,则认为这三条素描线段有围回去的趋势,若素描线上的素描线段都有围回去的趋势,则标记该素描线具有多边聚拢形状的素描线,保留该素描线;保留的所有的素描线构成多边聚拢形状素描线集合ShapeLines;
其中第i条素描线段相邻两条素描线段第i-1、第i+1是否在第i条素描线段所在直线的同一侧是通过如下方法进行判断的:
记第i-1条、第i条以及第i+1条这三条素描线段的四个端点为p1,p2,p3,p4,其中端点p1是第i-1条素描线段独有的端点,端点p2是第i-1条和第i条素描线段公共的端点,端点p3是第i条和第i+1条素描线段公共的端点,端点p4是第i+1条素描线段独有的端点,若端点p1和端点p4在第i条素描线的一侧,则认为第i-1、第i+1条素描线段在第i条素描线段的同一侧;否则,不在同一侧;
2.5)取灰度素描线集合GrayLines中只包含一条素描线段且长度在[6,10]的范围内素描线,将这些素描线和多边聚拢形状素描线集合ShapeLines包含的素描线存入到预处理素描线集合PreLines中;对每一副初始素描图都执行上述预处理操作,将预处理后得到的素描线及其对应的帧号信息都存入到预处理素描线集合PreLines中。
7.根据权利要求5所述的基于初始素描图的胃部CT图像淋巴结检测方法,其中步骤(3)中提取素描线的自适应窗口,按如下步骤进行:
3.1)判断当前素描线line是否只包含一条素描线段,若是,则执行3.2),若不是,则执行3.3);
3.2)以当前素描线line的中点为中心,以该素描线的长度的2倍为边长作正方形窗口SWin,并在初始素描序列图中取出当前帧前5帧和后5帧的初始素描图,在每一帧初始素描图中,提取在正方形窗口SWin所对应区域内的或部分在该区域内的素描线,得到局部素描线集合LocalLines,判断局部素描线集合LocalLines中是否存在与当前素描线line的夹角小于30度且中心点距离不大于5个素描点的素描线,若存在,则取距离最近的素描线作为该帧初始素描图中与当前素描线line匹配的素描线,以与当前素描线line相同的方法作正方形窗口;若不存,则认为在该帧初始素描图中,不存在与当前素描线line匹配的素描线,不作其他操作;在得到的所有正方形窗口中取出面积最大的正方形窗口,将该窗口向上、向下、向左、向右各扩充5个素描点得当前素描线line的自适应窗口PrimWin;
3.3)求当前素描线line所包含的所有素描线段的端点的横坐标的最大值xmax、横坐标的最小值xmin、纵坐标的最大值ymax、纵坐标的最小值ymin,将以(xmin,ymin)、(xmin,ymax)、(xmax,ymin)和(xmax,ymax)这四个点为顶点的矩形区域作为当前素描线line的矩形窗口RWin,并在初始素描序列图中取出当前帧前5帧和后5帧的初始素描图,在每一帧初始素描图中,提取在矩形窗口RWin所对应区域内的或部分在该区域内的素描线,得到局部素描线集合LocalLines,对当前素描线line中的每一条素描线段cline,判断局部素描线集合LocalLines中距离该素描线段cline最近的素描线和该素描线段cline的夹角是否小于30度,若是,则认为该素描线与该素描线段cline匹配;对所有两两匹配的素描线段,求其中心点的距离,若所有求得的距离的平均值不大于5个像素点,则认为该帧初始素描图上存在与当前素描线line匹配的素描线,以与当前素描线line同样的方式作矩形窗口;若平均距离大于5,则认为该帧初始素描图上不存在与当前素描线line匹配的素描线,不予处理;在得到的所有矩形形窗口中取出面积最大的矩形窗口,将该窗口向上、向下、向左、向右各扩充5个素描点得到当前素描线line的自适应窗口PrimWin。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510770957.9A CN105405140B (zh) | 2015-11-12 | 2015-11-12 | 基于初始素描图的胃部ct图像淋巴结检测系统和方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510770957.9A CN105405140B (zh) | 2015-11-12 | 2015-11-12 | 基于初始素描图的胃部ct图像淋巴结检测系统和方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN105405140A CN105405140A (zh) | 2016-03-16 |
CN105405140B true CN105405140B (zh) | 2018-07-06 |
Family
ID=55470607
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510770957.9A Active CN105405140B (zh) | 2015-11-12 | 2015-11-12 | 基于初始素描图的胃部ct图像淋巴结检测系统和方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN105405140B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3633612A4 (en) * | 2017-06-30 | 2020-06-03 | Shanghai United Imaging Healthcare Co., Ltd. | IMAGE SEGMENTATION METHOD AND SYSTEM |
CN110335261B (zh) * | 2019-06-28 | 2020-04-17 | 山东科技大学 | 一种基于时空循环注意力机制的ct淋巴结检测系统 |
CN112837296B (zh) * | 2021-02-05 | 2024-08-09 | 深圳瀚维智能医疗科技有限公司 | 基于超声视频的病灶检测方法、装置、设备及存储介质 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103106408A (zh) * | 2013-01-25 | 2013-05-15 | 西安电子科技大学 | 无监督分割的胃部ct图像淋巴结自动辅助检测系统 |
CN103955912A (zh) * | 2014-02-14 | 2014-07-30 | 西安电子科技大学 | 自适应窗的胃部ct图像淋巴结跟踪检测系统及方法 |
CN104408737A (zh) * | 2014-12-15 | 2015-03-11 | 西安电子科技大学 | 基于多角度图片序列的胃部ct图像淋巴结检测系统 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB2414357A (en) * | 2004-05-18 | 2005-11-23 | Medicsight Plc | Nodule boundary detection |
-
2015
- 2015-11-12 CN CN201510770957.9A patent/CN105405140B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103106408A (zh) * | 2013-01-25 | 2013-05-15 | 西安电子科技大学 | 无监督分割的胃部ct图像淋巴结自动辅助检测系统 |
CN103955912A (zh) * | 2014-02-14 | 2014-07-30 | 西安电子科技大学 | 自适应窗的胃部ct图像淋巴结跟踪检测系统及方法 |
CN104408737A (zh) * | 2014-12-15 | 2015-03-11 | 西安电子科技大学 | 基于多角度图片序列的胃部ct图像淋巴结检测系统 |
Non-Patent Citations (1)
Title |
---|
primal sketch:integrating texture and structure;C.E.Guo et al;《ComputerVision and Image Understanding》;20071231;第5-19页 * |
Also Published As
Publication number | Publication date |
---|---|
CN105405140A (zh) | 2016-03-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109325952B (zh) | 基于深度学习的时尚服装图像分割方法 | |
CN110705425B (zh) | 一种基于图卷积网络的舌象多标签分类方法 | |
CN106327507B (zh) | 一种基于背景和前景信息的彩色图像显著性检测方法 | |
Zhu et al. | Detection of the optic disc in images of the retina using the Hough transform | |
CN108154519A (zh) | 眼底图像中血管的分割方法、装置及存储介质 | |
CN103870808B (zh) | 一种手指静脉识别方法 | |
CN109685037B (zh) | 一种实时动作识别方法、装置及电子设备 | |
CN107885327B (zh) | 一种基于Kinect深度信息的指尖检测方法 | |
CN109344874A (zh) | 一种基于深度学习的染色体自动分析方法及系统 | |
CN110991274B (zh) | 一种基于混合高斯模型和神经网络的行人摔倒检测方法 | |
CN105405140B (zh) | 基于初始素描图的胃部ct图像淋巴结检测系统和方法 | |
CN102324099A (zh) | 一种面向仿人机器人的台阶边缘检测方法 | |
CN114419320A (zh) | 一种基于图像识别的鱼群检测方法、系统及装置 | |
CN108446586A (zh) | 一种列车驾驶员特定动作检测方法 | |
CN113486752A (zh) | 基于心电信号的情感识别方法及系统 | |
Xu et al. | Pulmonary vessel segmentation via stage-wise convolutional networks with orientation-based region growing optimization | |
CN103839048B (zh) | 基于低秩分解的胃部ct图像淋巴结识别系统和方法 | |
CN110276759A (zh) | 一种基于机器视觉的手机屏坏线缺陷诊断方法 | |
CN111339967B (zh) | 一种基于多视域图卷积网络的行人检测方法 | |
CN117854155B (zh) | 一种人体骨骼动作识别方法及系统 | |
CN108710879A (zh) | 一种基于网格聚类算法的行人候选区域生成方法 | |
CN114998274A (zh) | 对象的定位方法、装置、电子设备和可读存储介质 | |
Gonzalez-Soler et al. | Semi-synthetic data generation for tattoo segmentation | |
CN111144331B (zh) | 手肘静脉图像肘正中静脉的识别方法及手肘图像采集装置 | |
CN110610502A (zh) | 一种基于ct图像的主动脉弓部区域自动定位分割方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |