CN115294401B - 一种基于ct图像的分类方法、装置、设备及存储介质 - Google Patents
一种基于ct图像的分类方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN115294401B CN115294401B CN202211013677.XA CN202211013677A CN115294401B CN 115294401 B CN115294401 B CN 115294401B CN 202211013677 A CN202211013677 A CN 202211013677A CN 115294401 B CN115294401 B CN 115294401B
- Authority
- CN
- China
- Prior art keywords
- nodule
- image block
- image
- training image
- detected
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 55
- 238000012549 training Methods 0.000 claims abstract description 208
- 238000013145 classification model Methods 0.000 claims abstract description 53
- 238000003062 neural network model Methods 0.000 claims abstract description 12
- 238000009826 distribution Methods 0.000 claims description 93
- 239000008280 blood Substances 0.000 claims description 80
- 238000004422 calculation algorithm Methods 0.000 claims description 54
- 210000004204 blood vessel Anatomy 0.000 claims description 46
- 230000011218 segmentation Effects 0.000 claims description 38
- 210000004072 lung Anatomy 0.000 claims description 37
- 210000004369 blood Anatomy 0.000 claims description 17
- 238000007781 pre-processing Methods 0.000 claims description 15
- 238000002372 labelling Methods 0.000 claims description 10
- 238000012937 correction Methods 0.000 claims description 7
- 238000009499 grossing Methods 0.000 claims description 6
- 238000001276 Kolmogorov–Smirnov test Methods 0.000 claims description 5
- 238000012360 testing method Methods 0.000 claims 1
- 230000000694 effects Effects 0.000 abstract description 6
- 230000008569 process Effects 0.000 abstract description 3
- 238000002591 computed tomography Methods 0.000 description 127
- 206010056342 Pulmonary mass Diseases 0.000 description 22
- 210000001519 tissue Anatomy 0.000 description 19
- 238000012545 processing Methods 0.000 description 14
- 238000001514 detection method Methods 0.000 description 11
- 239000005337 ground glass Substances 0.000 description 10
- 238000004891 communication Methods 0.000 description 8
- 230000002685 pulmonary effect Effects 0.000 description 8
- 230000003902 lesion Effects 0.000 description 7
- 230000002308 calcification Effects 0.000 description 6
- 238000004590 computer program Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 208000008128 pulmonary tuberculosis Diseases 0.000 description 6
- 239000007787 solid Substances 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 4
- 210000003437 trachea Anatomy 0.000 description 4
- 210000000038 chest Anatomy 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000012805 post-processing Methods 0.000 description 3
- 210000004872 soft tissue Anatomy 0.000 description 3
- 210000000988 bone and bone Anatomy 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 201000008827 tuberculosis Diseases 0.000 description 2
- 230000002792 vascular Effects 0.000 description 2
- 241001270131 Agaricus moelleri Species 0.000 description 1
- 206010058467 Lung neoplasm malignant Diseases 0.000 description 1
- 206010035588 Pleural adhesion Diseases 0.000 description 1
- 206010035600 Pleural fibrosis Diseases 0.000 description 1
- 238000010521 absorption reaction Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 210000001367 artery Anatomy 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000004195 computer-aided diagnosis Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 201000005202 lung cancer Diseases 0.000 description 1
- 208000020816 lung neoplasm Diseases 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000003211 malignant effect Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 230000001575 pathological effect Effects 0.000 description 1
- 238000003908 quality control method Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 208000024891 symptom Diseases 0.000 description 1
- 210000000115 thoracic cavity Anatomy 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 210000003462 vein Anatomy 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30061—Lung
- G06T2207/30064—Lung nodule
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- Medical Informatics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- Databases & Information Systems (AREA)
- Computing Systems (AREA)
- Evolutionary Computation (AREA)
- Multimedia (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
本公开提供了一种基于CT图像的分类方法、装置、设备及存储介质,通过将训练图像预处理为衍生训练图像块,作为学习数据训练结节分类模型;将待测图像块输入结节分类模型,确定所述待测图像块的结节类型概率,能够有效降低神经网络模型的学习难度,减少需要学习的数据量,且能够达到更精准的分类效果,提高结节分类模型的准确性。
Description
技术领域
本公开涉及图像处理技术领域,尤其涉及一种基于CT图像的分类方法、装置、设备及存储介质。
背景技术
目前,面对人群数量庞大的肺癌筛选群体,计算机辅助诊断已经是影像科医师的最常用的工具之一。对于影像科医师而言,最为关注的是肺结节的检出、测量与类型。
由于对结节分类的定义不同,导致利用计算机X线断层扫描(CT)医学影像进行分类的方法不同,例如可以基于病理良恶性进行分类;也可以基于结节形态与征象定义,将结节划分为良好边界型、胸膜粘连型、胸膜尾型和血管粘连型;还可以在不考虑肺内位置的情况下,将结节分类为实性、亚实性、纯磨玻璃和钙化四个类型。
但是,在现有技术中,科研人员基本照搬自然图像处理领域的相关技术,并没有深度结合CT图像的特点和专家知识,导致CT影响的分类准确率低,处理效率低。
发明内容
本公开提供了一种基于CT图像的分类方法、装置、设备及存储介质,以至少解决现有技术中存在的以上技术问题。
根据本公开的第一方面,提供了一种基于CT图像的分类方法,包括:
将训练图像预处理为衍生训练图像块,所述衍生训练图像块作为学习数据训练结节分类模型;
将待测图像块输入结节分类模型,确定所述待测图像块的结节类型概率。
在一可实施方式中,所述将训练图像预处理为衍生训练图像块,包括:
缩放所述训练图像至第一预设体素间距,在确定所述训练图像内的结节位置后,根据各个结节的长径大小分类进行切图,以获得训练图像块;
判断所述训练图像块的重建算法类型,将非软算法类型的训练图像块采用二维高斯核进行平滑,使得所述训练图像块归一为软算法类型重建的图像;
将归一后的训练图像块分别采用以下三种图像操作,以获得三种衍生训练图像块作为学习数据:
将归一后的训练图像块的CT值除以1024,以获得第一衍生训练图像块;
将归一后的训练图像块添加肺窗,以获得第二衍生训练图像块;
将归一后的训练图像块进行结节掩码标注与气血管掩码标注,以获得第三衍生训练图像块。
在一可实施方式中,所述根据各个结节的长径大小分类进行切图,以获得训练图像块,包括:
当某一结节的长径小于第一预设长度时,以所述结节为中心,截取第一预设尺寸范围内的图像进行切图,以获得所述训练图像块;
当某一结节的长径不小于第一预设长度时,以所述结节为中心,截取预设倍数的长径范围内的图像进行切图,并缩放至所述第一预设尺寸以获得所述训练图像块。
在一可实施方式中,在确定所述待测图像块的结节类型概率之后,还包括:
当某一待测图像块的结节类型概率满足预设概率条件,或者某一待测图像块的结节尺寸满足第二预设长度条件时,确定当前待测图像块的结节CT分布值与气血管CT分布值,通过判断所述结节CT分布值与气血管CT分布值的分布差异,确定当前待测图像块的最终结节类型。
在一可实施方式中,所述确定当前待测图像块的结节CT分布值与气血管CT分布值,包括:
将当前待测图像块输入结节分割模型,获得结节掩码图像;
通过所述结节掩码图像,确定所述当前待测图像块的结节CT分布值;
在原始待测图像中,扩大所述当前待测图像块的范围至第二预设尺寸,并输入气血管分割模型,以获得气血管掩码图像;
通过所述气血管掩码图像,确定所述当前待测图像块的气血管CT分布值。
在一可实施方式中,所述通过判断所述结节CT分布值与气血管CT分布值的分布差异,确定当前待测图像的最终结节类型,包括:
通过Kolmogorov-Smirnov检验,计算所述结节CT分布值与所述气血管CT分布值的分布差异,得到统计量k与显著性水平p;
根据所述统计量k与所述显著性水平p,以及结合结节CT均值与气血管CT均值的大小关系,确定所述当前待测图像块的最终结节类型。
在一可实施方式中,所述气血管分割模型为将带有气血管标注的气血管训练图像进行预处理,并将预处理后的图像作为训练数据的神经网络模型,其中,所述将带有气血管标注的气血管训练图像进行预处理的操作,包括:
将所述带有气血管标注的气血管训练图像缩放至第二预设体素间距后,添加肺窗,并滑窗获取第三预设尺寸的图像,作为预处理后的图像。
在一可实施方式中,将待测图像块输入结节分类模型之前,还包括:
将原始待测图像输入结节检测模型,以获得结节位置的像素坐标;
根据所述结节位置的像素坐标,确定待测图像块。
根据本公开的第二方面,提供了一种基于CT图像的分类装置,包括:
模型训练模块,用于将训练图像预处理为衍生训练图像块,所述衍生训练图像块作为学习数据训练结节分类模型;
结节确定模块,用于将待测图像块输入结节分类模型,确定所述待测图像块的结节类型概率。
在一可实施方式中,所述模型训练模块具体用于:
缩放所述训练图像至第一预设体素间距,在确定所述训练图像内的结节位置后,根据各个结节的长径大小分类进行切图,以获得训练图像块;
判断所述训练图像块的重建算法类型,将非软算法类型的训练图像块采用二维高斯核进行平滑,使得所述训练图像块归一为软算法类型重建的图像;
将归一后的训练图像块分别采用以下三种图像操作,以获得三种衍生训练图像块作为学习数据:
将归一后的训练图像块的CT值除以1024,以获得第一衍生训练图像块;
将归一后的训练图像块添加肺窗,以获得第二衍生训练图像块;
将归一后的训练图像块进行结节掩码标注与气血管掩码标注,以获得第三衍生训练图像块。
在一可实施方式中,所述模型训练模块具体还用于:
当某一结节的长径小于第一预设长度时,以所述结节为中心,截取第一预设尺寸范围内的图像进行切图,以获得所述训练图像块;
当某一结节的长径不小于第一预设长度时,以所述结节为中心,截取预设倍数的长径范围内的图像进行切图,并缩放至所述第一预设尺寸以获得所述训练图像块。
在一可实施方式中,还包括:
类型更正模块,在确定所述待测图像块的结节类型概率之后,用于当某一待测图像块的结节类型概率满足预设概率条件,或者某一待测图像块的结节尺寸满足第二预设长度条件时,确定当前待测图像块的结节CT分布值与气血管CT分布值,通过判断所述结节CT分布值与气血管CT分布值的分布差异,确定当前待测图像块的最终结节类型。
在一可实施方式中,所述类型更正模块具体用于:
将当前待测图像块输入结节分割模型,获得结节掩码图像;
通过所述结节掩码图像,确定所述当前待测图像块的结节CT分布值;
在原始待测图像中,扩大所述当前待测图像块的范围至第二预设尺寸,并输入气血管分割模型,以获得气血管掩码图像;
通过所述气血管掩码图像,确定所述当前待测图像块的气血管CT分布值。
在一可实施方式中,所述类型更正模块具体还用于:
通过Kolmogorov-Smirnov检验,计算所述结节CT分布值与所述气血管CT分布值的分布差异,得到统计量k与显著性水平p;
根据所述统计量k与所述显著性水平p,以及结合结节CT均值与气血管CT均值的大小关系,确定所述当前待测图像块的最终结节类型。
在一可实施方式中,所述气血管分割模型为将带有气血管标注的气血管训练图像进行预处理,并将预处理后的图像作为训练数据的神经网络模型,其中,所述将带有气血管标注的气血管训练图像进行预处理的操作,包括:
将所述带有气血管标注的气血管训练图像缩放至第二预设体素间距后,添加肺窗,并滑窗获取第三预设尺寸的图像,作为预处理后的图像。
在一可实施方式中,还包括:
待测图像块获取模块,在将待测图像块输入结节分类模型之前,用于将原始待测图像输入结节检测模型,以获得结节位置的像素坐标;
根据所述结节位置的像素坐标,确定待测图像块。
根据本公开的第三方面,提供了一种电子设备,包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行本公开所述的方法。
根据本公开的第四方面,提供了一种存储有计算机指令的非瞬时计算机可读存储介质,所述计算机指令用于使所述计算机执行本公开所述的方法。
本公开的基于CT图像的分类方法、装置、设备及存储介质,通过将训练图像预处理为衍生训练图像块,作为学习数据训练结节分类模型;将待测图像块输入结节分类模型,确定所述待测图像块的结节类型概率,能够有效降低神经网络模型的学习难度,减少需要学习的数据量,且能够达到更精准的分类效果,提高结节分类模型的准确性。
应当理解,本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征,也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
通过参考附图阅读下文的详细描述,本公开示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中,以示例性而非限制性的方式示出了本公开的若干实施方式,其中:
在附图中,相同或对应的标号表示相同或对应的部分。
图1A示出了本公开实施例提供的一种不同肺窗下的CT图像示意图;
图1B示出了本公开实施例同一肺结节分别在软重建和肺重建条件下的CT图像示意图;
图1C示出了本公开实施例一提供的一种基于CT图像的分类方法的实现流程示意图一;
图2A示出了本公开实施例二提供的一种基于CT图像的分类方法的实现流程示意图一;
图2B示出了本公开实施例二提供的一种基于CT图像的分类方法的实现流程示意图二;
图3示出了本公开实施例三提供的一种基于CT图像的分类装置的结构示意图;
图4示出了本公开实施例一种电子设备的组成结构示意图。
具体实施方式
为使本公开的目的、特征、优点能够更加的明显和易懂,下面将结合本公开实施例中的附图,对本公开实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本公开一部分实施例,而非全部实施例。基于本公开中的实施例,本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本公开保护的范围。
首先,需要说明的是,CT影像与自然图像有所不同,RGB自然图像像素值分布在0-255,代表三原色的亮度,而CT影像只有单通道,且像素值通常分布在-1024-3071之间,其范围远远大于自然图像,代表了人体组织对X射线的吸收率。也是因此,相关技术人员在查看CT图像时,一般都会采用医学图像领域的技术窗技术,这是CT检查中用以观察不同密度的正常组织或病变的一种显示技术,技术窗具有窗宽(window width)和窗位(windowlevel)。由于各种组织结构或病变具有不同的CT值,因此想要显示某一组织结构细节时,应该选择适合观察该组织或病变的窗宽和窗位,以获得最佳显示。
其中,窗宽是CT图像上显示的CT值范围,在此CT值范围内的组织和病变均以不同的模拟灰度显示,而CT值高于此范围或低于此范围的组织结构,分别以白影或黑影显示。因此窗宽的宽窄直接影响到图像的对比度和清晰度。例如:增大窗宽,则图像所示CT值范围加大,显示具有不同密度的组织结构增多,但各结构之间的灰度差别减少;减小窗宽,则显示的组织结构减少,然而各结构之间的灰度差别增加。
其中,窗位是指窗宽上下限的平均数。同样的窗宽,由于窗位不同,其所包括CT值范围的CT值也有差异。例如,窗宽同为100H,当窗位为0H时,其CT值范围为-50~+50H;如窗位为+35H时,则CT值范围为-15~+85H。因此,欲观察某组织结构及发生的病变,应以该组织的CT值为窗位。
因此,针对不同的观测对象,本实施例通常会限制在一个特定的窗宽窗位进行观察,如图1A所示。图1A为本公开实施例提供的一种不同肺窗下的CT图像,包括(a)肺窗,(b)纵膈窗,以及(c)骨窗。如图1A所示,同一肺部,在不同窗下观察存在较大差异。具体例如:标准的肺窗观察值设置为窗宽1500,窗位600,肺窗显示肺部组织比较清晰,可以看见肺部纹理,双侧胸腔呈亮色,四周的软组织表现为暗色,用于观察肺内情况,如肺结节。当窗宽窗位设置值改变时,则为观察纵隔窗或骨窗。但是,现有技术直接在CT图像上采用自然图像领域常用的标准化算法,会将关注信息压缩在一个很小的取值范围内,增加模型学习难度。
同时,对于同一个肺结节,CT图像采用不同的重建算法,CT影像中的HU值也存在巨大差异,如图1B所示,图1B为本实施例提供的同一肺结节分别在软重建和肺重建条件下的CT图像,包括(d)软重建和(e)肺重建。其中,(d)软重建的图像参数:最大值为68HU,最小值为-320HU,平均值为-52.5HU,标准值为125.1HU,面积为10.1mm2;(e)肺重建的图像参数:最大值为322HU,最小值为-122HU,平均值为-137.9HU,标准值为111.8HU,面积为11.4mm2。
其中,Hounsfield单位(HU)是计算机断层扫描(CT)中普遍使用的无量纲单位,用于标准、便捷的表达CT数值,不同组织的HU值有明确的物理意义,能够确定该组织的物质组成成分,例如水的HU值为0。
具体的,不同的重建算法对图像本身的CT值分布会有影响,因此在有些情况下,CT值会因为重建算法不同,导致测量不准确。例如,肺重建的高分辨算法虽然提高了空间分辨力,但是同时会造成图像噪声增加,降低密度分辨力,使软组织结节边缘锐利、密度增高,从而容易将该组织误判断为钙化结节。由于神经网络模型是依赖像素值以及像素值关联的关系进行判断的模型,因此这种由于重建算法不同,导致相同CT值的图像判断结果却有所不同,如果将该类型的图像作为训练数据进行学习,无疑也会增加模型的学习难度。
基于此,本公开实施例提供了一种基于CT图像的分类方法、装置、介质以及设备,具体如下:
实施例一
图1C为本公开实施例一提供的一种基于CT图像的分类方法的流程图,该方法可以由本公开实施例提供的基于CT图像的分类装置来执行,该装置可采用软件和/或硬件的方式实现。该方法具体包括:
S110、将训练图像预处理为衍生训练图像块,衍生训练图像块作为学习数据训练结节分类模型。
其中,结节分类模型可以是对肺结核CT图进行分类的一种神经网络模型,可以采用基于卷积神经网络的方式进行肺结节分类建模,通过该神经网络模型可以对输入图像的肺结核进行分类。例如,本实施例提供的结节分类模型可以是采用3D Resnet34+3D FPN模型为基本骨架,4个二分类预测头预测输入图像分别为钙化、实性、亚实性、纯磨玻璃概率的模型。需要说明的是,卷积神经网络本身可以根据训练数据量与数据分布进行灵活替换,如此更为先进的模型结合更多的训练数据可以取得更好的效果,因此本实施例不对结节分类模型内具体的神经网络模型进行限定。
其中,训练图像可以是在训练该结节分类模型时所需要学习的原始图像数据,训练图像可以是包含有肺结节图像的原始CT图像,也可以是具有标注肺结核位置信息或者包围框的原始CT图像,还可以是对原始CT图像中的肺结核包围框进行切图之后的图像。
其中,衍生训练图像块是由训练图像进行预处理后的图像,例如,一个训练图像经过预处理后可以得到多个训练图像块,每个训练图像块可以包含一个独立的肺结核组织。然后通过对每个训练图像块进行图像处理,即可得到多个衍生训练图像块。
具体的,一个训练图像块可以处理为多个衍生训练图像块,例如可以是三种类型的衍生训练图像块,而该三种类型的衍生训练图像块显示了同一个肺结节组织的不同显示形态。衍生训练图像块可以直接作为结节分类模型进行学习的图像数据,用于降低结节分类模型的学习难度。
S120、将待测图像块输入结节分类模型,确定待测图像块的结节类型概率。
其中,待测图像块指的是需要进行检测结节类型的图像块,待测图像块可以直接是标注有肺结节包围框的原始待测图像,也可以是在标注有肺结节包围框后截取的部分图像。而肺结节包围框的确定,则可以是将原始待测图像输入结节检测模型,以获得结节位置的像素坐标;再根据该结节位置的像素坐标,确定待测图像块,即肺结节包围框。
其中,结节类型概率指的是各种结节类型可能发生的概率。本实施例根据《胸部CT肺结节数据集构建及质量控制专家公识》2021版的内容“肺结节可以分类为实性结节、部分实性结节(混杂性磨玻璃密度结节)、纯磨玻璃密度结节、肺内钙化结节、胸膜结节、胸膜斑块、胸膜钙化结节几个类型”,在不考虑肺内位置的情况下,将分类归为实性、亚实性、纯磨玻璃和钙化四个类型。
具体的,本实施例将待测图像块输入结节分类模型,可以确定该待测图像块的结节类型概率。当输入图像为标注有肺结节包围框的原始待测图像时,则输出为原始图像中所有结节相对应的结节类型概率;当输入图像为标注有肺结节包围框后截取的独立图像时,则输出为该图像块中结节相对应的结节类型概率。而本实施例中的结节类型概率,分别包含四个结节类型的概率值,且各个结节类型的概率值之和可以是100,也可以不是100。例如结节类型概率可以是:实性90%、亚实性3%、纯磨玻璃3%和钙化4%;又例如结节类型概率还可以是:实性1%、亚实性1%、纯磨玻璃1%和钙化1%。本实施例可以根据结节分类模型输出的各结节类型概率,来判断该待测图像块的结节类型。
本公开实施例提供的基于CT图像的分类方法,通过将训练图像预处理为衍生训练图像块,作为学习数据训练结节分类模型;将待测图像块输入结节分类模型,确定待测图像块的结节类型概率,能够有效降低神经网络模型的学习难度,减少需要学习的数据量,且能够达到更精准的分类效果,提高结节分类模型的准确性。
在本公开实施例中,将训练图像预处理为衍生训练图像块,包括:缩放训练图像至第一预设体素间距,在确定训练图像内的结节位置后,根据各个结节的长径大小分类进行切图,以获得训练图像块;判断训练图像块的重建算法类型,将非软算法类型的训练图像块采用二维高斯核进行平滑,使得训练图像块归一为软算法类型重建的图像;将归一后的训练图像块分别采用以下三种图像操作,以获得三种衍生训练图像块作为学习数据:
将归一后的训练图像块的CT值除以1024,以获得第一衍生训练图像块;将归一后的训练图像块添加肺窗,以获得第二衍生训练图像块;将归一后的训练图像块进行结节掩码标注与气血管掩码标注,以获得第三衍生训练图像块。
其中,体素间距(spacing)可以是CT图像中单个体素对应真实世界的尺寸,且x、y、z三个方向可以存在不同尺寸。第一预设体素间距可以是根据需求设定的任意值,例如在本实施例中,由于将处理后的训练图像作为结节分类模型的学习数据,是为了对图像中的结节进行分类,因此需要把图像放大一些,例如第一预设体素间距可以设置为(0.3,0.3,0.3)。
其中,CT图像重建算法类型有很多,用于还原图像,一般肺结核图像的重建算法包括肺算法与软算法。其中,肺算法,或称为高分辨算法,指CT机在重建影像时采用了锐利的重建核,通常用于观察肺结节;软算法,或称为低分辨算法,指CT机在重建影像时采用了平滑的重建核,通常用于观察软组织。
其中,通过掩码(Mask)可以将图像特定感兴趣区域抽取出来。例如肺结节Mask,即图像中为肺结节的像素为1,其余像素为0的一个掩码。
具体的,本实施例在保证可视范围的情况下,统一spacing切图。首先将对原始训练图像进行统一缩放变换,缩放到第一预设体素间距(0.3,0.3,0.3),保证结节形态。然后可以将训练图像输入现有技术中任一种结节检测模型(例如可以是中国专利CN111798424B中的检测方法)中,获得结节位置,再根据各个结节的长径大小分类进行切图,获得训练图像块。
在本公开实施例中,根据各个结节的长径大小分类进行切图,以获得训练图像块,包括:当某一结节的长径小于第一预设长度时,以结节为中心,截取第一预设尺寸范围内的图像进行切图,以获得训练图像块;当某一结节的长径不小于第一预设长度时,以结节为中心,截取预设倍数的长径范围内的图像进行切图,并缩放至第一预设尺寸以获得所述训练图像块。
其中,第一预设长度、第一预设尺寸以及预设倍数均是根据工作人员需求而设定的任意值。其中,将所有图像缩放至第一预设尺寸,是为了统一尺寸,降低结节分类模型的学习难度,方便结节分类模型进行学习。具体例如,第一预设长度可以设置为7.5mm、第一预设尺寸可以设置为(50,50,50)以及预设倍数可以设置为两倍。
需要说明的是,本实施例判断结节性质,不仅要看结节本身的位置,还要扩大一点范围去看结节周围的情况,结合结节周围的情况去判断结节性质,因此本实施例设置的包围框不仅要包含肺结核,还要在肺结核周边的组织,从而预设倍数可以设置为两倍。
具体的,本实施例可以针对不同尺寸的结节进行分类切图,对于结节长径小于7.5mm的情况,以结节为中心,截取(50,50,50)的包围框;对于结节长径大于7.5mm的情况,以结节为中心,截取两倍于结节长径的包围框,并缩放到(50,50,50),以获得训练图像块。
由于肺算法主要用于判断肺结节的轮廓,而本实施例的前期已经对肺结节进行检测,而肺算法的弊端是会对结节组织的边缘进行锐化,这就导致了结节边缘Hu值与真实情况出现偏差,因此采用软算法图像作为结节分类模型的学习数据会更精准些,本实施例将非软算法类型的训练图像块进行转软操作,以保证学习数据统一为软算法类型,如此不容易造成结节分类模型的混淆,提高其分类的准确性。
具体的,本实施例可以根据序列描述和默认窗宽窗位推测重建算法,满足任一条件即可判断训练图像块的重建算法类型为软算法:(a)序列描述可以匹配以下正则表达式“[bchust][1-4][0-9][sfhu]”,则认为是软算法序列;(b)默认窗宽窗位与360/60的重叠范围在80%以上,则认为是软算法序列。而对于非软算法类型,本实施例可以将非软算法类型的训练图像块进行转软操作,例如可以采用大小为3的二维高斯核分别对每一个层面进行平滑,使得训练图像块归一为软算法类型重建的图像。
具体的,本实施例可以将归一后的训练图像输入以下三个通道衍生为三种衍生训练图像块:
a)归一后的训练图像HU统一除以1024;
b)归一后的训练图像加肺窗1500/-600调整;
c)归一后的训练图像进行结节分割Mask和血管分割Mask,其中背景置为0,结节分割Mask置为1,血管分割Mask置为-1。
需要说明的是,本实施例获得第一衍生训练图像块,用于保留所有的原始图像信息,为了防止图像特殊情况,比如整体图像的Hu超出肺窗范围,那么结节分类模型可以直接基于该特殊情况去做判断;本实施例获得第二衍生训练图像块,用于在原始图像上加肺窗,可以集中化关注区域,从而提高关注组织的对比度和分辨率;本实施例获得第三衍生训练图像块,用于方便结节分类模型去识别结节、气血管与背景,而具体进行结节分割Mask与血管分割Mask的操作会用到下文所公开的结节分割模型与气血管分割模型,在此不再赘述。
本实施例通过将训练图像预处理为三种衍生训练图像块,基于先验知识进行图像处理,能够有效降低结节分类模型的学习难度,且通过使用少量的学习数据,即可达到训练大量数据的目的,有效节省了结节分类模型的训练时间。
实施例二
图2A为本公开实施例二提供的一种基于CT图像的分类方法的流程图一,本公开实施例在上述实施例的基础上,在确定待测图像块的结节类型概率之后,还包括:当某一待测图像块的结节类型概率满足预设概率条件,或者某一待测图像块的结节尺寸满足第二预设长度条件时,确定当前待测图像块的结节CT分布值与气血管CT分布值,通过判断结节CT分布值与气血管CT分布值的分布差异,确定当前待测图像块的最终结节类型。该方法具体包括:
S210、将训练图像预处理为衍生训练图像块,衍生训练图像块作为学习数据训练结节分类模型。
S220、将待测图像块输入结节分类模型,确定待测图像块的结节类型概率。
S230、当某一待测图像块的结节类型概率满足预设概率条件,或者某一待测图像块的结节尺寸满足第二预设长度条件时,确定当前待测图像块的结节CT分布值与气血管CT分布值,通过判断结节CT分布值与气血管CT分布值的分布差异,确定当前待测图像块的最终结节类型。
由于在实际检测过程中,结节分类模型有时会检测出假阳,也即结节分类模型不能识别输入的待测图像块为什么类型,所以输出的结节类型概率都很低,如之前举例的结节类型概率:实性1%、亚实性1%、纯磨玻璃1%和钙化1%。因此结节类型概率满足预设概率条件可以将各个结节类型的概率设置为均低于某一预设数值,例如设置为1%或者5%等,本实施例不对具体数值进行限定。
而虽然本实施例在训练结节分类模型时,有对学习数据进行转软操作,但是当结节尺寸较小时,由于结节周围全是边缘,还是会被重建算法的锐化所影响,有可能会误判为钙化结节,因此,为了避免这种情况的出现,本实施例设置第二预设长度,例如可以设置为5mm。因此当待测图像块的结节尺寸满足第二预设长度条件,或者待测图像块的结节类型概率满足预设概率条件时,本实施例则进行重新分类的处理操作。
如图2B所示,图2B为本公开实施例二提供的一种基于CT图像的分类方法的实现流程示意图二。
在本公开实施例中,在将待测图像块输入结节分类模型之前,可以将原始待测图像输入选好的结节检测模型后,得到结节的位置像素坐标(y0,x0,z0,y1,x1,z1)。其中y0,x0,z0是包围框左上角坐标,而y1,x1,z1是包围框右下角坐标,本实施例可以根据上述坐标进行截图得到肺结节包围框图像(即训练图像块)。
在本公开实施例中,确定当前待测图像块的结节CT分布值与气血管CT分布值,包括:将当前待测图像块输入结节分割模型,获得结节掩码图像;通过结节掩码图像,确定当前待测图像块的结节CT分布值;在原始待测图像中,扩大当前待测图像块的范围至第二预设尺寸,并输入气血管分割模型,以获得气血管掩码图像;通过气血管掩码图像,确定当前待测图像块的气血管CT分布值。
其中,结节分割模型可以是一种将CT图像中的结节进行二值化处理的模型,也即将结节包围框(当前待测图像块)输入结节分割模型以得到结节掩码图像(结节Mask)的模型。并且通过肺结节Mask可以获得该图像结节成分中所有体素的HU值(即结节CT分布值)与结节均值。
其中,气血管分割模型是一种将CT图像中的气血管进行二值化处理的模型,也即将待测图像输入气血管分割模型以得到气血管掩码图像(气血管Mask)的模型。并且通过气血管Mask可以获得该图像气血管成分中所有体素的HU值(即气血管CT分布值)与气血管均值。
其中,第二预设尺寸可以是为了更准确地获得当前待测图像块中的气血管掩码图像,因此将当前待测图像块进行扩大操作,第二预设尺寸例如可以设置为2cm*2cm*2cm尺寸,本实施例不对其具体数值进行限定。
具体的,本实施例通过肺结节Mask获取肺结节成分所有体素的HU值,以及HU均值;再将肺结节包围框扩大为以肺结节为中心点,2cm*2cm*2cm尺寸的包围框,并使用气血管Mask,获取框内气血管成分所有体素的HU值,以及HU均值。由此,本实施例先确定结节的分布情况,然后再去把该结节周围的血管提取,确定周围血管的分布情况,判断上述两个分布是不是一致的,如果是一致的,则确定为实性结节,如果肺结节明显比血管的密度要高,则确定为钙化结节。
在本公开实施例中,通过判断结节CT分布值与气血管CT分布值的分布差异,确定当前待测图像的最终结节类型,包括:通过Kolmogorov-Smirnov检验,计算结节CT分布值与气血管CT分布值的分布差异,得到统计量k与显著性水平p;根据统计量k与显著性水平p,以及结合结节CT均值与气血管CT均值的大小关系,确定当前待测图像块的最终结节类型。
其中,统计量k用于代表这两个结节分布与气血管分布之间的距离有多大,k越小,就说明两个越难以分开。假设上述两个分布完全一致,k值则为0;代表完全无法区分。一般来说,当两个分布的k值差距大于0.2时,则可以认为是有效的,可以把两个分布区分开。显著性水平p用于代表上述两个分布差距的显著性,一般p值大于0.05,则可以认为上述两个分布具有显著性差异的。也就是说,k值用来描述两个分布的差异有多大,p值用来描述这个差异是否显著。
具体的,本实施例考虑到体素数量较多,需要结合效应量与显著性水平判断差异程度,而分类后处理的一个目的是解决重建算法中,过于锐利的边缘造成图像噪声增加,密度值偏大的问题。而此情况通常出现在细小血管和微小结节等尺寸在5mm以内的肺内组织上。对于大结节和大血管,由于其尺寸较大,锐利边缘占小对性质分类影响不大。因此,针对检出尺寸在5mm以内的钙化结节,本实施例采用以下规则进行调整:
a)k值大于0.2,p值小于0.05,结节HU均值高于气血管HU均值时,不做类型调整。
b)其余情况,将结节性质由钙化调整为实性。
具体的,本实施例分类后处理的另外一个目的是为结节分类模型预测置信度极低的分类结果进行兜底。由于肺结节检测模型必然存在假阳性,而假阳性并不在肺结节分类模型训练的范围内,使得此类输入肺结节分类模型的输出结果是不可预估的。尽管不是结节,但一个密度明显为实性或钙化的病灶被判断为纯磨玻璃也是不可接受的错误。因此,针对钙化、实性、亚实性、纯磨玻璃预测概率均为5%以下的病灶,本实施例采用以下规则进行调整:
a)k值大于0.2,p值小于0.05,结节HU均值高于气血管HU均值时,调整为钙化。
b)k值不大于0.2或p值大于0.05时,调整为实性。
c)k值大于0.2,p值小于0.05,结节HU均值低于气血管HU均值时,调整为纯磨玻璃。
本实施例结合专家共识,设计了考虑血管密度的后处理操作,解决了因重建算法问题导致HU异常而导致的结节分类错误以及判断为假阳性结节的问题,提到了结节分类的准确性。
在本公开实施例中,气血管分割模型为将带有气血管标注的气血管训练图像进行预处理,并将预处理后的图像作为训练数据的神经网络模型,其中,将带有气血管标注的气血管训练图像进行预处理的操作,包括:将带有气血管标注的气血管训练图像缩放至第二预设体素间距后,添加肺窗,并滑窗获取第三预设尺寸的图像,作为预处理后的图像。
其中,第二预设体素间距用于将气血管训练图像进行放大,方便细分血管,可以设置为(0.6,0.6,0.6),本实施例不对其具体数值进行限定。第三预设尺寸用于将原始尺寸较大的图像进行分块切割,用于方便气血管训练图像进行学习,可以设置为(192,192,192),本实施例亦不对其具体数值进行限定。
具体的,现有技术存在许多专门的气血管分割方法,但与本实施方案目标略有差异。本实施方案获取气血管Mask的主要目的是评估结节周围的血管HU分布情况,因此无需像现有技术中的气血管分割方法那样去具体区分动脉、静脉、气管,本实施例对于分割结果的连续型要求也不高,因此,本实例提供一个简易方式构建此气血管分割模型。
具体的,本实施例准备一批约200例包括常见层厚{0.625、1.0、1.25、2、3、5}、重建算法(肺算法或软算法)的CT胸部影像作为气血管训练图像。利用传统方法,如区域生长法自动生成气血管树的预标注,人工微调后得到气血管体素的标注结果。将原始CT影像和标注统一缩放到(0.6,0.6,0.6)的固定体素间距,用于一一对应,然后对该标注后的图像添加肺窗,在该图像空间上滑窗获得尺寸为(192,192,192)的局部图像作为训练数据,训练气血管分割模型。而本实施例提供的气血管分割模型可以采用经典的3D Unet模型,用于提高计算效率。在气血管分割模型训练好后,将任意胸部CT图像输入得到该气血管分割模型后,即可得到与该CT图像相对应的气血管Mask。
由于本实施例不需要用到非常精细的气血管分布,仅需要在不同重建算法下提取出一个大致血管树,把气血管区域分出来即可,因此设计的气血管分割模型比现有技术的模型计算效率高,运行速度快。需要说明的是,本实施例亦可以采用现有技术中的气血管分割模型获得气血管Mask,本实施例不对其进行限定。
实施例三
图3是本公开实施例提供的一种基于CT图像的分类装置的结构示意图,该装置具体包括:
模型训练模块310,用于将训练图像预处理为衍生训练图像块,衍生训练图像块作为学习数据训练结节分类模型。
结节确定模块320,用于将待测图像块输入结节分类模型,确定待测图像块的结节类型概率。
在一可实施方式中,模型训练模块310具体用于:缩放训练图像至第一预设体素间距,在确定训练图像内的结节位置后,根据各个结节的长径大小分类进行切图,以获得训练图像块;判断训练图像块的重建算法类型,将非软算法类型的训练图像块采用二维高斯核进行平滑,使得训练图像块归一为软算法类型重建的图像;将归一后的训练图像块分别采用以下三种图像操作,以获得三种衍生训练图像块作为学习数据:
将归一后的训练图像块的CT值除以1024,以获得第一衍生训练图像块;将归一后的训练图像块添加肺窗,以获得第二衍生训练图像块;将归一后的训练图像块进行结节掩码标注与气血管掩码标注,以获得第三衍生训练图像块。
在一可实施方式中,模型训练模块310具体还用于:当某一结节的长径小于第一预设长度时,以结节为中心,截取第一预设尺寸范围内的图像进行切图,以获得训练图像块;当某一结节的长径不小于第一预设长度时,以结节为中心,截取预设倍数的长径范围内的图像进行切图,并缩放至第一预设尺寸以获得训练图像块。
在一可实施方式中,还包括:类型更正模块,在确定待测图像块的结节类型概率之后,用于当某一待测图像块的结节类型概率满足预设概率条件,或者某一待测图像块的结节尺寸满足第二预设长度条件时,确定当前待测图像块的结节CT分布值与气血管CT分布值,通过判断结节CT分布值与气血管CT分布值的分布差异,确定当前待测图像块的最终结节类型。
在一可实施方式中,类型更正模块具体用于:将当前待测图像块输入结节分割模型,获得结节掩码图像;通过结节掩码图像,确定当前待测图像块的结节CT分布值;在原始待测图像中,扩大当前待测图像块的范围至第二预设尺寸,并输入气血管分割模型,以获得气血管掩码图像;通过气血管掩码图像,确定当前待测图像块的气血管CT分布值。
在一可实施方式中,类型更正模块具体还用于:通过Kolmogorov-Smirnov检验,计算结节CT分布值与气血管CT分布值的分布差异,得到统计量k与显著性水平p;根据统计量k与显著性水平p,以及结合结节CT均值与气血管CT均值的大小关系,确定当前待测图像块的最终结节类型。
在一可实施方式中,气血管分割模型为将带有气血管标注的气血管训练图像进行预处理,并将预处理后的图像作为训练数据的神经网络模型,其中,将带有气血管标注的气血管训练图像进行预处理的操作,包括:将带有气血管标注的气血管训练图像缩放至第二预设体素间距后,添加肺窗,并滑窗获取第三预设尺寸的图像,作为预处理后的图像。
在一可实施方式中,还包括:待测图像块获取模块,在将待测图像块输入结节分类模型之前,用于将原始待测图像输入结节检测模型,以获得结节位置的像素坐标;根据结节位置的像素坐标,确定待测图像块。
本公开的基于CT图像的分类装置,通过将训练图像预处理为衍生训练图像块,作为学习数据训练结节分类模型;将待测图像块输入结节分类模型,确定待测图像块的结节类型概率,能够有效降低神经网络模型的学习难度,减少需要学习的数据量,且能够达到更精准的分类效果,提高结节分类模型的准确性。
实施例四
根据本公开的实施例,本公开还提供了一种电子设备和一种可读存储介质。
图4示出了可以用来实施本公开的实施例的示例电子设备400的示意性框图。电子设备旨在表示各种形式的数字计算机,诸如,膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置,诸如,个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例,并且不意在限制本文中描述的和/或者要求的本公开的实现。
如图4所示,设备400包括计算单元401,其可以根据存储在只读存储器(ROM)402中的计算机程序或者从存储单元408加载到随机访问存储器(RAM)403中的计算机程序,来执行各种适当的动作和处理。在RAM 403中,还可存储设备400操作所需的各种程序和数据。计算单元401、ROM 402以及RAM 403通过总线404彼此相连。输入/输出(I/O)接口405也连接至总线404。
设备400中的多个部件连接至I/O接口405,包括:输入单元406,例如键盘、鼠标等;输出单元407,例如各种类型的显示器、扬声器等;存储单元408,例如磁盘、光盘等;以及通信单元409,例如网卡、调制解调器、无线通信收发机等。通信单元409允许设备400通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元401可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元401的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元401执行上文所描述的各个方法和处理,例如基于CT图像的分类方法。例如,在一些实施例中,基于CT图像的分类方法可被实现为计算机软件程序,其被有形地包含于机器可读介质,例如存储单元408。在一些实施例中,计算机程序的部分或者全部可以经由ROM 402和/或通信单元409而被载入和/或安装到设备400上。当计算机程序加载到RAM 403并由计算单元401执行时,可以执行上文描述的基于CT图像的分类方法的一个或多个步骤。备选地,在其他实施例中,计算单元401可以通过其他任何适当的方式(例如,借助于固件)而被配置为执行基于CT图像的分类方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、片上系统(SOC)、复杂可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括:实施在一个或者多个计算机程序中,该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释,该可编程处理器可以是专用或者通用可编程处理器,可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令,并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器,使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行,作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中,机器可读介质可以是有形的介质,其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备,或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互,可以在计算机上实施此处描述的系统和技术,该计算机具有:用于向用户显示信息的显示装置(例如,CRT(阴极射线管)或者LCD(液晶显示器)监视器);以及键盘和指向装置(例如,鼠标或者轨迹球),用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互;例如,提供给用户的反馈可以是任何形式的传感反馈(例如,视觉反馈、听觉反馈、或者触觉反馈);并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如,作为数据服务器)、或者包括中间件部件的计算系统(例如,应用服务器)、或者包括前端部件的计算系统(例如,具有图形用户界面或者网络浏览器的用户计算机,用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如,通信网络)来将系统的部件相互连接。通信网络的示例包括:局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器,也可以为分布式系统的服务器,或者是结合了区块链的服务器。
应该理解,可以使用上面所示的各种形式的流程,重新排序、增加或删除步骤。例如,本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行,只要能够实现本公开公开的技术方案所期望的结果,本文在此不进行限制。
此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或隐含地包括至少一个该特征。在本公开的描述中,“多个”的含义是两个或两个以上,除非另有明确具体的限定。
以上所述,仅为本公开的具体实施方式,但本公开的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本公开揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本公开的保护范围之内。因此,本公开的保护范围应以所述权利要求的保护范围为准。
Claims (10)
1.一种基于CT图像的分类方法,其特征在于,所述方法包括:
将训练图像预处理为衍生训练图像块,所述衍生训练图像块作为学习数据训练结节分类模型;
将待测图像块输入所述结节分类模型,确定所述待测图像块的结节类型概率;
其中,所述将训练图像预处理为衍生训练图像块,包括:
缩放所述训练图像至第一预设体素间距,在确定所述训练图像内的结节位置后,根据各个结节的长径大小分类进行切图,以获得训练图像块;
判断所述训练图像块的重建算法类型,将非软算法类型的训练图像块采用二维高斯核进行平滑,使得所述训练图像块归一为软算法类型重建的图像;
将归一后的训练图像块分别采用以下三种图像操作,以获得三种衍生训练图像块作为学习数据:
将归一后的训练图像块的CT值除以1024,以获得第一衍生训练图像块;
将归一后的训练图像块添加肺窗,以获得第二衍生训练图像块;
将归一后的训练图像块进行结节掩码标注与气血管掩码标注,以获得第三衍生训练图像块。
2.根据权利要求1所述的方法,其特征在于,所述根据各个结节的长径大小分类进行切图,以获得训练图像块,包括:
当某一结节的长径小于第一预设长度时,以所述结节为中心,截取第一预设尺寸范围内的图像进行切图,以获得所述训练图像块;
当某一结节的长径不小于第一预设长度时,以所述结节为中心,截取预设倍数的长径范围内的图像进行切图,并缩放至所述第一预设尺寸以获得所述训练图像块。
3.根据权利要求2所述的方法,其特征在于,在确定所述待测图像块的结节类型概率之后,还包括:
当某一待测图像块的结节类型概率满足预设概率条件,或者某一待测图像块的结节尺寸满足第二预设长度条件时,确定当前待测图像块的结节CT分布值与气血管CT分布值,通过判断所述结节CT分布值与气血管CT分布值的分布差异,确定当前待测图像块的最终结节类型。
4.根据权利要求3所述的方法,其特征在于,所述确定当前待测图像块的结节CT分布值与气血管CT分布值,包括:
将当前待测图像块输入结节分割模型,获得结节掩码图像;
通过所述结节掩码图像,确定所述当前待测图像块的结节CT分布值;
在原始待测图像中,扩大所述当前待测图像块的范围至第二预设尺寸,并输入气血管分割模型,以获得气血管掩码图像;
通过所述气血管掩码图像,确定所述当前待测图像块的气血管CT分布值。
5.根据权利要求4所述的方法,其特征在于,所述通过判断所述结节CT分布值与气血管CT分布值的分布差异,确定当前待测图像的最终结节类型,包括:
通过Kolmogorov-Smirnov检验,计算所述结节CT分布值与所述气血管CT分布值的分布差异,得到统计量k与显著性水平p;
根据所述统计量k与所述显著性水平p,以及结合结节CT均值与气血管CT均值的大小关系,确定所述当前待测图像块的最终结节类型。
6.根据权利要求4所述的方法,其中,所述气血管分割模型为将带有气血管标注的气血管训练图像进行预处理,并将预处理后的图像作为训练数据的神经网络模型,其中,所述将带有气血管标注的气血管训练图像进行预处理的操作,包括:
将所述带有气血管标注的气血管训练图像缩放至第二预设体素间距后,添加肺窗,并滑窗获取第三预设尺寸的图像,作为预处理后的图像。
7.一种基于CT图像的分类装置,其特征在于,所述装置包括:
模型训练模块,用于将训练图像预处理为衍生训练图像块,所述衍生训练图像块作为学习数据训练结节分类模型;
结节确定模块,用于将待测图像块输入所述结节分类模型,确定所述待测图像块的结节类型概率;
其中,所述模型训练模块,具体用于:
缩放所述训练图像至第一预设体素间距,在确定所述训练图像内的结节位置后,根据各个结节的长径大小分类进行切图,以获得训练图像块;
判断所述训练图像块的重建算法类型,将非软算法类型的训练图像块采用二维高斯核进行平滑,使得所述训练图像块归一为软算法类型重建的图像;
将归一后的训练图像块分别采用以下三种图像操作,以获得三种衍生训练图像块作为学习数据:
将归一后的训练图像块的CT值除以1024,以获得第一衍生训练图像块;
将归一后的训练图像块添加肺窗,以获得第二衍生训练图像块;
将归一后的训练图像块进行结节掩码标注与气血管掩码标注,以获得第三衍生训练图像块。
8.根据权利要求7所述的装置,其特征在于,还包括:
类型更正模块,在确定所述待测图像块的结节类型概率之后,用于当某一待测图像块的结节类型概率满足预设概率条件,或者某一待测图像块的结节尺寸满足第二预设长度条件时,确定当前待测图像块的结节CT分布值与气血管CT分布值,通过判断所述结节CT分布值与气血管CT分布值的分布差异,确定当前待测图像块的最终结节类型。
9.一种电子设备,其特征在于,包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1-6中任一项所述的方法。
10.一种存储有计算机指令的非瞬时计算机可读存储介质,其特征在于,所述计算机指令用于使所述计算机执行根据权利要求1-6中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211013677.XA CN115294401B (zh) | 2022-08-23 | 2022-08-23 | 一种基于ct图像的分类方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211013677.XA CN115294401B (zh) | 2022-08-23 | 2022-08-23 | 一种基于ct图像的分类方法、装置、设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115294401A CN115294401A (zh) | 2022-11-04 |
CN115294401B true CN115294401B (zh) | 2023-04-14 |
Family
ID=83832195
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211013677.XA Active CN115294401B (zh) | 2022-08-23 | 2022-08-23 | 一种基于ct图像的分类方法、装置、设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115294401B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115994898B (zh) * | 2023-01-12 | 2023-11-14 | 浙江医准智能科技有限公司 | 一种纵膈占位病变图像检测方法、装置、设备及存储介质 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109685102A (zh) * | 2018-11-13 | 2019-04-26 | 平安科技(深圳)有限公司 | 胸部病灶图像分类方法、装置、计算机设备及存储介质 |
CN110490892A (zh) * | 2019-07-03 | 2019-11-22 | 中山大学 | 一种基于USFaster R-CNN的甲状腺超声图像结节自动定位识别方法 |
CN112819747A (zh) * | 2019-10-31 | 2021-05-18 | 深圳市华嘉生物智能科技有限公司 | 一种基于肺部断层扫描图片自动诊断结节良恶性的方法 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107180426B (zh) * | 2017-06-06 | 2020-12-08 | 西北工业大学 | 基于可迁移的多模型集成的计算机辅助肺结节分类装置 |
CN110610472A (zh) * | 2018-06-16 | 2019-12-24 | 深圳市前海安测信息技术有限公司 | 实现肺结节图像分类检测的计算机装置及方法 |
US11024027B2 (en) * | 2019-09-13 | 2021-06-01 | Siemens Healthcare Gmbh | Manipulable object synthesis in 3D medical images with structured image decomposition |
CN112241948A (zh) * | 2020-09-23 | 2021-01-19 | 深圳视见医疗科技有限公司 | 一种自适应层厚的肺结节检测分析方法及系统 |
CN114283165A (zh) * | 2021-12-17 | 2022-04-05 | 上海交通大学 | 肺结节的智能影像处理系统 |
-
2022
- 2022-08-23 CN CN202211013677.XA patent/CN115294401B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109685102A (zh) * | 2018-11-13 | 2019-04-26 | 平安科技(深圳)有限公司 | 胸部病灶图像分类方法、装置、计算机设备及存储介质 |
CN110490892A (zh) * | 2019-07-03 | 2019-11-22 | 中山大学 | 一种基于USFaster R-CNN的甲状腺超声图像结节自动定位识别方法 |
CN112819747A (zh) * | 2019-10-31 | 2021-05-18 | 深圳市华嘉生物智能科技有限公司 | 一种基于肺部断层扫描图片自动诊断结节良恶性的方法 |
Also Published As
Publication number | Publication date |
---|---|
CN115294401A (zh) | 2022-11-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Tong et al. | Improved U-NET network for pulmonary nodules segmentation | |
CN109461495B (zh) | 一种医学图像的识别方法、模型训练的方法及服务器 | |
CN107622492B (zh) | 肺裂分割方法及系统 | |
US8165385B2 (en) | System and method for three-dimensional image rendering and analysis | |
Rossi et al. | Combination of low level processing and active contour techniques for semi-automated volumetric lung lesion segmentation from thoracic CT images | |
US8045770B2 (en) | System and method for three-dimensional image rendering and analysis | |
CN108615237A (zh) | 一种肺部图像处理方法及图像处理设备 | |
US9230320B2 (en) | Computer aided diagnostic system incorporating shape analysis for diagnosing malignant lung nodules | |
JP2002523123A (ja) | 病変の分割および分類のための方法およびシステム | |
EP2564357A1 (en) | Probability density function estimator | |
CN112365973B (zh) | 基于对抗网络和Faster R-CNN的肺结节辅助诊断系统 | |
US11684333B2 (en) | Medical image analyzing system and method thereof | |
JP6862147B2 (ja) | 画像処理装置、画像処理装置の作動方法、画像処理システム | |
WO2020168647A1 (zh) | 图像识别方法及相关设备 | |
CN115294401B (zh) | 一种基于ct图像的分类方法、装置、设备及存储介质 | |
US20080075345A1 (en) | Method and System For Lymph Node Segmentation In Computed Tomography Images | |
Farag et al. | Robust segmentation of lung tissue in chest CT scanning | |
CN115439423B (zh) | 一种基于ct图像的识别方法、装置、设备及存储介质 | |
CN115147360B (zh) | 一种斑块分割方法、装置、电子设备及可读存储介质 | |
JP2017189394A (ja) | 情報処理装置および情報処理システム | |
Tong et al. | Computer-aided lung nodule detection based on CT images | |
Mughal et al. | Early lung cancer detection by classifying chest CT images: a survey | |
CN115690498B (zh) | 椎体骨密度确认方法、装置、电子设备及存储介质 | |
Li et al. | A new efficient 2D combined with 3D CAD system for solitary pulmonary nodule detection in CT images | |
CN115187582B (zh) | 一种淋巴结分割方法、装置、电子设备及可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CP03 | Change of name, title or address | ||
CP03 | Change of name, title or address |
Address after: Room 3011, 2nd Floor, Building A, No. 1092 Jiangnan Road, Nanmingshan Street, Liandu District, Lishui City, Zhejiang Province, 323000 Patentee after: Zhejiang Yizhun Intelligent Technology Co.,Ltd. Address before: No. 1202-1203, 12 / F, block a, Zhizhen building, No. 7, Zhichun Road, Haidian District, Beijing 100083 Patentee before: Beijing Yizhun Intelligent Technology Co.,Ltd. |