CN116740386A - 图像处理方法、装置、设备和计算机可读存储介质 - Google Patents
图像处理方法、装置、设备和计算机可读存储介质 Download PDFInfo
- Publication number
- CN116740386A CN116740386A CN202310555754.2A CN202310555754A CN116740386A CN 116740386 A CN116740386 A CN 116740386A CN 202310555754 A CN202310555754 A CN 202310555754A CN 116740386 A CN116740386 A CN 116740386A
- Authority
- CN
- China
- Prior art keywords
- target
- texture
- image
- features
- preset
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 35
- 238000003860 storage Methods 0.000 title claims abstract description 17
- 238000000034 method Methods 0.000 claims abstract description 108
- 238000012545 processing Methods 0.000 claims abstract description 71
- 210000004072 lung Anatomy 0.000 claims abstract description 31
- 238000013507 mapping Methods 0.000 claims abstract description 24
- 238000012216 screening Methods 0.000 claims abstract description 24
- 238000012549 training Methods 0.000 claims description 71
- 238000012795 verification Methods 0.000 claims description 56
- 239000011159 matrix material Substances 0.000 claims description 51
- 238000011088 calibration curve Methods 0.000 claims description 42
- 230000009466 transformation Effects 0.000 claims description 29
- 238000000605 extraction Methods 0.000 claims description 25
- 230000015654 memory Effects 0.000 claims description 24
- 230000008569 process Effects 0.000 claims description 22
- 238000000611 regression analysis Methods 0.000 claims description 21
- 238000004590 computer program Methods 0.000 claims description 20
- 238000003384 imaging method Methods 0.000 claims description 20
- 238000010606 normalization Methods 0.000 claims description 19
- 238000010191 image analysis Methods 0.000 claims description 16
- 238000009826 distribution Methods 0.000 claims description 15
- 238000002790 cross-validation Methods 0.000 claims description 13
- 230000000391 smoking effect Effects 0.000 claims description 12
- 238000012952 Resampling Methods 0.000 claims description 10
- 210000000038 chest Anatomy 0.000 description 152
- 206010071975 EGFR gene mutation Diseases 0.000 description 20
- 206010064571 Gene mutation Diseases 0.000 description 18
- 238000010586 diagram Methods 0.000 description 17
- 230000006870 function Effects 0.000 description 14
- 230000011218 segmentation Effects 0.000 description 14
- 210000001519 tissue Anatomy 0.000 description 13
- 238000004891 communication Methods 0.000 description 8
- 230000035772 mutation Effects 0.000 description 8
- 206010058467 Lung neoplasm malignant Diseases 0.000 description 7
- 238000002059 diagnostic imaging Methods 0.000 description 7
- 230000000694 effects Effects 0.000 description 7
- 201000005202 lung cancer Diseases 0.000 description 7
- 208000020816 lung neoplasm Diseases 0.000 description 7
- 206010028980 Neoplasm Diseases 0.000 description 6
- 238000004458 analytical method Methods 0.000 description 6
- 238000001514 detection method Methods 0.000 description 6
- 238000002595 magnetic resonance imaging Methods 0.000 description 6
- 238000012512 characterization method Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 108020004414 DNA Proteins 0.000 description 3
- 210000001015 abdomen Anatomy 0.000 description 3
- 238000002591 computed tomography Methods 0.000 description 3
- 230000004069 differentiation Effects 0.000 description 3
- 238000010988 intraclass correlation coefficient Methods 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 238000007619 statistical method Methods 0.000 description 3
- 238000011426 transformation method Methods 0.000 description 3
- 238000012800 visualization Methods 0.000 description 3
- 102000053602 DNA Human genes 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 238000001574 biopsy Methods 0.000 description 2
- 210000000481 breast Anatomy 0.000 description 2
- 210000000621 bronchi Anatomy 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000000354 decomposition reaction Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 239000003814 drug Substances 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 239000005337 ground glass Substances 0.000 description 2
- 210000004185 liver Anatomy 0.000 description 2
- 201000007270 liver cancer Diseases 0.000 description 2
- 208000014018 liver neoplasm Diseases 0.000 description 2
- 230000004807 localization Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000013488 ordinary least square regression Methods 0.000 description 2
- 238000010238 partial least squares regression Methods 0.000 description 2
- 230000007170 pathology Effects 0.000 description 2
- 238000002600 positron emission tomography Methods 0.000 description 2
- 108090000623 proteins and genes Proteins 0.000 description 2
- 238000013102 re-test Methods 0.000 description 2
- 230000004083 survival effect Effects 0.000 description 2
- 238000002626 targeted therapy Methods 0.000 description 2
- 238000002604 ultrasonography Methods 0.000 description 2
- 238000010200 validation analysis Methods 0.000 description 2
- KLDZYURQCUYZBL-UHFFFAOYSA-N 2-[3-[(2-hydroxyphenyl)methylideneamino]propyliminomethyl]phenol Chemical compound OC1=CC=CC=C1C=NCCCN=CC1=CC=CC=C1O KLDZYURQCUYZBL-UHFFFAOYSA-N 0.000 description 1
- 206010006187 Breast cancer Diseases 0.000 description 1
- 208000026310 Breast neoplasm Diseases 0.000 description 1
- 206010011732 Cyst Diseases 0.000 description 1
- 208000000461 Esophageal Neoplasms Diseases 0.000 description 1
- LFQSCWFLJHTTHZ-UHFFFAOYSA-N Ethanol Chemical compound CCO LFQSCWFLJHTTHZ-UHFFFAOYSA-N 0.000 description 1
- 208000005016 Intestinal Neoplasms Diseases 0.000 description 1
- 206010027476 Metastases Diseases 0.000 description 1
- 206010033128 Ovarian cancer Diseases 0.000 description 1
- 206010061535 Ovarian neoplasm Diseases 0.000 description 1
- 208000005718 Stomach Neoplasms Diseases 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008236 biological pathway Effects 0.000 description 1
- 201000011510 cancer Diseases 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000008602 contraction Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 208000031513 cyst Diseases 0.000 description 1
- 201000001098 delayed sleep phase syndrome Diseases 0.000 description 1
- 208000033921 delayed sleep phase type circadian rhythm sleep disease Diseases 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 201000004101 esophageal cancer Diseases 0.000 description 1
- 206010017758 gastric cancer Diseases 0.000 description 1
- 230000037442 genomic alteration Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 201000002313 intestinal cancer Diseases 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 210000001165 lymph node Anatomy 0.000 description 1
- 230000009401 metastasis Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000011022 operating instruction Methods 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 230000001575 pathological effect Effects 0.000 description 1
- 210000004224 pleura Anatomy 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 210000004872 soft tissue Anatomy 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 201000011549 stomach cancer Diseases 0.000 description 1
- 230000031068 symbiosis, encompassing mutualism through parasitism Effects 0.000 description 1
- 208000024891 symptom Diseases 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000002560 therapeutic procedure Methods 0.000 description 1
- 238000002759 z-score normalization Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/54—Extraction of image or video features relating to texture
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/766—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using regression, e.g. by projecting features on hyperplanes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/771—Feature selection, e.g. selecting representative features from a multi-dimensional feature space
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/03—Recognition of patterns in medical or anatomical images
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- Public Health (AREA)
- Biomedical Technology (AREA)
- Data Mining & Analysis (AREA)
- Pathology (AREA)
- Epidemiology (AREA)
- Primary Health Care (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
本发明实施例公开了一种图像处理方法、装置、设备和计算机可读存储介质。该方法包括:获取目标对象的胸部图像数据、与目标对象的肺部相关的目标偏好特征,以及胸部图像数据对应的目标影像特征;对胸部图像数据进行纹理特征提取,得到多个纹理特征;从多个纹理特征中,筛选出与预设的独立预测因子中目标纹理因子对应的目标纹理特征;根据目标偏好特征、目标影像特征和目标纹理特征,分别在预设的列线图的单项得分刻度线上进行映射,确定多个单项评分值;将多个单项评分值之和作为总分值,结合列线图的总分刻度线与概率预测刻度线之间的对应关系,得到预测结果。
Description
技术领域
本发明涉及医学影像处理技术领域,尤其涉及一种图像处理方法、装置、设备和计算机可读存储介质。
背景技术
随着医疗影像装置的发展,医学成像原理可以用于构建可挖掘的数据库,例如,计算机断层扫描(Computed Tomography,CT)技术、核磁共振成像(Magnetic ResonanceImaging,MRI)和正电子发射断层成像(Positron Emission Tomography,PET)技术等。以CT为例,根据医学影像学检查方法,对目标对象进行扫描,得到目标对象的CT数据。
在相关的医学影像学检查方法中,专业医生往往需要依靠经验,对比分析目标对象的一系列数据来预测目标对象发生基因突变的概率。
然而,不同的个体,即使处于相同的状态,其表现出来的特性也有所不同,需要专业医生对大量的数据进行繁琐的人工操作,利用一般影像学特征对目标对象发生基因突变的概率进行预测,预测结果的准确性和可靠性依赖于专业医生的经验知识和专业素质,存在较大的不确定性和差异性,降低了预测结果的准确性。
发明内容
本发明实施例提供一种图像处理方法、装置、设备和计算机可读存储介质,提高了预测结果的准确性。
本发明实施例的技术方案是这样实现的:
第一方面,本发明实施例提供一种图像处理方法,所述方法包括:获取目标对象的胸部图像数据、与所述目标对象的肺部相关的目标偏好特征,以及所述胸部图像数据对应的目标影像特征;对所述胸部图像数据进行纹理特征提取,得到多个纹理特征;从所述多个纹理特征中,筛选出与预设的独立预测因子中目标纹理因子对应的目标纹理特征;其中,所述预设的独立预测因子表征对多个变量构成的事件的预测结果产生影响的因子,所述预设的独立预测因子还包括:所述目标偏好特征对应的目标偏好因子和所述目标影像特征对应的目标影像因子;根据所述目标偏好特征、所述目标影像特征和所述目标纹理特征,分别在预设的列线图的单项得分刻度线上进行映射,确定多个单项评分值;其中,所述预设的列线图用于预测多个因子构成的事件的概率;将所述多个单项评分值之和作为总分值,结合所述列线图的总分刻度线与概率预测刻度线之间的对应关系,得到预测结果。
第二方面,本发明实施例提供一种图像处理装置,所述装置包括:获取模块,用于获取目标对象的胸部图像数据、与所述目标对象的肺部相关的目标偏好特征,以及所述胸部图像数据对应的目标影像特征;特征提取模块,用于对所述胸部图像数据进行纹理特征提取,得到多个纹理特征;筛选模块,用于从所述多个纹理特征中,筛选出与预设的独立预测因子中目标纹理因子对应的目标纹理特征;其中,所述预设的独立预测因子表征对多个变量构成的事件的预测结果产生影响的因子,所述预设的独立预测因子还包括:所述目标偏好特征对应的目标偏好因子和所述目标影像特征对应的目标影像因子;映射模块,用于根据所述目标偏好特征、所述目标影像特征和所述目标纹理特征,分别在预设的列线图的单项得分刻度线上进行映射,确定多个单项评分值;其中,所述预设的列线图用于预测多个因子构成的事件的概率;预测模块,用于将所述多个单项评分值之和作为总分值,结合所述列线图的总分刻度线与概率预测刻度线之间的对应关系,得到预测结果。
第三方面,本发明实施例提供一种图像处理设备,所述设备包括:存储器,用于存储可执行计算机程序;处理器,用于执行所述存储器中存储的可执行计算机程序时,实现上述第一方面所述的图像处理方法。
第四方面,本发明实施例提供一种计算机可读存储介质,存储有计算机程序,用于被处理器执行时,实现上述第一方面所述的图像处理方法。
本发明实施例提供了一种图像处理方法、装置、设备和计算机可读存储介质。根据本发明实施例提供的方案,该方法包括:获取目标对象的胸部图像数据、与目标对象的肺部相关的目标偏好特征,以及胸部图像数据对应的目标影像特征;目标偏好特征和目标影像特征均是会对目标对象可能发生某一事件产生影响的特征。对胸部图像数据进行纹理特征提取,得到多个纹理特征;从多个纹理特征中,筛选出与预设的独立预测因子中目标纹理因子对应的目标纹理特征;其中,预设的独立预测因子表征对多个变量构成的事件的预测结果产生影响的因子,预设的独立预测因子还包括:目标偏好特征对应的目标偏好因子和目标影像特征对应的目标影像因子。根据目标偏好特征、目标影像特征和目标纹理特征,分别在预设的列线图的单项得分刻度线上进行映射,确定多个单项评分值;其中,预设的列线图用于预测多个因子构成的事件的概率;将多个单项评分值之和作为总分值,结合列线图的总分刻度线与概率预测刻度线之间的对应关系,得到预测结果。预设的独立预测因子是会对目标对象可能会发生某一事件产生影响的因子,从多个纹理特征中筛选出目标纹理特征,用于后续预测过程,减少了其他不相关特征对预测结果的影响;然后将这些特征映射到列线图上,叠加各个特征对应的单项评分值,根据对应关系得到预测结果,提高预测结果的准确性。
附图说明
图1为本发明实施例提供的一种图像处理方法的可选的步骤流程图;
图2为本发明实施例提供的一种列线图的可选的示意图;
图3为本发明实施例提供的一种概率预测结果的示例性的示意图;
图4为本发明实施例提供的另一种图像处理方法的可选的步骤流程图;
图5为本发明实施例提供的一种筛选独立预测因子的可选的示意图;
图6A为本发明实施例提供的一种校准曲线的可选的示意图;
图6B为本发明实施例提供的另一种校准曲线的可选的示意图;
图7为本发明实施例提供的再一种图像处理方法的可选的步骤流程图;
图8为本发明实施例提供的一种图像处理装置的可选的结构示意图;
图9为本发明实施例提供的一种图像处理设备组成结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述。应当理解的是,此处所描述的一些实施例仅用以解释本发明的技术方案,并不用于限定本发明的技术范围。
为了更好地理解本发明实施例中提供的图像处理方法,在对本发明实施例的技术方案进行介绍之前,先对应用背景进行说明。
本发明实施例提供的图像处理方法用于基因突变的概率预测,属于生物医学工程领域。基因突变的概率可以供专业医生在诊断和制定治疗方案时作为参考,以优化治疗方案,示例性的,专业医生根据基因突变所针对的目标物体(例如,肿物、肿瘤、囊肿、硬块、淋巴结等异于正常组织的异物)在目标对象的体内的位置(例如、肺部、肝部、腹部等),以及目标对象发生基因突变的概率,确定目标对象所处的状态,例如,肺癌、肝癌、肠癌、胃癌、卵巢癌、食道癌和乳腺癌等。以肺癌为例,胸部图像数据可以是胸部CT数据,本方案涉及一种基于胸部CT数据的肺癌EGFR基因突变的概率预测方法,大多数的肺癌对象是在局部晚期或转移引起的临床症状之后才确诊的。这些对象的生存率很低。随着靶向治疗的发展,一些肺癌对象的生存时间和生活质量有了很大的提高,靶向治疗依赖于基因检测的结果,目前用于基因检测的组织大多是手术切除或活检获得的标本,然而对于一些对象来说,由于各种原因可能无法获得标本。
放射组学是指从放射学图像中提取亚视觉(人眼不能直接获取所需要信息)但定量的图像特征,用于创建可挖掘的数据库,放射学图像可以是CT图像、MRI图像或PET图像等。一些纹理特征可用于识别肿瘤脱氧核糖核酸(Deoxyribo Nucleic Acid,DNA)中的基因组改变,这一领域可以称为“放射基因组学”。这些纹理特征可以识别特定的驱动突变和生物途径的变化。因此,针对无法取得组织进行表皮生长因子受体(EGFR)基因突变检测的对象,本发明实施例提供的图像处理方法可适用于无创性的、基于临床特征(对应于偏好特征)和一般影像学特征(对应于影像特征)的EGFR基因突变的概率预测。
本发明实施例提供一种图像处理方法,如图1所示,图1为本发明实施例提供的一种图像处理方法的步骤流程图,图像处理方法包括以下步骤:
S101、获取目标对象的胸部图像数据、与目标对象的肺部相关的目标偏好特征,以及胸部图像数据对应的目标影像特征。
在本发明实施例中,利用医学仪器(例如,X射线、CT、PET、超声波、B超、MRI等),对目标对象的肺部的目标物体进行医学成像,可以得到与医学仪器相关的初始胸部图像数据。胸部图像数据是待预测图像数据,可以是目标对象的肺部中针对目标物体的CT数据、PFT数据等初始胸部图像数据,也可以通过对初始胸部图像数据进行分割处理后得到的感兴趣体积(volume of interest,VOI)对应的数据,感兴趣体积是目标物体所在的三维区域。胸部图像数据是三维图像数据,胸部图像数据呈现的特征可用于预测目标对象发生EGFR基因突变的概率,可以将目标对象发生EGFR基因突变的概率作为预测结果。
在本发明实施例中,待预测图像数据与目标物体在目标对象中的位置相关,不同的位置在进行医学成像时所采用的医学仪器也不同,其得到的数据也不同,示例性的,若目标物体位于目标对象的胸部,则待预测图像数据是胸部CT数据;若目标物体位于目标对象的腹部,则待预测图像数据是腹部B超。本发明实施例中的胸部图像数据可以从医学影像中心影像归档和通信系统(picture archiving and communication system,PACS)中调取。
在本发明实施例中,目标对象的偏好特征表征与目标对象自身相关的临床特征,示例性的,针对关于肺部的基因突变概率预测的应用场景,偏好特征包括但不限于性别、年龄、吸烟史(可以用吸烟指数表示)、肺癌家族史、病理类型及EGFR基因突变历史检测结果;针对关于肝部的基因突变概率预测的应用场景,偏好特征包括但不限于性别、年龄、饮酒史、肝癌家族史和病理类型。
在本发明实施例中,胸部图像数据对应的影像特征是从胸部图像数据中获取的与目标物体相关的一般影像学特征,可以由至少两位经验丰富、且不知晓任何其他信息的放射科医生对胸部图像数据(例如,CT图像)进行分析,若两位放射科医生意见不一致,则可以由另一位高年资放射科医生分析后作出。以胸部图像数据是胸部CT数据为例,从胸部CT数据中可以获得癌灶的五个一般影像学特征,包括但不限于毛刺征、分叶征、胸膜牵拉征、磨玻璃密度和支气管含气征。
在本发明实施例中,目标对象的偏好特征有很多,胸部图像数据的一般影像学特征有很多,并不是每个特征均对预测结果产生影响,需要对其进行筛选。本发明实施例是基于预先训练完成所保留的目标偏好因子,在目标对象的多个偏好特征中筛选出与目标偏好因子对应的目标偏好特征(也就是,将与目标偏好因子的类型一致的偏好特征作为目标偏好特征),以及基于预先训练完成所保留的目标影像因子(也就是,将与目标影像因子的类型一致的影像特征作为目标影像特征),在胸部图像数据的多个一般影像学特征筛选出与目标影像因子对应的目标影像特征。以下以预测结果是目标对象可能发生基因突变的概率为例对目标偏好因子和目标影像因子进行说明,目标偏好因子和目标影像因子是通过多个样本数据、多个偏好样本特征、多个影像样本特征对列线图进行持续训练完成后得到的,目标偏好因子和目标影像因子均是会对目标对象可能发生基因突变产生影响的因子。示例性的,针对关于肺部的基因突变概率预测的应用场景,目标偏好因子可以是吸烟指数(somking_index),目标影像因子可以是胸膜凹陷征(pleural retraction)。
S102、对胸部图像数据进行纹理特征提取,得到多个纹理特征。
在本发明实施例中,可以在radiomic软件包对应的开源python平台中对胸部图像数据进行纹理特征提取,从而得到医学影像组学特征值(Radiomics Features),即得到多个纹理特征。
在本发明实施例中,在对胸部图像数据进行纹理特征提取时,可以通过矩阵方法、随机场模型(例如,同步自回归模型、滑动平均模型、马尔科夫模型、吉布斯模型等)、一般图像变换方法(例如,傅里叶变换、沃尔什变换、离散余弦变换等)、小波变换方法(例如,树型或塔型小波分解、多进制或二进制小波、曲波变换等)或其他变换方法(例如,特征滤波器、正交镜像滤波、Laws纹理测量等)进行纹理特征的提取,得到多个纹理特征。纹理特征可以理解为全局特征的一种,用于描述VOI区域所对应物体的表面性质,例如,图像纹理的粗细、稠密等特征。
在本发明实施例中,在对胸部图像数据进行纹理特征提取时,可以通过以下方式实现。通过对胸部图像数据进行图像分析,得到原始纹理特征;其中,图像分析包括但不限于基于形状的特征、灰度相关矩阵、一阶统计量、灰度共生矩阵、灰度游程矩阵、灰度大小区域矩阵、相邻灰度差矩阵、绝对梯度和灰度依赖矩阵。在得到原始纹理特征之后,可以通过傅立叶变换、Gabor变换、小波变换或拉普拉斯变换(LoG)等变换方式,对原始纹理特征的灰度强度和纹理特征进行计算,得到小波变换后的纹理特征,将原始纹理特征和小波变换后的纹理特征作为多个纹理特征。其中,傅里叶变换用于分析无空间定位的频率;Gabor变换是引入高斯函数的傅里叶变换,允许频率和空间定位;小波变换是指小波特征经小波分解计算原始纹理特征的灰度强度和纹理特征,将特征集中在目标物体的体积内的不同频率范围;拉普拉斯变换是指高斯滤波器的拉普拉斯算子,是一种边缘增强滤波器,强调的是灰度变化的区域。
S103、从多个纹理特征中,筛选出与预设的独立预测因子中目标纹理因子对应的目标纹理特征;其中,预设的独立预测因子表征对多个变量构成的事件的预测结果产生影响的因子,预设的独立预测因子还包括:目标偏好特征对应的目标偏好因子和目标影像特征对应的目标影像因子。
在本发明实施例中,以预测结果是目标对象可能发生基因突变的概率为例进行说明,多个纹理特征是多个特征参数(例如,851个特征参数),并不是每个特征参数均对目标对象可能发生基因突变产生影响,因此,需要在多个纹理特征中筛选出对基因突变具有影响的目标纹理特征。在此,可以基于预先训练完成所保留的目标纹理因子,在多个纹理特征中,筛选出与目标纹理因子对应的目标纹理特征(也就是,将与目标纹理因子的类型一致的纹理特征作为目标纹理特征)。进而将目标偏好特征、目标影像特征和目标纹理特征映射到预设的列线图中,可以得到目标对象发生基因突变的概率。
在一些实施例中,多个纹理特征包括:小波变换后的纹理特征和原始纹理特征;上述图1的S101中目标偏好因子为吸烟指数,目标影像因子为胸膜凹陷征,上述图1的S104中目标纹理因子包括小波变换后的纹理特征中的2个小波变换特征,以及原始纹理特征中的1个原始形状特征。
在本发明实施例中,预设的独立预测因子是通过多个样本数据、多个偏好样本特征、多个影像样本特征对列线图进行持续训练完成后得到的,独立预测因子是会对目标对象可能发生基因突变产生影响的特征。示例性的,针对关于肺部的基因突变概率预测的应用场景,预设的独立预测因子可以包括吸烟指数(somking_index)、胸膜凹陷征(pleuralretraction)、2个小波变换特征(wavelet_HHH_glcm_Cluster Shade和wavelet_HHH_glrlm_Short Run Low Gray Level Emphasis)、1个原始形状特征(original_shape_Sphericity)。
S104、根据目标偏好特征、目标影像特征和目标纹理特征,分别在预设的列线图的单项得分刻度线上进行映射,确定多个单项评分值;其中,预设的列线图用于预测多个因子构成的事件的概率。
S105、将多个单项评分值之和作为总分值,结合列线图的总分刻度线与概率预测刻度线之间的对应关系,得到预测结果。
在本发明实施例中,预设的列线图用于预测多个因子(独立预测因子所包括的多个因子的组合)构成的事件的概率,预设的列线图包括单项得分刻度线、总分刻度线、独立预测因子(包括各个因子的因子刻度线)和概率预测刻度线,以及独立预测因子所包括的各个因子的因子刻度线与单项得分刻度线之间的对应关系、总分刻度线与概率预测刻度线之间的对应关系。目标偏好特征、目标影像特征和目标纹理特征属于独立预测因子,特征可以以数值的形式表示,刻度线上分布着某一段数值(刻度线的长短、数值范围、分布距离与因子自身相关,可以在训练完成后确定),分别根据目标偏好特征、目标影像特征和目标纹理特征的数值,在其各自的因子刻度线上找到位置,然后各自映射到同一单项得分刻度线上,得到各自的单项评分值。将多个单项评分值相加,得到总分值,在列线图的总分刻度线上找到位置,然后映射到概率预测刻度线上,得到预测结果,预测结果是以概率的形式示出。
示例性的,预设的列线图如图2所示,图2为本发明实施例提供的一种列线图的可选的示意图,该列线图可以用于对目标对象的EGFR基因突变的概率进行预测。图2中列线图(Nomogram)中列出了五个变量(对应于独立预测因子),每一个变量对应的线段上都标注了刻度,代表了该变量的可取值范围,而线段的长度则反映了该因素对概率预测的重要程度。以RadiomicF1表示wavelet_HHH_glcm_Cluster Shade(变量范围是0.15至0.85)、RadiomicF2表示wavelet_HHH_glcm_Cluster Shade(变量范围是-20至4)、RadiomicF3表示wavelet_HHH_glrlm_Short Run Low Gray Level Emphasis(变量范围是0至0.55)为例进行说明,pleural retraction是胸膜凹陷征(No表示无,Yes表示有),somking_index是吸烟指数(变量范围是0-2400)。列线图中还包括单项得分刻度线(即图2中的points)和总分刻度线(即图2中的Total Points),单项评分值表示每个变量在不同取值下所对应的单项分数,总分值表示所有变量取值后对应的单项分数加起来合计的总得分。列线图中还包括预测概率(即图2中的Mutataion Possibility),取值范围是0.1-0.95。
根据本发明实施例提供的方案,该方法包括:获取目标对象的胸部图像数据、与目标对象的肺部相关的目标偏好特征,以及胸部图像数据对应的目标影像特征;目标偏好特征和目标影像特征均是会对目标对象可能发生某一事件产生影响的特征。对胸部图像数据进行纹理特征提取,得到多个纹理特征;从多个纹理特征中,筛选出与预设的独立预测因子中目标纹理因子对应的目标纹理特征;其中,预设的独立预测因子表征对多个变量构成的事件的预测结果产生影响的因子,预设的独立预测因子还包括:目标偏好特征对应的目标偏好因子和目标影像特征对应的目标影像因子。根据目标偏好特征、目标影像特征和目标纹理特征,分别在预设的列线图的单项得分刻度线上进行映射,确定多个单项评分值;其中,预设的列线图用于预测多个因子构成的事件的概率;将多个单项评分值之和作为总分值,结合列线图的总分刻度线与概率预测刻度线之间的对应关系,得到预测结果。预设的独立预测因子是会对目标对象可能会发生某一事件产生影响的因子,从多个纹理特征中筛选出目标纹理特征,用于后续预测过程,减少了其他不相关特征对预测结果的影响;然后将这些特征映射到列线图上,叠加各个特征对应的单项评分值,根据对应关系得到预测结果,提高预测结果的准确性。
在一些实施例中,上述图1的S101中胸部图像数据还可以通过以下方式获取。获取目标对象的初始胸部图像数据;根据初始胸部图像数据,对位于目标对象的肺部上的目标物体和背景进行分割,得到感兴趣体积,感兴趣体积表征目标物体所在的三维区域;将感兴趣体积对应的图像数据作为胸部图像数据。
在本发明实施例中,可以在图像重建软件(例如,3d-slicer软件)对应的开源医学影像分析和可视化平台中,对初始胸部图像数据进行分割处理,得到感兴趣体积。
在本发明实施例中,初始胸部图像数据是利用医学仪器对位于目标对象的肺部上的目标物体进行医学成像得到的原始的数据,初始胸部图像数据不仅包括目标物体对应的数据,还包括目标物体周围正常组织对应的数据。在对初始胸部图像数据进行标准化处理、纹理特征提取和概率预测时,周围正常组织对应的数据是不需要参与计算的,因此,本方案还对初始胸部图像数据进行分割处理,以便将目标物体作为感兴趣区域分割出来,减少计算量,降低周围正常组织对预测结果的影响。
在本发明实施例中,初始胸部图像数据的格式可以是医学数字成像和通信(Digital Imaging and Communications in Medicine,DICOM)格式,DICOM格式可以包含对象姓名、医院、检查日期、扫描方式、层厚等参数。通常情况下,CT和MRI扫描技术都会生成DICOM格式,可以通过PACS系统,或者到影像科刻录光盘的方式获取初始胸部图像数据。
在本发明实施例中,初始胸部图像数据实质是多层图像的集合,多层图像可以是水平面(Transverse section)、矢状面(Median sagittal section)和冠状面(Coronalsection)上的多层图像。其中,冠状面也可以称为额状面,是将目标对象(或目标物体)纵切为前、后两部分的切面;矢状面是将目标对象(或目标物体)分成左右两面的解剖面;水平面也可以称为横断面,是将目标对象(或目标物体)纵切为上、下两部分的切面。本方案可以采用图像重建软件对以上格式的数据进行分割、标准化处理和特征提取处理,图像重建软件是用于医学图像分析(包括配准和交互式分割)和可视化(包括3D渲染),以及用于图像引导治疗研究的软件平台。
在一些实施例中,在对位于目标对象的肺部上的目标物体和背景进行分割时,可以通过以下方式实现。在初始胸部图像数据的水平位上,确定最大截面图像;基于最大截面图像,根据最大截面图像上像素值分布区间,调整像素值的阈值范围,得到调整后的阈值范围;根据最大截面图像和调整后的阈值范围,对初始胸部图像数据进行截取,得到截取后的图像数据;分别在水平位、矢状位和冠状位上,对截取后的图像进行勾画,分割出感兴趣体积,实现了对位于目标对象的肺部上的目标物体和背景的分割。
在本发明实施例中,初始胸部图像数据是三维图像数据,水平位对应水平面,初始胸部图像数据包括多层水平面图像,在多层水平面图像中确定最大截面图像。初始胸部图像数据包括多个像素点,每个像素点可以代表一个立方体,多个像素点的像素值构成像素值分布区间。基于最大截面图像,根据最大截面图像上的像素值分布区间调整像素值的阈值范围,使得最大截面图像上的像素点与周围正常组织的像素点区分开来。然后,根据最大截面图像和调整后的阈值范围,在初始胸部图像数据上进行初步截取,得到截取后的图像数据,截取后的图像数据是一个类似圆柱(以最大截面图像为底)的三维图像,该三维图像的截面是最大截面图像,该三维图像紧紧包裹着目标物体。在水平位、矢状位和冠状位上,分别对截取后的图像中的目标物体进行勾画,勾画出目标物体的边界,将边界以外的图像数据删除,从而分割出感兴趣体积,实现了对位于目标对象的肺部上的目标物体和背景的分割,该感兴趣体积即为目标物体对应的胸部图像数据。
示例性的,以初始胸部图像数据是DICOM格式的胸部CT数据为例进行说明,将DICOM格式的胸部CT数据导入图像重建软件(例如,3d-slicer软件),利用3d-slicer软件中的语义分割标注工具(例如,Segment Editor模块)通过半自动分割方式勾划出目标物体所在的三维区域,由于目标物体是三维的,因此目标物体所在的区域可以是感兴趣体积(volume of interest,VOI)。然后,在Segment Editor模块中新建一个分割面(segmentation),取目标物体在水平位图像中最大截面的图像,利用阈值工具(例如,Threshold)调整阈值范围使目标物体与周围正常组织区分。用裁剪工具(例如,Scissors)勾画出目标物体边界,并用擦除工具(Erase)在水平位、矢状位和冠状位的每一层图像中,区分出目标物体与周围组织,最终导出VOI(对应于胸部图像数据)。
在本发明实施例中,根据目标对象的初始胸部图像数据,对目标对象中位于肺部的目标物体和背景进行分割标注,勾划出目标物体所在的区域,然后再取目标物体在水平位图像中最大截面的图像,在水平位、矢状位和冠状位的每一层图像中,区分出目标物体与周围组织,得到感兴趣体积(即胸部图像数据)。以便后续对感兴趣体积进行标准化处理、纹理特征的提取和概率预测,减少计算量,降低周围正常组织对预测结果的影响。
在一些实施例中,上述图1的S102还可以通过以下方式实现。对胸部图像数据进行标准化处理,得到标准化数据;标准化处理包括以下至少一项:归一化处理,采用预设位宽进行灰度离散化,以及采用预设立方体进行体素重采样;对标准化数据进行纹理特征提取,得到多个纹理特征。
在本发明实施例中,由于不同医学仪器对不同目标对象所采集的胸部图像数据存在差别,不利于进行数据统一,在训练阶段,本方案对不同目标对象的胸部图像样本数据进行标准化处理,使得各个目标对象之间的胸部图像样本数据具有对比性和可参考性,然后对标准化处理后的数据进行特征提取,并构建列线图。因此,在应用阶段,本方案也需要对胸部图像数据进行标准化处理,以便能够与训练时所采用的胸部图像样本数据具有对比性和可参考性。
在本发明实施例中,胸部图像数据(也就是VOI对应的数据)实质是多层图像的集合,一层图像包括多个体素,体素是体积元素(Volume Pixel)的简称,体素是一层图像在空间上的最小单元,每一个像素点表示的是一个体素的取值。各层图像中各个体素所对应的数值(例如,灰度值)有些很大、有些很小,因此还需要对VOI中各层图像进行归一化处理,将胸部图像数据的多层图像对应的数据被限定在一定的范围内,可以减少由于数值分布较分散所导致的训练时间增加或无法收敛的问题。归一化处理方法包括但不限于线性归一化、Z-score标准化处理、神经网络归一化、L2范数归一化等。本方案可以采用图像滤波方法(例如,Normalize Image Filter软件包)对VOI中各层图像进行归一化处理。
在本发明实施例中,标准化处理还包括对VOI中各层图像采用预设位宽进行灰度离散化,预设位宽可以是固定bin宽,例如,25亨氏单位(hounsfield unit,Hu),Hu可以理解为软组织密度,是CT图像的CT值的单位,CT值是测定目标对象某一局部组织或器官密度大小的一种计量单位。对于各层图像,将每25Hu的体素点的灰度值设置为同一值,例如,对于灰度取值范围在0-255的256个灰度值,每隔25进行灰度离散化,离散化为256/25个灰度值,将在灰度值上连续的体素点转换成离散的体素点,减少灰度值的离散分布,以便后续根据标准化数据进行特征提取,减少计算量和噪声干扰,提高处理效率。
在本发明实施例中,标准化处理还包括对VOI中各层图像采用预设立方体进行体素重采样,由于CT图像的厚度是5.0mm的二维图像,因此,预设立方体可以设置为0.6×0.6×5.0mm3的固定大小,体素重采样用于将各层图像中大小不同的体素归一化到相同的大小,体素重采样可以降低胸部图像数据(或训练时的胸部图像样本数据)类别不均衡的情况。通过根据预设立方体对VOI中各层图像进行体素重采样,以便后续根据标准化数据进行特征提取,减少计算量和噪声干扰,提高处理效率。
需要说明的是,预设位宽和预设立方体可以由本领域技术人员根据实际情况,结合大量的实验数据进行适当设置,对此本发明实施例不做限制。
在本发明实施例中,可以对胸部图像数据依次进行归一化、灰度离散化和体素重采样处理,本发明实施例对于归一化、灰度离散化和体素重采样的处理顺序不做限制。本方案通过对数据(包括胸部图像数据和训练时所采用的胸部图像样本数据)通过标准化处理,使得各个目标对象之间的胸部图像数据具有对比性和可参考性,以便后续进行训练和图像处理(即概率预测)。在本发明实施例中,对胸部图像数据进行归一化、灰度离散化和体素重采样中一项或任意至少两项结合的处理,可以减小图像噪声影响,提高标准化数据的准确性。
在一些实施例中,上述图1的S102还可以通过以下方式实现。对胸部图像数据进行图像分析,得到原始纹理特征;其中,图像分析包括以下至少一项处理:形状特征、灰度相关矩阵、一阶统计量、灰度共生矩阵、灰度游程矩阵、灰度大小区域矩阵和相邻灰度差矩阵;采用小波滤波器对原始纹理特征进行小波变换,得到小波变换后的纹理特征;将原始纹理特征和小波变换后的纹理特征作为多个纹理特征。
在本发明实施例中,胸部图像数据是目标物体在多个不同角度下的图像对应的数据的集合(即,VOI),对胸部图像数据进行图像分析,本质是对VOI对应的图像进行灰度相关性处理,以统计图像纹理特征。以下分别对图像分析中的形状特征、灰度相关矩阵、一阶统计量、灰度共生矩阵、灰度游程矩阵、灰度大小区域矩阵和相邻灰度差矩阵进行介绍。
在本发明实施例中,形状特征表示基于形状的特征,描述了VOI的几何特性,该特征可以包括VOI的三维大小和三维形状的描述,以及二维大小和二维形状的描述,例如2D直径和3D直径、轴及其比率。这些特征独立于VOI中的灰度强度分布,是在非衍生图像(表示VOI本身,而不是VOI对应的数据或特征)和掩模(表示目标物体的表壳)上计算得到的,可以理解为是基于VOI的表壳(也可以称为外壳或外表)的形状和大小计算的得到的。形状特征包括但不限于紧凑性和球形度,描述了VOI的形状与圆形(对于2D分析)或球体(对于3D分析)的形状有何不同,以及依赖于最小定向边界框(或用于2D分析的矩形)包围VOI。
在本发明实施例中,灰度相关矩阵(Gray Level Dependence Matrix,GLDM)用于量化图像中的灰度相关。灰度相关性定义为距离δ内依赖于中心体素的连接体素的数量,相邻的灰度级为j的体素视为依赖于中心灰度级为i的体素|i-j|≤α,在灰度相关矩阵P(i,j)中,第(i,j)th元素描述了在其邻域中具有灰度级i和j相关体素的体素出现在图像中的次数。
在本发明实施例中,一阶统计量也可以称为一阶特征,基于单体素分析,一阶统计量通过常用的和基本的度量描述掩模定义的图像区域内体素强度的分布。可以理解为基于全局灰度直方图,包括灰度均值、最大值、最小值、方差、百分位数、偏度和峰度,描述了数据强度分布的形状。其中,偏度反映数据分布曲线向左(负偏,低于均值)或向右(正偏,高于均值)的不对称性,峰度则反映了数据分布相对于高斯分布由于异常值而导致的拖尾。
在本发明实施例中,灰度共生矩阵(Gray Level Co-occurence Matrix,GLCM)是一个方阵(二阶灰度直方图),矩阵的维度是原始图像的灰阶数。灰度共生矩的大小Ng×Ng描述了受掩模约束的图像区域的二阶联合概率函数,定义为P(i,j|δ,θ),此矩阵的(i,j)th元素表示图像中两个体素的级别组合i和j出现的次数,这两个体素(i和j)沿角度θ以体素的距离隔开,距中心体素的距离δ定义为根据无穷范数的距离,对于δ=1,这将为3D中的13个角度中的每一个产生2个相邻点,对于δ=2则为98个连接性。GLCM是一个计数矩阵,其保存了图像中所有灰度组合在定义的距离δ和方向(13个角度)条件下“共生”的频数。
在本发明实施例中,灰度游程矩阵(Gray Level Run-Length Matrix,GLRLM),可以称为灰度游程长度矩阵,用于量化具有相同灰度值的连续体素的灰度游程,灰度游程定义为体素数长度,在灰度游程长度矩阵P(i,j|θ),(i,j)th元素描述图像中沿角度θ(可以包括0°、45°、90°和135°等)出现的具有灰度级i和长度j的游程数。GLRLM矩阵的每行代表一个灰阶,每列代表Run-Length大小,Run-Length表示沿着某个方向的连通域(称为一个“Run”)长度。GLRLM同样是一个计数矩阵,其保存了图像中所有灰阶的“Run”的长度和个数信息。各层图像的灰度游程矩阵反映了图像灰度关于方向、相邻间隔和变化幅度等综合信息,实现了对一层图像中同一方向同一灰度值连续出现个数的统计。在各层图像上,在某一方向上连续的像素点具有相同的灰度值,灰度游程矩阵通过对这些像素点的分布进行统计得到纹理特征。
在本发明实施例中,灰度大小区域矩阵(Gray Level Size Zone Matrix,GLSZM),具有相同灰度级的互连相邻体素的组(所谓的区域)的数量的计数构成了矩阵的基础。灰度大小区域矩阵量化图像中的灰度区域。灰度区域定义为共享相同灰度强度的连接体素的数量,如果根据无穷范数距离为1,则视为体素连通(3D中26个连通区域,2D中8个连通区域),在灰度大小区域矩阵P(i,j)的(i,j)th元素等于图像中出现的灰度级为i和大小为j的区域数,与上述GLCM和GLRLM相反,GLSZM是独立于旋转的,对于图像中的所有方向只计算一个矩阵。GLSZM不是针对不同方向计算的,而是可以针对定义邻域的不同体素距离计算的,GLSZM特征可以在2D(8个相邻体素)或3D(26个相邻体素)中计算。
在本发明实施例中,相邻灰度差矩阵也可以称为邻域灰度差矩阵(NeighbouringGray Tone Difference Matrix,NGTDM),用于量化体素的灰度级与其在预定义距离内的相邻体素的平均灰度级之间的差异总和。相邻灰度差矩阵用于量化距离δ内相邻灰度值和平均灰度值之间的差值,灰度级i的绝对差值之和存储在矩阵中。
在本发明实施例中,图像分析还可以包括以下处理:绝对梯度(AbsoluteGradient)和灰度依赖矩阵(Gray Level Dependence Matrix,GLDM)。其中,绝对梯度反映了图像中灰度强度波动的程度或突然性。对于2个相邻体素,若一个是黑色,另一个是白色,则梯度最高,若两个体素都是黑色(或都是白色),则梯度为零,梯度特征可以包括梯度平均值,方差,偏度和峰度。灰度依赖矩阵是基于中心体素与其邻域之间的灰度关系。若在定义的灰度级差范围方面满足相关性标准,则将预定距离内的相邻体素视为连接到中心体素。然后分析图像是否存在强度依赖于i和j的相邻体素的中心体素。GLDM的特征包括反映异质性和同质性的大依赖性强调和小依赖性强调,以及反映整个图像中灰度级相似性和灰度级依赖性的灰度级非均匀性和依赖性均匀性。
在本发明实施例中,在得到原始纹理特征之后,通过小波变换对原始纹理特征的强度和纹理特征计算小波特征。小波变换使用一系列称为小波的函数,每个函数具有不同的尺度,对时间(或空间)频率的局部化分析。示例性的,采用小波滤波器对原始纹理特征进行小波变换,计算原始纹理特征的灰度强度和纹理特征,得到小波变换后的纹理特征;将原始纹理特征和小波变换后的纹理特征作为多个纹理特征。
在本发明实施例中,通过对胸部图像数据进行图像分析,得到原始纹理特征,再采用小波滤波器对原始纹理特征的灰度强度和纹理特征进行计算,得到小波变换后的纹理特征。小波变换具有良好的多分辨率的特点,可以由粗到细地观察特征,以及可以在空间域、频域和方向上分别对图像进行分解,提高了小波变换后的纹理特征的准确性。
需要说明的是,上述对胸部图像数据的纹理特征提取过程,也可以应用于对标准化数据的纹理特征提取。即,上述图1中S102还可以通过以下方式实现。对胸部图像数据进行标准化处理,得到标准化数据;对标准化数据进行图像分析,得到原始纹理特征;采用小波滤波器对原始纹理特征进行小波变换,得到小波变换后的纹理特征;将原始纹理特征和小波变换后的纹理特征作为多个纹理特征。
在一些实施例中,上述图1的S104还可以通过以下方式实现。将目标偏好特征在列线图的单项得分刻度线上进行映射,确定偏好评分值;将目标影像特征在列线图的单项得分刻度线上进行映射,确定影像评分值;将目标纹理特征在列线图的单项得分刻度线上进行映射,确定纹理评分值;其中,多个单项评分值包括偏好评分值、影像评分值和纹理评分值。
在本发明实施例中,结合上述图2示出的列线图,特征以数值的形式表示,将目标偏好特征对应的数值、目标影像特征对应的数值和目标纹理特征(包括wavelet_HHH_glcm_Cluster Shade、wavelet_HHH_glrlm_Short Run Low Gray Level Emphasis和original_shape_Sphericity)对应的数值,分别映射到列线图中的单项得分刻度线上(即图2中的point),分别得到偏好评分值(1个)、影像评分值(1个)和纹理评分值(3个),也就是得到五个单项评分值,将五个单项评分值相加,得到总分值。
示例性的,如图3所示,图3为本发明实施例提供的一种概率预测结果的示例性的示意图,基于上述图2,图3中以一个未知对象的胸部图像数据进行举例说明。未知对象的吸烟指数为0,对应评分标尺得分为100,胸膜牵拉征为是,对应评分标尺得分为8,提取出纹理特征值分别为:original_shape_Sphericity=0.454,wavelet_HHH_glcm_ClusterShade=0.365,wavelet_HHH_glrlm_Short Run Low GrayLevel Emphasis=0.105,三者分别对应上方评分标尺得分为23,13.5和7,总分值为100+8+23+13.5+7=151.5,向下对应概率轴上概率为42%。由此得出该对象发生EGFR基因突变的概率为42%。
在一些实施例中,该图像处理方法还包括独立预测因子和列线图的训练过程,如图4所示,图4为本发明实施例提供的另一种图像处理方法的可选的步骤流程图,训练过程包括S201-S207。
S201、获取不同对象的胸部图像样本数据、与各个对象的肺部相关的多个偏好样本特征,以及各个胸部图像样本数据对应的多个影像样本特征。
在本发明实施例中,每个对象对应一个胸部图像样本数据,每个对象对应多个偏好样本特征(也可以理解为临床样本),每个胸部图像样本数据对应多个影像样本特征。针对关于肺部的基因突变概率预测的应用场景,多个偏好样本特征包括但不限于性别、年龄、吸烟史、肺癌家族史、病理类型及EGFR基因突变历史检测结果;多个影像样本特征包括但不限于毛刺征、分叶征、胸膜牵拉征、磨玻璃密度和支气管含气征。
S202、对胸部图像样本数据进行标准化处理,得到标准化样本数据。
S203、对标准化样本数据进行纹理特征提取,得到多个纹理样本特征。
在本发明实施例中,S202是对胸部图像样本数据进行标准化处理,其具体实现过程和所达到的技术效果可以参考上述对胸部图像数据的标准化处理过程;S203是对标准化样本数据进行纹理特征提取,其具体实现过程和所达到的技术效果可以参考上述对标准化数据的纹理特征提取过程,在此不再赘述。
S204、针对各个纹理样本特征,根据至少两种不同处理途径所得到的纹理样本特征,计算各个纹理样本特征的组内相关系数。
在本发明实施例中,纹理样本特征有很多个,例如,851个,先对多个纹理样本特征进行筛选,以便在后续采用回归分析方法和交叉验证法再次进行筛选时,减少计算量。针对同一胸部图像样本数据(或者,胸部图像样本数据对应的VOI),需要进行至少两次不同处理(每次处理包括标准化处理和纹理特征提取),至少两种不同处理途径是在不同的服务器上对同一胸部图像样本数据进行处理,或者,在同一服务器上在不同时间对同一胸部图像样本数据进行处理。经过至少两种不同处理途径对同一胸部图像样本数据进行处理,可以得到针对同一胸部图像样本数据的纹理样本特征组(每个纹理样本特征组包括至少两个纹理样本特征)。
在本发明实施例中,对于各个胸部图像样本数据,利用统计分析软件,对各个纹理样本特征组的组内相关系数(intraclass correlation coefficient,ICC)进行计算,得到各个纹理样本特征组的组内相关系数。ICC用于衡量同一胸部图像样本数据在一段时间的复测信度(test-retest reliability)。
S205、将组内相关系数大于预设系数的纹理样本特征,作为稳定纹理样本特征,从而得到多个稳定纹理样本特征。
在本发明实施例中,在得到各个纹理样本特征组的组内相关系数之后,根据组内相关系数对多个纹理样本特征组进行筛选,筛选出大于预设系数(例如,0.75)的多个纹理样本特征组。将各个纹理样本特征组中任一纹理样本特征或至少两个纹理样本特征的均值,作为稳定纹理样本特征,从而得到各个纹理样本特征组的各个稳定纹理样本特征。例如,根据组内相关系数和预设系数,从851个纹理样本特征中筛选出638个稳定纹理样本特征。
需要说明的是,预设系数可以由本领域技术人员根据实际情况,结合大量的实验数据进行适当设置,对此本发明实施例不做限制。
S206、采用回归分析方法和交叉验证法,对多个偏好样本特征、多个影像样本特征和多个稳定纹理样本特征进行筛选,确定预设的独立预测因子;预设的独立预测因子包括:筛选出的目标偏好样本特征对应的目标偏好因子、筛选出的目标影像样本特征对应的目标影像因子和筛选出的目标纹理样本特征对应的目标纹理因子。
在本发明实施例中,可以在统计分析软件(statistical analysis system,SAS)对应的平台中对多个特征进行回归分析和验证,从而确定预设的独立预测因子,实现列线图的制作。其中,统计分析软件可以是R软件中的rms包。
在本发明实施例中,可以采用基于计算机编程工具R语言的回归法分析方法,对多个变量(包括多个偏好样本特征、多个影像样本特征和多个稳定纹理样本特征)进行变量筛选,并采用交叉验证法(Cross Validation,CV)对回归法分析方法对应的回归模型进行验证。回归法分析方法可以是逐步回归、岭回归(ridge regression)、偏最小二乘回归(Partial least squares regression,PLS)、普通最小二乘法(ordinary least squares,OLS),或者,最小绝对值收缩与筛选算子(Least Absolute Shrinkage and SelectionOperator,LASSO)回归分析等。
在本发明实施例中,以LASSO回归分析方法为例进行说明,采用LASSO回归模型从多个变量(包括多个偏好样本特征、多个影像样本特征和多个稳定纹理样本特征)中筛选出变量(即目标偏好样本特征、目标影像样本特征和目标纹理样本特征)。LASSO回归分析属于一种正则化方法,是以缩小变量集为思想的压缩估计方法,通过构造惩罚函数,将变量的系数进行压缩使变量的系数变为0,实现了变量的筛选。基于多个变量构建LASSO回归的损失函数,最小化损失函数后得到的模型中所包含的样本特征即为筛选出的变量。其中,筛选出的变量的数量可以由损失函数中的参数λ来控制,λ越大对变量较多的线性模型的惩罚力度就越大,从而最终获得一个变量较少的模型,即能够筛选出较少的变量。
在本发明实施例中,以交叉验证法是十倍交叉验证法为例进行说明,十倍交叉验证法是将所有胸部图像样本数据分为十份,然后将每一份作为验证集(validation set),其他作为训练集(train set)来进行训练和验证。在这一过程中,保持超参数一致,然后取十个模型的平均训练损失和平均验证损失,来衡量超参数的好坏,反复训练和验证后,取得一个超参数,使用全部胸部图像样本数据作为训练集,用该超参数训练获得一个回归模型。采用交叉验证法,可以降低由于训练集和验证集单次划分而导致的偶然性,充分利用现有的胸部图像样本数据进行多次划分,避免因为特殊划分而选择了不具有泛化能力的偶然超参数和模型。通过交叉验证来降低偶然性,提高回归模型的泛化能力。
在本发明实施例中,可以采用最小最大凹惩罚(minimaxconcave penalty,MCP)的回归分析方法和十倍交叉验证法确定出筛选变量的数量,从647个变量(包括4个偏好样本特征、5个影像样本特征和638个稳定纹理特征)筛选出5个变量,包括1个目标偏好样本特征、1个目标影像样本特征和3个目标纹理样本特征。从而得到预设的独立预测因子(目标偏好样本特征对应的目标偏好因子、目标影像样本特征对应的目标影像因子和目标纹理样本特征对应的目标纹理因子)。
示例性的,如图5所示,图5为本发明实施例提供的一种基于回归分析方法和交叉验证法,筛选独立预测因子的可选的示意图。图5中横坐标表示损失函数中的参数λ,纵坐标表示交叉验证误差(Cross-validation error),选择变量(Variables selected)包括最终筛选出的目标偏好样本特征、目标影像样本特征和目标纹理样本特征,选择变量的数量可以是0、1、2、3、5、6、9等,如图5上面示出的0111222233569。图5中交叉验证误差最小的值对应的λ是0.07,对应的变量的数量在5-6之间,这里向上取整,选择5个变量。通过交叉验证法,对回归模型进行交叉验证,选取交叉验证误差最小的值,然后按照交叉验证误差最小的值选取适当的变量,结合胸部图像样本数据重新拟合回归模型,得到最终的目标偏好样本特征、目标影像样本特征和目标纹理样本特征,图2中以吸烟指数、胸膜凹陷征、wavelet_HHH_glcm_Cluster Shade、wavelet_HHH_glrlm_Short Run Low Gray Level Emphasis和original_shape_Sphericity示出预设的独立预测因子。
S207、根据胸部图像样本数据对应的预设的独立预测因子,构建预设的列线图。
在本发明实施例中,在筛选到变量之后,根据多个胸部图像样本数据对应的目标偏好样本特征、目标影像样本特征和目标纹理样本特征,构建列线图,列线图如上述图2所示。
在本发明实施例中,以胸部图像样本数据是胸部CT数据为例,通过收集不同对象临床特征和胸部CT数据,分析胸部CT数据的影像特征,对胸部CT数据进行CT纹理特征的提取,得到多个纹理样本特征。通过计算组内相关系数,在多个纹理样本特征中筛选多个稳定纹理样本特征。然后通过LASSO回归分析方法筛选EGFR基因突变的独立预测因子,并利用独立预测因子绘制用于个体化EGFR基因突变预测的列线图。该列线图能够用于对未知对象进行EGFR基因突变的概率预测,实现了无创检测技术,提高了概率预测的准确性。
本发明实施例提供的图像处理方法,用于概率预测的特征是临床特征(对应于多个偏好样本特征)和从胸部CT数据(对应于胸部图像样本数据)中提取得到的,适用于无法手术或穿刺活检取得标本进行EGFR基因突变检测的目标对象,具有无创性。对胸部CT数据进行标准化处理,减少图像噪声影响及使不同来源的胸部CT数据具有可比性。通过组内相关系数大于预设系数(例如,0.75)的筛选条件,筛选到稳定纹理样本特征,确保概率预测方法中所保留的预测因子的可靠性。从而构建出基于列线图的个体化EGFR基因突变的概率预测方法,其可以对未知对象进行相关数据的预测。
在一些实施例中,胸部图像样本数据包括训练样本数据和验证样本数据;该图像处理方法还包括以下步骤。基于训练样本数据和验证样本数据,确定校准曲线和预设的列线图的区分度;若区分度大于预设区分度,和/或,校准曲线满足预设校准条件,则训练结束。
在本发明实施例中,将胸部图像样本数据(作为原始数据dataset)分为两部分,一部分作为训练集(即,训练样本数据),用于在训练过程中,对列线图进行训练。一部分作为验证集(即验证样本数据),用于在验证过程中,对训练得到的列线图进行验证。基于训练集和验证集对训练得到的列线图进行验证,确定列线图的区分度以及绘制校准曲线,进而根据区分度对列线图的区分度进行判别,根据校准曲线对列线图的准确度进行判别,当区分度和/或校准曲线满足预设条件时,训练结束,输出预设的独立预测因子(目标偏好样本特征对应的目标偏好因子、目标影像样本特征对应的目标影像因子和目标纹理样本特征对应的目标纹理因子)。
在本发明实施例中,构建的列线图(可以理解为是一个预测模型)用于预测基因突变的概率,在构建完成后,本方案还对基于列线图的概率预测方法的预测能力及准确性进行验证和评估。在对列线图进行验证时,可以对列线图的预测结果从区分度和校准曲线两个维度进行验证。示例性的,可以基于构建列线图的胸部图像样本数据(对应于训练集)对列线图的预测效果进行内部验证;也可以从基于另一组胸部图像样本数据(对应于验证集)对列线图的预测效果进行外部验证;当然,也可以基于训练集和验证集对列线图的预测效果进行内部和外部验证。
在本发明实施例中,可以通过以下方式对列线图的区分度和准确度进行验证。基于训练样本数据对应的独立预测因子,确定训练一致性指数,并绘制训练校准曲线;基于验证样本数据对应的独立预测因子,确定验证一致性指数,并绘制验证校准曲线。基于训练一致性指数和验证一致性指数,验证列线图的区分度;基于训练校准曲线和验证校准曲线验证列线图的准确度。其中,校准曲线越贴近标准曲线表明基于列线图的概率预测方法的准确度越高;一致性指数越高表明列线图的区分度越好。
在本发明实施例中,区分度是指列线图能够正确区分事件发生大概率个体与小概率个体的能力,可以采用一致性指数(C-index)或受试者工作特征(Receiver OperatingCharacteristic,ROC)曲线下面积(Area under Curve,AUC)来评估。通常情况下,C-index<0.60或AUC<0.60为区分度较差,0.60≤C-index≤0.75或0.60≤AUC≤0.75为区分度有一定的价值,C-index>0.75或AUC>0.75为区分度较优。当采用一致性指数表征列线图的区分度时,预设区分度指的是一致性指数阈值,当采用AUC表征列线图的区分度时,预设区分度指的是AUC阈值。预设区分度可以本领域技术人员根据实际情况,结合大量的实验数据进行适当设置,例如,0.65、0.7、0.75或0.8等,对此本发明实施例不做限制。
在本发明实施例中,基于训练集和验证集对列线图的预测效果进行内部和外部验证,分别计算基于训练集和验证集绘制的列线图的一致性指数(C-index),训练集对应的一致性指数C-index是0.894,验证集对应的一致性指数C-index是0.92,证明列线图具有较好的区分度。
在本发明实施例中,校准曲线对应的校准度是指采用列线图预测的预测概率与真实概率的一致程度,校准度较差时将低估或高估事件发生概率,常用校准曲线来直观的显示预测概率值与真实概率值的关系,理论上标准曲线是一条通过坐标轴原点、斜率为1的直线,校准曲线越贴近标准曲线,列线图的校准度越高,说明列线图的预测能力越好。预设校准条件可以是标准曲线,校准曲线在标准曲线周围(例如,校准曲线与标准曲线之间对应数值的差值绝对值在预设范围内)即表明校准曲线满足预设校准条件。预设范围可以本领域技术人员根据实际情况,结合大量的实验数据进行适当设置,例如,0.05、0.08或0.1等,对此本发明实施例不做限制。
示例性的,如图6A和图6B所示,图6A和图6B为本发明实施例提供了一种校准曲线的可选的示意图。图6A示出了基于训练集中胸部图像样本数据的校准曲线,图6B示出了基于验证集中胸部图像样本数据的校准曲线。两个校准曲线的横坐标是采用列线图确定的基因突变预测概率(Nomogram-Predicted Probability of mutation),纵坐标是真实基因突变预测概率(Actual mutation probability)。图6A中Mean absolute error=0.06表示平均绝对误差是0.06,n=88表示训练集中的胸部图像样本数据的数量是88,B=1000repetitions,boot,其表示经过1000次自采样进行内部验证。图6B中Mean absoluteerror=0.09表示平均绝对误差是0.09,n=30表示训练集中的胸部图像样本数据的数量是30,B=1000repetitions,boot表示经过1000次自采样进行外部验证。图6A和图6B中斜率是1的曲线是标准线(Ideal),Apparent表示验证后的实际曲线,Bias-corrected表示对实际曲线进行偏差纠正后的校准曲线。由图6A和图6B可见,两个校准曲线均贴近于标准线,证明列线图具有较好的校准度,说明列线图的预测准确度较高。
在一些实施例中,基于上述区分度和校准曲线,该图像处理方法还可以包括以下步骤。若区分度小于或等于预设区分度,和/或,校准曲线不满足预设校准条件,则调整回归分析方法中的回归参数,或者,调整交叉验证法中的验证参数;根据调整后的参数,持续进行训练,直至区分度大于预设区分度,和/或,校准曲线满足预设校准条件。
在本发明实施例中,若列线图的区分度小于或等于预设区分度,则可以通过以下至少一种调整方式对列线图进行优化:重新选取胸部图像样本数据;调整预设系数;调整回归分析方法中的回归参数(例如,调整回归模型的模型参数);以及,调整交叉验证法中的验证参数等,然后利用上述调整后的参数,持续对列线图和独立预测因子进行训练,直至区分度大于预设区分度,和/或,校准曲线满足预设校准条件。本发明实施例对于训练次数和调整内容不做限制,只要训练完成的列线图能够满足预设区分度和预设校准条件即可。
在本发明实施例中,若列线图的校准曲线未贴近于标准线,则可以通过以下至少一种调整方式对列线图进行优化:调整预设系数;调整回归分析方法中的回归参数(例如,调整回归模型的模型参数);以及,调整交叉验证法中的验证参数等,然后利用上述调整后的参数,持续对列线图和独立预测因子进行训练,直至区分度大于预设区分度,和/或,校准曲线满足预设校准条件。本发明实施例对于训练次数和调整内容不做限制,只要训练完成的列线图能够满足预设区分度和预设校准条件即可。
下面,将说明本发明实施例在一个实际的应用场景中的示例性应用。
基于上述实施例提供的图1-图5,以及图6A和图6B,如图7所示,图7为本发明实施例提供的再一种图像处理方法的可选的步骤流程图。以胸部图像样本数据是胸部CT数据、偏好样本特征是临床特征、影像样本特征是一般影像学特征为例进行说明,获取不同对象的临床特征和胸部CT数据,从胸部CT数据中获取感兴趣体积VOI的一般影像学特征,对胸部CT数据进行标准化处理,并提取VOI的纹理特征,得到多个纹理特征。所有对象的胸部CT数据均经两次纹理特征的提取,分别计算每一个纹理特征的组内相关系数,以组内相关系数大于预设系数(例如,0.75)为标准,筛选出稳定纹理特征。采用LASSO回归模型和十倍交叉验证法,对临床特征、一般影像学特征和多个稳定纹理特征进行统计分析,即,对所有训练集中647个特征因子(包括4个临床特征、5个一般影像学特征和638个稳定纹理特征)进行筛选,确定独立EGFR基因突变预测因子(包括筛选出的临床特征对应目标偏好因子、筛选出的一般影像学特征对应的目标影像因子,以及筛选出的目标纹理样本特征对应的目标纹理因子),图2中以吸烟指数、胸膜凹陷征、wavelet_HHH_glcm_Cluster Shade、wavelet_HHH_glrlm_Short Run Low Gray Level Emphasis和original_shape_Sphericity示出。根据筛选到的独立EGFR基因突变预测因子绘制列线图,并构建基因突变的概率预测方法。在得到列线图之后,还采用训练集和验证集对列线图进行验证(即绘制列线图并验证),评估基因突变的概率预测方法的区分度和准确性。
在本发明实施例中,上述胸部CT数据的VOI可以通过以下方式获取,示例性的,将DICOM格式的胸部CT数据导入相关软件,通过半自动分割方式分割出肿物区域,取肿物在水平位图像中最大截面的图像,在水平位、矢状位及冠状位的每一层图像中精确区分肿物与周围正常组织,最终导出VOI。
在本发明实施例中,上述采用训练集和验证集对列线图进行验证的过程可以通过以下方式实现,示例性的,将所有对象按照7:3比例随机分为训练集和验证集,在训练集中采用MCP惩罚的LASSO回归分析和十倍交叉验证,从临床特征、一般影像学特征和多个稳定纹理特征中,筛选出EGFR基因突变的独立预测因子。采用独立预测因子绘制用于个体化EGFR基因突变预测的列线图,列线图经过1000次自采样进行内部验证,分别计算基于训练集及验证集所绘制列线图的一致性指数(C-index),一致性指数大于0.75表示列线图具有较优区分度。分别从训练集及验证集中提取出EGFR基因突变的独立预测因子,采用训练集对应的独立预测因子和验证集对应的独立预测因子分别绘制校准曲线,校准曲线越贴近标准曲线表示列线图概率预测方法准确度越高,根据一致性指数和校准曲线结果,评估基因突变的概率预测方法的区分度和准确性。
在本发明实施例中,在得到列线图之后,可以采用列线图预测目标对象的基因突变的概率,以胸部图像数据是胸部CT数据、偏好特征是临床特征为例,从临床特征和胸部CT数据中提取出5个独立预测因子对应的数值,先将每个指标取值对应至列线图相应变量轴线段上相应点,再以该点作变量轴的垂直线对应至图2中最上方的评分标尺,得到该变量的得分,最后对各变量得分求和得出总分,总分对应在预测概率轴(即图2中最下方的评分标尺)上的点即为该目标对象发生EGFR基因突变的概率。
需要说明的是,本发明实施例提供的图像处理方法可以承载在图像处理系统上,图像处理系统包括相互通信连接的多个平台,其执行的图像处理方法可以用于对目标对象的基因突变的概率进行预测。多个平台包括开源python平台,可以利用平台上的radiomic软件包对胸部图像数据进行纹理特征提取,从而得到医学影像组学特征值(即,多个纹理特征);开源医学影像分析和可视化平台,可以利用平台上的图像重建软件(例如,3d-slicer软件)对初始胸部图像数据进行分割处理,得到感兴趣体积;以及统计分析平台,可以利用平台上的统计分析软件对多个特征进行回归分析和验证,从而确定预设的独立预测因子,实现列线图的制作。
为实现本发明实施例的图像处理方法,本发明实施例还提供一种图像处理装置,如图8所示,图8为本发明实施例提供的一种图像处理装置的可选的结构示意图,该图像处理装置80包括:获取模块801,用于获取目标对象的胸部图像数据、与目标对象的肺部相关的目标偏好特征,以及胸部图像数据对应的目标影像特征;特征提取模块802,用于对胸部图像数据进行纹理特征提取,得到多个纹理特征;筛选模块803,用于从多个纹理特征中,筛选出与预设的独立预测因子中目标纹理因子对应的目标纹理特征;其中,预设的独立预测因子表征对多个变量构成的事件的预测结果产生影响的因子,预设的独立预测因子还包括:目标偏好特征对应的目标偏好因子和目标影像特征对应的目标影像因子;映射模块804,用于根据目标偏好特征、目标影像特征和目标纹理特征,分别在预设的列线图的单项得分刻度线上进行映射,确定多个单项评分值;其中,预设的列线图用于预测多个因子构成的事件的概率;预测模块805,用于将多个单项评分值之和作为总分值,结合列线图的总分刻度线与概率预测刻度线之间的对应关系,得到预测结果。
在一些实施例中,特征提取模块802,还用于对胸部图像数据进行标准化处理,得到标准化数据;标准化处理包括以下至少一项:归一化处理,采用预设位宽进行灰度离散化,以及采用预设立方体进行体素重采样;对标准化数据进行纹理特征提取,得到多个纹理特征。
在一些实施例中,映射模块804,还用于将目标偏好特征在列线图的单项得分刻度线上进行映射,确定偏好评分值;将目标影像特征在列线图的单项得分刻度线上进行映射,确定影像评分值;将目标纹理特征在列线图的单项得分刻度线上进行映射,确定纹理评分值;其中,多个单项评分值包括偏好评分值、影像评分值和纹理评分值。
在一些实施例中,特征提取模块802,还用于对胸部图像数据进行图像分析,得到原始纹理特征;其中,图像分析包括以下至少一项处理:形状特征、灰度相关矩阵、一阶统计量、灰度共生矩阵、灰度游程矩阵、灰度大小区域矩阵和相邻灰度差矩阵;采用小波滤波器对原始纹理特征进行小波变换,得到小波变换后的纹理特征;将原始纹理特征和小波变换后的纹理特征作为多个纹理特征。
在一些实施例中,图像处理装置80还包括分割模块806;
获取模块801,还用于获取目标对象的初始胸部图像数据;
分割模块806,用于根据初始胸部图像数据,对位于目标对象的肺部上的目标物体和背景进行分割,得到感兴趣体积,感兴趣体积表征目标物体所在的三维区域;将感兴趣体积对应的图像数据作为胸部图像数据。
在一些实施例中,初始胸部图像数据为三维图像数据;
分割模块806,还用于在初始胸部图像数据的水平位上,确定最大截面图像;基于最大截面图像,根据最大截面图像上像素值分布区间,调整像素值的阈值范围;根据最大截面图像和调整后的阈值范围,对初始胸部图像数据进行截取,得到截取后的图像数据;分别在水平位、矢状位和冠状位上,对截取后的图像进行勾画,分割出感兴趣体积,实现了对位于目标对象的肺部上的目标物体和背景的分割。
在一些实施例中,多个纹理特征包括:小波变换后的纹理特征和原始纹理特征;目标偏好因子为吸烟指数,目标影像因子为胸膜凹陷征,目标纹理因子包括小波变换后的纹理特征中的2个小波变换特征,以及原始纹理特征中的1个原始形状特征。
在一些实施例中,图像处理装置80还包括训练模块807;
获取模块801,还用于获取不同对象的胸部图像样本数据、与各个对象的肺部相关的多个偏好样本特征,以及各个胸部图像样本数据对应的多个影像样本特征;
特征提取模块802,还用于对胸部图像样本数据进行标准化处理,得到标准化样本数据;对标准化样本数据进行纹理特征提取,得到多个纹理样本特征;
训练模块807,用于针对各个纹理样本特征,根据至少两种不同处理途径所得到的纹理样本特征,计算各个纹理样本特征的组内相关系数;将组内相关系数大于预设系数的纹理样本特征,作为稳定纹理样本特征,从而得到多个稳定纹理样本特征;采用回归分析方法和交叉验证法,对多个偏好样本特征、多个影像样本特征和多个稳定纹理样本特征进行筛选,确定预设的独立预测因子;预设的独立预测因子包括:筛选出的目标偏好样本特征对应的目标偏好因子、筛选出的目标影像样本特征对应的目标影像因子和筛选出的目标纹理样本特征对应的目标纹理因子;根据胸部图像样本数据对应的预设的独立预测因子,构建预设的列线图。
在一些实施例中,胸部图像样本数据包括训练样本数据和验证样本数据;
训练模块807,还用于基于训练样本数据和验证样本数据,确定校准曲线和预设的列线图的区分度;若区分度大于预设区分度,和/或,校准曲线满足预设校准条件,则训练结束。
在一些实施例中,训练模块807,还用于若区分度小于或等于预设区分度,和/或,校准曲线不满足预设校准条件,则调整回归分析方法中的回归参数,或者,调整交叉验证法中的验证参数;根据调整后的参数,持续进行训练,直至区分度大于预设区分度,和/或,校准曲线满足预设校准条件。
需要说明的是,上述实施例提供的图像处理装置在进行图像处理时,仅以上述各程序模块的划分进行举例说明,实际应用中,可以根据需要而将上述处理分配由不同的程序模块完成,即将装置的内部结构划分成不同的程序模块,以完成以上描述的全部或者部分处理。另外,上述实施例提供的图像处理装置与图像处理方法实施例属于同一构思,其具体实现过程及有益效果详见方法实施例,这里不再赘述。对于本装置实施例中未披露的技术细节,请参照本发明方法实施例的描述而理解。
在本发明实施例中,图9为本发明实施例提出的图像处理设备组成结构示意图,如图9所示,本发明实施例提出的图像处理设备90包括处理器901、存储可执行计算机程序的存储器902,处理器901,用于执行存储器902中存储的可执行计算机程序时,实现本发明实施例提供的图像处理方法。
在一些实施例中,图像处理设备90还可以包括通信接口903,以及用于连接处理器901、存储器902和通信接口903的总线904。
在本发明实施例中,上述处理器901可以为特定用途集成电路(ApplicationSpecific Integrated Circuit,ASIC)、数字信号处理器(Digital Signal Processor,DSP)、数字信号处理装置(Digital Signal Processing Device,DSPD)、可编程逻辑装置(ProgRAMmable Logic Device,PLD)、现场可编程门阵列(Field ProgRAMmable GateArray,FPGA)、中央处理器(Central Processing Unit,CPU)、控制器、微控制器、微处理器中的至少一种。可以理解地,对于不同的设备,用于实现上述处理器功能的电子器件还可以为其它,本发明实施例不作具体限定。
在本发明实施例中,总线904用于连接通信接口903、处理器901以及存储器902,实现这些器件之间的相互通信。
存储器902用于存储可执行计算机程序和数据,该可执行计算机程序包括计算机操作指令,存储器902可能包含高速RAM存储器,也可能还包括非易失性存储器,例如,至少两个磁盘存储器。在实际应用中,上述存储器902可以是易失性存储器(volatile memory),例如随机存取存储器(Random-Access Memory,RAM);或者非易失性存储器(non-volatilememory),例如只读存储器(Read-Only Memory,ROM),快闪存储器(flash memory),硬盘(Hard Disk Drive,HDD)或固态硬盘(Solid-State Drive,SSD);或者上述种类的存储器的组合,并向处理器901提供可执行计算机程序和数据。
另外,在本实施例中的各功能模块可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。
集成的单元如果以软件功能模块的形式实现并非作为独立的产品进行销售或使用时,可以存储在一个计算机可读取存储介质中,基于这样的理解,本实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)或processor(处理器)执行本实施例方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read OnlyMemory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
本发明实施例提供一种计算机可读存储介质,存储有计算机程序,用于被处理器执行时实现如上任一实施例所述的图像处理方法。
示例性的,本实施例中的一种图像处理方法对应的程序指令可以被存储在光盘,硬盘,U盘等存储介质上,当存储介质中的与一种图像处理方法对应的程序指令被一电子设备读取或被执行时,可以实现如上述任一实施例所述的图像处理方法。
本领域内的技术人员应明白,本发明实施例可提供为方法、系统、或计算机程序产品。因此,本发明可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的实现流程示意图和/或方框图来描述的。应理解可由计算机程序指令实现流程示意图和/或方框图中的每一流程和/或方框、以及实现流程示意图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在实现流程示意图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在实现流程示意图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在实现流程示意图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述,仅为本发明的较佳实施例而已,并非用于限定本发明的保护范围。
Claims (13)
1.一种图像处理方法,其特征在于,所述方法包括:
获取目标对象的胸部图像数据、与所述目标对象的肺部相关的目标偏好特征,以及所述胸部图像数据对应的目标影像特征;
对所述胸部图像数据进行纹理特征提取,得到多个纹理特征;
从所述多个纹理特征中,筛选出与预设的独立预测因子中目标纹理因子对应的目标纹理特征;其中,所述预设的独立预测因子表征对多个变量构成的事件的预测结果产生影响的因子,所述预设的独立预测因子还包括:所述目标偏好特征对应的目标偏好因子和所述目标影像特征对应的目标影像因子;
根据所述目标偏好特征、所述目标影像特征和所述目标纹理特征,分别在预设的列线图的单项得分刻度线上进行映射,确定多个单项评分值;其中,所述预设的列线图用于预测多个因子构成的事件的概率;
将所述多个单项评分值之和作为总分值,结合所述列线图的总分刻度线与概率预测刻度线之间的对应关系,得到预测结果。
2.根据权利要求1所述的方法,其特征在于,所述对所述胸部图像数据进行纹理特征提取,得到多个纹理特征,包括:
对所述胸部图像数据进行标准化处理,得到标准化数据;所述标准化处理包括以下至少一项:归一化处理,采用预设位宽进行灰度离散化,以及采用预设立方体进行体素重采样;
对所述标准化数据进行纹理特征提取,得到所述多个纹理特征。
3.根据权利要求1所述的方法,其特征在于,根据所述目标偏好特征、所述目标影像特征和所述目标纹理特征,分别在预设的列线图的单项得分刻度线上进行映射,确定多个单项评分值,包括:
将所述目标偏好特征在所述列线图的单项得分刻度线上进行映射,确定偏好评分值;
将所述目标影像特征在所述列线图的单项得分刻度线上进行映射,确定影像评分值;
将所述目标纹理特征在所述列线图的单项得分刻度线上进行映射,确定纹理评分值;
其中,所述多个单项评分值包括偏好评分值、影像评分值和纹理评分值。
4.根据权利要求1-3任一项所述的方法,其特征在于,所述对所述胸部图像数据进行纹理特征提取,得到多个纹理特征,包括:
对所述胸部图像数据进行图像分析,得到原始纹理特征;其中,所述图像分析包括以下至少一项处理:形状特征、灰度相关矩阵、一阶统计量、灰度共生矩阵、灰度游程矩阵、灰度大小区域矩阵和相邻灰度差矩阵;
采用小波滤波器对所述原始纹理特征进行小波变换,得到小波变换后的纹理特征;
将所述原始纹理特征和所述小波变换后的纹理特征作为所述多个纹理特征。
5.根据权利要求1-3任一项所述的方法,其特征在于,所述获取目标对象的胸部图像数据、与所述目标对象的肺部相关的目标偏好特征,以及所述胸部图像数据对应的目标影像特征之前,所述方法还包括:
获取所述目标对象的初始胸部图像数据;
根据所述初始胸部图像数据,对位于所述目标对象的肺部上的目标物体和背景进行分割,得到感兴趣体积,所述感兴趣体积表征所述目标物体所在的三维区域;
将所述感兴趣体积对应的图像数据作为所述胸部图像数据。
6.根据权利要求5所述的方法,其特征在于,所述初始胸部图像数据为三维图像数据;
所述根据所述初始胸部图像数据,对位于所述目标对象的肺部上的目标物体和背景进行分割,得到感兴趣体积,包括:
在所述初始胸部图像数据的水平位上,确定最大截面图像;
基于所述最大截面图像,根据所述最大截面图像上像素值分布区间,调整像素值的阈值范围;
根据所述最大截面图像和调整后的阈值范围,对所述初始胸部图像数据进行截取,得到截取后的图像数据;
分别在所述水平位、矢状位和冠状位上,对所述截取后的图像进行勾画,分割出所述感兴趣体积,实现了对位于所述目标对象的肺部上的目标物体和背景的分割。
7.根据权利要求1-3任一项所述的方法,其特征在于,所述多个纹理特征包括:小波变换后的纹理特征和原始纹理特征;所述目标偏好因子为吸烟指数,所述目标影像因子为胸膜凹陷征,所述目标纹理因子包括所述小波变换后的纹理特征中的2个小波变换特征,以及所述原始纹理特征中的1个原始形状特征。
8.根据权利要求1-3任一项所述的方法,其特征在于,所述方法还包括:
获取不同对象的胸部图像样本数据、与各个对象的肺部相关的多个偏好样本特征,以及各个胸部图像样本数据对应的多个影像样本特征;
对所述胸部图像样本数据进行标准化处理,得到标准化样本数据;
对所述标准化样本数据进行纹理特征提取,得到多个纹理样本特征;
针对各个纹理样本特征,根据至少两种不同处理途径所得到的纹理样本特征,计算各个纹理样本特征的组内相关系数;
将所述组内相关系数大于预设系数的纹理样本特征,作为稳定纹理样本特征,从而得到多个稳定纹理样本特征;
采用回归分析方法和交叉验证法,对所述多个偏好样本特征、所述多个影像样本特征和所述多个稳定纹理样本特征进行筛选,确定所述预设的独立预测因子;所述预设的独立预测因子包括:筛选出的目标偏好样本特征对应的目标偏好因子、筛选出的目标影像样本特征对应的目标影像因子和筛选出的目标纹理样本特征对应的目标纹理因子;
根据所述胸部图像样本数据对应的所述预设的独立预测因子,构建所述预设的列线图。
9.根据权利要求8所述的方法,其特征在于,所述胸部图像样本数据包括训练样本数据和验证样本数据;
所述方法还包括:
基于所述训练样本数据和所述验证样本数据,确定校准曲线和所述预设的列线图的区分度;
若所述区分度大于预设区分度,和/或,所述校准曲线满足预设校准条件,则训练结束。
10.根据权利要求9所述的方法,其特征在于,所述方法还包括:
若所述区分度小于或等于所述预设区分度,和/或,所述校准曲线不满足所述预设校准条件,则调整所述回归分析方法中的回归参数,或者,调整所述交叉验证法中的验证参数;
根据调整后的参数,持续进行训练,直至所述区分度大于所述预设区分度,和/或,所述校准曲线满足所述预设校准条件。
11.一种图像处理装置,其特征在于,所述装置包括:
获取模块,用于获取目标对象的胸部图像数据、与所述目标对象的肺部相关的目标偏好特征,以及所述胸部图像数据对应的目标影像特征;
特征提取模块,用于对所述胸部图像数据进行纹理特征提取,得到多个纹理特征;
筛选模块,用于从所述多个纹理特征中,筛选出与预设的独立预测因子中目标纹理因子对应的目标纹理特征;其中,所述预设的独立预测因子表征对多个变量构成的事件的预测结果产生影响的因子,所述预设的独立预测因子还包括:所述目标偏好特征对应的目标偏好因子和所述目标影像特征对应的目标影像因子;
映射模块,用于根据所述目标偏好特征、所述目标影像特征和所述目标纹理特征,分别在预设的列线图的单项得分刻度线上进行映射,确定多个单项评分值;其中,所述预设的列线图用于预测多个因子构成的事件的概率;
预测模块,用于将所述多个单项评分值之和作为总分值,结合所述列线图的总分刻度线与概率预测刻度线之间的对应关系,得到预测结果。
12.一种图像处理设备,其特征在于,所述设备包括:
存储器,用于存储可执行计算机程序;
处理器,用于执行所述存储器中存储的可执行计算机程序时,实现权利要求1-10任一项所述的方法。
13.一种计算机可读存储介质,其特征在于,存储有计算机程序,用于被处理器执行时,实现权利要求1-10任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310555754.2A CN116740386A (zh) | 2023-05-17 | 2023-05-17 | 图像处理方法、装置、设备和计算机可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310555754.2A CN116740386A (zh) | 2023-05-17 | 2023-05-17 | 图像处理方法、装置、设备和计算机可读存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116740386A true CN116740386A (zh) | 2023-09-12 |
Family
ID=87903559
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310555754.2A Pending CN116740386A (zh) | 2023-05-17 | 2023-05-17 | 图像处理方法、装置、设备和计算机可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116740386A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117975044A (zh) * | 2024-02-20 | 2024-05-03 | 蚂蚁云创数字科技(北京)有限公司 | 基于特征空间的图像处理方法及装置 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111178449A (zh) * | 2019-12-31 | 2020-05-19 | 浙江大学 | 结合计算机视觉特征和影像组学特征的肝癌图像分类方法和装置 |
WO2020131746A1 (en) * | 2018-12-17 | 2020-06-25 | Georgia State University Research Foundation, Inc. | Predicting dcis recurrence risk using a machine learning-based high-content image analysis approach |
CN111657945A (zh) * | 2020-06-16 | 2020-09-15 | 中南大学湘雅医院 | 一种基于增强mri影像组学的鼻咽癌预后辅助评估方法 |
CN113571194A (zh) * | 2021-07-09 | 2021-10-29 | 清华大学 | 肝细胞癌远期预后预测的建模方法及装置 |
US20220076826A1 (en) * | 2020-09-07 | 2022-03-10 | Fanxin Zeng | Model based on machine learning-radiomics and application thereof |
CN114664409A (zh) * | 2022-02-24 | 2022-06-24 | 中山大学肿瘤防治中心(中山大学附属肿瘤医院、中山大学肿瘤研究所) | 一种复发鼻咽癌影像组学数据处理方法、系统、装置和存储介质 |
CN114758175A (zh) * | 2022-04-15 | 2022-07-15 | 郑州大学第一附属医院 | 一种食管胃结合部肿瘤图像分类方法、系统、设备及存储介质 |
CN114998247A (zh) * | 2022-05-30 | 2022-09-02 | 深圳市联影高端医疗装备创新研究院 | 异常预测方法、装置、计算机设备、存储介质 |
CN115995295A (zh) * | 2022-12-07 | 2023-04-21 | 山东大学齐鲁医院 | 基于影像组学的乳腺癌骨转移治疗反应评估方法及系统 |
-
2023
- 2023-05-17 CN CN202310555754.2A patent/CN116740386A/zh active Pending
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020131746A1 (en) * | 2018-12-17 | 2020-06-25 | Georgia State University Research Foundation, Inc. | Predicting dcis recurrence risk using a machine learning-based high-content image analysis approach |
CN111178449A (zh) * | 2019-12-31 | 2020-05-19 | 浙江大学 | 结合计算机视觉特征和影像组学特征的肝癌图像分类方法和装置 |
CN111657945A (zh) * | 2020-06-16 | 2020-09-15 | 中南大学湘雅医院 | 一种基于增强mri影像组学的鼻咽癌预后辅助评估方法 |
US20220076826A1 (en) * | 2020-09-07 | 2022-03-10 | Fanxin Zeng | Model based on machine learning-radiomics and application thereof |
CN113571194A (zh) * | 2021-07-09 | 2021-10-29 | 清华大学 | 肝细胞癌远期预后预测的建模方法及装置 |
CN114664409A (zh) * | 2022-02-24 | 2022-06-24 | 中山大学肿瘤防治中心(中山大学附属肿瘤医院、中山大学肿瘤研究所) | 一种复发鼻咽癌影像组学数据处理方法、系统、装置和存储介质 |
CN114758175A (zh) * | 2022-04-15 | 2022-07-15 | 郑州大学第一附属医院 | 一种食管胃结合部肿瘤图像分类方法、系统、设备及存储介质 |
CN114998247A (zh) * | 2022-05-30 | 2022-09-02 | 深圳市联影高端医疗装备创新研究院 | 异常预测方法、装置、计算机设备、存储介质 |
CN115995295A (zh) * | 2022-12-07 | 2023-04-21 | 山东大学齐鲁医院 | 基于影像组学的乳腺癌骨转移治疗反应评估方法及系统 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117975044A (zh) * | 2024-02-20 | 2024-05-03 | 蚂蚁云创数字科技(北京)有限公司 | 基于特征空间的图像处理方法及装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10339653B2 (en) | Systems, methods and devices for analyzing quantitative information obtained from radiological images | |
US9123095B2 (en) | Method for increasing the robustness of computer-aided diagnosis to image processing uncertainties | |
US10339648B2 (en) | Quantitative predictors of tumor severity | |
US8335359B2 (en) | Systems, apparatus and processes for automated medical image segmentation | |
US20110216951A1 (en) | Medical Image Processing | |
WO2021135774A1 (zh) | 肿瘤预测方法、装置、云平台及计算机可读存储介质 | |
CN113208640B (zh) | 一种基于乳腺专用pet影像组学预测腋窝淋巴结转移的方法 | |
Mehmood et al. | An efficient computerized decision support system for the analysis and 3D visualization of brain tumor | |
US11257210B2 (en) | Method and system of performing medical treatment outcome assessment or medical condition diagnostic | |
Dutande et al. | Deep residual separable convolutional neural network for lung tumor segmentation | |
Xu et al. | Using transfer learning on whole slide images to predict tumor mutational burden in bladder cancer patients | |
CN113706435A (zh) | 基于传统影像组学的胸部增强ct图像处理方法 | |
Osuala et al. | Data synthesis and adversarial networks: A review and meta-analysis in cancer imaging | |
Yoshiyasu et al. | Radiomics technology for identifying early-stage lung adenocarcinomas suitable for sublobar resection | |
CN114332132A (zh) | 图像分割方法、装置和计算机设备 | |
CN116740386A (zh) | 图像处理方法、装置、设备和计算机可读存储介质 | |
CN112638262B (zh) | 相似度确定装置、方法及程序 | |
WO2022225794A1 (en) | Systems and methods for detecting and characterizing covid-19 | |
Mastouri et al. | A morphological operation-based approach for Sub-pleural lung nodule detection from CT images | |
CN116230237B (zh) | 一种基于roi病灶特征的肺癌影响评价方法和系统 | |
Dickson et al. | A Dual Channel Multiscale Convolution U-Net Methodfor Liver Tumor Segmentation from Abdomen CT Images | |
Mousavi Moghaddam et al. | Lung parenchyma segmentation from CT images with a fully automatic method | |
CN112329876A (zh) | 一种基于影像组学的结直肠癌预后预测方法及设备 | |
Gao et al. | Pathological grading of Hepatocellular Carcinomas in MRI using a LASSO algorithm | |
Chang et al. | Resources and datasets for radiomics |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |