CN113706533A - 图像处理方法、装置、计算机设备及存储介质 - Google Patents
图像处理方法、装置、计算机设备及存储介质 Download PDFInfo
- Publication number
- CN113706533A CN113706533A CN202111262617.7A CN202111262617A CN113706533A CN 113706533 A CN113706533 A CN 113706533A CN 202111262617 A CN202111262617 A CN 202111262617A CN 113706533 A CN113706533 A CN 113706533A
- Authority
- CN
- China
- Prior art keywords
- feature
- blood vessel
- image
- value set
- attribute
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 42
- 238000003672 processing method Methods 0.000 title claims abstract description 22
- 238000003860 storage Methods 0.000 title claims abstract description 12
- 210000004204 blood vessel Anatomy 0.000 claims abstract description 133
- 208000000461 Esophageal Neoplasms Diseases 0.000 claims abstract description 97
- 201000004101 esophageal cancer Diseases 0.000 claims abstract description 96
- 206010030155 Oesophageal carcinoma Diseases 0.000 claims abstract description 93
- 238000010186 staining Methods 0.000 claims abstract description 89
- 238000000605 extraction Methods 0.000 claims abstract description 70
- 238000000034 method Methods 0.000 claims abstract description 23
- 238000003709 image segmentation Methods 0.000 claims abstract description 22
- 230000008595 infiltration Effects 0.000 claims description 76
- 238000001764 infiltration Methods 0.000 claims description 76
- 230000011218 segmentation Effects 0.000 claims description 31
- 210000004877 mucosa Anatomy 0.000 claims description 23
- 238000004364 calculation method Methods 0.000 claims description 19
- 239000008280 blood Substances 0.000 claims description 18
- 210000004369 blood Anatomy 0.000 claims description 18
- 230000004927 fusion Effects 0.000 claims description 16
- 238000004422 calculation algorithm Methods 0.000 claims description 15
- 238000004590 computer program Methods 0.000 claims description 12
- 238000004891 communication Methods 0.000 claims description 4
- 238000000513 principal component analysis Methods 0.000 claims description 4
- 238000013139 quantization Methods 0.000 abstract description 4
- 230000000875 corresponding effect Effects 0.000 description 61
- 238000010586 diagram Methods 0.000 description 20
- 238000010801 machine learning Methods 0.000 description 8
- 239000003086 colorant Substances 0.000 description 7
- 230000000694 effects Effects 0.000 description 7
- 238000004458 analytical method Methods 0.000 description 6
- 238000001514 detection method Methods 0.000 description 5
- 238000009826 distribution Methods 0.000 description 4
- 206010028980 Neoplasm Diseases 0.000 description 3
- 206010061534 Oesophageal squamous cell carcinoma Diseases 0.000 description 3
- 208000036765 Squamous cell carcinoma of the esophagus Diseases 0.000 description 3
- 230000003321 amplification Effects 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000003066 decision tree Methods 0.000 description 3
- 208000007276 esophageal squamous cell carcinoma Diseases 0.000 description 3
- 238000010191 image analysis Methods 0.000 description 3
- 238000003199 nucleic acid amplification method Methods 0.000 description 3
- 238000011176 pooling Methods 0.000 description 3
- 238000007637 random forest analysis Methods 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 238000012323 Endoscopic submucosal dissection Methods 0.000 description 2
- 208000007433 Lymphatic Metastasis Diseases 0.000 description 2
- 206010027476 Metastases Diseases 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 201000011510 cancer Diseases 0.000 description 2
- 230000002596 correlated effect Effects 0.000 description 2
- 230000002950 deficient Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000009401 metastasis Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 230000002792 vascular Effects 0.000 description 2
- 101100001673 Emericella variicolor andH gene Proteins 0.000 description 1
- 208000035965 Postoperative Complications Diseases 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 238000012143 endoscopic resection Methods 0.000 description 1
- 238000001839 endoscopy Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002496 gastric effect Effects 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000007477 logistic regression Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000001575 pathological effect Effects 0.000 description 1
- 238000011002 quantification Methods 0.000 description 1
- 238000002271 resection Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 210000001519 tissue Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
- G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30101—Blood vessel; Artery; Vein; Vascular
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Medical Informatics (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Geometry (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本申请实施例提供了一种图像处理方法、装置、计算机设备及存储介质,该方法先获取食管癌染色图像,采用预设的图像分割模型对食管癌染色图像进行分割,提取多个血管区域及乏血管区域,然后,对血管区域进行第一预设属性的特征提取,对乏血管区域进行第二预设属性的特征提取,对食管癌染色图像进行第三预设属性的特征提取,最后,将第一特征值集合、第二特征值集合以及第三特征值集合进行分类处理,生成分类结果,不仅提高了特征信息的精细度,而且充分考量了多个不同属性的特征值对图像处理的准确性及直观性影响,通过提取信息量更加丰富的特征并对多个不同属性的特征进行量化及综合处理,提高了特征值量化的合理性和图像的处理效率。
Description
技术领域
本申请涉及计算机技术领域,具体涉及一种图像处理方法、装置、计算机设备及存储介质。
背景技术
食管癌是全球第九大常见癌症,也是第六大癌症相关死亡原因。全球近90%的食管癌为食管鳞状细胞癌(ESCC),其中东南亚和中亚地区人群的发病率最高。然而,浅表ESCC(SESCC)是一种治愈率较高的疾病,随着上消化道内窥镜筛查的发展,早期食管癌的检出率显著提高,尤其是在东亚地区。内镜黏膜下剥离术(ESD)相较食管切除,可以降低术后并发症发病率以及手术相关死亡率,极大的提高了浅表食管癌治愈率,成为低淋巴结转移(LNM)风险的浅表食管鳞状细胞癌首选治疗方式。但是,内镜切除术后远期转移风险持续存在,根据肿瘤浸润深度,5年内转移风险高达36.2%。因此,如何准确快速判断食道癌图像的浸润程度(如非浸润、浅层浸润、深层浸润),显得尤为重要。
目前,常用的食道癌浸润程度判断方法是通过人工对病理切片进行检测。然而,其判断准确性依赖于医师的经验,而且,人工检测通常需要花费数天时间,这在一定程度上增加患者健康负担,降低了检测效率。
发明内容
本申请实施例提供一种图像处理方法、装置、计算机设备及存储介质,以解决人工检测存在的检测效率低的技术问题。
一方面,本申请提供一种图像处理方法,包括:
获取食管癌染色图像,采用预设的图像分割模型对所述食管癌染色图像进行分割,提取多个血管区域及乏血管区域;
对所述血管区域进行第一预设属性的特征提取,得到第一特征值集合,所述第一特征值集合包括多个第一特征值,每个所述预设属性对应一个所述第一特征值;
对所述乏血管区域进行第二预设属性的特征提取,得到第二特征值集合,所述第二特征值集合包括多个第二特征值,每个所述预设属性对应一个所述第二特征值;
对所述食管癌染色图像进行第三预设属性的特征提取,得到第三特征值集合,所述第三特征值集合包括多个第三特征值,每个所述预设属性对应一个所述第三特征值;
将所述第一特征值集合、所述第二特征值集合以及所述第三特征值集合输入预设分类器进行分类处理,生成分类结果,所述分类结果包括非浸润、浅层浸润及深层浸润。
一方面,本申请提供一种图像处理装置,包括:
分割模块,用于获取食管癌染色图像,采用预设的图像分割模型对所述食管癌染色图像进行分割,提取多个血管区域及乏血管区域;
第一确定模块,用于对所述血管区域进行第一预设属性的特征提取,得到第一特征值集合,所述第一特征值集合包括多个第一特征值,每个所述预设属性对应一个所述第一特征值;
第二确定模块,用于对所述乏血管区域进行第二预设属性的特征提取,得到第二特征值集合,所述第二特征值集合包括多个第二特征值,每个所述预设属性对应一个所述第二特征值;
第三确定模块,用于对所述食管癌染色图像进行第三预设属性的特征提取,得到第三特征值集合,所述第三特征值集合包括多个第三特征值,每个所述预设属性对应一个所述第三特征值;
分类模块,用于将所述第一特征值集合、所述第二特征值集合以及所述第三特征值集合输入预设分类器进行分类处理,生成分类结果,所述分类结果包括非浸润、浅层浸润及深层浸润。
一方面,本申请提供一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述计算机程序被所述处理器执行时,使得所述处理器执行以下步骤:
获取食管癌染色图像,采用预设的图像分割模型对所述食管癌染色图像进行分割,提取多个血管区域及乏血管区域;
对所述血管区域进行第一预设属性的特征提取,得到第一特征值集合,所述第一特征值集合包括多个第一特征值,每个所述预设属性对应一个所述第一特征值;
对所述乏血管区域进行第二预设属性的特征提取,得到第二特征值集合,所述第二特征值集合包括多个第二特征值,每个所述预设属性对应一个所述第二特征值;
对所述食管癌染色图像进行第三预设属性的特征提取,得到第三特征值集合,所述第三特征值集合包括多个第三特征值,每个所述预设属性对应一个所述第三特征值;
将所述第一特征值集合、所述第二特征值集合以及所述第三特征值集合输入预设分类器进行分类处理,生成分类结果,所述分类结果包括非浸润、浅层浸润及深层浸润。
一方面,本申请提供一种计算机可读介质,存储有计算机程序,所述计算机程序被处理器执行时,使得所述处理器执行以下步骤:
获取食管癌染色图像,采用预设的图像分割模型对所述食管癌染色图像进行分割,提取多个血管区域及乏血管区域;
对所述血管区域进行第一预设属性的特征提取,得到第一特征值集合,所述第一特征值集合包括多个第一特征值,每个所述预设属性对应一个所述第一特征值;
对所述乏血管区域进行第二预设属性的特征提取,得到第二特征值集合,所述第二特征值集合包括多个第二特征值,每个所述预设属性对应一个所述第二特征值;
对所述食管癌染色图像进行第三预设属性的特征提取,得到第三特征值集合,所述第三特征值集合包括多个第三特征值,每个所述预设属性对应一个所述第三特征值;
将所述第一特征值集合、所述第二特征值集合以及所述第三特征值集合输入预设分类器进行分类处理,生成分类结果,所述分类结果包括非浸润、浅层浸润及深层浸润。
本申请实施例提供了一种图像处理方法、装置、计算机设备及存储介质,该方法先获取食管癌染色图像,采用预设的图像分割模型对食管癌染色图像进行分割,提取多个血管区域及乏血管区域,然后,对血管区域进行第一预设属性的特征提取,得到第一特征值集合,对乏血管区域进行第二预设属性的特征提取,得到第二特征值集合,对食管癌染色图像进行第三预设属性的特征提取,得到第三特征值集合,最后,将第一特征值集合、第二特征值集合以及第三特征值集合输入预设分类器进行分类处理,生成分类结果,分类结果包括非浸润、浅层浸润及深层浸润,不仅提高了特征信息的精细度,而且充分考量了多个不同属性的特征值对图像处理的准确性及直观性影响,通过提取信息量更加丰富的特征并对多个不同属性的特征进行量化及综合处理,提高了特征值量化的合理性,相较于传统的只考虑单一特征信息及单一的统计比较方法,大大提高了图像的处理效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
其中:
图1为一个实施例中图像处理方法的流程图;
图2为一个实施例中食管癌染色图像、多个血管区域及乏血管区域的示意图;
图3为一个实施例中中心线提取效果示意图;
图4为一个实施例中一个乏血管区域的示意图;
图5为一个实施例中食管癌染色图像与P颜色模式图像对比示意图;
图6为一个实施例中P颜色模式图像及对应的颜色特征中的颜色主成分示意图;
图7为一个实施例中VGG16网络结构示意图;
图8为一个实施例中Unett++网络结构和血管区域分割效果示意图;
图9为一个实施例中图像处理装置的结构框图;
图10为一个实施例中计算机设备的结构框图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
如图1所示,在一个实施例中,提供了一种图像处理方法,该图像处理方法可以应用于终端,也可以应用于服务器,本实施例以应用于服务器举例说明。该图像处理方法具体包括以下步骤:
步骤102,获取食管癌染色图像,采用预设的图像分割模型对食管癌染色图像进行分割,提取多个血管区域及乏血管区域。
其中,食管癌染色图像是指通过食管染色放大内镜输出的包含有食道癌的内镜图像,该内径图像可以是白光图像、窄带成像放大窥镜图像(ME-NBI图像)或者两者的组合。作为本实施例的优选,选取ME-NBI图像,由于ME-NBI图像包含食道癌组织更多的信息,以提高食管癌染色图像的识别准确率。血管区域是指食管癌染色图像中包含有血管信息的区域图像,乏血管区域(avascular area,AVA)是指被癌性微血管所包围的区域图像,具有更丰富的癌性微血管的信息。预设的图像分割模型为预先设定的用于从图像中的识别出目标区域的机器学习模型,且该图像分割模型中包括两种图像分割模型,分别用于提取血管区域和乏血管区域。具体地,将食管癌染色图像分别作为两种图像分割模型的输入,该两种图像分割模型的输出分别为多个血管区域及乏血管区域。可以理解地,本实施例中通过提取多个血管区域及乏血管区域,以便后续基于该血管区域及乏血管区域获取各个局部区域对应的特征信息,提高特征信息的精细度。如图2所示,为食管癌染色图像、多个血管区域及乏血管区域的示意图,其中,a为食管癌染色图像的示意图,b为多个血管区域的示意图,c为多个乏血管区域的示意图。
步骤104,对血管区域进行第一预设属性的特征提取,得到第一特征值集合,第一特征值集合包括多个第一特征值,每个预设属性对应一个第一特征值。
其中,第一预设属性是指血管区域,也即局部区域的多个属性,例如,血管区域的直径、盘绕性等,第一特征值是指各个第一预设属性的特征对应的量化值。具体地,采用特征提取方法对血管区域进行特征提取,得到第一特征值,其中的特征提取方法可以是人工特征提取方法结合基于图像特征分析的算法如像素邻域均值计算、最大像素值提取等,计算得到第一特征值。本实施例中,通过对血管区域进行特征提取,获取对应的第一特征值,实现了对血管区域的各个第一预设属性的特征的量化计算,以便后续基于该多个第一特征值进行准确直观的图像分析。
步骤106,对乏血管区域进行第二预设属性的特征提取,得到第二特征值集合,第二特征值集合包括多个第二特征值,每个预设属性对应一个第二特征值。
其中,第二预设属性是指乏血管区域,也即局部区域的多个属性,例如,乏血管区域填充度、乏血管区域短长轴比等,第二特征值是指各个第二预设属性的特征对应的量化值。具体地,采用特征提取方法对乏血管区域进行特征提取,得到第二特征值,其中的特征提取方法可以是人工特征提取方法结合基于图像特征分析的算法如像素邻域均值计算、最大像素值提取等,计算得到第二特征值。本实施例中,通过对乏血管区域进行特征提取,获取对应的第二特征值,实现了对乏血管区域的各个第二预设属性的特征的量化计算,以便后续基于该多个第二特征值进行准确直观的图像分析。
步骤108,对食管癌染色图像进行第三预设属性的特征提取,得到第三特征值集合,第三特征值集合包括多个第三特征值,每个预设属性对应一个第三特征值。
其中,第三预设属性是指食管癌染色图像,也即全局区域的多个属性,例如,背景粘膜色、图像信息熵、背景粘膜平整度等,第三特征值是指各个第三预设属性的特征对应的量化值。具体地,采用特征提取方法对食管癌染色图像进行特征提取,得到第三特征值,其中的特征提取方法可以是人工特征提取方法或者深度学习的特征提取方法结合基于图像特征分析的算法如像素邻域均值计算、最大像素值提取等,计算得到第三特征值。本实施例中,通过对食管癌染色图像进行特征提取,获取对应的第三特征值,实现了对食管癌染色图像的各个第三预设属性的特征的量化计算,以便后续基于该第三特征值集进行准确直观的图像分析。
步骤110,将第一特征值集合、第二特征值集合以及第三特征值集合输入预设分类器进行分类处理,生成分类结果,分类结果包括非浸润、浅层浸润及深层浸润。
其中,预设分类器可通过样本学习具备分类能力的机器学习算法模型实现,本实施例的预设分类器用于将不同的第一特征值集合、第二特征值集合以及第三特征值集合划分到非浸润、浅层浸润及深层浸润中的一类。具体地,可以利用至少一个机器学习模型进行分类的分类器。其中的机器学习模型可以是如下的一个或者多个:神经网络(例如,卷积神经网络、BP神经网络等)、逻辑回归模型、支持向量机、决策树、随机森林、感知器以及其它机器学习模型。作为这样的机器学习模型的训练的部分,训练输入是各种第一特征值集合、第二特征值集合以及第三特征值集合,例如背景粘膜色、图像信息熵量、背景粘膜平整度、乏血管区域填充度、乏血管区域短长轴比等,通过训练,建立第一特征值集合、第二特征值集合以及第三特征值集合与食管癌染色图像的浸润程度等级对应关系的分类器,使得该预设分类器具备判断第一特征值集合、第二特征值集合以及第三特征值集合对应的分类结果是非浸润、浅层浸润或者深层浸润的能力。本实施例中,该分类器为多分类器,即得到多个分类结果,也即非浸润、浅层浸润或者深层浸润。
需要说明的是,还可以继续对非浸润、浅层浸润或者深层浸润进行分类,例如可以增加机器学习模型的分支模型,分别将非浸润、浅层浸润及深层浸润对应的第一特征值集合、第二特征值集合以及第三特征值集合进行分类训练,分类结果为第一等级非浸润、第二等级非浸润、第三等级非浸润等,或者第一等级浅层浸润、第二等级浅层浸润、第三等级浅层浸润等,或者第一等级深层浸润、第二等级深层浸润、第三等级深层浸润等。或者直接采用预设的多级分类器,确定与第一特征值集合、第二特征值集合以及第三特征值集合对应的分类结果。可以理解地,本实施例中充分考量了多个不同属性的特征值对图像处理的准确性及直观性影响,通过提取信息量更加丰富的特征并对多个不同属性的特征进行量化及综合处理,提高了特征值量化的合理性,相较于传统的只考虑单一特征信息及单一的统计比较方法,大大提高了图像的处理效率。
上述图像处理方法中,先获取食管癌染色图像,采用预设的图像分割模型对食管癌染色图像进行分割,提取多个血管区域及乏血管区域,然后,对血管区域进行第一预设属性的特征提取,得到第一特征值集合,对乏血管区域进行第二预设属性的特征提取,得到第二特征值集合,对食管癌染色图像进行第三预设属性的特征提取,得到第三特征值集合,最后,将第一特征值集合、第二特征值集合以及第三特征值集合输入预设分类器进行分类处理,生成分类结果,分类结果包括非浸润、浅层浸润及深层浸润,不仅提高了特征信息的精细度,而且充分考量了多个不同属性的特征值对图像处理的准确性及直观性影响,通过提取信息量更加丰富的特征并对多个不同属性的特征进行量化及综合处理,提高了特征值量化的合理性,相较于传统的只考虑单一特征信息及单一的统计比较方法,大大提高了图像的处理效率。
在一个实施例中,预设分类器包括特征拟合子网络和分类子网络;将第一特征值集合、第二特征值集合以及第三特征值集合输入预设分类器进行分类处理,生成分类结果的步骤,包括:采用特征拟合子网络对第一特征值集合、第二特征值集合以及第三特征值集合进行拟合处理,得到融合特征值;采用分类子网络对融合特征值进行分类处理,生成分类结果。
其中,特征拟合子网络是指预设分类器中用于确定各个第一特征值、第二特征值及第三特征值对于图像识别准确率影响的系数即权重的网络模型,该特征拟合子网络可以是决策树、随机森林、梯度提升树还可以是利用网格搜索法或者贪婪搜索法进行参数调优的模型,融合特征值是指对各个第一特征值、第二特征值及第三特征值进行拟合后得到的特征值。具体地,通过特征拟合子网络对第一特征值集合、第二特征值集合以及第三特征值集合进行拟合处理,得到融合特征值,然后基于融合特征值进行分类计算,例如,可以预先设置不同分类结果与融合特征值的数值区间的映射关系,利用分段函数的分类子网络进行分类计算,确定分类结果。可以理解地,本实施例中,通过对各个第一特征值、第二特征值及第三特征值进行拟合,使得融合特征值更加准确反映食管癌染色图像的关键信息,相较于单一的特征信息及单一的统计比较分类方法,大大提高了分类结果的准确性。
在一个实施例中,第一预设属性包括血管直径属性和血管盘绕属性;对血管区域进行第一预设属性的特征提取,得到第一特征值集合,包括:通过迭代算法提取各个血管区域的中心线,基于中心线的各个像素值确定血管直径属性对应的第一特征值;基于各个血管区域确定血管连通区域,基于血管连通区域的各个像素值确定血管盘绕属性对应的第一特征值。
其中,迭代算法是一种用于获得图像骨架信息的算法,如Zhang-Suen细化算法,本实施例中用于获取血管区域的中心线,具体地,可以利用Zhang-Suen细化算法提取各个血管区域的中心线,如图3所示,为中心线提取效果示意图,d为血管区域与其中心线叠加效果示意图,f为血管区域对应的中心线示意图。连通区域(Connected Component)是指图像中具有相同像素值且位置相邻的前景像素点组成的图像区域(Region,Blob)。遍历中心线上的每个像素点,并通过作法线的几何方法确定两个目标像素点,计算两个目标像素点的欧式距离即为对应中心线的血管直径属性的特征值 d ij 。对于多个中心线的情形,则将各个根血管中心线的血管直径属性的特征值计算平均值即为血管直径属性的第一特征值,其计算公式如下:
其中,L d 为血管直径属性的第一特征值,N为血管区域总数量,M为任意一个血管区域的中心线像素点总个数,d ij 为第i个血管区域的中心线第j个像素点处的血管直径。
其中,血管盘绕属性对应的第一特征值是通过在血管连通区域中遍历每个血管区域的像素点,并确定每个血管区域最小外接矩形以及最小外接矩形的两条对角线,计算血管区域上每一点到其两条对角线的垂线距离,并计算各个血管区域的垂线距离的均值作为血管盘绕属性对应的第一特征值,其计算公式如下:
其中,L r 为血管盘绕属性对应的第一特征值,N为血管区域总数量,r i1 , r i2 为第i个血管区域上所有像素点分别到其最小外接矩形对角线“1”和对角线“2”的垂线距离之和,其中的r i1 , r i2 的计算公式如下:
其中,W, H为第i个血管区域的最小水平外接矩形的宽和高,(x 0 , y 0 )为第i个血管区域中左上角第一个像素点左边,L j1 , L j2 为第i个血管区域上第j个像素点分别到其最小外接矩形对角线“1”和对角线“2”的垂线距离,其计算公式如下:
其中,(x i11 , y i11 )和(x i12 , y i12 )为第i个血管区域的最小外接矩形对角线“1”两个端点坐标,(x i21 , y i21 )和(x i22 , y i22 )为第i个血管区域的最小外接矩形对角线“2”两个端点坐标,(x ij , y ij )为第i个血管区域像素点j处的坐标。
本实施例中,第一特征值与浸润深度呈正相关,即血管直径属性和血管盘绕属性各自对应的第一特征值越大,表明浸润深度越深,通过对各个血管区域的像素点进行分析并对血管直径属性和血管盘绕属性进行量化计算,实现了对各个血管区域的形态分析,使得第一特征值更加便于后续的分类处理。
在一个实施例中,第二预设属性包括乏血管区域填充度属性和乏血管区域短长轴比属性;对乏血管区域进行第二预设属性的特征提取,得到第二特征值集合的步骤,包括:基于各个乏血管区域确定乏血管连通区域;在乏血管连通区域对各个乏血管区域进行遍历,确定对应的面积以及最小外接矩形;基于面积以及最小外接矩形确定乏血管区域填充度属性对应的第二特征值;基于最小外接矩形的宽度和高度确定乏血管区域短长轴比属性对应的第二特征值。
具体地,通过遍历各个乏血管区域的像素点确定乏血管连通区域,然后,在乏血管连通区域对各个乏血管区域进行遍历,确定对应的面积以及最小外接矩形,如图4所示,为一个乏血管区域的示意图,41为其中一个乏血管区域的最小外接矩形。血管填充度属性的第二特征值采用如下公式计算:
其中,L s 为乏血管区域填充度属性对应的第二特征值,R为乏血管区域总数量,W i 和H i 分别为第i个乏血管区域的最小外接矩形的宽和高,S AVA_i 为第i个乏血管区域的面积。
在最小外接矩形的宽度和高度中最小值和最大值,计算最小值和最大值的比例值,确定为乏血管区域短长轴比属性对应的第二特征值,其计算公式如下:
其中,L d/D 为乏血管区域短长轴比属性对应的第二特征值。min(W i , H i )表示取W i , H i 中的最小值,max(W i , H i )表示取W i , H i 中的最大值。
本实施例中,第二特征值与浸润深度呈正相关,即乏血管区域填充度属性和乏血管区域短长轴比属性各自对应的第二特征值越大,表明浸润深度越深,通过对各个乏血管区域的像素点进行分析并对乏血管区域填充度属性和乏血管区域短长轴比属性进行量化计算,实现了对各个乏血管区域的形状分析,使得第二特征值更加便于后续的分类处理。
在一个实施例中,第三预设属性包括背景粘膜色属性、背景粘膜平整度属性和图像熵属性;对食管癌染色图像进行第三预设属性的特征提取,得到第三特征值集合的步骤,包括:将食管癌染色图像转换为P颜色模式图像,采用主成分分析算法对P颜色模式图像进行颜色特征提取,得到颜色特征;基于颜色特征确定背景粘膜色属性对应的第三特征值;将食管癌染色图像转换为HSV颜色空间图像,并确定HSV颜色空间图像在H通道、S通道及V通道对应的二维熵,基于H通道、S通道及V通道对应的二维熵确定图像熵属性对应的第三特征值;将食管癌染色图像输入训练后的背景粘膜平整度分类器中进行识别,得到的识别结果确定为背景粘膜平整度属性对应的第三特征值。
其中,P颜色模式是一种图像颜色空间模式,具体地,可以通过OPENCV中的颜色模式转换函数将食管癌染色图像转换为P颜色模式图像,也即增加颜色抖动后控制调色板颜色数目使食管癌染色图像由一定数目的颜色特征进行表达,得到P颜色模式图像。如图5所示,为食管癌染色图像与P颜色模式图像对比示意图,其中,P1为食管癌染色图像,P2是在P颜色模式下调色板控制颜色数目为n=10的P颜色模式图像。在一个具体实施方式,针对食管癌染色图像,当颜色数目为10时,判断不同浸润深度时效果最好,因此,将调色板控制颜色数目设置为10,以提升P颜色模式图像的颜色效果。然后,采用主成分分析算法对P颜色模式图像进行颜色特征提取,如通过PIL自带的getcolors()方法获取P颜色模式图像中所有颜色特征,得到颜色特征,如图6所示,为P颜色模式图像及对应的颜色特征中的颜色主成分示意图,C1为P颜色模式图像,C2中的条形图共包含10种颜色,即当调色板控制数目为10时,图像处于P颜色模式时,由此10种颜色表达。C2中的“0-9”表示10种颜色出现频次的顺序,其中“0”对应的颜色出现次数最多,“9”对应颜色出现次数最少。其“0-9”从左至右依次对应的颜色像素值及颜色出现次数的对应关系如下所示: [(32031, (151, 117, 96)), (32409,(95, 67, 54)), (31193, (192, 168, 143)), (33387, (121, 80, 65)), (36027, (88,52, 43)), (33221, (76, 40, 33)), (20599, (49, 34, 27)), (2035, (4, 0, 0)),(1050, (0, 0, 2)), (40192, (0, 0, 0))]。然后,剔除颜色特征集中的黑色颜色特征得到中级颜色特征集,计算中级颜色特征集中每种颜色特征三通道像素的均值,并计算所有像素均值中的中值作为背景粘膜色属性对应的第三特征值。
其中,HSV颜色空间图像是指将食管癌染色图像转换为HSV颜色空间的图像,具体地,可以通过Matlab软件或者OPENCV中的转换函数进行转换,然后获取HSV颜色空间图像在H通道、S通道及V通道对应的二维熵,根据H通道、S通道及V通道各自的二维熵,采用如下公式计算图像熵属性对应的第三特征值:
其中,L E 为图像熵属性对应的第三特征值,L H , L S , L V 分别表示H通道的二维熵、S通道的二维熵、V通道的二维熵;且
其中,P i 表示的是灰度i所出现的概率,图像的一维熵可以表示图像灰度分布的聚集特征,却不能反映图像灰度分布的空间特征。为了表征这种空间特征,在一维熵的基础上引入能够反映灰度分布空间特征的特征量来组成图像的二维熵。选择图像的邻域灰度均值作为灰度分布的空间特征量,与图像的像素灰度组成特征二元组,记为( i, j ),其中i表示像素的灰度值,j表示邻域灰度均值,此时P ij = f ( i, j ) / T 2 。
其中,f ( i, j )为特征二元组( i, j )出现的频数,T为HSV颜色空间图像的尺寸,在一具体实施方式中,T=512。
其中,训练后的背景粘膜平整度分类器是一种用于判断食管癌染色图像的背景粘膜是否平整的机器学习模型,具体地,该训练后的背景粘膜平整度分类器可以是通过VGG16网络模型实现,如图7所示,为VGG16网络结构示意图,总共有16层,13个卷积层(CONV)和3个全连接层,第一次经过64个卷积核的两次卷积后,采用一次池化(pooling),第二次经过两次128个卷积核卷积后,再采用池化,再重复两次三个512个卷积核卷积后,再池化,最后经过三次全连接(FC),确定背景粘膜平整度属性对应的分类结果(平坦和不平坦),然后针对不同的分类结果,赋予每个分类结果一个第三特征值,由于背景粘膜平整度越低,对应的浸润深度越深,因此,在一具体实施方式中,可以将分类结果为不平坦的背景粘膜平整度属性对应的第三特征值PT赋值为1,将分类结果为平坦的背景粘膜平整度属性对应的第三特征值PT赋值为0。本实施例中,通过对食管癌染色图像的像素点进行分析并对背景粘膜色属性、背景粘膜平整度属性和图像熵属性进行量化计算,实现了对食管癌染色图像的颜色特征、纹理特征、亮度特征的分析,使得第三特征值更加便于后续的分类处理。
在一个实施例中,采用特征拟合子网络对第一特征值集合、第二特征值集合以及第三特征值集合进行拟合处理,得到融合特征值的步骤,包括:将各个第一特征值、第二特征值及第三特征值输入特征拟合子网络,确定相应的权重;根据各个第一特征值、第二特征值及第三特征值及相应权重进行加权求和计算,得到融合特征值。
具体地,通过特征拟合子网络对第一特征值集合、第二特征值集合以及第三特征
值集合进行拟合处理,根据拟合结果确定各个第一特征值、第二特征值及第三特征值的对
应的权重,继续以上述实施例中的7个特征值L color , L d , L r , L s , L d/D , L E , PT为例,利用
决策树、随机森林等确定L color , L d , L r , L s , L d/D , L E , PT对应的权重分别为λ1,λ2,λ3,
λ4,λ5,λ6,λ7,则此时融合特征值为:;为融合特征值,在一具体实施方式中,λ1,λ2,λ3,λ4,λ5,λ6,λ7对应的数值分别如下:
λ1=0.129,λ2=0.170,λ3=0.152,λ4=0.125,λ5=0.178,λ6=0.112,λ7=0.134。
本实施例中,通过对多个第一特征值、第二特征值及第三特征值进行融合计算,使得食管癌染色图像的信息特征更加丰富,且量化更加精准,有利于提高后续的图像处理效率。
进一步地,预先设置各个分类结果对应的融合特征值分类区间,基于融合特征值及对应的分类区间实现对融合特征值的分类,在一具体实施方式中,融合特征值分类区间分为[0,0.25]、(0.25,0.55]、(0.55,1],因此,可以根据如下公式对融合特征值进行分类:
即当小于0.25时,食道癌染色图像的分类结果为非浸润;当大于0.25且小于等
于0.55时,食道癌染色图像的分类结果为浅层浸润;当大于0.55且小于等于1时,食道癌
染色图像的分类结果为深层浸润,该分类方法简单快捷,进一步提高了对食道癌染色图像
的处理效率。
在一个实施例中,采用预设的图像分割模型包括第一分割子模型和第二分割子模型;采用预设的图像分割模型对食管癌染色图像进行分割,提取多个血管区域及乏血管区域的步骤,包括:将食管癌染色图像输入第一分割子模型进行分割,得到多个血管区域;将食管癌染色图像输入第二分割子模型进行分割,得到多个乏血管区域。
其中,第一分割子模型和第二分割子模型均可以采用Unet++网络实现,具体地,将食管癌染色图像输入第一分割子模型进行分割,得到多个血管区域,将食管癌染色图像输入第二分割子模型进行分割,得到多个乏血管区域。如图8所示,为Unett++网络结构和血管区域分割效果示意图。可以理解地,分别通过第一分割子模型和第二分割子模型对食管癌染色图像进行分割处理,提高了图像的分割效率。
如图9所示,在一个实施例中,提出了一种图像处理装置,包括:
分割模块902,用于获取食管癌染色图像,采用预设的图像分割模型对所述食管癌染色图像进行分割,提取多个血管区域及乏血管区域;
第一确定模块904,用于对所述血管区域进行第一预设属性的特征提取,得到第一特征值集合,所述第一特征值集合包括多个第一特征值,每个所述预设属性对应一个所述第一特征值;
第二确定模块906,用于对所述乏血管区域进行第二预设属性的特征提取,得到第二特征值集合,所述第二特征值集合包括多个第二特征值,每个所述预设属性对应一个所述第二特征值;
第三确定模块908,用于对所述食管癌染色图像进行第三预设属性的特征提取,得到第三特征值集合,所述第三特征值集合包括多个第三特征值,每个所述预设属性对应一个所述第三特征值;
分类模块910,用于将所述第一特征值集合、所述第二特征值集合以及所述第三特征值集合输入预设分类器进行分类处理,生成分类结果,所述分类结果包括非浸润、浅层浸润及深层浸润。
在一个实施例中,分类模块包括:
拟合单元,用于采用所述特征拟合子网络对所述第一特征值集合、所述第二特征值集合以及所述第三特征值集合进行拟合处理,得到融合特征值;
分类单元,用于采用所述分类子网络对所述融合特征值进行分类处理,生成所述分类结果。
在一个实施例中,第一确定模块包括:
第一提取单元,用于通过迭代算法提取各个所述血管区域的中心线,基于所述中心线的各个像素值确定所述血管直径属性对应的第一特征值;
第一确定单元,用于基于各个所述血管区域确定血管连通区域,基于所述血管连通区域的各个像素值确定所述血管盘绕属性对应的第一特征值。
在一个实施例中,第二确定模块包括:
第二确定单元,用于基于各个所述乏血管区域确定乏血管连通区域;
遍历单元,用于在所述乏血管连通区域对各个所述乏血管区域进行遍历,确定对应的面积以及最小外接矩形;
第三确定单元,用于基于所述面积以及最小外接矩形确定所述乏血管区域填充度属性对应的第二特征值;
第四确定单元,用于基于所述最小外接矩形的宽度和高度确定所述乏血管区域短长轴比属性对应的第二特征值。
在一个实施例中,第三确定模块包括:
转换单元,用于将所述食管癌染色图像转换为P颜色模式图像,采用主成分分析算法对所述P颜色模式图像进行颜色特征提取,得到颜色特征;
第五确定单元,用于基于所述颜色特征确定所述背景粘膜色属性对应的第三特征值;
第六确定单元,用于将所述食管癌染色图像转换为HSV颜色空间图像,并确定所述HSV颜色空间图像在H通道、S通道及V通道对应的二维熵,基于所述H通道、S通道及V通道对应的二维熵确定所述图像熵属性对应的第三特征值;
第七确定单元,用于将所述食管癌染色图像输入训练后的背景粘膜平整度分类器中进行识别,得到的识别结果确定为所述背景粘膜平整度属性对应的第三特征值。
在一个实施例中,拟合单元包括:
确定子单元,用于将各个所述第一特征值、第二特征值及第三特征值输入所述特征拟合子网络,确定相应的权重;
计算子单元,用于根据所述各个所述第一特征值、第二特征值及第三特征值及相应权重进行加权求和计算,得到所述融合特征值。
在一个实施例中,分割模块包括:
第一分割单元,用于将所述食管癌染色图像输入所述第一分割子模型进行分割,得到多个所述血管区域;
第二分割单元,用于将所述食管癌染色图像输入所述第二分割子模型进行分割,得到多个所述乏血管区域。
图10示出了一个实施例中计算机设备的内部结构图。该计算机设备具体可以是服务器,所述服务器包括但不限于高性能计算机和高性能计算机集群。如图10所示,该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中,存储器包括非易失性存储介质和内存储器。该计算机设备的非易失性存储介质存储有操作系统,还可存储有计算机程序,该计算机程序被处理器执行时,可使得处理器实现图像处理方法。该内存储器中也可储存有计算机程序,该计算机程序被处理器执行时,可使得处理器执行图像处理方法。本领域技术人员可以理解,图10中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个实施例中,本申请提供的图像处理方法可以实现为一种计算机程序的形式,计算机程序可在如图10所示的计算机设备上运行。计算机设备的存储器中可存储组成图像处理装置的各个程序模板。比如,分割模块902,第一确定模块904,第二确定模块906,第三确定模块908,分类模块910。
一种计算机设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如下步骤:获取食管癌染色图像,采用预设的图像分割模型对所述食管癌染色图像进行分割,提取多个血管区域及乏血管区域;对所述血管区域进行第一预设属性的特征提取,得到第一特征值集合,所述第一特征值集合包括多个第一特征值,每个所述预设属性对应一个所述第一特征值;对所述乏血管区域进行第二预设属性的特征提取,得到第二特征值集合,所述第二特征值集合包括多个第二特征值,每个所述预设属性对应一个所述第二特征值;对所述食管癌染色图像进行第三预设属性的特征提取,得到第三特征值集合,所述第三特征值集合包括多个第三特征值,每个所述预设属性对应一个所述第三特征值;将所述第一特征值集合、所述第二特征值集合以及所述第三特征值集合输入预设分类器进行分类处理,生成分类结果,所述分类结果包括非浸润、浅层浸润及深层浸润。
一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现如下步骤:获取食管癌染色图像,采用预设的图像分割模型对所述食管癌染色图像进行分割,提取多个血管区域及乏血管区域;对所述血管区域进行第一预设属性的特征提取,得到第一特征值集合,所述第一特征值集合包括多个第一特征值,每个所述预设属性对应一个所述第一特征值;对所述乏血管区域进行第二预设属性的特征提取,得到第二特征值集合,所述第二特征值集合包括多个第二特征值,每个所述预设属性对应一个所述第二特征值;对所述食管癌染色图像进行第三预设属性的特征提取,得到第三特征值集合,所述第三特征值集合包括多个第三特征值,每个所述预设属性对应一个所述第三特征值;将所述第一特征值集合、所述第二特征值集合以及所述第三特征值集合输入预设分类器进行分类处理,生成分类结果,所述分类结果包括非浸润、浅层浸润及深层浸润。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于一非易失性计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink) DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本申请专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种图像处理方法,其特征在于,包括:
获取食管癌染色图像,采用预设的图像分割模型对所述食管癌染色图像进行分割,提取多个血管区域及乏血管区域;
对所述血管区域进行第一预设属性的特征提取,得到第一特征值集合,所述第一特征值集合包括多个第一特征值,每个所述预设属性对应一个所述第一特征值;
对所述乏血管区域进行第二预设属性的特征提取,得到第二特征值集合,所述第二特征值集合包括多个第二特征值,每个所述预设属性对应一个所述第二特征值;
对所述食管癌染色图像进行第三预设属性的特征提取,得到第三特征值集合,所述第三特征值集合包括多个第三特征值,每个所述预设属性对应一个所述第三特征值;
将所述第一特征值集合、所述第二特征值集合以及所述第三特征值集合输入预设分类器进行分类处理,生成分类结果,所述分类结果包括非浸润、浅层浸润及深层浸润。
2.如权利要求1所述的图像处理方法,其特征在于,所述预设分类器包括特征拟合子网络和分类子网络;
所述将所述第一特征值集合、所述第二特征值集合以及所述第三特征值集合输入预设分类器进行分类处理,生成分类结果的步骤,包括:
采用所述特征拟合子网络对所述第一特征值集合、所述第二特征值集合以及所述第三特征值集合进行拟合处理,得到融合特征值;
采用所述分类子网络对所述融合特征值进行分类处理,生成所述分类结果。
3.如权利要求1所述的图像处理方法,其特征在于,所述第一预设属性包括血管直径属性和血管盘绕属性;
所述对所述血管区域进行第一预设属性的特征提取,得到第一特征值集合,包括:
通过迭代算法提取各个所述血管区域的中心线,基于所述中心线的各个像素值确定所述血管直径属性对应的第一特征值;
基于各个所述血管区域确定血管连通区域,基于所述血管连通区域的各个像素值确定所述血管盘绕属性对应的第一特征值。
4.如权利要求1所述的图像处理方法,其特征在于,所述第二预设属性包括乏血管区域填充度属性和乏血管区域短长轴比属性;
所述对所述乏血管区域进行第二预设属性的特征提取,得到第二特征值集合的步骤,包括:
基于各个所述乏血管区域确定乏血管连通区域;
在所述乏血管连通区域对各个所述乏血管区域进行遍历,确定对应的面积以及最小外接矩形;
基于所述面积以及最小外接矩形确定所述乏血管区域填充度属性对应的第二特征值;
基于所述最小外接矩形的宽度和高度确定所述乏血管区域短长轴比属性对应的第二特征值。
5.如权利要求1所述的图像处理方法,其特征在于,所述第三预设属性包括背景粘膜色属性、背景粘膜平整度属性和图像熵属性;
所述对所述食管癌染色图像进行第三预设属性的特征提取,得到第三特征值集合的步骤,包括:
将所述食管癌染色图像转换为P颜色模式图像,采用主成分分析算法对所述P颜色模式图像进行颜色特征提取,得到颜色特征;
基于所述颜色特征确定所述背景粘膜色属性对应的第三特征值;
将所述食管癌染色图像转换为HSV颜色空间图像,并确定所述HSV颜色空间图像在H通道、S通道及V通道对应的二维熵,基于所述H通道、S通道及V通道对应的二维熵确定所述图像熵属性对应的第三特征值;
将所述食管癌染色图像输入训练后的背景粘膜平整度分类器中进行识别,得到的识别结果确定为所述背景粘膜平整度属性对应的第三特征值。
6.如权利要求2所述的图像处理方法,其特征在于,所述采用所述特征拟合子网络对所述第一特征值集合、所述第二特征值集合以及所述第三特征值集合进行拟合处理,得到融合特征值的步骤,包括:
将各个所述第一特征值、第二特征值及第三特征值输入所述特征拟合子网络,确定相应的权重;
根据所述各个所述第一特征值、第二特征值及第三特征值及相应权重进行加权求和计算,得到所述融合特征值。
7.如权利要求1所述的图像处理方法,其特征在于,采用预设的图像分割模型包括第一分割子模型和第二分割子模型;
所述采用预设的图像分割模型对所述食管癌染色图像进行分割,提取多个血管区域及乏血管区域的步骤,包括:
将所述食管癌染色图像输入所述第一分割子模型进行分割,得到多个所述血管区域;
将所述食管癌染色图像输入所述第二分割子模型进行分割,得到多个所述乏血管区域。
8.一种图像处理装置,其特征在于,包括:
分割模块,用于获取食管癌染色图像,采用预设的图像分割模型对所述食管癌染色图像进行分割,提取多个血管区域及乏血管区域;
第一确定模块,用于对所述血管区域进行第一预设属性的特征提取,得到第一特征值集合,所述第一特征值集合包括多个第一特征值,每个所述预设属性对应一个所述第一特征值;
第二确定模块,用于对所述乏血管区域进行第二预设属性的特征提取,得到第二特征值集合,所述第二特征值集合包括多个第二特征值,每个所述预设属性对应一个所述第二特征值;
第三确定模块,用于对所述食管癌染色图像进行第三预设属性的特征提取,得到第三特征值集合,所述第三特征值集合包括多个第三特征值,每个所述预设属性对应一个所述第三特征值;
分类模块,用于将所述第一特征值集合、所述第二特征值集合以及所述第三特征值集合输入预设分类器进行分类处理,生成分类结果,所述分类结果包括非浸润、浅层浸润及深层浸润。
9.一种计算机设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述图像处理方法的步骤。
10.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至7任一项所述图像处理方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111262617.7A CN113706533B (zh) | 2021-10-28 | 2021-10-28 | 图像处理方法、装置、计算机设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111262617.7A CN113706533B (zh) | 2021-10-28 | 2021-10-28 | 图像处理方法、装置、计算机设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113706533A true CN113706533A (zh) | 2021-11-26 |
CN113706533B CN113706533B (zh) | 2022-02-08 |
Family
ID=78647430
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111262617.7A Active CN113706533B (zh) | 2021-10-28 | 2021-10-28 | 图像处理方法、装置、计算机设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113706533B (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113887677A (zh) * | 2021-12-07 | 2022-01-04 | 武汉大学 | 上皮乳头内毛细血管图像的分类方法、装置、设备及介质 |
CN114022481A (zh) * | 2022-01-06 | 2022-02-08 | 武汉大学 | 食管癌乏血管区域大小的确定方法和系统 |
CN114359279A (zh) * | 2022-03-18 | 2022-04-15 | 武汉楚精灵医疗科技有限公司 | 图像处理方法、装置、计算机设备及存储介质 |
CN116309558A (zh) * | 2023-05-16 | 2023-06-23 | 四川大学华西医院 | 一种食管黏膜IPCLs血管区域分割方法、设备及存储介质 |
CN116596869A (zh) * | 2022-11-22 | 2023-08-15 | 武汉楚精灵医疗科技有限公司 | 胃部标志物的浸润深度检测方法、装置及存储介质 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3511901A1 (en) * | 2018-01-16 | 2019-07-17 | Universität Bern | Method of rendering spatially-correlated image data |
CN110415206A (zh) * | 2019-04-08 | 2019-11-05 | 上海墩庐生物医学科技有限公司 | 一种识别肺腺癌浸润分型的方法 |
WO2020105699A1 (ja) * | 2018-11-21 | 2020-05-28 | 株式会社Aiメディカルサービス | 消化器官の内視鏡画像による疾患の診断支援方法、診断支援システム、診断支援プログラム及びこの診断支援プログラムを記憶したコンピュータ読み取り可能な記録媒体 |
CN111242174A (zh) * | 2019-12-31 | 2020-06-05 | 浙江大学 | 一种基于影像组学的肝癌图像特征提取与病理分类方法和装置 |
CN112419246A (zh) * | 2020-11-12 | 2021-02-26 | 复旦大学 | 量化食管粘膜IPCLs血管形态分布的深度检测网络 |
CN113344859A (zh) * | 2021-05-17 | 2021-09-03 | 武汉大学 | 胃黏膜染色放大成像的微血管环绕程度量化方法 |
-
2021
- 2021-10-28 CN CN202111262617.7A patent/CN113706533B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3511901A1 (en) * | 2018-01-16 | 2019-07-17 | Universität Bern | Method of rendering spatially-correlated image data |
WO2020105699A1 (ja) * | 2018-11-21 | 2020-05-28 | 株式会社Aiメディカルサービス | 消化器官の内視鏡画像による疾患の診断支援方法、診断支援システム、診断支援プログラム及びこの診断支援プログラムを記憶したコンピュータ読み取り可能な記録媒体 |
CN110415206A (zh) * | 2019-04-08 | 2019-11-05 | 上海墩庐生物医学科技有限公司 | 一种识别肺腺癌浸润分型的方法 |
CN111242174A (zh) * | 2019-12-31 | 2020-06-05 | 浙江大学 | 一种基于影像组学的肝癌图像特征提取与病理分类方法和装置 |
CN112419246A (zh) * | 2020-11-12 | 2021-02-26 | 复旦大学 | 量化食管粘膜IPCLs血管形态分布的深度检测网络 |
CN113344859A (zh) * | 2021-05-17 | 2021-09-03 | 武汉大学 | 胃黏膜染色放大成像的微血管环绕程度量化方法 |
Non-Patent Citations (2)
Title |
---|
R ISHIHARA等: "Narrow Band Imaging for Diagnosis and Prediction of Infiltration Depth of Esophageal Neoplasias", 《VIDEO JOURNAL AND ENCYCLOPEDIA OF GI ENDOSCOPY》 * |
李夏等: "内镜诊断早期胃癌的新进展", 《海南医学院学报》 * |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113887677A (zh) * | 2021-12-07 | 2022-01-04 | 武汉大学 | 上皮乳头内毛细血管图像的分类方法、装置、设备及介质 |
CN113887677B (zh) * | 2021-12-07 | 2022-03-01 | 武汉大学 | 上皮乳头内毛细血管图像的分类方法、装置、设备及介质 |
CN114022481A (zh) * | 2022-01-06 | 2022-02-08 | 武汉大学 | 食管癌乏血管区域大小的确定方法和系统 |
CN114022481B (zh) * | 2022-01-06 | 2022-04-19 | 武汉大学 | 食管癌乏血管区域大小的确定方法和系统 |
CN114359279A (zh) * | 2022-03-18 | 2022-04-15 | 武汉楚精灵医疗科技有限公司 | 图像处理方法、装置、计算机设备及存储介质 |
CN116596869A (zh) * | 2022-11-22 | 2023-08-15 | 武汉楚精灵医疗科技有限公司 | 胃部标志物的浸润深度检测方法、装置及存储介质 |
CN116596869B (zh) * | 2022-11-22 | 2024-03-05 | 武汉楚精灵医疗科技有限公司 | 胃部标志物的浸润深度检测方法、装置及存储介质 |
CN116309558A (zh) * | 2023-05-16 | 2023-06-23 | 四川大学华西医院 | 一种食管黏膜IPCLs血管区域分割方法、设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN113706533B (zh) | 2022-02-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113706533B (zh) | 图像处理方法、装置、计算机设备及存储介质 | |
CN110110799B (zh) | 细胞分类方法、装置、计算机设备和存储介质 | |
CN107480649B (zh) | 一种基于全卷积神经网络的指纹汗孔提取方法 | |
US7983486B2 (en) | Method and apparatus for automatic image categorization using image texture | |
CN111524137B (zh) | 基于图像识别的细胞识别计数方法、装置和计算机设备 | |
CN111860147B (zh) | 行人重识别模型优化处理方法、装置和计算机设备 | |
CN110415250B (zh) | 一种基于深度学习的重叠染色体分割方法及装置 | |
JP6341650B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
CN112200121A (zh) | 基于evm和深度学习的高光谱未知目标检测方法 | |
CN111898621A (zh) | 一种轮廓形状识别方法 | |
CN108986109B (zh) | 一种序列化可视人体切片图像自动分割方法 | |
Karadağ et al. | Segmentation fusion for building detection using domain-specific information | |
Sherif et al. | Skin lesion analysis toward melanoma detection using deep learning techniques | |
Chitra et al. | A survey on image analysis techniques in agricultural product | |
CN111767943A (zh) | 地膜识别方法、装置、电子设备及存储介质 | |
CN117830321A (zh) | 一种基于图像识别的粮食质量检测方法 | |
CN115375674B (zh) | 胃白光瘤变图像识别方法、装置及存储介质 | |
CN116245855B (zh) | 作物品种鉴定方法、装置、设备及存储介质 | |
CN104766068A (zh) | 一种多规则融合的随机游走舌像提取方法 | |
CN114359279B (zh) | 图像处理方法、装置、计算机设备及存储介质 | |
CN114494712A (zh) | 对象提取方法及装置 | |
CN111368776A (zh) | 一种基于深度集成学习的高分辨率遥感图像分类方法 | |
CN114299299A (zh) | 一种树叶特征提取方法、装置、计算机设备和存储介质 | |
Sidorova | Global segmentation of textural images on the basis of hierarchical clusterization by predetermined cluster separability | |
CN112966781A (zh) | 基于三元组损失和卷积神经网络的高光谱图像分类方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |