CN114078128B - 医学图像处理方法、装置、终端及存储介质 - Google Patents
医学图像处理方法、装置、终端及存储介质 Download PDFInfo
- Publication number
- CN114078128B CN114078128B CN202210065158.1A CN202210065158A CN114078128B CN 114078128 B CN114078128 B CN 114078128B CN 202210065158 A CN202210065158 A CN 202210065158A CN 114078128 B CN114078128 B CN 114078128B
- Authority
- CN
- China
- Prior art keywords
- image
- background mucosa
- channel
- background
- esophagus
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 32
- 210000004877 mucosa Anatomy 0.000 claims abstract description 334
- 210000003238 esophagus Anatomy 0.000 claims abstract description 164
- 238000010186 staining Methods 0.000 claims abstract description 153
- 238000012545 processing Methods 0.000 claims abstract description 128
- 230000003321 amplification Effects 0.000 claims abstract description 114
- 238000003199 nucleic acid amplification method Methods 0.000 claims abstract description 114
- 210000004204 blood vessel Anatomy 0.000 claims abstract description 110
- 230000011218 segmentation Effects 0.000 claims abstract description 108
- 230000008595 infiltration Effects 0.000 claims abstract description 49
- 238000001764 infiltration Methods 0.000 claims abstract description 49
- 239000003550 marker Substances 0.000 claims abstract description 48
- 238000000034 method Methods 0.000 claims abstract description 31
- 238000007499 fusion processing Methods 0.000 claims abstract description 26
- 238000004043 dyeing Methods 0.000 claims abstract description 13
- 238000012512 characterization method Methods 0.000 claims description 44
- 238000006243 chemical reaction Methods 0.000 claims description 21
- 238000001914 filtration Methods 0.000 claims description 13
- 230000002146 bilateral effect Effects 0.000 claims description 12
- 239000003086 colorant Substances 0.000 claims description 6
- 238000012549 training Methods 0.000 claims description 5
- 238000004590 computer program Methods 0.000 claims description 3
- 230000006870 function Effects 0.000 description 15
- 230000000694 effects Effects 0.000 description 14
- 238000010586 diagram Methods 0.000 description 11
- 230000003902 lesion Effects 0.000 description 9
- 230000008569 process Effects 0.000 description 9
- 230000015572 biosynthetic process Effects 0.000 description 8
- 238000004891 communication Methods 0.000 description 8
- 238000003786 synthesis reaction Methods 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 5
- 238000012360 testing method Methods 0.000 description 5
- 239000008280 blood Substances 0.000 description 4
- 238000001514 detection method Methods 0.000 description 4
- 210000001035 gastrointestinal tract Anatomy 0.000 description 4
- 210000004876 tela submucosa Anatomy 0.000 description 4
- 208000000461 Esophageal Neoplasms Diseases 0.000 description 3
- 208000007433 Lymphatic Metastasis Diseases 0.000 description 3
- 206010030155 Oesophageal carcinoma Diseases 0.000 description 3
- 210000004369 blood Anatomy 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 239000002131 composite material Substances 0.000 description 3
- 201000004101 esophageal cancer Diseases 0.000 description 3
- 238000003709 image segmentation Methods 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 208000025402 neoplasm of esophagus Diseases 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 238000001228 spectrum Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 206010028980 Neoplasm Diseases 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 238000001839 endoscopy Methods 0.000 description 2
- 210000000981 epithelium Anatomy 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 230000001788 irregular Effects 0.000 description 2
- 210000004400 mucous membrane Anatomy 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000002271 resection Methods 0.000 description 2
- 208000023514 Barrett esophagus Diseases 0.000 description 1
- 208000023665 Barrett oesophagus Diseases 0.000 description 1
- 206010064147 Gastrointestinal inflammation Diseases 0.000 description 1
- 206010054949 Metaplasia Diseases 0.000 description 1
- 208000037062 Polyps Diseases 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000004040 coloring Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000007599 discharging Methods 0.000 description 1
- 238000013399 early diagnosis Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000002496 gastric effect Effects 0.000 description 1
- GVVPGTZRZFNKDS-JXMROGBWSA-N geranyl diphosphate Chemical compound CC(C)=CCC\C(C)=C\CO[P@](O)(=O)OP(O)(O)=O GVVPGTZRZFNKDS-JXMROGBWSA-N 0.000 description 1
- 230000000762 glandular Effects 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 230000002757 inflammatory effect Effects 0.000 description 1
- 230000009545 invasion Effects 0.000 description 1
- 238000003064 k means clustering Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 210000001165 lymph node Anatomy 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003387 muscular Effects 0.000 description 1
- 230000002980 postoperative effect Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000001356 surgical procedure Methods 0.000 description 1
- 230000004083 survival effect Effects 0.000 description 1
- 230000002792 vascular Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10068—Endoscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30101—Blood vessel; Artery; Vein; Vascular
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
Abstract
本申请提供一种医学图像处理方法、装置、终端及存储介质，该方法包括：获取食管背景粘膜染色放大图像对应的血管分割图像；获取其对应的乏血管区域分割图像；将血管分割图像和乏血管区域分割图像进行图像叠加处理，得到血管分割叠加图像；获取食管背景粘膜染色放大图像对应的背景粘膜色表征图像；获取食管背景粘膜染色放大图像对应的背景粘膜平整程度表征图像；将血管分割叠加图像、背景粘膜色表征图像和背景粘膜平整程度表征图像进行通道融合处理，得到食管背景粘膜染色放大合成图像；基于食管背景粘膜染色放大合成图像，确定食管背景粘膜染色放大图像对应的食管标志物的浸润深度。提高了对食管标志物的浸润深度确定的准确度。
Description
技术领域
本申请涉及医疗辅助技术领域，具体涉及一种医学图像处理方法、装置、终端及存储介质。
背景技术
随着消化道内窥镜技术的发展，消化道标志物的早诊早治与内镜下微创治疗迅速得到推广。食管标志物早期的主要诊疗方式为手术切除，研究指出，随着早期食管标志物浸润深层加深，病灶淋巴结转移风险不断增加，浸润深度达粘膜下层中下2/3（SM2~SM3）的食管标志物病灶淋巴结转移风险比更浅层病灶淋巴结转移风险高20-50倍，这类病灶应采取外科下手术治疗，必要时应进行淋巴结扫查。而内镜下手术切除具有微创、并发症少、恢复速度快等优势，广泛被应用于浅层早期食管标志物（≤SM1）的治疗。故术前病灶浸润程度评估是早期食管标志物手术方式选择的重要依据，浸润深度的准确判断是食管标志物患者诊疗的关键，实现食管标志物的完全切除，并且避免不必要的额外手术负担，提高患者术后生存质量。
食管标志物浸润深度判断可根据病变颜色、病灶粘膜平整度及背景粘膜色，以及微血管形态等多项指标进行预测。参考NBI放大内镜下日本食管标志物协会提出的JES-AB分型,上皮内毛细血管袢(IPCL)血管分支不规则、环状结构少见的B2型血管则表示浸润深度达粘膜肌层或粘膜下层上1/3，即M3~SM1；IPCL微血管管径明显扩张，直径较B2型3倍以上B3型血管则表示病灶浸润深度已达到粘膜下层下2/3，即SM2~SM3；同时，当B2血管围成的食管病灶乏血管区域（AVA）直径达到3mm，则提示食管标志物浸润深度达到粘膜下层中1/3（SM2），即SM2。基于以上多项与食管标志物深度相关的特征，食管标志物浸润深度的判断过程复杂，由于内镜医师的临床经验与主观判断的异质性，导致食管标志物术前浸润深度预估准确度难以保证。
然而，现有确定食管标志物浸润深度，存在确定结果的特异度和准确度低下的情况，因此，如何提高医学图像处理的特异度和准确度是当前医疗辅助技术领域亟需解决的技术问题。
发明内容
本申请提供一种医学图像处理方法、装置、终端及存储介质，旨在解决如何提高医学图像处理的特异度和准确度是当前医疗辅助技术领域亟需解决的技术问题。
一方面，本申请提供一种医学图像处理方法，所述方法包括：
获取食管背景粘膜染色放大图像对应的血管分割图像；
获取所述食管背景粘膜染色放大图像对应的乏血管区域分割图像；
将所述血管分割图像和所述乏血管区域分割图像进行图像叠加处理，得到血管分割叠加图像；
获取所述食管背景粘膜染色放大图像对应的背景粘膜色表征图像；
获取所述食管背景粘膜染色放大图像对应的背景粘膜平整程度表征图像；
将所述血管分割叠加图像、所述背景粘膜色表征图像和所述背景粘膜平整程度表征图像进行通道融合处理，得到食管背景粘膜染色放大合成图像；
基于所述食管背景粘膜染色放大合成图像，确定所述食管背景粘膜染色放大图像对应的食管标志物的浸润深度。
在本申请一种可能的实现方式中，所述将所述血管分割叠加图像、所述背景粘膜色表征图像和所述背景粘膜平整程度表征图像进行通道融合处理，得到食管背景粘膜染色放大合成图像，包括：
将所述背景粘膜色表征图像的三个通道进行拆分处理，得到第一背景粘膜色表征图像通道、第二背景粘膜色表征图像通道以及第三背景粘膜色表征图像通道；
将所述背景粘膜平整程度表征图像的三个通道进行拆分处理，得到第一背景粘膜平整程度表征图像通道、第二背景粘膜平整程度表征图像通道以及第三背景粘膜平整程度表征图像通道；
将所述第一背景粘膜色表征图像通道和所述第一背景粘膜平整程度表征图像通道进行通道叠加，得到第一叠加通道；
将第二背景粘膜色表征图像通道和第二背景粘膜平整程度表征图像通道进行通道叠加，得到第二叠加通道；
将第三背景粘膜色表征图像通道、第三背景粘膜平整程度表征图像通道和所述叠加图像对应的叠加图像通道进行通道叠加，得到第三叠加通道；
将所述第一叠加通道、所述第二叠加通道以及所述第三叠加通道进行融合，得到食管背景粘膜染色放大合成图像。
在本申请一种可能的实现方式中，所述获取所述食管背景粘膜染色放大图像对应的背景粘膜色表征图像，包括：
对所述食管背景粘膜染色放大图像进行颜色聚类处理，得到背景粘膜色表征图像。
在本申请一种可能的实现方式中，所述获取所述食管背景粘膜染色放大图像对应的背景粘膜平整程度表征图像，包括：
对所述食管背景粘膜染色放大图像进行尺寸调整，得到调整后的第一目标对象图像；
对所述第一目标对象图像进行第一颜色模式转换处理，得到第二目标对象图像；
对所述第二目标对象图像的预设通道进行双边滤波处理，得到第三目标对象图像；
对所述第三目标对象图像进行第二颜色模式转换处理，得到第四目标对象图像；
调整所述第四目标对象图像对应的调色板颜色数目，得到背景粘膜平整程度表征图像。
在本申请一种可能的实现方式中，所述对所述第一目标对象图像进行第一颜色模式转换处理，得到第二目标对象图像，包括：
将所述第一目标对象图像的RGB颜色模式转换为XYZ颜色模式，得到第二目标对象图像。
在本申请一种可能的实现方式中，所述对所述食管背景粘膜染色放大图像进行尺寸调整，得到调整后的第一目标对象图像，包括：
获取所述食管背景粘膜染色放大图像的第一尺寸信息；
将所述第一尺寸信息与预设的目标尺寸信息相比较；
若所述第一尺寸信息小于预设的目标尺寸，则基于所述第一尺寸信息和所述目标尺寸信息，确定缩放比例，并根据所述缩放比例对所述食管背景粘膜染色放大图像进行缩放处理，得到第一处理图像；
对所述第一处理图像进行边界填充处理，得到第一目标对象图像。
在本申请一种可能的实现方式中，所述基于所述食管背景粘膜染色放大合成图像，确定所述食管背景粘膜染色放大图像对应的食管标志物的浸润深度，包括：
将所述食管背景粘膜染色放大合成图像输入预先训练医学图像处理模型中，得到模型确定结果；
基于所述模型确定结果，确定所述食管背景粘膜染色放大图像对应的食管标志物的浸润深度。
另一方面，本申请提供一种医学图像处理装置，所述装置包括：
第一获取单元，用于获取食管背景粘膜染色放大图像对应的血管分割图像；
第二获取单元，用于获取所述食管背景粘膜染色放大图像对应的乏血管区域分割图像；
第一图像叠加处理单元，用于将所述血管分割图像和所述乏血管区域分割图像进行图像叠加处理，得到血管分割叠加图像；
第三获取单元，用于获取所述食管背景粘膜染色放大图像对应的背景粘膜色表征图像；
第四获取单元，用于获取所述食管背景粘膜染色放大图像对应的背景粘膜平整程度表征图像；
第一通道融合处理单元，用于将所述血管分割叠加图像、所述背景粘膜色表征图像和所述背景粘膜平整程度表征图像进行通道融合处理，得到食管背景粘膜染色放大合成图像；
第一确定单元，用于基于所述食管背景粘膜染色放大合成图像，确定所述食管背景粘膜染色放大图像对应的食管标志物的浸润深度。
在本申请一种可能的实现方式中，所述第一通道融合处理单元，具体用于：
将所述背景粘膜色表征图像的三个通道进行拆分处理，得到第一背景粘膜色表征图像通道、第二背景粘膜色表征图像通道以及第三背景粘膜色表征图像通道；
将所述背景粘膜平整程度表征图像的三个通道进行拆分处理，得到第一背景粘膜平整程度表征图像通道、第二背景粘膜平整程度表征图像通道以及第三背景粘膜平整程度表征图像通道；
将所述第一背景粘膜色表征图像通道和所述第一背景粘膜平整程度表征图像通道进行通道叠加，得到第一叠加通道；
将第二背景粘膜色表征图像通道和第二背景粘膜平整程度表征图像通道进行通道叠加，得到第二叠加通道；
将第三背景粘膜色表征图像通道、第三背景粘膜平整程度表征图像通道和所述叠加图像对应的叠加图像通道进行通道叠加，得到第三叠加通道；
将所述第一叠加通道、所述第二叠加通道以及所述第三叠加通道进行融合，得到食管背景粘膜染色放大合成图像。
在本申请一种可能的实现方式中，所述第三获取单元，具体用于：
对所述食管背景粘膜染色放大图像进行颜色聚类处理，得到背景粘膜色表征图像。
在本申请一种可能的实现方式中，所述第四获取单元，具体包括：
第一尺寸调整单元，用于对所述食管背景粘膜染色放大图像进行尺寸调整，得到调整后的第一目标对象图像；
第一颜色模式转换处理单元，用于对所述第一目标对象图像进行第一颜色模式转换处理，得到第二目标对象图像；
第一双边滤波处理单元，用于对所述第二目标对象图像的预设通道进行双边滤波处理，得到第三目标对象图像；
第二颜色模式转换处理单元，用于对所述第三目标对象图像进行第二颜色模式转换处理，得到第四目标对象图像；
第一调整单元，用于调整所述第四目标对象图像对应的调色板颜色数目，得到背景粘膜平整程度表征图像。
在本申请一种可能的实现方式中，所述第一颜色模式转换处理单元，具体用于：
将所述第一目标对象图像的RGB颜色模式转换为XYZ颜色模式，得到第二目标对象图像。
在本申请一种可能的实现方式中，所述第一尺寸调整单元，具体用于：
获取所述食管背景粘膜染色放大图像的第一尺寸信息；
将所述第一尺寸信息与预设的目标尺寸信息相比较；
若所述第一尺寸信息小于预设的目标尺寸，则基于所述第一尺寸信息和所述目标尺寸信息，确定缩放比例，并根据所述缩放比例对所述食管背景粘膜染色放大图像进行缩放处理，得到第一处理图像；
对所述第一处理图像进行边界填充处理，得到第一目标对象图像。
在本申请一种可能的实现方式中，所述第一确定单元，具体用于：
将所述食管背景粘膜染色放大合成图像输入预先训练医学图像处理模型中，得到模型确定结果；
基于所述模型确定结果，确定所述食管背景粘膜染色放大图像对应的食管标志物的浸润深度。
另一方面，本申请还提供一种终端，所述终端包括：
一个或多个处理器；
存储器；以及
一个或多个应用程序，其中所述一个或多个应用程序被存储于所述存储器中，并配置为由所述处理器执行以实现所述的医学图像处理方法。
另一方面，本申请还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器进行加载，以执行所述的医学图像处理方法中的步骤。
本申请提供一种医学图像处理方法，该方法通过获取食管背景粘膜染色放大图像对应的血管分割图像；获取食管背景粘膜染色放大图像对应的乏血管区域分割图像；将血管分割图像和乏血管区域分割图像进行图像叠加处理，得到血管分割叠加图像；获取食管背景粘膜染色放大图像对应的背景粘膜色表征图像；获取食管背景粘膜染色放大图像对应的背景粘膜平整程度表征图像；将血管分割叠加图像、背景粘膜色表征图像和背景粘膜平整程度表征图像进行通道融合处理，得到食管背景粘膜染色放大合成图像；基于食管背景粘膜染色放大合成图像，确定食管背景粘膜染色放大图像对应的食管标志物的浸润深度。相较于现有医学图像处理方法，本申请针对食管标志物内镜图像进行多维度信息合成处理，生成多信息合成图可以弥补人类视觉处理的有限性，并经过实验测试，其医学图像处理的特异度明显提高，从而提高了对食管标志物的浸润深度确定的准确度。
附图说明
图1是本申请实施例提供的医学图像处理系统的场景示意图；
图2是本申请实施例中提供的医学图像处理方法的一个实施例流程示意图；
图3是本申请实施例中提供的步骤205的一个实施例流程示意图；
图4是本申请实施例中提供的步骤301的一个实施例流程示意图；
图5是本申请实施例中提供的步骤206的一个实施例流程示意图；
图6是本申请实施例中提供的步骤207的一个实施例流程示意图；
图7是本申请实施例中提供的医学图像处理装置的一个实施例结构示意图；
图8是本申请实施例中提供的终端的一个实施例结构示意图；
图9是本申请实施例中提供的食管背景粘膜染色放大图像的原图；
图10是本申请实施例中提供的血管分割图像的效果示意图；
图11是本申请实施例中提供的乏血管区域分割图像的效果示意图；
图12是本申请实施例中提供的血管分割叠加图像的效果示意图；
图13是本申请实施例中提供的原图与背景粘膜色表征图像的对比效果示意图；
图14是本申请实施例中提供的图像尺寸缩放效果图；
图15是本申请实施例中提供的食管背景粘膜染色放大合成图像的效果示意图；
图16是本申请实施例中提供的非深层浸润深度与深层浸润深度的对比效果图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
在本申请的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本申请和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本申请的限制。此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个所述特征。在本申请的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
在本申请中，“示例性”一词用来表示“用作例子、例证或说明”。本申请中被描述为“示例性”的任何实施例不一定被解释为比其它实施例更优选或更具优势。为了使本领域任何技术人员能够实现和使用本申请，给出了以下描述。在以下描述中，为了解释的目的而列出了细节。应当明白的是，本领域普通技术人员可以认识到，在不使用这些特定细节的情况下也可以实现本申请。在其它实例中，不会对公知的结构和过程进行详细阐述，以避免不必要的细节使本申请的描述变得晦涩。因此，本申请并非旨在限于所示的实施例，而是与符合本申请所公开的原理和特征的最广范围相一致。
本申请实施例提供一种医学图像处理方法、装置、终端及存储介质，以下分别进行详细说明。
如图1所示，图1是本申请实施例提供的医学图像处理系统的场景示意图，该医学图像处理系统可以包括多个终端100和服务器200，终端100和服务器200网络连接，服务器200中集成有医学图像处理装置，如图1中的服务器，终端100可以访问服务器200。
本申请实施例中服务器200主要用于获取食管背景粘膜染色放大图像对应的血管分割图像；获取食管背景粘膜染色放大图像对应的乏血管区域分割图像；将血管分割图像和乏血管区域分割图像进行图像叠加处理，得到血管分割叠加图像；获取食管背景粘膜染色放大图像对应的背景粘膜色表征图像；获取食管背景粘膜染色放大图像对应的背景粘膜平整程度表征图像；将血管分割叠加图像、背景粘膜色表征图像和背景粘膜平整程度表征图像进行通道融合处理，得到食管背景粘膜染色放大合成图像；基于食管背景粘膜染色放大合成图像，确定食管背景粘膜染色放大图像对应的食管标志物的浸润深度。
本申请实施例中，该服务器200可以是独立的服务器，也可以是服务器组成的服务器网络或服务器集群，例如本申请实施例中所描述的服务器200，其包括但不限于计算机、网络终端、单个网络服务器、多个网络服务器集或多个服务器构成的云服务器。其中，云服务器由基于云计算(Cloud Computing)的大量计算机或网络服务器构成。本申请的实施例中，服务器与终端之间可通过任何通信方式实现通信，包括但不限于，基于第三代合作伙伴计划（3rd Generation Partnership Project，3GPP）、长期演进（Long Term Evolution，LTE)、全球互通微波访问（Worldwide Interoperability for Microwave Access，WiMAX）的移动通信，或基于TCP/IP协议族（TCP/IP Protocol Suite，TCP/IP）、用户数据报协议（User Datagram Protocol，UDP）的计算机网络通信等。
可以理解的是，本申请实施例中所使用的终端100可以是既包括接收和发射硬件的设备，既具有能够在双向通信链路上，执行双向通信的接收和发射硬件的设备。这种终端可以包括：蜂窝或其他通信设备，其具有单线路显示器或多线路显示器或没有多线路显示器的蜂窝或其他通信设备。具体的终端100具体可以是台式终端或移动终端，终端100具体还可以是手机、平板电脑、笔记本电脑、医疗辅助仪器等中的一种。
本领域技术人员可以理解，图1中示出的应用环境，仅仅是与本申请方案的一种应用场景，并不构成对本申请方案应用场景的限定，其他的应用环境还可以包括比图1中所示更多或更少的终端，或者服务器网络连接关系，例如图1中仅示出1个服务器和2个终端。可以理解的，该医学图像处理系统还可以包括一个或多个其他服务器，或/且一个或多个与服务器网络连接的终端，具体此处不作限定。
另外，如图1所示，该医学图像处理系统还可以包括存储器300，用于存储数据，如存储用户食管背景粘膜染色放大图像和医学图像处理数据，例如医学图像处理系统运行时的医学图像处理数据。
需要说明的是，图1所示的医学图像处理系统的场景示意图仅仅是一个示例，本申请实施例描述的医学图像处理系统以及场景是为了更加清楚的说明本申请实施例的技术方案，并不构成对于本申请实施例提供的技术方案的限定，本领域普通技术人员可知，随着医学图像处理系统的演变和新业务场景的出现，本申请实施例提供的技术方案对于类似的技术问题，同样适用。
接下来，介绍本申请实施例提供的医学图像处理方法。
本申实施例医学图像处理方法的实施例中以医学图像处理装置作为执行主体，为了简化与便于描述，后续方法实施例中将省略该执行主体，该医学图像处理装置应用于终端，该方法包括：获取食管背景粘膜染色放大图像对应的血管分割图像；获取食管背景粘膜染色放大图像对应的乏血管区域分割图像；将血管分割图像和乏血管区域分割图像进行图像叠加处理，得到血管分割叠加图像；获取食管背景粘膜染色放大图像对应的背景粘膜色表征图像；获取食管背景粘膜染色放大图像对应的背景粘膜平整程度表征图像；将血管分割叠加图像、背景粘膜色表征图像和背景粘膜平整程度表征图像进行通道融合处理，得到食管背景粘膜染色放大合成图像；基于食管背景粘膜染色放大合成图像，确定食管背景粘膜染色放大图像对应的食管标志物的浸润深度。
请参阅图2至图16，图2为本申请实施例中提供的医学图像处理方法的一个实施例流程示意图，该医学图像处理方法包括步骤：
201、获取食管背景粘膜染色放大图像对应的血管分割图像。
其中，食管背景粘膜染色放大图像是通过窄带成像内镜（Narrow Band Imaging，NBI）获取，而NBI是利用滤光器过滤掉内镜光源所发出的红蓝绿光波中的宽带光谱，仅留下窄带光谱用于获取消化道情况的技术。NBI内镜技术主要的优势在于：不仅能够精确观察消化道粘膜上皮形态，如上皮腺凹结构，还可以观察上皮血管网的形态。这种新技术能够更好地帮助内镜医生区分胃肠道上皮，如Barrett食管中的肠化生上皮，胃肠道炎症中血管形态的改变，以及胃肠道早期肿瘤腺凹不规则改变，从而提高内镜检测的准确率。如图9所示的食管背景粘膜染色放大图像的原图。
其中，血管分割图像指的是从食管背景粘膜染色放大图像中分割出来的微血管图像。具体的，可以通过图像分割的方式获取食管背景粘膜染色放大图像对应的血管分割图像。如图10所示，例如，包括采用Unet图像分割网络进行血管分割得到血管分割图，但不限于此，如还可采用传统的图像分割方式。
202、获取食管背景粘膜染色放大图像对应的乏血管区域分割图像。
其中，如图11所示，乏血管区域分割图像指的是从食管背景粘膜对应乏血管区域（AVA）的分割图像。其具体获取方式可与步骤301中获取血管分割图像的方式相同，在此不做赘述。
203、将血管分割图像和乏血管区域分割图像进行图像叠加处理，得到血管分割叠加图像。
具体的，本申请可以多种图片叠加的方式将血管分割图像和乏血管区域分割图像进行图像叠加处理，包括通过opencv自带的 bitwise_or()函数进行叠加，但不限于此，得到的血管分割叠加图像，如图12所示。
本申请发明人在实验研究过程中发现，采用食管背景粘膜染色放大图像对应的血管分割图像、乏血管区域分割图像进行叠加得到的血管分割叠加图像用于后续对食管标志物的浸润深度检测，可以有效提高检测的灵敏度和特异度的综合值。
204、获取食管背景粘膜染色放大图像对应的背景粘膜色表征图像。
在本申请的一些实施例中，所述获取食管背景粘膜染色放大图像对应的背景粘膜色表征图像，包括：对食管背景粘膜染色放大图像进行颜色聚类处理，得到背景粘膜色表征图像。
在聚类算法中，本申请发明人通过实验发现，采用k-means算法，其计算效率最高。
具体实现步骤如下：
（1）、从预先获取的样本集合中随机抽取k个样本点作为初始簇的中心；
（2）、将每个样本点划分到距离它最近的中心点所代表的簇中；
（3）、用各个簇中所有样本点的中心点代表簇的中心点；
（4）、重复上述步骤（1）和步骤（2），直到簇的中心点不变或达到设定的迭代次数或达到设定容错范围。
常用距离度量标准是欧式距离的平方：
其中x和y表示不同的两个样本，n表示样本的维度（特征的数量）。
基于欧几里得距离，k-means聚类算法需要优化的问题就是使得簇内误差平方和（SSE）最小，其中，
表示第j个簇的中心。其得到背景粘膜色表征图像，如图13所示，为原图与背景粘膜色表征图像的对比效果图。
205、获取食管背景粘膜染色放大图像对应的背景粘膜平整程度表征图像。
206、将血管分割叠加图像、背景粘膜色表征图像和背景粘膜平整程度表征图像进行通道融合处理，得到食管背景粘膜染色放大合成图像。
207、基于食管背景粘膜染色放大合成图像，确定食管背景粘膜染色放大图像对应的食管标志物的浸润深度。
其中，食管标志物可以是食管肿瘤，炎症物，息肉，食管异物（如外部吞咽物）。本申请主要以食管肿瘤（或食管癌）进行举例说明，即食管标志物即食管癌。
具体的，食管（浅表型）肿瘤在NBI光源内窥镜检查下通常表现为的棕色区域。NBI非放大光源下棕色区域主要由不规则扩张的上皮内乳头状毛细血管袢(IPCLs)组成。而在NBI放大光源下可以清晰可见IPCL的区域之间尚存在背景着色区域，又被称为背景粘膜色（background coloration,BGC）。
不同于白光光源下内镜成像，NBI窄带成像技术通过滤掉红蓝绿光波中的宽带光谱，增强消化道黏膜血管的图像，突出粘膜表面微血管改变，因此NBI放大光源精查成为食管肿瘤浸润深度判断的首要依据。
而经过发明人实验发现，食管癌浸润深度可以根据病变颜色、病灶粘膜平整度及背景粘膜色，以及微血管形态等多项指标进行预测的，因此，本申请采用由血管分割叠加图像、背景粘膜色表征图像和背景粘膜平整程度表征图像进行通道融合处理，得到食管背景粘膜染色放大合成图像，然后基于食管背景粘膜染色放大合成图像，确定食管背景粘膜染色放大图像对应的食管标志物的浸润深度的效果更加，其确定的特异度和准确度显著提升。
本申请提供一种医学图像处理方法，该方法通过获取食管背景粘膜染色放大图像对应的血管分割图像；获取食管背景粘膜染色放大图像对应的乏血管区域分割图像；将血管分割图像和乏血管区域分割图像进行图像叠加处理，得到血管分割叠加图像；获取食管背景粘膜染色放大图像对应的背景粘膜色表征图像；获取食管背景粘膜染色放大图像对应的背景粘膜平整程度表征图像；将血管分割叠加图像、背景粘膜色表征图像和背景粘膜平整程度表征图像进行通道融合处理，得到食管背景粘膜染色放大合成图像；基于食管背景粘膜染色放大合成图像，确定食管背景粘膜染色放大图像对应的食管标志物的浸润深度。相较于现有医学图像处理方法，本申请针对食管标志物内镜图像进行多维度信息合成处理，生成多信息合成图可以弥补人类视觉处理的有限性，并经过实验测试，其医学图像处理的特异度明显提高，从而提高了对食管标志物的浸润深度确定的准确度。
在本申请的一些实施例中，如图3所示，步骤205、获取食管背景粘膜染色放大图像对应的背景粘膜平整程度表征图像，包括：
301、对食管背景粘膜染色放大图像进行尺寸调整，得到调整后的第一目标对象图像。
302、对第一目标对象图像进行第一颜色模式转换处理，得到第二目标对象图像。
在本申请的一些实施例中，第一颜色模式转换处理可以是将第一目标对象图像原有的RGB颜色模式转换到XYZ颜色模式。
303、对第二目标对象图像的预设通道进行双边滤波处理，得到第三目标对象图像。
其中，在三色加色法模型中，如果某一种颜色和另一种混合了不同份量的三种原色的颜色，均使人类看上去是相同的话，则把这三种原色的份量称作该颜色的三色刺激值。色彩空间通常会给出颜色的三色刺激值，并以X、Y和Z来表示。XYZ空间是由 XYZ值导出的空间， Y 是颜色的明度或亮度。X和Y是CIE 色度坐标，它们是所有三个三色刺激值 X、Y 和 Z的函数所规范化的三个值中的两个。该预设通道可以是第二目标对象图像对应的XYZ颜色模式中的X通道，因此，可对第二目标对象图像的X通道进行双边滤波处理，得到第三目标对象图像。
具体的，双边滤波是一种非线性的滤波方法，是结合图像的空间邻近度和像素值相似度的一种折衷处理，同时考虑空域信息和灰度相似性，达到保边去噪的目的。双边滤波器之所以能够做到在平滑去噪的同时还能够很好的保存边缘，是由于其滤波器的核由两个函数生成：一个函数由像素欧式距离决定滤波器模板的系数，另一个函数由像素的灰度差值决定滤波器的系数。双边滤波原理如下：
其中，g(i,j)代表输出点；S(i,j)指以(i,j)为中心的(2N+1)(2N+1)的大小范围；f (k,l)代表（多个）输入点；w (i,j,k,l)=w s * w r ，w s 为空间临近高斯函数，
，w r 为像素值相似度高斯函数，
。
双边滤波器受3个参数的控制：滤波器半宽N、参数
。N越大，平滑作用越强；
分别控制着空间邻近度因子w s 和亮度像似度因子w r 的衰减程度。本申请中，N可取5，
。
304、对第三目标对象图像进行第二颜色模式转换处理，得到第四目标对象图像。
具体的，可通过PIL自带的conver()方法将第三目标对象图像进行第二颜色模式转换处理，即将第三目标对象图像对应的XYZ颜色模式，转换为P颜色模式。
305、调整第四目标对象图像对应的调色板颜色数目，得到背景粘膜平整程度表征图像。
其中，根据步骤304的第二颜色模式转换处理后，其第四目标对象图像的颜色模式为P颜色模式，由此，可通过调整第四目标对象图像对应的调色板颜色数目，得到背景粘膜平整程度表征图像，该背景粘膜平整程度表征图像由一定数目的颜色特征进行表达。具体的，本申请通过实验研究发现，选取调色板数目为4，用于后续检测效果最佳。
在本申请的一些实施例中，如图4所示，步骤301、对食管背景粘膜染色放大图像进行尺寸调整，得到调整后的第一目标对象图像，包括：
401、获取食管背景粘膜染色放大图像的第一尺寸信息。
402、将第一尺寸信息与预设的目标尺寸信息相比较。
403、若第一尺寸信息小于预设的目标尺寸，则基于第一尺寸信息和目标尺寸信息，确定缩放比例，并根据缩放比例对食管背景粘膜染色放大图像进行缩放处理，得到第一处理图像。
404、对第一处理图像进行边界填充处理，得到第一目标对象图像。
在步骤403至步骤404中，其中，目标尺寸信息可以根据实际情况进行调整，为了便于理解，进行举例说明：
其目标尺寸信息（w*,h*），然而第一尺寸信息为（w0,h0），本申请中目标尺寸可以是（480，480）。
首先，确定缩放系数，
，则缩放后图片尺寸为
；边界填充时使原图居中，在边缘填充黑边。宽边填充宽度：
，长边填充宽度：
，由此，使得第一食管粘膜图像的初始尺寸从（w0,h0）转换为目标尺寸（w*,h*）。
进一步的，由于上述存在至少两种具体情况，如图14所示，（确定沿x方向为图像的宽，沿y方向为图像的高）a1图像的宽大于高，而b1图像的高大于宽。因此，当第一食管粘膜图像为a1图像时，即第一食管粘膜图像的初始尺寸的w0>h0时，则在a1图像的上方和下方分别填充像素值为0、高度
的纯黑图像，a1图像缩放效果如a2图像所示。
当第一食管粘膜图像为b1图像时，即第一食管粘膜图像的初始尺寸的w0<h0时，则在图像的左边和右边分别填充像素值为0、宽度
的纯黑图像，b2图像缩放效果如b2图像所示。
在本申请的一些实施例中，如图5所示，步骤206、将血管分割叠加图像、背景粘膜色表征图像和背景粘膜平整程度表征图像进行通道融合处理，得到食管背景粘膜染色放大合成图像，包括：
501、将背景粘膜色表征图像的三个通道进行拆分处理，得到第一背景粘膜色表征图像通道、第二背景粘膜色表征图像通道以及第三背景粘膜色表征图像通道。
502、将背景粘膜平整程度表征图像的三个通道进行拆分处理，得到第一背景粘膜平整程度表征图像通道、第二背景粘膜平整程度表征图像通道以及第三背景粘膜平整程度表征图像通道。
503、将第一背景粘膜色表征图像通道和第一背景粘膜平整程度表征图像通道进行通道叠加，得到第一叠加通道。
504、将第二背景粘膜色表征图像通道和第二背景粘膜平整程度表征图像通道进行通道叠加，得到第二叠加通道。
505、将第三背景粘膜色表征图像通道、第三背景粘膜平整程度表征图像通道和叠加图像对应的叠加图像通道进行通道叠加，得到第三叠加通道。
506、将第一叠加通道、第二叠加通道以及第三叠加通道进行融合，得到食管背景粘膜染色放大合成图像。
具体的，可以通过opencv自带的merge()方法进行通道融合，合成图像效果图如图15所示。
在本申请的一些实施例中，如图6所示，步骤207、基于食管背景粘膜染色放大合成图像，确定食管背景粘膜染色放大图像对应的食管标志物的浸润深度，包括：
601、将食管背景粘膜染色放大合成图像输入预先训练医学图像处理模型中，得到模型处理结果。
602、基于模型处理结果，确定食管背景粘膜染色放大图像对应的食管标志物的浸润深度。
在本申请实施例中，在步骤801、将食管背景粘膜染色放大合成图像输入预先训练医学图像处理模型中，得到模型处理结果，之前，还可预先构建及训练模型，具体的，本申请可以以ResNet50为基础神经网络结构，损失函数采用二元交叉熵损失：
其中m为输入样本数，模型预测值为Y，真实值为
。
模型的输出结果为0或1，分别代表非深层浸润深度与深层浸润深度，如图16所示，其左侧图对应输出结果为0，即代表非深层浸润深度，而图16中右侧图对应输出结果为1，即代表深层浸润深度。
为了更好实施本申请实施例中医学图像处理方法，在医学图像处理方法基础之上，本申请实施例中还提供一种医学图像处理装置，如图7所示，医学图像处理装置700包括第一获取单元701、第二获取单元702、第一图像叠加处理单元703、第三获取单元704、第四获取单元705、第一通道融合处理单元706以及第一确定单元707：
第一获取单元701，用于获取食管背景粘膜染色放大图像对应的血管分割图像；
第二获取单元702，用于获取所述食管背景粘膜染色放大图像对应的乏血管区域分割图像；
第一图像叠加处理单元703，用于将所述血管分割图像和所述乏血管区域分割图像进行图像叠加处理，得到血管分割叠加图像；
第三获取单元704，用于获取所述食管背景粘膜染色放大图像对应的背景粘膜色表征图像；
第四获取单元705，用于获取所述食管背景粘膜染色放大图像对应的背景粘膜平整程度表征图像；
第一通道融合处理单元706，用于将所述血管分割叠加图像、所述背景粘膜色表征图像和所述背景粘膜平整程度表征图像进行通道融合处理，得到食管背景粘膜染色放大合成图像；
第一确定单元707，用于基于所述食管背景粘膜染色放大合成图像，确定所述食管背景粘膜染色放大图像对应的食管标志物的浸润深度。
在本申请一种可能的实现方式中，所述第一通道融合处理单元706，具体用于：
将所述背景粘膜色表征图像的三个通道进行拆分处理，得到第一背景粘膜色表征图像通道、第二背景粘膜色表征图像通道以及第三背景粘膜色表征图像通道；
将所述背景粘膜平整程度表征图像的三个通道进行拆分处理，得到第一背景粘膜平整程度表征图像通道、第二背景粘膜平整程度表征图像通道以及第三背景粘膜平整程度表征图像通道；
将所述第一背景粘膜色表征图像通道和所述第一背景粘膜平整程度表征图像通道进行通道叠加，得到第一叠加通道；
将第二背景粘膜色表征图像通道和第二背景粘膜平整程度表征图像通道进行通道叠加，得到第二叠加通道；
将第三背景粘膜色表征图像通道、第三背景粘膜平整程度表征图像通道和所述叠加图像对应的叠加图像通道进行通道叠加，得到第三叠加通道；
将所述第一叠加通道、所述第二叠加通道以及所述第三叠加通道进行融合，得到食管背景粘膜染色放大合成图像。
在本申请一种可能的实现方式中，所述第三获取单元704，具体用于：
对所述食管背景粘膜染色放大图像进行颜色聚类处理，得到背景粘膜色表征图像。
在本申请一种可能的实现方式中，所述第四获取单元705，具体包括：
第一尺寸调整单元，用于对所述食管背景粘膜染色放大图像进行尺寸调整，得到调整后的第一目标对象图像；
第一颜色模式转换处理单元，用于对所述第一目标对象图像进行第一颜色模式转换处理，得到第二目标对象图像；
第一双边滤波处理单元，用于对所述第二目标对象图像的预设通道进行双边滤波处理，得到第三目标对象图像；
第二颜色模式转换处理单元，用于对所述第三目标对象图像进行第二颜色模式转换处理，得到第四目标对象图像；
第一调整单元，用于调整所述第四目标对象图像对应的调色板颜色数目，得到背景粘膜平整程度表征图像。
在本申请一种可能的实现方式中，所述第一颜色模式转换处理单元，具体用于：
将所述第一目标对象图像的RGB颜色模式转换为XYZ颜色模式，得到第二目标对象图像。
在本申请一种可能的实现方式中，所述第一尺寸调整单元，具体用于：
获取所述食管背景粘膜染色放大图像的第一尺寸信息；
将所述第一尺寸信息与预设的目标尺寸信息相比较；
若所述第一尺寸信息小于预设的目标尺寸，则基于所述第一尺寸信息和所述目标尺寸信息，确定缩放比例，并根据所述缩放比例对所述食管背景粘膜染色放大图像进行缩放处理，得到第一处理图像；
对所述第一处理图像进行边界填充处理，得到第一目标对象图像。
在本申请一种可能的实现方式中，所述第一确定单元707，具体用于：
将所述食管背景粘膜染色放大合成图像输入预先训练医学图像处理模型中，得到模型确定结果；
基于所述模型确定结果，确定所述食管背景粘膜染色放大图像对应的食管标志物的浸润深度。
本申请提供一种医学图像处理装置，该装置通过第一获取单元701，用于获取食管背景粘膜染色放大图像对应的血管分割图像；第二获取单元702，用于获取所述食管背景粘膜染色放大图像对应的乏血管区域分割图像；第一图像叠加处理单元703，用于将所述血管分割图像和所述乏血管区域分割图像进行图像叠加处理，得到血管分割叠加图像；第三获取单元704，用于获取所述食管背景粘膜染色放大图像对应的背景粘膜色表征图像；第四获取单元705，用于获取所述食管背景粘膜染色放大图像对应的背景粘膜平整程度表征图像；第一通道融合处理单元706，用于将所述血管分割叠加图像、所述背景粘膜色表征图像和所述背景粘膜平整程度表征图像进行通道融合处理，得到食管背景粘膜染色放大合成图像；第一确定单元707，用于基于所述食管背景粘膜染色放大合成图像，确定所述食管背景粘膜染色放大图像对应的食管标志物的浸润深度。相较于现有医学图像处理装置，本申请针对食管标志物内镜图像进行多维度信息合成处理，生成多信息合成图可以弥补人类视觉处理的有限性，并经过实验测试，其医学图像处理的特异度明显提高，从而提高了对食管标志物的浸润深度确定的准确度。
除了上述介绍用于医学图像处理方法与装置之外，本申请实施例还提供一种终端，其集成了本申请实施例所提供的任一种医学图像处理装置，终端包括：
一个或多个处理器；
存储器；以及
一个或多个应用程序，其中一个或多个应用程序被存储于存储器中，并配置为由处理器执行上述医学图像处理方法实施例中任一实施例中的任一方法的操作。
本申请实施例还提供一种终端，其集成了本申请实施例所提供的任一种医学图像处理装置。参阅图8，图8是本申请实施例提供的终端一个实施例结构示意图。
如图8所示，其示出了本申请实施例所设计的医学图像处理装置的结构示意图，具体来讲：
该医学图像处理装置可以包括一个或者一个以上处理核心的处理器801、一个或一个以上计算机可读存储介质的存储单元802、电源803和输入单元804等部件。本领域技术人员可以理解，图8中示出的医学图像处理装置结构并不构成对医学图像处理装置的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。其中：
处理器801是该医学图像处理装置的控制中心，利用各种接口和线路连接整个医学图像处理装置的各个部分，通过运行或执行存储在存储单元802内的软件程序和/或模块，以及调用存储在存储单元802的数据，执行医学图像处理装置的各种功能和处理数据，从而对医学图像处理装置进行整体监控。可选的，处理器801可包括一个或多个处理核心；优选的，处理器801可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器801中。
存储单元802可用于存储软件程序以及模块，处理器801通过运行存储在存储单元802的软件程序以及模块，从而执行各种功能应用以及数据处理。存储单元802可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序（比如声音播放功能、图像播放功能等）等；存储数据区可存储根据医学图像处理装置的使用所创建的数据等。此外，存储单元802可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储单元802还可以包括存储器控制器，以提供处理器801对存储单元802的访问。
医学图像处理装置还包括给各个部件供电的电源803，优选的，电源803可以通过电源管理系统与处理器801逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源803还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
该医学图像处理装置还可包括输入单元804，该输入单元804可用于接收输入的数字或字符信息，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。
尽管未示出，医学图像处理装置还可以包括显示单元等，在此不再赘述。具体在本申请实施例中，医学图像处理装置中的处理器801会按照如下的指令，将一个或一个以上的应用程序的进程对应的可执行文件加载到存储单元802中，并由处理器801来运行存储在存储单元802中的应用程序，从而实现各种功能，如下：
获取食管背景粘膜染色放大图像对应的血管分割图像；获取食管背景粘膜染色放大图像对应的乏血管区域分割图像；将血管分割图像和乏血管区域分割图像进行图像叠加处理，得到血管分割叠加图像；获取食管背景粘膜染色放大图像对应的背景粘膜色表征图像；获取食管背景粘膜染色放大图像对应的背景粘膜平整程度表征图像；将血管分割叠加图像、背景粘膜色表征图像和背景粘膜平整程度表征图像进行通道融合处理，得到食管背景粘膜染色放大合成图像；基于食管背景粘膜染色放大合成图像，确定食管背景粘膜染色放大图像对应的食管标志物的浸润深度。
本申请提供一种医学图像处理方法，该方法通过获取食管背景粘膜染色放大图像对应的血管分割图像；获取食管背景粘膜染色放大图像对应的乏血管区域分割图像；将血管分割图像和乏血管区域分割图像进行图像叠加处理，得到血管分割叠加图像；获取食管背景粘膜染色放大图像对应的背景粘膜色表征图像；获取食管背景粘膜染色放大图像对应的背景粘膜平整程度表征图像；将血管分割叠加图像、背景粘膜色表征图像和背景粘膜平整程度表征图像进行通道融合处理，得到食管背景粘膜染色放大合成图像；基于食管背景粘膜染色放大合成图像，确定食管背景粘膜染色放大图像对应的食管标志物的浸润深度。相较于现有医学图像处理方法，本申请针对食管标志物内镜图像进行多维度信息合成处理，生成多信息合成图可以弥补人类视觉处理的有限性，并经过实验测试，其医学图像处理的特异度明显提高，从而提高了对食管标志物的浸润深度确定的准确度。
为此，本申请实施例提供一种计算机可读存储介质，该计算机可读存储介质可以包括：只读存储器（ROM，Read Only Memory）、随机存取记忆体（RAM，Random AccessMemory）、磁盘或光盘等。该计算机可读存储介质中存储有多条指令，该指令能够被处理器进行加载，以执行本申请实施例所提供的任一种医学图像处理方法中的步骤。例如，该指令可以执行如下步骤：
获取食管背景粘膜染色放大图像对应的血管分割图像；获取食管背景粘膜染色放大图像对应的乏血管区域分割图像；将血管分割图像和乏血管区域分割图像进行图像叠加处理，得到血管分割叠加图像；获取食管背景粘膜染色放大图像对应的背景粘膜色表征图像；获取食管背景粘膜染色放大图像对应的背景粘膜平整程度表征图像；将血管分割叠加图像、背景粘膜色表征图像和背景粘膜平整程度表征图像进行通道融合处理，得到食管背景粘膜染色放大合成图像；基于食管背景粘膜染色放大合成图像，确定食管背景粘膜染色放大图像对应的食管标志物的浸润深度。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
以上对本申请实施例所提供的一种医学图像处理方法、装置、终端及存储介质进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上，本说明书内容不应理解为对本申请的限制。
Claims (9)
1.一种医学图像处理方法，其特征在于，所述方法包括：
获取食管背景粘膜染色放大图像对应的血管分割图像；
获取所述食管背景粘膜染色放大图像对应的乏血管区域分割图像；
将所述血管分割图像和所述乏血管区域分割图像进行图像叠加处理，得到血管分割叠加图像；
获取所述食管背景粘膜染色放大图像对应的背景粘膜色表征图像；
获取所述食管背景粘膜染色放大图像对应的背景粘膜平整程度表征图像；
将所述血管分割叠加图像、所述背景粘膜色表征图像和所述背景粘膜平整程度表征图像进行通道融合处理，得到食管背景粘膜染色放大合成图像；
基于所述食管背景粘膜染色放大合成图像，确定所述食管背景粘膜染色放大图像对应的食管标志物的浸润深度；
其中，所述将所述血管分割叠加图像、所述背景粘膜色表征图像和所述背景粘膜平整程度表征图像进行通道融合处理，得到食管背景粘膜染色放大合成图像，包括：
将所述背景粘膜色表征图像的三个通道进行拆分处理，得到第一背景粘膜色表征图像通道、第二背景粘膜色表征图像通道以及第三背景粘膜色表征图像通道；
将所述背景粘膜平整程度表征图像的三个通道进行拆分处理，得到第一背景粘膜平整程度表征图像通道、第二背景粘膜平整程度表征图像通道以及第三背景粘膜平整程度表征图像通道；
将所述第一背景粘膜色表征图像通道和所述第一背景粘膜平整程度表征图像通道进行通道叠加，得到第一叠加通道；
将第二背景粘膜色表征图像通道和第二背景粘膜平整程度表征图像通道进行通道叠加，得到第二叠加通道；
将第三背景粘膜色表征图像通道、第三背景粘膜平整程度表征图像通道和所述叠加图像对应的叠加图像通道进行通道叠加，得到第三叠加通道；
将所述第一叠加通道、所述第二叠加通道以及所述第三叠加通道进行融合，得到食管背景粘膜染色放大合成图像。
2.根据权利要求1所述的医学图像处理方法，其特征在于，所述获取所述食管背景粘膜染色放大图像对应的背景粘膜色表征图像，包括：
对所述食管背景粘膜染色放大图像进行颜色聚类处理，得到背景粘膜色表征图像。
3.根据权利要求1所述的医学图像处理方法，其特征在于，所述获取所述食管背景粘膜染色放大图像对应的背景粘膜平整程度表征图像，包括：
对所述食管背景粘膜染色放大图像进行尺寸调整，得到调整后的第一目标对象图像；
对所述第一目标对象图像进行第一颜色模式转换处理，得到第二目标对象图像；
对所述第二目标对象图像的预设通道进行双边滤波处理，得到第三目标对象图像；
对所述第三目标对象图像进行第二颜色模式转换处理，得到第四目标对象图像；
调整所述第四目标对象图像对应的调色板颜色数目，得到背景粘膜平整程度表征图像。
4.根据权利要求3所述的医学图像处理方法，其特征在于，所述对所述第一目标对象图像进行第一颜色模式转换处理，得到第二目标对象图像，包括：
将所述第一目标对象图像的RGB颜色模式转换为XYZ颜色模式，得到第二目标对象图像。
5.根据权利要求3所述的医学图像处理方法，其特征在于，所述对所述食管背景粘膜染色放大图像进行尺寸调整，得到调整后的第一目标对象图像，包括：
获取所述食管背景粘膜染色放大图像的第一尺寸信息；
将所述第一尺寸信息与预设的目标尺寸信息相比较；
若所述第一尺寸信息小于预设的目标尺寸，则基于所述第一尺寸信息和所述目标尺寸信息，确定缩放比例，并根据所述缩放比例对所述食管背景粘膜染色放大图像进行缩放处理，得到第一处理图像；
对所述第一处理图像进行边界填充处理，得到第一目标对象图像。
6.根据权利要求1所述的医学图像处理方法，其特征在于，所述基于所述食管背景粘膜染色放大合成图像，确定所述食管背景粘膜染色放大图像对应的食管标志物的浸润深度，包括：
将所述食管背景粘膜染色放大合成图像输入预先训练医学图像处理模型中，得到模型确定结果；
基于所述模型确定结果，确定所述食管背景粘膜染色放大图像对应的食管标志物的浸润深度。
7.一种医学图像处理装置，其特征在于，所述装置包括：
第一获取单元，用于获取食管背景粘膜染色放大图像对应的血管分割图像；
第二获取单元，用于获取所述食管背景粘膜染色放大图像对应的乏血管区域分割图像；
第一图像叠加处理单元，用于将所述血管分割图像和所述乏血管区域分割图像进行图像叠加处理，得到血管分割叠加图像；
第三获取单元，用于获取所述食管背景粘膜染色放大图像对应的背景粘膜色表征图像；
第四获取单元，用于获取所述食管背景粘膜染色放大图像对应的背景粘膜平整程度表征图像；
第一通道融合处理单元，用于将所述血管分割叠加图像、所述背景粘膜色表征图像和所述背景粘膜平整程度表征图像进行通道融合处理，得到食管背景粘膜染色放大合成图像；
第一确定单元，用于基于所述食管背景粘膜染色放大合成图像，确定所述食管背景粘膜染色放大图像对应的食管标志物的浸润深度；
其中，所述第一通道融合处理单元，具体用于：
将所述背景粘膜色表征图像的三个通道进行拆分处理，得到第一背景粘膜色表征图像通道、第二背景粘膜色表征图像通道以及第三背景粘膜色表征图像通道；
将所述背景粘膜平整程度表征图像的三个通道进行拆分处理，得到第一背景粘膜平整程度表征图像通道、第二背景粘膜平整程度表征图像通道以及第三背景粘膜平整程度表征图像通道；
将所述第一背景粘膜色表征图像通道和所述第一背景粘膜平整程度表征图像通道进行通道叠加，得到第一叠加通道；
将第二背景粘膜色表征图像通道和第二背景粘膜平整程度表征图像通道进行通道叠加，得到第二叠加通道；
将第三背景粘膜色表征图像通道、第三背景粘膜平整程度表征图像通道和所述叠加图像对应的叠加图像通道进行通道叠加，得到第三叠加通道；
将所述第一叠加通道、所述第二叠加通道以及所述第三叠加通道进行融合，得到食管背景粘膜染色放大合成图像。
8.一种终端，其特征在于，所述终端包括：
一个或多个处理器；
存储器；以及
一个或多个应用程序，其中所述一个或多个应用程序被存储于所述存储器中，并配置为由所述处理器执行以实现权利要求1至6中任一项所述的医学图像处理方法。
9.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，所述计算机程序被处理器进行加载，以执行权利要求1至6任一项所述的医学图像处理方法中的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210065158.1A CN114078128B (zh) | 2022-01-20 | 2022-01-20 | 医学图像处理方法、装置、终端及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210065158.1A CN114078128B (zh) | 2022-01-20 | 2022-01-20 | 医学图像处理方法、装置、终端及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114078128A CN114078128A (zh) | 2022-02-22 |
| CN114078128B true CN114078128B (zh) | 2022-04-12 |
Family
ID=80284684
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210065158.1A Active CN114078128B (zh) | 2022-01-20 | 2022-01-20 | 医学图像处理方法、装置、终端及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114078128B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116109559A (zh) * | 2022-11-22 | 2023-05-12 | 武汉楚精灵医疗科技有限公司 | 胃部标志物的浸润深度检测方法、装置及存储介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2016067777A (ja) * | 2014-09-30 | 2016-05-09 | 富士フイルム株式会社 | 内視鏡システム、プロセッサ装置、内視鏡システムの作動方法、及びプロセッサ装置の作動方法 |
| CN113643291A (zh) * | 2021-10-14 | 2021-11-12 | 武汉大学 | 食管标志物浸润深度等级确定方法、装置及可读存储介质 |
| CN113887677A (zh) * | 2021-12-07 | 2022-01-04 | 武汉大学 | 上皮乳头内毛细血管图像的分类方法、装置、设备及介质 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110504029B (zh) * | 2019-08-29 | 2022-08-19 | 腾讯医疗健康(深圳)有限公司 | 一种医学图像处理方法、医学图像识别方法及装置 |
-
2022
- 2022-01-20 CN CN202210065158.1A patent/CN114078128B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2016067777A (ja) * | 2014-09-30 | 2016-05-09 | 富士フイルム株式会社 | 内視鏡システム、プロセッサ装置、内視鏡システムの作動方法、及びプロセッサ装置の作動方法 |
| CN113643291A (zh) * | 2021-10-14 | 2021-11-12 | 武汉大学 | 食管标志物浸润深度等级确定方法、装置及可读存储介质 |
| CN113887677A (zh) * | 2021-12-07 | 2022-01-04 | 武汉大学 | 上皮乳头内毛细血管图像的分类方法、装置、设备及介质 |
Non-Patent Citations (3)
| Title |
|---|
| 《Endoscopic Detection and Analysis of Mucosal Neoplastic Lesions：Enhanced Imaging and Tumor Morphology》;Frieder Berr，et al;《Atlas of Early Neoplasias of the Gastrointestinal Tract》;20190402;第3-24页 * |
| 《内镜窄带成像技术结合色素内镜在食管早癌诊断及治疗中的作用》;林志刚，等;《新疆医学》;20121231;第42卷;第78-80页 * |
| 《窄带光成像和放大内镜图像在早期食管鳞癌诊断中的应用研究及其计算机辅助诊断研究方法的探索性研究》;赵媛媛;《中国优秀博硕士学位论文全文数据库（博士） 医药卫生科技辑》;20190915(第9期);第E072-72页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114078128A (zh) | 2022-02-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113643291B (zh) | 食管标志物浸润深度等级确定方法、装置及可读存储介质 | |
| JP2010187756A (ja) | 画像処理装置、画像処理方法および画像処理プログラム | |
| JP2002165757A (ja) | 診断支援装置 | |
| JP6704933B2 (ja) | 画像処理装置、画像処理方法およびプログラム | |
| CN114078128B (zh) | 医学图像处理方法、装置、终端及存储介质 | |
| US10748279B2 (en) | Image processing apparatus, image processing method, and computer readable recording medium | |
| CN104883948B (zh) | 图像处理装置以及图像处理方法 | |
| Suman et al. | Image enhancement using geometric mean filter and gamma correction for WCE images | |
| JPWO2020174747A1 (ja) | 医用画像処理装置、プロセッサ装置、内視鏡システム、医用画像処理方法、及びプログラム | |
| Imtiaz et al. | Color enhancement in endoscopic images using adaptive sigmoid function and space variant color reproduction | |
| CN114022880B (zh) | 食管粘膜平坦程度量化方法、装置、终端及存储介质 | |
| CN110796612B (zh) | 一种图像增强方法及系统 | |
| CN113822897A (zh) | 血管分割方法、终端及计算机可读存储介质 | |
| Shrivastava et al. | A novel approach to multiclass psoriasis disease risk stratification: Machine learning paradigm | |
| WO2023056950A1 (zh) | 图像处理方法和电子设备 | |
| US9965881B2 (en) | Method for generating image and image generation system | |
| CN116883426A (zh) | 肺区分割、肺疾病评估方法及装置、电子设备和存储介质 | |
| CN114417037A (zh) | 图像处理方法、装置、终端及可读存储介质 | |
| JP5622903B2 (ja) | 画像処理装置、画像処理装置の作動方法および画像処理プログラム | |
| WO2016208016A1 (ja) | 画像処理装置、画像処理方法、及び画像処理プログラム | |
| CN117372305A (zh) | 一种图像颜色增强方法、装置、设备和存储介质 | |
| Zhu et al. | Research on Endoscopic Image Enhancement Algorithm Based on Contrast Fusion | |
| CN116091452A (zh) | 喉部图像的特征确定方法、装置及相关设备 | |
| Attar et al. | Wireless Micro-Ball endoscopic image enhancement using histogram information | |
| Zhang et al. | Research on Tissue Structure Enhancement Method of Medical Endoscope Images |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |