CN113674269B - 基于一致性损失的肿瘤脑区定位方法及装置 - Google Patents
基于一致性损失的肿瘤脑区定位方法及装置 Download PDFInfo
- Publication number
- CN113674269B CN113674269B CN202111006282.2A CN202111006282A CN113674269B CN 113674269 B CN113674269 B CN 113674269B CN 202111006282 A CN202111006282 A CN 202111006282A CN 113674269 B CN113674269 B CN 113674269B
- Authority
- CN
- China
- Prior art keywords
- image
- loss
- network
- region
- determining
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 67
- 206010028980 Neoplasm Diseases 0.000 title claims abstract description 45
- 210000004556 brain Anatomy 0.000 title claims abstract description 44
- 238000005192 partition Methods 0.000 claims abstract description 107
- 230000011218 segmentation Effects 0.000 claims abstract description 22
- 230000004807 localization Effects 0.000 claims abstract description 15
- 239000011159 matrix material Substances 0.000 claims description 50
- 230000003902 lesion Effects 0.000 claims description 49
- 238000012549 training Methods 0.000 claims description 40
- 238000012545 processing Methods 0.000 claims description 29
- 238000004590 computer program Methods 0.000 claims description 15
- 230000004927 fusion Effects 0.000 claims description 15
- 238000013507 mapping Methods 0.000 claims description 12
- 230000008447 perception Effects 0.000 claims description 12
- 239000002131 composite material Substances 0.000 claims 1
- 238000003745 diagnosis Methods 0.000 abstract description 11
- 238000000638 solvent extraction Methods 0.000 abstract description 5
- 238000010586 diagram Methods 0.000 description 28
- 230000006870 function Effects 0.000 description 15
- 230000008569 process Effects 0.000 description 12
- 238000004891 communication Methods 0.000 description 10
- 238000011176 pooling Methods 0.000 description 9
- 208000003174 Brain Neoplasms Diseases 0.000 description 8
- 210000001519 tissue Anatomy 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 7
- 230000008859 change Effects 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 5
- 206010030113 Oedema Diseases 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 4
- 230000005236 sound signal Effects 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000007917 intracranial administration Methods 0.000 description 3
- 206010027476 Metastases Diseases 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 2
- 210000005013 brain tissue Anatomy 0.000 description 2
- 201000010099 disease Diseases 0.000 description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000002595 magnetic resonance imaging Methods 0.000 description 2
- 230000001902 propagating effect Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 206010003571 Astrocytoma Diseases 0.000 description 1
- KXLUWEYBZBGJRZ-POEOZHCLSA-N Canin Chemical compound O([C@H]12)[C@]1([C@](CC[C@H]1C(=C)C(=O)O[C@@H]11)(C)O)[C@@H]1[C@@]1(C)[C@@H]2O1 KXLUWEYBZBGJRZ-POEOZHCLSA-N 0.000 description 1
- 201000009030 Carcinoma Diseases 0.000 description 1
- GPFVKTQSZOQXLY-UHFFFAOYSA-N Chrysartemin A Natural products CC1(O)C2OC2C34OC3(C)CC5C(CC14)OC(=O)C5=C GPFVKTQSZOQXLY-UHFFFAOYSA-N 0.000 description 1
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 description 1
- 208000009798 Craniopharyngioma Diseases 0.000 description 1
- 206010014967 Ependymoma Diseases 0.000 description 1
- 208000032612 Glial tumor Diseases 0.000 description 1
- 206010018338 Glioma Diseases 0.000 description 1
- 208000002125 Hemangioendothelioma Diseases 0.000 description 1
- 206010025323 Lymphomas Diseases 0.000 description 1
- 201000010133 Oligodendroglioma Diseases 0.000 description 1
- 206010035104 Pituitary tumour Diseases 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000003042 antagnostic effect Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 210000004204 blood vessel Anatomy 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 229910052802 copper Inorganic materials 0.000 description 1
- 239000010949 copper Substances 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 208000005017 glioblastoma Diseases 0.000 description 1
- 238000000185 intracerebroventricular administration Methods 0.000 description 1
- 230000009545 invasion Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 210000002418 meninge Anatomy 0.000 description 1
- 206010027191 meningioma Diseases 0.000 description 1
- 230000009401 metastasis Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000036651 mood Effects 0.000 description 1
- 210000005036 nerve Anatomy 0.000 description 1
- 230000001272 neurogenic effect Effects 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 210000003625 skull Anatomy 0.000 description 1
- 210000002330 subarachnoid space Anatomy 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 230000009469 supplementation Effects 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10088—Magnetic resonance imaging [MRI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Medical Informatics (AREA)
- Image Analysis (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
Abstract
本公开涉及一种基于一致性损失的肿瘤脑区定位方法及装置，所述方法包括：根据待处理图像中病灶区域的位置信息，去除病灶区域，获得第一图像；通过生成网络对第一图像进行区域补全，获得第二图像；通过分区网络对第二图像进行区域分割，获得分区图；根据待处理图像中病灶区域的位置信息和分区图，确定病灶区域所属的分区。根据本公开的实施例的基于一致性损失的肿瘤脑区定位方法，可通过对去除病灶区域后的第一图像进行补全，来模拟不存在病灶的第二图像，并可对不存在病灶的第二图像进行区域分割，以提升分区的准确性。进而可确定病灶区域的位置所属的分区，提升确定病灶所属分区的准确率，可为病灶的诊断提供依据。
Description
技术领域
本公开涉及图像处理技术领域，尤其涉及一种基于一致性损失的肿瘤脑区定位方法及装置。
背景技术
脑部肿瘤多生长在颅腔，又称颅内肿瘤、脑癌，可起源于脑、脑膜、神经、血管及脑附件，或由身体的其他组织或脏器转移侵入颅内而形成。
脑肿瘤根据不同的位置，形态等因素进行分类，主要分为脑内肿瘤和脑外肿瘤，这里的脑为脑实质的简称。脑实质内就是指脑皮质和脑髓质内；脑实质外是指脑室内、蛛网膜下腔、硬膜组织甚至是颅骨。如果确定肿瘤是脑外肿瘤，那么应该考虑的肿瘤就是脑膜瘤、血管内皮瘤或外皮瘤、颅骨肿瘤等，或是鞍区的垂体瘤、颅咽管瘤等，桥小脑角区的神经源性肿瘤等等。如果确定是脑内肿瘤那么应该考虑的肿瘤就应该是星形细胞瘤、室管膜瘤、少突胶质细胞瘤、胶质母细胞瘤等等的胶质类肿瘤或淋巴瘤等少见肿瘤。除此之外也有一些颅内肿瘤脑内和脑外均能出现，比如转移瘤可以是脑内肿块的形式也可以是脑外肿块的形式，但以脑内常见。
判断颅内肿瘤是位于脑内还是脑外是一个非常普遍但是非常重要的问题，有助于对肿瘤进行鉴别和定性诊断。
MRI(Magnetic Resonance Imaging，磁共振成像)是脑肿瘤评估的影像学检查之一，与日常生活中常见场景不同，医学图像由于图像获取设备的影响，会出现对比度低、信噪比低、光强低等问题；在扫描过程中器官的移动也会造成图像的质量问题，因此为肿瘤的定位带来了一定的难度，在传统的肿瘤定位中，一般由医生进行判断，然而人会受到诸如精力限制、情绪波动等因素的影响，判断的精度存在不稳定性。
发明内容
本公开提出了一种基于一致性损失的肿瘤脑区定位方法及装置。
根据本公开的一方面，提供了一种基于一致性损失的肿瘤脑区定位方法，包括：根据待处理图像中病灶区域的位置信息，从所述待处理图像中去除所述病灶区域，获得第一图像；通过生成网络对所述第一图像进行区域补全，获得第二图像，所述第二图像中的生理区域不存在病灶；通过分区网络对所述第二图像进行区域分割，获得所述第二图像的分区图；根据所述待处理图像中病灶区域的位置信息和所述分区图，确定所述病灶区域所属的分区。
在一种可能的实现方式中，所述方法还包括：将第一样本图像和随机掩膜图像进行叠加处理，获得第二样本图像，其中，所述第一样本图像为不存在病灶的生理区域的医学图像，所述第二样本图像中包括叠加有掩膜的空白区域；将所述第一样本图像、所述第二样本图像分别输入所述生成网络，获得与所述第一样本图像对应的第一预测图像，以及与所述第二样本图像对应的第二预测图像；根据所述第一预测图像和所述第二预测图像，确定第一损失；根据所述第二预测图像和所述第一样本图像，确定第二损失；根据所述第一样本图像和所述第一预测图像，确定第三损失；根据所述第一损失、所述第二损失和所述第三损失，确定所述生成网络的综合网络损失；根据所述综合网络损失，训练所述生成网络。
在一种可能的实现方式中，根据所述第一预测图像和所述第二预测图像，确定第一损失，包括：根据所述第一预测图像和所述第二预测图像，以及第二预测图像中的生成区域的位置信息，确定像素损失，其中，所述生成区域为与所述第二样本图像中的空白区域对应的区域；将所述第二预测图像中的生成区域与所述第一预测图像进行融合，获得融合图像；根据所述第一预测图像、所述第二预测图像和所述融合图像分别通过所述生成网络的预设层级进行映射获得的特征图，确定感知损失，其中，所述生成网络包括多个网络层级；根据所述第一预测图像、所述第二预测图像和所述融合图像分别通过所述生成网络的预设层级进行映射获得的特征图，以及所述预设层级的网络参数，确定风格损失；根据所述融合图像，确定全变分损失；根据所述像素损失、所述感知损失、所述风格损失和所述全变分损失，确定所述第一损失。
在一种可能的实现方式中，根据所述第一预测图像、所述第二预测图像和所述融合图像分别通过所述生成网络的预设层级进行映射获得的特征图，以及所述预设层级的网络参数，确定风格损失，包括：根据所述特征图，分别确定所述第一预测图像对应的第一格拉姆矩阵、所述第二预测图像对应的第二格拉姆矩阵和所述融合图像对应的第三格拉姆矩阵；根据所述第一格拉姆矩阵、所述第二格拉姆矩阵和所述预设层级的网络参数，确定第一风格损失；根据所述第一格拉姆矩阵、所述第三格拉姆矩阵和所述预设层级的网络参数，确定第二风格损失；根据所述第一风格损失和所述第二风格损失，确定所述风格损失。
在一种可能的实现方式中，根据所述综合网络损失，训练所述生成网络，包括：
根据所述第一样本图像、所述第二样本图像、所述第二预测图像、所述综合网络损失和判别网络，对抗训练所述生成网络。
在一种可能的实现方式中，所述方法还包括：通过第三样本图像对所述分区网络进行训练，所述第三样本图像为不存在病灶的生理区域的医学图像，所述第三样本图像具有分区标注信息。
在一种可能的实现方式中，根据所述待处理图像中病灶区域的位置信息和所述分区图，确定所述病灶区域所属的分区，包括：根据所述待处理图像中病灶区域的位置信息和所述分区图，确定所述病灶区域在所述分区图中所在的目标区域；根据所述目标区域，确定所述病灶区域所属的分区。
根据本公开的一方面，提供了一种基于一致性损失的肿瘤脑区定位装置，所述装置包括：去除模块，用于根据待处理图像中病灶区域的位置信息，从所述待处理图像中去除所述病灶区域，获得第一图像；补全模块，用于通过生成网络对所述第一图像进行区域补全，获得第二图像，所述第二图像中的生理区域不存在病灶；分区模块，用于通过分区网络对所述第二图像进行区域分割，获得所述第二图像的分区图；确定模块，用于根据所述待处理图像中病灶区域的位置信息和所述分区图，确定所述病灶区域所属的分区。
在一种可能的实现方式中，所述装置还包括：第一训练模块，用于将第一样本图像和随机掩膜图像进行叠加处理，获得第二样本图像，其中，所述第一样本图像为不存在病灶的生理区域的医学图像，所述第二样本图像中包括叠加有掩膜的空白区域；将所述第一样本图像、所述第二样本图像分别输入所述生成网络，获得与所述第一样本图像对应的第一预测图像，以及与所述第二样本图像对应的第二预测图像；根据所述第一预测图像和所述第二预测图像，确定第一损失；根据所述第二预测图像和所述第一样本图像，确定第二损失；根据所述第一样本图像和所述第一预测图像，确定第三损失；根据所述第一损失、所述第二损失和所述第三损失，确定所述生成网络的综合网络损失；根据所述综合网络损失，训练所述生成网络。
在一种可能的实现方式中，所述第一训练模块进一步用于：根据所述第一预测图像和所述第二预测图像，以及第二预测图像中的生成区域的位置信息，确定像素损失，其中，所述生成区域为与所述第二样本图像中的空白区域对应的区域；将所述第二预测图像中的生成区域与所述第一预测图像进行融合，获得融合图像；根据所述第一预测图像、所述第二预测图像和所述融合图像分别通过所述生成网络的预设层级进行映射获得的特征图，确定感知损失，其中，所述生成网络包括多个网络层级；根据所述第一预测图像、所述第二预测图像和所述融合图像分别通过所述生成网络的预设层级进行映射获得的特征图，以及所述预设层级的网络参数，确定风格损失；根据所述融合图像，确定全变分损失；根据所述像素损失、所述感知损失、所述风格损失和所述全变分损失，确定所述第一损失。
在一种可能的实现方式中，所述第一训练模块进一步用于：根据所述特征图，分别确定所述第一预测图像对应的第一格拉姆矩阵、所述第二预测图像对应的第二格拉姆矩阵和所述融合图像对应的第三格拉姆矩阵；根据所述第一格拉姆矩阵、所述第二格拉姆矩阵和所述预设层级的网络参数，确定第一风格损失；根据所述第一格拉姆矩阵、所述第三格拉姆矩阵和所述预设层级的网络参数，确定第二风格损失；根据所述第一风格损失和所述第二风格损失，确定所述风格损失。
在一种可能的实现方式中，所述第一训练模块进一步用于：根据所述第一样本图像、所述第二样本图像、所述第二预测图像、所述综合网络损失和判别网络，对抗训练所述生成网络。
在一种可能的实现方式中，所述装置还包括：第二训练模块，用于通过第三样本图像对所述分区网络进行训练，所述第三样本图像为不存在病灶的生理区域的医学图像，所述第三样本图像具有分区标注信息。
在一种可能的实现方式中，所述确定模块进一步用于：根据所述待处理图像中病灶区域的位置信息和所述分区图，确定所述病灶区域在所述分区图中所在的目标区域；根据所述目标区域，确定所述病灶区域所属的分区。
根据本公开的一方面，提供了一种电子设备，包括：处理器；用于存储处理器可执行指令的存储器；其中，所述处理器被配置为调用所述存储器存储的指令，以执行上述方法。
根据本公开的一方面，提供了一种计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现上述方法。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，而非限制本公开。根据下面参考附图对示例性实施例的详细说明，本公开的其它特征及方面将变得清楚。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。
图1示出根据本公开实施例的基于一致性损失的肿瘤脑区定位方法的流程图；
图2A和图2B示出根据本公开的实施例的第一图像的示意图；
图3示出根据本公开的实施例的生成网络训练的示意图；
图4示出根据本公开的实施例的生成对抗训练的示意图；
图5示出根据本公开的实施例的分区网络的训练的示意图；
图6示出根据本公开实施例的基于一致性损失的肿瘤脑区定位方法的应用示意图；
图7示出根据本公开实施例的基于一致性损失的肿瘤脑区定位装置的框图；
图8示出根据本公开实施例的一种电子设备的框图；
图9示出根据本公开实施例的一种电子设备的框图。
具体实施方式
以下将参考附图详细说明本公开的各种示例性实施例、特征和方面。附图中相同的附图标记表示功能相同或相似的元件。尽管在附图中示出了实施例的各种方面，但是除非特别指出，不必按比例绘制附图。
在这里专用的词“示例性”意为“用作例子、实施例或说明性”。这里作为“示例性”所说明的任何实施例不必解释为优于或好于其它实施例。
本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合，例如，包括A、B、C中的至少一种，可以表示包括从A、B和C构成的集合中选择的任意一个或多个元素。
另外，为了更好地说明本公开，在下文的具体实施方式中给出了众多的具体细节。本领域技术人员应当理解，没有某些具体细节，本公开同样可以实施。在一些实例中，对于本领域技术人员熟知的方法、手段、元件和电路未作详细描述，以便于凸显本公开的主旨。
图1示出根据本公开实施例的基于一致性损失的肿瘤脑区定位方法的流程图，如图1所示，所述基于一致性损失的肿瘤脑区定位方法包括：
在步骤S11中，根据待处理图像中病灶区域的位置信息，从所述待处理图像中去除所述病灶区域，获得第一图像；
在步骤S12中，通过生成网络对所述第一图像进行区域补全，获得第二图像，所述第二图像中的生理区域不存在病灶；
在步骤S13中，通过分区网络对所述第二图像进行区域分割，获得所述第二图像的分区图；
在步骤S14中，根据所述待处理图像中病灶区域的位置信息和所述分区图，确定所述病灶区域所属的分区。
根据本公开的实施例的基于一致性损失的肿瘤脑区定位方法，可通过对去除病灶区域后的第一图像进行补全，来模拟不存在病灶的第二图像，并可对不存在病灶的第二图像进行区域分割，以提升分区的准确性。进而可确定病灶区域的位置所属的分区，提升确定病灶所属分区的准确率，可为病灶的诊断提供依据。
在一种可能的实现方式中，所述基于一致性损失的肿瘤脑区定位方法可以由终端设备或其它处理设备执行，其中，终端设备可以为用户设备(User Equipment，UE)、移动设备、用户终端、终端等。其它处理设备可为服务器或云端服务器等。在一些可能的实现方式中，该基于一致性损失的肿瘤脑区定位方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。或者，可通过服务器执行该方法。
在一种可能的实现方式中，脑瘤是一种难以准确诊断的疾病，由于脑部结构复杂，且患有肿瘤等病灶后易发生水肿变形等因素，对脑瘤的诊断与分区较为困难。并且，当前的诊断与分区工作主要依靠医生经验，诊断精度不稳定。并且，医生诊断的难度高，工作量大。
在一种可能的实现方式中，由于病灶可引起水肿，导致分区变形，或者，会导致图像中病灶区域的灰度、对比度等参数发生改变，因此，对具有病灶的图像进行分区的难度较大，而对不存在病灶的图像进行分区的难度会下降。针对上述问题，本公开提出一种基于一致性损失的肿瘤脑区定位方法，可将具有病灶的医学图像(即，待处理图像)中的病灶区域去除后，再将剩余区域进行补全，得到完整且不存在病灶的图像。对不存在病灶的图像进行分区，可降低分区的难度，提升分区的准确性。进而可基于分区结果以及病灶的位置，确定病灶所属分区，进而可提升病灶诊断的准确性。
在一种可能的实现方式中，首先，为了分区更准确，可在待处理图像中去除病灶区域。在示例中，待处理图像可以是脑部医学图像，例如，脑部三维MRI图像。待处理图像中，可存在肿瘤等病灶。在确定肿瘤所在的脑分区时，由于病灶引起的局部对比度或灰度等参数的变化，或者由于病灶引起的水肿导致分区变化等因素，可能导致分区准确率下降。因此，可在步骤S11中，去除病灶区域，例如，可确定病灶区域所在的位置，并对病灶区域添加掩膜，该掩膜可覆盖病灶区域，并去除病灶区域内的像素信息，例如，将病灶区域内的像素点的像素值设为0，获得第一图像。
图2A和图2B示出根据本公开的实施例的第一图像的示意图，如图2A所示，可在待处理图像中检测到病灶(例如，脑瘤)所在的区域，并对病灶区域添加掩膜，如图2B所示，在添加掩膜后，病灶区域内的像素点的像素值为0，获得第一图像。
在一种可能的实现方式中，第一图像即为去除病灶后的图像，病灶区域内的像素点的像素值为0，并非一个完整的脑部图像(即，第一图像中的病灶区域所在位置没有图像内容)。因此，为了准确地进行分区，可在步骤S12中将病灶所在区域进行补全，获得完整的图像，例如，可在病灶区域所在位置中生成各像素点的像素值，获得完整的脑部图像。并且，为了避免病灶区域引起的分区准确率下降的现象，可在病灶区域中补充正常组织的图像，即，补充完成后获得的完整图像为不存在病灶的第二图像。
在一种可能的实现方式中，在步骤S12中，可通过生成网络对第一图像进行补全，即，将病灶区域所在位置的空白区域进行补全，且补全的内容为正常组织的图像。所述生成网络可以是深度学习神经网络，例如，U-Net卷积神经网络等神经网络，本公开对生成网络的类型不做限制。
在一种可能的实现方式中，在通过生成网络生成第二图像前，可对生成网络进行训练，以提升生成网络的性能。在训练过程中，可通过样本图像来训练生成网络，例如，可将部分缺失的样本图像输入生成网络，并通过生成网络来进行补全，并利用补全获得的图像与完整的样本图像之间的差异确定生成网络的网络损失，进而可根据网络损失训练生成网络，即，通过对网络损失进行反向传播来调整生成网络的参数，以减小网络损失。或者，可通过生成对抗训练来提升生成网络的性能。
在一种可能的实现方式中，所述方法还包括：将第一样本图像和随机掩膜图像进行叠加处理，获得第二样本图像，其中，所述第一样本图像为不存在病灶的生理区域的医学图像，所述第二样本图像中包括叠加有掩膜的空白区域；将所述第一样本图像、所述第二样本图像分别输入所述生成网络，获得与所述第一样本图像对应的第一预测图像，以及与所述第二样本图像对应的第二预测图像；根据所述第一预测图像和所述第二预测图像，确定第一损失；根据所述第二预测图像和所述第一样本图像，确定第二损失；根据所述第一样本图像和所述第一预测图像，确定第三损失；根据所述第一损失、所述第二损失和所述第三损失，确定所述生成网络的综合网络损失；根据所述综合网络损失，训练所述生成网络。
图3示出根据本公开的实施例的生成网络训练的示意图。如图3所示，第一样本图像可以是任意脑部医学图像，且第一样本图像中不存在病灶。可通过随机掩膜图像对第一样本图像进行叠加，获得具有空白区域(即，被掩膜覆盖的区域)的第二样本图像，随机掩膜图像中掩膜的位置、形状和尺寸均是随机的，因此，第二样本图像中空白区域的位置、形状和尺寸也是随机的。第二样本图像中的空白区域即为需要生成网络进行补全的区域，神经网络可对第二样本图像中的空白区域进行补全，且补全的内容为正常的组织，即，不具有病灶的组织，以获得完整的图像，即，第二预测图像。在训练过程中，为了进一步提升生成网络的性能，还可将第一样本图像也输入生成网络，获得第一预测图像。进而可通过第一预测图像、第二预测图像和第一样本图像互相之间的差异确定网络损失。
在一种可能的实现方式中，由于生成网络还有待训练，因此，其输出的第一预测图像和第二预测图像存在一定误差。例如，第一预测图像为基于第一样本图像生成的图像，且第一预测图像与第一样本图像应当一致，但如果第一预测图像和第一样本图像不一致，则生成网络存在误差(即，一致性误差或一致性损失)。该误差可能导致生成网络输出的图像中，不需要补全的部分出现误差。应将该误差最小化。
在一种可能的实现方式中，需要补全的部分(即，空白区域)经生成网络处理后，可获得没有病灶的组织的图像，该部分图像也可能存在误差，即，该部分图像与第一样本图像的对应部分之间的差异即为误差。应将该误差最小化。
在一种可能的实现方式中，生成网络获得的两个图像，即，第一预测图像和第二预测图像，互相之间也应保持一致，即，第一预测图像与第二预测图像均应与第一样本图像一致。因此，第一预测图像与第二预测图像之间如果存在误差，也应将该误差最小化。
在一种可能的实现方式中，上述误差均可作为确定生成网络的网络损失的因素，例如，根据第一预测图像和第一样本图像之间的误差可确定第三损失，根据第一预测图像和第二预测图像之间的误差，可确定第一损失，根据第二预测图像和第一样本图像之间的误差，可确定第二损失。
在一种可能的实现方式中，上述第一损失、第二损失和第三损失的确定方式可以是类似的，以第一损失为例，根据所述第一预测图像和所述第二预测图像，确定第一损失，包括：根据所述第一预测图像和所述第二预测图像，以及第二预测图像中的生成区域的位置信息，确定像素损失，其中，所述生成区域为与所述第二样本图像中的空白区域对应的区域；将所述第二预测图像中的生成区域与所述第一预测图像进行融合，获得融合图像；根据所述第一预测图像、所述第二预测图像和所述融合图像分别通过所述生成网络的预设层级进行映射获得的特征图，确定感知损失，其中，所述生成网络包括多个网络层级；根据所述第一预测图像、所述第二预测图像和所述融合图像分别通过所述生成网络的预设层级进行映射获得的特征图，以及所述预设层级的网络参数，确定风格损失；根据所述融合图像，确定全变分损失；根据所述像素损失、所述感知损失、所述风格损失和所述全变分损失，确定所述第一损失。
在一种可能的实现方式中，所述第一损失可包括像素损失。可基于第一预测图像和第二预测图像中各像素点的像素值确定所述像素损失。其中，像素损失可分为两部分，一部分是生成区域的像素损失，另一部分是处生成区域外的其他区域的像素损失。其中，生成区域的像素损失为基于第二预测图像中由空白区域补全的区域中的像素点的像素值，和第一预测图像中对应位置的像素点的像素值之间的误差确定的像素损失。其他区域的像素损失为第二预测图像中出空白区域外的其他区域的像素点的像素值，和第一预测图像中对应位置的像素点的像素值之间的误差确定的像素损失。
在示例中，生成区域的像素损失
可根据以下公式(1)来确定：
其中，其中，Iout为第二预测图像中的像素点的像素值，Igt为第一预测图像中的像素点的像素值，M为所述随机掩膜图像中像素点的像素值，其中，掩膜所在位置的像素值为0，其他位置为1。NIgt为生成区域的像素点的数量。
在示例中，其他区域的像素损失
可根据以下公式(2)来确定：
其中，Ngt为其他区域的像素点的数量。
在一种可能的实现方式中，所述第一损失还可包括感知损失，在确定感知损失时，可首先将第二预测图像中的生成区域与第一预测图像进行融合，即，通过第二预测图像中的生成区域中的像素点的像素值代替第一预测图像中对应位置的像素点的像素值，获得融合图像。则该融合图像与第一预测图像之间的误差仅包括生成区域所在位置的像素点的像素值的误差。
在一种可能的实现方式中，在获得融合图像后，可将第一预测图像、第二预测图像和融合图像分别通过生成网络的预设层级进行映射，获得对应的特征图，进而可利用特征图之间的误差，来确定感知损失。
在示例中，所述感知损失
可通过以下公式(3)来确定：
其中，P(P为正整数)为所述生成网络的预设层级的数量，在示例中，P＝3，可将上述第一预测图像、第二预测图像和融合图像分别通过生成网络的三个池化层进行映射处理，获得各池化层输出的特征图。例如，
为第p(p≤P，且p为正整数)个池化层输出的第二预测图像的特征图，
为第p个池化层输出的第一预测图像的特征图，Icomp为融合图像，
为第p个池化层输出的融合图像的特征图。
为所述特征图中像素点的数量。
在一种可能的实现方式中，所述第一损失可包括风格损失。所述风格损失即为图像风格之间的差异，例如，色调差异、敏感差异，对比度差异等。可通过分别确定第一预测图像、第二预测图像和融合图像的格拉姆矩阵，来确定各图像的风格特征，即，利用格拉姆矩阵的自相关性来确定各图像的风格特征，随后再基于各图像的风格特征来确定风格损失。
在一种可能的实现方式中，该步骤可包括：根据所述特征图，分别确定所述第一预测图像对应的第一格拉姆矩阵、所述第二预测图像对应的第二格拉姆矩阵和所述融合图像对应的第三格拉姆矩阵；根据所述第一格拉姆矩阵、所述第二格拉姆矩阵和所述预设层级的网络参数，确定第一风格损失；根据所述第一格拉姆矩阵、所述第三格拉姆矩阵和所述预设层级的网络参数，确定第二风格损失；根据所述第一风格损失和所述第二风格损失，确定所述风格损失。
在一种可能的实现方式中，可分别通过第一预测图像、第二预测图像和融合图像的特征图，分别确定各图像的格拉姆矩阵。例如，通过第p个池化层输出的第一预测图像的特征图
可确定第一预测图像的第一格拉姆矩阵为
通过第p个池化层输出的第二预测图像的特征图
可确定第二预测图像的第二格拉姆矩阵为
通过第p个池化层输出的融合图像的特征图
可确定融合图像的第三格拉姆矩阵为
在一种可能的实现方式中，在确定上述格拉姆矩阵后，可基于上述格拉姆矩阵，确定所述风格损失。在示例中，所述风格损失可包括基于第一格拉姆矩阵和第二格拉姆矩阵确定的第一风格损失。所述第一风格损失
可根据以下公式(4)确定：
其中，Kp为第p个池化层的网络参数，Cp为格拉姆矩阵的尺寸，即，格拉姆矩阵为Cp×Cp的矩阵。
在示例中，所述风格损失还可包括基于第一格拉姆矩阵和第三格拉姆矩阵确定的第二风格损失。所述第二风格损失
可根据以下公式(5)确定：
在一种可能的实现方式中，在获得上述第一风格损失和第二风格损失后，可对第一风格损失和第二风格损失进行加权求和，获得所述风格损失。
在一种可能的实现方式中，所述第一损失可包括全变分损失。所述全变分损失可表示图像噪声，将全变分损失最小化，可使得图像噪声最小化。在示例中，全变分损失
可根据以下公式(6)确定：
其中，
为融合图像Icomp中的第i行第j列的像素点的像素值。
为融合图像的像素点的数量。
在一种可能的实现方式中，以上获得了像素损失
和
感知损失
风格损失
和
以及全变分损失
可基于这些损失函数确定第一损失，所述第一损失
可根据以下公式(7)确定：
即，对上述损失函数进行加权求和，获得所述第一损失，其中，a、b、c、d和e为权值，在示例中，a＝1，b＝6，c＝0.05，d＝120，e＝0.1。上述权值也可以取其他数值，本公开对各权值的数值不做限制。在示例中，第一损失也可选择其中一种或多种损失函数进行加权求和，而不必将上述所有损失函数进行加权求和，例如，可将其中一个或多个损失函数的权值设为0。本公开对第一损失的具体表达式不做限制。
类似地，第二损失和第三损失均可通过以上方式来确定，且也可选择上述损失函数中的一种或多种进行加权求和，再次不再赘述。
在一种可能的实现方式中，在获得第一损失、第二损失和第三损失后，可对上述三种损失进行加权求和，获得综合网络损失。并通过综合网络损失来训练生成网络。
在一种可能的实现方式中，可通过综合网络损失进行反向传播，调整生成网络的网络参数，使得综合网络损失最小化，并迭代执行该处理，直到综合网络损失收敛，或小于预设损失阈值，或者，达到预设迭代次数，随后，可完成训练，获得训练后的生成网络。
在一种可能的实现方式中，还可通过生成对抗的训练方式来训练生成网络。该步骤可包括：根据所述第一样本图像、所述第二样本图像、所述第二预测图像、所述综合网络损失和判别网络，对抗训练所述生成网络。
图4示出根据本公开的实施例的生成对抗训练的示意图。如图4所示，可通过上述方式，将第一样本图像与随机掩膜图像进行叠加，获得第二样本图像，并输入生成网络，获得第二预测图像，还可将第一样本图像输入生成网络，获得第一预测图像，进而，可基于第一预测图像、第二预测图像和第一样本图像获得综合网络损失。
在一种可能的实现方式中，可将第二预测图像或第二样本图像输入判别网络，以判断图像的真伪，即，该图像为真实图像，还是人工生成的图像。此外，还可将第一样本图像或第一预测图像等输入判别网络进行判别，本公开对输入判别网络进行判别的图像不做限制。在对抗训练过程中，生成网络和判别网络的性能会共同提升，即，生成网络的综合网络损失逐步减小，性能逐步提升，生成的图像的真实程度也逐步提升，可导致判别网络难以辨别图像的真伪。同时，判别网络的性能也会逐步提升，即，判别真伪的能力逐步提升，能够识别出真实程度更高的假图像(即，人工生成的图像)。该对抗训练过程可迭代执行多个周期，直到生成网络和判别网络的性能均得到增强，且二者的性能达到平衡，即，生成网络生成的图像的真实程度较高，且判别网络的判别能力较强。
在一种可能的实现方式中，经过上述训练，可获得训练后的生成网络。该生成网络的性能较强，能够对空白区域进行准确地补全，获得第二图像。即，可通过训练后的生成网络执行步骤S12中对第一图像进行区域补全的处理，获得不存在病灶的第二图像，以对不存在病灶的第二图像进行区域分割处理。
在一种可能的实现方式中，所述区域分割处理为对不存在病灶的医学图像进行分区的处理，由于存在病灶的医学图像存在对比度、灰度等参数的变化，或局部水肿等因素导致的分区的变形，导致分区的结果不准确，因此，在步骤S13中，可通过补全后的不存在病灶的第二图像进行区域分割，以进行分区处理，获得第二图像的分区图。
在示例中，可通过分区网络来执行分区处理，即，将第二图像输入分区网络，分区网络可输出第二图像的分区图。例如，第二图像为脑部医学图像，分区网络则可生成脑部区域的分区图。
在一种可能的实现方式中，在使用分区网络获得分区图之前，可对分区网络进行训练，所述方法还包括：通过第三样本图像对所述分区网络进行训练，所述第三样本图像为不存在病灶的生理区域的医学图像，所述第三样本图像具有分区标注信息。
图5示出根据本公开的实施例的分区网络的训练的示意图。如图5所示，可将不存在病灶的第三样本图像输入分区网络，分区网络则可输出预测分区图，该预测分区图可能存在一定误差，即，与第三样本图像的分区标注信息存在不一致。可基于预测分区图与分区标注信息的误差，来确定分区网络的网络损失，并通过该网络损失进行反向传播，以调整分区网络的网络参数，使得网络损失最小化。经过多次迭代后，可使得网络损失收敛或小于预设阈值，或者使迭代次数达到预定次数，则可完成训练，获得训练后的分区网络。训练后的分区网络可用于执行步骤S13中确定第二图像的分区图的处理。
在一种可能的实现方式中，在步骤S14中，可根据病灶区域的位置信息和分区图，确定病灶区域所属的分区。即，确定病灶区域的位置，确定病灶区域属于分区图中的哪些分区，进而可为诊断提供依据。
在一种可能的实现方式中，步骤S14可包括：根据所述待处理图像中病灶区域的位置信息和所述分区图，确定所述病灶区域在所述分区图中所在的目标区域；根据所述目标区域，确定所述病灶区域所属的分区。
在一种可能的实现方式中，可基于所述病灶区域的位置信息，确定所述分区图中病灶区域所在的目标区域。例如，可在分区图中确定出病灶区域对应的位置，获得所述目标区域。或者，可利用掩膜图像来表示待处理图像中病灶区域的位置信息，其中，该掩膜图像中的掩膜能够覆盖待处理图像中病灶区域的位置，则可将该掩膜图像与分区图进行叠加，在叠加获得的叠加分区图中，掩膜所在的区域即为所述目标区域。进而，可基于目标区域所属的分区，确定病灶区域所述的分区。
根据本公开的实施例的基于一致性损失的肿瘤脑区定位方法，可通过对去除病灶区域后的第一图像进行补全，来模拟不存在病灶的第二图像，并可对不存在病灶的第二图像进行区域分割，可减少病灶区域的对比度、灰度、分区变形等因素对分区结果产生的影响，以提升分区的准确性。进而可确定病灶区域的位置所属的分区，提升确定病灶所属分区的准确率，可为病灶的诊断提供依据。
图6示出根据本公开实施例的基于一致性损失的肿瘤脑区定位方法的应用示意图，如图6所示，待处理图像为存在脑瘤等病灶的脑组织的医学图像。可通过掩膜图像对存在病灶的待处理图像进行叠加，以去除待处理图像中的病灶区域，获得第一图像，第一图像中，被掩膜覆盖的部分(即，病灶所在的区域)为空白区域。并可将第一图像输入生成网络，获得第二图像，即，通过生成网络将空白区域补全，且补全的内容为不存在病灶的正常组织。
在一种可能的实现方式中，可对第二图像进行分区处理，以减少病灶对图像的灰度、对比度以及水中引起的分区变形的影响，提升分区准确度。可将第二图像输入分区网络，获得脑组织的分区图。
在一种可能的实现方式中，可将掩膜图像与分区图进行叠加处理，获得叠加分区图。在叠加分区图中，掩膜的位置即为病灶所在的位置，掩膜所属的分区即为病灶所属的分区，可根据病灶所属的分区，为脑部病灶的诊断提供依据。
图7示出根据本公开实施例的基于一致性损失的肿瘤脑区定位装置的框图，如图7所示，所述装置包括：去除模块11，用于根据待处理图像中病灶区域的位置信息，从所述待处理图像中去除所述病灶区域，获得第一图像；补全模块12，用于通过生成网络对所述第一图像进行区域补全，获得第二图像，所述第二图像中的生理区域不存在病灶；分区模块13，用于通过分区网络对所述第二图像进行区域分割，获得所述第二图像的分区图；确定模块14，用于根据所述待处理图像中病灶区域的位置信息和所述分区图，确定所述病灶区域所属的分区。
在一种可能的实现方式中，所述装置还包括：第一训练模块，用于将第一样本图像和随机掩膜图像进行叠加处理，获得第二样本图像，其中，所述第一样本图像为不存在病灶的生理区域的医学图像，所述第二样本图像中包括叠加有掩膜的空白区域；将所述第一样本图像、所述第二样本图像分别输入所述生成网络，获得与所述第一样本图像对应的第一预测图像，以及与所述第二样本图像对应的第二预测图像；根据所述第一预测图像和所述第二预测图像，确定第一损失；根据所述第二预测图像和所述第一样本图像，确定第二损失；根据所述第一样本图像和所述第一预测图像，确定第三损失；根据所述第一损失、所述第二损失和所述第三损失，确定所述生成网络的综合网络损失；根据所述综合网络损失，训练所述生成网络。
在一种可能的实现方式中，所述第一训练模块进一步用于：根据所述第一预测图像和所述第二预测图像，以及第二预测图像中的生成区域的位置信息，确定像素损失，其中，所述生成区域为与所述第二样本图像中的空白区域对应的区域；将所述第二预测图像中的生成区域与所述第一预测图像进行融合，获得融合图像；根据所述第一预测图像、所述第二预测图像和所述融合图像分别通过所述生成网络的预设层级进行映射获得的特征图，确定感知损失，其中，所述生成网络包括多个网络层级；根据所述第一预测图像、所述第二预测图像和所述融合图像分别通过所述生成网络的预设层级进行映射获得的特征图，以及所述预设层级的网络参数，确定风格损失；根据所述融合图像，确定全变分损失；根据所述像素损失、所述感知损失、所述风格损失和所述全变分损失，确定所述第一损失。
在一种可能的实现方式中，所述第一训练模块进一步用于：根据所述特征图，分别确定所述第一预测图像对应的第一格拉姆矩阵、所述第二预测图像对应的第二格拉姆矩阵和所述融合图像对应的第三格拉姆矩阵；根据所述第一格拉姆矩阵、所述第二格拉姆矩阵和所述预设层级的网络参数，确定第一风格损失；根据所述第一格拉姆矩阵、所述第三格拉姆矩阵和所述预设层级的网络参数，确定第二风格损失；根据所述第一风格损失和所述第二风格损失，确定所述风格损失。
在一种可能的实现方式中，所述第一训练模块进一步用于：根据所述第一样本图像、所述第二样本图像、所述第二预测图像、所述综合网络损失和判别网络，对抗训练所述生成网络。
在一种可能的实现方式中，所述装置还包括：第二训练模块，用于通过第三样本图像对所述分区网络进行训练，所述第三样本图像为不存在病灶的生理区域的医学图像，所述第三样本图像具有分区标注信息。
在一种可能的实现方式中，所述确定模块进一步用于：根据所述待处理图像中病灶区域的位置信息和所述分区图，确定所述病灶区域在所述分区图中所在的目标区域；根据所述目标区域，确定所述病灶区域所属的分区。
可以理解，本公开提及的上述各个方法实施例，在不违背原理逻辑的情况下，均可以彼此相互结合形成结合后的实施例，限于篇幅，本公开不再赘述。本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
此外，本公开还提供了基于一致性损失的肿瘤脑区定位装置、电子设备、计算机可读存储介质、程序，上述均可用来实现本公开提供的任一种基于一致性损失的肿瘤脑区定位方法，相应技术方案和描述和参见方法部分的相应记载，不再赘述。
在一些实施例中，本公开实施例提供的装置具有的功能或包含的模块可以用于执行上文方法实施例描述的方法，其具体实现可以参照上文方法实施例的描述，为了简洁，这里不再赘述。
本公开实施例还提出一种计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现上述方法。计算机可读存储介质可以是非易失性计算机可读存储介质。
本公开实施例还提出一种电子设备，包括：处理器；用于存储处理器可执行指令的存储器；其中，所述处理器被配置为调用所述存储器存储的指令，以执行上述方法。
本公开实施例还提供了一种计算机程序产品，包括计算机可读代码，当计算机可读代码在设备上运行时，设备中的处理器执行用于实现如上任一实施例提供的基于一致性损失的肿瘤脑区定位方法的指令。
本公开实施例还提供了另一种计算机程序产品，用于存储计算机可读指令，指令被执行时使得计算机执行上述任一实施例提供的基于一致性损失的肿瘤脑区定位方法的操作。
电子设备可以被提供为终端、服务器或其它形态的设备。
图8示出根据本公开实施例的一种电子设备800的框图。例如，电子设备800可以是医疗设备，计算机等终端。参照图8，电子设备800可以包括以下一个或多个组件：处理组件802，存储器804，电源组件806，多媒体组件808，音频组件810，输入/输出(I/O)的接口812，传感器组件814，以及通信组件816。
处理组件802通常控制电子设备800的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件802可以包括一个或多个处理器820来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件802可以包括一个或多个模块，便于处理组件802和其他组件之间的交互。例如，处理组件802可以包括多媒体模块，以方便多媒体组件808和处理组件802之间的交互。
存储器804被配置为存储各种类型的数据以支持在电子设备800的操作。这些数据的示例包括用于在电子设备800上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器804可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。
电源组件806为电子设备800的各种组件提供电力。电源组件806可以包括电源管理系统，一个或多个电源，及其他与为电子设备800生成、管理和分配电力相关联的组件。
多媒体组件808包括在所述电子设备800和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边缘，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件808包括一个前置摄像头和/或后置摄像头。当电子设备800处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
音频组件810被配置为输出和/或输入音频信号。例如，音频组件810包括一个麦克风(MIC)，当电子设备800处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器804或经由通信组件816发送。在一些实施例中，音频组件810还包括一个扬声器，用于输出音频信号。
I/O接口812为处理组件802和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件814包括一个或多个传感器，用于为电子设备800提供各个方面的状态评估。例如，传感器组件814可以检测到电子设备800的打开/关闭状态，组件的相对定位，例如所述组件为电子设备800的显示器和小键盘，传感器组件814还可以检测电子设备800或电子设备800一个组件的位置改变，用户与电子设备800接触的存在或不存在，电子设备800方位或加速/减速和电子设备800的温度变化。传感器组件814可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件814还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件814还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。
通信组件816被配置为便于电子设备800和其他设备之间有线或无线方式的通信。电子设备800可以接入基于通信标准的无线网络，如WiFi，2G或3G，或它们的组合。在一个示例性实施例中，通信组件816经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件816还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。
在示例性实施例中，电子设备800可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。
在示例性实施例中，还提供了一种非易失性计算机可读存储介质，例如包括计算机程序指令的存储器804，上述计算机程序指令可由电子设备800的处理器820执行以完成上述方法。
图9示出根据本公开实施例的一种电子设备1900的框图。例如，电子设备1900可以被提供为一服务器。参照图9，电子设备1900包括处理组件1922，其进一步包括一个或多个处理器，以及由存储器1932所代表的存储器资源，用于存储可由处理组件1922的执行的指令，例如应用程序。存储器1932中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理组件1922被配置为执行指令，以执行上述方法。
电子设备1900还可以包括一个电源组件1926被配置为执行电子设备1900的电源管理，一个有线或无线网络接口1950被配置为将电子设备1900连接到网络，和一个输入输出(I/O)接口1958。电子设备1900可以操作基于存储在存储器1932的操作系统，例如Windows ServerTM，Mac OS XTM，UnixTM,LinuxTM，FreeBSDTM或类似。
在示例性实施例中，还提供了一种非易失性计算机可读存储介质，例如包括计算机程序指令的存储器1932，上述计算机程序指令可由电子设备1900的处理组件1922执行以完成上述方法。
本公开可以是系统、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于使处理器实现本公开的各个方面的计算机可读程序指令。
计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是――但不限于――电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传输的电信号。
这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。
用于执行本公开操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言—诸如Smalltalk、C++等，以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)，该电子电路可以执行计算机可读程序指令，从而实现本公开的各个方面。
这里参照根据本公开实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本公开的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。
这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器，从而生产出一种机器，使得这些指令在通过计算机或其它可编程数据处理装置的处理器执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。
也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。
附图中的流程图和框图显示了根据本公开的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
该计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选实施例中，所述计算机程序产品具体体现为计算机存储介质，在另一个可选实施例中，计算机程序产品具体体现为软件产品，例如软件开发包(Software Development Kit，SDK)等等。
以上已经描述了本公开的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。
Claims (9)
1.一种基于一致性损失的肿瘤脑区定位方法，其特征在于，包括：
根据待处理图像中病灶区域的位置信息，从所述待处理图像中去除所述病灶区域，获得第一图像；
通过生成网络对所述第一图像进行区域补全，获得第二图像，所述第二图像中的生理区域不存在病灶；
通过分区网络对所述第二图像进行区域分割，获得所述第二图像的分区图；
根据所述待处理图像中病灶区域的位置信息和所述分区图，确定所述病灶区域所属的分区；
所述方法还包括：
将第一样本图像和随机掩膜图像进行叠加处理，获得第二样本图像，其中，所述第一样本图像为不存在病灶的生理区域的医学图像，所述第二样本图像中包括叠加有掩膜的空白区域；
将所述第一样本图像、所述第二样本图像分别输入所述生成网络，获得与所述第一样本图像对应的第一预测图像，以及与所述第二样本图像对应的第二预测图像；
根据所述第一预测图像和所述第二预测图像，确定第一损失；
根据所述第二预测图像和所述第一样本图像，确定第二损失；
根据所述第一样本图像和所述第一预测图像，确定第三损失；
根据所述第一损失、所述第二损失和所述第三损失，确定所述生成网络的综合网络损失；
根据所述综合网络损失，训练所述生成网络。
2.根据权利要求1所述的方法，其特征在于，根据所述第一预测图像和所述第二预测图像，确定第一损失，包括：
根据所述第一预测图像和所述第二预测图像，以及第二预测图像中的生成区域的位置信息，确定像素损失，其中，所述生成区域为与所述第二样本图像中的空白区域对应的区域；
将所述第二预测图像中的生成区域与所述第一预测图像进行融合，获得融合图像；
根据所述第一预测图像、所述第二预测图像和所述融合图像分别通过所述生成网络的预设层级进行映射获得的特征图，确定感知损失，其中，所述生成网络包括多个网络层级；
根据所述第一预测图像、所述第二预测图像和所述融合图像分别通过所述生成网络的预设层级进行映射获得的特征图，以及所述预设层级的网络参数，确定风格损失；
根据所述融合图像，确定全变分损失；
根据所述像素损失、所述感知损失、所述风格损失和所述全变分损失，确定所述第一损失。
3.根据权利要求2所述的方法，其特征在于，根据所述第一预测图像、所述第二预测图像和所述融合图像分别通过所述生成网络的预设层级进行映射获得的特征图，以及所述预设层级的网络参数，确定风格损失，包括：
根据所述特征图，分别确定所述第一预测图像对应的第一格拉姆矩阵、所述第二预测图像对应的第二格拉姆矩阵和所述融合图像对应的第三格拉姆矩阵；
根据所述第一格拉姆矩阵、所述第二格拉姆矩阵和所述预设层级的网络参数，确定第一风格损失；
根据所述第一格拉姆矩阵、所述第三格拉姆矩阵和所述预设层级的网络参数，确定第二风格损失；
根据所述第一风格损失和所述第二风格损失，确定所述风格损失。
4.根据权利要求1所述的方法，其特征在于，根据所述综合网络损失，训练所述生成网络，包括：
根据所述第一样本图像、所述第二样本图像、所述第二预测图像、所述综合网络损失和判别网络，对抗训练所述生成网络。
5.根据权利要求1所述的方法，其特征在于，所述方法还包括：
通过第三样本图像对所述分区网络进行训练，所述第三样本图像为不存在病灶的生理区域的医学图像，所述第三样本图像具有分区标注信息。
6.根据权利要求1所述的方法，其特征在于，根据所述待处理图像中病灶区域的位置信息和所述分区图，确定所述病灶区域所属的分区，包括：
根据所述待处理图像中病灶区域的位置信息和所述分区图，确定所述病灶区域在所述分区图中所在的目标区域；
根据所述目标区域，确定所述病灶区域所属的分区。
7.一种基于一致性损失的肿瘤脑区定位装置，其特征在于，包括：
去除模块，用于根据待处理图像中病灶区域的位置信息，从所述待处理图像中去除所述病灶区域，获得第一图像；
补全模块，用于通过生成网络对所述第一图像进行区域补全，获得第二图像，所述第二图像中的生理区域不存在病灶；
分区模块，用于通过分区网络对所述第二图像进行区域分割，获得所述第二图像的分区图；
确定模块，用于根据所述待处理图像中病灶区域的位置信息和所述分区图，确定所述病灶区域所属的分区；
所述装置还包括：第一训练模块，用于将第一样本图像和随机掩膜图像进行叠加处理，获得第二样本图像，其中，所述第一样本图像为不存在病灶的生理区域的医学图像，所述第二样本图像中包括叠加有掩膜的空白区域；将所述第一样本图像、所述第二样本图像分别输入所述生成网络，获得与所述第一样本图像对应的第一预测图像，以及与所述第二样本图像对应的第二预测图像；根据所述第一预测图像和所述第二预测图像，确定第一损失；根据所述第二预测图像和所述第一样本图像，确定第二损失；根据所述第一样本图像和所述第一预测图像，确定第三损失；根据所述第一损失、所述第二损失和所述第三损失，确定所述生成网络的综合网络损失；根据所述综合网络损失，训练所述生成网络。
8.一种电子设备，其特征在于，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为调用所述存储器存储的指令，以执行权利要求1至6中任意一项所述的方法。
9.一种计算机可读存储介质，其上存储有计算机程序指令，其特征在于，所述计算机程序指令被处理器执行时实现权利要求1至6中任意一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111006282.2A CN113674269B (zh) | 2021-08-30 | 2021-08-30 | 基于一致性损失的肿瘤脑区定位方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111006282.2A CN113674269B (zh) | 2021-08-30 | 2021-08-30 | 基于一致性损失的肿瘤脑区定位方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113674269A CN113674269A (zh) | 2021-11-19 |
| CN113674269B true CN113674269B (zh) | 2022-03-25 |
Family
ID=78547620
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111006282.2A Active CN113674269B (zh) | 2021-08-30 | 2021-08-30 | 基于一致性损失的肿瘤脑区定位方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113674269B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114240950B (zh) * | 2021-11-23 | 2023-04-07 | 电子科技大学 | 一种基于深度神经网络的脑部肿瘤图像生成和分割方法 |
| CN114387436B (zh) * | 2021-12-28 | 2022-10-25 | 北京安德医智科技有限公司 | 壁冠状动脉检测方法及装置、电子设备和存储介质 |
| CN114722925B (zh) * | 2022-03-22 | 2022-11-15 | 北京安德医智科技有限公司 | 病灶分类装置与非易失性计算机可读存储介质 |
| CN117495733A (zh) * | 2023-11-08 | 2024-02-02 | 西北民族大学 | 一种病灶图像修复方法、装置、电子设备及存储介质 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019135234A1 (en) * | 2018-01-03 | 2019-07-11 | Ramot At Tel-Aviv University Ltd. | Systems and methods for the segmentation of multi-modal image data |
| CN112075927B (zh) * | 2020-10-15 | 2024-05-14 | 首都医科大学附属北京天坛医院 | 脑卒中的病因分类方法及装置 |
| CN112529909A (zh) * | 2020-12-08 | 2021-03-19 | 北京安德医智科技有限公司 | 一种基于图像补全的肿瘤图像脑区分割方法及系统 |
| CN113012166A (zh) * | 2021-03-19 | 2021-06-22 | 北京安德医智科技有限公司 | 颅内动脉瘤分割方法及装置、电子设备和存储介质 |
-
2021
- 2021-08-30 CN CN202111006282.2A patent/CN113674269B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN113674269A (zh) | 2021-11-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113674269B (zh) | 基于一致性损失的肿瘤脑区定位方法及装置 | |
| JP7085062B2 (ja) | 画像セグメンテーション方法、装置、コンピュータ機器およびコンピュータプログラム | |
| CN111091576B (zh) | 图像分割方法、装置、设备及存储介质 | |
| CN109829920B (zh) | 图像处理方法及装置、电子设备和存储介质 | |
| US11403763B2 (en) | Image segmentation method and apparatus, computer device, and storage medium | |
| CN109978886B (zh) | 图像处理方法及装置、电子设备和存储介质 | |
| KR20210047336A (ko) | 이미지 처리 방법 및 장치, 전자 기기 및 기억 매체 | |
| CN111899268B (zh) | 图像分割方法及装置、电子设备和存储介质 | |
| CN111091166A (zh) | 图像处理模型训练方法、图像处理方法、设备及存储介质 | |
| CN110705626A (zh) | 一种图像处理方法及装置、电子设备和存储介质 | |
| CN113012166A (zh) | 颅内动脉瘤分割方法及装置、电子设备和存储介质 | |
| CN114820584A (zh) | 肺部病灶定位装置 | |
| CN110989901B (zh) | 图像定位的交互显示方法及装置、电子设备和存储介质 | |
| CN112581358B (zh) | 图像处理模型的训练方法、图像处理方法及装置 | |
| CN110033005A (zh) | 图像处理方法及装置、电子设备和存储介质 | |
| CN111724361B (zh) | 实时显示病灶的方法及装置、电子设备和存储介质 | |
| CN111325786B (zh) | 图像处理方法及装置、电子设备和存储介质 | |
| CN113724189A (zh) | 图像处理方法、装置、设备及存储介质 | |
| CN111598896A (zh) | 图像检测方法、装置、设备及存储介质 | |
| CN111339880A (zh) | 一种目标检测方法及装置、电子设备和存储介质 | |
| CN112508959B (zh) | 视频目标分割方法、装置、电子设备及存储介质 | |
| CN112037305B (zh) | 对图像中的树状组织进行重建的方法、设备及存储介质 | |
| CN114387436B (zh) | 壁冠状动脉检测方法及装置、电子设备和存储介质 | |
| TWI759004B (zh) | 一種目標對象顯示方法、電子設備和電腦可讀儲存介質 | |
| CN114154520A (zh) | 机器翻译模型的训练方法、机器翻译方法、装置及设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| PE01 | Entry into force of the registration of the contract for pledge of patent right | ||
| PE01 | Entry into force of the registration of the contract for pledge of patent right |
Denomination of invention: Method and device for tumor brain location based on loss of consistency Effective date of registration: 20221115 Granted publication date: 20220325 Pledgee: Beijing Jiahesen Health Technology Co.,Ltd. Pledgor: BEIJING ANDE YIZHI TECHNOLOGY Co.,Ltd. Registration number: Y2022990000806 |
|
| PC01 | Cancellation of the registration of the contract for pledge of patent right | ||
| PC01 | Cancellation of the registration of the contract for pledge of patent right |
Granted publication date: 20220325 Pledgee: Beijing Jiahesen Health Technology Co.,Ltd. Pledgor: BEIJING ANDE YIZHI TECHNOLOGY Co.,Ltd. Registration number: Y2022990000806 |