CN113538395A - 图像处理方法、装置、设备、可读存储介质 - Google Patents

图像处理方法、装置、设备、可读存储介质 Download PDF

Info

Publication number
CN113538395A
CN113538395A CN202110847916.0A CN202110847916A CN113538395A CN 113538395 A CN113538395 A CN 113538395A CN 202110847916 A CN202110847916 A CN 202110847916A CN 113538395 A CN113538395 A CN 113538395A
Authority
CN
China
Prior art keywords
image
network
trained
processed
generator
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110847916.0A
Other languages
English (en)
Inventor
沈亚丽
付麟杰
姚宇
王辛
陈哲彬
李霞
陈晓清
文凤
窦猛
罗旭
蔡秀定
高峻嘉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Information Technology Co Ltd of CAS
West China Hospital of Sichuan University
Original Assignee
Chengdu Information Technology Co Ltd of CAS
West China Hospital of Sichuan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Information Technology Co Ltd of CAS, West China Hospital of Sichuan University filed Critical Chengdu Information Technology Co Ltd of CAS
Priority to CN202110847916.0A priority Critical patent/CN113538395A/zh
Publication of CN113538395A publication Critical patent/CN113538395A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2132—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on discrimination criteria, e.g. discriminant analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Abstract

本申请提供一种图像处理方法、装置、设备、可读存储介质。图像处理方法包括：获取待处理图像；根据预先训练好的辨识度增强模型对所述待处理图像进行处理，获得处理好的图像；所述处理好的图像的辨识度高于所述待处理图像的辨识度；其中，所述辨识度增强模型通过预设模型进行训练，所述预设模型用于优化所述辨识度增强模型的参数，以使所述处理好的图像的语义信息与所述待处理图像的语义信息一致。该方法用以实现在提高图像辨识度的同时，保持内部语义信息不变。

Description

图像处理方法、装置、设备、可读存储介质
技术领域
本申请涉及图像处理技术领域，具体而言，涉及一种图像处理方法、装置、设备、可读存储介质。
背景技术
基于医学图像对癌症病变区域进行高精度勾画，对于癌症的相关研究或者诊疗来说较为重要。要实现病变区域的高精度勾画，需要对一些特定对象进行准确辨识。针对同一器官的医学图像，例如：CT(Computed Tomography，电子计算机断层扫描)图像和MRI(Magnetic Resonance Imaging，核磁共振成像)图像，在进行病变区域的勾画时，MRI图像相较于CT图像的辨识度更高。
现有技术中，可以利用一些辨识度提高方法对医学图像(例如CT图像)进行处理，提高医学图像的辨识度，但是，现有的辨识度提高方法不能保证处理前的图像与处理后的图像的内部语义信息(例如器官的位置)的一致。
发明内容
本申请实施例的目的在于提供一种图像处理方法、装置、设备、可读存储介质，用以实现在提高图像辨识度的同时，保持内部语义信息不变。
第一方面，本申请实施例提供一种图像处理方法，包括：获取待处理图像；根据预先训练好的辨识度增强模型对所述待处理图像进行处理，获得处理好的图像；所述处理好的图像的辨识度高于所述待处理图像的辨识度；其中，所述辨识度增强模型通过预设模型进行训练，所述预设模型用于优化所述辨识度增强模型的参数，以使所述处理好的图像的语义信息与所述待处理图像的语义信息一致。
在本申请实施例中，与现有技术相比，通过预先训练好的辨识度增强模型对待处理图像进行处理，一方面，可以提高图像的辨识度；另一方面，该辨识度增强模型通过用于优化该模型的参数的预设模型进行训练，可以保证处理后的图像与处理前的图像的语义信息的一致。进而，该方法可以实现在提高图像辨识度的同时，保持内部语义信息不变。
作为一种可能的实现方式，所述辨识度增强模型为第一对抗网络，所述预设模型为第二对抗网络，所述第一对抗网络和所述第二对抗网络均包括生成器和判别器；在所述获取待处理图像之前，所述图像处理方法还包括：获取训练数据集；所述训练数据集中包括第一图像和第二图像，所述第一图像的辨识度低于所述第二图像的辨识度；将所述第一图像输入所述第一对抗网络的生成器，获得合成的第一图像；根据所述合成的第一图像和所述第二图像对所述第一对抗网络的生成器和判别器进行训练，获得初步训练好的第一对抗网络；将所述合成的第一图像输入所述第二对抗网络的生成器，获得重建的第一图像；根据所述重建的第一图像和所述第一图像对所述第二对抗网络的生成器和判别器进行训练，获得训练好的第二对抗网络；根据所述训练好的第二对抗网络对所述初步训练好的第一对抗网络的参数进行优化，获得最终训练好的第一对抗网络。
在本申请实施例中，辨识度增强模型和预设模型均为对抗网络，对抗网络包括生成器和判别器；通过第一图像和第二图像对第一对抗网络进行训练，训练好的第一对抗网络可以实现图像辨识度的提高。通过合成的第一图像和第一图像对第二对抗网络进行训练，训练好的第二对抗网络可以保证合成图像与源图像的语义信息的一致。再通过训练好的第二对抗网络对初步训练好的第一对抗网络的参数进行优化，最终训练好的第一对抗网络既可以提高图像辨识度，还能够保持图像的语义信息不变。
作为一种可能的实现方式，所述根据所述训练好的第二对抗网络对所述初步训练好的第一对抗网络的参数进行优化，获得最终训练好的第一对抗网络，包括：基于预设的循环一致性函数和所述训练好的第二对抗网络对所述初步训练好的第一对抗网络进行语义信息处理，以对所述初步训练好的第一对抗网络的参数进行优化。
在本申请实施例中，通过循环一致性函数对语义信息进行处理，实现第一对抗网络的参数的有效优化，以使最终训练好的第一对抗网络能够保持图像的语义信息不变。
作为一种可能的实现方式，所述获取训练数据集，包括：获取初始的第一图像和初始的第二图像；对所述初始的第一图像和所述初始的第二图像进行形变配准处理，获得所述第一图像和所述第二图像；基于所述第一图像和所述第二图像生成所述训练数据集。
在本申请实施例中，训练数据集中的第一图像和第二图像为进行形变配准处理的图像，进而，第一图像和第二图像的内部器官初步保持一致。
作为一种可能的实现方式，所述第一图像和所述待处理图像均为定位CT图像，所述第二图像为MRI图像；或者，所述第一图像和所述待处理图像均为CB(Cone beam，锥形束)CT图像，所述第二图像为定位CT图像。
在本申请实施例中，可以将定位CT图像的辨识度提高到MRI图像的辨识度级别；也可以将CBCT图像的辨识度提高到定位CT图像的辨识度级别。
第二方面，本申请实施例提供一种图像处理装置，包括：用于实现第一方面以及第一方面的任意一种可能的实现方式中所述的图像处理方法的各个功能模块。
第三方面，本申请实施例提供一种图像处理设备，包括：处理器、与所述处理器通信连接的存储器、显示模块；所述存储器存储有可被所述处理器执行的指令，所述指令被所述处理器执行，以使所述处理器能够执行第一方面以及第一方面的任意一种可能的实现方式中所述的图像处理方法。
第四方面，本申请实施例提供一种可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序被计算机运行时，执行第一方面以及第一方面的任意一种可能的实现方式中所述的图像处理方法。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本申请实施例提供的图像处理方法的流程图；
图2为本申请实施例提供的图像处理装置的结构示意图；
图3为本申请实施例提供的图像处理设备的结构示意图。
图标：200-图像处理装置；210-获取模块；220-处理模块；300-图像处理设备；310-处理器；320-存储器；330-显示模块。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。
本申请实施例提供的图像处理方法可以应用于不同的应用场景，例如：
应用场景一：在构建用于对病变区域进行勾画的自动勾画模型时，利用该图像处理方法获得的图像，进行病变区域的勾画后，可作为自动勾画模型的训练数据集。由于医生所标注的图像为处理后的辨识度较高的图像，医生在标注时更准确，因而医生的标注准确度提高，所获得的标注样本(即训练数据集)的精确度也相应较高。进而，在训练数据集的精确度提高的基础上，所训练出自动勾画模型的效果也更好，即，自动勾画模型的精度提高。该应用场景可以针对定位CT图像与MRI图像，即，将定位CT图像的辨识度提高到MRI图像的辨识度。
应用场景二：在医生通过医学图像进行癌症病症的诊疗时，可以先利用该图像处理方法对医学图像进行处理，然后医生再基于处理后的图像进行癌症病症的诊疗，在处理后的图像的辨识度提高的基础上，可以提高医生诊疗的准确度。该应用场景可以针对CBCT图像与定位CT图像，即，将CBCT图像的辨识度提高到定位CT图像的辨识度。
应用场景三：在对癌症病变区域进行相关的研究时，可以先利用该图像处理方法对研究数据(即大量的医学图像)进行处理，然后再基于处理后的研究数据进行相关的研究，在处理后的研究数据的辨识度提高的基础上，可以提高研究的效果。该应用场景既可以针对定位CT图像与MRI图像，也可以针对CBCT图像与定位CT图像。
本申请实施例提供的图像处理方法的硬件环境可以是：图像处理设备、服务器等，在本申请实施例中不作限定。
在本申请实施例中，图像的处理涉及到图像的辨识度和内部语义信息。图像的辨识度可以理解为图像的各个像素点信息(比如灰度、亮度等)所决定的图像呈现效果，比如：辨识度更高，图像的清晰度更高。内部语义信息可以理解为：内部器官的位置、内部器官的大小等医学图像所呈现出的语义信息。
以前列腺的医学图像为例，前列腺CT图像难以区分前列腺包膜和包膜外的纤维组织，不利于病变区域的勾画。而前列腺MRI图像在分辨前列腺包膜方面有明显优势，可以清晰显示前列腺包膜。因此，可以将前列腺MRI图像的辨识度作为基准，对前列腺CT图像作辨识度处理，使处理后的前列腺CT图像的辨识度提高。
但是，由于处理图像的模型在训练时所采用的图像不是成对的，比如：不是同一个人的CT图像和MRI图像，会造成CT图像和MRI图像的语义信息不同，进而最终处理后的CT图像的语义信息可能会与处理前不一致。因此，在提高图像辨识度的同时，还需要保证前列腺CT图像的内部语义信息不变。
在本申请实施例中，CT图像可以包括：定位CT图像和CBCT图像两种。定位CT图像和CBCT图像的拍摄时间不同，且CBCT图像的图像辨识度低于定位CT图像的辨识度。
因此，在本申请实施中，图像辨识度的从高到低依次为：MRI图像、定位CT图像、CBCT图像。对应的处理方式包括：将定位CT图像的辨识度提高到MRI图像的辨识度级别；将CBCT图像的辨识度提高到定位CT图像的辨识度级别；并且，定位CT图像和CBCT图像在处理后，语义信息均可以保持不变。
基于上述应用场景的介绍，接下来请参照图1，为本申请实施例提供的图像处理方法的流程图，该方法包括：
步骤110：获取待处理图像。
步骤120：根据预先训练好的辨识度增强模型对待处理图像进行处理，获得处理好的图像。其中，辨识度增强模型通过预设模型进行训练，预设模型用于优化辨识度增强模型的参数，以使处理好的图像的语义信息与待处理图像的语义信息一致。
在本申请实施例中，与现有技术相比，通过预先训练好的辨识度增强模型对待处理图像进行处理，一方面，可以提高图像的辨识度；另一方面，该辨识度增强模型通过用于优化该模型的参数的预设模型进行训练，可以保证处理后的图像与处理前的图像的语义信息的一致。进而，该方法可以实现在提高图像辨识度的同时，保持内部语义信息不变。
在步骤110中，待处理图像可以是一张图像，也可以是多张图像。
基于前述应用场景的介绍可以看出，待处理图像可以是：定位CT图像或者CBCT图像。
在本申请实施例中，待处理图像为患者治疗前的定位CT图像或者CBCT图像。
在步骤120中，将待处理图像输入到预先训练好的辨识度增强模型中，辨识度增强模型所输出的图像便为处理好的图像，为了便于理解，接下来对该辨识度增强模型以及对应的训练方法进行介绍。
作为一种可选的实施方式，辨识度增强模型和预设模型均为(生成式)对抗网络。对抗网络，是一种深度学习模型，模型包括两个模块：生成模型(也称生成器)和判别模型(判别器)的互相博弈学习来产生具有融合特征的合成图像，可广泛应用于图像转换、风格迁移、图像超分辨率等任务。
对抗网络中的生成器以ResNet作为网络结构用于图像生成，判别器以patchGAN作为网络结构用于生成图像的判别。
假设辨识度增强模型为第一对抗网络，预设模型为第二对抗网络，作为一种可选的实施方式，模型的训练过程包括：获取训练数据集；训练数据集中包括第一图像和第二图像，第一图像的辨识度低于第二图像的辨识度；将第一图像输入第一对抗网络的生成器，获得合成的第一图像；根据合成的第一图像和第二图像对第一对抗网络的生成器和判别器进行训练，获得初步训练好的第一对抗网络；将合成的第一图像输入第二对抗网络的生成器，获得重建的第一图像；根据重建的第一图像和第一图像对第二对抗网络的生成器和判别器进行训练，获得训练好的第二对抗网络；根据训练好的第二对抗网络对初步训练好的第一对抗网络的参数进行优化，获得最终训练好的第一对抗网络。
在这种实施方式中，通过第一图像和第二图像对第一对抗网络进行训练，训练好的第一对抗网络可以实现图像辨识度的提高。通过合成的第一图像和第一图像对第二对抗网络进行训练，训练好的第二对抗网络可以保证合成图像与源图像的语义信息的一致。再通过训练好的第二对抗网络对初步训练好的第一对抗网络的参数进行优化，最终训练好的第一对抗网络既可以提高图像辨识度，还能够保持图像的语义信息不变。
其中，如果待处理图像为定位CT图像，即辨识度增强模型应用于定位CT图像，则第一图像为定位CT图像，第二图像为MRI图像。如果待处理图像为CBCT图像，即辨识度增强模型应用于CBCT图像，则第一图像为CBCT图像，第二图像为定位CT图像。
需要注意的是，本申请实施例中以定位CT图像/MRI图像；CBCT图像/定位CT图像为例，在实际应用时，结合具体的应用场景，只要两种医学图像之间的辨识度有高低之分，且两种医学图像均能用于实现病变区域的勾画，也可适用于该图像处理方法。
作为一种可选的实施方式，获取训练数据集包括：获取初始的第一图像和初始的第二图像；对初始的第一图像和初始的第二图像进行形变配准处理，获得第一图像和第二图像；基于第一图像和第二图像生成训练数据集。
在这种实施方式中，训练数据集中的第一图像和第二图像为进行形变配准处理的图像，形变配准处理可以保持图像之间的器官对齐。
其中，初始的第一图像和初始的第二图像之间具有对应关系，可以将初始的第一图像和初始的第二图像分为多个数据对，每个数据对中的初始的第一图像和初始的第二图像为同一患者的同一部位的不同种类的医学图像，比如：初始的第一图像包括多张前列腺定位CT图像，则初始的第二图像包括与该多张前列腺定位CT图像对应的前列腺MRI图像。对应的，最终的训练数据集中的第一图像和第二图像也分为多个相应的数据对。
当然，训练数据集中的数据对也可以是不同患者的CT图像和MRI图像。
可以理解，对于定位CT图像和MRI图像来说，由于其拍摄时间有差异，所以可能会导致器官的大小或者形状不同，比如：患者处于饱的状态和饿的状态时，胃的大小和形状是不相同的，通过形变配准处理，可以使定位CT图像和MRI图像的器官对齐。对于CBCT图像和定位CT图像来说，同理也可以通过形变配准处理，实现器官对齐。
形变配准处理为本领域成熟的技术，在本申请实施例中不作详细介绍。
在基于第一图像和第二图像生成训练数据集时，可以先对各个数据对中的第一图像和第二图像进行比较，如果第一图像和第二图像的器官是对齐的，则该第一图像和第二图像可以用作训练数据。如果第一图像和第二图像的器官没有对齐，则该第一图像和第二图像不放入训练数据集中。即，在生成训练集时，可以参照器官对齐的标准筛选掉一部分数据。
当然，在实际应用时，可以利用其他数据筛选的标准对第一图像和第二图像进行筛选，使最终的训练数据集中的第一图像和第二图像都能够用于对模型进行有效的训练。
基于第一图像和第二图像，先将第一图像输入到第一对抗网络的生成器中，生成器可以输出合成的第一图像；然后将合成的第一图像和第二图像输入到第一对抗网络的判别器中，进行训练。需要注意的是，将第一图像输入到第一对抗网络的生成器中，以及将合成的第一图像和第二图像输入到第一对抗网络的判别器中是一个循环的过程，该循环过程需要循环至第一对抗网络收敛，则第一对抗网络初步训练好。
在第一对抗网络训练的过程中，利用第一对抗网络的生成器输出的合成的第一图像和第二图像对第二对抗网络进行同步训练。具体地，先将合成的第一图像输入第二对抗网络的生成器，生成器输出重建的第一图像，然后将重建的第一图像和第一图像输入到第二对抗网络的判别器中，对生成器和判别器进行循环对抗训练。需要注意的是，将合成的第一图像输入到第二对抗网络的生成器中，以及将重建的第一图像和第一图像输入到第二对抗网络中也是一个循环的过程，该循环过程需要循环至第二对抗网络收敛，则第二对抗网络完成训练。
此外，上述输入输出的关系，可以通过第一对抗网络和第二对抗网络之间的连接关系实现。假设将第一对抗网络和第二对抗网络看作一个整体，第一对抗网络的生成器的输入端为整体网络的输入端，第一对抗网络的生成器的输出端为整体网络的输出端；第一对抗网络的生成器的输出端与第一对抗网络的判别器的输入端和第二对抗网络的生成器的输入端分别连接；第二对抗网络的生成器的输出端与第二对抗网络的判别器的输入端连接，第二对抗网络的判别器的输入端还与整体网络的输入端连接。
在获得初步训练好的第一对抗网络和训练好的第二对抗网络之后，利用第二对抗网络对初步训练好的第一对抗网络作进一步地优化，该优化过程可以包括：基于预设的循环一致性函数和训练好的第二对抗网络对初步训练好的第一对抗网络进行语义信息处理，以对初步训练好的第一对抗网络的参数进行优化。
在这种实施方式中，通过循环一致性函数，缩小第一对抗网络和第二对抗网络之间的语义信息的差距，在第一对抗网络和第二对抗网络之间的语义信息保持一致后，第一对抗网络的生成器输出的合成图像和源图像之间的语义信息便可以保持一致。
其中，循环一致性函数可以是L1正则函数，该函数为本领域成熟的技术，在本申请实施例中不作详细介绍。
在本申请实施例中，通过循环一致性函数对语义信息进行处理，实现第一对抗网络的参数的有效优化，以使最终训练好的第一对抗网络能够保持图像的语义信息不变。
可以理解，在第一对抗网络的构建(训练)过程中，第二对抗网络是为了保持合成的图像与源图像之间的语义信息一致所提出的模型，最终在第一对抗网络应用时，待处理图像输入到第一对抗网络的生成器中，生成器所输出的合成图像便为处理好的图像。
为了便于理解模型的构建过程，接下来分别以定位CT图像/MRI图像，以及CBCT图像/定位CT图像为例再次对该构建过程进行举例介绍，假设第一对抗网络为GAN(Generative Adversarial Networks，生成式对抗网络)-1，第二对抗网络为GAN-2。
举例一：收集患者治疗前的前列腺的定位CT图像和MRI图像，首先对定位CT图像和MRI图像作初步形变配准处理。然后将处理后的定位CT图像输入到GAN-1的生成器，得到合成的定位CT图像(后续简称sCT图像)。然后将sCT图像和处理后的MRI图像输入到GAN-1的判别器，判别器区分sCT图像和MRI图像。
循环生成器的生成和判别器的判别过程，更新生成器和判别器的参数，直至模型收敛，判别器无法区分sCT图像和MRI图像。
将sCT图像输入GAN-2的生成器得到重建CT图像(后续简称rCT)，然后将rCT图像和CT图像输入GAN-2的判别器，判别器区分rCT图像和CT图像。循环生成器的生成和判别器的判别过程，更新生成器和判别器的参数，直至模型收敛，判别器无法区分rCT图像和CT图像。
对GAN-1和GAN-2使用循环一致性方法，利用L1正则函数，缩小GAN-1和GAN-2语义信息上的差异，保持sCT图像和CT图像内部语义信息一致，最终获得的GAN-1网络便为辨识度增强模型。
在GAN-1的基础上，将定位CT图像输入到GAN-1(的生成器)中，GAN-1(的生成器)输出的合成图像为处理好的定位CT图像。
举例二：收集患者治疗前的前列腺的CBCT图像和定位CT图像，首先对CBCT图像和定位CT图像作初步形变配准处理。然后将处理后的CBCT图像输入到GAN-1的生成器，得到合成的CBCT图像(后续简称sCBCT图像)。然后将sCBCT图像和处理后的定位CT图像输入到GAN-1的判别器，判别器区分sCBCT图像和定位CT图像。
循环生成器的生成和判别器的判别过程，更新生成器和判别器的参数，直至模型收敛，判别器无法区分sCBCT图像和定位CT图像。
将sCBCT图像输入GAN-2的生成器得到重建CBCT图像(后续简称rCBCT)，然后将rCBCT图像和定位CT图像输入GAN-2的判别器，判别器区分rCBCT图像和定位CT图像。循环生成器的生成和判别器的判别过程，更新生成器和判别器的参数，直至模型收敛，判别器无法区分sCBCT图像和定位CT图像。
对GAN-1和GAN-2使用循环一致性方法，利用L1正则函数，缩小GAN-1和GAN-2语义信息上的差异，保持sCT图像和CT图像内部语义信息一致，最终获得的GAN-1网络便为辨识度增强模型。
在GAN-1的基础上，将CBCT图像输入到GAN-1(的生成器)中，GAN-1(的生成器)输出的合成图像为处理好的CBCT图像。
从上述举例可以看出，通过两个对抗网络构建辨识度增强模型，最终构建完成的辨识度增强模型不仅能够有效的提高图像辨识度，还能够保持图像的语义信息不变。
基于同一发明构思，请参照图2，本申请实施例中还提供一种图像处理装置200，包括获取模块210和处理模块220。
获取模块210，用于获取待处理图像。处理模块220，用于根据预先训练好的辨识度增强模型对所述待处理图像进行处理，获得处理好的图像；所述处理好的图像的辨识度高于所述待处理图像的辨识度；其中，所述辨识度增强模型通过预设模型进行训练，所述预设模型用于优化所述辨识度增强模型的参数，以使所述处理好的图像的语义信息与所述待处理图像的语义信息一致。
在本申请实施例中，图像处理装置200还包括训练模块，用于：获取训练数据集；所述训练数据集中包括第一图像和第二图像，所述第一图像的辨识度低于所述第二图像的辨识度；将所述第一图像输入所述第一对抗网络的生成器，获得合成的第一图像；根据所述合成的第一图像和所述第二图像对所述第一对抗网络的生成器和判别器进行训练，获得初步训练好的第一对抗网络；将所述合成的第一图像输入所述第二对抗网络的生成器，获得重建的第一图像；根据所述重建的第一图像和所述第一图像对所述第二对抗网络的生成器和判别器进行训练，获得训练好的第二对抗网络；根据所述训练好的第二对抗网络对所述初步训练好的第一对抗网络的参数进行优化，获得最终训练好的第一对抗网络。
在本申请实施例中，训练模块具体用于：基于预设的循环一致性函数和所述训练好的第二对抗网络对所述初步训练好的第一对抗网络进行语义信息处理，以对所述初步训练好的第一对抗网络的参数进行优化。
在本申请实施例中，训练模块具体还用于：获取初始的第一图像和初始的第二图像；对所述初始的第一图像和所述初始的第二图像进行形变配准处理，获得所述第一图像和所述第二图像；基于所述第一图像和所述第二图像生成所述训练数据集。
图像处理装置200与前述实施例的图像处理方法对应，各个功能模块与方法的步骤对应，因此，各个功能模块的实施方式参照前述实施例中各个方法步骤的实施方式，在此不再重复介绍。
基于同一发明构思，请参照图3，本申请实施例中还提供一种图像处理设备300，该图像处理设备300可以作为前述图像处理方法的执行主体，包括：处理器310、存储器320和显示模块330。
处理器310、存储器320和显示模块330各元件之间直接或间接地电连接，以实现数据的传输或交互。例如，这些元件之间可以通过一条或多条通讯总线或信号总线实现电连接。图像处理方法分别包括至少一个可以以软件或固件(firmware)的形式存储于存储器320中的软件功能模块，例如图像处理装置200包括的软件功能模块或计算机程序。
处理器310可以是一种集成电路芯片，具有信号处理能力。处理器310可以是通用处理器，包括CPU(Central Processing Unit，中央处理器)、NP(Network Processor，网络处理器)等；还可以是数字信号处理器、专用集成电路、现成可编程门阵列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。其可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器320可以存储各种软件程序以及模块，如本申请实施例提供的超声教学方法及装置对应的程序指令/模块。处理器310通过运行存储在存储器320中的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现本申请实施例中的方法。
存储器320可以包括但不限于RAM(Random Access Memory，随机存取存储器)，ROM(Read Only Memory，只读存储器)，PROM(Programmable Read-Only Memory，可编程只读存储器)，EPROM(Erasable Programmable Read-Only Memory，可擦除只读存储器)，EEPROM(Electric Erasable Programmable Read-Only Memory，电可擦除只读存储器)等。
显示模块330在图像处理设备300与用户之间提供一个交互界面(例如用户操作界面)或用于展示处理过程中产生的结果给用户参考，比如：展示处理好的图像。在本申请实施例中，显示模块330可以是液晶显示器或触控显示器。若为触控显示器，其可为支持单点和多点触控操作的电容式触控屏或电阻式触控屏等。支持单点和多点触控操作是指触控显示器能感应到来自该触控显示器上一个或多个位置处同时产生的触控操作，并将该感应到的触控操作交由处理器310进行计算和处理。
可以理解，图3所示的结构仅为示意，图像处理设备300还可包括比图3中所示更多或者更少的组件，或者具有与图3所示不同的配置，比如：图像处理设备300还可以包括输入输出模块、通信模块等。图3中所示的各组件可以采用硬件、软件或其组合实现。
基于同一发明构思，本申请实施例还提供一种可读存储介质，该可读存储介质上存储有计算机程序，该计算机程序被计算机运行时，执行上述任一实施方式的图像处理方法。
在本申请所提供的实施例中，应该理解到，所揭露装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
另外，作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
再者，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。
以上所述仅为本申请的实施例而已，并不用于限制本申请的保护范围，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (11)

1.一种图像处理方法，其特征在于，包括：
获取待处理图像；
根据预先训练好的辨识度增强模型对所述待处理图像进行处理，获得处理好的图像；所述处理好的图像的辨识度高于所述待处理图像的辨识度；其中，所述辨识度增强模型通过预设模型进行训练，所述预设模型用于优化所述辨识度增强模型的参数，以使所述处理好的图像的语义信息与所述待处理图像的语义信息一致。
2.根据权利要求1所述的图像处理方法，其特征在于，所述辨识度增强模型为第一对抗网络，所述预设模型为第二对抗网络，所述第一对抗网络和所述第二对抗网络均包括生成器和判别器；在所述获取待处理图像之前，所述图像处理方法还包括：
获取训练数据集；所述训练数据集中包括第一图像和第二图像，所述第一图像的辨识度低于所述第二图像的辨识度；
将所述第一图像输入所述第一对抗网络的生成器，获得合成的第一图像；
根据所述合成的第一图像和所述第二图像对所述第一对抗网络的生成器和判别器进行训练，获得初步训练好的第一对抗网络；
将所述合成的第一图像输入所述第二对抗网络的生成器，获得重建的第一图像；
根据所述重建的第一图像和所述第一图像对所述第二对抗网络的生成器和判别器进行训练，获得训练好的第二对抗网络；
根据所述训练好的第二对抗网络对所述初步训练好的第一对抗网络的参数进行优化，获得最终训练好的第一对抗网络。
3.根据权利要求2所述的图像处理方法，其特征在于，所述根据所述训练好的第二对抗网络对所述初步训练好的第一对抗网络的参数进行优化，获得最终训练好的第一对抗网络，包括：
基于预设的循环一致性函数和所述训练好的第二对抗网络对所述初步训练好的第一对抗网络进行语义信息处理，以对所述初步训练好的第一对抗网络的参数进行优化。
4.根据权利要求2所述的图像处理方法，其特征在于，所述获取训练数据集，包括：
获取初始的第一图像和初始的第二图像；
对所述初始的第一图像和所述初始的第二图像进行形变配准处理，获得所述第一图像和所述第二图像；
基于所述第一图像和所述第二图像生成所述训练数据集。
5.根据权利要求2所述的图像处理方法，其特征在于，所述第一图像和所述待处理图像均为定位CT图像，所述第二图像为MRI图像；或者，
所述第一图像和所述待处理图像均为CBCT图像，所述第二图像为定位CT图像。
6.一种图像处理装置，其特征在于，包括：
获取模块，用于获取待处理图像；
处理模块，用于根据预先训练好的辨识度增强模型对所述待处理图像进行处理，获得处理好的图像；所述处理好的图像的辨识度高于所述待处理图像的辨识度；其中，所述辨识度增强模型通过预设模型进行训练，所述预设模型用于优化所述辨识度增强模型的参数，以使所述处理好的图像的语义信息与所述待处理图像的语义信息一致。
7.根据权利要求6所述的图像处理装置，其特征在于，所述辨识度增强模型为第一对抗网络，所述预设模型为第二对抗网络，所述第一对抗网络和所述第二对抗网络均包括生成器和判别器；所述图像处理装置还包括：
训练模块，用于：
获取训练数据集；所述训练数据集中包括第一图像和第二图像，所述第一图像的辨识度低于所述第二图像的辨识度；
将所述第一图像输入所述第一对抗网络的生成器，获得合成的第一图像；
根据所述合成的第一图像和所述第二图像对所述第一对抗网络的生成器和判别器进行训练，获得初步训练好的第一对抗网络；
将所述合成的第一图像输入所述第二对抗网络的生成器，获得重建的第一图像；
根据所述重建的第一图像和所述第一图像对所述第二对抗网络的生成器和判别器进行训练，获得训练好的第二对抗网络；
根据所述训练好的第二对抗网络对所述初步训练好的第一对抗网络的参数进行优化，获得最终训练好的第一对抗网络。
8.根据权利要求7所述的图像处理装置，其特征在于，所述训练模块具体用于：基于预设的循环一致性函数和所述训练好的第二对抗网络对所述初步训练好的第一对抗网络进行语义信息处理，以对所述初步训练好的第一对抗网络的参数进行优化。
9.根据权利要求7所述的图像处理装置，其特征在于，所述训练模块具体用于：
获取初始的第一图像和初始的第二图像；
对所述初始的第一图像和所述初始的第二图像进行形变配准处理，获得所述第一图像和所述第二图像；
基于所述第一图像和所述第二图像生成所述训练数据集。
10.一种图像处理设备，其特征在于，包括：
处理器、与所述处理器通信连接的存储器、显示模块；
所述存储器存储有可被所述处理器执行的指令，所述指令被所述处理器执行，以使所述处理器能够执行权利要求1至5任一项所述的图像处理方法。
11.一种可读存储介质，其特征在于，所述可读存储介质上存储有计算机程序，所述计算机程序被计算机运行时，执行权利要求1-5任一项所述的图像处理方法。
CN202110847916.0A 2021-07-26 2021-07-26 图像处理方法、装置、设备、可读存储介质 Pending CN113538395A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110847916.0A CN113538395A (zh) 2021-07-26 2021-07-26 图像处理方法、装置、设备、可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110847916.0A CN113538395A (zh) 2021-07-26 2021-07-26 图像处理方法、装置、设备、可读存储介质

Publications (1)

Publication Number Publication Date
CN113538395A true CN113538395A (zh) 2021-10-22

Family

ID=78089107

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110847916.0A Pending CN113538395A (zh) 2021-07-26 2021-07-26 图像处理方法、装置、设备、可读存储介质

Country Status (1)

Country Link
CN (1) CN113538395A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114742807A (zh) * 2022-04-24 2022-07-12 北京医准智能科技有限公司 基于x光图像的胸片识别方法、装置、电子设备和介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019019199A1 (en) * 2017-07-28 2019-01-31 Shenzhen United Imaging Healthcare Co., Ltd. SYSTEM AND METHOD FOR IMAGE CONVERSION
CN112150569A (zh) * 2020-09-24 2020-12-29 北京羽医甘蓝信息技术有限公司 将cbct图像生成为ct图像的方法、装置及终端设备
CN112766366A (zh) * 2021-01-18 2021-05-07 深圳前海微众银行股份有限公司 对抗生成网络的训练方法及其图像处理方法、装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019019199A1 (en) * 2017-07-28 2019-01-31 Shenzhen United Imaging Healthcare Co., Ltd. SYSTEM AND METHOD FOR IMAGE CONVERSION
CN112150569A (zh) * 2020-09-24 2020-12-29 北京羽医甘蓝信息技术有限公司 将cbct图像生成为ct图像的方法、装置及终端设备
CN112766366A (zh) * 2021-01-18 2021-05-07 深圳前海微众银行股份有限公司 对抗生成网络的训练方法及其图像处理方法、装置

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
XIAO LIANG 等: "Generating synthesized computed tomography (CT) from cone-beam computed tomography (CBCT) using CycleGAN for adaptive radiation therapy" *
YANG LEI 等: "MRI-only based synthetic CT generation using dense cycle consistent generative adversarial networks" *
YANG ZHANG等: "Improving CBCT quality to CT level using deep learning with generative adversarial network" *
宋杰等: "基于深度学习的数字病理图像分割综述与展望" *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114742807A (zh) * 2022-04-24 2022-07-12 北京医准智能科技有限公司 基于x光图像的胸片识别方法、装置、电子设备和介质

Similar Documents

Publication Publication Date Title
US11869202B2 (en) Method and system for processing multi-modality image
US11139067B2 (en) Medical image display device, method, and program
JP2019153250A (ja) 医療文書作成支援装置、方法およびプログラム
CN110807755A (zh) 使用定位器图像进行平面选择
TW202032577A (zh) 醫學圖像分割方法、裝置、系統及圖像分割方法
JP7187244B2 (ja) 医用画像処理装置、医用画像処理システム及び医用画像処理プログラム
JP7129869B2 (ja) 疾患領域抽出装置、方法及びプログラム
CN111080584A (zh) 医学图像的质控方法、计算机设备和可读存储介质
US20210027872A1 (en) Medical document creation support apparatus, medical document creation support method, and medical document creation support program
US11037296B1 (en) Deriving target data from selected brain data
US11688498B2 (en) Medical document display control apparatus, medical document display control method, and medical document display control program
US20220392619A1 (en) Information processing apparatus, method, and program
CN113658175A (zh) 一种征象数据的确定方法及装置
CN114762057A (zh) 医学成像系统中的自动化方案拟定
US11923069B2 (en) Medical document creation support apparatus, method and program, learned model, and learning apparatus, method and program
CN113538395A (zh) 图像处理方法、装置、设备、可读存储介质
US11995834B2 (en) Method and system for the automated determination of examination results in an image sequence
WO2022215530A1 (ja) 医用画像装置、医用画像方法、及び医用画像プログラム
US20220076796A1 (en) Medical document creation apparatus, method and program, learning device, method and program, and trained model
US12076158B2 (en) Intuitive display for rotator cuff tear diagnostics
Boneš et al. Automatic segmentation and alignment of uterine shapes from 3D ultrasound data
US20220122350A1 (en) Learning image generation device, learning image generation method, learning image generation program, learning method, learning device, and learning program
Fontanella et al. Challenges of building medical image datasets for development of deep learning software in stroke
US20230022549A1 (en) Image processing apparatus, method and program, learning apparatus, method and program, and derivation model
US20230230261A1 (en) Diagnosis support device, operation method of diagnosis support device, operation program of diagnosis support device

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20211022