CN111915622B - 一种图像分割网络模型的训练及图像分割方法、装置 - Google Patents

一种图像分割网络模型的训练及图像分割方法、装置 Download PDF

Info

Publication number
CN111915622B
CN111915622B CN202010656173.4A CN202010656173A CN111915622B CN 111915622 B CN111915622 B CN 111915622B CN 202010656173 A CN202010656173 A CN 202010656173A CN 111915622 B CN111915622 B CN 111915622B
Authority
CN
China
Prior art keywords
image
resolution
training
network model
resolution image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010656173.4A
Other languages
English (en)
Other versions
CN111915622A (zh
Inventor
鞠光亮
韩冬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Neusoft Medical Systems Co Ltd
Original Assignee
Shenyang Advanced Medical Equipment Technology Incubation Center Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenyang Advanced Medical Equipment Technology Incubation Center Co ltd filed Critical Shenyang Advanced Medical Equipment Technology Incubation Center Co ltd
Priority to CN202010656173.4A priority Critical patent/CN111915622B/zh
Publication of CN111915622A publication Critical patent/CN111915622A/zh
Application granted granted Critical
Publication of CN111915622B publication Critical patent/CN111915622B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G06T3/4076—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution using the original low-resolution images to iteratively correct the high-resolution images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30048—Heart; Cardiac
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30061—Lung
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本公开提供一种图像分割网络模型的训练及图像分割方法、装置，其中，该训练方法包括：获取对目标部位进行扫描得到的原始扫描数据；按照不同分辨率对所述原始扫描数据进行重建，至少获得第一分辨率图像和第二分辨率图像，其中，所述第一分辨率图像的分辨率低于所述第二分辨率图像的分辨率，所述第二分辨率图像中包括已标记的病灶区域；利用图像分割网络模型，根据所述第一分辨率图像获得预测目标图像，所述预测目标图像中包含病灶区域的预测结果；根据所述第二分辨率图像与所述预测目标图像，训练得到以所述第二分辨率图像的分辨率和病灶区域为输出目标的所述图像分割网络模型。通过本公开的方法，可以对低分辨率图像进行准确的图像分割。

Description

一种图像分割网络模型的训练及图像分割方法、装置
技术领域
本公开涉及图像分割技术领域，特别涉及一种图像分割网络模型的训练及图像分割方法、装置。
背景技术
目前对扫描图像的自动病灶检测方法，多数是通过深度学习网络学习到病灶组织的特征集合，然后利用训练好的网络从扫描图像中将病灶区域分割出来。以计算机断层扫描(Computerized tomography，CT)扫描得到的CT图像为例，用于分割的网络可以根据卷积核的维度分为2D和3D两种分割方式，其中3D分割由于提取的特征信息含量大、维度高，其分割效果和准确度都要优于2D分割。但是优于深度神经网络是在一定范围内的分辨率下学习到的病灶特征，如果分辨率不在这个范围内则需要对图像进行插值操作。虽然插值操作可以一定程度上解决分割精度的问题，但是由于插值时信息的损失，会对分割结果的精度有很大影响。
发明内容
本说明书至少一个实施例提供了一种图像分割网络模型的训练及图像分割方法、装置，以对低分辨率图像进行准确的图像分割。
第一方面，提供了一种图像分割网络模型的训练方法，包括：
获取对目标部位进行扫描得到的原始扫描数据；
按照不同分辨率对所述原始扫描数据进行重建，至少获得第一分辨率图像和第二分辨率图像，其中，所述第一分辨率图像的分辨率低于所述第二分辨率图像的分辨率，所述第二分辨率图像中包括已标记的病灶区域；
利用图像分割网络模型，根据所述第一分辨率图像获得预测目标图像，其中，所述预测目标图像中包含病灶区域的预测结果；
根据所述第二分辨率图像与所述预测目标图像，训练得到以所述第二分辨率图像的分辨率和病灶区域为输出目标的所述图像分割网络模型。
第二方面，提供了一种图像分割方法，包括：
获得对目标部位扫描得到的待分割图像；
根据第一方面提供的任一训练方法得到图像分割网络模型；
将所述待分割图像输入所述图像分割网络模型中，得到病灶区域的目标分割图像。
第三方面，提供了一种图像分割网络模型的训练装置，所述装置包括：
数据获取模块，用于获取对目标部位进行扫描得到的原始扫描数据；
重建模块，用于按照不同分辨率对所述原始扫描数据进行重建，至少获得第一分辨率图像和第二分辨率图像，其中，所述第一分辨率图像的分辨率低于所述第二分辨率图像的分辨率，所述第二分辨率图像中包括已标记的病灶区域；
图像预测模块，用于利用图像分割网络模型，根据所述第一分辨率图像获得预测目标图像，其中，所述预测目标图像中包含病灶区域的预测结果；
训练模块，用于根据所述第二分辨率图像与所述预测目标图像，训练得到以所述第二分辨率图像的分辨率和病灶区域为输出目标的所述图像分割网络模型。
第四方面，提供了一种图像分割装置，所述装置包括：
图像获取模块，用于获得对目标部位扫描得到的待分割图像；
模型获取模块，用于根据第三方面任一装置训练得到图像分割网络模型；
图像分割模块，用于将所述待分割图像输入所述图像分割网络模型中，得到病灶区域的目标分割图像。
第五方面，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现本说明书任一实施例所述的图像分割网络模型训练方法。
第五方面，提供了一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现本说明书任一实施例所述的图像分割网络模型训练方法。
本公开实施例提供的技术方案可以包括以下有益效果：
本公开实施例，通过获取对目标部位进行扫描得到的原始扫描数据；按照不同分辨率对所述原始扫描数据进行重建，至少获得第一分辨率图像和第二分辨率图像，其中，所述第一分辨率图像的分辨率低于所述第二分辨率图像的分辨率，所述第二分辨率图像中包括已标记的病灶区域；利用图像分割网络模型，根据所述第一分辨率图像获得预测目标图像，其中，所述预测目标图像中包含病灶区域的预测结果；根据所述第二分辨率图像与所述预测目标图像，训练得到以所述第二分辨率图像的分辨率和病灶区域为输出目标的所述图像分割网络模型。通过本说明书提供的训练方法得到的图像分割网络模型，可以对低分辨率图像进行准确的图像分割，提高了目标组织的图像精度及准确性。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本说明书。
附图说明
图1是本公开实施例提供的一种图像分割网络模型的训练方法的流程图；
图2是本公开实施例提供的一种图像分割网络模型的训练数据准备方法的流程图；
图3是本公开实施例提供的一种分辨率优化子模型的训练方法的流程图；
图4是本公开实施例提供的一种图像分割子模型的训练方法的流程图；
图5是本公开实施例提供的一个图像分割网络模型的结构示意图；
图6是本公开实施例提供的一种图像分割方法的流程图；
图7是本公开实施例提供的一种图像分割网络模型训练装置的示意图；
图8是本公开实施例提供的一种图像分割装置的示意图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是本公开的一些方面相一致的装置和方法的例子。
在本公开实施例使用的术语是仅仅出于描述特定本公开实施例的目的，而非旨在限制本公开实施例。在本公开实施例和中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解，尽管在本公开实施例可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本公开实施例范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
目前基于深度学习网络对扫描图像的自动病灶检测方法，由于深度神经网络是在一定范围内的分辨率下学习到的病灶特征，如果图像分辨率不在训练范围内则需要对输入图像进行预先操作，例如差值操作，使输入图像数据达到要求的分辨率范围。本公开提出一种扫描图像的分割网络模型的训练方法，通过本公开训练得到的图像分割网络模型，可以适用于不同分辨率的扫描图像，保证分割精度的提升。
下面通过实施例对图像分割神经网络模型的训练方法进行详细说明。
请参见图1，该图是本公开实施例提供的一种图像分割网络模型的训练方法的流程图。该方法可以包括：
S101:获取对目标部位进行扫描得到的原始扫描数据；
本步骤中，对目标部位进行扫描，得到目标部位对应的原始数据。例如可以对目标部位进行CT扫描，得到CT扫描的原始数据，也可以对进行核磁共振成像(MRI magneticresonance imaging，MRI)扫描，得到MRI扫描的原始数据，对于扫描方式，本公开不做限定。
目标部位是指人体中需要进行扫描并分割的部位，例如可以是肺部，也可以是心脏组织等。可以理解的是，对于图像分割网络模型的训练，得到的是针对目标部位的图像分割网络模型，在应用过程中，需要训练不同的目标部位对应的图像分割网络模型。例如，训练得到CT肺部图像分割网络模型，MRI心脏图像分割网络模型等。
S102:按照不同分辨率对所述原始扫描数据进行重建，至少获得第一分辨率图像和第二分辨率图像。其中，所述第一分辨率图像的分辨率低于所述第二分辨率图像的分辨率，所述第二分辨率图像中包括已标记的病灶区域。
在实际临床应用中，扫描得到的原始数据，分辨率可能会比较低，传统图像分割神经网络模型对输入图像的分辨率要求较高，无法满足低分辨率图像的分割。以CT扫描为例，当层方向分辨率大于3mm时，无法通过传统图像分割神经网络得到分割图像。图像分割网络模型构建和训练的目的，是通过输入的低分辨率的图像，得到高分辨率的目标部位分割图像。因此，在训练图像分割网络模型时，需要一定数量的低分辨率图像作为训练样本，本步骤中，根据不同的分辨率对原始扫描数据进行重建，至少获得第一分辨率图像和第二分辨率图像。其中，第一分辨率可以是预先设置的较低分辨率，例如可以是5mm分辨率，也可以是3mm分辨率。第二分辨率可以依据经验设置为一个较高的数值，例如可以设置第二分辨率为1mm，以第二分辨率对原始数据进行图像重建，得到第二分辨率图像。可以理解的是，第一分辨率图像可以作为神经网络模型训练过程中的输入图像，在第二分辨率图像上标记病灶区域，作为神经网络模型训练过程中的标签图像。病灶区域的标记可以采用传统的分割算法，例如采用levelset图像分割方法，或者采用阈值分割方法，也可以由医生通过经验进行手动分割，在此不做限定。
需要说明的是，高分辨率的实际物理距离小于低分辨率的实际物理距离，例如1mm分辨率图像与3mm分辨率图像相比较，1mm分辨率图像就是相应的高分辨率图像，其实际物理距离1mm要小于低分辨率图像的实际物理距离3mm。
S103：利用图像分割网络模型，根据所述第一分辨率图像获得预测目标图像，其中，所述预测目标图像中包含病灶区域的预测结果。
本步骤构建图像分割网络模型的结构，并设定初始参数。将基于第一分辨率重建得到的第一分辨率图像，输入到图像分割网络模型中，得到预测目标图像。其中，预测目标图像中包含病灶区域的预测结果。
S104：根据所述第二分辨率图像与所述预测目标图像，训练得到以所述第二分辨率图像的分辨率和病灶区域为输出目标的所述图像分割网络模型。
本例子中采用迭代的方法对图像分割神经网络模型进行训练，每次迭代时，利用第二分辨率图像与预测目标图像的差异，对图像分割网络模型的参数进行调整。其中，第二分辨率图像与预测目标图像的差异包括第二分辨率图像与预测目标图像的分辨率差异，以及所述第二分辨率图像中标记的病灶区域与所述预测目标图像中病灶区域的预测结果之间的差异。
在一个例子中，为了提高神经网络模型的精度，上述步骤S103-S104可以通过以下方法实施，以便为神经网络训练提供数据准备，如图2所示，该方法包括：
S201：根据预设规则划分所述第一分辨率图像和所述第二分辨率图像，得到第一分辨率图像块集合和第二分辨率图像块集合，其中，所述第一分辨率图像块集合和所述第二分辨率图像块集合中包含的图像块数量相等，且位置一一对应；
为了提高图像分割网络模型的泛化性，可以将第一分辨率图像和第二分辨率图像按照同样的划分规则，划分成若干图像块，划分的方法可以是在第一分辨率图像上的指定位置，取固定长度的小块，再在第二分辨率的相同位置，取固定长度的小块，这两个图像小块组成一对互相对应的训练图像块。例如，在第一分辨率图像上的(0,0)位置，取大小为64*64的小块，在第二分辨率图像上的(0,0)位置，同样取大小为64*64的小块，那么这两个小块就是相互对应的训练图像块。需要说明的是，当重建出的图像是多层图像时，第一分辨率图像和第二分辨率图现象的层数可能并不相同，在选取图像块的时候，可以在相同位置选取不同尺寸的图像块，例如，在第一分辨率图像上的(0,0,0)处选取大小为64*64*16的小块，相应的，在第二分辨率图像上的(0,0,0)处选取大小为64*64*48的小块，组成相互对应的训练图像块。
S202：将所述第一分辨率图像块集合中的每一个图像块输入所述图像分割网络模型中，得到预测目标图像块集合；
继续上述例子，预测目标图像相应的由多个预测目标图像块组成，其中每一个预测目标图像块都是通过第一分辨图像酷开输入图像分割网络模型而对应得到的。
S203：根据每一个所述预测目标图像块集合中的预测目标图像块，以及所述第二分辨率图像块集合中的对应的第二分辨率图像块，训练得到以所述第二分辨率图像的分辨率和病灶区域为输出目标的所述图像分割网络模型。
在进行网络模型训练时，基于预测目标图像块集合中的预测目标图像快，与第二分辨率图像块集合中的第二分辨率图像块，对图像分割网络模型进行训练。迭代训练的具体过程，将在后续内容中详细描述，在此不再赘述。
通过本例子提供的训练方法得到的图像分割神经网络模型，可以对低分辨率的图像直接进行图像分割，无需进行传统的插值方法，对待分割图像的分辨率没有要求，提高了图像分割的效率和适用性。
在一个例子中，图像分割网络是由分辨率优化子模型和高分辨率图像分割子模型组成。
当输入图像的分辨率较低时，不能直接作为输入图像输入分割模型，基于此，本例子中构建两个子模型，分别是分辨率优化子模型和图像分割子模型。
将所述第一分辨率图像输入所述分辨率优化子模型中,获得预测分辨率优化图像；将所述预测分辨率优化图像输入所述图像分割子模型中，获得所述预测目标图像；
下面分别对分辨率优化子模型和图像分割子模型的训练过程进行说明。
请参照图3，图3是分辨率优化子模型的训练过程，包括如下步骤：
S301：将所述第二分辨率图像与所述预测分辨率优化图像输入第一损失函数，判断是否满足第一训练停止条件；
S302：若不能满足第一训练停止条件，则调整所述分辨率优化子模型参数，并将所述预测分辨率优化图像更新为所述第一分辨率图像，输入所述分辨率优化子模型；
S303：直到满足所述第一训练停止条件，完成所述分辨率优化子模型的训练。
分辨率优化子模型可以包含卷积层、升采样层、激活层等。将第一分辨率图像输入所述分辨率优化子模型中,获得预测分辨率优化图像。预先设定第一损失函数，将预测分辨率优化图像和第二分辨率图像输入第一损失函数中，判断是否满足第一训练停止条件。其中，第一损失函数可以采用mse+ssim的组合形式，也可以采用其他回归类的损失函数，在此不做限定。
当判断结果是不能满足第一训练停止条件时，则根据第一损失函数的值调整分辨率优化子模型的参数，并将本次迭代得到的预测分辨率优化图像更新为新的第一分辨率图像，重新输入分辨率优化子模型；
当判断结果是满足第一训练停止条件时，停止训练，得到训练完毕的分辨率优化子模型。
在一个例子中，第一训练停止条件可以是，第一损失函数的值小于预设阈值，或者迭代次数达到预设迭代次数。
请继续参照图4，图4是图像分割子模型的训练过程，包括如下步骤：
S401：将所述第二分辨率图像与所述预测目标图像输入第二损失函数，判断是否满足第二训练停止条件；
S402：若不能满足第二训练停止条件，则调整所述图像分割子模型参数，并将所述预测目标图像更新为所述预测分辨率优化图像，输入所述图像分割子模型；
S403：直到满足所述第二训练停止条件，完成所述图像分割子模型的训练。
本例子中，图像分割子模型可以包含卷积层、升采样层、激活层等。将分辨率优化子模型输出的预测分辨率优化图像输入构建好的图像分割子模型中，获得预测目标图像。预先设定第二损失函数，将第二分辨率图像和预测目标图像输入第二损失函数中，判断是否满足第二训练停止条件。其中，第二损失函数可以采用mae+ssim的组合形式，也可以采用交叉熵的形式，在此不做限定。
当判断结果是不能满足第二训练停止条件时，则根据第二损失函数的值调整图像分割子模型的参数，并将本次迭代得到的预测目标图像更新为新的预测目标图像，重新输入图像分割子模型；
当判断结果是满足第二训练停止条件时，停止训练，得到训练完毕的图像分割子模型。
在一个例子中，第二训练停止条件可以是，第二损失函数的值小于预设阈值，或者迭代次数达到预设迭代次数。
当完成分辨率优化子模型的训练和图像分割子模型的训练后，则得到了由分辨率优化子模型和图像分割子模型构成的图像分割网络模型。
在又一个例子中，第一分辨率可以包括多个分辨率，例如第一分辨率可以包括2个分辨率，也可以包括3个分辨率，可以理解的是，第一分辨率中所有分辨率的最小值高于第二分辨率。根据第一分辨率中的所有分辨率，分别对原始数据进行重建，得到对应于每一个第一分辨率的第一分辨率图像。例如，第一分辨率包括3mm和5mm，那么基于3mm分辨率重建原始数据，得到分辨率为3mm的第一分辨率图像，再基于5mm分辨率重建原始数据，得到分辨率为5mm的第一分辨率图像。本例子中，针对多个不同分辨率的第一分辨率图像，分别训练每一个第一分辨率对应的分辨率优化子模型。继续上述例子，重建得到分辨率为3mm的第一分辨率图像和分辨率为5mm的第一分辨率图像后，基于3mm分辨率对应的第一分辨率图像和第二分辨率图像，训练得到3mm分辨率对应的分辨率优化子模型，基于5mm分辨率对应的第一分辨率图像和第二分辨率图像，训练得到5mm分辨率对应的分辨率优化子模型。进一步的，可以将所有第一分辨率对应的分辨率优化子模型输出的预测分辨率优化图像都输入到图像分割子模型中，对图像分割子模型进行训练。
图5是本公开实施例提供的一个图像分割网络模型的结构示意图。如图2所示，根据预设第一分辨率重建原始扫描数据得到第一分辨率图像，再根据第二分辨率重建原始扫描数据得到第二分辨率图像，将第一分辨率图像输入构建的分辨率优化子模型中，基于第一分辨率图像和第二分辨率图像训练得到分辨率优化子模型，继续将预测分辨率优化图像输入图像分割子模型，需要说明的是，图像分割子模型可以包括多个卷积层和激活层，所有网络共享一套网络参数，对于网络结构，本公开不做具体限定，基于第一预测分辨率优化图像和第二分辨率图像，训练得到图像分割子模型，实现了对低分辨率扫描图像在分辨率方面的再优化，使扫描图像能够满足图像分割模型的要求，能够满足任意分辨率的扫描图像的分割，提高了图像分割的精度。
本公开还提供了一种图像分割方法，如图6所示，图像分割方法可以包括如下步骤：
S601：获得对目标部位扫描得到的待分割图像；
S602:根据步骤S101-S104所述的任一训练方法得到图像分割网络模型；
S602：将所述待分割图像输入所述图像分割网络模型中，得到病灶区域的目标分割图像。
对目标部位进行扫描，得到包含目标部位的待分割图像。待分割图像可以是通过CT扫描得到的CT图像，也可以是MRI扫描得到的MRI图像。将待分割图像输入预先训练的图像分割网络模型中，得到分割图像。需要说明的是，对于扫描得到的图像，图像分辨率可能较低，不能满足传统图像分割神经网络模型的输入要求，本公开实施例中，对于扫描得到的图像的分辨率不做限定。图像分割神经网络模型的训练方法，在本公开上述例子中已经描述，在此不再赘述。将待分割图像输入训练完毕的神经网络模型中，得到高分辨率的分割图像。
在一个例子中，将待分割图像输入图像分割神经网络模型中，找到与待分割图像分辨率相对应的分辨率优化子模型，输出预测分辨率优化图像，再将预测分辨率优化图像输入图像分割子模型中，得到第一分辨率图像对应的目标图像。例如，待分割图像的分辨率是5mm，那么将待分割图像输入图像分割网络模型中，首先根据待分割图像的分辨率，将待分割图像输入分辨率为5mm对应的分辨率优化子模型中，得到1mm分辨率的预测分辨率优化图像，再将分辨率为1mm的预测分辨率优化图像输入图像分割子模型，得到目标图像。
上述例子，将扫描图像输入由步骤101-104训练得到的图像分割网络模型中，得到病灶区域的目标图像，对于扫描图像的分辨率不做限定，有效提高了目标组织分割的效率和精度。
与前述图像分割网络模型的训练方法实施例相对应，本公开还提供了图像分割网络模型的训练装置的实施例。
图7是本公开实施例提供的一种图像分割网络模型训练装置示意图，该装置可以执行本说明书任一实施例的图像分割网络模型的训练方法。该装置可以包括数据获取模块701、重建模块702、图像预测模块703和训练模块704,。其中：
数据获取模块701，用于获取对目标部位进行扫描得到的原始扫描数据；
重建模块702，用于按照不同分辨率对所述原始扫描数据进行重建，至少获得第一分辨率图像和第二分辨率图像，其中，所述第一分辨率图像的分辨率低于所述第二分辨率图像的分辨率，所述第二分辨率图像中包括已标记的病灶区域；
图像预测模块703，用于利用图像分割网络模型，根据所述第一分辨率图像获得预测目标图像，其中，所述预测目标图像中包含病灶区域的预测结果；
训练模块704，用于根据所述第二分辨率图像与所述预测目标图像，训练得到以所述第二分辨率图像的分辨率和病灶区域为输出目标的所述图像分割网络模型。
可选的，所述训练模块704，具体用于根据所述第二分辨率图像与所述预测目标图像的差异，训练得到以所述第二分辨率图像的分辨率和病灶区域为输出目标的所述图像分割网络模型，其中，所述差异包括所述第二分辨率图像与所述预测目标图像的分辨率差异，以及所述第二分辨率图像中标记的病灶区域与所述预测目标图像中病灶区域的预测结果之间的差异。
可选的，所述图像预测模块703，包括：图像划分子模块7031，用于根据预设规则划分所述第一分辨率图像和所述第二分辨率图像，得到第一分辨率图像块集合和第二分辨率图像块集合，其中，所述第一分辨率图像块集合和所述第二分辨率图像块集合中包含的图像块数量相等，且位置一一对应；
所述训练模块704，具体用于：将所述第一分辨率图像块集合中的每一个图像块输入所述图像分割网络模型中，得到预测目标图像块集合；
根据每一个所述预测目标图像块集合中的预测目标图像块，以及所述第二分辨率图像块集合中的对应的第二分辨率图像块，训练得到所述图像分割网络模型。
可选的，所述图像分割网络模型，包括分辨率优化子模型和图像分割子模型；所述图像预测模块703，包括：分辨率优化子模块7031，用于将所述第一分辨率图像输入所述分辨率优化子模型中,获得预测分辨率优化图像；
图像分割子模块7032，用于将所述预测分辨率优化图像输入所述图像分割子模型中，获得所述预测目标图像；
所述训练模块704，具体用于：根据所述第二分辨率图像与所述预测分辨率优化图像，训练得到所述分辨率优化子模型；
根据所述第二分辨率图像与所述预测目标图像，训练得到所述图像分割子模型。
与前述图像分割网络模型的训练方法实施例相对应，本公开还提供了图像分割装置的实施例。
图8是本公开实施例提供的一种图像分割装置示意图，该装置可以执行本说明书任一实施例的图像分割方法。该装置可以包括图像获取模块801、模型获取模块802，以及图像分割模块803。其中：
图像获取模块801，用于获得对目标部位扫描得到的待分割图像；
模型获取模块802，用于根据701-704任一装置训练得到图像分割网络模型；
图像分割模块803，用于将所述待分割图像输入所述图像分割网络模型中，得到病灶区域的目标分割图像。
上述装置中各个模块的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。
对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本说明书至少一个实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
本说明书还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时能够实现本说明书任一实施例的图像分割网络模型的训练方法。
本说明书还提供了一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时能够实现本说明书任一实施例的图像分割网络模型的训练方法。
其中，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等，本公开并不对此进行限制。
本领域技术人员在考虑说明书及实践这里申请的发明后，将容易想到本说明书的其它实施方案。本说明书旨在涵盖本说明书的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本说明书的一般性原理并包括本说明书未申请的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的。
应当理解的是，本说明书并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。
以上所述仅为本说明书的较佳实施例而已，并不用于限制本说明书，凡在本说明书的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本说明书保护的范围之内。

Claims (11)

1.一种图像分割网络模型的训练方法，其特征在于，所述方法包括：
获取对目标部位进行扫描得到的原始扫描数据；
按照不同分辨率对所述原始扫描数据进行重建，至少获得第一分辨率图像和第二分辨率图像，其中，所述第一分辨率图像的分辨率低于所述第二分辨率图像的分辨率，所述第二分辨率图像中包括已标记的病灶区域；
利用图像分割网络模型，根据所述第一分辨率图像获得预测目标图像，其中，所述预测目标图像中包含病灶区域的预测结果；
根据所述第二分辨率图像与所述预测目标图像，训练得到以所述第二分辨率图像的分辨率和病灶区域为输出目标的所述图像分割网络模型；
所述根据所述第二分辨率图像与所述预测目标图像，训练得到以所述第二分辨率图像的分辨率和病灶区域为输出目标的所述图像分割网络模型，具体包括：
根据所述第二分辨率图像与所述预测目标图像的差异，训练得到以所述第二分辨率图像的分辨率和病灶区域为输出目标的所述图像分割网络模型，其中，所述差异包括所述第二分辨率图像与所述预测目标图像的分辨率差异，以及所述第二分辨率图像中标记的病灶区域与所述预测目标图像中病灶区域的预测结果之间的差异。
2.根据权利要求1所述的方法，其特征在于，所述利用图像分割网络模型，根据所述第一分辨率图像获得预测目标图像，根据所述第二分辨率图像与所述预测目标图像，训练得到以所述第二分辨率图像的分辨率和病灶区域为输出目标的所述图像分割网络模型，具体包括：
根据预设规则划分所述第一分辨率图像和所述第二分辨率图像，得到第一分辨率图像块集合和第二分辨率图像块集合，其中，所述第一分辨率图像块集合和所述第二分辨率图像块集合中包含的图像块数量相等，且位置一一对应；
将所述第一分辨率图像块集合中的每一个图像块输入所述图像分割网络模型中，得到预测目标图像块集合；
根据每一个所述预测目标图像块集合中的预测目标图像块，以及所述第二分辨率图像块集合中的对应的第二分辨率图像块，训练得到所述图像分割网络模型。
3.根据权利要求1所述的方法，其特征在于，所述图像分割网络模型，包括分辨率优化子模型和图像分割子模型，所述利用图像分割网络模型，根据所述第一分辨率图像获得预测目标图像，具体包括：
将所述第一分辨率图像输入所述分辨率优化子模型中,获得预测分辨率优化图像；
将所述预测分辨率优化图像输入所述图像分割子模型中，获得所述预测目标图像；
所述根据所述第二分辨率图像与所述预测目标图像，训练得到所述图像分割网络模型，具体包括：
根据所述第二分辨率图像与所述预测分辨率优化图像，训练得到所述分辨率优化子模型；
根据所述第二分辨率图像与所述预测目标图像，训练得到所述图像分割子模型。
4.根据权利要求3所述的方法，其特征在于，所述根据所述第二分辨率图像与所述预测分辨率优化图像，训练得到所述分辨率优化子模型，具体包括：
将所述第二分辨率图像与所述预测分辨率优化图像输入第一损失函数，判断是否满足第一训练停止条件；
若不能满足第一训练停止条件，则调整所述分辨率优化子模型参数，并将所述预测分辨率优化图像更新为所述第一分辨率图像，输入所述分辨率优化子模型；
直到满足所述第一训练停止条件，完成所述分辨率优化子模型的训练。
5.根据权利要求3所述的方法，其特征在于，所述根据所述第二分辨率图像与所述预测目标图像，训练得到所述图像分割子模型，具体包括：
将所述第二分辨率图像与所述预测目标图像输入第二损失函数，判断是否满足第二训练停止条件；
若不能满足第二训练停止条件，则调整所述图像分割子模型参数，并将所述预测目标图像更新为所述预测分辨率优化图像，输入所述图像分割子模型；
直到满足所述第二训练停止条件，完成所述图像分割子模型的训练。
6.一种图像分割方法，其特征在于，所述方法包括：
获得对目标部位扫描得到的待分割图像；
根据权利要求1-5任一所述的训练方法得到图像分割网络模型；
将所述待分割图像输入所述图像分割网络模型中，得到病灶区域的目标分割图像。
7.一种图像分割网络模型的训练装置，其特征在于，所述装置包括：
数据获取模块，用于获取对目标部位进行扫描得到的原始扫描数据；
重建模块，用于按照不同分辨率对所述原始扫描数据进行重建，至少获得第一分辨率图像和第二分辨率图像，其中，所述第一分辨率图像的分辨率低于所述第二分辨率图像的分辨率，所述第二分辨率图像中包括已标记的病灶区域；
图像预测模块，用于利用图像分割网络模型，根据所述第一分辨率图像获得预测目标图像，其中，所述预测目标图像中包含病灶区域的预测结果；
训练模块，用于根据所述第二分辨率图像与所述预测目标图像，训练得到以所述第二分辨率图像的分辨率和病灶区域为输出目标的所述图像分割网络模型；
所述训练模块，具体用于根据所述第二分辨率图像与所述预测目标图像的差异，训练得到以所述第二分辨率图像的分辨率和病灶区域为输出目标的所述图像分割网络模型，其中，所述差异包括所述第二分辨率图像与所述预测目标图像的分辨率差异，以及所述第二分辨率图像中标记的病灶区域与所述预测目标图像中病灶区域的预测结果之间的差异。
8.根据权利要求7所述的装置，其特征在于：
所述图像预测模块，包括：图像划分子模块，用于根据预设规则划分所述第一分辨率图像和所述第二分辨率图像，得到第一分辨率图像块集合和第二分辨率图像块集合，其中，所述第一分辨率图像块集合和所述第二分辨率图像块集合中包含的图像块数量相等，且位置一一对应；
所述训练模块，具体用于：将所述第一分辨率图像块集合中的每一个图像块输入所述图像分割网络模型中，得到预测目标图像块集合；
根据每一个所述预测目标图像块集合中的预测目标图像块，以及所述第二分辨率图像块集合中的对应的第二分辨率图像块，训练得到以所述第二分辨率图像的分辨率和病灶区域为输出目标的所述图像分割网络模型。
9.根据权利要求8所述的装置，其特征在于：
所述图像分割网络模型，包括分辨率优化子模型和图像分割子模型；
所述预测模块，包括：分辨率优化子模块，用于将所述第一分辨率图像输入所述分辨率优化子模型中,获得预测分辨率优化图像；
图像分割子模块，用于将所述预测分辨率优化图像输入所述图像分割子模型中，获得所述预测目标图像；
所述训练模块，具体用于：根据所述第二分辨率图像与所述预测分辨率优化图像，训练得到所述分辨率优化子模型；
根据所述第二分辨率图像与所述预测目标图像，训练得到所述图像分割子模型。
10.一种图像分割装置，其特征在于，所述装置包括：
图像获取模块，用于获得对目标部位扫描得到的待分割图像；
模型获取模块，用于根据权利要求7-9任一项所述的装置训练得到图像分割网络模型；
图像分割模块，用于将所述待分割图像输入所述图像分割网络模型中，得到病灶区域的目标分割图像。
11.一种计算机可读存储介质，其具有存储在其上的指令，当由一个或多个处理器执行时，使得一个或多个处理器执行图像分割网络模型的训练方法，该方法包括：
获取对目标部位进行扫描得到的原始扫描数据；
按照不同分辨率对所述原始扫描数据进行重建，至少获得第一分辨率图像和第二分辨率图像，其中，所述第一分辨率图像的分辨率低于所述第二分辨率图像的分辨率，所述第二分辨率图像中包括已标记的病灶区域；
利用图像分割网络模型，根据所述第一分辨率图像获得预测目标图像，其中，所述预测目标图像中包含病灶区域的预测结果；
根据所述第二分辨率图像与所述预测目标图像，训练得到以所述第二分辨率图像的分辨率和病灶区域为输出目标的所述图像分割网络模型；
所述根据所述第二分辨率图像与所述预测目标图像，训练得到以所述第二分辨率图像的分辨率和病灶区域为输出目标的所述图像分割网络模型，具体包括：
根据所述第二分辨率图像与所述预测目标图像的差异，训练得到以所述第二分辨率图像的分辨率和病灶区域为输出目标的所述图像分割网络模型，其中，所述差异包括所述第二分辨率图像与所述预测目标图像的分辨率差异，以及所述第二分辨率图像中标记的病灶区域与所述预测目标图像中病灶区域的预测结果之间的差异。
CN202010656173.4A 2020-07-09 2020-07-09 一种图像分割网络模型的训练及图像分割方法、装置 Active CN111915622B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010656173.4A CN111915622B (zh) 2020-07-09 2020-07-09 一种图像分割网络模型的训练及图像分割方法、装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010656173.4A CN111915622B (zh) 2020-07-09 2020-07-09 一种图像分割网络模型的训练及图像分割方法、装置

Publications (2)

Publication Number Publication Date
CN111915622A CN111915622A (zh) 2020-11-10
CN111915622B true CN111915622B (zh) 2024-01-23

Family

ID=73226195

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010656173.4A Active CN111915622B (zh) 2020-07-09 2020-07-09 一种图像分割网络模型的训练及图像分割方法、装置

Country Status (1)

Country Link
CN (1) CN111915622B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112419303B (zh) * 2020-12-09 2023-08-15 上海联影医疗科技股份有限公司 神经网络训练方法、系统、可读存储介质和设备
CN113436160B (zh) * 2021-06-22 2023-07-25 上海杏脉信息科技有限公司 一种病理图像处理及显示系统、客户端、服务端及介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105913431A (zh) * 2016-04-12 2016-08-31 绍兴文理学院 低分辨率医学图像的多图谱分割方法
CN108268870A (zh) * 2018-01-29 2018-07-10 重庆理工大学 基于对抗学习的多尺度特征融合超声图像语义分割方法
CN110765864A (zh) * 2019-09-17 2020-02-07 北京大学 一种基于分辨率无关特征的图片行人再识别系统及方法
CN111047606A (zh) * 2019-12-05 2020-04-21 北京航空航天大学 一种基于级联思想的病理全切片图像分割算法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10599951B2 (en) * 2018-03-28 2020-03-24 Kla-Tencor Corp. Training a neural network for defect detection in low resolution images
US11010872B2 (en) * 2019-04-29 2021-05-18 Intel Corporation Method and apparatus for person super resolution from low resolution image

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105913431A (zh) * 2016-04-12 2016-08-31 绍兴文理学院 低分辨率医学图像的多图谱分割方法
CN108268870A (zh) * 2018-01-29 2018-07-10 重庆理工大学 基于对抗学习的多尺度特征融合超声图像语义分割方法
CN110765864A (zh) * 2019-09-17 2020-02-07 北京大学 一种基于分辨率无关特征的图片行人再识别系统及方法
CN111047606A (zh) * 2019-12-05 2020-04-21 北京航空航天大学 一种基于级联思想的病理全切片图像分割算法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
FarSee-Net:Real-Time Semantic Segmentation by Efficient Multi-scale Context Aggregation and Feature Space Super-resolution;Zhanpeng Zhang 等;《arXiv》;1-7 *
SegSRGAN: Super-resolution and segmentation using generative adversarial networks-Application to neonatal brain MRI;Quentin Delannoy 等;《Computers in Biology and Medicine》;第1-18页摘要、第3-4节 *
低分辨率医学图像的多图谱分割方法;贺光华;祝汉灿;梁克维;;《高校应用数学学报A辑》;第32卷(第03期);371-378 *
基于生成式对抗网络的细小桥梁裂缝分割方法;李良福;胡敏;;《激光与光电子学进展》;第56卷(第10期);102-112 *

Also Published As

Publication number Publication date
CN111915622A (zh) 2020-11-10

Similar Documents

Publication Publication Date Title
CN110599528B (zh) 一种基于神经网络的无监督三维医学图像配准方法及系统
Zhu et al. How can we make GAN perform better in single medical image super-resolution? A lesion focused multi-scale approach
CN107464230B (zh) 图像处理方法及装置
CN111915622B (zh) 一种图像分割网络模型的训练及图像分割方法、装置
CN110992411B (zh) 图像配准模型的训练方法和装置
CN110570426A (zh) 使用深度学习的图像联合配准和分割
CN114241070B (zh) Ct图像去金属伪影以及模型训练的方法和装置
CN110930416A (zh) 一种基于u型网络的mri图像前列腺分割方法
CN115578404B (zh) 一种基于深度学习的肝脏肿瘤图像增强和分割的方法
CN113689359B (zh) 一种图像伪影去除模型及其训练方法和系统
CN107862665B (zh) Ct图像序列的增强方法及装置
CN111369574B (zh) 一种胸腔器官的分割方法及装置
CN112785632B (zh) 基于epid的图像引导放疗中dr和drr影像跨模态自动配准方法
CN111583246A (zh) 利用ct切片图像对肝脏肿瘤进行分类的方法
CN106157249A (zh) 基于光流法和稀疏邻域嵌入的单图像超分辨率重建算法
EP3973508A1 (en) Sampling latent variables to generate multiple segmentations of an image
CN113808106A (zh) 一种基于深度学习的超低剂量pet图像重建系统及方法
CN111968108B (zh) 基于智能扫描协议的ct智能成像方法、装置及系统
CN115239716A (zh) 一种基于形状先验U-Net的医学图像分割方法
CN108038840A (zh) 一种图像处理方法、装置、图像处理设备及存储介质
CN113362345A (zh) 图像分割方法、装置、计算机设备和存储介质
CN117523204A (zh) 面向医疗场景的肝脏肿瘤图像分割方法、装置和可读存储介质
CN116168097A (zh) 构建cbct勾画模型和勾画cbct图像的方法、装置、设备及介质
CN116523739A (zh) 一种无监督的隐式建模盲超分辨重建方法及装置
CN110310314A (zh) 图像配准方法、装置、计算机设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20240204

Address after: 110167 No. 177-1 Innovation Road, Hunnan District, Shenyang City, Liaoning Province

Patentee after: Shenyang Neusoft Medical Systems Co.,Ltd.

Country or region after: China

Address before: Room 336, 177-1, Chuangxin Road, Hunnan New District, Shenyang City, Liaoning Province

Patentee before: Shenyang advanced medical equipment Technology Incubation Center Co.,Ltd.

Country or region before: China

TR01 Transfer of patent right