CN110533676B - 肿瘤图像分割方法、装置及终端设备 - Google Patents

肿瘤图像分割方法、装置及终端设备 Download PDF

Info

Publication number
CN110533676B
CN110533676B CN201910840009.6A CN201910840009A CN110533676B CN 110533676 B CN110533676 B CN 110533676B CN 201910840009 A CN201910840009 A CN 201910840009A CN 110533676 B CN110533676 B CN 110533676B
Authority
CN
China
Prior art keywords
image
network model
convolution
loss value
segmentation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910840009.6A
Other languages
English (en)
Other versions
CN110533676A (zh
Inventor
吴乙荣
庞晓磊
田广野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qingdao Hisense Medical Equipment Co Ltd
Original Assignee
Qingdao Hisense Medical Equipment Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qingdao Hisense Medical Equipment Co Ltd filed Critical Qingdao Hisense Medical Equipment Co Ltd
Priority to CN201910840009.6A priority Critical patent/CN110533676B/zh
Publication of CN110533676A publication Critical patent/CN110533676A/zh
Application granted granted Critical
Publication of CN110533676B publication Critical patent/CN110533676B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30056—Liver; Hepatic
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例提供一种肿瘤图像分割方法、装置及终端设备，该方法包括：获取待分割图像，其中待分割图像包括肿瘤区域，将待分割图像输入至目标全卷积网络模型中，以使目标全卷积网络模型对待分割图像进行图像分割，并输出待分割图像对应的分割结果，其中分割结果是根据目标全卷积网络模型中的多个卷积层输出的结果和/或多个池化层输出的结果确定的，其中分割结果包括肿瘤区域在待分割图像中的位置信息和边界信息中的至少一种，从而实现图像的自动分割，以及实现肿瘤区域相关信息的自动确定，避免出现由于医生经验不足导致手动分割得到的肿瘤区域的具体信息与实际信息误差较大的情况。

Description

肿瘤图像分割方法、装置及终端设备
技术领域
本发明实施例涉及计算机技术领域，尤其涉及一种肿瘤图像分割方法、装置及终端设备。
背景技术
肝脏作为人体腹腔内最大的实质性气管，解剖结构复杂，疾病种类繁多，其中肝癌是国内最为普遍的消化道恶性肿瘤之一。随着超声、计算机断层扫描(ComputedTomography，简称CT)、磁共振等检查设备在临床中的应用，利用影像学进行疾病的诊断，可以较早地诊断出患者肝脏肿瘤的具体信息，例如，肝脏肿瘤的位置，从而可以及时采取治疗措施以避免肝脏肿瘤的下一步恶化，减少肝病患者的死亡率。为了方便医生的诊断，通常需要对肝脏肿瘤影像进行图像分割，以得到肝脏肿瘤影像中的肿瘤区域的具体信息。
现有技术中，在对肝脏肿瘤影像进行图像分割时，一般是由医生凭借自身的经验来将肝脏肿瘤影像上的肿瘤区域与非肿瘤区域进行区分，然后确定出肿瘤区域的位置信息等具体信息，实现图像的手动分割。
然而，发明人发现现有技术中至少存在如下问题：肝脏肿瘤影像中肝脏区域内具有静脉、肝门静脉、肝部胆管等多种管道系统，结构比较复杂，在医生对肝脏肿瘤影像进行手动分割时，经常会出现由于医生经验不足等原因导致手动分割得到的肿瘤区域的具体信息与实际信息误差较大的情况，分割精度低。
发明内容
本发明实施例提供一种肿瘤图像分割方法、装置及终端设备，以提高图像分割精度。
第一方面，本发明实施例提供一种肿瘤图像分割方法，包括：
获取待分割图像，其中所述待分割图像包括肿瘤区域；
将所述待分割图像输入至目标全卷积网络模型中，以使所述目标全卷积网络模型对所述待分割图像进行图像分割，并输出所述待分割图像对应的分割结果，其中所述分割结果是根据所述目标全卷积网络模型中的多个卷积层输出的结果和/或多个池化层输出的结果确定的；
其中所述分割结果包括所述肿瘤区域在所述待分割图像中的位置信息和边界信息中的至少一种。
在一种可能的设计中，在所述将所述待分割图像输入至预设训练后的全卷积网络模型中之前，还包括：
获取训练样本图像和验证样本图像，其中所述训练样本图像和所述验证样本图像均为具有标注信息的肿瘤图像；
根据所述训练样本图像对初始网络模型进行训练，得到训练后的初始网络模型；
将所述验证样本图像输入至所述训练后的初始网络模型中，以使所述初始网络模型对所述验证样本图像进行图像分割，并输出所述验证样本图像对应的预测分割结果，其中所述预测分割结果包括以下中的至少一种：所述验证样本图像中的肿瘤区域的位置信息、所述验证样本图像中的肿瘤区域的边界信息；
根据所述预测分割结果与所述验证样本图像对应的标注信息进行分割精确度计算，得到模型评估指标值；
若所述模型评估指标值满足预设条件，则将所述训练后初始网络模型作为所述目标全卷积网络模型。
在一种可能的设计中，所述初始网络模型包括多个依次连接的组合层，其中所述组合层包括至少两个连接的卷积层和池化层，所述至少两个连接的卷积层和池化层连接。
在一种可能的设计中，所述卷积层输出的结果包括卷积图像，所述池化层输出的结果包括池化图像；
所述根据所述训练样本图像对所述初始网络模型进行训练，包括：
将第一训练样本图像输入至所述初始网络模型中，并获取所述初始网络模型中的第一预设池化层输出的第一池化图像、第二预设池化层输出的第二池化图像以及最后一层卷积层输出的第一卷积图像，其中所述第一训练样本图像为所述训练样本图像中的任意一张样本图像；
根据所述第一池化图像计算第一损失值；
根据所述第二池化图像计算第二损失值；
根据所述第一卷积图像计算第三损失值；
根据所述第一损失值、所述第二损失值和所述第三损失值计算总损失值；
根据所述总损失值调整所述初始网络模型的参数。
在一种可能的设计中，所述根据所述第一卷积图像计算第三损失值，包括：
获取第一预设卷积层输出的第二卷积图像和第二预设卷积层输出的第三卷积图像；
对所述第一卷积图像进行上采样，并将进行上采样后的第一卷积图像与所述第三卷积图像进行融合，得到初始融合图像；
对所述初始融合图像进行上采样，并将进行上采样后的初始融合图像与所述第二卷积图像进行融合，得到目标卷积图像；
根据所述目标卷积图像和所述第一训练样本图像计算所述第三损失值。
在一种可能的设计中，所述根据所述第一损失值、所述第二损失值和所述第三损失值计算总损失值，包括：
通过
Losstotal＝f1·Lossstage1+f2·Lossstage2+f3·Lossstage3
计算总损失值，其中所述Losstotal为所述总损失值，所述f1为第一预设权重，Lossstage1为所述第一损失值，所述f2为第二预设权重，Lossstage2为所述第二损失值，所述f3为第三预设权重，Lossstage3为所述第三损失值。
在一种可能的设计中，所述根据所述第一池化图像计算第一损失值，包括：
针对第一池化图像中的各个像素，获取该像素属于各个预设类别像素的概率；
通过
Figure BDA0002193384800000031
计算所述第一损失值，其中所述Lossstage1为所述第一损失值，所述I为所述第一池化图像中的所有像素数量，所述j为所述第一池化图像中的第j个像素，L为预设类别数，所述Ψn为预设第n类别像素对应的权重，W为所述初始网络模型的参数，p(gj＝n|I，W)为第j个像素属于第n类别像素的概率。
在一种可能的设计中，所述获取训练样本图像和验证样本图像之后，还包括：
对所述训练样本图像和验证样本图像进行增强处理。
第二方面，本发明实施例提供一种肿瘤图像分割装置，包括：
图像获取模块，用于获取待分割图像，其中所述待分割图像包括肿瘤区域；
图像分割模块，用于将所述待分割图像输入至目标全卷积网络模型中，以使所述目标全卷积网络模型对所述待分割图像进行图像分割，并输出所述待分割图像对应的分割结果，其中所述分割结果是根据所述目标全卷积网络模型中的多个卷积层输出的结果和/或多个池化层输出的结果确定的；
其中所述分割结果包括所述肿瘤区域在所述待分割图像中的位置信息和边界信息中的至少一种。
在一种可能的设计中，所述装置还包括：
样本图像获取模块，用于在所述将所述待分割图像输入至预设训练后的全卷积网络模型中之前，获取训练样本图像和验证样本图像，其中所述训练样本图像和所述验证样本图像均为具有标注信息的肿瘤图像；
模型训练模块，用于根据所述训练样本图像对初始网络模型进行训练，得到训练后的初始网络模型；
模型验证模块，用于将所述验证样本图像输入至所述训练后的初始网络模型中，以使所述初始网络模型对所述验证样本图像进行图像分割，并输出所述验证样本图像对应的预测分割结果，其中所述预测分割结果包括以下中的至少一种：所述验证样本图像中的肿瘤区域的位置信息、所述验证样本图像中的肿瘤区域的边界信息；
评估指标计算模块，用于根据所述预测分割结果与所述验证样本图像对应的标注信息进行分割精确度计算，得到模型评估指标值；
目标模型确定模块，用于若所述模型评估指标值满足预设条件，则将所述训练后初始网络模型作为所述目标全卷积网络模型。
在一种可能的设计中，所述初始网络模型包括多个依次连接的组合层，其中所述组合层包括至少两个连接的卷积层和池化层，所述至少两个连接的卷积层和池化层连接。
在一种可能的设计中，所述卷积层输出的结果包括卷积图像，所述池化层输出的结果包括池化图像；
所述模型训练模块具体用于：
将第一训练样本图像输入至所述初始网络模型中，并获取所述初始网络模型中的第一预设池化层输出的第一池化图像、第二预设池化层输出的第二池化图像以及最后一层卷积层输出的第一卷积图像，其中所述第一训练样本图像为所述训练样本图像中的任意一张样本图像；
根据所述第一池化图像计算第一损失值；
根据所述第二池化图像计算第二损失值；
根据所述第一卷积图像计算第三损失值；
根据所述第一损失值、所述第二损失值和所述第三损失值计算总损失值；
根据所述总损失值调整所述初始网络模型的参数。
在一种可能的设计中，所述模型训练模块还具体用于：
获取第一预设卷积层输出的第二卷积图像和第二预设卷积层输出的第三卷积图像；
对所述第一卷积图像进行上采样，并将进行上采样后的第一卷积图像与所述第三卷积图像进行融合，得到初始融合图像；
对所述初始融合图像进行上采样，并将进行上采样后的初始融合图像与所述第二卷积图像进行融合，得到目标卷积图像；
根据所述目标卷积图像和所述第一训练样本图像计算所述第三损失值。
在一种可能的设计中，所述模型训练模块还具体用于：
通过
Losstotal＝f1·Lossstage1+f2·Lossstage2+f3·Lossstage3
计算总损失值，其中所述Losstotal为所述总损失值，所述f1为第一预设权重，Lossstage1为所述第一损失值，所述f2为第二预设权重，Lossstage2为所述第二损失值，所述f3为第三预设权重，Lossstage3为所述第三损失值。
在一种可能的设计中，所述根据所述第一池化图像计算第一损失值，包括：
针对第一池化图像中的各个像素，获取该像素属于各个预设类别像素的概率；
通过
Figure BDA0002193384800000061
计算所述第一损失值，其中所述Lossstage1为所述第一损失值，所述I为所述第一池化图像中的所有像素数量，所述j为所述第一池化图像中的第j个像素，L为预设类别数，所述Ψn为预设第n类别像素对应的权重，W为所述初始网络模型的参数，p(gj＝n|I，W)为第j个像素属于第n类别像素的概率。
在一种可能的设计中，所述样本图像获取模块还用于：在获取训练样本图像和验证样本图像之后，对所述训练样本图像和验证样本图像进行增强处理。
第三方面，本发明实施例提供一种终端设备，包括：至少一个处理器和存储器；
所述存储器存储计算机执行指令；
所述至少一个处理器执行所述存储器存储的计算机执行指令，使得所述至少一个处理器执行如第一方面任一项所述的肿瘤图像分割方法。
第四方面，本发明实施例提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如第一方面任一项所述的肿瘤图像分割方法。
本发明实施例提供了一种肿瘤图像分割方法、装置及终端设备，该方法通过将包括肿瘤区域的待分割图像输入至目标全卷积网络模型中，由该目标全卷积网络模型自动对该待分割图像进行图像分割，输出待分割图像对应的分割结果，该分割结果包括肿瘤区域在该待分割图像中的位置信息和边界信息，实现图像的自动分割以及相关具体信息的自动确定，且该分割结果是根据该目标全卷积网络模型中的多个卷积层输出的结果和/或池化层输出的结果确定的，即在确定该分割结果时，融合了不通过尺度下的图像的特征信息，提高输出结果的准确度，即提高分割精度，无需医生凭借经验进行手动分割以及确定图像中的肿瘤区域的相关信息，避免出现由于医生经验不足导致手动分割得到的肿瘤区域的具体信息与实际信息误差较大的情况，并且提高图像分割的效率，减少人工成本。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的肿瘤图像分割系统的架构示意图；
图2为本发明实施例提供的肿瘤图像分割方法的流程图一；
图3为本发明实施例提供的网络模型的示意图；
图4为本发明实施例提供的肿瘤图像分割方法的流程图二；
图5为本发明实施例提供的肿瘤图像分割方法的流程图三；
图6为本发明实施例提供的肿瘤图像分割装置的结构示意图；
图7为本发明实施例提供的终端设备的硬件结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
图1为本发明实施例提供的肿瘤图像分割系统的架构示意图。如图1所示，本实施例提供的系统包括终端101和服务器102。其中，终端101可以为电脑终端，手机终端等。本实施例对终端101的实现方式不做任何特别限制，只要可以存储图像即可。
当用户需要提取患者的肿瘤图像上的肿瘤区域的具体信息时，将该图像存储至终端101，然后在终端101上输入图像分割指令，该终端101可以根据该图像分割指令获取该图像上的肿瘤区域的具体信息，并向用户进行反馈，具体地，该终端101自身可以根据该图像分割指令对该图像进行图像分割，输出包括肿瘤区域的具体信息的分割结果，也可以将该图像发送至服务器102，由服务器102对该图像进行图像分割，输出相应的分割结果，然后将该分割结果反馈给终端101。本实施例对具体的实现方式不做特别限制，终端101自身进行图像分割以及服务器101根据肿瘤图像进行图像分割皆可，皆可以实现图像的自动分割，以及图像上的肿瘤区域的具体信息的自动获取，避免出现由于医生经验不足导致手动分割得到的肿瘤区域的具体信息与实际信息误差较大的情况，提高图像的分割精度，且提高图像分割的效率，减少人工成本。
下面以具体地实施例对本发明的技术方案进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例不再赘述。
图2为本发明实施例提供的肿瘤图像分割方法的流程图一，本实施例的执行主体可以为图1所示实施例中的终端，也可以为图1所示实施例中的服务器，本实施例此处不做特别限制。如图2所示，本实施例的方法，可以包括：
S201：获取待分割图像，其中待分割图像包括肿瘤区域。
在本实施例中，获取包括肿瘤区域的待分割图像，该肿瘤区域可以为肝脏肿瘤区域，也可以为其它肿瘤区域。
其中，待分割图像可以为患者的CT影像。
S202：将待分割图像输入至目标全卷积网络模型中，以使目标全卷积网络模型对待分割图像进行图像分割，并输出待分割图像对应的分割结果，其中分割结果是根据目标全卷积网络模型中的多个卷积层输出的结果和/或多个池化层输出的结果确定的。
其中分割结果包括肿瘤区域在待分割图像中的位置信息和边界信息中的至少一种。
在本实施例中，当需要确定待分割图像上的肿瘤区域的相关信息，例如，肿瘤区域的位置信息时，将待分割图像输入至已经训练好的目标全卷积网络模型中，该目标全卷积网络模型对该待分割图像进行图像分割，并输出该待分割图像对应的分割结果，该分割结果便包括所需的肿瘤区域的相关信息，即包括肿瘤区域在待分割图像上的位置信息和边界信息中的至少一种。
可选的，该分割结果还包括已经将肿瘤区域以及非肿瘤区域进行区分的图像，例如，该图像上的肿瘤区域为一种颜色，非肿瘤区域为另外一种颜色。
其中，卷积层输出的结果包括卷积图像，池化层输出的结果包括池化图像。
在本实施例中，如图3所示，目标全卷积网络模型的网络结构是对现有FCN-8s网络结构的改进，增加了多层输出，实现了网络对于不同尺度下的特征提取，即在确定分割结果时，需要根据目标全卷积网络模型中的多个卷积层输出的结果和/或多个池化层输出的结果确定，融合了不同尺度下的图像的特征信息，使得分割精度较高。
在利用目标全卷积网络模型进行图像分割时，需要先对初始网络模型进行训练，当初始网络模型训练完成后，可将训练完成的初始网络模型作为目标全卷积网络模型，具体过程为：
获取训练样本图像和验证样本图像，其中训练样本图像和验证样本图像均为具有标注信息的肿瘤图像。
根据训练样本图像对初始网络模型进行训练，得到训练后的初始网络模型。
将验证样本图像输入至训练后的初始网络模型中，以使初始网络模型对验证样本图像进行图像分割，并输出验证样本图像对应的预测分割结果，其中预测分割结果包括以下中的至少一种：验证样本图像中的肿瘤区域的位置信息、验证样本图像中的肿瘤区域的边界信息。
根据预测分割结果与验证样本图像对应的标注信息进行分割精确度计算，得到模型评估指标值。
若模型评估指标值满足预设条件，则将训练后初始网络模型作为目标全卷积网络模型。
在本实施例中，训练样本图像和验证样本图像均为具有标注信息的肿瘤图像，该标注信息包括肿瘤区域在图像上的位置信息和/或边界信息。根据训练样本图像对初始网络模型进行训练，得到训练后的初始网络模型，然后通过验证样本图像验证该训练后的初始网络模型是否满足需求，即分割精度是否满足需求，若满足需求，则可以停止训练，将训练后的初始网络模型作为目标全卷积网络模型，若不满足需求，则需要继续利用其它训练样本图像对初始网络模型进行训练。
在通过验证样本图像验证训练后的初始网络模型满足需求时，将该验证样本图像输入至训练后的初始网络模型中，该训练后的初始网络模型对验证样本图像进行图像分割，输出验证样本图像对应的预测分割结果，然后将该预测分割结果与验证样本图像对应的标注信息计算得到模型评估指标值。
其中模型评估指标值包括平均对称表面距离、体积重叠率等。根据预测分割结果与验证样本图像对应的标注信息计算模型评估指标值时所采用的方法为现有计算模型评估指标值的方法，在此，不再进行描述。
其中，在确定训练后的初始网络模型是否满足需求时，通过判断模型评估指标值是否满足预设条件来确定，当模型评估指标值满足预设条件时，确定初始网络模型满足需求，即分割精度已经较高，可以停止训练，当模型评估指标值不满足预设条件时，确定初始网络模型不满足需求，即分割精度较低，仍需继续训练。
其中，预设条件包括以下中的至少一种：体积重叠率大于预设重叠率，平均对称表面距离小于预设距离。
在本实施例中，在使用目标全卷积网络模型进行图像分割时，需要先对初始网络模型进行训练以及验证，只有当初始网络模型的模型评估指标值满足预设条件时，该初始网络模型才满足需求，即该初始网络模型的分割精度满足需求，才可以将该初始网络模型作为目标全卷积网络模型，因此，通过目标全卷积网络模型进行图像分割时，分割精度较高，可以满足需求。
可选的，初始网络模型包括多个依次连接的组合层，其中组合层包括至少两个连接的卷积层和池化层，至少两个连接的卷积层和池化层连接。
在本实施例中，初始网络模型的网络结构与目标全卷积网络模型的网络结构相同，也为进行改进后的FCN-8s的网络结构，其采用五层池化网络结构，如图3所示，该网络结构包括五个依次连接的组合层，每个组合层由至少两个连接的卷积层和池化层组成，该池化层与至少两个连接的卷积层中的在下方的卷积层连接。
需要强调的，图3所示的网络结构中的组合层所包括的卷积层的个数仅为一种示例，在实际应用中，可以根据需求设定组合层所包括的卷积层的个数。
在本实施例中，搜集带有标注信息的肿瘤图像，并将其保存至肿瘤图像数据库中，训练样本图像和验证样本图像可以从肿瘤图像数据库中获取。
由于肿瘤区域在CT影像上密度差异非常不均匀，并且不同患病个体间的差异性较大，因此需要对样本图像进行增强，即在获取训练样本图像和验证样本图像之后，对训练样本图像和验证样本图像进行增强处理。
其中增强处理的过程为：按照多个预设窗宽和窗位，将样本图像(包括训练样本图像和验证样本图像)转换为不同窗宽窗位下的格式为标准图像文件格式(Bitmap，简称BMP)的图像，例如，有24组不同的窗宽和窗位，则将该训练样本图像和验证样本图像转换为24组不同窗宽窗位下的BMP图像。
在得到BMP图像后，将BMP图像与其对应的样本图像进行叠加，然后将BMP图像上标注信息中的肿瘤区域的位置信息与样本图像上的肿瘤区域的实际位置进行比对，去除位置偏移的BMP图像，对剩余的BMP图像进行裁剪操作，利用裁剪后的BMP图像进行训练。
可选的，由于样本图像是从肿瘤图像数据库中获取到的，该肿瘤图像数据库中保存有搜集到的多张带有标注信息的肿瘤图像，因此，在搜集到带有标注信息的肿瘤图像后，便对该肿瘤图像进行增强处理以及裁剪操作，得到裁剪后的BMP图像，并进行保存，当后续需要获取样本图像时，直接从肿瘤图像数据库中获取BMP图像即可，提高训练的效率。
从上述描述可知，通过将包括肿瘤区域的待分割图像输入至目标全卷积网络模型中，由该目标全卷积网络模型自动对该待分割图像进行图像分割，输出待分割图像对应的分割结果，该分割结果包括肿瘤区域在该待分割图像中的位置信息和边界信息，实现图像的自动分割以及相关信息的自动确定，且该分割结果是根据该目标全卷积网络模型中的多个卷积层输出的结果和/或池化层输出的结果确定的，即在确定该分割结果时，融合了不通过尺度下的图像的特征信息，提高输出结果的准确度，即提高分割精度，无需医生凭借经验进行手动分割以及确定图像中的肿瘤区域的相关信息，避免出现由于医生经验不足导致手动分割得到的肿瘤区域的具体信息与实际信息误差较大的情况，并且提高图像分割的效率，减少人工成本。
在利用初始网络模型进行图像分割时，需要先对该初始网络模型进行训练，然后利用训练完成的初始网络模型进行图像分割，下面结合一个具体的实施例对训练初始网络模型的过程进行详细描述。
图4为本发明实施例提供的肿瘤图像分割方法的流程图二，如图4所示，在上述实施例的基础上，对训练初始模型的具体实现过程进行了详细描述，如图4所示，该方法包括：
S401：将第一训练样本图像输入至初始网络模型中，并获取初始网络模型中的第一预设池化层输出的第一池化图像、第二预设池化层输出的第二池化图像以及最后一层卷积层输出的第一卷积图像，其中第一训练样本图像为训练样本图像中的任意一张样本图像。
在本实施例中，训练样本图像包括多张具有标注信息的肿瘤图像，从训练样本图像中任意选取一张训练样本图像作为第一训练样本图像，并将其输出值初始网络模型中，该初始网络模型是指还未进行训练的全卷积网络模型，该全卷积网络模型的网络结构如图3所示。
在将第一训练样本图像输入初始网络模型中后，该初始网络模型中的卷积层对该第一训练样本图像进行卷积操作，池化层对该第一训练样本图像进行池化操作，并且第一预设池化层、第二预设池化层以及最后一层卷积层会输出相应的结果。在进行卷积操作后，提取到图像的很多特征信息，相邻区域有相似特征信息，可以相互替代的，如果全部保留这些特征信息就会有信息冗余，增加了计算难度，因此需要进行池化操作，相当于降维操作，即在一个小矩阵区域内，取该区域的最大值或平均值来代替该区域，该小矩阵的大小可以预先设置。
其中，第一预设池化层和第二预设池化层均为预先设定的需要在进行相应的池化操作后，需要输出相应的结果的网络层。
以一个具体应用场景为例，如图3所示，第一预设池化层为第二池化层，即第二组合层中的池化层，第二预设池化层为第四池化层，即第四组合层中的池化层。第二池化层接收与其连接的卷积层传递的卷积图像，并对该卷积图像进行池化操作，即将大小为112*112*128的图像降维到大小为56*56*128的图像，输出该大小为56*56*128的图像，该大小为56*56*128的图像便为第一池化图像，第四池化层接收与其连接的卷积层传递的卷积图像，对该卷积图像进行池化操作，即将大小为28*28*512的图像降维到大小为14*14*512的图像，并输出该大小为14*14*512的图像，该大小为14*14*512的图像便为第二池化图像，最后一层卷积层接收与其连接的卷积层传递的卷积图像，并对该卷积图像进行进一步卷积操作，输出大小为7*7*512的图像，该大小为7*7*512便为第一卷积图像。
需要强调的，上述第一预设池化层和第二预设池化层仅为一种示例，在实际应用中，可以根据需要设定多个预设网络层，即不仅包括第一预设池化层和第二预设池化层，还可以包括其它预设网络层，例如，还包括第三预设池化层，相应地，在将第一训练样本图像输入至初始网络模型中后，需要获取第一预设池化层输出的第一池化图像、第二预设池化层输出的第二池化图像、最后一层卷积层输出的第一卷积图像以及第三预设池化层输出的图像。
S402：根据第一池化图像计算第一损失值。
在本实施例中，根据第一池化图像的特征信息计算第一损失值，其具体计算过程为：
针对第一池化图像中的各个像素，获取该像素属于各个预设类别像素的概率。
通过
Figure BDA0002193384800000131
计算第一损失值，其中Lossstage1为第一损失值，I为第一池化图像,|I|为I中的所有像素数量，j为第一池化图像中的第j个像素，L为预设类别数，Ψn为预设第n类别像素对应的权重，W为初始网络模型的参数，p(gj＝n|I，W)为第j个像素属于第n类别像素的概率。
在本实施例中，当L为2，即类别数为2时，表示有两种预设类别像素，即第1类别像素以及第2类别像素，当n为1，j为1时，p(g1＝n|I，W)为第一池化图像中的第1个像素属于第1类别像素的概率。
其中，在获取计算损失值所利用到的参数(例如，初始网络模型的参数、像素属于预设类别像素的概率)时，可以通过现有参数获取方法进行获取。
可选的，当肿瘤区域的体积较小或者肿瘤区域在肝脏区域外部时，为了提高分割精度，可以根据
Figure BDA0002193384800000141
计算第一损失值，其中Lossstage1为第一损失值，N为预设类别数，
Figure BDA0002193384800000142
Figure BDA0002193384800000143
为标签数据,即yji＝1，表示在标签中，第一池化图像中的第j个像素为第i类别像素。
Figure BDA0002193384800000144
其中
Figure BDA0002193384800000145
其表示第一池化图像中的第j个像素为第i类别像素的概率，n为第一池化图像中的所有像素的个数。
S403：根据第二池化图像计算第二损失值。
在本实施例中，计算第二损失值所采用的公式与计算上述第一损失值所采用的公式相同，可以按照计算第一损失值的过程计算第二损失值，在此，不再进行赘述。
可选的，当肿瘤区域的体积较小或者肿瘤区域在肝脏区域外部时，为了提高分割精度，可以按照在体积较小或者肿瘤区域在肝脏区域外部时，计算第一损失值的过程计算第二损失值。
S404：根据第一卷积图像计算第三损失值。
可选的，当肿瘤区域的体积较小或者肿瘤区域在肝脏区域外部时，为了提高分割精度，可以按照在体积较小或者肿瘤区域在肝脏区域外部时，计算第一损失值的过程计算第三损失值。
在本实施例中，在获取到最后一层卷积层输出的第一卷积图像后，还需要将该第一卷积图像与其它卷积层输出的卷积图像进行融合，利用融合后的卷积图像计算第三损失值，其计算第三损失值所采用的的公式与计算上述第一损失值所采用的公式相同，可以按照计算第一损失值的过程计算第三损失值，在此，不再进行赘述。
S405：根据第一损失值、第二损失值和第三损失值计算总损失值。
在本实施例中，在计算得到第一损失值、第二损失值和第三损失值后，利用预设的计算公式，根据第一损失值、第二损失值和第三损失值计算总损失值，其计算过程具体为：
通过
Losstotal＝f1·Lossstage1+f2·Lossstage2+f3·Lossstage3
计算总损失值，其中Losstotal为总损失值，f1为第一预设权重，Lossstage1为第一损失值，f2为第二预设权重，Lossstage2为第二损失值，f3为第三预设权重，Lossstage3为第三损失值。
S406：根据总损失值调整初始网络模型的参数。
在本实施例中，当计算总损失值后，通过反向传播，调整初始网络模型的网络参数，更新该初始网络模型的网络参数，调整初始网络模型的网络参数实际是调整初始网络模型中的各个网络层的网络参数。
其中，网络参数包括权重和偏置。
在对初始网络模型进行训练时，关键是确定损失函数，计算损失值，本申请在计算损失值时，利用不同网络层输出的卷积图像或者池化图像计算其对应的损失值，然后再利用不同网络层对应的损失值计算总损失值，即在计算总损失值时，利用到不同网络层输出的图像的特征信息，实现了不同尺度下的特征提取，更能反映实际差异情况，然后根据总损失值进行反向传播，调整初始网络模型的参数，未仅局限于在小尺度上的特征提取，可以较好地指导初始网络模型的训练，以使初始网络模型更能符合需求，保证图像分割的精确度。
在计算总损失值时，需要利用到第三损失值，该第三损失值是基于多个网络层的输出结果确定的，下面将以一个具体的实施例对确定第三损失值的过程进行详细的描述。
图5为本发明实施例提供的肿瘤图像分割方法的流程图三，如图5所示，在上述实施例的基础上，对确定第三损失值的过程进行了详细描述，本实施例的方法，包括：
S501：将第一训练样本图像输入至初始网络模型中，并获取初始网络模型中的第一预设池化层输出的第一池化图像、第二预设池化层输出的第二池化图像以及最后一层卷积层输出的第一卷积图像，其中第一训练样本图像为训练样本图像中的任意一张样本图像。
S502：根据第一池化图像计算第一损失值。
S503：根据第二池化图像计算第二损失值。
其中，S501-S503与图4实施例中的S401-S403类似，在此，不再进行赘述。
S504：获取第一预设卷积层输出的第二卷积图像和第二预设卷积层输出的第三卷积图像。
在本实施例中，当第一预设卷积层对其接收到的图像进行卷积操作后，输出进行卷积操作后的图像，即输出第二卷积图像，当第二预设卷积层对其接收到的图像进行卷积操作后，输出进行卷积操作后的图像，即输出第三卷积图像。
其中，第一预设卷积层和第二预设卷积层均为预先设定的需要在进行相应的卷积操作后，需要输出相应的结果的网络层。
需要强调的，上述第一预设卷积层和第二预设卷积层仅为一种示例，在实际应用中，可以根据需要设定多个预设卷积层，即不仅包括第一预设卷积层和第二预设卷积层，还可以包括其它卷积层，例如，还可以包括第三预设卷积层。
S505：对第一卷积图像进行上采样，并将进行上采样后的第一卷积图像与第三卷积图像进行融合，得到初始融合图像。
在本实施例中，对第一卷积图像进行上采样，以使进行上采样后的第一卷积图像的大小与第三卷积图像的大小相同，将进行上采样后的第一卷积图像与第三卷积图像进行相加，即进行融合，得到初始融合图像。
S506：对初始融合图像进行上采样，并将进行上采样后的初始融合图像与第二卷积图像进行融合，得到目标卷积图像。
在本实施例中，对初始融合图像进行上采样，以使进行上采样后的初始融合图像的大小与第二卷积图像的大小相同，将进行上采样后的初始融合图像与第二卷积图像进行相加，即进行融合，得到目标卷积图像。
承接上述应用场景，第一预设卷积层为第四组合层中的与第四池化层相连的卷积层，该卷积层输出大小为28*28*512的第二卷积图像，第二预设卷积层为第五组合层中与第五池化层相连的卷积层，该卷积层输出大小为14*14*512的第三卷积图像，在进行第一次图像融合时，将最后一层输出的大小为7*7*512的第一卷积图像进行上采样，上采样后的第一卷积图像大小为14*14*512，与第三卷积层图像大小相同，然后将进行上采样后的第一卷积图像与第三卷积图像进行融合，即得到大小为14*14*512的初始融合图像，然后进行第二次图像融合，对初始融合图像进行上采样，上采样后的初始融合图像大小为28*28*512，与第二卷积图像的大小相同，然后将进行上采样后的初始融合图像与第二卷积图像进行融合，得到大小为28*28*512的目标卷积图像，该目标卷积图像融合了不同尺度下的图像的特征信息。
其中，图像融合过程为现有图像融合过程，在此，不再对图像融合过程进行赘述。
S507：根据目标卷积图像计算第三损失值。
S508：根据第一损失值、第二损失值和第三损失值计算总损失值。
S509：根据总损失值调整初始网络模型的参数。
其中，S508-S509与图4实施例中的S405-S406类似，在此，不再进行赘述。
在本实施例中，在计算第三损失值时，利用不同卷积层输出的卷积图像进行计算，即利用到不同网络层输出的图像的特征信息，实现了不同尺度下的特征提取，未仅局限于在小尺度上的特征提取，因此计算出的第三损失值更能反映实际情况，从而根据该第三损失值计算得到的总损失值，可以较好地指导初始网络模型的训练，以使初始网络模型更能符合需求，保证图像分割的精确度。
图6为本发明实施例提供的肿瘤图像分割装置的结构示意图，如图6所示，本实施例提供的肿瘤图像分割装置600，可以包括：图像获取模块601和图像分割模块607。
图像获取模块601，用于获取待分割图像，其中待分割图像包括肿瘤区域。
图像分割模块607，用于将待分割图像输入至目标全卷积网络模型中，以使目标全卷积网络模型对待分割图像进行图像分割，并输出待分割图像对应的分割结果，其中分割结果是根据目标全卷积网络模型中的多个卷积层输出的结果和/或多个池化层输出的结果确定的。
其中分割结果包括肿瘤区域在待分割图像中的位置信息和边界信息中的至少一种。
在一种可能的设计中，装置还包括：
样本图像获取模块602，用于在将待分割图像输入至预设训练后的全卷积网络模型中之前，获取训练样本图像和验证样本图像，其中训练样本图像和验证样本图像均为具有标注信息的肿瘤图像。
模型训练模块603，用于根据训练样本图像对初始网络模型进行训练，得到训练后的初始网络模型。
模型验证模块604，用于将验证样本图像输入至训练后的初始网络模型中，以使初始网络模型对验证样本图像进行图像分割，并输出验证样本图像对应的预测分割结果，其中预测分割结果包括以下中的至少一种：验证样本图像中的肿瘤区域的位置信息、验证样本图像中的肿瘤区域的边界信息。
评估指标计算模块605，用于根据预测分割结果与验证样本图像对应的标注信息进行分割精确度计算，得到模型评估指标值。
目标模型确定模块606，用于若模型评估指标值满足预设条件，则将训练后初始网络模型作为目标全卷积网络模型。
在一种可能的设计中，初始网络模型包括多个依次连接的组合层，其中组合层包括至少两个连接的卷积层和池化层，至少两个连接的卷积层和池化层连接。
在一种可能的设计中，卷积层输出的结果包括卷积图像，池化层输出的结果包括池化图像。
模型训练模块具体用于：
将第一训练样本图像输入至初始网络模型中，并获取初始网络模型中的第一预设池化层输出的第一池化图像、第二预设池化层输出的第二池化图像以及最后一层卷积层输出的第一卷积图像，其中第一训练样本图像为训练样本图像中的任意一张样本图像。
根据第一池化图像计算第一损失值。
根据第二池化图像计算第二损失值。
根据第一卷积图像计算第三损失值。
根据第一损失值、第二损失值和第三损失值计算总损失值。
根据总损失值调整初始网络模型的参数。
在一种可能的设计中，模型训练模块还具体用于：
获取第一预设卷积层输出的第二卷积图像和第二预设卷积层输出的第三卷积图像。
对第一卷积图像进行上采样，并将进行上采样后的第一卷积图像与第三卷积图像进行融合，得到初始融合图像。
对初始融合图像进行上采样，并将进行上采样后的初始融合图像与第二卷积图像进行融合，得到目标卷积图像。
根据目标卷积图像计算第三损失值。
在一种可能的设计中，模型训练模块还具体用于：
通过
Losstotal＝f1·Lossstage1+f2·Lossstage2+f3·Lossstage3
计算总损失值，其中Losstotal为总损失值，f1为第一预设权重，Lossstage1为第一损失值，f2为第二预设权重，Lossstage2为第二损失值，f3为第三预设权重，Lossstage3为第三损失值。
在一种可能的设计中，根据第一池化图像计算第一损失值，包括：
针对第一池化图像中的各个像素，获取该像素属于各个预设类别像素的概率；
通过
Figure BDA0002193384800000191
计算所述第一损失值，其中所述Lossstage1为所述第一损失值，所述I为所述第一池化图像中的所有像素数量，所述j为所述第一池化图像中的第j个像素，L为预设类别数，所述Ψn为预设第n类别像素对应的权重，W为所述初始网络模型的参数，p(gj＝n|I，W)为第j个像素属于第n类别像素的概率。
在一种可能的设计中，样本图像获取模块还用于：在获取训练样本图像和验证样本图像之后，对训练样本图像和验证样本图像进行增强处理。
本发明实施例提供的肿瘤图像分割装置，可以实现上述实施例的肿瘤图像分割方法，其实现原理和技术效果类似，此处不再赘述。
图7为本发明实施例提供的终端设备的硬件结构示意图。如图7所示，本实施例提供的终端设备700包括：至少一个处理器701和存储器702。其中，处理器701、存储器702通过总线703连接。
在具体实现过程中，至少一个处理器701执行所述存储器702存储的计算机执行指令，使得至少一个处理器701执行上述方法实施例中的肿瘤图像分割方法。
处理器701的具体实现过程可参见上述方法实施例，其实现原理和技术效果类似，本实施例此处不再赘述。
在上述的图7所示的实施例中，应理解，处理器可以是中央处理单元(英文：Central Processing Unit，简称：CPU)，还可以是其他通用处理器、数字信号处理器(英文：Digital Signal Processor，简称：DSP)、专用集成电路(英文：Application SpecificIntegrated Circuit，简称：ASIC)等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合发明所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。
存储器可能包含高速RAM存储器，也可能还包括非易失性存储NVM，例如至少一个磁盘存储器。
总线可以是工业标准体系结构(Industry Standard Architecture，ISA)总线、外部设备互连(Peripheral Component，PCI)总线或扩展工业标准体系结构(ExtendedIndustry Standard Architecture，EISA)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，本申请附图中的总线并不限定仅有一根总线或一种类型的总线。
本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现上述方法实施例的肿瘤图像分割方法。
上述的计算机可读存储介质，上述可读存储介质可以是由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。可读存储介质可以是通用或专用计算机能够存取的任何可用介质。
一种示例性的可读存储介质耦合至处理器，从而使处理器能够从该可读存储介质读取信息，且可向该可读存储介质写入信息。当然，可读存储介质也可以是处理器的组成部分。处理器和可读存储介质可以位于专用集成电路(Application Specific IntegratedCircuits，简称：ASIC)中。当然，处理器和可读存储介质也可以作为分立组件存在于设备中。
本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (11)

1.一种肿瘤图像分割方法，其特征在于，包括：
获取待分割图像，其中所述待分割图像包括肿瘤区域；
获取训练样本图像和验证样本图像，其中所述训练样本图像和所述验证样本图像均为具有标注信息的肿瘤图像；
根据所述训练样本图像对初始网络模型进行训练，得到训练后的初始网络模型；将所述训练后的初始网络模型作为目标全卷积网络模型；
将所述待分割图像输入至目标全卷积网络模型中，以使所述目标全卷积网络模型对所述待分割图像进行图像分割，并输出所述待分割图像对应的分割结果，其中所述分割结果是根据所述目标全卷积网络模型中的多个卷积层输出的结果和/或多个池化层输出的结果确定的，所述卷积层输出的结果包括卷积图像，所述池化层输出的结果包括池化图像；
其中所述分割结果包括所述肿瘤区域在所述待分割图像中的位置信息和边界信息中的至少一种；
所述根据所述训练样本图像对初始网络模型进行训练，包括：
将第一训练样本图像输入至所述初始网络模型中，并获取所述初始网络模型中的第一预设池化层输出的第一池化图像、第二预设池化层输出的第二池化图像以及最后一层卷积层输出的第一卷积图像，其中所述第一训练样本图像为所述训练样本图像中的任意一张样本图像；所述第一预设池化层和所述第二预设池化层均为预先设定的需要在进行相应的池化操作后，需要输出相应的结果的网络层；
根据所述第一池化图像计算第一损失值；
根据所述第二池化图像计算第二损失值；
根据所述第一卷积图像计算第三损失值；
根据所述第一损失值、所述第二损失值和所述第三损失值计算总损失值；
根据所述总损失值调整所述初始网络模型的参数。
2.根据权利要求1所述的方法，其特征在于，在所述将所述待分割图像输入至目标全卷积网络模型中之前，还包括：
将所述验证样本图像输入至所述训练后的初始网络模型中，以使所述初始网络模型对所述验证样本图像进行图像分割，并输出所述验证样本图像对应的预测分割结果，其中所述预测分割结果包括以下中的至少一种：所述验证样本图像中的肿瘤区域的位置信息、所述验证样本图像中的肿瘤区域的边界信息；
根据所述预测分割结果与所述验证样本图像对应的标注信息进行分割精确度计算，得到模型评估指标值；
若所述模型评估指标值满足预设条件，则将所述训练后初始网络模型作为所述目标全卷积网络模型。
3.根据权利要求2所述的方法，其特征在于，所述初始网络模型包括多个依次连接的组合层，其中所述组合层包括至少两个连接的卷积层和池化层，所述至少两个连接的卷积层和池化层连接。
4.根据权利要求1所述的方法，其特征在于，所述根据所述第一卷积图像计算第三损失值，包括：
获取第一预设卷积层输出的第二卷积图像和第二预设卷积层输出的第三卷积图像；其中，所述第一预设卷积层和所述第二预设卷积层均为预先设定的需要在进行相应的卷积操作后，需要输出相应的结果的网络层；
对所述第一卷积图像进行上采样，并将进行上采样后的第一卷积图像与所述第三卷积图像进行融合，得到初始融合图像；
对所述初始融合图像进行上采样，并将进行上采样后的初始融合图像与所述第二卷积图像进行融合，得到目标卷积图像；
根据所述目标卷积图像和所述第一训练样本图像计算所述第三损失值。
5.根据权利要求1所述的方法，其特征在于，所述根据所述第一损失值、所述第二损失值和所述第三损失值计算总损失值，包括：
通过
Losstotal＝f1·Lossstage1+f2·Lossstage2+f3·Lossstage3
计算总损失值，其中所述Losstotal为所述总损失值，所述f1为第一预设权重，Lossstage1为所述第一损失值，所述f2为第二预设权重，Lossstage2为所述第二损失值，所述f3为第三预设权重，Lossstage3为所述第三损失值。
6.根据权利要求1所述的方法，其特征在于，所述根据所述第一池化图像计算第一损失值，包括：
针对第一池化图像中的各个像素，获取该像素属于各个预设类别像素的概率；
通过
Figure FDA0003730520080000031
计算所述第一损失值，其中所述Lossstage1为所述第一损失值，所述I为所述第一池化图像中的所有像素数量，所述j为所述第一池化图像中的第j个像素，L为预设类别数，所述Ψn为预设第n类别像素对应的权重，W为所述初始网络模型的参数，p(gj＝n|I，W)为第j个像素属于第n类别像素的概率。
7.根据权利要求2所述的方法，其特征在于，所述获取训练样本图像和验证样本图像之后，还包括：
对所述训练样本图像和验证样本图像进行增强处理。
8.一种肿瘤图像分割装置，其特征在于，包括：
图像获取模块，用于获取待分割图像，其中所述待分割图像包括肿瘤区域；
图像分割模块，用于将所述待分割图像输入至目标全卷积网络模型中，以使所述目标全卷积网络模型对所述待分割图像进行图像分割，并输出所述待分割图像对应的分割结果，其中所述分割结果是根据所述目标全卷积网络模型中的多个卷积层输出的结果和/或多个池化层输出的结果确定的，所述卷积层输出的结果包括卷积图像，所述池化层输出的结果包括池化图像；
其中所述分割结果包括所述肿瘤区域在所述待分割图像中的位置信息和边界信息中的至少一种；
所述装置还包括：
样本图像获取模块，用于在所述将所述待分割图像输入至目标全卷积网络模型中之前，获取训练样本图像和验证样本图像，其中所述训练样本图像和所述验证样本图像均为具有标注信息的肿瘤图像；
模型训练模块，用于根据所述训练样本图像对初始网络模型进行训练，得到训练后的初始网络模型；将所述训练后的初始网络模型作为目标全卷积网络模型；
所述模型训练模块，具体用于将第一训练样本图像输入至所述初始网络模型中，并获取所述初始网络模型中的第一预设池化层输出的第一池化图像、第二预设池化层输出的第二池化图像以及最后一层卷积层输出的第一卷积图像，其中所述第一训练样本图像为所述训练样本图像中的任意一张样本图像；所述第一预设池化层和所述第二预设池化层均为预先设定的需要在进行相应的池化操作后，需要输出相应的结果的网络层；根据所述第一池化图像计算第一损失值；根据所述第二池化图像计算第二损失值；根据所述第一卷积图像计算第三损失值；根据所述第一损失值、所述第二损失值和所述第三损失值计算总损失值；根据所述总损失值调整所述初始网络模型的参数。
9.根据权利要求8所述的装置，其特征在于，所述装置还包括：
模型验证模块，用于将所述验证样本图像输入至所述训练后的初始网络模型中，以使所述初始网络模型对所述验证样本图像进行图像分割，并输出所述验证样本图像对应的预测分割结果，其中所述预测分割结果包括以下中的至少一种：所述验证样本图像中的肿瘤区域的位置信息、所述验证样本图像中的肿瘤区域的边界信息；
评估指标计算模块，用于根据所述预测分割结果与所述验证样本图像对应的标注信息进行分割精确度计算，得到模型评估指标值；
目标模型确定模块，用于若所述模型评估指标值满足预设条件，则将所述训练后初始网络模型作为所述目标全卷积网络模型。
10.一种终端设备，其特征在于，包括：至少一个处理器和存储器；
所述存储器存储计算机执行指令；
所述至少一个处理器执行所述存储器存储的计算机执行指令，使得所述至少一个处理器执行如权利要求1至7任一项所述的肿瘤图像分割方法。
11.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如权利要求1至7任一项所述的肿瘤图像分割方法。
CN201910840009.6A 2019-09-06 2019-09-06 肿瘤图像分割方法、装置及终端设备 Active CN110533676B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910840009.6A CN110533676B (zh) 2019-09-06 2019-09-06 肿瘤图像分割方法、装置及终端设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910840009.6A CN110533676B (zh) 2019-09-06 2019-09-06 肿瘤图像分割方法、装置及终端设备

Publications (2)

Publication Number Publication Date
CN110533676A CN110533676A (zh) 2019-12-03
CN110533676B true CN110533676B (zh) 2022-08-16

Family

ID=68667318

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910840009.6A Active CN110533676B (zh) 2019-09-06 2019-09-06 肿瘤图像分割方法、装置及终端设备

Country Status (1)

Country Link
CN (1) CN110533676B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111047567A (zh) * 2019-12-05 2020-04-21 电子科技大学 一种肾脏肿瘤图片确定方法及相关装置
CN111368827B (zh) * 2020-02-27 2023-08-29 推想医疗科技股份有限公司 医学图像处理方法、装置、计算机设备及存储介质
CN111583283B (zh) * 2020-05-20 2023-06-20 抖音视界有限公司 图像分割方法、装置、电子设备及介质
CN112184738B (zh) * 2020-10-30 2022-09-13 北京有竹居网络技术有限公司 一种图像分割方法、装置、设备及存储介质
CN112465834A (zh) * 2020-11-26 2021-03-09 中科麦迪人工智能研究院(苏州)有限公司 一种血管分割方法及装置
CN112561877B (zh) * 2020-12-14 2024-03-29 中国科学院深圳先进技术研究院 多尺度双通道卷积模型训练方法、图像处理方法及装置
CN113538463A (zh) * 2021-07-22 2021-10-22 强联智创（北京）科技有限公司 一种动脉瘤分割方法、装置以及设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107016681A (zh) * 2017-03-29 2017-08-04 浙江师范大学 基于全卷积网络的脑部mri肿瘤分割方法
CN107220980A (zh) * 2017-05-25 2017-09-29 重庆理工大学 一种基于全卷积网络的mri图像脑肿瘤自动分割方法
CN107749061A (zh) * 2017-09-11 2018-03-02 天津大学 基于改进的全卷积神经网络脑肿瘤图像分割方法及装置
CN108062753A (zh) * 2017-12-29 2018-05-22 重庆理工大学 基于深度对抗学习的无监督域自适应脑肿瘤语义分割方法
CN108765427A (zh) * 2018-05-17 2018-11-06 北京龙慧珩医疗科技发展有限公司 一种前列腺图像分割方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10679352B2 (en) * 2016-11-07 2020-06-09 Institute Of Automation, Chinese Academy Of Sciences Method for automatic segmentation of brain tumors merging full convolution neural networks with conditional random fields

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107016681A (zh) * 2017-03-29 2017-08-04 浙江师范大学 基于全卷积网络的脑部mri肿瘤分割方法
CN107220980A (zh) * 2017-05-25 2017-09-29 重庆理工大学 一种基于全卷积网络的mri图像脑肿瘤自动分割方法
CN107749061A (zh) * 2017-09-11 2018-03-02 天津大学 基于改进的全卷积神经网络脑肿瘤图像分割方法及装置
CN108062753A (zh) * 2017-12-29 2018-05-22 重庆理工大学 基于深度对抗学习的无监督域自适应脑肿瘤语义分割方法
CN108765427A (zh) * 2018-05-17 2018-11-06 北京龙慧珩医疗科技发展有限公司 一种前列腺图像分割方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于改进全卷积网络的棉田冠层图像分割方法;刘立波 等;《农业工程学报》;20180630;第34卷(第12期);全文 *

Also Published As

Publication number Publication date
CN110533676A (zh) 2019-12-03

Similar Documents

Publication Publication Date Title
CN110533676B (zh) 肿瘤图像分割方法、装置及终端设备
US11534125B2 (en) Systems and methods for automated and interactive analysis of bone scan images for detection of metastases
WO2023221954A1 (zh) 基于强化学习和注意力的胰腺肿瘤图像分割方法及系统
CN109509177B (zh) 一种脑部影像识别的方法及装置
CN111080584B (zh) 医学图像的质控方法、计算机设备和可读存储介质
CN110070540B (zh) 图像生成方法、装置、计算机设备及存储介质
CN109872325B (zh) 基于双路三维卷积神经网络的全自动肝脏肿瘤分割方法
EP3722996A2 (en) Systems and methods for processing 3d anatomical volumes based on localization of 2d slices thereof
CN113436166A (zh) 基于磁共振血管造影数据的颅内动脉瘤检测方法及系统
CN111340756B (zh) 一种医学图像病变检出合并方法、系统、终端及存储介质
CN109712163B (zh) 冠脉提取方法、装置、图像处理工作站和可读存储介质
EP2620909A1 (en) Method, system and computer readable medium for automatic segmentation of a medical image
CN110751187B (zh) 异常区域图像生成网络的训练方法和相关产品
JP7101809B2 (ja) 画像処理装置、画像処理方法、及びプログラム
CN112308846B (zh) 血管分割方法、装置及电子设备
US20090060332A1 (en) Object segmentation using dynamic programming
CN112150429A (zh) 一种注意力机制引导的肾ct图像分割方法
US8306354B2 (en) Image processing apparatus, method, and program
CN113469963B (zh) 肺动脉图像分割方法及装置
CN114881914A (zh) 基于医学影像确定三维功能肝段的系统及方法
CN112686866A (zh) 基于医学影像的随访方法、装置及计算机可读存储介质
CN112561877A (zh) 多尺度双通道卷积模型训练方法、图像处理方法及装置
CN111784646A (zh) 图像处理装置及电子设备
CN115330696A (zh) 一种支架的检测方法、装置、设备及存储介质
CN113129297B (zh) 基于多期相肿瘤影像的直径自动测量方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant