CN112651982A - 基于影像与非影像信息的图像分割方法及系统 - Google Patents

基于影像与非影像信息的图像分割方法及系统 Download PDF

Info

Publication number
CN112651982A
CN112651982A CN202110039584.3A CN202110039584A CN112651982A CN 112651982 A CN112651982 A CN 112651982A CN 202110039584 A CN202110039584 A CN 202110039584A CN 112651982 A CN112651982 A CN 112651982A
Authority
CN
China
Prior art keywords
branch
layer
image
output
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110039584.3A
Other languages
English (en)
Inventor
王世春
白致欣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Zhiruiyunkang Medical Technology Co ltd
Original Assignee
Hangzhou Zhiruiyunkang Medical Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Zhiruiyunkang Medical Technology Co ltd filed Critical Hangzhou Zhiruiyunkang Medical Technology Co ltd
Priority to CN202110039584.3A priority Critical patent/CN112651982A/zh
Publication of CN112651982A publication Critical patent/CN112651982A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30081—Prostate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供了基于影像与非影像信息的图像分割方法及系统。该方法包括：获取待处理的医疗影像以及对应的非图像信息；将医疗影像和非图像信息输入至预先训练好的多模态卷积神经网络中，得到多模态卷积神经网络的输出，该输出表示对医疗影像进行分割的结果。可见，本申请实施例能够利用预先训练好的多模态卷积神经网络实现对医疗影像的分割，具体地实现对放疗器官和靶区的分割。这种方式对操作者没有要求，不需要有经验的医生进行，并且使用卷积神经网络的方式得到的分割结果快速准确，一方面极大地减少了人力成本，另一方面该卷积神经网络还同时考虑非图像信息，从而确保更加科学和精准的放疗器官和靶区的分割。

Description

基于影像与非影像信息的图像分割方法及系统
本发明涉及图像处理领域，尤其涉及基于影像与非影像信息的图像分割方法及系统。
背景技术
有些病人因为病情特殊性需要进行放疗，但是在放疗前需要确定具体的部位。目前一般的操作是：医生根据其经验，结合病人的各种情况，对病人的医疗影像进行针对性的勾靶，从而手动地实现放疗器官和靶区的分割。
这样的做法至少存在以下弊端：
1、手动分割方式对医生的经验要求很高，经验不足的医生不能进行较为精确的勾靶。
2、医生需要花大量的时间和精力勾靶，消耗了大量的人力资源，使得医生在其他事情上的精力缩减。
3、即使医生经验丰富，但是由于是依赖人力的手动方式，不能避免出错的可能性。
考虑到上述弊端，目前可使用的一种方式是基于单纯的医学影像进行学习并实现图像分割，然而这种方式只考虑了影像信息，不能学习到非影像信息，从而因不能进行针对性的勾靶而导致分割的结果不准确。
发明内容
本发明提供基于影像与非影像信息的图像分割方法及系统，能够使用卷积神经网络实现对医疗影像的分割，减小了人力成本。
根据本申请的第一方面，提供了一种基于影像与非影像信息的图像分割方法，包括：
获取待处理的医疗影像以及对应的非图像信息；
将所述医疗影像和所述非图像信息输入至预先训练好的多模态卷积神经网络中，得到所述多模态卷积神经网络的输出，其中，所述输出表示对所述医疗影像进行分割的结果；
其中，所述多模态卷积神经网络包括第一支、第二支和第三支，所述第一支用于将所述医疗影像作为输入并得到第一支输出，所述第二支用于将所述非图像信息作为输入并得到第二支输出，所述第三支用于将所述第一支输出和所述第二支输出进行融合并进行进一步卷积和反卷积从而得到所述多模态卷积神经网络的输出。
所述第一支用于对所述医疗影像进行卷积操作并提取所述医疗影像的特征。
所述第一支包括输入层、至少一个卷积层、最大池化层和丢弃层，其中，所述输入层用于获取所述医疗影像，所述卷积层用于利用卷积核进行卷积操作并输出张量，所述最大池化层用于对时许数据进行最大池化，所述丢弃层用于防止过拟合。
所述第二支用于对所述非图像信息进行特征提取。
所述第二支包括输入层、全连接层和重构层，其中，所述输入层用于获取所述非图像信息，所述全连接层用于根据特征的组合进行分类，所述重构层用于将张量的维度进行重构以使得所述第二支输出的维度与所述第一支输出的维度一致。
所述第三支包括上采样层、卷积层、丢弃层、连结层，其中所述连结层的数量为至少一个。
所述第三支的第一个层为第一连结层，用于所述第一支输出和所述第二支输出进行融合；所述第三支还包括位于第三支的中间的第二连结层，用于将所述第二连结层的上一层的输出与所述第一支的中间卷积层的输出进行融合。
所述非图像信息为放疗信息或者病人信息，包括以下至少一项：放疗周期、术前/术后、病人年龄、病人性别。
根据本申请的第二方面，提供了一种计算机存储介质，其上存储有计算机程序，所述计算机程序被计算机或处理器执行时实现上述第一方面或任一实施例所述方法的步骤。
根据本申请的第三方面，提供了一种图像分割的系统，包括处理器以及如上第二方面所述的计算机存储介质，当存储在所述计算机存储介质上的计算机程序被所述处理器执行时实现上述第一方面或任一实施例所述方法的步骤。
根据本申请的第四方面，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述第一方面或任一实施例所述方法的步骤。
由此可见，本申请实施例所提供的基于影像与非影像信息的图像分割方法，能够利用预先训练好的多模态卷积神经网络实现对医疗影像的分割，具体地实现对放疗器官和靶区的分割。这种方式对操作者没有要求，不需要有经验的医生进行，并且使用卷积神经网络的方式得到的分割结果快速准确，一方面极大地减少了人力成本，另一方面该卷积神经网络还同时考虑非图像信息，从而确保更加科学和精准的放疗器官和靶区的分割。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明的范围。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例中的卷积神经网络的网络结构的一个示意图；
图2是本申请实施例中的基于影像与非影像信息的图像分割方法的一个示意性流程图；
图3是本申请实施例中的图像分割结果的一个示意性对照图；
图4是本申请实施例中的图像分割的装置的一个示意框图；
图5是本申请实施例中的图像分割的系统的一个示意框图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。
在本发明使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解，尽管在本发明可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本发明范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
下面结合附图，对本发明的各实施例进行较为详细的说明。但是应理解的是，在不冲突的情况下，下述的实施例及实施方式中的特征可以相互组合。
本发明实施例中使用卷积神经网络进行图像分割，具体地，所使用的是多模态卷积神经网络(Multi Dimensional Segmentation Net，MDSNet)。可理解的是，本申请中的图像是指医学影像，具体地为包括放疗器官和靶区的医学影像，并且本申请中的图像分割具体地为放疗器官与靶区的分割，也可以称为勾靶。
下面结合图1对该卷积神经网络进行较为详细的阐述。
本申请中的卷积神经网络包括第一支、第二支和第三支。其中，第一支和第二支是卷积部分，第三支是进一步卷积和反卷积部分。第一支可以用于基于图像进行特征提取，即第一支为图像卷积分支。第二支可以用于基于非图像进行特征提取，即第二支为非图像卷积分支。第三支可以用于将第一支的结果和第二支的结果进行融合从而得到网络的输出，即第三支为融合和进一步卷积和反卷积分支。
示例性地，第一支可以包括输入层、卷积层、最大池化层和丢弃层。第一支可以用于对图像进行卷积操作并提取图像的特征。其中，输入层(Input)可以将输入的图像实例化为张量的形式，例如Keras张量。其中，卷积层(Convolution)可以用于利用卷积核(滤波器)以单个空间(或时间)维上的层输入进行卷积，生成输出张量。其中，最大池化层(MaxPooling)可以用于对时序数据进行最大池化。其中，丢弃层(Dropout)可以用于在训练中每次更新时，将输入单元按比率随机设置为0，这能够有助于防止过拟合。
参照图1，第一支包括顺次连接的输入层(input_1)、卷积层(conv2d_1)、丢弃层(dropout_1)、卷积层(conv2d_2)、最大池化层(max_pooling2d_1)、卷积层(conv2d_3)、丢弃层(dropout_2)、卷积层(conv2d_4)、最大池化层(max_pooling2d_2)、卷积层(conv2d_5)。但是应当注意的是，图1仅是一个示例，本申请中的第一支不限于此，例如可以根据实际的需要包括更多或更少的层，再例如第一支可以包括至少两个第一分支并可以通过将至少两个第一分支的分支输出进行融合以得到第一支的输出，等等。
示例性地，第二支可以包括输入层、全连接层和重构层。第二支可以用于对非图像信息进行特征的提取。其中，输入层(Input)可以将输入的非图像信息实例化为张量的形式，例如Keras张量。其中，全连接层(Dense)可以用于根据特征的组合进行分类，大大减少特征的位置对分类所带来的影响。其中，重构层(Reshape)可以用于将张量重塑为指定的尺寸，构造成与第一支的最后一层具有相同维度和相同形状的层。具体地，本申请中，重构层作为第二支的最后一层，可以将张量的维度进行重构以使得第二支输出的维度与第一支输出的维度一致。
参照图1，第二支包括顺次连接的输入层(input_2)、全连接层(dense_1)和重构层(reshape_1)。但是应当注意的是，图1仅是一个示例，本申请中的第二支不限于此，例如可以根据实际的需要包括更多或更少的层，再例如第二支可以包括至少两个第二分支并可以通过将至少两个第二分支的分支输出进行融合以得到第二支的输出，等等。
另外可理解的是，本申请中可以先构建第一支的网络结构，然后再根据第一支的最后一层来构建第二支，具体地第二支的重构层的输出的维度与第一支的输出的维度是一致的，从而便于在第三支进行连结。
示例性地，第三支可以包括上采样层、卷积层、丢弃层、连结层。第三支可以用于将第一支的结果和第二支的结果进行融合从而得到网络的输出。其中，上采样层(UpSampling)可以用于反向梯度传播。其中，卷积层(Convolution)可以用于利用卷积核(滤波器)以单个空间(或时间)维上的层输入进行卷积，生成输出张量。其中，丢弃层(Dropout)可以用于防止过拟合。其中，连结层(Concatenate)可以用于计算输入张量之间的点积。可理解，输入到同一连结层的至少两个输入张量具有相同的维度。
参照图1，第三支包括顺次连接的连结层(concatenate_1)、卷积层(conv2d_6)、上采样层(upsampling2d_1)、卷积层(conv2d_7)、丢弃层(dropout_3)、连结层(concatenate_2)、卷积层(conv2d_8)、上采样层(upsampling2d_2)、卷积层(conv2d_9)、丢弃层(dropout_4)、连结层(concatenate_3)、卷积层(conv2d_10)、卷积层(conv2d_11)、卷积层(conv2d_12)。但是应当注意的是，图1仅是一个示例，本申请中的第三支不限于此，例如可以根据实际的需要包括更多或更少的层，本申请对此不限定。
具体地，图1中的第三支包括有三个连结层，其中连结层(concatenate_1)用于将第一支的输出和第二支的输出进行融合。连结层(concatenate_2)用于将丢弃层(dropout_3)的输出和第一支中的卷积层(conv2d_4)的输出进行融合。连结层(concatenate_3)用于将丢弃层(dropout_4)的输出和第一支中的卷积层(conv2d_2)的输出进行融合。本申请中，对两个不同的张量进行融合具体地是计算这两个张量之间的点积，相应地，可理解，进行融合的两个不同的张量具有相同的维度。
另外，尽管第三支包括多个不同的层，但是这些层的主要作用可以理解为是将上述卷积部分的第一支和第二支的输出融合后的数据进行进一步卷积和反卷积，还原数据的维度与形状，从而实现图像的分割。
本发明实施例中，可以通过构建如图1所示的卷积神经网络的网络结构并且可以通过训练得到能够用于进行图像分割的卷积神经网络。
首先，可以构建训练数据集，其中包括训练数据，每个训练数据包括训练图像以及与训练图像对应的非图像信息，并且每个训练数据还被标注有分割结果(即GroundTruth)。
其中，训练图像为医疗影像，非图像信息可以是放疗信息或者病人信息，例如包括但不限于：放疗周期、术前/术后、病人年龄、病人性别等。在一个实施例中，训练数据中的训练图像为前列腺CTV靶区图像，训练数据中与训练图像对应的非图像信息为手术前或手术后的标记信息，训练数据的标注(即GroundTruth)可以是有经验的医师对放疗器官和靶区的较为精准的分割结果。
随后，可以基于所构建的训练数据集对上述的卷积神经网络进行训练。
具体地，可以将训练数据集中的训练数据通过Data Generator进行标准化，并将标准化后的训练数据输入到构造好的网络中，如图1所示，使用网络的每一层的函数对数据进行运算，最后通过梯度向量来调整每一个神经元的权值，向精确度函数收敛的趋势调节。在一个实施例中，可以将所有数据迭代150次，以保证将变量控制在最低。
可理解的是，训练中的学习率、损失函数等可以根据需求和经验进行预先设定，本申请对此不做具体限定。
另外，还可以预先构建测试集，该测试集中包括测试数据，用于对训练出的卷积神经网络进行测试。作为一种实现方式，可以与GroundTruth进行DCIE(Dice coefficient)和MHD(Mean Hausdorff Distance)评估。
可选地，上述过程可以执行若干次(如三次)再取平均值，这样可以保证试验的可靠性。
作为一个例子，本申请中使用包括138训练数据的训练数据集进行训练，其中，一半的训练数据(69)非图像信息为手术前，另一半的训练数据(69)非图像信息为手术后。并且随后使用20例测试数据进行测试。MDSNet的结果如下：
整体测试结果：DCIE＝0.735、MHD＝1.282；
关键差异层面测试结果：DCIE＝0.679、MHD＝0.743。
为了显示本申请中的多模态卷积神经网络对于图像分割的效果，可以将上述结果与不考虑非图像信息的单模态的网络的结果进行比较。假设单模态的网络相比图1而言，不包括第二支，还不包括第三支的第一个连结层(concatenate_1)，可将该单模态的网络称为SimpleSegNet，并且对SimpleSegNet进行训练的训练集与上述的包括138训练数据的训练数据集基本一致，区别只在于输入到SimpleSegNet的只有图像，不包含非图像信息。类似地，SimpleSegNet的结果如下：
整体测试结果：DICE＝0.707、MHD＝1.427；
关键差异层面测试结果：DICE＝0.580、MHD＝0.911。
应当注意的是，由于术前术后差异层面占所有勾画层面的比例较少，MDSNet带来优势可能会被其他层面所平均，因此导致整体DICE与MHD的提高并不是太大。具体地，其中MDSNet的DCIE(0.735)比SimpleSegNet的DCIE(0.707)只高3.8％。
但是，如果对术前术后的勾画相差较大的几层单独进行了DCIE与MHD的计算，如上述结果中的关键差异层面测试结果，可以看出MDSNet带来的优势是很明显的。具体地，其中MDSNet的DCIE(0.679)比SimpleSegNet的DCIE(0.580)高17％。
经过上述的比较可以看出，与普通仅依靠医学影像进行分割的网络相比，结合医学影像与非影像信息的多模态卷积神经网络的效果能更加贴近医生实际临床的器官和靶区的勾画效果。因此，本申请中的多模态卷积神经网络能够用于实现对放疗器官和靶区的分割，并且结果的可靠性高。
进一步地，可以使用上述训练好的卷积神经网络(即多模态卷积神经网络)进行放疗器官和靶区的分割，如图2所示是本申请中一种图像分割方法的一个示意性流程图，其包括：
S110，获取待处理的医疗影像以及对应的非图像信息。
其中，医疗影像是指需要进行勾画(或勾靶)的包含放疗器官和靶区的图像，其可以是通过CT等方式采集得到的。
其中，非图像信息可以是放疗信息或者病人信息，例如可以包括以下至少一项：放疗周期、术前/术后、病人年龄、病人性别等。
S120，将医疗影像和所述非图像信息输入至预先训练好的多模态卷积神经网络中，得到所述多模态卷积神经网络的输出，其中，所述输出表示对所述医疗影像进行分割的结果。其中，多模态卷积神经网络包括第一支、第二支和第三支，所述第一支用于将所述医疗影像作为输入并得到第一支输出，所述第二支用于将所述非图像信息作为输入并得到第二支输出，所述第三支用于将所述第一支输出和所述第二支输出进行融合并进行进一步卷积和反卷积从而得到所述多模态卷积神经网络的输出。
示例性地，S120中所使用的多模态卷积神经网络可以具有如上图1所示的网络结构，并且可以是通过上面所描述的基于训练数据集经训练得到的。其中，第一支用于对所述医疗影像进行卷积操作并提取所述医疗影像的特征。第二支用于对所述非图像信息进行特征提取。
第一支包括输入层、至少一个卷积层、最大池化层和丢弃层，其中，输入层用于获取所述医疗影像，卷积层用于利用卷积核进行卷积操作并输出张量，最大池化层用于对时许数据进行最大池化，丢弃层用于防止过拟合。
具体的，第二支包括输入层、全连接层和重构层，其中，输入层用于获取所述非图像信息，全连接层用于根据特征的组合进行分类，重构层用于将张量的维度进行重构以使得所述第二支输出的维度与所述第一支输出的维度一致。
第三支包括上采样层、卷积层、丢弃层、连结层，其中所述连结层的数量为至少一个。其中，第三支的第一个层为第一连结层，用于所述第一支输出和所述第二支输出进行融合。第三支还包括位于第三支的中间的第二连结层，用于将所述第二连结层的上一层的输出与所述第一支的中间卷积层的输出进行融合。
下面参照图1较为详细地描述S120。
医疗影像被输入到第一支，具体地被输入到输入层(input_1)，并且卷积层(conv2d_5)的输出为第一支输出。应注意的是，在该过程中，还同时缓存第一中间输出和第二中间输出，具体地，卷积层(conv2d_2)的输出为第一中间输出，卷积层(conv2d_4)的输出为第二中间输出。可理解的是，第一中间输出、第二中间输出、第一支输出具有不同的维度。具体的，第一中间输出的宽、高尺寸大于第二中间输出的宽、高尺寸大于第一支输出的宽、高尺寸，并且第一中间输出的通道数小于第二中间输出的通道数小于第一支输出的通道数。
非图像信息被输入到第二支，具体地被输入到输入层(input_2)，并且重构层(reshape_1)的输出为第二支输出。可理解，重构层(reshape_1)的主要作用是确保第二支输出与第一支输出具有相同的维度，以便在第三支被融合。
第三支的第一个层是第一连结层，如图1中的连结层(concatenate_1)，其将第一支输出和第二支输出进行融合。另外，第三支还包括第二连结层，如图1中的连结层(concatenate_2)，其将该第二连结层的上一层输出(即丢弃层(dropout_3)的输出)与第二中间输出(即第一支中的卷积层(conv2d_4)的输出)进行融合。另外，第三支还包括第三连结层，如图1中的连结层(concatenate_3)，其将第三连结层的上一层输出(丢弃层(dropout_4)的输出)与第一中间输出(即第一支中的卷积层(conv2d_2)的输出)进行融合。
可见，第三支主要进行进一步卷积和反卷积操作，以将特征张量的维度逐步恢复。
由此，可以利用本申请中的多模态卷积神经网络实现对医疗影像的分割，具体地将其中的放疗器官和靶区进行勾画，并且本身其中的勾画结果是较为精确的。
如图3示出的结果比对图，为了表征使用本申请中的方法进行分割的精确性，其示出的是对8张前列腺CTV靶区进行图像分割的结果示意图，其中，每张图的左上角显示出图像编号1至8。
在图3中示出了通过本申请中的多模态卷积神经网络所得到的分割结果，即“本申请中网络分割结果”。同时，图3中还示出了医生的手动标注结果，用来表示正确的分割，即GroundTruth。可以看出，通过本申请中的方法所勾画的结果与实际结果一致，因此本申请得到的图像分割结果是准确的。
另外，为了进行比对，图3中还同时示出了利用不考虑非图像信息的神经网络(上述的单模态网络SimpleSegNet)进行图像分割的结果。可以看出，使用单模态网络得到的分割结果准确率低，例如其中在图像编号2和3中未能成功地进行勾画，即不能实现图像分割；而在图像编号4和6中尽管有勾画结果，但是对图像的分割是错误的，不可信的。
基于上述的技术方案，本申请实施例能够利用预先训练好的多模态卷积神经网络实现对医疗影像的分割，具体地实现对放疗器官和靶区的分割。这种方式对操作者没有要求，不需要有经验的医生进行，并且使用卷积神经网络的方式得到的分割结果快速准确，一方面极大地减少了人力成本，另一方面该卷积神经网络还同时考虑非图像信息，从而确保更加科学和精准的放疗器官和靶区的分割。
本申请还提供了一种图像分割的装置，如图4所示，该装置包括获取模块和网络处理模块。其中：
获取模块，用于获取待处理的医疗影像以及对应的非图像信息。
网络处理模块，用于将所述医疗影像和所述非图像信息输入至预先训练好的多模态卷积神经网络中，得到所述多模态卷积神经网络的输出，其中，所述输出表示对所述医疗影像进行分割的结果。
其中，所述多模态卷积神经网络包括第一支、第二支和第三支，所述第一支用于将所述医疗影像作为输入并得到第一支输出，所述第二支用于将所述非图像信息作为输入并得到第二支输出，所述第三支用于将所述第一支输出和所述第二支输出进行融合并进行进一步卷积和反卷积从而得到所述多模态卷积神经网络的输出。
如图4所示的装置能够实现上述如图2所示的方法的流程，在此不再赘述。
另外，本申请还提供了一种计算机存储介质，其上存储有计算机程序。当该计算机程序被计算机或者处理器执行时，可以实现前述结合图2所述的方法的步骤。例如，该计算机存储介质为计算机可读存储介质。
在一个实施例中，该计算机程序指令在被计算机或处理器运行时使计算机或处理器执行以下步骤：获取待处理的医疗影像以及对应的非图像信息；将所述医疗影像和所述非图像信息输入至预先训练好的多模态卷积神经网络中，得到所述多模态卷积神经网络的输出，其中，所述输出表示对所述医疗影像进行分割的结果。其中，所述多模态卷积神经网络包括第一支、第二支和第三支，所述第一支用于将所述医疗影像作为输入并得到第一支输出，所述第二支用于将所述非图像信息作为输入并得到第二支输出，所述第三支用于将所述第一支输出和所述第二支输出进行融合并进行进一步卷积和反卷积从而得到所述多模态卷积神经网络的输出。
计算机存储介质例如可以包括智能电话的存储卡、平板电脑的存储部件、个人计算机的硬盘、只读存储器(ROM)、可擦除可编程只读存储器(EPROM)、便携式紧致盘只读存储器(CD-ROM)、USB存储器、或者上述存储介质的任意组合。计算机可读存储介质可以是一个或多个计算机可读存储介质的任意组合。
另外，如图5所示，本发明实施例还提供了一种图像分割的系统，包括处理器和如上所述的计算机存储介质，当存储在所述计算机存储介质上的计算机程序被所述处理器执行时，能够实现上述如图2所示的方法的步骤。
计算机存储介质可以实现为存储器。存储器可以是只读存储器(read onlymemory，ROM)，静态存储设备，动态存储设备或者随机存取存储器(random access memory，RAM)。
处理器可以采用通用的中央处理器(central processing unit，CPU)，微处理器，应用专用集成电路(application specific integrated circuit，ASIC)或者一个或多个集成电路，用于执行相关程序，以实现本申请实施例的方法。
处理器还可以是一种集成电路芯片，具有信号的处理能力。在实现过程中，本申请的方法的各个步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器还可以是通用处理器、数字信号处理器(digital signal processing，DSP)、专用集成电路(ASIC)、现成可编程门阵列(field programmable gate array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成本申请实施例的系统中包括的单元所需执行的功能，或者执行本申请方法实施例的方法。
可选地，该系统还可以进一步包括通信接口和总线。其中，通信接口使用例如但不限于收发器一类的收发装置，来实现与其他设备或网络之间的通信。例如，可以通过通信接口获取原始数据，可以通过通信接口传输处理数据，等等。其中，总线可包括：在系统的各个部件(例如，存储器、处理器、通信接口)之间传送信息的通路。
另外，本发明实施例还提供了一种计算机程序产品，其包含计算机程序(或指令)，当该计算机程序(或指令)被处理器或计算机所执行时，执行上述结合图2所述的方法的步骤。
由此可见，本发明实施例所提供的图像分割的方法，能够利用预先训练好的多模态卷积神经网络实现对医疗影像的分割，具体地实现对放疗器官和靶区的分割。这种方式对操作者没有要求，不需要有经验的医生进行，并且使用卷积神经网络的方式得到的分割结果快速准确，一方面极大地减少了人力成本，另一方面该卷积神经网络还同时考虑非图像信息，从而确保更加科学和精准的放疗器官和靶区的分割。
应注意的是，本申请的“医学影像”和“医疗影像”可以被解释为同一概念，例如都是对待放疗部位进行图像采集所得到的，可以包括放疗器官和靶区。
在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。
尽管这里已经参考附图描述了示例实施例，应理解上述示例实施例仅仅是示例性的，并且不意图将本发明的范围限制于此。本领域普通技术人员可以在其中进行各种改变和修改，而不偏离本发明的范围和精神。所有这些改变和修改意在被包括在所附权利要求所要求的本发明的范围之内。

Claims (10)

1.基于影像与非影像信息的图像分割方法，其特征在于，包括：获取待处理的医疗影像以及对应的非图像信息；
将所述医疗影像和所述非图像信息输入至预先训练好的多模态卷积神经网络中，得到所述多模态卷积神经网络的输出，其中，所述输出表示对所述医疗影像进行分割的结果；
其中，所述多模态卷积神经网络包括第一支、第二支和第三支，所述第一支用于将所述医疗影像作为输入并得到第一支输出，所述第二支用于将所述非图像信息作为输入并得到第二支输出，所述第三支用于将所述第一支输出和所述第二支输出进行融合并进行进一步卷积和反卷积从而得到所述多模态卷积神经网络的输出。
2.根据权利要求1所述的方法，其特征在于，所述第一支用于对所述医疗影像进行卷积操作并提取所述医疗影像的特征。
3.根据权利要求2所述的方法，其特征在于，所述第一支包括输入层、至少一个卷积层、最大池化层和丢弃层，其中，所述输入层用于获取所述医疗影像，所述卷积层用于利用卷积核进行卷积操作并输出张量，所述最大池化层用于对时许数据进行最大池化，所述丢弃层用于防止过拟合。
4.根据权利要求1所述的方法，其特征在于，所述第二支用于对所述非图像信息进行特征提取。
5.根据权利要求4所述的方法，其特征在于，所述第二支包括输入层、全连接层和重构层，其中，所述输入层用于获取所述非图像信息，所述全连接层用于根据特征的组合进行分类，所述重构层用于将张量的维度进行重构以使得所述第二支输出的维度与所述第一支输出的维度一致。
6.根据权利要求1所述的方法，其特征在于，所述第三支包括上采样层、卷积层、丢弃层、连结层，其中所述连结层的数量为至少一个；
其中，所述第三支的第一个层为第一连结层，用于所述第一支输出和所述第二支输出进行融合；
所述第三支还包括位于第三支的中间的第二连结层，用于将所述第二连结层的上一层的输出与所述第一支的中间卷积层的输出进行融合。
7.根据权利要求1至6中任一项所述的方法，其特征在于，所述非图像信息为放疗信息或者病人信息，包括以下至少一项：放疗周期、术前/术后、病人年龄、病人性别。
8.一种计算机存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被计算机或处理器执行时实现权利要求1至7中任一项所述方法的步骤。
9.一种图像分割的系统，其特征在于，包括处理器以及如权利要求8所述的计算机存储介质，当存储在所述计算机存储介质上的计算机程序被所述处理器执行时实现权利要求1至7中任一项所述方法的步骤。
10.一种计算机程序产品，包括计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至7中任一项所述方法的步骤。
CN202110039584.3A 2021-01-12 2021-01-12 基于影像与非影像信息的图像分割方法及系统 Pending CN112651982A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110039584.3A CN112651982A (zh) 2021-01-12 2021-01-12 基于影像与非影像信息的图像分割方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110039584.3A CN112651982A (zh) 2021-01-12 2021-01-12 基于影像与非影像信息的图像分割方法及系统

Publications (1)

Publication Number Publication Date
CN112651982A true CN112651982A (zh) 2021-04-13

Family

ID=75368115

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110039584.3A Pending CN112651982A (zh) 2021-01-12 2021-01-12 基于影像与非影像信息的图像分割方法及系统

Country Status (1)

Country Link
CN (1) CN112651982A (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2863360A1 (en) * 2013-10-21 2015-04-22 Tecnologie Avanzate T.A. Srl Multimodality image segmentation of volumetric data sets
CN106909778A (zh) * 2017-02-09 2017-06-30 北京市计算中心 一种基于深度学习的多模态医学影像识别方法及装置
CN110298383A (zh) * 2019-05-28 2019-10-01 中国科学院计算技术研究所 基于多模态深度学习的病理分类方法及系统
CN110675403A (zh) * 2019-08-30 2020-01-10 电子科技大学 一种基于编码辅助信息的多实例图像分割方法
US20200051238A1 (en) * 2018-08-13 2020-02-13 International Business Machines Corporation Anatomical Segmentation Identifying Modes and Viewpoints with Deep Learning Across Modalities
CN111275085A (zh) * 2020-01-15 2020-06-12 重庆邮电大学 基于注意力融合的在线短视频多模态情感识别方法
CN112037239A (zh) * 2020-08-28 2020-12-04 大连理工大学 基于多层次显式关系选择的文本指导图像分割方法
CN112133441A (zh) * 2020-08-21 2020-12-25 广东省人民医院 一种mh术后裂孔状态预测模型的建立方法和终端
CN112184738A (zh) * 2020-10-30 2021-01-05 北京有竹居网络技术有限公司 一种图像分割方法、装置、设备及存储介质

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2863360A1 (en) * 2013-10-21 2015-04-22 Tecnologie Avanzate T.A. Srl Multimodality image segmentation of volumetric data sets
CN106909778A (zh) * 2017-02-09 2017-06-30 北京市计算中心 一种基于深度学习的多模态医学影像识别方法及装置
US20200051238A1 (en) * 2018-08-13 2020-02-13 International Business Machines Corporation Anatomical Segmentation Identifying Modes and Viewpoints with Deep Learning Across Modalities
CN110298383A (zh) * 2019-05-28 2019-10-01 中国科学院计算技术研究所 基于多模态深度学习的病理分类方法及系统
CN110675403A (zh) * 2019-08-30 2020-01-10 电子科技大学 一种基于编码辅助信息的多实例图像分割方法
CN111275085A (zh) * 2020-01-15 2020-06-12 重庆邮电大学 基于注意力融合的在线短视频多模态情感识别方法
CN112133441A (zh) * 2020-08-21 2020-12-25 广东省人民医院 一种mh术后裂孔状态预测模型的建立方法和终端
CN112037239A (zh) * 2020-08-28 2020-12-04 大连理工大学 基于多层次显式关系选择的文本指导图像分割方法
CN112184738A (zh) * 2020-10-30 2021-01-05 北京有竹居网络技术有限公司 一种图像分割方法、装置、设备及存储介质

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
G. LUO 等: "Multi-Task Collaborative Network for Joint Referring Expression Comprehension and Segmentation", 《2020 IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR), SEATTLE, WA, USA, 2020》, 31 December 2020 (2020-12-31), pages 10031 - 10040 *
R.HU 等: "Segmentation from Natural Language Expressions", 《COMPUTER VISION – ECCV 2016》, vol. 9905, 31 December 2016 (2016-12-31), pages 108 - 124 *
孙冬冬 等: "基于多模态数据融合的乳腺癌生存期预测研究", 《中国科学技术大学》, 31 December 2018 (2018-12-31) *
杨琬琪 等: "注意力机制引导的多模态心脏图像分割", 《南京师大学报》, vol. 42, no. 3, 20 December 2019 (2019-12-20), pages 27 - 31 *

Similar Documents

Publication Publication Date Title
US11403750B2 (en) Localization and classification of abnormalities in medical images
Lee et al. Automated mammographic breast density estimation using a fully convolutional network
US10482603B1 (en) Medical image segmentation using an integrated edge guidance module and object segmentation network
CN109300107B (zh) 磁共振血管壁成像的斑块处理方法、装置和计算设备
WO2021031066A1 (zh) 一种软骨图像分割方法、装置、可读存储介质及终端设备
CN110598714B (zh) 一种软骨图像分割方法、装置、可读存储介质及终端设备
CN111899252B (zh) 基于人工智能的病理图像处理方法和装置
CN113012155A (zh) 髋关节图像中骨骼分割方法、电子设备及存储介质
WO2023065503A1 (zh) 一种面部表情的分类方法和电子设备
US20230052133A1 (en) Medical image processing method and apparatus, device, storage medium, and product
CN113962930B (zh) 阿尔茨海默病风险评估模型建立方法和电子设备
CN113628220B (zh) 基于改进的U-Net网络对MRI脑肿瘤图像的分割方法及系统
CN113935943A (zh) 颅内动脉瘤识别检测的方法、装置、计算机设备和存储介质
CN111862261B (zh) 一种flair模态磁共振影像生成方法及系统
CN109390053A (zh) 眼底图像处理方法、装置、计算机设备和存储介质
CN115439651A (zh) 一种基于空间多尺度注意网络的dsa脑血管分割系统及方法
CN113706451A (zh) 颅内动脉瘤识别检测的方法、装置、系统和计算机可读存储介质
CN112651982A (zh) 基于影像与非影像信息的图像分割方法及系统
CN116342986A (zh) 模型训练方法、目标器官的分割方法及相关产品
CN113379770B (zh) 鼻咽癌mr图像分割网络的构建方法、图像分割方法及装置
CN112329736B (zh) 人脸识别方法及金融系统
CN113052930A (zh) 一种胸部dr双能量数字减影图像生成方法
CN116071372B (zh) 膝关节分割方法、装置、电子设备及存储介质
CN110517239A (zh) 一种医学影像检测方法及装置
CN117392119B (zh) 基于位置先验和特征感知的肿瘤病变区域检测方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination