CN108109152A - 医学图像分类和分割方法和装置 - Google Patents

医学图像分类和分割方法和装置 Download PDF

Info

Publication number
CN108109152A
CN108109152A CN201810006158.8A CN201810006158A CN108109152A CN 108109152 A CN108109152 A CN 108109152A CN 201810006158 A CN201810006158 A CN 201810006158A CN 108109152 A CN108109152 A CN 108109152A
Authority
CN
China
Prior art keywords
image
feature
data set
medical image
convolutional neural
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810006158.8A
Other languages
English (en)
Inventor
许燕
闫雯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SHENZHEN BEIHANG NEW INDUSTRIAL TECHNOLOGY RESEARCH INSTITUTE
Original Assignee
SHENZHEN BEIHANG NEW INDUSTRIAL TECHNOLOGY RESEARCH INSTITUTE
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SHENZHEN BEIHANG NEW INDUSTRIAL TECHNOLOGY RESEARCH INSTITUTE filed Critical SHENZHEN BEIHANG NEW INDUSTRIAL TECHNOLOGY RESEARCH INSTITUTE
Priority to CN201810006158.8A priority Critical patent/CN108109152A/zh
Publication of CN108109152A publication Critical patent/CN108109152A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Abstract

本发明提供一种医学图像分类和分割的方法和装置，能够解决由于训练数据数量有限和医学图像的临川特征表达不完全，导致图像的分类和分割效果差的问题。该方法包括：对医学图像进行数据增强和预处理，构建分类数据集和分割数据集；构建卷积神经网络模型，提取自然图像数据集的特征，以得到卷积神经网络激活特征；基于所述分类数据集，训练所述卷积神经网络提取所述分类数据集的特征，以区分所述医学图像是有癌图像或无癌图像；基于所述分割数据集，训练所述卷积神经网络提取所述分割数据集的特征，以分割所述医学图像的癌变区域。

Description

医学图像分类和分割方法和装置
技术领域
本发明涉及计算机技术领域，尤其涉及一种医学图像分类和分割的方法和装置。
背景技术
特征提取在医学图像分析领域具有重要的地位。医学图像有多种模态，例如核磁图像、CT图像和数字病理切片等，这导致来源于同一个人的同一病症下的多种模态的图像，有着不同的纹理、色彩和形态等特征。因此，特征设计在高阶医学图像分析任务，例如分类任务和分割任务中有重要地位。而基于人工方法提取图像的纹理、色彩和形态等特征通常受到专业知识、医学图像特征复杂、有标记的医学图像数量有限等条件的限制。因此，在医学图像分析中，自动特征提取算法对于高阶医学图像分析任务具有重要意义，基于卷积神经网络的特征提取方法。一种高效的、全面的特征提取算法，广泛应用于医学图像分割、分类等任务中。
基于卷积神经网络的激活特征的特征提取是医学图像分类和分割常用的特征提取算法。该算法利用网络上的大量图像数据集，卷积神经网络可以提取到充足的特征数据，研究表明，不同图像数据集的低阶的图像特征具有较高的一致性。因此，基于自然图像的特征数据同样适用于医学图像，将这些特征迁移到医学图像中，结合支持向量机等算法便可实现医学图像的分类和分割。
在实现本发明中，发明人发现现有技术至少存在以下问题：
1.训练数据不足的情况下，卷积神经网络对医学图像的特征表达不完全。
2.人工设计特征难以充分表达医学图像的临床特征，从而导致图像的分类和分割效果差。
发明内容
有鉴于此，本发明实施例提供一种医学图像的分类和分割的方法、装置和装置，能够解决医学图像训练数据不足，临床特征难以表征情况下的分类和分割问题。
为实现上述目的，根据本发明实施例的一个方面，提供了一种医学图像的分类和分割方法。
本发明实施例一种医学图像的分类和分割方法包括：对医学图像进行数据增强和预处理，构建分类数据集和分割数据集；构建卷积神经网络模型，提取自然图像数据集的特征，以得到卷积神经网络激活特征；基于所述分类数据集，训练所述卷积神经网络提取所述分类数据集的特征，以区分所述医学图像是有癌图像或无癌图像；基于所述分割数据集，训练所述卷积神经网络提取所述分割数据集的特征，以分割所述医学图像的癌变区域。
可选地，所述数据增强和预处理包括对所述医学图像进行旋转、镜像或平移；将所述医学图像截取为224×224像素的图像的子块，以得到所述分类数据集；将所述医学图像截取为112×112像素的图像的子块，以得到所述分割数据集。
可选地，所述训练所述卷积神经网络提取所述分类数据集的特征包括基于所述卷积神经网络激活特征提取所述分类数据集的特征，以得到分类特征向量；将所述分类特征向量通过3层池化层，以得到每幅医学图像的分类特征向量；对所述每幅医学图像的分类特征向量进行特征挑选，以得到挑选特征向量；基于一对一的支持向量机，对所述挑选特征向量进行分类，判断所述医学图像是有癌图像或无癌图像。
可选地，所述训练所述卷积神经网络提取所述分割数据集的特征包括基于所述卷积神经网络激活特征，提取所述分割数据集的特征，以得到分割特征向量；基于支持向量机，对所述分割特征向量进行分类，计算所述分割数据集中的每幅图像的子块为有癌症区域或非癌症区域的置信度；根据所述图像的子块的有癌区域的置信度，计算所述分割数据集的每幅图像的每个像素属于有癌症区域或非癌症区域的置信度，使用阈值分割对所述图像的有癌症区域进行分割。
为实现上述目的，根据本发明实施例的一个方面，提供了一种医学图像分类和分割装置。
本发明实施例一种医学图像分类和分割装置包括：数据获取模块，用于对医学图像进行数据增强和预处理，构建分类数据集和分割数据集；特征提取模块，用于构建卷积神经网络模型，提取自然图像数据集的特征，以得到卷积神经网络激活特征；分类模块，用于基于所述分类数据集，训练所述卷积神经网络提取所述分类数据集的特征，以区分所述医学图像是有癌图像或无癌图像；分割模块，用于基于所述分割数据集，训练所述卷积神经网络提取所述分割数据集的特征，以分割所述医学图像的癌变区域。
可选地，所述数据获取模块用于对所述医学图像进行旋转、镜像或平移；将所述医学图像截取为224×224像素的图像的子块，以得到所述分类数据集；将所述医学图像截取为112×112像素的图像的子块，以得到所述分割数据集。
可选地，所述分类模块用于基于所述卷积神经网络激活特征提取所述分类数据集的特征，以得到分类特征向量；将所述分类特征向量通过3层池化层，以得到每幅医学图像的分类特征向量；对所述每幅医学图像的分类特征向量进行特征挑选，以得到挑选特征向量；基于一对一的支持向量机，对所述挑选特征向量进行分类，判断所述医学图像是有癌图像或无癌图像。
可选地，所述分割模型还用于基于所述卷积神经网络激活特征，提取所述分割数据集的特征，以得到分割特征向量；基于支持向量机，对所述分割特征向量进行分类，计算所述分割数据集中的每幅图像的子块为有癌症区域或非癌症区域的置信度；根据所述图像的子块的有癌区域的置信度，计算所述分割数据集的每幅图像的每个像素属于有癌症区域或非癌症区域的置信度，使用阈值分割对所述图像的有癌症区域进行分割。
为实现上述目的，根据本发明实施例的再一方面，提供了一种实现医学图像的分割和分类方法的电子设备。
本发明实施例的一种电子设备包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明实施例的医学图像的分类和分割方法。
为实现上述目的，根据本发明实施例的又一方面，提供了一种计算机可读介质。
本发明实施例的一种计算机可读介质，其上存储有计算机程序，所述程序被处理器执行时用于实现使所述计算机执行本发明实施例的医学图像的分类和分割方法。
上述发明中的一个实施例具有如下优点或有益效果：因为采用迁移学习的技术手段，即利用大量的自然图像数据集训练卷积神经网络，将训练得到的激活特征迁移到医学图像的特征提取中，所以克服了医学图像的数据量不足的技术问题，进而达到了用少量的医学图像做训练数据取得较高的精度的技术效果；因为采用基于图像的子块的卷积神经网络的技术手段，通过将医学图像截取为图像的子块，作为训练数据输入到设计好的卷积神经网络中，通过网络学习自动学习并整合图像的子块的特征得到医学图像的特征表达，该过程不需要人工设计特征，所以克服了医学图像的临床特征难以表达的技术问题，进而提高了医学图像分类和分割的准确率。
上述的非惯用的可选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。
附图说明
附图用于更好地理解本发明，不构成对本发明的不当限定。其中：
图1是根据本发明实施例的医学图像的分类和分割方法的主要步骤的示意图；
图2是根据本发明实施例的医学图像的分类和分割方法的流程示意图；
图3是根据本发明实施例的医学图像的分类和分割装置的主要模块的示意图；
图4是适于用来实现本申请实施例的终端设备或服务器的计算机系统的结构示意图。
具体实施方式
以下结合附图对本发明的示范性实施例做出说明，其中包括本发明实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本发明的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
本发明实施例的技术方案首先对医学图像进行数据增强和预处理，从自然图像中提取特征，作为卷积神经网络的激活特征用于提取医学图像的特征，通过特征提取、特征挑选、图像分类得到医学图像有癌无癌的分类；然后训练卷积神经网络提取医学图像的特征向量，使用支持向量机计算图像的概率图谱，根据概率图谱分割有癌图像的有癌症区域。
图1是根据本发明实施例的医学图像的分类和分割方法的主要步骤的示意图；
如图2所示，本发明实施例的医学图像的分类和分割方法主要包括如下步骤：
步骤S11：对医学图像进行数据增强和预处理，构建分类数据集和分割数据集。本步可以对所述医学图像进行旋转、镜像或平移；将所述医学图像截取为224×224像素的图像的子块，以得到所述分类数据集；将所述医学图像截取为112×112像素的图像的子块，以得到所述分割数据集。
步骤S12：构建卷积神经网络模型，提取自然图像数据集的特征，以得到卷积神经网络激活特征。本步可以构建卷积神经网络模型，提取自然图像的数据集的特征，以得到卷积神经网络激活特征；
步骤S13：基于所述分类数据集，训练所述卷积神经网络提取所述分类数据集的特征，以区分所述医学图像是有癌图像或无癌图像。本部可以基于所述卷积神经网络激活特征提取所述分类数据集的特征，以得到分类特征向量；将所述分类特征向量通过3层池化层，以得到每幅医学图像的分类特征向量；对所述每幅医学图像的分类特征向量进行特征挑选，以得到挑选特征向量；基于一对一的支持向量机，对所述挑选特征向量进行分类，判断所述医学图像是有癌图像或无癌图像。
步骤S14：基于所述分割数据集，训练所述卷积神经网络提取所述分割数据集的特征，以分割所述医学图像的癌变区域。本步可以基于所述卷积神经网络激活特征，提取所述分割数据集的特征，得到分割特征向量；基于支持向量机对所述分割特征向量进行分类，计算所述分割数据集中的每幅图像的子块为有癌症区域或非癌症区域的置信度；根据所述图像的子块的有癌区域的置信度，计算所述分割数据集的每幅图像的每个像素属于有癌症区域或非癌症区域的置信度，使用阈值分割对所述图像的有癌症区域进行分割。
图2是根据本发明实施例的医学图像的分类和分割方法的流程示意图；
具体医学图像的分类和分割实现方案具体如下：
1.数据做预处理和数据增强处理
对医学图像做数据增强如下：旋转：以15度为间隔对每张训练图像与对应标签进行旋转，图像旋转产生的空隙由图像的均值进行填充，标签旋转产生的空隙由8位整型的最大值255进行填充。缩放：分别对每张训练图像缩小0.8 倍和0.9倍，放大1.1倍和1.2倍。平移：在训练过程中，对每张训练图像用的矩形框随机截取一部分图像作为输入。剪切：剪切角度在-20度到20度范围内，以5度为步长分别在两个方向上对训练图像进行剪切。镜像：对训练图形进行左右翻转。尽管上下翻转也是有效的变换，但由于上下翻转相当于左右翻转后再旋转180度，故只进行左右翻转。
数据增强后，从医学图像中有25％重叠地截取大小为224×224像素的图像的子块，舍弃医学图像的三个通道(RGB)中每个通道的值有75％大于200的图块，将产生大约1200张训练图像，最终的训练集包括近10万张训练图像，构建所述分类数据集。类似地，从医学图像中以步长为8像素的滑动窗截取112 ×112像素的图块，构成分割数据集。
2.构建卷积神经网络
使用VGG网络提取医学图像的特征，VGG网络是由8个卷积层加上两个全连接层的深度卷积网络，该网络使用3×3像素的卷积核提取图像的特征，较小的卷积和降低了网络的复杂度和计算量，使得VGG网络相较于之前的深度神经网络的深度更深，能够更好地提取图像的复杂特征。
在神经网络中，根据使用的训练数据有无标签可分为有监督训练和无监督训练，以及弱监督训练。在有标签的数据充足的情况下，有监督训练的性能普遍高于其他两种。但是由于医学图像有标记的图像数量较少，不利于有监督网络的训练。已有研究表明，不同图像集的底层特征是一致的，为了弥补医学图像标记图像不足的缺点，可以利用已有的有标签的自然场景ImageNet数据集，对网络做初步的训练得到激活特征。该数据集有1400多万幅图片，涵盖2万多个类别；其中有超过百万的图片有明确的类别标注和图像中物体位置的标注。因此，我们取在该数据集上训练的VGG网络的倒数第二层的全连接层的4096维特征向量作为医学图像数据的激活特征，从而达到将自然场景的激活特征迁移到医学图像中的目的。
3.构建分类模型
首先使用上述卷积神经网络提取分类数据集的特征，具体做法是将分类数据集输入到上述卷积神经网络中进行特征提取，提取到的特征为图像的子块的 4096维特征。随后我们将图像的子块的特征整合成整幅医学图像的特征，具体做法是讲4096维的特征数据输入到由3次正则化构成的池化层中进行特征数据的加工。其中，由3次正则化构成池化层的计算公式如下
其中，p为3，N是一幅图像采样的图块数量，vi是4096维的特征向量。
该特征是整幅医学图像的4096维特征，但是这个特征集中含有冗余的、不相关的特征。
随后剔除冗余的、不相关的特征，即根据公式(2)做特征挑选：
其中，k＝1,……,4096，NP和Nn分别表示有癌子块的数量和无癌子块的数量，vik表示图像的第k维特征特征。
最后将挑选出来的特征数据输入到支持向量机中，使用交叉验证的方法得到图像有无癌症的分类，若图像中包含癌症区域则为有癌图像，反之为无癌图像。其中交叉验证是指将分类数据集均匀分成3份，任取两份做训练数据，剩下的一份做测试数据，训练数据的组合无重复地进行三次训练，取训练结果的平均值作为最终的结果。
4.构建分割模型
分割模块是由构建一幅图像的若干图块的分类集合实现的。首先将分割数据集中的子块插值为224×224(像素)的图，输入到上文构建的卷积神经网络提取分割数据集的特征；然后将特征输入到支持向量机中，使用支持向量机将图块分为正例和负例(有癌症和无癌症)两类并计算置信度。再计算医学图像的每个像素属于正例的概率，具体做法是计算包含该像素的所有子块属于正例的置信度的平均值，即为该像素属于正例的置信度，进而可得到整幅医学图像属于正例的概率图谱。根据所述概率图谱上每个像素的置信度，选取0.7作为阈值，使用阈值分割有癌症区域，得到医学图像的有癌症区域的分割标签。最后对分割标签进行一定的后期处理，例如去除小噪声和图像闭合算法。
根据本发明实施例的医学图像的分类和分割方法可以看出，因为采用迁移学习的技术手段，利用大量的自然图像数据集训练卷积神经网络，将训练得到的激活特征迁移到医学图像的特征提取中，所以克服了医学图像的数据量不足的技术问题，进而达到了用少量的医学图像做训练数据取得较高的精度的技术效果；因为采用基于图块的卷积神经网络的技术手段，通过将医学图像截取为小的图块，作为训练数据输入到设计好的卷积神经网络中，通过网络学习自动学习并整合图像的子块的特征得到医学图像的特征表达，该过程不需要人工设计特征，所以克服了医学图像的临床特征难以表达的技术问题，进而提高了医学图像分类和分割的准确率。
图3是根据本发明实施例的医学图像的分类和分割的装置的主要模块的示意图；
如图3所示，本发明实施例的医学图像的分类和分割装置300主要包括：数据获取模块301、特征提取模块302、分类模块303、分割模块304。其中：
数据获取模块301可用于将医学图像进行数据增强和预处理，分别构建出分类数据集和分割数据集；特征提取模块302可用于构建卷积神经网络模型，提取自然图像的数据集的特征，以得到卷积神经网络激活特征；分类模块303可用于基于所述分类数据集，训练所述卷积神经网络提取所述分类数据集的特征，以区分所述医学图像是有癌图像或无癌图像；分割模块304 可用于基于所述分割数据集，训练所述卷积神经网络提取所述分割数据集的特征，以分割所述医学图像的癌变区域。
此外，分类模块303还可用于：基于所述卷积神经网络激活特征提取所述分类数据集的特征，以得到分类特征向量；将所述分类特征向量通过3 层池化层，以得到每幅医学图像的分类特征向量；对所述每幅医学图像的分类特征向量进行特征挑选，以得到挑选特征向量；基于一对一的支持向量机，对所述挑选特征向量进行分类，判断所述医学图像是有癌图像或无癌图像。
此外分割模块304还可用于：基于所述卷积神经网络激活特征，提取所述分割数据集的特征，以得到分割特征向量；基于支持向量机，对所述分割特征向量进行分类，计算所述分割数据集中的每幅图像的子块为有癌症区域或非癌症区域的置信度；根据所述图像的子块的有癌区域的置信度，计算所述分割数据集的每幅图像的每个像素属于有癌症区域或非癌症区域的置信度，使用阈值分割对所述图像的有癌症区域进行分割。
从以上描述可以看出，因为采用将自然场景下的激活特征迁移到医学图像中的技术手段，所以克服了医学图像的数据量不足的技术问题，进而达到全面表达医学图像的临床特征的技术效果；因为采用卷积神经网络的技术手段，所以克服了医学图像的临床特征难以表达的技术问题，进而达到医学图像的分类和分割的技术效果。
根据本发明的实施例，本发明还提供了一种电子设备和一种可读介质。
本发明的电子设备包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明实施例的医学图像的分类和分割方法。
本发明的计算机可读介质，其上存储有计算机程序，所述程序被处理器执行时用于实现使所述计算机执行本发明实施例的医学图像的分类和分割方法。
图4是适于用来实现本申请实施例的终端设备或服务器的计算机系统的结构示意图。
如图4所示，其示出了适于用来实现本申请实施例的终端设备的计算机系统400的结构示意图。图4示出的终端设备仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。
如图4所示，计算机系统400包括中央处理单元(CPU)401，其可以根据存储在只读存储器(ROM)402中的程序或者从存储部分408加载到随机访问存储器(RAM)403中的程序而执行各种适当的动作和处理。在RAM 403 中，还存储有系统400操作所需的各种程序和数据。CPU 401、ROM 402以及RAM 403通过总线404彼此相连。输入/输出(I/O)接口405也连接至总线404。
以下部件连接至I/O接口405：包括键盘、鼠标等的输入部分406；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分 407；包括硬盘等的存储部分408；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分409。通信部分409经由诸如因特网的网络执行通信处理。驱动器410也根据需要连接至I/O接口405。可拆卸介质411，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器410上，以便于从其上读出的计算机程序根据需要被安装入存储部分408。
特别地，根据本发明公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本发明公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分409从网络上被下载和安装，和/或从可拆卸介质411被安装。在该计算机程序被中央处理单元(CPU)401执行时，执行本申请的系统中限定的上述功能。
需要说明的是，本申请所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。
附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本申请实施例中所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的模块也可以设置在处理器中，例如，可以描述为：一种处理器包括数据获取模块、特征提取模块、分类模块、分割模块。其中，这些模块的名称在某种情况下并不构成对该模块本身的限定，例如，数据获取模块还可以被描述为“数据增强和预处理模块”。
作为另一方面，本申请还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的设备中所包含的；也可以是单独存在，而未装配入该设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该设备执行时，使得该设备包括：将医学图像进行数据增强和预处理，分别构建出分类数据集和分割数据集；构建卷积神经网络模型，提取自然图像数据集的特征，以得到卷积神经网络激活特征；基于所述卷积神经网络激活特征区分所述医学图像是有癌图像或无癌图像，得到分类结果；基于所述卷积神经网络激活特征，将所述医学图像的有癌症区域进行分割，得到分割结果。
上述产品可执行本发明实施例所提供的方法，具备执行方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节，可参见本发明实施例所提供的方法。
根据本发明实施例的技术方案，因为采用迁移学习的技术手段，利用大量的自然图像数据集训练卷积神经网络，将训练得到的激活特征迁移到医学图像的特征提取中，所以克服了医学图像的数据量不足的技术问题，进而达到了用少量的医学图像做训练数据取得较高的精度的技术效果；因为采用基于图像的子块的卷积神经网络的技术手段，通过将医学图像截取为小的图块，作为训练数据输入到设计好的卷积神经网络中，通过网络学习自动学习并整合图像的子块的特征得到医学图像的特征表达，该过程不需要人工设计特征，所以克服了医学图像的临床特征难以表达的技术问题，进而提高了医学图像分类和分割的准确率。
上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，取决于设计要求和其他因素，可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。

Claims (10)

1.一种医学图像分类和分割的方法，其特征在于，包括：
对医学图像进行数据增强和预处理，构建分类数据集和分割数据集；
构建卷积神经网络模型，提取自然图像数据集的特征，以得到卷积神经网络激活特征；
基于所述分类数据集，训练所述卷积神经网络提取所述分类数据集的特征，以区分所述医学图像是有癌图像或无癌图像；
基于所述分割数据集，训练所述卷积神经网络提取所述分割数据集的特征，以分割所述医学图像的癌变区域。
2.根据权利要求1所述的方法，其特征在于，所述数据增强和预处理包括：
对所述医学图像进行旋转、镜像或平移；
将所述医学图像截取为224×224像素的图像的子块，以得到所述分类数据集；
将所述医学图像截取为112×112像素的图像的子块，以得到所述分割数据集。
3.根据权利要求1所述的方法，其特征在于，所述训练所述卷积神经网络提取所述分类数据集的特征包括：
基于所述卷积神经网络激活特征提取所述分类数据集的特征，以得到分类特征向量；
将所述分类特征向量通过3层池化层，以得到每幅医学图像的分类特征向量；
对所述每幅医学图像的分类特征向量进行特征挑选，以得到挑选特征向量；
基于一对一的支持向量机，对所述挑选特征向量进行分类，判断所述医学图像是有癌图像或无癌图像。
4.根据权利要求1所述的方法，其特征在于，所述训练所述卷积神经网络提取所述分割数据集的特征包括：
基于所述卷积神经网络激活特征，提取所述分割数据集的特征，以得到分割特征向量；
基于支持向量机，对所述分割特征向量进行分类，计算所述分割数据集中的每幅图像的子块为有癌症区域或非癌症区域的置信度；
根据所述图像的子块的有癌区域的置信度，计算所述分割数据集的每幅图像的每个像素属于有癌症区域或非癌症区域的置信度，使用阈值分割对所述图像的有癌症区域进行分割。
5.一种医学图像分类分割的装置，其特征在于，包括：
数据获取模块，用于对医学图像进行数据增强和预处理，构建分类数据集和分割数据集；
特征提取模块，用于构建卷积神经网络模型，提取自然图像数据集的特征，以得到卷积神经网络激活特征；
分类模块，用于基于所述分类数据集，训练所述卷积神经网络提取所述分类数据集的特征，以区分所述医学图像是有癌图像或无癌图像；
分割模块，用于基于所述分割数据集，训练所述卷积神经网络提取所述分割数据集的特征，以分割所述医学图像的癌变区域。
6.根据权利要求5所述的装置，其特征在于，所述数据获取模块还用于：
对所述医学图像进行旋转、镜像或平移；
将所述医学图像截取为224×224像素的图像的子块，以得到所述分类数据集；
将所述医学图像截取为112×112像素的图像的子块，以得到所述分割数据集。
7.根据权利要求5所述的装置，其特征在于，所述分类模块还用于：
基于所述卷积神经网络激活特征提取所述分类数据集的特征，以得到分类特征向量；
将所述分类特征向量通过3层池化层，以得到每幅医学图像的分类特征向量；
对所述每幅医学图像的分类特征向量进行特征挑选，以得到挑选特征向量；
基于一对一的支持向量机，对所述挑选特征向量进行分类，判断所述医学图像是有癌图像或无癌图像。
8.根据权利要求5所述的装置，其特征在于，所述分割模块还用于：
基于所述卷积神经网络激活特征，提取所述分割数据集的特征，以得到分割特征向量；
基于支持向量机，对所述分割特征向量进行分类，计算所述分割数据集中的每幅图像的子块为有癌症区域或非癌症区域的置信度；
根据所述图像的子块的有癌区域的置信度，计算所述分割数据集的每幅图像的每个像素属于有癌症区域或非癌症区域的置信度，使用阈值分割对所述图像的有癌症区域进行分割。
9.一种电子设备，其特征在于，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-4中任一所述的方法。
10.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1-4中任一所述的方法。
CN201810006158.8A 2018-01-03 2018-01-03 医学图像分类和分割方法和装置 Pending CN108109152A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810006158.8A CN108109152A (zh) 2018-01-03 2018-01-03 医学图像分类和分割方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810006158.8A CN108109152A (zh) 2018-01-03 2018-01-03 医学图像分类和分割方法和装置

Publications (1)

Publication Number Publication Date
CN108109152A true CN108109152A (zh) 2018-06-01

Family

ID=62219406

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810006158.8A Pending CN108109152A (zh) 2018-01-03 2018-01-03 医学图像分类和分割方法和装置

Country Status (1)

Country Link
CN (1) CN108109152A (zh)

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108986115A (zh) * 2018-07-12 2018-12-11 佛山生物图腾科技有限公司 医学图像分割方法、装置及智能终端
CN109493343A (zh) * 2018-12-29 2019-03-19 上海鹰瞳医疗科技有限公司 医疗图像异常区域分割方法及设备
CN109523507A (zh) * 2018-09-26 2019-03-26 佛山市幻云科技有限公司 一种病变图像生成的方法、装置及计算机可读存储介质
CN109614991A (zh) * 2018-11-19 2019-04-12 成都信息工程大学 一种基于Attention的多尺度扩张性心肌的分割分类方法
CN110264444A (zh) * 2019-05-27 2019-09-20 阿里巴巴集团控股有限公司 基于弱分割的损伤检测方法及装置
CN110415233A (zh) * 2019-07-26 2019-11-05 东南大学 基于两步卷积神经网络的路面裂缝快速提取方法
CN110490850A (zh) * 2019-02-14 2019-11-22 腾讯科技（深圳）有限公司 一种肿块区域检测方法、装置和医学图像处理设备
CN110634125A (zh) * 2019-01-14 2019-12-31 广州爱孕记信息科技有限公司 基于深度学习的胎儿超声图像识别方法及系统
CN110658433A (zh) * 2019-11-08 2020-01-07 广东电网有限责任公司 一种用于局放prps图谱样本增强的方法
CN111104924A (zh) * 2019-12-31 2020-05-05 上海品览数据科技有限公司 一种有效的识别低分辨率商品图像的处理算法
WO2020108562A1 (zh) * 2018-11-29 2020-06-04 中国科学院深圳先进技术研究院 一种ct图像内的肿瘤自动分割方法及系统
WO2020125498A1 (zh) * 2018-12-17 2020-06-25 深圳先进技术研究院 心脏磁共振图像分割方法、装置、终端设备及存储介质
US10783643B1 (en) 2019-05-27 2020-09-22 Alibaba Group Holding Limited Segmentation-based damage detection
CN111899214A (zh) * 2020-06-12 2020-11-06 西安交通大学 一种病理切片扫描分析装置及病理切片扫描方法
CN111933274A (zh) * 2020-07-15 2020-11-13 平安科技（深圳）有限公司 疾病分类诊断方法、装置、电子设备及存储介质
CN112766333A (zh) * 2021-01-08 2021-05-07 广东中科天机医疗装备有限公司 医学影像处理模型训练方法、医学影像处理方法及装置
CN113096080A (zh) * 2021-03-30 2021-07-09 四川大学华西第二医院 图像分析方法及系统
CN113674252A (zh) * 2021-08-25 2021-11-19 上海鹏冠生物医药科技有限公司 一种基于图神经网络的组织细胞病理图像诊断系统

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103886318A (zh) * 2014-03-31 2014-06-25 武汉天仁影像科技有限公司 尘肺病大体成像中病灶区域的提取与分析方法
CN103984958A (zh) * 2014-05-07 2014-08-13 深圳大学 宫颈癌细胞分割方法及系统
CN105447569A (zh) * 2015-12-18 2016-03-30 北京柏惠维康科技有限公司 一种基于深度学习的乳腺癌细胞特征分析系统
CN106295506A (zh) * 2016-07-25 2017-01-04 华南理工大学 一种基于集成卷积神经网络的年龄识别方法
CN106372390A (zh) * 2016-08-25 2017-02-01 姹ゅ钩 一种基于深度卷积神经网络的预防肺癌自助健康云服务系统
CN106408562A (zh) * 2016-09-22 2017-02-15 华南理工大学 基于深度学习的眼底图像视网膜血管分割方法及系统
CN106529468A (zh) * 2016-11-07 2017-03-22 重庆工商大学 一种基于卷积神经网络的手指静脉识别方法及系统
CN106780482A (zh) * 2017-01-08 2017-05-31 广东工业大学 一种医学图像分类方法
CN106815596A (zh) * 2016-12-08 2017-06-09 中国银联股份有限公司 一种图像分类器建立方法及装置
CN106940816A (zh) * 2017-03-22 2017-07-11 杭州健培科技有限公司 基于3d全连接卷积神经网络的ct图像肺结节检测系统
CN107169527A (zh) * 2017-06-06 2017-09-15 西北工业大学 基于协同深度学习的医学图像分类方法
CN107220980A (zh) * 2017-05-25 2017-09-29 重庆理工大学 一种基于全卷积网络的mri图像脑肿瘤自动分割方法
CN107292887A (zh) * 2017-06-20 2017-10-24 电子科技大学 一种基于深度学习自适应权重的视网膜血管分割方法
CN107403201A (zh) * 2017-08-11 2017-11-28 强深智能医疗科技（昆山）有限公司 肿瘤放射治疗靶区和危及器官智能化、自动化勾画方法

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103886318A (zh) * 2014-03-31 2014-06-25 武汉天仁影像科技有限公司 尘肺病大体成像中病灶区域的提取与分析方法
CN103984958A (zh) * 2014-05-07 2014-08-13 深圳大学 宫颈癌细胞分割方法及系统
CN105447569A (zh) * 2015-12-18 2016-03-30 北京柏惠维康科技有限公司 一种基于深度学习的乳腺癌细胞特征分析系统
CN106295506A (zh) * 2016-07-25 2017-01-04 华南理工大学 一种基于集成卷积神经网络的年龄识别方法
CN106372390A (zh) * 2016-08-25 2017-02-01 姹ゅ钩 一种基于深度卷积神经网络的预防肺癌自助健康云服务系统
CN106408562A (zh) * 2016-09-22 2017-02-15 华南理工大学 基于深度学习的眼底图像视网膜血管分割方法及系统
CN106529468A (zh) * 2016-11-07 2017-03-22 重庆工商大学 一种基于卷积神经网络的手指静脉识别方法及系统
CN106815596A (zh) * 2016-12-08 2017-06-09 中国银联股份有限公司 一种图像分类器建立方法及装置
CN106780482A (zh) * 2017-01-08 2017-05-31 广东工业大学 一种医学图像分类方法
CN106940816A (zh) * 2017-03-22 2017-07-11 杭州健培科技有限公司 基于3d全连接卷积神经网络的ct图像肺结节检测系统
CN107220980A (zh) * 2017-05-25 2017-09-29 重庆理工大学 一种基于全卷积网络的mri图像脑肿瘤自动分割方法
CN107169527A (zh) * 2017-06-06 2017-09-15 西北工业大学 基于协同深度学习的医学图像分类方法
CN107292887A (zh) * 2017-06-20 2017-10-24 电子科技大学 一种基于深度学习自适应权重的视网膜血管分割方法
CN107403201A (zh) * 2017-08-11 2017-11-28 强深智能医疗科技（昆山）有限公司 肿瘤放射治疗靶区和危及器官智能化、自动化勾画方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
鲁浩达等: "基于深度卷积神经网络的肾透明细胞癌细胞核分割", 《生物医学工程研究》 *

Cited By (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108986115A (zh) * 2018-07-12 2018-12-11 佛山生物图腾科技有限公司 医学图像分割方法、装置及智能终端
CN108986115B (zh) * 2018-07-12 2020-12-18 佛山生物图腾科技有限公司 医学图像分割方法、装置及智能终端
CN109523507A (zh) * 2018-09-26 2019-03-26 佛山市幻云科技有限公司 一种病变图像生成的方法、装置及计算机可读存储介质
CN109614991A (zh) * 2018-11-19 2019-04-12 成都信息工程大学 一种基于Attention的多尺度扩张性心肌的分割分类方法
WO2020108562A1 (zh) * 2018-11-29 2020-06-04 中国科学院深圳先进技术研究院 一种ct图像内的肿瘤自动分割方法及系统
WO2020125498A1 (zh) * 2018-12-17 2020-06-25 深圳先进技术研究院 心脏磁共振图像分割方法、装置、终端设备及存储介质
CN109493343A (zh) * 2018-12-29 2019-03-19 上海鹰瞳医疗科技有限公司 医疗图像异常区域分割方法及设备
CN110634125A (zh) * 2019-01-14 2019-12-31 广州爱孕记信息科技有限公司 基于深度学习的胎儿超声图像识别方法及系统
CN110490850B (zh) * 2019-02-14 2021-01-08 腾讯科技（深圳）有限公司 一种肿块区域检测方法、装置和医学图像处理设备
CN110490850A (zh) * 2019-02-14 2019-11-22 腾讯科技（深圳）有限公司 一种肿块区域检测方法、装置和医学图像处理设备
CN110264444A (zh) * 2019-05-27 2019-09-20 阿里巴巴集团控股有限公司 基于弱分割的损伤检测方法及装置
US11004204B2 (en) 2019-05-27 2021-05-11 Advanced New Technologies Co., Ltd. Segmentation-based damage detection
CN110264444B (zh) * 2019-05-27 2020-07-17 阿里巴巴集团控股有限公司 基于弱分割的损伤检测方法及装置
US10783643B1 (en) 2019-05-27 2020-09-22 Alibaba Group Holding Limited Segmentation-based damage detection
CN110415233A (zh) * 2019-07-26 2019-11-05 东南大学 基于两步卷积神经网络的路面裂缝快速提取方法
CN110658433B (zh) * 2019-11-08 2020-09-25 广东电网有限责任公司 一种用于局放prps图谱样本增强的方法
CN110658433A (zh) * 2019-11-08 2020-01-07 广东电网有限责任公司 一种用于局放prps图谱样本增强的方法
CN111104924A (zh) * 2019-12-31 2020-05-05 上海品览数据科技有限公司 一种有效的识别低分辨率商品图像的处理算法
CN111104924B (zh) * 2019-12-31 2023-09-01 上海品览数据科技有限公司 一种识别低分辨率商品图像的处理算法
CN111899214A (zh) * 2020-06-12 2020-11-06 西安交通大学 一种病理切片扫描分析装置及病理切片扫描方法
CN111933274A (zh) * 2020-07-15 2020-11-13 平安科技（深圳）有限公司 疾病分类诊断方法、装置、电子设备及存储介质
CN112766333A (zh) * 2021-01-08 2021-05-07 广东中科天机医疗装备有限公司 医学影像处理模型训练方法、医学影像处理方法及装置
CN112766333B (zh) * 2021-01-08 2022-09-23 广东中科天机医疗装备有限公司 医学影像处理模型训练方法、医学影像处理方法及装置
CN113096080A (zh) * 2021-03-30 2021-07-09 四川大学华西第二医院 图像分析方法及系统
CN113096080B (zh) * 2021-03-30 2024-01-16 四川大学华西第二医院 图像分析方法及系统
CN113674252A (zh) * 2021-08-25 2021-11-19 上海鹏冠生物医药科技有限公司 一种基于图神经网络的组织细胞病理图像诊断系统

Similar Documents

Publication Publication Date Title
CN108109152A (zh) 医学图像分类和分割方法和装置
Wang et al. RMDL: Recalibrated multi-instance deep learning for whole slide gastric image classification
Graham et al. MILD-Net: Minimal information loss dilated network for gland instance segmentation in colon histology images
Zeng et al. A machine learning model for detecting invasive ductal carcinoma with Google Cloud AutoML Vision
Öztürk et al. HIC-net: A deep convolutional neural network model for classification of histopathological breast images
Agaian et al. A new acute leukaemia-automated classification system
CN108090904A (zh) 一种医学图像实例分割方法和装置
Xu et al. Deep learning for histopathological image analysis: Towards computerized diagnosis on cancers
Wahab et al. Multifaceted fused-CNN based scoring of breast cancer whole-slide histopathology images
CN106462746A (zh) 分析数字全息显微术数据以用于血液学应用
Wen et al. Gcsba-net: Gabor-based and cascade squeeze bi-attention network for gland segmentation
Öztürk et al. Cell‐type based semantic segmentation of histopathological images using deep convolutional neural networks
Pimkin et al. Ensembling neural networks for digital pathology images classification and segmentation
Ai et al. A state-of-the-art review for gastric histopathology image analysis approaches and future development
Qaiser et al. Tumor segmentation in whole slide images using persistent homology and deep convolutional features
CN106682127A (zh) 图像搜索系统及方法
Atupelage et al. Computational hepatocellular carcinoma tumor grading based on cell nuclei classification
Fan et al. Deep learning for detecting breast cancer metastases on WSI
Dogar et al. Attention augmented distance regression and classification network for nuclei instance segmentation and type classification in histology images
Dabass et al. A hybrid U-Net model with attention and advanced convolutional learning modules for simultaneous gland segmentation and cancer grade prediction in colorectal histopathological images
Momeni et al. Dropout-enabled ensemble learning for multi-scale biomedical data
Li et al. Self-attention random forest for breast cancer image classification
CN110490159A (zh) 识别显微图像中的细胞的方法、装置、设备及存储介质
Huang et al. FRE-Net: Full-region enhanced network for nuclei segmentation in histopathology images
Xu et al. Dual resolution deep learning network with self-attention mechanism for classification and localisation of colorectal cancer in histopathological images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20180601