CN111260632A - 基于深度神经网络的图像分析方法及装置 - Google Patents
基于深度神经网络的图像分析方法及装置 Download PDFInfo
- Publication number
- CN111260632A CN111260632A CN202010048656.6A CN202010048656A CN111260632A CN 111260632 A CN111260632 A CN 111260632A CN 202010048656 A CN202010048656 A CN 202010048656A CN 111260632 A CN111260632 A CN 111260632A
- Authority
- CN
- China
- Prior art keywords
- medical image
- probability
- neural network
- category
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 37
- 238000003703 image analysis method Methods 0.000 title claims abstract description 28
- 206010028980 Neoplasm Diseases 0.000 claims abstract description 77
- 238000012549 training Methods 0.000 claims abstract description 68
- 230000004927 fusion Effects 0.000 claims abstract description 58
- 238000000034 method Methods 0.000 claims abstract description 24
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 22
- 201000011510 cancer Diseases 0.000 claims description 45
- 238000013145 classification model Methods 0.000 claims description 40
- 206010027476 Metastases Diseases 0.000 claims description 36
- 230000009401 metastasis Effects 0.000 claims description 29
- 238000010191 image analysis Methods 0.000 claims description 13
- 208000003788 Neoplasm Micrometastasis Diseases 0.000 claims description 7
- 238000010276 construction Methods 0.000 claims description 7
- 238000012795 verification Methods 0.000 claims description 7
- 238000002790 cross-validation Methods 0.000 claims description 6
- 238000010200 validation analysis Methods 0.000 claims description 6
- 238000005070 sampling Methods 0.000 claims description 5
- 230000011218 segmentation Effects 0.000 claims description 5
- 238000012545 processing Methods 0.000 claims description 4
- 238000012163 sequencing technique Methods 0.000 claims description 4
- 210000004027 cell Anatomy 0.000 description 28
- 210000001165 lymph node Anatomy 0.000 description 5
- 230000001575 pathological effect Effects 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000007170 pathology Effects 0.000 description 3
- 238000004393 prognosis Methods 0.000 description 3
- 206010006187 Breast cancer Diseases 0.000 description 2
- 208000026310 Breast neoplasm Diseases 0.000 description 2
- 208000007433 Lymphatic Metastasis Diseases 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 238000005192 partition Methods 0.000 description 2
- 210000001519 tissue Anatomy 0.000 description 2
- 210000000481 breast Anatomy 0.000 description 1
- 210000001072 colon Anatomy 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 238000002405 diagnostic procedure Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 239000012530 fluid Substances 0.000 description 1
- 210000004907 gland Anatomy 0.000 description 1
- 210000002751 lymph Anatomy 0.000 description 1
- 210000004324 lymphatic system Anatomy 0.000 description 1
- 230000001394 metastastic effect Effects 0.000 description 1
- 206010061289 metastatic neoplasm Diseases 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010827 pathological analysis Methods 0.000 description 1
- 210000002307 prostate Anatomy 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Biology (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种基于深度神经网络的图像分析方法及装置，包括：获得医疗影像图像；去除医疗影像图像中的背景；对去除背景的医疗影像图像进行区块划分，得到构成医疗影像图像各区域；构建多种卷积神经网络模型，将多种卷积神经网络模型进行加权组合形成融合模型，对融合模型进行训练，融合模型输入是医疗影像图像的颜色通道，输出为所述医疗影像图像的类别的概率，类别包括肿瘤，类别的概率包括肿瘤概率，表示医疗影像图像为肿瘤的图像的概率；将划分后的各区域的医疗影像图像输入训练后的融合模型，得到各区域的医疗影像图像所属类别的概率，从而生成医疗影像的类别概率热图。上述方法及装置能够客观准确的分析医疗影像图像的肿瘤概率。
Description
技术领域
本发明涉及图像分析技术领域，更具体地，涉及一种基于深度神经网络的图像分析方法及装置。
背景技术
病理学的医学专业的任务是提供明确的疾病诊断，以指导患者的治疗和管理决策。标准化，准确和可重复的病理诊断对于推进精准医学至关重要。自19世纪中期以来，病理学家用于诊断的主要工具是显微镜。显微图像的定性视觉分析的局限性包括缺乏标准化，诊断错误，以及在典型病理学家的工作日中手动评估数百个载玻片上的数百万个细胞所需的显着的负载负荷。
数字病理学是一种新的、快速发展的医学成像领域。在数字病理学中，全滑动扫描仪用于以高分辨率(每像素高达160nm)数字化包含组织样本的载玻片。数字图像的可用性引起了医学图像分析界的兴趣，导致越来越多的关于组织病理学图像分析的出版物。近些年，我们重点关注淋巴结数字化图像中微转移和宏转移的检测。这个主题非常重要，因为淋巴结转移发生在大多数癌症类型(例如乳腺，前列腺，结肠)中。淋巴结是过滤淋巴的小腺体，淋巴是通过淋巴系统循环的液体。腋下的淋巴结是乳腺癌可能传播的第一个地方。淋巴结的转移性参与是乳腺癌中最重要的预后变量之一。当癌症扩散到淋巴结时，预后较差。然而，病理学家的诊断程序繁琐且耗时且容易被误解。自动分析淋巴结转移可能性的方法具有很大的潜力，可以帮助病理学家减轻他们的工作量。
发明内容
本发明的目的在于提供一种客观准确的基于深度神经网络的图像分析方法及装置。
根据本发明的一个方面，提供一种基于深度神经网络的图像分析方法，包括：
获得医疗影像图像；
去除医疗影像图像中的背景；
对去除背景的医疗影像图像进行区块划分，得到构成医疗影像图像的各区域；
构建多种卷积神经网络模型，将多种卷积神经网络模型进行加权组合形成融合模型，对所述融合模型进行训练，所述融合模型的输入是医疗影像图像的颜色通道，所述融合模型的输出为所述医疗影像图像的类别的概率，所述类别包括肿瘤，所述类别的概率包括肿瘤概率，表示医疗影像图像为肿瘤的图像的概率；
将划分后的各区域的医疗影像图像输入训练后的融合模型，得到各区域的医疗影像图像所属类别的概率，从而生成医疗影像的类别概率热图。
所述的基于深度神经网络的图像分析方法，其中，所述去除医疗影像图像中的背景的步骤包括：
将获得的医疗影像图像从RGB颜色空间转移到HSV颜色空间；
获得医疗影像图像的每个颜色通道的最佳阈值；
去除无效区域。
所述的基于深度神经网络的图像分析方法，其中，所述对去除背景的医疗影像图像进行区块划分的步骤包括：
设定窗口的高度和宽度；
采用滑动窗口分割的方法得到去除背景的医疗影像图像的各区块。
所述的基于深度神经网络的图像分析方法，其中，所述融合模型的训练步骤包括：
通过多幅已知类别的医疗影像图像构建每个类别的正样本数据集和负样本数据集，所述正样本数据集为属于所述类别的医疗影像图像经过去除背景和区域划分后形成的数据集，所述负样本数据集为不属于所述类别的医疗影像图像经过去除背景和区域划分后的数据集；
采用十折交叉验证方法分别对上述每个类别的正样本数据集和负样本数据集进行划分，得到每个类别的训练集和验证集；
采用上述训练集和验证集对融合模型进行训练。
优选地，所述融合模型的训练步骤还包括：
在每一次训练过程中，按照分错的区域的数量由大到小的顺序对已知类别的医疗影像图像排序；
选取排序靠前的设定数量的上述医疗影像图像；
当上述医疗影像图像属于训练集的区域重新划分，增大采样数量。
所述的基于深度神经网络的图像分析方法，其中，还包括：
构建分类模型，对分类模型进行训练，所述分类模型的输入是融合模型输出的医疗影像图像各区域的各类别的概率，所述分类模型的输出是癌细胞转移的分类，所述癌细胞转移的分类包括癌细胞无转移、癌细胞微转移和癌细胞宏转移；
将医疗影像图像的各区域的医疗影像图像所属类别的概率输入训练后的分类模型，获得所述医疗影像图像的癌细胞转移的分类。
所述的基于深度神经网络的图像分析方法，其中，所述多种卷积神经网络模型包括GoogLeNet，Resnet，VGG16和PNASNet模型中的多种。
所述的基于深度神经网络的图像分析方法，其中，所述多种卷积神经网络模型的权值相等且和为1。
根据本发明的另一个方面，提供一种基于深度神经网络的图像分析装置，包括：
采集模块，获得医疗影像图像；
图像处理模块，去除医疗影像图像中的背景；
划分模块，对去除背景的医疗影像图像进行区块划分，得到构成医疗影像图像的各区域；
第一模型构建模块，构建多种卷积神经网络模型，将多种卷积神经网络模型进行加权组合形成融合模型，所述融合模型的输入是医疗影像图像的颜色通道，所述融合模型的输出为所述医疗影像图像的类别的概率，所述类别包括肿瘤，所述类别的概率包括肿瘤概率，表示医疗影像图像为肿瘤的图像的概率；
训练模块，对所述融合模型进行训练；
图像识别模块，将划分后的各区域的医疗影像图像输入训练后的融合模型，得到各区域的医疗影像图像所属类别的概率，从而生成医疗影像的类别概率热图。
所述的基于深度神经网络的图像分析装置，其中，还包括：
第二模型构建模块，构建分类模型，所述分类模型的输入是融合模型输出的医疗影像图像各区域的各类别的概率，所述分类模型的输出是癌细胞转移的分类，所述癌细胞转移的分类包括癌细胞无转移、癌细胞微转移和癌细胞宏转移，
其中，所述训练模块对第二模型构建模块构建的分类模型进行训练，所述图像识别模块还将将医疗影像图像的各区域的医疗影像图像所属类别的概率输入训练后的分类模型，获得所述医疗影像图像的癌细胞转移的分类。
上述基于深度神经网络的图像分析方法及装置采用融合模型分析医疗影像图像(病理图像)，能够客观准确获得所述医疗影像图像对应的肿瘤概率，通过全面并且自动分析整个病理图像，为医生分析癌症相关的预后或确定转移方面提供辅助信息。
附图说明
图1是本发明所述基于深度神经网络的图像分析方法的流程图；
图2是本发明所述基于深度神经网络的图像分析装置的构成框图；
图3是本发明所述类别概率热图的示意图。
具体实施方式
在下面的描述中，出于说明的目的，为了提供对一个或多个实施例的全面理解，阐述了许多具体细节。然而，很明显，也可以在没有这些具体细节的情况下实现这些实施例。在其它例子中，为了便于描述一个或多个实施例，公知的结构和设备以方框图的形式示出。
下面将参照附图来对根据本发明的各个实施例进行详细描述。
图1是本发明所述基于深度神经网络的图像分析方法的流程图，如图1所示，所述图像分析方法包括：
步骤S1，获得医疗影像图像；
步骤S2，去除医疗影像图像中的背景；
步骤S3，对去除背景的医疗影像图像进行区块划分，得到构成医疗影像图像的各区域；
步骤S4，构建多种卷积神经网络模型，将多种卷积神经网络模型进行加权组合形成融合模型，对所述融合模型进行训练，所述融合模型的输入是医疗影像图像的颜色通道，所述融合模型的输出为所述医疗影像图像的类别的概率，所述概率包括肿瘤概率，表示所述医疗影像图像为肿瘤图像的概率，所述类别可以包括肿瘤和正常，所述类别的概率包括肿瘤概率和正常概率，所述类别还可以包括肿瘤、假阳性和正常，所述类别的概率包括肿瘤概率、假阳性概率和正常概率；
步骤S5，将划分后的各区域的医疗影像图像输入训练后的融合模型，得到各区域的医疗影像图像所属类别的概率，从而生成医疗影像的类别概率热图。
上述基于深度神经网络的图像分析方法采用区域划分的方式对医疗影像图像进行分解，防止了出现组织病理图像的分辨率非常高，计算机无法整体读取的问题。当分类包括假阳性时，可以大大减少癌症组织学模拟的假阳性分类的误差。
在步骤S2中，包括：
将获得的医疗影像图像从RGB颜色空间转移到HSV颜色空间；
获得医疗影像图像的每个颜色通道的最佳阈值，例如，所述最佳阈值为背景的颜色通道的平均值；
去除无效区域，例如，将背景中低于最佳阈值的区域的值(灰度值)设为0。
上述基于深度神经网络的图像分析方法中，采用基于阈值的分割方法来自动检测背景区域。我们首先将原始图像从RGB颜色空间转移到HSV颜色空间，然后计算每个通道中的最佳阈值，来去除无效区域，识别组织并排除背景白色空间，减少了计算时间并将分析集中在最有可能患有肿瘤，甚至包含癌症转移的载玻片区域。
在步骤S3中，包括：
设定窗口的高度和宽度；
采用滑动窗口分割的方法得到去除背景的医疗影像图像的各区块。
在一个具体实施例中，滑窗的宽度和高度均为224像素，步长为112，由此得到(病理图像高-224)*(病理图像宽-224)/(112*112)张区块图像。
在步骤S4中，所述融合模型的训练步骤包括：
通过多幅已知类别的医疗影像图像构建每个类别的正样本数据集和负样本数据集，所述正样本数据集为属于所述类别的医疗影像图像经过去除背景和区域划分后形成的数据集，所述负样本数据集为不属于所述类别的医疗影像图像经过去除背景和区域划分后的数据集；
采用十折交叉验证方法分别对上述每个类别的正样本数据集和负样本数据集进行划分，得到每个类别的训练集和验证集；
采用上述训练集和验证集对融合模型进行训练。
优选地，上述融合模型的训练步骤还包括：
在每一次训练过程中，按照分错的区域的数量由大到小的顺序对已知类别的医疗影像图像排序；
选取排序靠前的设定数量(例如10％)的上述医疗影像图像；
当上述医疗影像图像属于训练集的区域重新划分，增大采样数量，例如缩小滑窗步长，增大采用数量。
上述融合模型的训练方法在分类容易出现错误的样本中提取了提取了额外的训练样例，并使用富集这些训练样例的训练集重新训练模型,提高这些区域的模型性能。
在一个可选实施例中，上述各实施例的图像分析方法还包括：
构建分类模型，对分类模型进行训练，所述分类模型的输入是融合模型输出的医疗影像图像各区域的各类别的概率，所述分类模型的输出是癌细胞转移的分类，所述癌细胞转移的分类包括癌细胞无转移、癌细胞微转移和癌细胞宏转移；
将医疗影像图像的各区域的医疗影像图像所属类别的概率输入训练后的分类模型，获得所述医疗影像图像的癌细胞转移的分类。
在一个实施例中，上述分类模型的训练步骤包括：
通过多幅已知癌细胞转移分类的医疗影像图像构建每个分类的正样本数据集和负样本数据集，所述正样本数据集为属于所述分类的医疗影像图像经过去除背景和区域划分后形成的数据集，所述负样本数据集为不属于所述分类的医疗影像图像经过去除背景和区域划分后的数据集；
采用十折交叉验证方法分别对上述每个分类的正样本数据集和负样本数据集进行划分，得到每个分类的训练集和验证集；
采用上述训练集和验证集输入训练后的融合模型，对分类模型进行训练。
在另一个实施例中，上述分类模型的训练步骤包括：
通过多幅已知癌细胞转移分类的医疗影像图像构建数据集；
将所述数据集作为训练融合模型的正样本数据集对融合模型进行训练；
将数据集划分为训练分类模型的正样本数据集和负样本数据集，所述正样本数据集为属于所述分类的医疗影像图像经过去除背景和区域划分后形成的数据集，所述负样本数据集为不属于所述分类的医疗影像图像经过去除背景和区域划分后的数据集；
采用十折交叉验证方法分别对上述每个分类的正样本数据集和负样本数据集进行划分，得到每个分类的训练集和验证集；
采用上述训练集和验证集输入训练后的融合模型，对分类模型进行训练。
优选地，上述两个实施例中的分类模型的训练步骤还包括：
在每一次训练过程中，按照分错的区域的数量由大到小的顺序对已知分类的医疗影像图像排序；
选取排序靠前的设定数量的上述医疗影像图像；
当上述医疗影像图像属于训练集的区域重新划分，增大采样数量。
上述分类模型的训练方法在分类容易出现错误的样本中提取了提取了额外的训练样例，并使用富集这些训练样例的训练集重新训练模型,提高这些区域的模型性能。
在上述各实施例中，所述多种卷积神经网络模型包括GoogLeNet，Resnet，VGG16和PNASNet模型中的多种。
优选地，所述多种卷积神经网络模型的权值相等且和为1，也就是说，将多种卷积神经网络模型输出的类别的概率取平均值。
上述基于深度神经网络的图像分析方法按照9：1的概率划分数据为训练集和验证集，来验证分析方法的准确性，采用了深度神经网络的图像分析方法，来保证有较高的准确性，并且为医生分析癌症相关的预后和确定转移方面提供辅助信息。
图2是本发明所述基于深度神经网络的图像分析装置的构成框图，如图2所示，所述基于深度神经网络的图像分析装置，其特征在于，包括：
采集模块10，获得医疗影像图像；
图像处理模块20，去除医疗影像图像中的背景；
划分模块30，对去除背景的医疗影像图像进行区块划分，得到构成医疗影像图像的各区域；
第一模型构建模块40，构建多种卷积神经网络模型，将多种卷积神经网络模型进行加权组合形成融合模型，所述融合模型的输入是医疗影像图像的颜色通道，所述融合模型的输出为所述医疗影像图像的类别的概率，所述类别包括肿瘤，所述类别的概率包括肿瘤概率，表示医疗影像图像为肿瘤的图像的概率；
训练模块50，对所述融合模型进行训练；
图像识别模块60，将划分后的各区域的医疗影像图像输入训练后的融合模型，得到各区域的医疗影像图像所属类别的概率，从而生成医疗影像的类别概率热图。
在一个实施例中，图像处理模块20包括：
颜色空间构建单元21，将获得的医疗影像图像从RGB颜色空间转移到HSV颜色空间；
最佳阈值获得单元22，获得医疗影像图像的每个颜色通道的最佳阈值；
背景去除单元23，去除无效区域。
在一个实施例中，划分模块30包括：
窗口设定单元31，设定窗口的高度和宽度；
滑动切割单元32，采用滑动窗口分割的方法得到去除背景的医疗影像图像的各区块。
在一个实施例中，训练模块50包括：
第一数据集获得单元51，通过多幅已知类别的医疗影像图像构建每个类别的正样本数据集和负样本数据集，所述正样本数据集为属于所述类别的医疗影像图像经过去除背景和区域划分后形成的数据集，所述负样本数据集为不属于所述类别的医疗影像图像经过去除背景和区域划分后的数据集；
第二数据集获得单元52，采用十折交叉验证方法分别对上述每个类别的正样本数据集和负样本数据集进行划分，得到每个类别的训练集和验证集；
训练单元53，采用上述训练集和验证集对融合模型进行训练。
优选地，训练模块50还包括：
排序单元54，在每一次训练过程中，按照分错的区域的数量由大到小的顺序对已知类别的医疗影像图像排序；
筛选单元55，选取排序靠前的设定数量的上述医疗影像图像，
其中，划分模块30将筛选单元55筛选出的属于训练集的医疗影像图像的区域重新划分，增大采样数量。
在本发明的一个实施例中，上述基于深度神经网络的图像分析装置还包括：
第二模型构建模块70，构建分类模型，所述分类模型的输入是融合模型输出的医疗影像图像各区域的各类别的概率，所述分类模型的输出是癌细胞转移的分类，所述癌细胞转移的分类包括癌细胞无转移、癌细胞微转移和癌细胞宏转移，
其中，所述训练模块50对第二模型构建模块70构建的分类模型进行训练，所述图像识别模块60还将将医疗影像图像的各区域的医疗影像图像所属类别的概率输入训练后的分类模型，获得所述医疗影像图像的癌细胞转移的分类。
上述基于深度神经网络的图像分析装置可以通过服务器、计算机等具有运算功能的电子设备实现，可以采用软件和硬件结合的方式实现，例如通过图像扫描仪、处理器及在处理器上运行的基于深度神经网络的图像分析程序和分类器等结合实现。
在上述各实施例中，分类模型可以采用现有技术中的分类模型也可以采用和融合模型类似的多个卷积神经网络模型。
在本法明的一个具体实施例中，如图3所示，为一张医疗影像图像经过融合模型后获得的各区域的肿瘤概率构成的肿瘤概率热图，采用红色对所述肿瘤概率热图进行显示，如图中示出了差别较大的几个区域，颜色深的区域代表颜色越红，颜色越红肿瘤概率越大。
将图3中的肿瘤概率热图的数据信息输入到分类模型，获得各区域的癌细胞发生转移的情况。
尽管前面公开的内容示出了本发明的示例性实施例，但是应当注意，在不背离权利要求限定的范围的前提下，可以进行多种改变和修改。根据这里描述的发明实施例的方法权利要求的功能、步骤和/或动作不需以任何特定顺序执行。此外，尽管本发明的元素可以以个体形式描述或要求，但是也可以设想具有多个元素，除非明确限制为单个元素。
Claims (10)
1.一种基于深度神经网络的图像分析方法，其特征在于，包括：
获得医疗影像图像；
去除医疗影像图像中的背景；
对去除背景的医疗影像图像进行区块划分，得到构成医疗影像图像的各区域；
构建多种卷积神经网络模型，将多种卷积神经网络模型进行加权组合形成融合模型，对所述融合模型进行训练，所述融合模型的输入是医疗影像图像的颜色通道，所述融合模型的输出为所述医疗影像图像的类别的概率，所述类别包括肿瘤，所述类别的概率包括肿瘤概率，表示医疗影像图像为肿瘤的图像的概率；
将划分后的各区域的医疗影像图像输入训练后的融合模型，得到各区域的医疗影像图像所属类别的概率，从而生成医疗影像的类别概率热图。
2.根据权利要求1所述的基于深度神经网络的图像分析方法，其特征在于，所述去除医疗影像图像中的背景的步骤包括：
将获得的医疗影像图像从RGB颜色空间转移到HSV颜色空间；
获得医疗影像图像的每个颜色通道的最佳阈值；
去除无效区域。
3.根据权利要求1所述的基于深度神经网络的图像分析方法，其特征在于，所述对去除背景的医疗影像图像进行区块划分的步骤包括：
设定窗口的高度和宽度；
采用滑动窗口分割的方法得到去除背景的医疗影像图像的各区块。
4.根据权利要求1所述的基于深度神经网络的图像分析方法，其特征在于，所述融合模型的训练步骤包括：
通过多幅已知类别的医疗影像图像构建每个类别的正样本数据集和负样本数据集，所述正样本数据集为属于所述类别的医疗影像图像经过去除背景和区域划分后形成的数据集，所述负样本数据集为不属于所述类别的医疗影像图像经过去除背景和区域划分后的数据集；
采用十折交叉验证方法分别对上述每个类别的正样本数据集和负样本数据集进行划分，得到每个类别的训练集和验证集；
采用上述训练集和验证集对融合模型进行训练。
5.根据权利要求4所述的基于深度神经网络的图像分析方法，其特征在于，所述融合模型的训练步骤还包括：
在每一次训练过程中，按照分错的区域的数量由大到小的顺序对已知类别的医疗影像图像排序；
选取排序靠前的设定数量的上述医疗影像图像；
当上述医疗影像图像属于训练集的区域重新划分，增大采样数量。
6.根据权利要求1所述的基于深度神经网络的图像分析方法，其特征在于，还包括：
构建分类模型，对分类模型进行训练，所述分类模型的输入是融合模型输出的医疗影像图像各区域的各类别的概率，所述分类模型的输出是癌细胞转移的分类，所述癌细胞转移的分类包括癌细胞无转移、癌细胞微转移和癌细胞宏转移；
将医疗影像图像的各区域的医疗影像图像所属类别的概率输入训练后的分类模型，获得所述医疗影像图像的癌细胞转移的分类。
7.根据权利要求1所述的基于深度神经网络的图像分析方法，其特征在于，所述多种卷积神经网络模型包括GoogLeNet，Resnet，VGG16和PNASNet模型中的多种。
8.根据权利要求1所述的基于深度神经网络的图像分析方法，其特征在于，所述多种卷积神经网络模型的权值相等且和为1。
9.一种基于深度神经网络的图像分析装置，其特征在于，包括：
采集模块，获得医疗影像图像；
图像处理模块，去除医疗影像图像中的背景；
划分模块，对去除背景的医疗影像图像进行区块划分，得到构成医疗影像图像的各区域；
第一模型构建模块，构建多种卷积神经网络模型，将多种卷积神经网络模型进行加权组合形成融合模型，所述融合模型的输入是医疗影像图像的颜色通道，所述融合模型的输出为所述医疗影像图像的类别的概率，所述类别包括肿瘤，所述类别的概率包括肿瘤概率，表示医疗影像图像为肿瘤的图像的概率；
训练模块，对所述融合模型进行训练；
图像识别模块，将划分后的各区域的医疗影像图像输入训练后的融合模型，得到各区域的医疗影像图像所属类别的概率，从而生成医疗影像的类别概率热图。
10.根据权利要求9所述的基于深度神经网络的图像分析装置，其特征在于，还包括：
第二模型构建模块，构建分类模型，所述分类模型的输入是融合模型输出的医疗影像图像各区域的各类别的概率，所述分类模型的输出是癌细胞转移的分类，所述癌细胞转移的分类包括癌细胞无转移、癌细胞微转移和癌细胞宏转移，
其中，所述训练模块对第二模型构建模块构建的分类模型进行训练，所述图像识别模块还将将医疗影像图像的各区域的医疗影像图像所属类别的概率输入训练后的分类模型，获得所述医疗影像图像的癌细胞转移的分类。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010048656.6A CN111260632A (zh) | 2020-01-16 | 2020-01-16 | 基于深度神经网络的图像分析方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010048656.6A CN111260632A (zh) | 2020-01-16 | 2020-01-16 | 基于深度神经网络的图像分析方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111260632A true CN111260632A (zh) | 2020-06-09 |
Family
ID=70954179
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010048656.6A Pending CN111260632A (zh) | 2020-01-16 | 2020-01-16 | 基于深度神经网络的图像分析方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111260632A (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105574859A (zh) * | 2015-12-14 | 2016-05-11 | 中国科学院深圳先进技术研究院 | 一种基于ct图像的肝脏肿瘤分割方法及装置 |
| US20160253466A1 (en) * | 2013-10-10 | 2016-09-01 | Board Of Regents, The University Of Texas System | Systems and methods for quantitative analysis of histopathology images using multiclassifier ensemble schemes |
| CN109767440A (zh) * | 2019-01-11 | 2019-05-17 | 南京信息工程大学 | 一种面向深度学习模型训练和学习的影像图像数据扩充方法 |
| CN109785310A (zh) * | 2019-01-11 | 2019-05-21 | 南京信息工程大学 | 一种基于乳腺淋巴结全景图像计算的自动分期系统 |
| CN109934293A (zh) * | 2019-03-15 | 2019-06-25 | 苏州大学 | 图像识别方法、装置、介质及混淆感知卷积神经网络 |
| CN110060245A (zh) * | 2019-04-15 | 2019-07-26 | 青岛大学 | 一种基于深度神经网络的胃癌淋巴结染色病理图像自动识别方法 |
-
2020
- 2020-01-16 CN CN202010048656.6A patent/CN111260632A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160253466A1 (en) * | 2013-10-10 | 2016-09-01 | Board Of Regents, The University Of Texas System | Systems and methods for quantitative analysis of histopathology images using multiclassifier ensemble schemes |
| CN105574859A (zh) * | 2015-12-14 | 2016-05-11 | 中国科学院深圳先进技术研究院 | 一种基于ct图像的肝脏肿瘤分割方法及装置 |
| CN109767440A (zh) * | 2019-01-11 | 2019-05-17 | 南京信息工程大学 | 一种面向深度学习模型训练和学习的影像图像数据扩充方法 |
| CN109785310A (zh) * | 2019-01-11 | 2019-05-21 | 南京信息工程大学 | 一种基于乳腺淋巴结全景图像计算的自动分期系统 |
| CN109934293A (zh) * | 2019-03-15 | 2019-06-25 | 苏州大学 | 图像识别方法、装置、介质及混淆感知卷积神经网络 |
| CN110060245A (zh) * | 2019-04-15 | 2019-07-26 | 青岛大学 | 一种基于深度神经网络的胃癌淋巴结染色病理图像自动识别方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10733726B2 (en) | Pathology case review, analysis and prediction | |
| US20230419696A1 (en) | Image analysis method, apparatus, program, and learned deep learning algorithm | |
| Matek et al. | Human-level recognition of blast cells in acute myeloid leukaemia with convolutional neural networks | |
| KR102583103B1 (ko) | 계산 검출 방법들을 위해 전자 이미지들을 처리하기 위한 시스템들 및 방법들 | |
| US7027627B2 (en) | Medical decision support system and method | |
| CN113892148A (zh) | 用于计算病理学的可解释的AI（xAI）平台 | |
| WO2021139258A1 (zh) | 基于图像识别的细胞识别计数方法、装置和计算机设备 | |
| CN111488921A (zh) | 一种全景数字病理图像智能分析系统及方法 | |
| CN110796661B (zh) | 基于卷积神经网络的真菌显微图像分割检测方法及系统 | |
| CN112884724B (zh) | 一种用于肺癌组织病理分型的智能判断方法及系统 | |
| CN108305253A (zh) | 一种基于多倍率深度学习的病理全切片诊断方法 | |
| US20180357816A1 (en) | Automated Method of Predicting Efficacy of Immunotherapy Approaches | |
| US11817215B2 (en) | Artificial intelligence cloud diagnosis platform | |
| CN113793305A (zh) | 一种融合多信息的病理图像分类识别方法与系统 | |
| CN115909006A (zh) | 基于卷积Transformer的乳腺组织图像分类方法及系统 | |
| Mattie et al. | PathMaster: content-based cell image retrieval using automated feature extraction | |
| EP3514755A1 (en) | Image diagnostic assistance device, image diagnostic assistance method, and sample analysis system | |
| Kloeckner et al. | Multi-categorical classification using deep learning applied to the diagnosis of gastric cancer | |
| US20230096719A1 (en) | Scalable and high precision context-guided segmentation of histological structures including ducts/glands and lumen, cluster of ducts/glands, and individual nuclei in whole slide images of tissue samples from spatial multi-parameter cellular and sub-cellular imaging platforms | |
| EP3789914A1 (en) | Methods and systems for automated assessment of respiratory cytology specimens | |
| CN112927215A (zh) | 一种消化道活检病理切片自动分析方法 | |
| Wilm et al. | Fast whole-slide cartography in colon cancer histology using superpixels and CNN classification | |
| CN111260632A (zh) | 基于深度神经网络的图像分析方法及装置 | |
| CN115359325B (zh) | 图像识别模型的训练方法、装置、设备和介质 | |
| EP3895060A1 (en) | Classification of cell nuclei |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200609 |
|
| RJ01 | Rejection of invention patent application after publication |