CN110930392A - 基于GoogLeNet网络模型实现医学影像辅助诊断的方法、装置、设备及存储介质 - Google Patents

基于GoogLeNet网络模型实现医学影像辅助诊断的方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN110930392A
CN110930392A CN201911177080.7A CN201911177080A CN110930392A CN 110930392 A CN110930392 A CN 110930392A CN 201911177080 A CN201911177080 A CN 201911177080A CN 110930392 A CN110930392 A CN 110930392A
Authority
CN
China
Prior art keywords
image
submodule
medical image
conv2d
layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911177080.7A
Other languages
English (en)
Inventor
李晓华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Huayi Sharing Medical Technology Co Ltd
Original Assignee
Beijing Huayi Sharing Medical Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Huayi Sharing Medical Technology Co Ltd filed Critical Beijing Huayi Sharing Medical Technology Co Ltd
Priority to CN201911177080.7A priority Critical patent/CN110930392A/zh
Publication of CN110930392A publication Critical patent/CN110930392A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10104—Positron emission tomography [PET]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30008—Bone

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

本发明涉及医疗设备技术领域，公开了一种基于GoogLeNet网络模型实现医学影像辅助诊断的方法、装置、设备及存储介质。通过本发明创造，提供了一种利用人工智能中最新深度学习技术实现医学影像辅助诊断的新方法，即在具有很好泛化能力的GoogLeNet网络模型中，先用卷积神经网络提取各种复杂的特征，然后利用全连接网络对特征进行综合的判断，进而使模型可以涵盖各种复杂的情况，可利于在医学影像辅助诊断的全过程中，实现端到端的自动化诊断，效率和准确率都极高。此外，还可以对新增部位或影像进行迁移学习，使模型升级变得简单易操作，而且能保证对原有知识的最大兼容性，便于实际应用和推广。

Description

基于GoogLeNet网络模型实现医学影像辅助诊断的方法、装 置、设备及存储介质
技术领域
本发明属于医疗设备技术领域，具体地涉及一种基于GoogLeNet网络模型实现医学影像辅助诊断的方法、装置、设备及存储介质。
背景技术
目前医疗器械市场上的医疗摄影设备都是可以看到医疗影像的，例如血管摄影图像(Angiography)、心血管造影图像(Cardiac angiography)、电脑断层扫描图像(CT,Computerized tomography)、乳房摄影图像(Mammography)、正子发射断层扫描图像(PET,Positron emission tomography)、核磁共振成像图像(NMRI,Nuclear magneticresonance imaging)和医学超音波检查图像(Medical ultrasonography)等。但是当前影像诊断行业却存在如下几个问题：(1)诊断大夫的培养周期长成本高，目前高端人才的缺口很大；(2)大夫个人主观性差别很大，很难做到诊断标准完全统一；(3)大夫仅凭肉眼观察，很多底层信息不可见，信息利用率低；(4)相似疾病太多，阅片过程中存在大量重复性劳动；(5)大夫阅片耗时很长，至少几十分钟到数小时不等。
针对上述几个问题，当前的解决方案有两种：一是利用传统的图像处理方法，针对某种特定疾病和特定类型的影像片子，先手动提取特征，然后根据阈值做判断，该方法需要有大量的医学和图像处理经验，而且不具有通用性，在换了部位或影像类型之后，很难再有较高的准确率，甚至根本不能工作；二是利用机器学习模型或统计学习模型，在一定程度上，实现了自动化，也具备了一定的通用性，比第一种方法相比，在准确率上也有极大的提高，但是，模型依然存在表达能力不足的问题，不能涵盖各种复杂的情况，而且，很难进行迁移学习。
发明内容
为了解决现有医疗设备在利用机器学习模型进行影像诊断时不能涵盖各种复杂情况的问题，本发明目的在于提供一种基于GoogLeNet网络模型实现医学影像辅助诊断的方法、装置、设备及存储介质。
本发明所采用的技术方案为：
一种基于GoogLeNet网络模型实现医学影像辅助诊断的方法，包括如下步骤：
S101.获取若干张样本医学影像和对应各张样本医学影像的诊断标签，其中，所述诊断标签为正例或负例；
S102.对各张样本医学影像进行图像预处理，得到相应的且呈正方形、尺寸大小一致和归一化的标准样本医学影像，同时对相应的诊断标签进行如下形式的数字编码；若为正例，标记为1，而若为负例，标记为0；
S103.从训练样本数据集中抽取2n张标准样本医学影像，然后将这些标准样本医学影像导入至GoogLeNet网络模型中进行正向传播，得到对应各张标准样本医学影像的第一预测概率，其中，所述训练样本数据集包括有不少于2n张的所述标准样本医学影像，n为介于4～8之间的自然数，所述第一预测概率包括识别影像为正例的概率和识别影像为负例的概率；
S104.按照如下公式计算本次训练的平均损失值loss：
Figure BDA0002290241210000021
式中，i为介于1～2n之间的自然数，yi为第i张标准样本医学影像的诊断标签编码值，
Figure BDA0002290241210000022
为第i张标准样本医学影像的且识别影像为正例的概率，κ为常数；
S105.通过梯度下降法将所述平均损失值loss逐层反向传播，进行模型参数的更新；
S106.返回执行步骤S103～S105，直到所述平均损失值loss降低到预设阈值，完成模型训练；
S107.获取待诊医学影像；
S108.对所述待诊医学影像进行图像预处理，得到呈正方形、尺寸大小与所述标准样本医学影像一致和归一化方式与所述标准样本医学影像一致的标准待诊医学影像；
S109.将所述标准待诊医学影像输入完成训练的GoogLeNet网络模型中，得到对应所述标准待诊医学影像的第二预测概率，其中，所述第二预测概率包括识别影像为正例的概率和识别影像为负例的概率；
S110.根据所述第二预测概率得出诊断结果：若所述第二预测概率中识别影像为正例的概率不小于正例与负例的分割阈值，则判定诊断结果为正例和/或阳性，否则判定诊断结果为负例和/或阴性。
优化的，在所述步骤S102中，通过如下方式的图像预处理得到呈正方形的样本医学影像：
在样本医学影像的原始形状为非正方形的长方形时，对称地在宽度方向两侧填充像素值为0或像素均值的像素点，使最终的影像宽度等于影像长度，其中，像素均值为原样本医学影像中所有像素点的像素平均值。
进一步优化的，在所述步骤S102中且得到呈正方形的样本医学影像之后，通过如下方式的图像预处理得到尺寸大小一致的样本医学影像：
通过插值或压采样的方式使样本医学影像变成尺寸大小为2k*2k的影像，其中，k为介于7～12之间的自然数。
详细优化的，在所述步骤S102中且得到尺寸大小一致的样本医学影像之后，通过如下方式的图像预处理得到归一化的样本医学影像：
针对样本医学影像上的各个像素点，按照如下公式得到归一化后的像素值PNew：
Figure BDA0002290241210000031
式中，POld为归一化前的像素值，μ为归一化前所有像素点的像素平均值，σ为归一化前所有像素点的像素值标准差。
优化的，所述GoogLeNet网络模型包括有Conv2d_BN子模块，其中，所述Conv2d_BN子模块沿正向传播方向依次包括有一个激活函数为relu激活函数且padding类型为same的卷积层和一个批归一化层；
所述GoogLeNet网络模型沿正向传播方向依次包括有图像输入层、第一Conv2d_BN模块、第一最大池化层、第二Conv2d_BN模块、第二最大池化层、第一Inception模块、第三最大池化层、第二Inception模块、第四最大池化层、第三Inception模块、平均池化层、扁平化层、第一丢弃层、第一全连接层、第二丢弃层、第二全连接层和第三全连接层；
所述第一Conv2d_BN模块的输出通道数为64个，并包括有一个卷积核心为(7，7)且步长为(2，2)的所述Conv2d_BN子模块；
所述第一最大池化层的池化核心为(2，2)，步长为(2，2)，padding类型为same；
所述第二Conv2d_BN模块的输出通道数为128个，并包括有一个卷积核心为(3，3)且步长为(2，2)的所述Conv2d_BN子模块；
所述第二最大池化层的池化核心为(2，2)，步长为(2，2)，padding类型为same；
所述第一Inception模块包括有五个输出通道数分别为64个的且在通道的维度上按顺序拼接起来的并行分支：第一个并行分支包括有一个卷积核心为(1，1)的所述Conv2d_BN子模块，第二个并行分支沿正向传播方向依次包括有一个卷积核心为(1，1)的所述Conv2d_BN子模块和一个卷积核心为(3，3)的所述Conv2d_BN子模块，第三个并行分支沿正向传播方向依次包括有一个卷积核心为(1，1)的所述Conv2d_BN子模块和一个卷积核心为(5，5)的所述Conv2d_BN子模块，第四个并行分支沿正向传播方向依次包括有一个卷积核心为(1，1)的所述Conv2d_BN子模块和一个卷积核心为(7，7)的所述Conv2d_BN子模块，第五个并行分支沿正向传播方向依次包括有一个池化核心为(3，3)的最大池化层和一个卷积核心为(1，1)的所述Conv2d_BN子模块；
所述第三最大池化层的池化核心为(2，2)，步长为(2，2)，padding类型为same；
所述第二Inception模块也包括有五个输出通道数分别为96个的且在通道的维度上按顺序拼接起来的并行分支：第一个并行分支包括有一个卷积核心为(1，1)的所述Conv2d_BN子模块，第二个并行分支沿正向传播方向依次包括有一个卷积核心为(1，1)的所述Conv2d_BN子模块和一个卷积核心为(3，3)的所述Conv2d_BN子模块，第三个并行分支沿正向传播方向依次包括有一个卷积核心为(1，1)的所述Conv2d_BN子模块和一个卷积核心为(5，5)的所述Conv2d_BN子模块，第四个并行分支沿正向传播方向依次包括有一个卷积核心为(1，1)的所述Conv2d_BN子模块和一个卷积核心为(7，7)的所述Conv2d_BN子模块，第五个并行分支沿正向传播方向依次包括有一个池化核心为(3，3)的最大池化层和一个卷积核心为(1，1)的所述Conv2d_BN子模块；
所述第四最大池化层的池化核心为(2，2)，步长为(2，2)，padding类型为same；
所述第三Inception模块也包括有五个输出通道数分别为96个的且在通道的维度上按顺序拼接起来的并行分支：第一个并行分支包括有一个卷积核心为(1，1)的所述Conv2d_BN子模块，第二个并行分支沿正向传播方向依次包括有一个卷积核心为(1，1)的所述Conv2d_BN子模块和一个卷积核心为(3，3)的所述Conv2d_BN子模块，第三个并行分支沿正向传播方向依次包括有一个卷积核心为(1，1)的所述Conv2d_BN子模块和一个卷积核心为(5，5)的所述Conv2d_BN子模块，第四个并行分支沿正向传播方向依次包括有一个卷积核心为(1，1)的所述Conv2d_BN子模块和一个卷积核心为(7，7)的所述Conv2d_BN子模块，第五个并行分支沿正向传播方向依次包括有一个池化核心为(3，3)的最大池化层和一个卷积核心为(1，1)的所述Conv2d_BN子模块；
所述平均池化层的池化核心为(3，3)，步长为(2，2)，padding类型为same；
所述扁平化层用于将特征图展成一行，便于后面接第一丢弃层；
所述第一丢弃层用于随机地使一半的神经元失活，避免过拟合，提高泛化能力；
所述第一全连接层的神经元数量为512，激活函数为relu激活函数；
所述第二丢弃层用于随机地使一半的神经元失活，避免过拟合，提高泛化能力；
所述第二全连接层的神经元数量为512，激活函数为relu激活函数；
所述第三全连接层的神经元数量为2，激活函数为softmax激活函数，其中，所述softmax激活函数用于识别影像为正例的概率和识别影像为负例的概率。
本发明所采用的另一种技术方案为：
一种基于GoogLeNet网络模型实现医学影像辅助诊断的装置，包括样本获取模块、样本预处理模块、模型迭代训练模块、影像获取模块、影像预处理模块、影像识别模块和影像诊断模块，其中，所述模型迭代训练模块包括模型训练子模块、损失计算子模块、参数更新子模块和迭代控制子模块；
所述样本获取模块，用于获取若干张样本医学影像和对应各张样本医学影像的诊断标签，其中，所述诊断标签为正例或负例；
所述样本预处理模块，通信连接所述样本获取模块，用于对各张样本医学影像进行图像预处理，得到相应的且呈正方形、尺寸大小一致和归一化的标准样本医学影像，同时对相应的诊断标签进行如下形式的数字编码；若为正例，标记为1，而若为负例，标记为0；
所述模型训练子模块，通信连接所述样本预处理模块，用于从训练样本数据集中抽取2n张标准样本医学影像，然后将这些标准样本医学影像导入至GoogLeNet网络模型中进行正向传播，得到对应各张标准样本医学影像的第一预测概率，其中，所述训练样本数据集包括有不少于2n张的所述标准样本医学影像，n为介于4～8之间的自然数，所述第一预测概率包括识别影像为正例的概率和识别影像为负例的概率；
所述损失计算子模块，分别通信连接所述模型训练子模块和所述样本预处理模块，用于按照如下公式计算本次训练的平均损失值loss：
Figure BDA0002290241210000051
式中，i为介于1～2n之间的自然数，yi为第i张标准样本医学影像的诊断标签编码值，
Figure BDA0002290241210000052
为第i张标准样本医学影像的且识别影像为正例的概率，κ为常数；
所述参数更新子模块，通信连接所述损失计算子模块，用于通过梯度下降法将所述平均损失值loss逐层反向传播，进行模型参数的更新；
所述迭代控制子模块，通信连接所述损失计算子模块，用于循环地依次启动所述模型训练子模块、所述损失计算子模块和所述参数更新子模块，直到所述平均损失值loss降低到预设阈值，完成模型训练；
所述影像获取模块，用于获取待诊医学影像；
所述影像预处理模块，通信连接所述影像获取模块，用于对所述待诊医学影像进行图像预处理，得到呈正方形、尺寸大小与所述标准样本医学影像一致和归一化方式与所述标准样本医学影像一致的标准待诊医学影像；
所述影像识别模块，分别通信连接所述模型迭代训练模块和所述影像预处理模块，用于将所述标准待诊医学影像输入完成训练的GoogLeNet网络模型中，得到对应所述标准待诊医学影像的第二预测概率，其中，所述第二预测概率包括识别影像为正例的概率和识别影像为负例的概率；
所述影像诊断模块，通信连接所述影像识别模块，用于根据所述第二预测概率得出诊断结果：若所述第二预测概率中识别影像为正例的概率不小于正例与负例的分割阈值，则判定诊断结果为正例和/或阳性，否则判定诊断结果为负例和/或阴性。
本发明所采用的另一种技术方案为：
一种基于GoogLeNet网络模型实现医学影像辅助诊断的设备，包括通信相连的存储器和处理器，其中，所述存储器用于存储计算机程序，所述处理器用于执行所述计算机程序实现如前所述基于GoogLeNet网络模型实现医学影像辅助诊断的方法步骤。
本发明所采用的另一种技术方案为：
一种存储介质，所述存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如前所述基于GoogLeNet网络模型实现医学影像辅助诊断的方法步骤。
本发明的有益效果为：
(1)本发明创造提供了一种利用人工智能中最新深度学习技术实现医学影像辅助诊断的新方法，即在具有很好泛化能力的GoogLeNet网络模型中，先用卷积神经网络提取各种复杂的特征，然后利用全连接网络对特征进行综合的判断，进而使模型可以涵盖各种复杂的情况，可利于在医学影像辅助诊断的全过程中，实现端到端的自动化诊断，效率和准确率都极高；
(2)还可以对新增部位或影像进行迁移学习，使模型升级变得简单易操作，而且能保证对原有知识的最大兼容性，便于实际应用和推广。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的基于GoogLeNet网络模型实现医学影像辅助诊断的方法流程示意图。
图2是本发明提供的在进行图像填充和统一大小的图像预处理的前后影像对比示例图。
图3是本发明提供的GoogLeNet网络模型的多层结构上部区域示意图。
图4是本发明提供的GoogLeNet网络模型的多层结构中部区域示意图。
图5是本发明提供的GoogLeNet网络模型的多层结构下部区域示意图。
图6是本发明提供的基于GoogLeNet网络模型实现医学影像辅助诊断的装置结构示意图。
图7是本发明提供的基于GoogLeNet网络模型实现医学影像辅助诊断的设备结构示意图。
具体实施方式
下面结合附图及具体实施例来对本发明作进一步阐述。在此需要说明的是，对于这些实施例方式的说明虽然是用于帮助理解本发明，但并不构成对本发明的限定。本文公开的特定结构和功能细节仅用于描述本发明的示例实施例。然而，可用很多备选的形式来体现本发明，并且不应当理解为本发明限制在本文阐述的实施例中。
应当理解，尽管本文可能使用术语第一、第二等等来描述各种单元，但是这些单元不应当受到这些术语的限制。这些术语仅用于区分一个单元和另一个单元。例如可以将第一单元称作第二单元,并且类似地可以将第二单元称作第一单元，同时不脱离本发明的示例实施例的范围。
应当理解，对于本文中可能出现的术语“和/或”，其仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，单独存在B，同时存在A和B三种情况；对于本文中可能出现的术语“/和”，其是描述另一种关联对象关系，表示可以存在两种关系，例如，A/和B，可以表示：单独存在A，单独存在A和B两种情况；另外，对于本文中可能出现的字符“/”，一般表示前后关联对象是一种“或”关系。
应当理解，在本文中若将单元称作与另一个单元“连接”、“相连”或“耦合”时，它可以与另一个单元直相连接或耦合，或中间单元可以存在。相対地，在本文中若将单元称作与另一个单元“直接相连”或“直接耦合”时，表示不存在中间单元。另外，应当以类似方式来解释用于描述单元之间的关系的其他单词(例如，“在……之间”对“直接在……之间”,“相邻”对“直接相邻”等等)。
应当理解，本文使用的术语仅用于描述特定实施例，并不意在限制本发明的示例实施例。若本文所使用的，单数形式“一”、“一个”以及“该”意在包括复数形式，除非上下文明确指示相反意思。还应当理解，若术语“包括”、“包括了”、“包含”和/或“包含了”在本文中被使用时,指定所声明的特征、整数、步骤、操作、单元和/或组件的存在性,并且不排除一个或多个其他特征、数量、步骤、操作、单元、组件和/或他们的组合存在性或增加。
应当理解，还应当注意到在一些备选实施例中，所出现的功能/动作可能与附图出现的顺序不同。例如,取决于所涉及的功能/动作,实际上可以实质上并发地执行,或者有时可以以相反的顺序来执行连续示出的两个图。
应当理解，在下面的描述中提供了特定的细节,以便于对示例实施例的完全理解。然而,本领域普通技术人员应当理解可以在没有这些特定细节的情况下实现示例实施例。例如可以在框图中示出系统，以避免用不必要的细节来使得示例不清楚。在其他实例中，可以不以不必要的细节来示出众所周知的过程、结构和技术，以避免使得示例实施例不清楚。
实施例一
如图1～5所示，本实施例提供的所述基于GoogLeNet网络模型实现医学影像辅助诊断的方法，可以但不限于包括如下步骤S101～S110。
S101.获取若干张样本医学影像和对应各张样本医学影像的诊断标签，其中，所述诊断标签为正例或负例。
在所述步骤S101中，所述样本医学影像以及对应的诊断标签(其中的正例对应阳性，负例对应阴性，此为医学常识)，可以但不限于从历史档案的数据库中获取，也可以从网络开源的数据库中获取，例如由斯坦福吴恩达团队开源的MURA数据库(https:// stanfordmlgroup.github.io/competitions/mura/)，其包括有至少14982个病例的上肢肌肉骨骼X光片，每个病例包括一个或多个图像，均由放射科医师手动标志(即形成对应的诊断标签)，并为了鼓舞医学影像诊断模型的提高，该MURA数据库可以无偿使用。
S102.对各张样本医学影像进行图像预处理，得到相应的且呈正方形、尺寸大小一致和归一化的标准样本医学影像，同时对相应的诊断标签进行如下形式的数字编码；若为正例，标记为1，而若为负例，标记为0。
在所述步骤S102中，可以但不限于通过如下方式的图像预处理得到呈正方形的样本医学影像：在样本医学影像的原始形状为非正方形的长方形时，对称地在宽度方向两侧填充像素值为0或像素均值的像素点，使最终的影像宽度等于影像长度，其中，像素均值为原样本医学影像中所有像素点的像素平均值。如图2所示，所述样本医学影像均为单通道图像，其长宽可以是任意的，如果长宽不等，就需要通过前述方式使长宽相等，以便后续进行模型训练。此外，由于是在宽度方向两侧进行对称填充，可保证原始影像位于新影像的正中央区域。
在所述步骤S102中且得到呈正方形的样本医学影像之后，可以但不限于通过如下方式的图像预处理得到尺寸大小一致的样本医学影像：通过插值或压采样的方式使样本医学影像变成尺寸大小为2k*2k的影像，其中，k为介于7～12之间的自然数。例如得到尺寸大小为256*256像素(此时k为8)的影像、为512*512像素(此时k为9，常用尺寸大小)的影像或为1024*1024像素(此时k为10)的影像。
在所述步骤S102中且得到尺寸大小一致的样本医学影像之后，可以但不限于通过如下方式的图像预处理得到归一化的样本医学影像：针对样本医学影像上的各个像素点，按照如下公式得到归一化后的像素值PNew：
Figure BDA0002290241210000081
式中，POld为归一化前的像素值，μ为归一化前所有像素点的像素平均值，σ为归一化前所有像素点的像素值标准差。通过前述影像的归一化处理，可使后期训练时加快收敛，缩短模型训练时间和识别时间，利于快速得到诊断结果。
S103.从训练样本数据集中抽取2n张标准样本医学影像，然后将这些标准样本医学影像导入至GoogLeNet网络模型中进行正向传播，得到对应各张标准样本医学影像的第一预测概率，其中，所述训练样本数据集包括有不少于2n张的所述标准样本医学影像，n为介于4～8之间的自然数，所述第一预测概率包括识别影像为正例的概率和识别影像为负例的概率。
在所述步骤S103中，2n一般为16、32、64或128等，视硬件的情况而定。若所述训练样本数据集中的标准样本医学影像少于2n张，则为了进行步骤S103和更真实地模拟现实场景，有必要在所述步骤S103之前对所述训练样本数据集做数据增强处理，以便充实所述训练样本数据集的影像数量。优化的，针对所述训练样本数据集，可以但不限于做如下方式(A)～(D)中任意一种或任意组合的数据增强处理：(A)对所述标准样本医学影像进行随机地上下和/或左右翻转处理，然后将得到的影像作为新样本添加到所述训练样本数据集中；(B)对所述标准样本医学影像进行随机地角度旋转处理，然后将得到的影像作为新样本添加到所述训练样本数据集中；(C)对所述标准样本医学影像进行随机地高斯噪声添加处理，然后将得到的影像作为新样本添加到所述训练样本数据集中；(D)对所述标准样本医学影像进行随机地图像裁剪处理，然后将得到的影像作为新样本添加到所述训练样本数据集中，其中，图像裁剪部分所占整个影像的比例不超过5％。前述翻转处理、旋转处理、高斯噪声添加处理和图像裁剪处理等均为常规图像处理方式，其中举例的，高斯噪声的均值为0，标准差为0.01。
在所述步骤S103中，所述GoogLeNet网络模型是由谷歌(Google)研究出来的深度网络结构模型，其继承了LeNet网络模型以及AlexNet网络模型的一些框架结构，并做了更加大胆的网络结构尝试，虽然深度只有22层，但大小却比AlexNet网络模型和VggNet网络模型小很多：GoogLeNet网络模型的参数为500万个，AlexNet网络模型的参数个数是GoogLeNet网络模型的12倍，而VggNet网络模型的参数又是AlexNet网络模型的3倍，因此在内存或计算资源有限时，GoogLeNet是比较好的选择；同时从模型结果来看，GoogLeNet的性能却更加优越。由此优化的，可基于GoogLeNet网络模型的层结构原理，搭建一个适用于样本医学影像训练和识别的改进型GoogLeNet网络模型，即如图3～5所示，所述改进型GoogLeNet网络模型包括有Conv2d_BN子模块，其中，所述Conv2d_BN子模块沿正向传播方向依次包括有一个激活函数为relu激活函数且padding类型为same的卷积层(Conv2D)和一个批归一化层(BatchNormalization)；所述GoogLeNet网络模型沿正向传播方向依次包括有图像输入层(Input)、第一Conv2d_BN模块、第一最大池化层(MaxPooling2D)、第二Conv2d_BN模块、第二最大池化层(MaxPooling2D)、第一Inception模块、第三最大池化层(MaxPooling2D)、第二Inception模块、第四最大池化层(MaxPooling2D)、第三Inception模块、平均池化层(AveragePooling2D)、扁平化层(Flatten)、第一丢弃层(Dropout)、第一全连接层(Dense)、第二丢弃层(Dropout)、第二全连接层(Dense)和第三全连接层(Dense)；所述第一Conv2d_BN模块的输出通道数为64个，并包括有一个卷积核心为(7，7)且步长为(2，2)的所述Conv2d_BN子模块；所述第一最大池化层的池化核心为(2，2)，步长为(2，2)，padding类型为same；所述第二Conv2d_BN模块的输出通道数为128个，并包括有一个卷积核心为(3，3)且步长为(2，2)的所述Conv2d_BN子模块；所述第二最大池化层的池化核心为(2，2)，步长为(2，2)，padding类型为same；所述第一Inception模块包括有五个输出通道数分别为64个的且在通道的维度上按顺序拼接起来的并行分支：第一个并行分支包括有一个卷积核心为(1，1)的所述Conv2d_BN子模块，第二个并行分支沿正向传播方向依次包括有一个卷积核心为(1，1)的所述Conv2d_BN子模块和一个卷积核心为(3，3)的所述Conv2d_BN子模块，第三个并行分支沿正向传播方向依次包括有一个卷积核心为(1，1)的所述Conv2d_BN子模块和一个卷积核心为(5，5)的所述Conv2d_BN子模块，第四个并行分支沿正向传播方向依次包括有一个卷积核心为(1，1)的所述Conv2d_BN子模块和一个卷积核心为(7，7)的所述Conv2d_BN子模块，第五个并行分支沿正向传播方向依次包括有一个池化核心为(3，3)的最大池化层和一个卷积核心为(1，1)的所述Conv2d_BN子模块；所述第三最大池化层的池化核心为(2，2)，步长为(2，2)，padding类型为same；所述第二Inception模块也包括有五个输出通道数分别为96个的且在通道的维度上按顺序拼接起来的并行分支：第一个并行分支包括有一个卷积核心为(1，1)的所述Conv2d_BN子模块，第二个并行分支沿正向传播方向依次包括有一个卷积核心为(1，1)的所述Conv2d_BN子模块和一个卷积核心为(3，3)的所述Conv2d_BN子模块，第三个并行分支沿正向传播方向依次包括有一个卷积核心为(1，1)的所述Conv2d_BN子模块和一个卷积核心为(5，5)的所述Conv2d_BN子模块，第四个并行分支沿正向传播方向依次包括有一个卷积核心为(1，1)的所述Conv2d_BN子模块和一个卷积核心为(7，7)的所述Conv2d_BN子模块，第五个并行分支沿正向传播方向依次包括有一个池化核心为(3，3)的最大池化层和一个卷积核心为(1，1)的所述Conv2d_BN子模块；所述第四最大池化层的池化核心为(2，2)，步长为(2，2)，padding类型为same；所述第三Inception模块也包括有五个输出通道数分别为96个的且在通道的维度上按顺序拼接起来的并行分支：第一个并行分支包括有一个卷积核心为(1，1)的所述Conv2d_BN子模块，第二个并行分支沿正向传播方向依次包括有一个卷积核心为(1，1)的所述Conv2d_BN子模块和一个卷积核心为(3，3)的所述Conv2d_BN子模块，第三个并行分支沿正向传播方向依次包括有一个卷积核心为(1，1)的所述Conv2d_BN子模块和一个卷积核心为(5，5)的所述Conv2d_BN子模块，第四个并行分支沿正向传播方向依次包括有一个卷积核心为(1，1)的所述Conv2d_BN子模块和一个卷积核心为(7，7)的所述Conv2d_BN子模块，第五个并行分支沿正向传播方向依次包括有一个池化核心为(3，3)的最大池化层和一个卷积核心为(1，1)的所述Conv2d_BN子模块；所述平均池化层的池化核心为(3，3)，步长为(2，2)，padding类型为same；所述扁平化层用于将特征图展成一行，便于后面接第一丢弃层；所述第一丢弃层用于随机地使一半的神经元失活，避免过拟合，提高泛化能力；所述第一全连接层的神经元数量为512，激活函数为relu激活函数；所述第二丢弃层用于随机地使一半的神经元失活，避免过拟合，提高泛化能力；所述第二全连接层的神经元数量为512，激活函数为relu激活函数；所述第三全连接层的神经元数量为2，激活函数为softmax激活函数，其中，所述softmax激活函数用于识别影像为正例的概率和识别影像为负例的概率。前述所有的技术术语均为现有深度学习技术中的常见用语，于此不再赘述。此外，所述第一全连接层的神经元数量可举例为1024。
S104.按照如下公式计算本次训练的平均损失值loss：
Figure BDA0002290241210000101
式中，i为介于1～2n之间的自然数，yi为第i张标准样本医学影像的诊断标签编码值，
Figure BDA0002290241210000102
为第i张标准样本医学影像的且识别影像为正例的概率，κ为常数。
在所述步骤S104中，所述诊断标签编码值即表示识别影像为正例的真实概率，若标记为1，表示识别影像为正例的真实概率为100％，若标记为0，表示识别影像为正例的真实概率为0％，因此前述公式的核心是将预测概率与真实概率做交叉熵。此外，κ可举例为2、e或10等常数。
S105.通过梯度下降法将所述平均损失值loss逐层反向传播，进行模型参数的更新。
在所述步骤S105中，所述通过梯度下降法来进行模型参数更新的方式为现有常规方式。
S106.返回执行步骤S103～S105，直到所述平均损失值loss降低到预设阈值，完成模型训练。
在所述步骤S106中且返回执行步骤S103时，可以从所述训练样本数据集中抽取2n张与前次相同、部分相同或完全不同的标准样本医学影像。此外，也可以在训练精度达到要求时，停止返回执行，完成模型训练。
S107.获取待诊医学影像。
在所述步骤S107中，所述待诊医学影像具体可从现有医疗摄影设备的输出接口(例如USB接口或HDMI接口)中导出得到。
S108.对所述待诊医学影像进行图像预处理，得到呈正方形、尺寸大小与所述标准样本医学影像一致和归一化方式与所述标准样本医学影像一致的标准待诊医学影像。
在所述步骤S108中，所述图像预处理方式可与所述步骤S102中的图像预处理方式完全一致。
S109.将所述标准待诊医学影像输入完成训练的GoogLeNet网络模型中，得到对应所述标准待诊医学影像的第二预测概率，其中，所述第二预测概率包括识别影像为正例的概率和识别影像为负例的概率。
S110.根据所述第二预测概率得出诊断结果：若所述第二预测概率中识别影像为正例的概率不小于正例与负例的分割阈值，则判定诊断结果为正例和/或阳性，否则判定诊断结果为负例和/或阴性。
在所述步骤S110中，所述正例与负例的分割阈值一般为0.5。
遵照前述步骤S101～S110，本实施例还举例地利用MURA数据库中的肱骨部(HUMERUS)医学影像进行了测试：先对1017张医学影像(单通道影像)进行了如步骤S102所述的样本处理，得到尺寸为512*512像素的标准样本医学图像，并构成所述训练样本数据集；然后对288张医学影像(单通道影像)进行了如步骤S108所述的图像处理，得到尺寸为512*512像素的标准待诊医学图像，并构成一个验证集；再然后配置GoogLeNet网络模型的参数如下：优化器——adam，随机梯度下降法，损失函数——binay_crossentropy，学习率——0.01；再然后通过迭代20余次即完成模型训练；最后应用完成训练的GoogLeNet网络模型对所述验证集进行逐一验证，发现只有几次出现诊断错误，大大超过了人类专家的诊断准确率。另外，即使每次数据增强之后，所述训练样本数据集会有差别，并使最终结果也会略有不同，但也都超过了人类专家的诊断准确率。
综上，采用本实施例所提供的基于GoogLeNet网络模型实现医学影像辅助诊断的方法，具有如下技术效果：
(1)本实施例提供了一种利用人工智能中最新深度学习技术实现医学影像辅助诊断的新方法，即在具有很好泛化能力的GoogLeNet网络模型中，先用卷积神经网络提取各种复杂的特征，然后利用全连接网络对特征进行综合的判断，进而使模型可以涵盖各种复杂的情况，可利于在医学影像辅助诊断的全过程中，实现端到端的自动化诊断，效率和准确率都极高；
(2)还可以对新增部位或影像进行迁移学习，使模型升级变得简单易操作，而且能保证对原有知识的最大兼容性，便于实际应用和推广。
实施例二
如图6所示，本实施例提供了一种实现实施例一所述基于GoogLeNet网络模型实现医学影像辅助诊断的方法的硬件装置，包括样本获取模块、样本预处理模块、模型迭代训练模块、影像获取模块、影像预处理模块、影像识别模块和影像诊断模块，其中，所述模型迭代训练模块包括模型训练子模块、损失计算子模块、参数更新子模块和迭代控制子模块；
所述样本获取模块，用于获取若干张样本医学影像和对应各张样本医学影像的诊断标签，其中，所述诊断标签为正例或负例；
所述样本预处理模块，通信连接所述样本获取模块，用于对各张样本医学影像进行图像预处理，得到相应的且呈正方形、尺寸大小一致和归一化的标准样本医学影像，同时对相应的诊断标签进行如下形式的数字编码；若为正例，标记为1，而若为负例，标记为0；
所述模型训练子模块，通信连接所述样本预处理模块，用于从训练样本数据集中抽取2n张标准样本医学影像，然后将这些标准样本医学影像导入至GoogLeNet网络模型中进行正向传播，得到对应各张标准样本医学影像的第一预测概率，其中，所述训练样本数据集包括有不少于2n张的所述标准样本医学影像，n为介于4～8之间的自然数，所述第一预测概率包括识别影像为正例的概率和识别影像为负例的概率；
所述损失计算子模块，分别通信连接所述模型训练子模块和所述样本预处理模块，用于按照如下公式计算本次训练的平均损失值loss：
Figure BDA0002290241210000121
式中，i为介于1～2n之间的自然数，yi为第i张标准样本医学影像的诊断标签编码值，
Figure BDA0002290241210000122
为第i张标准样本医学影像的且识别影像为正例的概率，κ为常数；
所述参数更新子模块，通信连接所述损失计算子模块，用于通过梯度下降法将所述平均损失值loss逐层反向传播，进行模型参数的更新；
所述迭代控制子模块，通信连接所述损失计算子模块，用于循环地依次启动所述模型训练子模块、所述损失计算子模块和所述参数更新子模块，直到所述平均损失值loss降低到预设阈值，完成模型训练；
所述影像获取模块，用于获取待诊医学影像；
所述影像预处理模块，通信连接所述影像获取模块，用于对所述待诊医学影像进行图像预处理，得到呈正方形、尺寸大小与所述标准样本医学影像一致和归一化方式与所述标准样本医学影像一致的标准待诊医学影像；
所述影像识别模块，分别通信连接所述模型迭代训练模块和所述影像预处理模块，用于将所述标准待诊医学影像输入完成训练的GoogLeNet网络模型中，得到对应所述标准待诊医学影像的第二预测概率，其中，所述第二预测概率包括识别影像为正例的概率和识别影像为负例的概率；
所述影像诊断模块，通信连接所述影像识别模块，用于根据所述第二预测概率得出诊断结果：若所述第二预测概率中识别影像为正例的概率不小于正例与负例的分割阈值，则判定诊断结果为正例和/或阳性，否则判定诊断结果为负例和/或阴性。
本实施例提供的前述装置的工作过程、工作细节和技术效果，可以参见实施例一，于此不再赘述。
实施例三
如图7所示，本实施例提供了一种实现实施例一所述基于GoogLeNet网络模型实现医学影像辅助诊断的方法的硬件设备，包括通信相连的存储器和处理器，其中，所述存储器用于存储计算机程序，所述处理器用于执行所述计算机程序实现如实施例一所述基于GoogLeNet网络模型实现医学影像辅助诊断的方法步骤。
本实施例提供的前述设备的工作过程、工作细节和技术效果，可以参见实施例一，于此不再赘述。
实施例四
本实施例提供了一种存储包含实施例一所述基于GoogLeNet网络模型实现医学影像辅助诊断的方法的计算机程序的存储介质，即在所述存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如实施例一所述基于GoogLeNet网络模型实现医学影像辅助诊断的方法步骤。其中，计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置，也可以是移动智能设备(如智能手机、PAD或ipad等)。
本实施例提供的前述存储介质的工作过程、工作细节和技术效果，可以参见实施例一，于此不再赘述。
以上所描述的多个实施例仅仅是示意性的，若涉及到作为分离部件说明的单元，其可以是或者也可以不是物理上分开的；若涉及到作为单元显示的部件，其可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
最后应说明的是，本发明不局限于上述可选的实施方式，任何人在本发明的启示下都可得出其他各种形式的产品。上述具体实施方式不应理解成对本发明的保护范围的限制，本发明的保护范围应当以权利要求书中界定的为准，并且说明书可以用于解释权利要求书。

Claims (8)

1.一种基于GoogLeNet网络模型实现医学影像辅助诊断的方法，其特征在于，包括如下步骤：
S101.获取若干张样本医学影像和对应各张样本医学影像的诊断标签，其中，所述诊断标签为正例或负例；
S102.对各张样本医学影像进行图像预处理，得到相应的且呈正方形、尺寸大小一致和归一化的标准样本医学影像，同时对相应的诊断标签进行如下形式的数字编码；若为正例，标记为1，而若为负例，标记为0；
S103.从训练样本数据集中抽取2n张标准样本医学影像，然后将这些标准样本医学影像导入至GoogLeNet网络模型中进行正向传播，得到对应各张标准样本医学影像的第一预测概率，其中，所述训练样本数据集包括有不少于2n张的所述标准样本医学影像，n为介于4～8之间的自然数，所述第一预测概率包括识别影像为正例的概率和识别影像为负例的概率；
S104.按照如下公式计算本次训练的平均损失值loss：
Figure FDA0002290241200000011
式中，i为介于1～2n之间的自然数，yi为第i张标准样本医学影像的诊断标签编码值，
Figure FDA0002290241200000012
为第i张标准样本医学影像的且识别影像为正例的概率，κ为常数；
S105.通过梯度下降法将所述平均损失值loss逐层反向传播，进行模型参数的更新；
S106.返回执行步骤S103～S105，直到所述平均损失值loss降低到预设阈值，完成模型训练；
S107.获取待诊医学影像；
S108.对所述待诊医学影像进行图像预处理，得到呈正方形、尺寸大小与所述标准样本医学影像一致和归一化方式与所述标准样本医学影像一致的标准待诊医学影像；
S109.将所述标准待诊医学影像输入完成训练的GoogLeNet网络模型中，得到对应所述标准待诊医学影像的第二预测概率，其中，所述第二预测概率包括识别影像为正例的概率和识别影像为负例的概率；
S110.根据所述第二预测概率得出诊断结果：若所述第二预测概率中识别影像为正例的概率不小于正例与负例的分割阈值，则判定诊断结果为正例和/或阳性，否则判定诊断结果为负例和/或阴性。
2.如权利要求1所述的基于GoogLeNet网络模型实现医学影像辅助诊断的方法，其特征在于，在所述步骤S102中，通过如下方式的图像预处理得到呈正方形的样本医学影像：
在样本医学影像的原始形状为非正方形的长方形时，对称地在宽度方向两侧填充像素值为0或像素均值的像素点，使最终的影像宽度等于影像长度，其中，像素均值为原样本医学影像中所有像素点的像素平均值。
3.如权利要求2所述的基于GoogLeNet网络模型实现医学影像辅助诊断的方法，其特征在于，在所述步骤S102中且得到呈正方形的样本医学影像之后，通过如下方式的图像预处理得到尺寸大小一致的样本医学影像：
通过插值或压采样的方式使样本医学影像变成尺寸大小为2k*2k的影像，其中，k为介于7～12之间的自然数。
4.如权利要求3所述的基于GoogLeNet网络模型实现医学影像辅助诊断的方法，其特征在于，在所述步骤S102中且得到尺寸大小一致的样本医学影像之后，通过如下方式的图像预处理得到归一化的样本医学影像：
针对样本医学影像上的各个像素点，按照如下公式得到归一化后的像素值PNew：
Figure FDA0002290241200000021
式中，POld为归一化前的像素值，μ为归一化前所有像素点的像素平均值，σ为归一化前所有像素点的像素值标准差。
5.如权利要求1所述的基于GoogLeNet网络模型实现医学影像辅助诊断的方法，其特征在于，所述GoogLeNet网络模型包括有Conv2d_BN子模块，其中，所述Conv2d_BN子模块沿正向传播方向依次包括有一个激活函数为relu激活函数且padding类型为same的卷积层和一个批归一化层；
所述GoogLeNet网络模型沿正向传播方向依次包括有图像输入层、第一Conv2d_BN模块、第一最大池化层、第二Conv2d_BN模块、第二最大池化层、第一Inception模块、第三最大池化层、第二Inception模块、第四最大池化层、第三Inception模块、平均池化层、扁平化层、第一丢弃层、第一全连接层、第二丢弃层、第二全连接层和第三全连接层；
所述第一Conv2d_BN模块的输出通道数为64个，并包括有一个卷积核心为(7，7)且步长为(2，2)的所述Conv2d_BN子模块；
所述第一最大池化层的池化核心为(2，2)，步长为(2，2)，padding类型为same；
所述第二Conv2d_BN模块的输出通道数为128个，并包括有一个卷积核心为(3，3)且步长为(2，2)的所述Conv2d_BN子模块；
所述第二最大池化层的池化核心为(2，2)，步长为(2，2)，padding类型为same；
所述第一Inception模块包括有五个输出通道数分别为64个的且在通道的维度上按顺序拼接起来的并行分支：第一个并行分支包括有一个卷积核心为(1，1)的所述Conv2d_BN子模块，第二个并行分支沿正向传播方向依次包括有一个卷积核心为(1，1)的所述Conv2d_BN子模块和一个卷积核心为(3，3)的所述Conv2d_BN子模块，第三个并行分支沿正向传播方向依次包括有一个卷积核心为(1，1)的所述Conv2d_BN子模块和一个卷积核心为(5，5)的所述Conv2d_BN子模块，第四个并行分支沿正向传播方向依次包括有一个卷积核心为(1，1)的所述Conv2d_BN子模块和一个卷积核心为(7，7)的所述Conv2d_BN子模块，第五个并行分支沿正向传播方向依次包括有一个池化核心为(3，3)的最大池化层和一个卷积核心为(1，1)的所述Conv2d_BN子模块；
所述第三最大池化层的池化核心为(2，2)，步长为(2，2)，padding类型为same；
所述第二Inception模块也包括有五个输出通道数分别为96个的且在通道的维度上按顺序拼接起来的并行分支：第一个并行分支包括有一个卷积核心为(1，1)的所述Conv2d_BN子模块，第二个并行分支沿正向传播方向依次包括有一个卷积核心为(1，1)的所述Conv2d_BN子模块和一个卷积核心为(3，3)的所述Conv2d_BN子模块，第三个并行分支沿正向传播方向依次包括有一个卷积核心为(1，1)的所述Conv2d_BN子模块和一个卷积核心为(5，5)的所述Conv2d_BN子模块，第四个并行分支沿正向传播方向依次包括有一个卷积核心为(1，1)的所述Conv2d_BN子模块和一个卷积核心为(7，7)的所述Conv2d_BN子模块，第五个并行分支沿正向传播方向依次包括有一个池化核心为(3，3)的最大池化层和一个卷积核心为(1，1)的所述Conv2d_BN子模块；
所述第四最大池化层的池化核心为(2，2)，步长为(2，2)，padding类型为same；
所述第三Inception模块也包括有五个输出通道数分别为96个的且在通道的维度上按顺序拼接起来的并行分支：第一个并行分支包括有一个卷积核心为(1，1)的所述Conv2d_BN子模块，第二个并行分支沿正向传播方向依次包括有一个卷积核心为(1，1)的所述Conv2d_BN子模块和一个卷积核心为(3，3)的所述Conv2d_BN子模块，第三个并行分支沿正向传播方向依次包括有一个卷积核心为(1，1)的所述Conv2d_BN子模块和一个卷积核心为(5，5)的所述Conv2d_BN子模块，第四个并行分支沿正向传播方向依次包括有一个卷积核心为(1，1)的所述Conv2d_BN子模块和一个卷积核心为(7，7)的所述Conv2d_BN子模块，第五个并行分支沿正向传播方向依次包括有一个池化核心为(3，3)的最大池化层和一个卷积核心为(1，1)的所述Conv2d_BN子模块；
所述平均池化层的池化核心为(3，3)，步长为(2，2)，padding类型为same；
所述扁平化层用于将特征图展成一行，便于后面接第一丢弃层；
所述第一丢弃层用于随机地使一半的神经元失活，避免过拟合，提高泛化能力；
所述第一全连接层的神经元数量为512，激活函数为relu激活函数；
所述第二丢弃层用于随机地使一半的神经元失活，避免过拟合，提高泛化能力；
所述第二全连接层的神经元数量为512，激活函数为relu激活函数；
所述第三全连接层的神经元数量为2，激活函数为softmax激活函数，其中，所述softmax激活函数用于识别影像为正例的概率和识别影像为负例的概率。
6.一种基于GoogLeNet网络模型实现医学影像辅助诊断的装置，其特征在于，包括样本获取模块、样本预处理模块、模型迭代训练模块、影像获取模块、影像预处理模块、影像识别模块和影像诊断模块，其中，所述模型迭代训练模块包括模型训练子模块、损失计算子模块、参数更新子模块和迭代控制子模块；
所述样本获取模块，用于获取若干张样本医学影像和对应各张样本医学影像的诊断标签，其中，所述诊断标签为正例或负例；
所述样本预处理模块，通信连接所述样本获取模块，用于对各张样本医学影像进行图像预处理，得到相应的且呈正方形、尺寸大小一致和归一化的标准样本医学影像，同时对相应的诊断标签进行如下形式的数字编码；若为正例，标记为1，而若为负例，标记为0；
所述模型训练子模块，通信连接所述样本预处理模块，用于从训练样本数据集中抽取2n张标准样本医学影像，然后将这些标准样本医学影像导入至GoogLeNet网络模型中进行正向传播，得到对应各张标准样本医学影像的第一预测概率，其中，所述训练样本数据集包括有不少于2n张的所述标准样本医学影像，n为介于4～8之间的自然数，所述第一预测概率包括识别影像为正例的概率和识别影像为负例的概率；
所述损失计算子模块，分别通信连接所述模型训练子模块和所述样本预处理模块，用于按照如下公式计算本次训练的平均损失值loss：
Figure FDA0002290241200000041
式中，i为介于1～2n之间的自然数，yi为第i张标准样本医学影像的诊断标签编码值，
Figure FDA0002290241200000042
为第i张标准样本医学影像的且识别影像为正例的概率，κ为常数；
所述参数更新子模块，通信连接所述损失计算子模块，用于通过梯度下降法将所述平均损失值loss逐层反向传播，进行模型参数的更新；
所述迭代控制子模块，通信连接所述损失计算子模块，用于循环地依次启动所述模型训练子模块、所述损失计算子模块和所述参数更新子模块，直到所述平均损失值loss降低到预设阈值，完成模型训练；
所述影像获取模块，用于获取待诊医学影像；
所述影像预处理模块，通信连接所述影像获取模块，用于对所述待诊医学影像进行图像预处理，得到呈正方形、尺寸大小与所述标准样本医学影像一致和归一化方式与所述标准样本医学影像一致的标准待诊医学影像；
所述影像识别模块，分别通信连接所述模型迭代训练模块和所述影像预处理模块，用于将所述标准待诊医学影像输入完成训练的GoogLeNet网络模型中，得到对应所述标准待诊医学影像的第二预测概率，其中，所述第二预测概率包括识别影像为正例的概率和识别影像为负例的概率；
所述影像诊断模块，通信连接所述影像识别模块，用于根据所述第二预测概率得出诊断结果：若所述第二预测概率中识别影像为正例的概率不小于正例与负例的分割阈值，则判定诊断结果为正例和/或阳性，否则判定诊断结果为负例和/或阴性。
7.一种基于GoogLeNet网络模型实现医学影像辅助诊断的设备，其特征在于，包括通信相连的存储器和处理器，其中，所述存储器用于存储计算机程序，所述处理器用于执行所述计算机程序实现如权利要求1～5任意一项所述基于GoogLeNet网络模型实现医学影像辅助诊断的方法步骤。
8.一种存储介质，其特征在于，所述存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1～5任意一项所述基于GoogLeNet网络模型实现医学影像辅助诊断的方法步骤。
CN201911177080.7A 2019-11-26 2019-11-26 基于GoogLeNet网络模型实现医学影像辅助诊断的方法、装置、设备及存储介质 Pending CN110930392A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911177080.7A CN110930392A (zh) 2019-11-26 2019-11-26 基于GoogLeNet网络模型实现医学影像辅助诊断的方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911177080.7A CN110930392A (zh) 2019-11-26 2019-11-26 基于GoogLeNet网络模型实现医学影像辅助诊断的方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN110930392A true CN110930392A (zh) 2020-03-27

Family

ID=69851294

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911177080.7A Pending CN110930392A (zh) 2019-11-26 2019-11-26 基于GoogLeNet网络模型实现医学影像辅助诊断的方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN110930392A (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103248854A (zh) * 2013-04-27 2013-08-14 东北大学 基于均匀置乱和混沌映射的医学图像加密方法
CN106710589A (zh) * 2016-12-28 2017-05-24 百度在线网络技术（北京）有限公司 基于人工智能的语音特征提取方法及装置
CN108257135A (zh) * 2018-02-01 2018-07-06 浙江德尚韵兴图像科技有限公司 基于深度学习方法解读医学图像特征的辅助诊断系统
US20190065897A1 (en) * 2017-08-28 2019-02-28 Boe Technology Group Co., Ltd. Medical image analysis method, medical image analysis system and storage medium
CN109493276A (zh) * 2018-11-16 2019-03-19 北京中竞鸽体育文化发展有限公司 图像编辑处理方法及装置、电子设备、存储介质
CN110136103A (zh) * 2019-04-24 2019-08-16 平安科技（深圳）有限公司 医学影像解释方法、装置、计算机设备及存储介质
CN110472545A (zh) * 2019-08-06 2019-11-19 中北大学 基于知识迁移学习的航拍电力部件图像的分类方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103248854A (zh) * 2013-04-27 2013-08-14 东北大学 基于均匀置乱和混沌映射的医学图像加密方法
CN106710589A (zh) * 2016-12-28 2017-05-24 百度在线网络技术（北京）有限公司 基于人工智能的语音特征提取方法及装置
US20190065897A1 (en) * 2017-08-28 2019-02-28 Boe Technology Group Co., Ltd. Medical image analysis method, medical image analysis system and storage medium
CN108257135A (zh) * 2018-02-01 2018-07-06 浙江德尚韵兴图像科技有限公司 基于深度学习方法解读医学图像特征的辅助诊断系统
CN109493276A (zh) * 2018-11-16 2019-03-19 北京中竞鸽体育文化发展有限公司 图像编辑处理方法及装置、电子设备、存储介质
CN110136103A (zh) * 2019-04-24 2019-08-16 平安科技（深圳）有限公司 医学影像解释方法、装置、计算机设备及存储介质
CN110472545A (zh) * 2019-08-06 2019-11-19 中北大学 基于知识迁移学习的航拍电力部件图像的分类方法

Non-Patent Citations (8)

* Cited by examiner, † Cited by third party
Title
CHRISTIAN SZEGEDY 等: "Going Deeper with Convolutions", 《2015 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR)》 *
HAFIZ MUGHEES AHMAD 等: "Classification of Breast Cancer Histology Images Using Transfer Learning", 《2019 16TH INTERNATIONAL BHURBAN CONFERENCE ON APPLIED SCIENCES AND TECHNOLOGY (IBCAST)》 *
PRANAV RAJPURKAR 等: "MURA: Large Dataset for Abnormality Detection in Musculoskeletal Radiographs", 《ARXIV》 *
SERGEY IOFFE 等: "Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift", 《ARXIV》 *
史亮亮: "基于卷积神经网络的医学图像分类方法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
张正禄 等: "《人工智能技术入门 让你也看懂的AI"内幕"》" *
张泽中 等: "基于深度学习的胃癌病理图像分类方法", 《计算机科学》 *
白阳: "基于卷积神经网络的行人检测算法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Similar Documents

Publication Publication Date Title
CN110232383B (zh) 一种基于深度学习模型的病灶图像识别方法及病灶图像识别系统
CN110689038B (zh) 神经网络模型的训练方法、装置和医学图像处理系统
CN110859642B (zh) 一种基于AlexNet网络模型实现医学影像辅助诊断的方法、装置、设备及存储介质
CN110298383B (zh) 基于多模态深度学习的病理分类方法及系统
CN108335303B (zh) 一种应用于手掌x光片的多尺度手掌骨骼分割方法
CN111291825B (zh) 病灶分类模型训练方法、装置、计算机设备和存储介质
CN110598714B (zh) 一种软骨图像分割方法、装置、可读存储介质及终端设备
CN109754403A (zh) 一种ct图像内的肿瘤自动分割方法及系统
CN111145147B (zh) 多模态医学图像的分割方法及终端设备
CN110544264A (zh) 一种基于3d深监督机制的颞骨关键解剖结构小目标分割方法
CN110310287A (zh) 基于神经网络的危及器官自动勾画方法、设备和存储介质
CN111161269B (zh) 图像分割方法、计算机设备和可读存储介质
CN110706214B (zh) 融合条件随机与残差的三维U-Net大脑肿瘤分割方法
CN114494296A (zh) 一种基于Unet和Transformer相融合的脑部胶质瘤分割方法与系统
CN111028248A (zh) 一种基于ct图像的静动脉分离方法及装置
CN111080654B (zh) 图像的病变区域分割方法、装置及服务器
CN111091575B (zh) 一种基于强化学习方法的医学图像分割方法
CN111582437B (zh) 一种视差回归深度神经网络的构造方法
CN110570394A (zh) 医学图像分割方法、装置、设备及存储介质
CN110458852A (zh) 基于胶囊网络的肺组织分割方法、装置、设备及存储介质
CN111127487B (zh) 一种实时多组织医学图像的分割方法
CN112150470A (zh) 图像分割方法、装置、介质及电子设备
WO2024087858A1 (zh) 图像处理模型的训练方法、装置、电子设备、计算机程序产品及计算机存储介质
CN110930391A (zh) 一种基于VggNet网络模型实现医学影像辅助诊断的方法、装置、设备及存储介质
WO2021097595A1 (zh) 图像的病变区域分割方法、装置及服务器

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200327