CN111680755B - 医学图像识别模型构建及医学图像识别方法、装置、介质及终端 - Google Patents

医学图像识别模型构建及医学图像识别方法、装置、介质及终端 Download PDF

Info

Publication number
CN111680755B
CN111680755B CN202010530164.0A CN202010530164A CN111680755B CN 111680755 B CN111680755 B CN 111680755B CN 202010530164 A CN202010530164 A CN 202010530164A CN 111680755 B CN111680755 B CN 111680755B
Authority
CN
China
Prior art keywords
medical image
image recognition
model
recognition model
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010530164.0A
Other languages
English (en)
Other versions
CN111680755A (zh
Inventor
翟广涛
刘剑楠
刘子甲
韩婧
周子疌
吴昊
张乔宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ninth Peoples Hospital Shanghai Jiaotong University School of Medicine
Original Assignee
Ninth Peoples Hospital Shanghai Jiaotong University School of Medicine
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ninth Peoples Hospital Shanghai Jiaotong University School of Medicine filed Critical Ninth Peoples Hospital Shanghai Jiaotong University School of Medicine
Priority to CN202010530164.0A priority Critical patent/CN111680755B/zh
Publication of CN111680755A publication Critical patent/CN111680755A/zh
Application granted granted Critical
Publication of CN111680755B publication Critical patent/CN111680755B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/29—Graphical models, e.g. Bayesian networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G06V2201/032—Recognition of patterns in medical or anatomical images of protuberances, polyps nodules, etc.
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

本发明提供医学图像识别模型构建及医学图像识别方法、装置、介质及终端。其中，所述医学图像识别模型构建方法包括获取医学图像数据，并对其进行预处理，以建立图像数据集；将预训练的多层深度残差网络和多层视觉几何组网络并联连接，以生成并行网络模型；利用所述图像数据集对所述并行网络模型进行训练，以获得医学图像识别模型。所述医学图像识别方法包括：获取待识别的医学图像；将所述待识别的医学图像输入医学图像识别模型，并输出对应的疾病类型信息；其中，所述医学图像识别模型是根据图像数据集对并行网络模型进行训练得到的。本发明解决了现有技术中医学图像识别精度不高，从而影响医学诊断的准确性和可靠性的问题。

Description

医学图像识别模型构建及医学图像识别方法、装置、介质及 终端
技术领域
本发明涉及医学图像数据处理领域，特别是涉及医学图像识别模型构建及医学图像识别方法、装置、介质及终端。
背景技术
随着计算机技术的迅猛发展，医学图像的分辨率和成像速度都得到了大幅度提升，医学图像在医学诊断中的作用也越发显著。医学图像识别技术已成为提高医学诊断准确性和可靠性的重要途径。医学图像的种类主要包括X射线成像、核磁共振成像、核医学成像和超声波成像四类。目前的影像医学诊断中，主要依据医生的经验对医学图像中的病变体进行诊断识别，因此，医学图像识别的准确性受到医生主观性、医生认知差异性及其时间精力等因素的限制。
随着人工智能的日益发展及其在自然图像识别中的作用，人工智能也开始应用于医学图像分析，通过从图像数据中获得人眼不能识别的抽象特征以实现对图像的高精度识别。现阶段的图像识别技术主要应用于自然图像处理，在医学图像领域的应用尚处于初级阶段，并且识别的准确性和可靠性还有待提高。
发明内容
鉴于以上所述现有技术的缺点，本发明的目的在于提供医学图像识别模型构建及医学图像识别方法、装置、介质及终端，用于解决现有技术中医学图像识别精度不高，从而影响医学诊断的准确性和可靠性的问题。
为实现上述目的及其他相关目的，本发明的第一方面提供一种基于并行网络的医学图像识别模型构建方法，包括：获取医学图像数据，并对其进行预处理，以建立图像数据集；将预训练的多层深度残差网络和多层视觉几何组网络并联连接，以生成并行网络模型；利用所述图像数据集对所述并行网络模型进行训练，以获得医学图像识别模型。
于本发明的第一方面的一些实施例中，所述并行网络模型的生成方式包括：获取所述预训练的多层深度残差网络和多层视觉几何组网络，并删除多层深度残差网络的全局平均池化层与全连接层，以及删除多层视觉几何组网络的全连接层；将删除处理后的深度残差网络和视觉几何组网络并联连接，以生成预训练模型；为所述预训练模型增设新层，以生成所述并行网络模型。
于本发明的第一方面的一些实施例中，所述新层由多个卷积层、单/多个全局平均池化层以及单/多个具有激活函数的全连接层堆叠生成。
于本发明的第一方面的一些实施例中，所述医学图像识别模型的生成方式包括：冻结所述并行网络模型中除所述新层之外的所有隐藏层的权值；利用所述图像数据集对权值冻结后的并行网络模型进行反向传播训练，以生成所述医学图像识别模型。
于本发明的第一方面的一些实施例中，所述方法包括：采用优化算法对所述医学图像识别模型进行参数优化处理。
于本发明的第一方面的一些实施例中，所述图像数据的预处理包括：定义感兴趣区域、进行图像裁剪、增强图像对比度和标签标记图像。
于本发明的第一方面的一些实施例中，所述方法包括：采用数据增强技术以增大图像数据集；所述数据增强技术包括颜色变换、几何变换、图像旋转、图像翻转中的任一种或多种的组合。
为实现上述目的及其他相关目的，本发明的第二方面提供一种基于并行网络的医学图像识别方法，其特征在于，包括：获取待识别的医学图像；将所述待识别的医学图像输入医学图像识别模型，并输出对应的疾病类型信息；其中，所述医学图像识别模型是根据图像数据集对并行网络模型进行训练得到的。
为实现上述目的及其他相关目的，本发明的第三方面提供一种医学图像识别模型构建装置，包括：图像数据集建立模块，获取医学图像数据，并对其进行预处理，以建立图像数据集；并行网络模型生成模块，将预训练的多层深度残差网络和多层视觉几何组网络并联连接，以生成并行网络模型；医学图像识别模型生成模块，利用所述图像数据集对所述并行网络模型进行训练，以获得医学图像识别模型。
为实现上述目的及其他相关目的，本发明的第四方面提供一种医学图像识别装置，包括：医学图像获取模块，获取待识别的医学图像；医学图像识别模块，将所述待识别的医学图像输入医学图像识别模型，并输出对应的疾病类型信息；其中，所述医学图像识别模型是根据图像数据集对并行网络模型进行训练得到的。
为实现上述目的及其他相关目的，本发明的第五方面提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现所述基于并行网络的医学图像识别模型构建方法。
为实现上述目的及其他相关目的，本发明的第六方面提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现所述基于并行网络的医学图像识别方法。
为实现上述目的及其他相关目的，本发明的第七方面提供一种电子终端，包括：处理器及存储器；所述存储器用于存储计算机程序，所述处理器用于执行所述存储器存储的计算机程序，以使所述终端执行所述基于并行网络的医学图像识别模型构建方法。
为实现上述目的及其他相关目的，本发明的第八方面提供一种电子终端，包括：处理器及存储器；所述存储器用于存储计算机程序，所述处理器用于执行所述存储器存储的计算机程序，以使所述终端执行所述基于并行网络的医学图像识别方法。
如上所述，本发明提出的医学图像识别模型构建及医学图像识别方法、装置、介质及终端，具有以下有益效果：解决现有技术中医学图像识别精度不高的问题，提高医学诊断的准确性和可靠性；避免了由于医生个体认知、经验、精力、时间等因素限制可能造成的误诊；提高了医疗诊断的效率，节约了医疗资源。
附图说明
图1显示为本发明一实施例中基于并行网络的医学图像识别模型构建方法流程示意图。
图2显示为本发明一实施例中医学图像识别模型的网络结构示意图。
图3显示为本发明一实施例中医学图像识别模型分别对应于训练、验证和测试数据集的接收器工作特性曲线图。
图4显示为本发明一实施例中四类模型的接收器工作特性曲线图。
图5显示为本发明一实施例中医学图像识别模型构建装置结构示意图。
图6显示为本发明一实施例中医学图像识别装置结构示意图。
图7显示为本发明一实施例中电子终端的结构示意图。
图8显示为本发明一实施例中电子终端的结构示意图。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
需要说明的是，在下述描述中，参考附图，描述了本发明的若干实施例。应当理解，还可使用其他实施例。下面的详细描述不应该被认为是限制性的，并且本发明的实施例的范围仅由公布的专利的权利要求书所限定。这里使用的术语仅是为了描述特定实施例，而并非旨在限制本发明。单数形式“一”、“一个”和“该”也包括复数形式，除非上下文中有相反的指示。应当进一步理解，术语“包含”、“包括”表明存在所述的特征、操作、元件、组件、项目、种类、和/或组，但不排除一个或多个其他特征、操作、元件、组件、项目、种类、和/或组的存在、出现或添加。此处使用的术语“或”和“和/或”被解释为包括性的，或意味着任一个或任何组合。因此，“A、B或C”或者“A、B和/或C”意味着“以下任一个：A；B；C；A和B；A和C；B和C；A、B和C”。仅当元件、功能或操作的组合在某些方式下内在地互相排斥时，才会出现该定义的例外。
本发明提出医学图像识别模型构建及医学图像识别方法、装置、介质及终端，用于解决现有技术中医学图像识别精度不高的问题。
为了使本发明的目的、技术方案及优点更加清楚明白，通过下述实施例并结合附图，对本发明实施例中的技术方案的进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定发明。
实施例一
图1所示为本发明一实施例中基于并行网络的医学图像识别模型构建方法流程示意图，具体包括步骤如下：
步骤11.获取医学图像数据，并对其进行预处理，以建立图像数据集。所述医学图像数据的类型包括X射线图像、核磁共振图像、核医学图像和超声波图像等。所述图像数据的预处理包括：定义感兴趣区域，即由专家勾勒定义所述医学图像中的感兴趣区域(ROI，region of interest)，可以更好地聚焦医学图像的病变区域和肿瘤纹理；图像裁剪，包括相对裁剪、绝对裁剪、固定裁剪、缩略图和大小裁剪等，可以帮助筛选关键的图像数据；增强图像，可以采用灰度图像方法、(伪)彩色图像方法、全局处理方法、局部处理方法、空间域方法(点域运算，即灰度变换；领域方法，即空域滤波)、频域方法、图像锐化、平滑去噪、灰度调整、直方图均衡化、拉普拉斯变换、对数变换或伽马变换等方法，将图像转换为更适合于人或机器处理分析的形式，抑制无用信息，突出有意义的信息，提高图像的使用价值；标签标记图像，为图像贴上语义概念的标签，例如关键字，可采用单标签标记方法或多标签标记方法。
本实施例较佳实施方式中，可以采用数据增强技术来增大图像数据集。所述数据增强技术包括颜色变换、几何变换、图像旋转、图像翻转(例如，水平翻转或垂直翻转)中的任一种或多种的组合。以卷积神经网络(Convolutional Neural Networks，CNN)为例，由于卷积神经网络具有强大的特征提取能力，但通常需要大数据集(例如，数百万个样本)才能满足感知的需求，若采用小数据集，可能会由于数据集的分布不平衡，使得卷积神经网络对小数据集中的数据过分敏感，缺少足够的泛化能力，从而导致过拟合问题。采用所述数据增强技术可以有效减轻所述过拟合现象。
步骤12.将预训练的多层深度残差网络和多层视觉几何组网络并联连接，以生成并行网络模型。具体的，由于在医学应用中不易获取医学图像的大量数据集，而较小的数据集又会导致CNN无法学习足够的分类特征，从而造成模型性能降低。为解决上述问题，引入迁移学习方法：首先，在大型数据集上训练模型以学习分类信息；然后，与其他任务共享通过大型数据集训练后获得的“先验知识”。具体来说，“先验知识”就是通过大型数据集训练后获得的网络权重，新任务将这些值用作初始权重。
本实施例较佳实施方式中，所述并行网络模型的生成方式包括步骤121和步骤122，表述如下：
步骤121.获取所述预训练的多层深度残差网络和多层视觉几何组网络，并删除多层深度残差网络的全局平均池化层与全连接层，以及删除多层视觉几何组网络的全连接层。所述多层深度残差网络ResNet和多层视觉几何组网络VGG在大型数据集中完成预训练，可选的大型数据集有：ImageNet数据集、PASCALVOC数据集、Labelme数据集、COCO数据集、SUN数据集、Caltech数据集、Corel5K数据集、CIFAR数据集等等。
举例说明，以成釉细胞瘤(Ameloblastoma)和角化囊性瘤(KCOT)为例，所述多层深度残差网络选取50层深度残差网络(ResNet-50)，所述多层视觉几何组网络选取19层视觉几何组网络(VGG-19)，进行举例说明，如图2所示。其中，VGG-19的结构总共包括5个卷积块(前两个块每个都有2个卷积层，第三个到第五个块分别具有4个卷积层)和3个全连接层。每个卷积层都有一个3x3的卷积核，卷积步长为1，每个卷积块的后面连接大小为2x2且卷积步长为2的最大池化层。ResNet-50的结构总共包括：1个卷积层(有一个7x7的感知域，后接一个最大池化层)、16个残差块、1个全连接层和1个平均池化层。其中，第一个卷积层用于减少部分特征冗余，减少输入到后端残差块的数据量，提升识别精度。每一个残差块都包括一个由大小分别为1x1、3x3和1x1卷积层组成的瓶颈结构，并将输入与输出通过跳跃连接方式进行拼接，再通过一个Batch Normalization层和一个Relu激活层。ResNet可以通过残差连接有效克服神经网络达到一定层数后的梯度弥散问题，在分类任务中具有良好性能。分别在大型数据集中预训练所述VGG-19和ResNet-50，优选当前世界上最大的图像数据库ImageNet数据库，使模型充分提取图像特征。在分别提取特征之后，删除VGG-19的3个全连接层，ResNet-50的1个全连接层和1个平均池化层。
步骤122.将删除处理后的深度残差网络和视觉几何组网络并联连接，以生成预训练模型；为所述预训练模型增设新层，以生成所述并行网络模型。所述并联连接的预训练模型综合了深度残差网络和视觉几何组网络分别训练学习的图像特征，比单一的深度残差网络或单一的视觉几何组网络具有更好的图像识别性能，具有更高的准确性、敏感性和特异性。
本实施例较佳实施方式中，所述新层由多个卷积层、单/多个全局平均池化层以及单/多个具有激活函数的全连接层堆叠生成。所述激活函数可选用softmax函数、Sigmoid函数、Tanh函数、ReLU函数等等。所述新层中全连接层的输出经过激活函数激活，得到一个多维矢量，矢量中的值对应于图像类型的预测分值，预测分值越高，图像为对应类型的概率便越高。
步骤13.利用所述图像数据集对所述并行网络模型进行训练，以获得医学图像识别模型。
本实施例较佳实施方式中，所述医学图像识别模型的生成方式包括：冻结所述并行网络模型中除所述新层之外的所有隐藏层的权值；利用所述图像数据集对权值冻结后的并行网络模型进行反向传播训练，以生成所述医学图像识别模型。
需说明的是，由于大型数据集大部分都是自然图像，所述并行网络模型中通过大型数据集训练后获得的初始权值经过优化可以识别一般自然图像的特征，但是缺乏识别特定类别(如颌面肿瘤图像)的能力。为了克服这个问题，需要冻结所述并行网络模型中除所述新层之外的所有隐藏层的权值，以确保其基本的识别能力，然后通过所述图像数据集对权值冻结后的并行网络模型的反向传播训练，所述新层可以学习获取当前任务图像特有的功能，从而获得所述医学图像识别模型，以识别与当前任务图像同类型的图像。
本实施例较佳实施方式中，所述方法还包括：采用优化算法对所述医学图像识别模型进行参数优化处理。所述优化算法可采用Adam算法、SGB(stochastic gradientdescent)算法、Momentum算法、Adagrad算法、RMSprop(root mean square propagation)算法等等，通过引入损失函数来提升模型的性能，优选的，选用交叉熵作为损失函数，具有计算复杂度低、易于计算机自适应实现的优点，尤其适用于本发明提出的模型构建方法。
实施例二
本发明实施例提供一种基于并行网络的医学图像识别方法，重点详述基于实施例一构建的医学图像识别模型的使用。所述医学图像识别方法包括如下步骤：
步骤31.获取待识别的医学图像。所述医学图像类型包括X射线图像、核磁共振图像、核医学图像和超声波图像等。
步骤32.将所述待识别的医学图像输入医学图像识别模型，并输出对应的疾病类型信息；其中，所述医学图像识别模型是根据图像数据集对并行网络模型进行训练得到的。
举例说明，以成纤维细胞瘤和角化囊肿的医学图像识别模型为例，运用所述医学图像识别方法对成纤维细胞瘤和角化囊肿进行识别：首先，获取成纤维细胞瘤和角化囊肿的医学图像，共计420张全景X射线图像；然后，将所获取的全景X射线图像按7：1：2的比例随机分为训练数据集(146张成纤维细胞瘤图像和149张角化囊肿图像)、验证数据集(22张成纤维细胞瘤图像和20张角化囊肿图像)和测试数据集(41张成纤维细胞瘤图像和42张角化囊肿图像)；基于所述训练数据集，在带有Tensorflow后端的Keras框架中获取医学图像识别模型，其中，学习率设置为0.0001，图像批处理大小设置为8，并且整流非线性(ReLu)激活和批量归一化(BN)应用于所有卷积层；然后，利用Adam算法，并采用交叉熵作为损失函数，对所述医学图像识别模型的所述新层的权值进行了优化；将优化处理后的医学图像识别模型进行测试验证。
通过上述对成纤维细胞瘤和角化囊肿医学图像的识别，可直观展现本发明提出的医学图像识别模型的性能，如表1所示。表1显示了基于并行网络的医学图像识别模型在训练(Training)、验证(Validation)和测试(Testing)数据集上的性能。本次应用中该模型的准确性、敏感性和特异性分别达到90.36％、92.88％和87.80％，展现了优秀的图像识别性能。
表1
准确性(％) 敏感性(％) 特异性(％)
训练数据集 96.27 99.33 93.15
验证数据集 92.86 95.00 90.91
测试数据集 90.36 92.86 87.80
图3所示为本次应用中训练、验证和测试数据集对应的接收器工作特性曲线(ROC)和相应的AUC(Area Under Curve)值，其中AUC值分别为0.998、0.966和0.946，均接近于1，表明识别方法具有较高的真实性。
表2所示为四类模型的性能对比，包括：预训练VGG-19、预训练ResNet-50、本发明提出的医学图像识别模型(Proposed Network)，以及未经预训练的VGG-19和ResNet-50并联连接的并行网络模型(Network from scratch)，其中所述未经预训练的并行网络模型根据高斯分布获得其初始权重。图4所示为上述四类模型对应的接收器工作特性曲线和相应的AUC值。表2和图4表明，本发明提出的医学图像识别模型比单个预训练模型或未经过预训练的并行网络模型具有更好的图像识别性能。
表2
准确性(％) 敏感性(％) 特异性(％)
预训练VGG-19 80.72 76.19 85.37
预训练ReNet-50 78.31 85.71 70.73
医学图像识别模型 90.36 92.86 87.80
未经预训练的并行网络模型 69.88 66.67 73.17
实施例三
本实施例提供一种医学图像识别模型构建装置，如图5所示，包括：图像数据集建立模块51，获取医学图像数据，并对其进行预处理，以建立图像数据集；并行网络模型生成模块52，将预训练的多层深度残差网络和多层视觉几何组网络并联连接，以生成并行网络模型；医学图像识别模型生成模块53，利用所述图像数据集对所述并行网络模型进行训练，以获得医学图像识别模型。
需要说明的是，本实施例提供的模块与实施例一中提供的方法，实施方式类似，故不再赘述。另外需要说明的是，应理解以上装置的各个模块的划分仅仅是一种逻辑功能的划分，实际实现时可以全部或部分集成到一个物理实体上，也可以物理上分开。且这些模块可以全部以软件通过处理元件调用的形式实现；也可以全部以硬件的形式实现；还可以部分模块通过处理元件调用软件的形式实现，部分模块通过硬件的形式实现。例如，医学图像识别模型生成模块53可以为单独设立的处理元件，也可以集成在上述装置的某一个芯片中实现，此外，也可以以程序代码的形式存储于上述装置的存储器中，由上述装置的某一个处理元件调用并执行以上医学图像识别模型生成模块53的功能。其它模块的实现与之类似。此外这些模块全部或部分可以集成在一起，也可以独立实现。这里所述的处理元件可以是一种集成电路，具有信号的处理能力。在实现过程中，上述方法的各步骤或以上各个模块可以通过处理器元件中的硬件的集成逻辑电路或者软件形式的指令完成。
例如，以上这些模块可以是被配置成实施以上方法的一个或多个集成电路，例如：一个或多个特定集成电路(Application Specific Integrated Circuit，简称ASIC)，或，一个或多个微处理器(digital signal processor，简称DSP)，或，一个或者多个现场可编程门阵列(Field Programmable Gate Array，简称FPGA)等。再如，当以上某个模块通过处理元件调度程序代码的形式实现时，该处理元件可以是通用处理器，例如中央处理器(Central Processing Unit，简称CPU)或其它可以调用程序代码的处理器。再如，这些模块可以集成在一起，以片上系统(system-on-a-chip，简称SOC)的形式实现。
实施例四
本实施例提供一种基于并行网络的医学图像识别装置，如图6所示，包括：医学图像获取模块61，获取待识别的医学图像；医学图像识别模块62，将所述待识别的医学图像输入医学图像识别模型，并输出对应的疾病类型信息；其中，所述医学图像识别模型是根据图像数据集对并行网络模型进行训练得到的。
需要说明的是，本实施例提供的模块与实施例二中提供的方法，实施方式类似，故不再赘述。另外需要说明的是，应理解以上装置的各个模块的划分仅仅是一种逻辑功能的划分，实际实现时可以全部或部分集成到一个物理实体上，也可以物理上分开。且这些模块可以全部以软件通过处理元件调用的形式实现；也可以全部以硬件的形式实现；还可以部分模块通过处理元件调用软件的形式实现，部分模块通过硬件的形式实现。例如，医学图像识别模块62可以为单独设立的处理元件，也可以集成在上述装置的某一个芯片中实现，此外，也可以以程序代码的形式存储于上述装置的存储器中，由上述装置的某一个处理元件调用并执行以上医学图像识别模块62的功能。其它模块的实现与之类似。此外这些模块全部或部分可以集成在一起，也可以独立实现。这里所述的处理元件可以是一种集成电路，具有信号的处理能力。在实现过程中，上述方法的各步骤或以上各个模块可以通过处理器元件中的硬件的集成逻辑电路或者软件形式的指令完成。
例如，以上这些模块可以是被配置成实施以上方法的一个或多个集成电路，例如：一个或多个特定集成电路(Application Specific Integrated Circuit，简称ASIC)，或，一个或多个微处理器(digital signal processor，简称DSP)，或，一个或者多个现场可编程门阵列(Field Programmable Gate Array，简称FPGA)等。再如，当以上某个模块通过处理元件调度程序代码的形式实现时，该处理元件可以是通用处理器，例如中央处理器(Central Processing Unit，简称CPU)或其它可以调用程序代码的处理器。再如，这些模块可以集成在一起，以片上系统(system-on-a-chip，简称SOC)的形式实现。
实施例五
本实施例提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现所述基于并行网络的医学图像识别模型构建方法。
本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过计算机程序相关的硬件来完成。前述的计算机程序可以存储于一计算机可读存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
实施例六
本实施例提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现所述基于并行网络的医学图像识别方法。
本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过计算机程序相关的硬件来完成。前述的计算机程序可以存储于一计算机可读存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
实施例七
图7所示为本发明实施例提供的一种电子终端的结构示意图。本实例提供的电子终端，包括：处理器71、存储器72、通信器73；存储器72通过系统总线与处理器71和通信器73连接并完成相互间的通信，存储器72用于存储计算机程序，通信器73用于和其他设备进行通信，处理器71用于运行计算机程序，使电子终端执行如上基于并行网络的医学图像识别模型构建方法的各个步骤。
上述提到的系统总线可以是外设部件互连标准(Peripheral ComponentInterconnect，简称PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，简称EISA)总线等。该系统总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。通信接口用于实现数据库访问装置与其他设备(例如客户端、读写库和只读库)之间的通信。存储器可能包含随机存取存储器(Random Access Memory，简称RAM)，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital Signal Processing，简称DSP)、专用集成电路(Application SpecificIntegrated Circuit，简称ASIC)、现场可编程门阵列(Field－Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
实施例八
图8所示为本发明实施例提供的一种电子终端的结构示意图。本实例提供的电子终端，包括：处理器81、存储器82、通信器83；存储器82通过系统总线与处理器81和通信器83连接并完成相互间的通信，存储器82用于存储计算机程序，通信器83用于和其他设备进行通信，处理器81用于运行计算机程序，使电子终端执行如上基于并行网络的医学图像识别方法的各个步骤。
上述提到的系统总线可以是外设部件互连标准(Peripheral ComponentInterconnect，简称PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，简称EISA)总线等。该系统总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。通信接口用于实现数据库访问装置与其他设备(例如客户端、读写库和只读库)之间的通信。存储器可能包含随机存取存储器(Random Access Memory，简称RAM)，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital Signal Processing，简称DSP)、专用集成电路(Application SpecificIntegrated Circuit，简称ASIC)、现场可编程门阵列(Field－Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
综上所述，本发明提供医学图像识别模型构建及医学图像识别方法、装置、介质及终端，解决了现有技术中医学图像识别精度不高的问题，提高了医学诊断的准确性和可靠性；避免了由于医生个体认知、经验、精力、时间等因素限制可能造成的误诊；提高了医疗诊断的效率，节约了医疗资源。所以，本发明有效克服了现有技术中的种种缺点而具高度产业利用价值。
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims (11)

1.一种基于并行网络的医学图像识别模型构建方法，其特征在于，包括：
获取医学图像数据，并对其进行预处理，以建立图像数据集；
将预训练的多层深度残差网络和多层视觉几何组网络并联连接，以生成并行网络模型；所述并行网络模型的生成方式包括：获取所述预训练的多层深度残差网络和多层视觉几何组网络，并删除多层深度残差网络的全局平均池化层与全连接层，以及删除多层视觉几何组网络的全连接层；将删除处理后的深度残差网络和视觉几何组网络并联连接，以生成预训练模型；为所述预训练模型增设新层，以生成所述并行网络模型；所述新层由多个卷积层、单/多个全局平均池化层以及单/多个具有激活函数的全连接层堆叠生成，所述新层中全连接层的输出经过激活函数激活，得到一个多维矢量，矢量中的值对应于图像类型的预测分值，预测分值越高，图像为对应类型的概率便越高；
利用所述图像数据集对所述并行网络模型进行训练，以获得医学图像识别模型；所述医学图像识别模型的生成方式包括：冻结所述并行网络模型中除所述新层之外的所有隐藏层的权值；利用所述图像数据集对权值冻结后的并行网络模型进行反向传播训练，以生成所述医学图像识别模型。
2.根据权利要求1所述的方法，其特征在于，所述方法包括：采用优化算法对所述医学图像识别模型进行参数优化处理。
3.根据权利要求1所述的方法，其特征在于，所述图像数据的预处理包括：定义感兴趣区域、进行图像裁剪、增强图像对比度和标签标记图像。
4.根据权利要求1所述的方法，其特征在于，所述方法包括：采用数据增强技术以增大图像数据集；所述数据增强技术包括颜色变换、几何变换、图像旋转、图像翻转中的任一种或多种的组合。
5.一种基于并行网络的医学图像识别方法，其特征在于，包括：
获取待识别的医学图像；
将所述待识别的医学图像输入医学图像识别模型，并输出对应的疾病类型信息；其中，所述医学图像识别模型是根据图像数据集对并行网络模型进行训练得到的，采用如权利要求1至4中任一项所述基于并行网络的医学图像识别模型构建方法。
6.一种医学图像识别模型构建装置，实施如权利要求1至4中任一项所述基于并行网络的医学图像识别模型构建方法，其特征在于，包括：
图像数据集建立模块，获取医学图像数据，并对其进行预处理，以建立图像数据集；
并行网络模型生成模块，将预训练的多层深度残差网络和多层视觉几何组网络并联连接，以生成并行网络模型；
医学图像识别模型生成模块，利用所述图像数据集对所述并行网络模型进行训练，以获得医学图像识别模型。
7.一种医学图像识别装置，其特征在于，包括：
医学图像获取模块，获取待识别的医学图像；
医学图像识别模块，将所述待识别的医学图像输入医学图像识别模型，并输出对应的疾病类型信息；其中，所述医学图像识别模型是根据图像数据集对并行网络模型进行训练得到的，采用如权利要求1至4中任一项所述基于并行网络的医学图像识别模型构建方法。
8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至4中任一项所述基于并行网络的医学图像识别模型构建方法。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求5所述基于并行网络的医学图像识别方法。
10.一种电子终端，其特征在于，包括：处理器及存储器；
所述存储器用于存储计算机程序；所述处理器用于执行所述存储器存储的计算机程序，以使所述终端执行如权利要求1至4中任一项所述基于并行网络的医学图像识别模型构建方法。
11.一种电子终端，其特征在于，包括：处理器及存储器；
所述存储器用于存储计算机程序；所述处理器用于执行所述存储器存储的计算机程序，以使所述终端执行如权利要求5所述基于并行网络的医学图像识别方法。
CN202010530164.0A 2020-06-11 2020-06-11 医学图像识别模型构建及医学图像识别方法、装置、介质及终端 Active CN111680755B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010530164.0A CN111680755B (zh) 2020-06-11 2020-06-11 医学图像识别模型构建及医学图像识别方法、装置、介质及终端

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010530164.0A CN111680755B (zh) 2020-06-11 2020-06-11 医学图像识别模型构建及医学图像识别方法、装置、介质及终端

Publications (2)

Publication Number Publication Date
CN111680755A CN111680755A (zh) 2020-09-18
CN111680755B true CN111680755B (zh) 2023-06-27

Family

ID=72454790

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010530164.0A Active CN111680755B (zh) 2020-06-11 2020-06-11 医学图像识别模型构建及医学图像识别方法、装置、介质及终端

Country Status (1)

Country Link
CN (1) CN111680755B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112466461A (zh) * 2020-10-26 2021-03-09 淮阴工学院 一种基于多网络集成的医疗图像智能诊断方法
CN113034415B (zh) * 2021-03-23 2021-09-14 哈尔滨市科佳通用机电股份有限公司 一种铁路机车小部件图像扩增的方法
CN113093282A (zh) * 2021-04-18 2021-07-09 吉林大学 一种基于几何模态特征并行网络的沙漠数据消噪方法
CN113298744B (zh) * 2021-06-07 2022-10-28 长春理工大学 一种端到端的红外与可见光图像融合方法
CN117253197A (zh) * 2023-11-20 2023-12-19 国网天津市电力公司培训中心 电力电缆缓冲层状态监测方法、系统和设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106651830A (zh) * 2016-09-28 2017-05-10 华南理工大学 一种基于并行卷积神经网络的图像质量测试方法
CN107341506A (zh) * 2017-06-12 2017-11-10 华南理工大学 一种基于多方面深度学习表达的图像情感分类方法
CN110504029A (zh) * 2019-08-29 2019-11-26 腾讯医疗健康(深圳)有限公司 一种医学图像处理方法、医学图像识别方法及装置
CN110543895A (zh) * 2019-08-08 2019-12-06 淮阴工学院 一种基于VGGNet和ResNet的图像分类方法
CN110647912A (zh) * 2019-08-15 2020-01-03 深圳久凌软件技术有限公司 细粒度图像识别方法、装置、计算机设备及存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9846938B2 (en) * 2015-06-01 2017-12-19 Virtual Radiologic Corporation Medical evaluation machine learning workflows and processes

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106651830A (zh) * 2016-09-28 2017-05-10 华南理工大学 一种基于并行卷积神经网络的图像质量测试方法
CN107341506A (zh) * 2017-06-12 2017-11-10 华南理工大学 一种基于多方面深度学习表达的图像情感分类方法
CN110543895A (zh) * 2019-08-08 2019-12-06 淮阴工学院 一种基于VGGNet和ResNet的图像分类方法
CN110647912A (zh) * 2019-08-15 2020-01-03 深圳久凌软件技术有限公司 细粒度图像识别方法、装置、计算机设备及存储介质
CN110504029A (zh) * 2019-08-29 2019-11-26 腾讯医疗健康(深圳)有限公司 一种医学图像处理方法、医学图像识别方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
宫霞.基于深度学习的肺癌患者颈部淋巴结良恶性辅助超声诊断.《计算机应用与软件》.2019,全文. *

Also Published As

Publication number Publication date
CN111680755A (zh) 2020-09-18

Similar Documents

Publication Publication Date Title
CN111680755B (zh) 医学图像识别模型构建及医学图像识别方法、装置、介质及终端
Li et al. A deep learning method for change detection in synthetic aperture radar images
Gao et al. Multiscale residual network with mixed depthwise convolution for hyperspectral image classification
CN111652321B (zh) 一种基于改进yolov3算法的海上船舶检测方法
CN111027576B (zh) 基于协同显著性生成式对抗网络的协同显著性检测方法
JP6107531B2 (ja) 特徴抽出プログラム及び情報処理装置
Li et al. A survey on deep-learning-based real-time SAR ship detection
Nkamgang et al. A neuro-fuzzy system for automated detection and classification of human intestinal parasites
CN116468663A (zh) 一种基于改进YOLOv5的表面微小缺陷检测的方法
Wong et al. Segmentation of additive manufacturing defects using U-Net
CN113449784A (zh) 基于先验属性图谱的图像多分类方法、装置、设备及介质
Wang et al. Building correlations between filters in convolutional neural networks
Fan et al. A novel sonar target detection and classification algorithm
US11189015B2 (en) Method and apparatus for acquiring feature data from low-bit image
CN110909770A (zh) 结合acgan的图像样本处理方法、装置、系统和介质
CN112991281B (zh) 视觉检测方法、系统、电子设备及介质
CN114897764A (zh) 基于标准化通道注意力的肺结节假阳性排除方法及装置
CN114445356A (zh) 基于多分辨率的全视野病理切片图像肿瘤快速定位方法
CN117274662A (zh) 一种改进ResNeXt神经网络的轻量级多模态医学图像分类方法
Zhai et al. A review of the evolution of deep learning architectures and comparison of their performances for histopathologic cancer detection
CN117011274A (zh) 自动化玻璃瓶检测系统及其方法
CN116977265A (zh) 缺陷检测模型的训练方法、装置、计算机设备和存储介质
CN113221731B (zh) 一种多尺度遥感图像目标检测方法及系统
CN116051532A (zh) 基于深度学习的工业零件缺陷检测方法、系统及电子设备
Xiong et al. Attention u-net with feature fusion module for robust defect detection

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant