CN108960289B - 医用图像分类装置及方法 - Google Patents

医用图像分类装置及方法 Download PDF

Info

Publication number
CN108960289B
CN108960289B CN201810586792.3A CN201810586792A CN108960289B CN 108960289 B CN108960289 B CN 108960289B CN 201810586792 A CN201810586792 A CN 201810586792A CN 108960289 B CN108960289 B CN 108960289B
Authority
CN
China
Prior art keywords
image
training
neural network
network model
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810586792.3A
Other languages
English (en)
Other versions
CN108960289A (zh
Inventor
闾海荣
赵邑
江瑞
张学工
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Original Assignee
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University filed Critical Tsinghua University
Priority to CN201810586792.3A priority Critical patent/CN108960289B/zh
Publication of CN108960289A publication Critical patent/CN108960289A/zh
Application granted granted Critical
Publication of CN108960289B publication Critical patent/CN108960289B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/061—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using biological neurons, e.g. biological neurons connected to an integrated circuit
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Neurology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种医用图像分类装置，包括：样本库建立部，建立已有图像样本的数据库，并标注所述图像样本的类别；模型训练部，用于训练深度卷积神经网络模型；映射库建立部，建立与样本库中图像样本相对应的映射向量的数据库；图像输入部，用于将待分类的图像输入训练好的深度卷积神经网络模型，得到与待分类的图像相对应的映射向量；比较部，比较待分类的图像与图像样本的相似度；以及输出部，根据所述比较部的比较结果，输出分类结果。本发明提高了对医用图像识别的准确率。本发明还公开了一种医用图像分类方法。

Description

医用图像分类装置及方法
技术领域
本发明涉及医用图像处理技术领域，具体地，涉及一种医用图像分类装 置及方法。
背景技术
在计算机和人工智能技术还没有足够成熟之前，大多数医疗机构和诊所 对于皮肤病的诊断检查方法局限于“望闻问切”，也就是通过询问病人的病史， 物理检查，实验室化验等等，综合皮肤病变部位的颜色纹理特征，生化反应 特性来判断病人所患皮肤病的病种。通过对医用图像进行分类来识别病种， 现有技术中，对医用图像的分类识别，往往需要对原始图像进行繁杂的预处 理，需要工程师手动的设计出特征提取器，提取图像中的病理特征，随后选 择合适的分类器进行分类。这类方法难以处理泛化性较强的问题，以及复杂的多分类任务。并且，当病种种类繁多，同一病理常具有不同的表现形式时， 现有的医用图像分类方法难以对图像进行准确识别和分类，图像识别的正确 率较低，鲁棒性较差。
发明内容
鉴于以上问题，本发明的目的是提供一种医用图像分类装置及方法，以 解决现有技术中图像识别正确率较低，鲁棒性较差的问题。
为了实现上述目的，本发明采用以下技术方案：
本发明所述医用图像分类装置，包括：
样本库建立部，包括标注单元，建立已有图像样本的数据库，并标注所 述图像样本的类别；
模型训练部，用于训练深度卷积神经网络模型；
映射库建立部，建立与样本库中图像样本相对应的映射向量的数据库；
图像输入部，用于将待分类的图像输入训练好的深度卷积神经网络模型， 得到与待分类的图像相对应的映射向量；
比较部，比较待分类的图像与图像样本的相似度；以及
输出部，根据所述比较部的比较结果，输出分类结果，
其中，所述模型训练部包括：
划分单元，将图像样本划分为训练集和测试集；
三元组构建单元，从所述训练集中构建三元组作为训练参数，所述三元 组包括基准图像、与所述基准图像属于相同类别的同类图像和与所述基准图 像属于不同类别的异类图像；
训练单元，将所述三元组输入深度卷积神经网络模型进行循环迭代训练。
优选地，所述训练单元包括：
向量距离差获取模块，获取所述基准图像与所述同类图像之间以及所述 基准图像与所述异类图像的映射向量之间的距离差；
判断模块，判断所获取的映射向量距离差是否满足下式(1)，
Figure BDA0001689652420000021
式(1)中，
Figure BDA0001689652420000022
表示第i个三元组中基准图像的映射向量，
Figure BDA0001689652420000023
表示第i个 三元组中同类图像的映射向量，
Figure BDA0001689652420000024
表示第i个三元组中异类图像的映射向量， threshold表示用于区分图像是否同类的阈值，
若满足，则通过循环迭代模块进行训练参数的迭代训练，若不满足，则 通过训练参数调整模块进行训练参数的更新；
训练参数调整模块，根据下式(2)计算误差函数以及
Figure BDA0001689652420000025
和
Figure BDA0001689652420000026
的梯 度方向，从而调整训练参数，使得误差函数最小化，
Figure BDA0001689652420000027
循环迭代模块，对输入深度卷积神经网络模型的训练参数进行循环迭代 训练。
优选地，样本库建立部还包括图像处理单元，用于统一图像样本的尺寸。
优选地，所述划分单元包括：
尺度等级划分模块，根据图像拍摄尺度的大小划分图像样本的尺度等级；
训练子集划分模块，将已经划分形成的训练集根据尺度等级划分为多个 训练子集，相邻尺度等级的图像样本归为一个训练子集中。
优选地，所述模型训练部还包括：
初始化参数设置单元，将训练集中的所有图像样本输入神经网络模型中 迭代，得到初始化的参数；
子集训练单元，将多个训练子集的图像样本分别输入神经网络模型中， 对每个训练子集中的图像样本进行迭代训练。
优选地，所述比较部根据下式(3)计算两个图像的相似度：
Figure BDA0001689652420000031
式(3)中，nk表示与待诊断的图像相对应向量的第k个维度，mk表示所 述映射库建立部中的某一向量的第k个维度，dist表示待分类的图像与图像样 本的相似度。
优选地，所述输出部包括：
排序单元，将样本库中的图像样本及其类别按照与待分类图像的相似度 从小到大排列；
样本提取单元，在排列好顺序的样本库中提取前K个图像样本及其相对 应的类别；
结果输出单元，计算K个图像样本中包含的每一个类别出现的概率P， 根据P值输出分类结果。
本发明的另一个方面是提供一种医用图像分类方法，包括以下步骤：
步骤S1，建立已有图像样本的数据库，并标注所述图像样本的类别；
步骤S2，训练深度卷积神经网络模型；
步骤S3，建立与样本库中图像样本相对应的映射向量的数据库；
步骤S4，将待分类的图像输入训练好的深度卷积神经网络模型，得到与 待分类的图像相对应的映射向量；
步骤S5，比较待分类的图像与图像样本的相似度；以及
步骤S6，根据所述步骤S5的比较结果，输出分类结果，
其中，所述步骤S2包括：
步骤S21，将图像样本划分为训练集和测试集；
步骤S22，从所述训练集中构建三元组作为训练参数，所述三元组包括基 准图像、与所述基准图像属于相同类别的同类图像和与所述基准图像属于不 同类别的异类图像；
步骤S23，将所述三元组输入深度卷积神经网络模型进行循环迭代训练。
优选地，所述步骤S23包括：
步骤S231，获取所述基准图像与所述同类图像之间以及所述基准图像与 所述异类图像的对应向量的距离差；
步骤S232，判断所获取的向量距离差是否满足下式(1)，
Figure BDA0001689652420000041
式(1)中，
Figure BDA0001689652420000042
表示第i个三元组中基准图像的映射向量，
Figure BDA0001689652420000043
表示第i个 三元组中同类图像的映射向量，
Figure BDA0001689652420000044
表示第i个三元组中异类图像的映射向量， threshold表示用于区分图像是否同类的阈值，
若满足，则进行步骤S234，若不满足，则进行步骤S233；
步骤S233，根据下式(2)计算误差函数以及
Figure BDA0001689652420000045
和
Figure BDA0001689652420000046
的梯度方向， 从而调整训练参数，使得误差函数最小化，
Figure BDA0001689652420000047
步骤S234，对输入深度卷积神经网络模型的训练参数进行循环迭代训练。
优选地，所述步骤S6包括：
步骤S61，将样本库中的图像样本及其类别按照与待分类图像的相似度从 小到大排列；
步骤S62，在排列好顺序的样本库中提取前K个图像样本及其相对应的 类别；
步骤S63，计算K个图像样本中包含的每一个类别出现的概率P，根据P 值输出分类结果。
与现有技术相比，本发明具有以下优点和有益效果：
本发明通过大量表征病理特征的图像样本建立数据库，训练深度卷积神 经网络模型，对待处理图像进行分类，提高了图像识别的正确率，且通过对 新输入图像的分类识别，可以输出图像表征的疑似病种类别，可以处理泛化 性较强的病种分类以及复杂的多分类问题，以供医生和患者参考，有效避免 罕见病和相似病的误诊，为医生确诊提供一定的参考价值，提高效率，降低 误诊率。
附图说明
图1是本发明所述医用图像分类装置构成框图的示意图；
图2是本发明所述医用图像分类方法流程示意图；
图3是本发明中深度卷积神经网络模型训练流程示意图。
具体实施方式
下面将参考附图来描述本发明所述的实施例。本领域的普通技术人员可 以认识到，在不偏离本发明的精神和范围的情况下，可以用各种不同的方式 或其组合对所描述的实施例进行修正。因此，附图和描述在本质上是说明性 的，而不是用于限制权利要求的保护范围。此外，在本说明书中，附图未按 比例画出，并且相同的附图标记表示相同的部分。
下面结合图1-图3来详细说明本发明的实施例。
本发明提供一种医用图像分类装置及方法，对医用图像进行分类识别， 从而判断医用图像中病理特征所表征的疑似病种类别，辅助医生和患者的诊 断，为医生在确诊时提供一定的参考价值，降低误诊率。
需要说明的是，本发明所述医用图像分类装置及方法，可以适用于医学 领域中所有图像的分类识别，以下仅以对皮肤病图像分类识别，输出皮肤病 的疑似病种为例详细说明本发明，而本发明并不限于此。
图1是本发明所述医用图像分类装置构成框图的示意图，如图1所示， 本发明所述医用图像分类装置，包括：
样本库建立部1，包括标注单元11，建立已有图像样本的数据库，数据 库中包含大量已有的皮肤病图像样本数据，并标注图像样本的类别，将图像 样本按照皮肤病的病种进行分类整理，为每一个图像样本标注上相应的所属 病种的类别标签；由于在样本库中的图像样本没有统一来源，图像格式和大 小的差别较大，而在神经网络模型训练过程中，每一层神经元数量是一定的， 所以，需要图像具有相同的大小，以相应相同数量的神经元，优选地，样本 库建立部1还包括图像处理单元12，用于统一样本库中图像样本的尺寸，在 本发明中，为了兼顾图片的细节信息和后续的计算速度，选定图片大小为统 一的300×300。
模型训练部2，用于训练深度卷积神经网络模型，所述模型训练部2包括：
划分单元21，将图像样本划分为训练集和测试集，分别用于神经网络模 型的训练和结果测试，例如，可以将样本库中的图像样本按照4:1的比例划分 训练集和测试集。
由于在皮肤病样本库中，不同皮肤病图像样本的拍摄尺度相差较大，有 些图像是近距离特写(人体的细微部分)，而有些图片是全身/半身相(人体的 躯干部分)，如果将这些图像混在一起输入到神经网络中训练，会造成其收敛 困难或是产生过拟合的问题，优选地，划分单元21包括尺度等级划分模块211 和训练子集划分模块212，其中，尺度等级划分模块211用于根据图像拍摄尺 度的大小划分图像样本的尺度等级；训练子集划分模块212将已经划分形成 的训练集根据尺度等级划分为多个训练子集，相邻尺度等级的图像样本归为 一个训练子集中。例如，如下表所示，将图像尺度等级划分为1～5等，1等图 像的拍摄尺度最大，5等图像的拍摄尺度最小，为超近特写，表述人体细微部 分的特征；根据图像样本的拍摄尺度等级将训练集分为A、B、C三个训练子 集，将相邻尺度大小值的图像归为一个训练子集中，避免因尺度大小差别过 大而造成干扰，本发明中，A、B、C三个训练子集分别表示尺度大小值(1， 2)，(2，3，4)，(4，5)的图像样本。
Figure BDA0001689652420000061
Figure BDA0001689652420000071
三元组构建单元22，从训练集中构建三元组作为训练参数，三元组包括 基准图像、与基准图像属于相同类别的同类图像和与基准图像属于不同类别 的异类图像，其中，基准图像可以是在样本库中随机选取的任意一个图像样 本，根据对样本库中图像样本的所属病种的标注，同类图像是与所选基准图 像的病种相同，异类图像与所选基准图像的病种不同，每次均以随机生成的 三元组作为输入神经网络模型进行迭代的训练参数。
训练单元23，将三元组输入深度卷积神经网络模型进行循环迭代训练， 达到区分同类图像和不同类图像的目的，其中，输入神经网络模型中的图像 样本为300×300大小的像素矩阵，通过不断和神经网络模型中卷积层、池化 层的神经元作矩阵相乘和卷积等运算，在神经网络的末端该300×300像素矩 阵将被映射为一个128维向量输出(设置神经网络模型末端全连接层的神经元 数量为128)。
进一步地，所述训练单元23包括：
向量距离差获取模块231，获取所述基准图像与所述同类图像之间以及所 述基准图像与所述异类图像的映射向量之间的距离差，通过映射向量距离差 表征各个图像之间的距离，相同类图像的映射向量之间的距离差较小，不同 类图像的映射向量之间的距离差较大，经过循环迭代训练，需要使得相同类 图像的映射向量之间的距离差尽可能小，而不同类图像的映射向量之间的距 离差尽可能大，达到聚类和分类；
判断模块232，判断所获取向量的距离差是否满足下式(1)的设定条件，
Figure BDA0001689652420000072
式(1)中，
Figure BDA0001689652420000073
表示第i个三元组中基准图像的映射向量，a表示基准 (anchor)，
Figure BDA0001689652420000074
表示第i个三元组中同类图像的映射向量，p表示同类(positive)，
Figure BDA0001689652420000075
表示第i个三元组中异类图像的映射向量，n表示异类(negative)，threshold 表示用于区分图像是否同类的阈值，其中，映射向量为图像经过神经网络模 型提取高维特征之后转换形成的向量化表现形式。
若满足，则通过循环迭代模块234进行训练参数的迭代训练，若不满足， 则通过训练参数调整模块233进行训练参数的更新；
训练参数调整模块233，根据下式(2)计算三元组产生的误差函数值以 及
Figure BDA0001689652420000081
和
Figure BDA0001689652420000082
的梯度方向，从而调整训练参数，使得误差函数最小化，使得 相同类图像对应向量之间的距离差缩小，而不同类图像对应向量之间的距离 差增大，
Figure BDA0001689652420000083
循环迭代模块234，对输入深度卷积神经网络模型的训练参数(包括随机 生成的三元组构成的训练参数和经过调整更新的训练参数)进行循环迭代训 练。
在训练神经网络模型之前，每个神经元的初始参数值为0，若直接使用训 练集中所有样本作为训练参数进行迭代训练，会使得模型收敛困难，在进行 神经网络模型进行训练之前，可以进行模型的预训练，以同时解决模型初始 化参数设置和样本尺度信息差别大的问题。在本发明的一个实施例中，所述 模型训练部2还包括：
初始化参数设置单元24，将训练集中的所有图像样本输入神经网络模型 中迭代(迭代次数可以是100epoch)，得到的网络参数作为初始化的参数；
子集训练单元25，在获取的初始化参数的基础上，将多个训练子集的图 像样本分别输入神经网络模型中，对每个训练子集中的图像样本进行迭代训 练，不断进行训练参数的更新，本发明中，三个训练子集A、B、C按照所含 有的样本数量设置迭代次数分别为20epoch、40epoch、30epoch。
映射库建立部3，建立与样本库中图像样本相应的映射向量的数据库，以 存储神经网络模型输出的128维向量。
图像输入部4，用于将待分类的图像输入训练好的深度卷积神经网络模 型，得到与待分类的图像相对应的映射向量，本实施例中，待分类的图像是 医生或患者拍摄的待诊断的皮肤病图像，以对图像表征的病理特征进行识别 分类。其中，待分类图像的拍摄获取可以是通过专业的医疗设备拍摄，也可 以是通过手机、相机等设备拍摄，本发明对待分类图像的拍摄和采集设备并 无限制。本发明对待分类图像的尺寸没有具体限定，输入的待分类图像预先 经过图像处理单元12的处理，对其尺寸进行统一，以便于适应神经网络模型。
比较部5，比较待分类的图像与样本库中每个图像样本的相似度。
本发明的一个实施例中，所述比较部5根据下式(3)计算两个图像的相 似度：
Figure BDA0001689652420000091
式(3)中，nk表示与待分类的图像相对应的向量的第k个维度，mk表示 所述映射库建立部3中所对应的向量的第k个维度，dist表示待分类的图像与 图像样本的相似度，dist值越小，表明两个图像越相似。本发明中，将待分类 的图像输入训练好的深度卷积神经网络模型中之后，将得到一个128维映射 向量，i取值128。
输出部6，根据所述比较部5的比较结果，输出分类结果，得到与待分类 图像相对应的相似类别，例如，可以得到与待诊断皮肤病影像对应的若干疑 似病种，以供医生诊断时参考，降低误诊率。
本发明的一个实施例中，所述输出部6包括：
排序单元61，将样本库中的图像样本及其类别按照与待分类图像的相似 度从小到大排列；
样本提取单元62，在排列好顺序的样本库中提取前K个图像样本及其相 对应的类别；
结果输出单元63，计算K个图像样本中包含的每一个类别出现的概率P， 根据P值输出分类结果，根据需求可以取P值较大的几个图像样本所属病种 作为与待分类图像相对应的疑似病种，疑似病种供医生或患者诊断时参考。
例如，K个图像样本中，与图像样本相对应的j类别出现的概率根据下式 (4)计算：
Figure BDA0001689652420000092
式(4)中，m′j表示j类别在K个图像样本中出现的次数，n′j表示样本库 中j类别包含的样本数量。
本发明中，K值可以取300，即，在重新排序的样本库中取前300个图像 样本，输出分类结果时，取若干个最大P值所表示的病种作为疑似病种。
本发明的另一个方面是提供一种医用图像分类方法，图2是本发明所述 医用图像分类方法流程示意图，如图2所示，所述分类方法包括以下步骤：
步骤S1，建立已有图像样本的数据库，并标注所述图像样本的类别，例 如，图像样本是表征病理特征的皮肤病图像，类别是图像样本表征的皮肤病 所属病种，将图像样本按照皮肤病的病种进行分类整理，以便对新拍摄的皮 肤病图像表征的病种进行准确识别分类；由于在样本库中的图像样本没有统 一来源，图像格式和大小的差别较大，而在神经网络模型训练过程中，每一 层神经元数量是一定的，所以，需要图像具有相同的大小，以相应相同数量 的神经元，优选地，在将图像样本输入神经网络模型中之前，需要对图像样 本进行预处理，以统一样本库中图像样本的尺寸，在本发明中，为了兼顾图 片的细节信息和后续的计算速度，选定图片大小为统一的300×300。
步骤S2，训练深度卷积神经网络模型。
图3是本发明中深度卷积神经网络模型训练流程示意图，如图3所示， 本发明的一个实施例中，所述步骤S2包括：
步骤S21，将图像样本划分为训练集和测试集，分别用于神经网络模型的 训练和结果测试，例如，可以将样本库中的图像样本按照4:1的比例划分训练 集和测试集。
由于在皮肤病样本库中，不同皮肤病图像样本的拍摄尺度相差较大，有 些图像是近距离特写(人体的细微部分)，而有些图片是全身/半身相(人体的 躯干部分)，如果将这些图像混在一起输入到神经网络中训练，会造成其收敛 困难或是产生过拟合的问题，优选地，在对图像样本进行划分时，还包括对 图像样本的尺度等级划分以及对训练集的进一步划分，其中，根据图像拍摄 尺度的大小划分图像样本的尺度等级，将相邻尺度等级的图像样本归为一个 训练子集中，将训练集划分为多个训练子集。例如，如下表所示，将图像尺度等级划分为1～5等，1等图像的拍摄尺度最大，5等图像的拍摄尺度最小， 为超近特写，表述人体细微部分的特征；根据图像样本的拍摄尺度等级将训 练集分为A、B、C三个训练子集，将相邻尺度大小值的图像归为一个训练子 集中，避免因尺度大小差别过大而造成干扰，本发明中，A、B、C三个训练 子集分别表示尺度大小值(1，2)，(2，3，4)，(4，5)的图像样本。
尺度大小值 尺度信息 子集所属
1 全身尺度 A
2 半身/四肢尺度 A，B
3 头部/手脚/约20cm B
4 五官/手脚局部/约10cm B，C
5 超近特写/5cm以下 C
步骤S22，从所述训练集中构建三元组作为训练参数，所述三元组包括基 准图像、与基准图像属于相同类别的同类图像和与基准图像属于不同类别的 异类图像，其中，基准图像可以是在样本库中随机选取的任意一个图像样本， 在输入神经网络模型时，随机生成三元组作为训练参数输入。
步骤S23，将所述三元组输入深度卷积神经网络模型进行循环迭代训练， 其中，输入神经网络模型中的图像样本为300×300大小的像素矩阵，通过不 断和神经网络模型中卷积层、池化层的神经元作矩阵相乘和卷积等运算，在 神经网络的末端该300×300像素矩阵将被映射为一个128维向量输出(设置 神经网络模型末端全连接层的神经元数量为128)。
本发明的一个实施例中，所述步骤S23包括：
步骤S231，获取基准图像与同类图像之间以及基准图像与异类图像的映 射向量之间的距离差，通过映射向量距离差区分同类和不同类图像，相同类 图像的映射向量之间的距离差较小，不同类图像的映射向量之间的距离差较 大，经过循环迭代训练，需要使得相同类图像的映射向量之间的距离差尽可 能小，而不同类图像的映射向量之间的距离差尽可能大，达到聚类和分类；
步骤S232，判断所获取的映射向量距离差是否满足下式(1)的设定条件，
Figure BDA0001689652420000111
式(1)中，
Figure BDA0001689652420000121
表示第i个三元组中基准图像的映射向量，
Figure BDA0001689652420000122
表示第i个 三元组中同类图像的映射向量，
Figure BDA0001689652420000123
表示第i个三元组中异类图像的映射向量， threshold表示用于区分图像是否同类的阈值，
若满足，则进行步骤S234，对训练参数进行迭代训练，若不满足，则进 行步骤S233，对训练参数进行更新调整；
步骤S233，根据下式(2)计算误差函数以及
Figure BDA0001689652420000124
和
Figure BDA0001689652420000125
的梯度方向， 从而可根据梯度下降法调整训练参数，使得误差函数最小化，使得相同类图 像的映射向量之间的距离差缩小，而不同类图像的映射向量之间的距离差增 大，
Figure BDA0001689652420000126
步骤S234，对输入深度卷积神经网络模型的训练参数进行循环迭代训练。
在训练神经网络模型之前，每个神经元的初始参数值为0，若直接使用训 练集中所有样本作为训练参数进行迭代训练，会使得模型收敛困难，在进行 神经网络模型进行训练之前，可以进行模型的预训练，以同时解决模型初始 化参数设置和样本尺度信息差别大的问题。在本发明的一个实施例中，在对 深度卷积神经网络模型进行正式训练之前还包括对神经网络模型的预训练： 将训练集中的所有图像样本输入神经网络模型中迭代(迭代次数可以是 100epoch)，得到的网络参数作为初始化的参数；在获取的初始化参数的基础上，将多个训练子集的图像样本分别输入神经网络模型中，对每个训练子集 中的图像样本进行迭代训练，不断进行训练参数的更新，本发明中，三个训 练子集A、B、C按照所含有的样本数量设置迭代次数分别为20epoch、40 epoch、30epoch。
步骤S3，建立与样本库中图像样本相对应的映射向量的数据库，为多个 128维向量的集合。
步骤S4，将待分类的图像输入训练好的深度卷积神经网络模型，得到与 待分类的图像相对应的映射向量，其中，对待分类图像的来源并无具体限制， 可以通过专业医疗设备拍摄，也可以通过手机、相机等设备拍摄。
步骤S5，比较待分类的图像与样本库中每个图像样本的相似度；本发明 的一个实施例中，以距离dist表示待分类的图像与图像样本的相似度，dist值 越小，表明两个图像越相似，通过下式(3)计算两个图像的相似度：
Figure BDA0001689652420000131
式(3)中，nk表示与待分类的图像相对应向量的第k个维度，mk表示所 述映射库建立部3中某一样本所对应向量的第k个维度。
本发明中，将待分类的图像输入训练好的深度卷积神经网络模型中之后， 将得到一个128维向量，i取值128。
步骤S6，根据所述步骤S5的比较结果，输出分类结果。
在本发明的一个实施例中，所述步骤S6包括：
步骤S61，将样本库中的图像样本及其类别按照相似度从小到大排列；
步骤S62，在排列好顺序的样本库中提取前K个图像样本及其相对应的 类别；
步骤S63，计算K个图像样本中包含的每一个类别出现的概率P，根据P 值输出分类结果。
例如，K个图像样本中，与图像样本相对应的j类别出现的概率根据下式 (4)计算：
Figure BDA0001689652420000132
式(4)中，m′j表示j类别在K个图像样本中出现的次数，n′j表示样本库 中j类别包含的样本数量。
本发明中，K值可以取300，即，在重新排序的样本库中取前300个图像 样本，输出分类结果时，取若干个最大P值所表示的病种作为疑似病种，以 供医生或患者诊断时参考，降低误诊率。
综上所述，本发明根据已有图像样本建立的数据库对深度卷积神经网络 模型进行训练，当有新的待分类识别的图像输入时，让其通过已经训练好的 神经网络模型，得到其对应的128维向量的表示形式，将新输入图像的映射 向量和已经建立的映射库中的映射向量作相似匹配，输出与新输入图像相似 的若干个疑似病种，作为医生诊断的参考。
本发明所述医用图像分类装置及方法可以应用于手机、电脑等终端设备， 用户可以通过拍照取样自己的病变部位，将待诊断的皮肤病图像输入已经训 练好的神经网络模型中，输出疑似病种，从而使用手机方便快捷地对自我进 行皮肤病检测，为病种初筛提供可能，省去了病人往返于医院的时间，提高 了医院的诊疗效率。此外，用户将自己拍摄的图像上传之后可以扩充原有样 本库的图像样本数量，进一步提高准确率。
以上所述仅为本发明的优选实施例，并不用于限制本发明，对于本领域 的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则 之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围 之内。

Claims (8)

1.一种医用图像分类装置，其特征在于，包括：
样本库建立部，包括标注单元，建立已有图像样本的数据库，并标注所述图像样本的类别；
模型训练部，用于训练深度卷积神经网络模型；
映射库建立部，建立与样本库中图像样本相对应的映射向量的数据库；
图像输入部，用于将待分类的图像输入训练好的深度卷积神经网络模型，得到与待分类的图像相对应的映射向量；
比较部，比较待分类的图像与图像样本的相似度；以及
输出部，根据所述比较部的比较结果，输出分类结果，
其中，所述模型训练部包括：
划分单元，将图像样本划分为训练集和测试集；
三元组构建单元，从所述训练集中构建三元组作为训练参数，所述三元组包括基准图像、与所述基准图像属于相同类别的同类图像和与所述基准图像属于不同类别的异类图像；
训练单元，将所述三元组输入深度卷积神经网络模型进行循环迭代训练，并且，每次输入神经网络模型的三元组均是随机生成；
其中，所述划分单元包括：
尺度等级划分模块，根据图像拍摄尺度的大小划分图像样本的尺度等级，将尺度等级划分为1～5等，1等为全身尺度，2等为半身/四肢尺度，3等为头部/手脚，4等为五官/手脚局部，5等图像的拍摄尺度最小，为超近特写；
训练子集划分模块，将已经划分形成的训练集根据尺度等级划分为多个训练子集，相邻尺度等级的图像样本归为一个训练子集中；
其中，所述模型训练部还包括：
初始化参数设置单元，将训练集中的所有图像样本输入神经网络模型中迭代，得到初始化的参数；
子集训练单元，将多个训练子集的图像样本分别输入神经网络模型中，对每个训练子集中的图像样本进行迭代训练。
2.根据权利要求1所述的医用图像分类装置，其特征在于，所述训练单元包括：
向量距离差获取模块，获取所述基准图像与所述同类图像之间以及所述基准图像与所述异类图像的映射向量之间的距离差；
判断模块，判断所获取的映射向量距离差是否满足下式(1)，
Figure FDA0002810669920000021
式(1)中，
Figure FDA0002810669920000022
表示第i个三元组中基准图像的映射向量，
Figure FDA0002810669920000023
表示第i个三元组中同类图像的映射向量，
Figure FDA0002810669920000024
表示第i个三元组中异类图像的映射向量，threshold表示用于区分图像是否同类的阈值，
若满足，则通过循环迭代模块进行训练参数的迭代训练，若不满足，则通过训练参数调整模块进行训练参数的更新；
训练参数调整模块，根据下式(2)计算误差函数以及
Figure FDA0002810669920000025
和
Figure FDA0002810669920000026
的梯度方向，从而调整训练参数，使得误差函数最小化，
Figure FDA0002810669920000027
循环迭代模块，对输入深度卷积神经网络模型的训练参数进行循环迭代训练。
3.根据权利要求1所述的医用图像分类装置，其特征在于，样本库建立部还包括图像处理单元，用于统一图像样本的尺寸。
4.根据权利要求1所述的医用图像分类装置，其特征在于，所述比较部根据下式(3)计算两个图像的相似度：
Figure FDA0002810669920000028
式(3)中，nk表示与待诊断的图像相对应向量的第k个维度，mk表示所述映射库建立部中的某一向量的第k个维度，dist表示待分类的图像与图像样本的相似度。
5.根据权利要求1所述的医用图像分类装置，其特征在于，所述输出部包括：
排序单元，将样本库中的图像样本及其类别按照与待分类图像的相似度从小到大排列；
样本提取单元，在排列好顺序的样本库中提取前K个图像样本及其相对应的类别；
结果输出单元，计算K个图像样本中包含的每一个类别出现的概率P，根据P值输出分类结果。
6.一种医用图像分类方法，其特征在于，包括以下步骤：
步骤S1，建立已有图像样本的数据库，并标注所述图像样本的类别；
步骤S2，训练深度卷积神经网络模型；
步骤S3，建立与样本库中图像样本相对应的映射向量的数据库；
步骤S4，将待分类的图像输入训练好的深度卷积神经网络模型，得到与待分类的图像相对应的映射向量；
步骤S5，比较待分类的图像与图像样本的相似度；以及
步骤S6，根据所述步骤S5的比较结果，输出分类结果，
其中，所述步骤S2包括：
步骤S21，将图像样本划分为训练集和测试集，其中，根据图像拍摄尺度的大小划分图像样本的尺度等级，将尺度等级划分为1～5等，1等为全身尺度，2等为半身/四肢尺度，3等为头部/手脚，4等为五官/手脚局部，5等图像的拍摄尺度最小，为超近特写，将训练集划分为多个训练子集，将相邻尺度等级的图像样本归为一个训练子集中；
步骤S22，从所述训练集中构建三元组作为训练参数，所述三元组包括基准图像、与所述基准图像属于相同类别的同类图像和与所述基准图像属于不同类别的异类图像；
步骤S23，将所述三元组输入深度卷积神经网络模型进行循环迭代训练，并且，每次输入神经网络模型的三元组均是随机生成；
其中，在对深度卷积神经网络模型进行正式训练之前还包括对神经网络模型的预训练：将训练集中的所有图像样本输入神经网络模型中迭代，得到的网络参数作为初始化的参数；在获取的初始化参数的基础上，将多个训练子集的图像样本分别输入神经网络模型中，对每个训练子集中的图像样本进行迭代训练，不断进行训练参数的更新。
7.根据权利要求6所述的医用图像分类方法，其特征在于，所述步骤S23包括：
步骤S231，获取所述基准图像与所述同类图像之间以及所述基准图像与所述异类图像的对应向量的距离差；
步骤S232，判断所获取的向量距离差是否满足下式(1)，
Figure FDA0002810669920000041
式(1)中，
Figure FDA0002810669920000042
表示第i个三元组中基准图像的映射向量，
Figure FDA0002810669920000043
表示第i个三元组中同类图像的映射向量，
Figure FDA0002810669920000044
表示第i个三元组中异类图像的映射向量，threshold表示用于区分图像是否同类的阈值，
若满足，则进行步骤S234，若不满足，则进行步骤S233；
步骤S233，根据下式(2)计算误差函数以及
Figure FDA0002810669920000045
和
Figure FDA0002810669920000046
的梯度方向，从而调整训练参数，使得误差函数最小化，
Figure FDA0002810669920000047
步骤S234，对输入深度卷积神经网络模型的训练参数进行循环迭代训练。
8.根据权利要求6所述的医用图像分类方法，其特征在于，所述步骤S6包括：
步骤S61，将样本库中的图像样本及其类别按照与待分类图像的相似度从小到大排列；
步骤S62，在排列好顺序的样本库中提取前K个图像样本及其相对应的类别；
步骤S63，计算K个图像样本中包含的每一个类别出现的概率P，根据P值输出分类结果。
CN201810586792.3A 2018-06-08 2018-06-08 医用图像分类装置及方法 Active CN108960289B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810586792.3A CN108960289B (zh) 2018-06-08 2018-06-08 医用图像分类装置及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810586792.3A CN108960289B (zh) 2018-06-08 2018-06-08 医用图像分类装置及方法

Publications (2)

Publication Number Publication Date
CN108960289A CN108960289A (zh) 2018-12-07
CN108960289B true CN108960289B (zh) 2021-03-16

Family

ID=64493458

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810586792.3A Active CN108960289B (zh) 2018-06-08 2018-06-08 医用图像分类装置及方法

Country Status (1)

Country Link
CN (1) CN108960289B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109816632B (zh) * 2018-12-25 2020-12-25 东软集团股份有限公司 脑图像处理方法、装置、可读存储介质及电子设备
CN109949272B (zh) * 2019-02-18 2023-06-20 四川拾智联兴科技有限公司 识别皮肤病种类采集人体皮肤图片的数据采集方法及系统
WO2020181458A1 (zh) * 2019-03-11 2020-09-17 西门子（中国）有限公司 数据处理方法、装置和系统
CN110070579A (zh) * 2019-03-16 2019-07-30 平安科技（深圳）有限公司 基于图像检测的定位方法、装置、设备和存储介质
CN110147732A (zh) * 2019-04-16 2019-08-20 平安科技（深圳）有限公司 指静脉识别方法、装置、计算机设备及存储介质
CN110245657B (zh) * 2019-05-17 2021-08-24 清华大学 病理图像相似性检测方法及检测装置
CN112818151A (zh) * 2021-02-08 2021-05-18 苏州长嘴鱼软件有限公司 一种交互式素材图片分类方法及装置、存储介质
CN113486745A (zh) * 2021-06-24 2021-10-08 哈尔滨工业大学（深圳） 基于自监督神经网络的显微结构图像识别方法及装置
CN116228759B (zh) * 2023-05-08 2023-08-01 浙江大学滨江研究院 肾细胞癌类型的计算机辅助诊断系统及设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105589938A (zh) * 2015-12-13 2016-05-18 公安部第三研究所 基于fpga的图像检索系统及检索方法
CN107194158A (zh) * 2017-05-04 2017-09-22 深圳美佳基因科技有限公司 一种基于图像识别的疾病辅助诊断方法
CN107330750A (zh) * 2017-05-26 2017-11-07 北京三快在线科技有限公司 一种推荐产品配图方法及装置，电子设备
CN107368858A (zh) * 2017-07-28 2017-11-21 中南大学 一种智能环境运载机器人识别楼层的参数化测量多模型智能融合方法
CN107609503A (zh) * 2017-09-05 2018-01-19 刘宇红 智能癌变细胞识别系统及方法、云平台、服务器、计算机

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10249040B2 (en) * 2016-11-21 2019-04-02 International Business Machines Corporation Digital data processing for diagnosis of a subject

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105589938A (zh) * 2015-12-13 2016-05-18 公安部第三研究所 基于fpga的图像检索系统及检索方法
CN107194158A (zh) * 2017-05-04 2017-09-22 深圳美佳基因科技有限公司 一种基于图像识别的疾病辅助诊断方法
CN107330750A (zh) * 2017-05-26 2017-11-07 北京三快在线科技有限公司 一种推荐产品配图方法及装置，电子设备
CN107368858A (zh) * 2017-07-28 2017-11-21 中南大学 一种智能环境运载机器人识别楼层的参数化测量多模型智能融合方法
CN107609503A (zh) * 2017-09-05 2018-01-19 刘宇红 智能癌变细胞识别系统及方法、云平台、服务器、计算机

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
FaceNet：A unified embedding for face recognition and clustering;Florian Schroff et al;《2015 IEEE Conference on Computer Vision and Pattern Recognition(CVPR)》;20151015;第815-823页 *
浅谈神经网络算法;weixin_33714884;《https://blog.csdn.net/weixin_33714884/article/details/90131829》;20160926;正文 *

Also Published As

Publication number Publication date
CN108960289A (zh) 2018-12-07

Similar Documents

Publication Publication Date Title
CN108960289B (zh) 医用图像分类装置及方法
Al-Haija et al. Breast cancer diagnosis in histopathological images using ResNet-50 convolutional neural network
CN106682616B (zh) 基于双通道特征深度学习的新生儿疼痛表情识别方法
Wang et al. Area determination of diabetic foot ulcer images using a cascaded two-stage SVM-based classification
Salido et al. Using deep learning to detect melanoma in dermoscopy images
CN108364006B (zh) 基于多模式深度学习的医学图像分类装置及其构建方法
CN110084318B (zh) 一种结合卷积神经网络和梯度提升树的图像识别方法
CN109544518B (zh) 一种应用于骨骼成熟度评估的方法及其系统
CN106874489B (zh) 一种基于卷积神经网络的肺结节图像块检索方法及装置
CN112101162A (zh) 图像识别模型的生成方法、装置、存储介质和电子设备
Li et al. Dating ancient paintings of Mogao Grottoes using deeply learnt visual codes
CN107437252A (zh) 用于黄斑病变区域分割的分类模型构建方法和设备
CN113284136A (zh) 一种双损失函数训练的残差网络和XGBoost的医学图像分类方法
Qiu et al. Comparative study on the classification methods for breast cancer diagnosis
Baygin et al. New pyramidal hybrid textural and deep features based automatic skin cancer classification model: Ensemble DarkNet and textural feature extractor
CN114093507A (zh) 边缘计算网络中基于对比学习的皮肤病智能分类方法
CN108846327A (zh) 一种色素痣与黑素瘤的智能判别系统及方法
Singh et al. Deep learning in content-based medical image retrieval
Rajakumaran et al. IMPROVEMENT IN TONGUE COLOR IMAGE ANALYSIS FOR DISEASE IDENTIFICATION USING DEEP LEARNING BASED DEPTHWISE SEPARABLE CONVOLUTION MODEL [J]
Mathina Kani et al. Classification of skin lesion images using modified Inception V3 model with transfer learning and augmentation techniques
Guzzi et al. Distillation of a CNN for a high accuracy mobile face recognition system
CN115223001A (zh) 一种基于迁移学习的医学图像识别方法
Jadah et al. Breast Cancer Image Classification Using Deep Convolutional Neural Networks
Sood A hybrid approach of semantic weight based re-propagation for convolutional neural networks in content based medical image retrieval
CN112183213A (zh) 一种基于Intral-Class Gap GAN的面部表情识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant