CN112131421B - 医学图像分类方法、装置、设备及存储介质 - Google Patents

医学图像分类方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN112131421B
CN112131421B CN202011009811.XA CN202011009811A CN112131421B CN 112131421 B CN112131421 B CN 112131421B CN 202011009811 A CN202011009811 A CN 202011009811A CN 112131421 B CN112131421 B CN 112131421B
Authority
CN
China
Prior art keywords
image
images
class
relation pair
picture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011009811.XA
Other languages
English (en)
Other versions
CN112131421A (zh
Inventor
李雷来
王健宗
瞿晓阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Technology Shenzhen Co Ltd
Original Assignee
Ping An Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Technology Shenzhen Co Ltd filed Critical Ping An Technology Shenzhen Co Ltd
Priority to CN202011009811.XA priority Critical patent/CN112131421B/zh
Priority to PCT/CN2020/124706 priority patent/WO2021179632A1/zh
Publication of CN112131421A publication Critical patent/CN112131421A/zh
Application granted granted Critical
Publication of CN112131421B publication Critical patent/CN112131421B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/55—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/51—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53—Querying
    • G06F16/538—Presentation of query results
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5838—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Library & Information Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Medical Treatment And Welfare Office Work (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及图像分类领域，公开了一种医学图像分类方法、装置、设备及存储介质。本方法包括：构建关系对的图像库，确定图像库中每类图像包含的每张图片的像素值，计算每类图像对应的原型图像；获取待分类图像，并分别计算待分类图像与每个原型图像之间的欧氏距离，并对欧氏距离进行排序，根据得到排序结果，确定所述待分类图像的图像类别。本发明采用GAN技术以及数据增强技术，可以利用已有的图像关系对对未知类图像进行分类，解决了数据增强无法生成高质量稀缺图像数据的技术问题。其中，图像库中的每类图像均存储于区块链中。

Description

医学图像分类方法、装置、设备及存储介质
技术领域
本发明涉及图像分类领域，尤其涉及一种医学图像分类方法、装置、设备及存储介质。
背景技术
随着计算机通信行业的迅猛发展，半导体芯片制造工艺水平以一种令人目眩的速度提高。有的微处理器芯片的主频已高达2GHz，推出了含有10亿个晶体管、每秒可执行1千亿条指令的芯片。伴随着芯片性能大步前进的还有不断繁荣的数字处理方式与虚拟技术。
原先的代表先进的交换机在算力不断提升背景下，不断表现的连接缓慢在数字化的不断冲刷各个行业时，以实体机为交换主体的交换机不断显得笨重与接线混乱。在接口数量跟着算力提升也呈现几何增长时，一边是日新月异的数字革命，一边还是主要以实体物理机作为交换主体的交换机无法满足各种个性化的连接需求。在交换机主体的交换方式还是以人工改动接线的物理方式来增加接口，还需要不断购买接口设备来让新增网络连接保持增长，急需要一种能数字化扩大网络接口量而不增加物理接口器的方法。
发明内容
本发明的主要目的在于生成高质量稀缺图像数据，解决现有技术中，GAN网络训练在小样本情况下容易过拟合的技术问题。
本发明第一方面提供了一种医学图像分类方法，包括：
构建关系对的图像库；
获取所述图像库中的每类图像，并根据所述每类图像中图片的像素值，确定所述每类图像对应的原型图像；
获取待分类图像，并计算所述待分类图像与所述图像库中每个所述原型图像之间的欧氏距离；
对所述欧氏距离进行排序，得到排序结果；
基于所述排序结果，确定所述待分类图像的图像类别。
可选地，在本发明第一方面的第一种实现方式中，所述构建关系对的图像库包括：
从预置关系对数据库中读取类图像，并从所述类图像中抽取两张图片，形成图像关系对；
对所述图像关系对进行数据增强处理，得到多张同类图像；
对所述同类图像进行融合处理，得到融合关系对；
将所述融合关系对输入预置VAE-GAN网络进行编码-生成处理，生成当前类的新图像；
将所述新图像与所述图像关系对进行融合，生成新图像关系对，并将所述新图像关系对存储至预置关系对数据库，构建关系对的图像库。
可选地，在本发明第一方面的第二种实现方式中，在所述从预置关系对数据库中读取类图像，并从所述类图像中抽取两张图片，形成图像关系对之前，还包括：
从预置数据库获取图像数据，并对所述图像数据进行分类，得到分类结果，其中，所述分类结果包括所述图像数据对应的类别；
基于所述分类结果，并通过各类图像中每个图像的像素值，确定所述各类图像对应的原型图像；
基于所述分类结果和所述各类图像对应的原型图像，建立类关系，并存储至预置关系对数据库。
可选地，在本发明第一方面的第三种实现方式中，在所述将所述融合关系对输入预置VAE-GAN网络进行编码-生成处理，生成当前类的新图像之前，还包括，还包括：
从预置关系对数据库读取类图像；
判断所述类图像数据中是否只有一张图片；
若所述类图像中只有一张图片，则选取两张相同的图片，并将所述两张相同的图片分别命名为图片A1和图片A2；
对所述图片A1进行数据增强，得到增强后的图片A；
通过预置Mixup算法，将所述增强后的图像A和所述图片A2进行融合，得到融合关系对。
可选地，在本发明第一方面的第四种实现方式中，所述将所述融合关系对输入预置VAE-GAN网络进行编码-生成处理，生成当前类的新图像包括：
获取所述融合关系对中的增强图像，并通过预置CNN网络将所述增强图像编码至分布空间；
通过所述预置CNN网络将所述增强图像进行解码，生成新图像；
构建孪生网络，并通过所述孪生网络计算所述融合关系对的原型图像与所述新图像相似分数；
基于所述相似分数，生成当前类的新图像。
可选地，在本发明第一方面的第五种实现方式中，所述计算所述待分类图像与所述图像库中每个所述原型图像之间的欧氏距离包括：
分别将所述待分类图像和所述原型图像进行编码处理，得到编码结果；
基于所述编码结果，通过预置最近邻算法，分别计算待分类图像与所述图像库中每个所述原型图像之间的欧氏距离。
本发明第二方面提供了一种医学图像分类装置，包括：
构建模块，用于构建关系对的图像库；
获取模块，用于获取所述图像库中的每类图像，并根据所述每类图像中图片的像素值，确定所述每类图像对应的原型图像；
计算模块，用于获取待分类图像，并计算所述待分类图像与所述图像库中每个所述原型图像之间的欧氏距离；
排序模块，用于对所述欧氏距离进行排序，得到排序结果；
确定模块，用于基于所述排序结果，确定所述待分类图像的图像类别。
可选地，在本发明第二方面的第一种实现方式中，所述构建模块包括：
读取单元，用于从预置关系对数据库中读取类图像，并从所述类图像中抽取两张图片，形成图像关系对；
增强单元，用于对所述图像关系对进行数据增强处理，得到多张同类图像；
融合单元，用于对所述同类图像进行融合处理，得到融合关系对；
生成单元，用于将所述融合关系对输入预置VAE-GAN网络进行编码-生成处理，生成当前类的新图像；
构建单元，用于将所述新图像与所述图像关系对进行融合，生成新图像关系对，并将所述新图像关系对存储至预置关系对数据库，构建关系对的图像库。
可选地，在本发明第二方面的第二种实现方式中，所述构建模块还包括：
分类单元，用于从预置数据库获取图像数据，并对所述图像数据进行分类，得到分类结果，其中，所述分类结果包括所述图像数据对应的类别；基于所述分类结果，并通过各类图像中每个图像的像素值，确定所述各类图像对应的原型图像；基于所述分类结果和所述各类图像对应的原型图像，建立类关系，并存储至预置关系对数据库。
可选地，在本发明第二方面的第三种实现方式中，所述构建模块还包括：
判断单元，用于从预置关系对数据库读取类图像；判断所述类图像数据中是否只有一张图片；当所述类图像中只有一张图片时，选取两张相同的图片，并将所述两张相同的图片分别命名为图片A1和图片A2；对所述图片A1进行数据增强，得到增强后的图片A；通过预置Mixup算法，将所述增强后的图像A和所述图片A2进行融合，得到融合关系对。
可选地，在本发明第二方面的第四种实现方式中，所述生成单元具体用于：
获取所述融合关系对中的增强图像，并通过预置CNN网络将所述增强图像编码至分布空间；
通过所述预置CNN网络将所述增强图像进行解码，生成新图像；
构建孪生网络，并通过所述孪生网络计算所述融合关系对的原型图像与所述新图像相似分数；
基于所述相似分数，生成当前类的新图像。
可选地，在本发明第二方面的第五种实现方式中，所述计算模块具体用于：
分别将所述待分类图像和所述原型图像进行编码处理，得到编码结果；
基于所述编码结果，通过预置最近邻算法，分别计算待分类图像与所述图像库中每个所述原型图像之间的欧氏距离。
本发明第三方面提供了一种医学图像分类设备，包括：存储器和至少一个处理器，所述存储器中存储有指令，所述存储器和所述至少一个处理器通过线路互连；
所述至少一个处理器调用所述存储器中的所述指令，以使得所述医学图像分类设备执行上述的医学图像分类方法。
本发明的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述的医学图像分类方法。
本发明提供的技术方案中，通过构建关系对的图像库，确定图像库中每类图像包含的每张图片的像素值，计算每类图像对应的原型图像；获取待分类图像，并分别计算待分类图像与每个原型图像之间的欧氏距离，并对欧氏距离进行排序，根据得到排序结果，确定所述待分类图像的图像类别。本发明采用GAN技术以及数据增强技术，可以利用已有的图像关系对对未知类图像进行分类，解决了数据增强无法生成高质量稀缺图像数据的技术问题。
附图说明
图1为本发明医学图像分类方法的第一个实施例示意图；
图2为本发明医学图像分类方法的第二个实施例示意图；
图3为本发明医学图像分类方法的第三个实施例示意图；
图4为本发明医学图像分类方法的第四个实施例示意图；
图5为本发明医学图像分类方法的第五个实施例示意图；
图6为本发明医学图像分类装置的第一个实施例示意图；
图7为本发明医学图像分类装置的第二个实施例示意图；
图8为本发明医学图像分类设备的一个实施例示意图。
具体实施方式
本发明实施例提供了一种医学图像分类方法、装置、设备及存储介质，本发明的技术方案中，先构建关系对的图像库，确定图像库中每类图像包含的每张图片的像素值，计算每类图像对应的原型图像；获取待分类图像，并分别计算待分类图像与每个原型图像之间的欧氏距离，并对欧氏距离进行排序，根据得到排序结果，确定所述待分类图像的图像类别。本发明采用GAN技术以及数据增强技术，可以利用已有的图像关系对对未知类图像进行分类，解决了数据增强无法生成高质量稀缺图像数据的技术问题。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等（如果存在）是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”或“具有”及其任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
为便于理解，下面对本发明实施例的具体流程进行描述，请参阅图1，本发明实施例中医学图像分类方法的第一个实施例包括：
101、构建关系对的图像库；
可以理解的是，本发明的执行主体可以为医学图像分类装置，还可以是终端或者服务器，具体此处不做限定。本发明实施例以服务器为执行主体为例进行说明。
本实施例中，关系对数据库是指将医疗信息系统中所存在的每个小样本图像进行分类收集，得到每类图片对应的原型图像，建立类关系并存储至数据库中。其中，存储有多个这样类关系的就叫关系对数据库。比如：<Ci，[p1，…,pj],Qi>,Ci为类别；pj,j=1…n为类中图片，Qi为当前类的原型图像。
小样本医学图像，就是那些难以获得，或者涉及隐私，或者是罕见疾病的CT图像等，数量少的图像。小样本图像就是数量少，稀缺图像。对小样本图像分类，的标准就是与现存的小样本图像进行匹配，最相似的归于一类，起初的一部分小样本数据是有人工标签的。
原型图像是指，某一类图像中，所有图像的平均像素值对应的图像，比如，假设一个类中有3张图像S1,S2,S3，我们将S1+S2+S3/3，获取一个平均像素值，就可以得到一张原型图像，而每个类只有一张原型图像。类中图像是指某一类图像中的所有图像，可能有很多张，可能就一张。而某个类别的原型图像只有一张。当且仅当类中图像一张的时候，类中图像与原型图像相同。
102、获取图像库中的每类图像，并根据每类图像中图片的像素值，确定每类图像对应的原型图像；
本实施例中，数据增强（Data Augmentation），也叫数据扩增，是扩充数据样本规模的一种有效地方法，意思是在不实质性的增加数据的情况下，让有限的数据产生等价于更多数据的价值。深度学习是基于大数据的一种方法，我们当前希望数据的规模越大、质量越高越好。模型才能够有着更好的泛化能力，然而实际采集数据的时候，往往很难覆盖掉全部的场景，比如：对于光照条件，在采集图像数据时，我们很难控制光线的比例，因此在训练模型的时候，就需要加入光照变化方面的数据增强。再有一方面就是数据的获取也需要大量的成本，如果能够自动化的生成各种训练数据，就能做到更好的开源节流。其中，数据增强可以分为两类，一类是离线增强，一类是在线增强。
离线增强：直接对数据集进行处理，数据的数目会变成增强因子x原数据集的数目，这种方法常常用于数据集很小的时候；在线增强：这种增强的方法用于，获得batch数据之后，然后对这个batch的数据进行增强，如旋转、平移、翻折等相应的变化，由于有些数据集不能接受线性级别的增长，这种方法长用于大的数据集，很多机器学习框架已经支持了这种数据增强方式，并且可以使用GPU优化计算。
具体到图像数据而言，对图像数据进行有效的数据增强主要包括：空间几何变换和像素颜色变换类等。空间几何变换：翻转（水平和垂直）、随机裁剪、旋转、缩放比例、裁剪、移位、放射变换、视觉变换（四点透视变换）、分段放射；像素颜色变换类：噪声（高斯、椒盐）、CoarseDropout（在面积大小可选定、位置随机的矩形区域上丢失信息实现转换，所有通道的信息丢失产生黑色矩形块，部分通道的信息丢失产生彩色噪声)、SimplexNoiseAlpha（产生连续单一噪声的掩模后，将掩模与原图像混合）、FrequencyNoiseAlpha（在频域中用随机指数对噪声映射进行加权，再转换到空间域。在不同图像中，随着指数值逐渐增大，依次出现平滑的大斑点、多云模式、重复出现的小斑块）；模糊类：高斯模糊、ElasticTransformation。
在使用图像数据进行数据增强的时候需要注意：引入数据增强并不一定会带来模型性能上的提升，尤其是在数据增强的时候，需要考虑如何设置恰当的增强比例因子。实际上，只有当我们增强后的样本，理论上和我们的实际业务场景最接近的时候，才会达到性能最好。也就是所谓的训练集和测试集样本分布一致的时候。
103、获取待分类图像，并计算待分类图像与图像库中每个原型图像之间的欧氏距离；
本实施例中，在获取到一个未知类图像时，通过1-NN分类算法计算未知类图像和原型图像编码的距离（此处可以是欧氏距离），确定该未知类图像所属的图像类别。
1-NN分类算法属于k-NN处理分类问题，即分类：多数投票原则，先将数据集处理成OneHot矩阵，计算测试文本与每一个训练文本的距离。当k=1时，就是我们此处说的最近邻算法。如果k=1，则找到最小的距离，则该未知类图像的分类对应于该训练文本的分类。在用C++实现时，通过好多次的debug，并且将最后生成的OneHot矩阵的每一行都输出到文本中去查看，再在OneHot矩阵每行测试文本尾中输出得到的类比结果，距离，分类。这里使用了欧氏距离。
欧氏距离又叫欧几里得度量（euclidean metric），是最易于理解的一种距离计算方法，是一个通常采用的距离定义，指在m维空间中两个点之间的真实距离，或者向量的自然长度（即该点到原点的距离）。在二维和三维空间中的欧氏距离就是两点之间的实际距离。源自欧氏空间中两点间的距离公式。
104、对欧氏距离进行排序，得到排序结果；
本实施例中，根据计算出来的未知类图像与各各类图像对应的每一个原型图像的欧氏距离的值；并对欧氏距离进行排序，获取排序结果。排序可以是从大到小排序，也可以是从小到大排序，其中，未知类图像与原型图像之间的欧氏距离越小，则两个图像越相似。
105、基于排序结果，确定待分类图像的图像类别。
本实施例中，图像类别指特定的包含有某种特征的图像的集合，其中包含一定数量该类型图像的样本。以医疗信息图像中的肺癌患者肺部影像图片为例，该图像中的每一个图片样本都包含有肺癌患者的肺部病变影响图。
若未知类图像与原型图像之间的欧氏距离越小，则说明两个图像相似，同属同一图像类别的可能性就越大，所以，可以根据欧氏距离的排序结果，确定未知类图像对应所属的类图像。
本实施例中，若待分类图像与原型图像之间的欧氏距离越小，则说明两个图像之间的相似度更大，同属同一图像类别的可能性就越大，所以，可以根据欧氏距离的排序结果，确定待分类对应所属的类。
本实施例中，欧氏距离是用来衡量两个数据样本之间的相似度，又叫欧几里得度量（euclidean metric），是最易于理解的一种距离计算方法，是一个通常采用的距离定义，指在m维空间中两个点之间的真实距离，或者向量的自然长度（即该点到原点的距离）。在二维和三维空间中的欧氏距离就是两点之间的实际距离。源自欧氏空间中两点间的距离公式。
本发明实施例中，通过构建关系对的图像库，确定图像库中每类图像包含的每张图片的像素值，计算每类图像对应的原型图像；获取待分类图像，并分别计算待分类图像与每个原型图像之间的欧氏距离，并对欧氏距离进行排序，根据得到排序结果，确定所述待分类图像的图像类别。本发明采用GAN技术以及数据增强技术，可以利用已有的图像关系对对未知类图像进行分类，解决了数据增强无法生成高质量稀缺图像数据的技术问题。
请参阅图2，本发明实施例中医学图像分类方法的第二个实施例包括：
201、从预置关系对数据库中读取类图像，并从类图像中抽取两张图片，形成图像关系对；
本实施例中，关系对数据库是指将医疗信息系统中所存在的每个小样本图像进行分类收集，得到每类图片对应的原型图像，建立类关系并存储至数据库中。其中，存储有多个这样类关系的就叫关系对数据库。比如：<Ci，[p1，…,pj],Qi>,Ci为类别；pj,j=1…n为类中图片，Qi为当前类的原型图像。
小样本医学图像，就是那些难以获得，或者涉及隐私，或者是罕见疾病的CT图像等，数量少的图像。小样本图像就是数量少，稀缺图像。对小样本图像分类的标准就是与现存的小样本图像进行匹配，最相似的归于一类，起初的一部分小样本数据是有人工标签的。
原型图像是指，某一类图像中，所有图像的平均像素值对应的图像，比如，假设一个类中有3张图像S1,S2,S3，我们将S1+S2+S3/3，获取一个平均像素值，就可以得到一张原型图像，而每个类只有一张原型图像。类中图像是指某一类图像中的所有图像，可能有很多张，可能就一张。而某个类别的原型图像只有一张。当且仅当类中图像一张的时候，类中图像与原型图像相同。
图像关系对是指将相同类的图像存成<Ci,[x1,x2,...,xn]，Pi>的形式，该形式就被称之为图像关系对。
202、对图像关系对进行数据增强处理，得到多张同类图像；
本实施例中，数据增强（Data Augmentation），也叫数据扩增，是扩充数据样本规模的一种有效地方法，意思是在不实质性的增加数据的情况下，让有限的数据产生等价于更多数据的价值。深度学习是基于大数据的一种方法，我们当前希望数据的规模越大、质量越高越好。模型才能够有着更好的泛化能力，然而实际采集数据的时候，往往很难覆盖掉全部的场景，比如：对于光照条件，在采集图像数据时，我们很难控制光线的比例，因此在训练模型的时候，就需要加入光照变化方面的数据增强。再有一方面就是数据的获取也需要大量的成本，如果能够自动化的生成各种训练数据，就能做到更好的开源节流。其中，数据增强可以分为两类，一类是离线增强，一类是在线增强。
离线增强：直接对数据集进行处理，数据的数目会变成增强因子x原数据集的数目，这种方法常常用于数据集很小的时候；在线增强：这种增强的方法用于，获得batch数据之后，然后对这个batch的数据进行增强，如旋转、平移、翻折等相应的变化，由于有些数据集不能接受线性级别的增长，这种方法长用于大的数据集，很多机器学习框架已经支持了这种数据增强方式，并且可以使用GPU优化计算。
具体到图像数据而言，对图像数据进行有效的数据增强主要包括：空间几何变换和像素颜色变换类等。空间几何变换：翻转（水平和垂直）、随机裁剪、旋转、缩放比例、裁剪、移位、放射变换、视觉变换（四点透视变换）、分段放射；像素颜色变换类：噪声（高斯、椒盐）、CoarseDropout（在面积大小可选定、位置随机的矩形区域上丢失信息实现转换，所有通道的信息丢失产生黑色矩形块，部分通道的信息丢失产生彩色噪声)、SimplexNoiseAlpha（产生连续单一噪声的掩模后，将掩模与原图像混合）、FrequencyNoiseAlpha（在频域中用随机指数对噪声映射进行加权，再转换到空间域。在不同图像中，随着指数值逐渐增大，依次出现平滑的大斑点、多云模式、重复出现的小斑块）；模糊类：高斯模糊、ElasticTransformation。
在使用图像数据进行数据增强的时候需要注意：引入数据增强并不一定会带来模型性能上的提升，尤其是在数据增强的时候，需要考虑如何设置恰当的增强比例因子。实际上，只有当我们增强后的样本，理论上和我们的实际业务场景最接近的时候，才会达到性能最好。也就是所谓的训练集和测试集样本分布一致的时候。
203、对同类图像进行融合处理，得到融合关系对；
本实施例中，对同一类中随机选取的两张不同的图片进行处理，得到融合关系对。其中，关系对如上述式子所描述的，即在某个类别中取两张图图像。b.这里的关系对，是为了做后面的数据增强的，GAN的训练前提是需要较多的数据，而我们这里数据量少，我们需要先通过数据增强的方式进行增加数据的多样性。而这里获得的数据是比较粗糙的，经过GAN网络之后，就会倾向于与类中图像相似。却具有自己的特性。
融合图像，又叫图像融合（Image Fusion）是指将多源信道所采集到的关于同一目标的图像数据经过图像处理和计算机技术等，最大限度的提取各自信道中的有利信息，最后综合成高质量的图像，以提高图像信息的利用率、改善计算机解译精度和可靠性、提升原始图像的空间分辨率和光谱分辨率，利于监测。其中，图像融合需要遵守的3个基本原则：1)融合后图像要含有所有源图像的明显突出信息；2)融合后图像不能加入任何的人为信息；3)对源图像中不感兴趣的信息，如噪声要尽可能多地抑制其出现在融合图像中。
高效的图像融合方法可以根据需要综合处理多源通道的信息，从而有效地提高了图像信息的利用率、系统对目标探测识别地可靠性及系统的自动化程度。其目的是将单一传感器的多波段信息或不同类传感器所提供的信息加以综合，消除多传感器信息之间可能存在的冗余和矛盾，以增强影像中信息透明度，改善解译的精度、可靠性以及使用率，以形成对目标的清晰、完整、准确的信息描述。
一般情况下，图像融合由低到高分为三个层次：数据级融合、特征级融合、决策级融合。数据级融合也称像素级融合，是指直接对传感器采集来得数据进行处理而获得融合图像的过程，它是高层次图像融合的基础，也是目前图像融合研究的重点之一。这种融合的优点是保持尽可能多得现场原始数据，提供其它融合层次所不能提供的细微信息。
204、将融合关系对输入预置VAE-GAN网络进行编码-生成处理，生成当前类的新图像；
本实施例中，VAE-GAN顾名思义就是VAE和GAN的合体，主要分为两大部分：a.编码-解码部分;b.生成-判别部分。其中，VAE网络由两部分组成，一个是编码器encoder，一个是解码器decoder。编码器encoder的作用是编码，也就是将输入的图片image1转换成向量vector；解码器decoder的作用是解码，也就是将向量vector转换成图片image2。其中，image1和image2要尽量相同，因为我们希望对同一个东西进行编码和解码后的产物仍然是自己。
GAN网络又叫生成式对抗网络，由两部分组成：生成器网络（generator network）：以一个随机向量（潜在空间的一个点）作为输入，将其解码为一张合成图像；判别器网络（discriminator network）：以一张图像（真实的或合成的）作为输入，预测来自训练集还是生成网络。其中，解码器和生成器，实际上是同一个东西，在VAE里面他叫解码器而在GAN网络里面它叫生成器，但是我们的VAE-GAN网络中融合了两者，其中解码器就是生成器，两者相同。
205、将新图像与图像关系对进行融合，生成新图像关系对，并将新图像关系对存储至预置关系对数据库，构建关系对的图像库；
本实施例中，将生成的新图像输入预置数据库中对应类的图像关系对中，合成新的图像关系对。比如，对类中的图像进行数据增强处理，得到数据增强后的图像，编码器再通过CNN网络对数据增强后得到的图像编码到另一个分布空间；CNN网络将图像进行编码以后，通过解码器进行解码，生成新图像。
编码（coding）是一种计算机术语，是信息从一种形式或格式转换为另一种形式的过程，也称为计算机编程语言的代码简称编码。用预先规定的方法将文字、数字或其它对象编成数码，或将信息、数据转换成规定的电脉冲信号。编码在电子计算机、电视、遥控和通讯等方面广泛使用。编码是信息从一种形式或格式转换为另一种形式的过程。解码是一种用特定方法，把数码还原成它所代表的内容或将电脉冲信号、光信号、无线电波等转换成它所代表的信息、数据等的过程。解码是受传者将接受到的符号或代码还原为信息的过程，与编码过程相对应。
206、获取图像库中的每类图像，并根据每类图像中图片的像素值，确定每类图像对应的原型图像；
207、获取待分类图像，并计算待分类图像与图像库中每个原型图像之间的欧氏距离；
208、对欧氏距离进行排序，得到排序结果；
209、基于排序结果，确定待分类图像的图像类别。
本实施例中步骤206-209与第一实施例中的步骤102-105类似，此处不再赘述。
本发明实施例中，通过构建关系对的图像库，确定图像库中每类图像包含的每张图片的像素值，计算每类图像对应的原型图像；获取待分类图像，并分别计算待分类图像与每个原型图像之间的欧氏距离，并对欧氏距离进行排序，根据得到排序结果，确定所述待分类图像的图像类别。本发明采用GAN技术以及数据增强技术，可以利用已有的图像关系对对未知类图像进行分类，解决了数据增强无法生成高质量稀缺图像数据的技术问题。
请参阅图3，本发明实施例中医学图像分类方法的第三个实施例包括：
301、从预置数据库获取图像数据，并对图像数据进行分类，得到分类结果；
本实施例中，从预置的数据库或者某些网站等收集相关的图像数据，并对根据某一分类标准对图像数据进行分类，得到对应的分类结果。比如，从医院的电子病历等医疗信息系统中收集医学图像数据，并根据图像对应的疾病种类的不同，对收集到的图像数据进行分类收集处理。需要说明的是，在图像数据样本量偏少的情况下，某些类的图像中可能只有一张图片。
302、基于分类结果，并通过各类图像中每个图像的像素值，确定各类图像对应的原型图像；
本实施例中，原型图像是指，某一类图像中，所有图像的平均像素值对应的图像，比如，假设一个类中有3张图像S1,S2,S3，我们将S1+S2+S3/3，获取一个平均像素值，就可以得到一张原型图像，而每个类只有一张原型图像。类中图像是指某一类图像中的所有图像，可能有很多张，可能就一张。而某个类别的原型图像只有一张。当且仅当类中图像一张的时候，类中图像与原型图像相同。
303、基于分类结果和各类图像对应的原型图像，建立类关系，并存储至预置关系对数据库；
本实施例中，将收集到的图像数据按照一定的分类标准进行分类，得到每类图片对应的原型图像，建立类关系并存储至数据库中。建立类关系就是一种存储方式，可以将相同类的图像存成<Ci,[x1,x2,...,xn]，Pi>的形式，对我们后续的数据读取有帮助，简化我们的数据读取部分。
原型图像是类中图像的一个典型代表，我们不使用单独类中的某一张图像，而是使用原型图像来代替类中某图像，就是为了保存类中图像的差异性，并且不会在生成的时候与类中某张图像过度相似，这样可增加其多样性。
关系对数据库是指包含有多个图像关系对的图像数据的集合。图像关系对是指将相同类的图像存成<Ci,[x1,x2,...,xn]，Pi>的形式，该形式就被称之为图像关系对。
304、从预置关系对数据库中读取类图像，并从类图像中抽取两张图片，形成图像关系对；
305、对图像关系对进行数据增强处理，得到多张同类图像；
306、对同类图像进行融合处理，得到融合关系对；
307、将融合关系对输入预置VAE-GAN网络进行编码-生成处理，生成当前类的新图像；
308、将新图像与图像关系对进行融合，生成新图像关系对，并将新图像关系对存储至预置关系对数据库，构建关系对的图像库；
309、获取图像库中的每类图像，并根据每类图像中图片的像素值，确定每类图像对应的原型图像；
310、获取待分类图像，并计算待分类图像与图像库中每个原型图像之间的欧氏距离；
311、对欧氏距离进行排序，得到排序结果；
312、基于排序结果，确定待分类图像的图像类别。
本实施例中步骤304-308和309-312与第二实施例中的步骤201-205第一实施例中的步骤102-105类似，此处不再赘述。
本发明实施例中，通过构建关系对的图像库，确定图像库中每类图像包含的每张图片的像素值，计算每类图像对应的原型图像；获取待分类图像，并分别计算待分类图像与每个原型图像之间的欧氏距离，并对欧氏距离进行排序，根据得到排序结果，确定所述待分类图像的图像类别。本发明采用GAN技术以及数据增强技术，可以利用已有的图像关系对对未知类图像进行分类，解决了数据增强无法生成高质量稀缺图像数据的技术问题。
请参阅图4，本发明实施例中医学图像分类方法的第四个实施例包括：
401、从预置关系对数据库中读取类图像，并从类图像中抽取两张图片，形成图像关系对；
402、对图像关系对进行数据增强处理，得到多张同类图像；
403、对同类图像进行融合处理，得到融合关系对；
404、从预置关系对数据库读取类图像；
本实施例中，关系对数据库是指包含有多个图像关系对的图像数据的集合。图像关系对是指将相同类的图像存成<Ci,[x1,x2,...,xn]，Pi>的形式，该形式就被称之为图像关系对。
405、判断类图像数据中是否只有一张图片；
本实施例中，在图像数据的样本量比较小的情况下，某些类的图像可能存在只有一张图片的情况。此时，我们需要判断该类图像中有多少张图片。
406、若类图像中只有一张图片，则选取两张相同的图片，并将两张相同的图片分别命名为图片A1和图片A2；
本实施例中，在图像数据的样本量比较小的情况下，某些类的图像可能存在只有一张图片的情况。此时，我们需要选取两张相同的图片（其实就是同一张图片选取了两次），为了区分这两张相同的图片，此时，需要分别对这两张图片进行命名。
407、对图片A1进行数据增强，得到增强后的图片A；
本实施例中，数据增强(Data Augmentation），也叫数据扩增，是扩充数据样本规模的一种有效地方法，意思是在不实质性的增加数据的情况下，让有限的数据产生等价于更多数据的价值。具体的，此处可以对图片进行Cutout增强。
在使用图像数据进行数据增强的时候需要注意：引入数据增强并不一定会带来模型性能上的提升，尤其是在数据增强的时候，需要考虑如何设置恰当的增强比例因子。实际上，只有当我们增强后的样本，理论上和我们的实际业务场景最接近的时候，才会达到性能最好。也就是所谓的训练集和测试集样本分布一致的时候。
408、通过预置Mixup算法，将增强后的图像A和图片A2进行融合，得到融合关系对；
本实施例中，Mixup是一种一般性（不针对特定数据集）的邻域分布方式，mixup是基于邻域风险最小化（VRM）原则的数据增强方法，使用线性插值得到新样本数据。在邻域风险最小化原则下，根据特征向量线性插值将导致相关目标线性插值的先验知识，可得出简单且与数据无关的mixup公式：
其中（xn，yn）是插值生成的新数据，(xi,yi)和(xj，yj)是训练集中随机选取的两个数据，λ的取值满足贝塔分布，取值范围介于0到1，超参数α控制特征目标之间的插值强度。mixup的实验丰富，实验结果表明可以改进深度学习模型在ImageNet数据集、CIFAR数据集、语音数据集和表格数据集中的泛化误差，降低模型对已损坏标签的记忆，增强模型对对抗样本的鲁棒性和训练对抗生成网络的稳定性。
mixup处理实现了边界模糊化，提供平滑的预测效果，增强模型在训练数据范围之外的预测能力。随着超参数α增大，实际数据的训练误差就会增加，而泛化误差会减少。说明mixup隐式地控制着模型的复杂性。随着模型容量与超参数的增加，训练误差随之降低。
图片的融合是很明确的逐像素相加，融合得到的新图的尺寸是取两张图片的中的最大值，也就是说(600,800)和(900,700)两张图融合得到的新图大小是(900,800)，新增的部分取零，这一步的意义是确保新图装得下原先的两张图，且不改变检测框的绝对位置。
409、将融合关系对输入预置VAE-GAN网络进行编码-生成处理，生成当前类的新图像；
410、将新图像与所述图像关系对进行融合，生成新图像关系对，并将新图像关系对存储至预置关系对数据库，构建关系对的图像库；
411、获取图像库中的每类图像，并根据每类图像中图片的像素值，确定每类图像对应的原型图像；
412、获取待分类图像，并计算待分类图像与图像库中每个原型图像之间的欧氏距离；
413、对欧氏距离进行排序，得到排序结果；
414、基于排序结果，确定待分类图像的图像类别。
本实施例中步骤401-403和步骤411-413与第二实施例中的步骤201-203第一实施例中的步骤102-105类似，此处不再赘述。
本发明实施例中，通过构建关系对的图像库，确定图像库中每类图像包含的每张图片的像素值，计算每类图像对应的原型图像；获取待分类图像，并分别计算待分类图像与每个原型图像之间的欧氏距离，并对欧氏距离进行排序，根据得到排序结果，确定所述待分类图像的图像类别。本发明采用GAN技术以及数据增强技术，可以利用已有的图像关系对对未知类图像进行分类，解决了数据增强无法生成高质量稀缺图像数据的技术问题。
请参阅图5，本发明实施例中医学图像分类方法的第五个实施例包括：
501、从预置关系对数据库中读取类图像，并从类图像中抽取两张图片，形成图像关系对；
502、对图像关系对进行数据增强处理，得到多张同类图像；
503、对同类图像进行融合处理，得到融合关系对；
504、获取融合关系对中的增强图像，并通过预置CNN网络将增强图像编码至分布空间；
本实施例中，增强图像是经过上述步骤中的是经过上述所说的Mixup、Cutout等数据增强方法进行数据增强之后得到的图像。
编码（coding）是一种计算机术语，是信息从一种形式或格式转换为另一种形式的过程，也称为计算机编程语言的代码简称编码。用预先规定的方法将文字、数字或其它对象编成数码，或将信息、数据转换成规定的电脉冲信号。编码在电子计算机、电视、遥控和通讯等方面广泛使用。编码是信息从一种形式或格式转换为另一种形式的过程。解码是一种用特定方法，把数码还原成它所代表的内容或将电脉冲信号、光信号、无线电波等转换成它所代表的信息、数据等的过程。
505、通过预置CNN网络将增强图像进行解码，生成新图像；
本实施例中，CNN网络又叫卷积神经网络，基本组成包括输入层、隐藏层、输出层。而卷积神经网络的特点在于隐藏层分为卷积层和池化层(pooling layer，又叫下采样层)以及激活层。其中，每一层的作用分别为：卷积层：通过在原始图像上平移来提取特征；激活层：增加非线性分割能力；池化层：压缩数据和参数的量，减小过拟合，降低网络的复杂度，（最大池化和平均池化）。对于卷积层，卷积层（Convolutional layer），卷积神经网络中每层卷积层由若干卷积单元(卷积核)组成，每个卷积单元的参数都是通过反向传播算法优化得到的。
解码是受传者将接受到的符号或代码还原为信息的过程，与编码过程相对应。
506、构建孪生网络，并通过孪生网络计算融合关系对的原型图像与新图像相似分数；
本实施例中，孪生网络（Siamese Network）是由两个完全相同的神经网络结构组成，其中两个神经网络共享权值参数。然后将两个网络的最后一层馈送到损失函数，计算两者之间的相似度。比如，孪生网络利用对比损失函数（类似想利用孪生网络获得其编码，然后利用编码后的距离来说明其相似程度，这里只是使用对比损失函数），可以得到两个图像之间的相似程度，具体可以看一下孪生网络。
孪生是指这个网络结构中的Network1和Network2这两个网络的结构一般是相同的，并且参数是共享的，也即参数是一致的；通过这两个网络提取输入图片的特征。比如，在人脸领域，输入两个人的人脸图片信息，两个网络分别提取这两个人脸图片中不同部分；然后，我们通过使用两个网络提取出来了两个图片的特征；接下来我们计算特征之间的差距distance；通过使用两个网络提取出来了两个图片的特征，计算特征之间的差距distance，并返回网络的输出结果：这两张图片是否属于同一个人。其中，该网络结构的损失函数也可理解为：计算distance的地方。设定：
Gw（PT）=Gw（X1，X2）指两个特征上属于同一个人的误差；
Gw（PF）=Gw（X1，X2）指两个特征上不属于同一个人的误差；
损失函数：Loss=Gw（PT）-Gw（PF）+α；
其中，Gw（X1，X2）代表两个样本特征X1和X2之间的欧氏距离（二范数）P示样本的特征维数，Y为两个样本是否匹配的标签，Y=1代表两个样本相似或者匹配，Y=0则代表不匹配，m为设定的阈值，N为样本个数。假设，要使损失函数最小，则相当于使Gw（PT）尽可能的小；可以理解为：这个网络识别两张图片属于一个人的能力，尽可能的准确；又或者相当于使Gw（PF）尽可能的大（因为有负号）；可以理解为：这个网络区分/判别两张图片不属于一个人的能力，尽可能的准确；其中，参数α是为了避免损失函数的值为0而设定的。
观察上述的损失函数（contrastive loss）的表达式可以发现，这种损失函数可以很好的表达成对样本的匹配程度，也能够很好用于训练提取特征的模型。
当Y=1（即样本相似时），损失函数为：
也就是说，当样本不相似时，其特征空间的欧式距离反而小的话，损失值会变大，这也正好符号我们的要求。
当Y=0（即样本不相似时），损失函数为：
也就是说，即当样本不相似时，其特征空间的欧式距离反而小的话，损失值会变大，这也正好符号我们的要求。此处设置了一个阈值ｍargin，表示我们只考虑不相似特征欧式距离在０～ｍargin之间的，当距离超过ｍargin的，则把其loss看做为０(即不相似的特征离的很远，其loss应该是很低的；而对于相似的特征反而离的很远，我们就需要增加其loss，从而不断更新成对样本的匹配程度。
507、基于相似分数，生成当前类的新图像；
本实施例中，损失函数可以很好的表达成对样本的匹配程度；两个样本的特征空间之间的欧氏距离越小，则两个样本之间的相似分数越大，样本越相似；反之，两个样本的特征空间之间的欧氏距离越大，则两个样本之间的相似分数越小；根据新图像与各类图像中原型图像之间的相似分数的值，生成当前类图像的新图像。
508、将新图像与图像关系对进行融合，生成新图像关系对，并将新图像关系对存储至预置关系对数据库，构建关系对的图像库；
509、构建关系对的图像库；
510、获取图像库中的每类图像，并根据每类图像中图片的像素值，确定每类图像对应的原型图像；
511、分别将待分类图像和原型图像进行编码处理，得到编码结果；
本实施例中，编码器是我们训练得到的，训练完成以后，模型参数固定，我们将原型图像和未知类图像输入模型中，即可得到一串编码特征。分布空间是一个抽象的概念，就相当于，我在图像中无法这么明显的看出两张图像的差距，我把他俩映射到编码空间，通过计算距离相似度就可以获取未知类图像与各类图像对应的原型图像之间的距离。比如，可以通过计算两者之间的欧氏距离，得到两者之间的相似分数，进一步地确定两者之间的相似度。
512、基于编码结果，通过预置最近邻算法，分别计算待分类图像与图像库中每个原型图像之间的欧氏距离；
本实施例中，1-NN就是最近邻算法。就是通过编码器获取图像编码，与数据库中原型图像的编码进行最近邻算法，然后得到最相近的两个图像，即可了解未知图像的类别。
最近邻算法又叫KNN算法，是一种基本的分类与回归方法，它的输入是基于实例的学习（instance-based learning），属于懒惰学习（lazy learning），也即KNN是一种非显示学习过程，也就是没有训练阶段，对新样本直接与训练集做分类或者回归预测。
所谓“最近邻”，就是首先选取一个阈值为K，对在阈值范围内离测试样本最近的点进行投票，票数多的类别就是这个测试样本的类别，这是分类问题。那么回归问题也同理，对在阈值范围内离测试样本最近的点取均值，那么这个值就是这个样本点的预测值。比如，此处我们可以选择K=1。
如果选择较小的K值，就相当于用较小的领域中的训练实例进行预测，“学习”的近似误差会减小，只有与输入实例较近的训练实例才会对预测结果起作用。如果选择较大的K值，就相当于用较大领域中的训练实例进行预测。
513、对欧氏距离进行排序，得到排序结果；
514、基于排序结果，确定待分类图像的图像类别。
本实施例中步骤501-503和513-514与第二实施例中的步骤201-203和第一实施例中的104-105类似，此处不再赘述。
在本发明实施例中，通过构建关系对的图像库，确定图像库中每类图像包含的每张图片的像素值，计算每类图像对应的原型图像；获取待分类图像，并分别计算待分类图像与每个原型图像之间的欧氏距离，并对欧氏距离进行排序，根据得到排序结果，确定所述待分类图像的图像类别。本发明采用GAN技术以及数据增强技术，可以利用已有的图像关系对对未知类图像进行分类，解决了数据增强无法生成高质量稀缺图像数据的技术问题。
上面对本发明实施例中医学图像分类方法进行了描述，下面对本发明实施例中医学图像分类装置进行描述，请参阅图6，本发明实施例中医学图像分类装置的第一个实施例包括：
构建模块601，用于构建关系对的图像库；
获取模块602，用于获取所述图像库中的每类图像，并根据所述每类图像中图片的像素值，确定所述每类图像对应的原型图像；
计算模块603，用于获取待分类图像，并计算所述待分类图像与所述图像库中每个所述原型图像之间的欧氏距离；
排序模块604，用于对所述欧氏距离进行排序，得到排序结果；
确定模块605，用于基于所述排序结果，确定所述待分类图像的图像类别。
本发明实施例中，通过构建关系对的图像库，确定图像库中每类图像包含的每张图片的像素值，计算每类图像对应的原型图像；获取待分类图像，并分别计算待分类图像与每个原型图像之间的欧氏距离，并对欧氏距离进行排序，根据得到排序结果，确定所述待分类图像的图像类别。本发明采用GAN技术以及数据增强技术，可以利用已有的图像关系对对未知类图像进行分类，解决了数据增强无法生成高质量稀缺图像数据的技术问题。
请参阅图7，本发明实施例中医学图像分类装置的第二个实施例，该医学图像分类装置具体包括：
构建模块601，用于构建关系对的图像库；
获取模块602，用于获取所述图像库中的每类图像，并根据所述每类图像中图片的像素值，确定所述每类图像对应的原型图像；
计算模块603，用于获取待分类图像，并计算所述待分类图像与所述图像库中每个所述原型图像之间的欧氏距离；
排序模块604，用于对所述欧氏距离进行排序，得到排序结果；
确定模块605，用于基于所述排序结果，确定所述待分类图像的图像类别。
本实施例中，所述构建模块601包括：
读取单元6011，用于从预置关系对数据库中读取类图像，并从所述类图像中抽取两张图片，形成图像关系对；
增强单元6012，用于对所述图像关系对进行数据增强处理，得到多张同类图像；
融合单元6013，用于对所述同类图像进行融合处理，得到融合关系对；
生成单元6014，用于将所述融合关系对输入预置VAE-GAN网络进行编码-生成处理，生成当前类的新图像；
构建单元6015，用于将所述新图像与所述图像关系对进行融合，生成新图像关系对，并将所述新图像关系对存储至预置关系对数据库，构建关系对的图像库。
本实施例中，所述构建模块601还包括：
分类单元6016，用于从预置数据库获取图像数据，并对所述图像数据进行分类，得到分类结果，其中，所述分类结果包括所述图像数据对应的类别；基于所述分类结果，并通过各类图像中每个图像的像素值，确定所述各类图像对应的原型图像；基于所述分类结果和所述各类图像对应的原型图像，建立类关系，并存储至预置关系对数据库。
本实施例中，所述构建模块601还包括：
判断单元6017，用于从预置关系对数据库读取类图像；判断所述类图像数据中是否只有一张图片；当所述类图像中只有一张图片时，选取两张相同的图片，并将所述两张相同的图片分别命名为图片A1和图片A2；对所述图片A1进行数据增强，得到增强后的图片A；通过预置Mixup算法，将所述增强后的图像A和所述图片A2进行融合，得到融合关系对。
本实施例中，所述生成单元6014具体用于：
获取所述融合关系对中的增强图像，并通过预置CNN网络将所述增强图像编码至分布空间；
通过所述预置CNN网络将所述增强图像进行解码，生成新图像；
构建孪生网络，并通过所述孪生网络计算所述融合关系对的原型图像与所述新图像相似分数；
基于所述相似分数，生成当前类的新图像。
本实施例中，所述计算模块603具体用于：
分别将所述待分类图像和所述原型图像进行编码处理，得到编码结果；
基于所述编码结果，通过预置最近邻算法，分别计算待分类图像与所述图像库中每个所述原型图像之间的欧氏距离。
本发明实施例中，通过构建关系对的图像库，确定图像库中每类图像包含的每张图片的像素值，计算每类图像对应的原型图像；获取待分类图像，并分别计算待分类图像与每个原型图像之间的欧氏距离，并对欧氏距离进行排序，根据得到排序结果，确定所述待分类图像的图像类别。本发明采用GAN技术以及数据增强技术，可以利用已有的图像关系对对未知类图像进行分类，解决了数据增强无法生成高质量稀缺图像数据的技术问题。
上面图6和图7从模块化功能实体的角度对本发明实施例中的医学图像分类装置进行详细描述，下面从硬件处理的角度对本发明实施例中医学图像分类设备进行详细描述。
图8是本发明实施例提供的一种医学图像分类设备的结构示意图，该医学图像分类设备800可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器（central processing units，CPU）810（例如，一个或一个以上处理器）和存储器820，一个或一个以上存储应用程序833或数据832的存储介质830（例如一个或一个以上海量存储设备）。其中，存储器820和存储介质830可以是短暂存储或持久存储。存储在存储介质830的程序可以包括一个或一个以上模块（图示没标出），每个模块可以包括对医学图像分类设备800中的一系列指令操作。更进一步地，处理器810可以设置为与存储介质830通信，在医学图像分类设备800上执行存储介质830中的一系列指令操作，以实现上述各方法实施例提供的医学图像分类方法的步骤。
医学图像分类设备800还可以包括一个或一个以上电源840，一个或一个以上有线或无线网络接口850，一个或一个以上输入输出接口860，和/或，一个或一个以上操作系统831，例如Windows Serve，Mac OS X，Unix，Linux，FreeBSD等等。本领域技术人员可以理解，图8示出的医学图像分类设备结构并不构成对本申请提供的医学图像分类设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
本发明还提供一种计算机可读存储介质，该计算机可读存储介质可以为非易失性计算机可读存储介质，该计算机可读存储介质也可以为易失性计算机可读存储介质，所述计算机可读存储介质中存储有指令，当所述指令在计算机上运行时，使得计算机执行上述医学图像分类方法的步骤。
本发明所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。
所述领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（read-only memory，ROM）、随机存取存储器（random access memory，RAM）、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (6)

1.一种医学图像分类方法，其特征在于，所述医学图像分类方法包括：
从预置关系对数据库中读取类图像，并从所述类图像中抽取两张图片，形成图像关系对；
对所述图像关系对进行数据增强处理，得到多张同类图像；
对所述同类图像进行融合处理，得到融合关系对；
从预置关系对数据库读取类图像；
判断所述类图像数据中是否只有一张图片；
若所述类图像中只有一张图片，则选取两张相同的图片，并将所述两张相同的图片分别命名为图片A1和图片A2；
对所述图片A1进行数据增强，得到增强后的图片A；
通过预置Mixup算法，将所述增强后的图像A和所述图片A2进行融合，得到融合关系对；
获取所述融合关系对中的增强图像，并通过预置CNN网络将所述增强图像编码至分布空间；
通过所述预置CNN网络将所述增强图像进行解码，生成新图像；
构建孪生网络，并通过所述孪生网络计算所述融合关系对的原型图像与所述新图像相似分数；
基于所述相似分数，生成当前类的新图像；
将所述新图像与所述图像关系对进行融合，生成新图像关系对，并将所述新图像关系对存储至预置关系对数据库，构建关系对的图像库；
获取所述图像库中的每类图像，并根据所述每类图像中图片的像素值，确定所述每类图像对应的原型图像；
获取待分类图像，并计算所述待分类图像与所述图像库中每个所述原型图像之间的欧氏距离；
对所述欧氏距离进行排序，得到排序结果；
基于所述排序结果，确定所述待分类图像的图像类别。
2.根据权利要求1所述的医学图像分类方法，其特征在于，在所述从预置关系对数据库中读取类图像，并从所述类图像中抽取两张图片，形成图像关系对之前，还包括：
从预置数据库获取图像数据，并对所述图像数据进行分类，得到分类结果，其中，所述分类结果包括所述图像数据对应的类别；
基于所述分类结果，并通过各类图像中每个图像的像素值，确定所述各类图像对应的原型图像；
基于所述分类结果和所述各类图像对应的原型图像，建立类关系，并存储至预置关系对数据库。
3.根据权利要求1所述的医学图像分类方法，其特征在于，所述计算所述待分类图像与所述图像库中每个所述原型图像之间的欧氏距离包括：
分别将所述待分类图像和所述原型图像进行编码处理，得到编码结果；
基于所述编码结果，通过预置最近邻算法，分别计算待分类图像与所述图像库中每个所述原型图像之间的欧氏距离。
4.一种医学图像分类装置，其特征在于，所述医学图像分类装置包括：
构建模块，用于从预置关系对数据库中读取类图像，并从所述类图像中抽取两张图片，形成图像关系对；对所述图像关系对进行数据增强处理，得到多张同类图像；对所述同类图像进行融合处理，得到融合关系对；从预置关系对数据库读取类图像；判断所述类图像数据中是否只有一张图片；若所述类图像中只有一张图片，则选取两张相同的图片，并将所述两张相同的图片分别命名为图片A1和图片A2；对所述图片A1进行数据增强，得到增强后的图片A；通过预置Mixup算法，将所述增强后的图像A和所述图片A2进行融合，得到融合关系对；获取所述融合关系对中的增强图像，并通过预置CNN网络将所述增强图像编码至分布空间；通过所述预置CNN网络将所述增强图像进行解码，生成新图像；构建孪生网络，并通过所述孪生网络计算所述融合关系对的原型图像与所述新图像相似分数；基于所述相似分数，生成当前类的新图像；将所述新图像与所述图像关系对进行融合，生成新图像关系对，并将所述新图像关系对存储至预置关系对数据库，构建关系对的图像库；
获取模块，用于获取所述图像库中的每类图像，并根据所述每类图像中图片的像素值，确定所述每类图像对应的原型图像；
计算模块，用于获取待分类图像，并计算所述待分类图像与所述图像库中每个所述原型图像之间的欧氏距离；
排序模块，用于对所述欧氏距离进行排序，得到排序结果；
确定模块，用于基于所述排序结果，确定所述待分类图像的图像类别。
5.一种基于医学图像分类设备，其特征在于，所述医学图像分类设备包括：存储器和至少一个处理器，所述存储器中存储有指令，所述存储器和所述至少一个处理器通过线路互连；
所述至少一个处理器调用所述存储器中的所述指令，以使得所述医学图像分类设备执行如权利要求1-3中任一项所述的医学图像分类方法。
6.一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-3中任一项所述的医学图像分类方法。
CN202011009811.XA 2020-09-23 2020-09-23 医学图像分类方法、装置、设备及存储介质 Active CN112131421B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202011009811.XA CN112131421B (zh) 2020-09-23 2020-09-23 医学图像分类方法、装置、设备及存储介质
PCT/CN2020/124706 WO2021179632A1 (zh) 2020-09-23 2020-10-29 医学图像分类方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011009811.XA CN112131421B (zh) 2020-09-23 2020-09-23 医学图像分类方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN112131421A CN112131421A (zh) 2020-12-25
CN112131421B true CN112131421B (zh) 2023-09-15

Family

ID=73841192

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011009811.XA Active CN112131421B (zh) 2020-09-23 2020-09-23 医学图像分类方法、装置、设备及存储介质

Country Status (2)

Country Link
CN (1) CN112131421B (zh)
WO (1) WO2021179632A1 (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112131421B (zh) * 2020-09-23 2023-09-15 平安科技（深圳）有限公司 医学图像分类方法、装置、设备及存储介质
CN112884204B (zh) * 2021-01-22 2024-04-12 中国科学院信息工程研究所 网络安全风险事件预测方法及装置
CN113111915A (zh) * 2021-03-15 2021-07-13 同济大学 一种应用于静脉扎针机器人血管识别的数据库增强方法
CN113850769B (zh) * 2021-09-17 2023-04-07 南京审计大学 一种基于Siamese空谱联合卷积网络的高光谱变化检测方法
CN114037845B (zh) * 2021-11-30 2024-04-09 昆明理工大学 一种基于gan网络的异源图像特征块主方向判定方法及系统
CN114826681A (zh) * 2022-03-30 2022-07-29 西安电子科技大学 一种dga域名检测方法、系统、介质、设备及终端
CN115358283A (zh) * 2022-05-23 2022-11-18 西安电子科技大学 电磁信号孪生深度学习识别方法、装置、设备及存储介质
CN114926445B (zh) * 2022-05-31 2024-03-26 哈尔滨工业大学 一种基于孪生网络的小样本农作物病害图像识别方法及系统
CN117210403B (zh) * 2023-08-23 2024-05-28 翔鹏(北京)生物科技有限公司 一种用于抗衰老的干细胞和免疫细胞组合物的制备方法及应用

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104616029A (zh) * 2014-12-29 2015-05-13 小米科技有限责任公司 数据分类方法及装置
CN109213732A (zh) * 2018-06-28 2019-01-15 努比亚技术有限公司 一种改善相册分类的方法、移动终端及计算机可读存储介质
CN109871892A (zh) * 2019-02-18 2019-06-11 华南理工大学 一种基于小样本度量学习的机器人视觉认知系统
CN109918532A (zh) * 2019-03-08 2019-06-21 苏州大学 图像检索方法、装置、设备及计算机可读存储介质
CN110135371A (zh) * 2019-05-20 2019-08-16 华南农业大学 一种基于Mixup算法的柑橘黄龙病识别方法及装置
CN110598759A (zh) * 2019-08-23 2019-12-20 天津大学 一种基于多模态融合的生成对抗网络的零样本分类方法
CN111126504A (zh) * 2019-12-27 2020-05-08 西北工业大学 多源不完备信息融合图像目标分类方法
CN111415728A (zh) * 2019-11-25 2020-07-14 刘雷 基于cnn和gan的ct图像数据自动分类方法及设备
CN111667011A (zh) * 2020-06-08 2020-09-15 平安科技（深圳）有限公司 损伤检测模型训练、车损检测方法、装置、设备及介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10892050B2 (en) * 2018-04-13 2021-01-12 International Business Machines Corporation Deep image classification of medical images
CN112131421B (zh) * 2020-09-23 2023-09-15 平安科技（深圳）有限公司 医学图像分类方法、装置、设备及存储介质

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104616029A (zh) * 2014-12-29 2015-05-13 小米科技有限责任公司 数据分类方法及装置
CN109213732A (zh) * 2018-06-28 2019-01-15 努比亚技术有限公司 一种改善相册分类的方法、移动终端及计算机可读存储介质
CN109871892A (zh) * 2019-02-18 2019-06-11 华南理工大学 一种基于小样本度量学习的机器人视觉认知系统
CN109918532A (zh) * 2019-03-08 2019-06-21 苏州大学 图像检索方法、装置、设备及计算机可读存储介质
CN110135371A (zh) * 2019-05-20 2019-08-16 华南农业大学 一种基于Mixup算法的柑橘黄龙病识别方法及装置
CN110598759A (zh) * 2019-08-23 2019-12-20 天津大学 一种基于多模态融合的生成对抗网络的零样本分类方法
CN111415728A (zh) * 2019-11-25 2020-07-14 刘雷 基于cnn和gan的ct图像数据自动分类方法及设备
CN111126504A (zh) * 2019-12-27 2020-05-08 西北工业大学 多源不完备信息融合图像目标分类方法
CN111667011A (zh) * 2020-06-08 2020-09-15 平安科技（深圳）有限公司 损伤检测模型训练、车损检测方法、装置、设备及介质

Also Published As

Publication number Publication date
WO2021179632A1 (zh) 2021-09-16
CN112131421A (zh) 2020-12-25

Similar Documents

Publication Publication Date Title
CN112131421B (zh) 医学图像分类方法、装置、设备及存储介质
Zhang et al. Improved deep hashing with soft pairwise similarity for multi-label image retrieval
Cao et al. 3D convolutional siamese network for few-shot hyperspectral classification
Zhang et al. Gsip: Green semantic segmentation of large-scale indoor point clouds
Ghadi et al. Extrinsic behavior prediction of pedestrians via maximum entropy Markov model and graph-based features mining
Chen et al. Content-based image retrieval using block truncation coding based on edge quantization
Zhang et al. Point cloud upsampling algorithm: A systematic review
Zhao et al. SVM-based fast CU partition decision algorithm for VVC intra coding
Gharahbagh et al. Best frame selection to enhance training step efficiency in video-based human action recognition
Liang et al. News video summarization combining surf and color histogram features
Li et al. A copy paste and semantic segmentation-based approach for the classification and assessment of significant rice diseases
Bi et al. Moving object detection based on fusion of depth information and rgb features
Li et al. Spatial convolutional self-attention-based transformer module for strawberry disease identification under complex background
Yan et al. CCT-Unet: A U-shaped Network based on Convolution Coupled Transformer for Segmentation of Peripheral and Transition Zones in Prostate MRI
Liu et al. Litter detection from digital images using deep learning
Bao et al. Underwater Target Detection Based on Parallel High-Resolution Networks
Yang et al. Pedestrian detection under parallel feature fusion based on choquet integral
CN109035318B (zh) 一种图像风格的转换方法
Zhang et al. Fast CU Division Pattern Decision Based on the Combination of Spatio-Temporal Information
Hou et al. Lung nodule segmentation algorithm with SMR-UNet
Liu et al. Robust image hashing combining 3d space contour and vector angle features
Kalaivani et al. The Detection of Video Shot Transitions Based on Primary Segments Using the Adaptive Threshold of Colour-Based Histogram Differences and Candidate Segments Using the SURF Feature Descriptor
Li et al. Video summarization based on mutual information and entropy sliding window method
Wei et al. Spatiotemporal features and local relationship learning for facial action unit intensity regression
Liu et al. BGRDNet: RGB-D salient object detection with a bidirectional gated recurrent decoding network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40041477

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant