CN112420170B - 一种提高计算机辅助诊断系统图片分类准确度的方法 - Google Patents

一种提高计算机辅助诊断系统图片分类准确度的方法 Download PDF

Info

Publication number
CN112420170B
CN112420170B CN202011457683.5A CN202011457683A CN112420170B CN 112420170 B CN112420170 B CN 112420170B CN 202011457683 A CN202011457683 A CN 202011457683A CN 112420170 B CN112420170 B CN 112420170B
Authority
CN
China
Prior art keywords
clinical
image
data
vector
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011457683.5A
Other languages
English (en)
Other versions
CN112420170A (zh
Inventor
刘峡壁
杨松晓
郑中枢
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Institute of Technology BIT
Original Assignee
Beijing Institute of Technology BIT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Institute of Technology BIT filed Critical Beijing Institute of Technology BIT
Priority to CN202011457683.5A priority Critical patent/CN112420170B/zh
Publication of CN112420170A publication Critical patent/CN112420170A/zh
Application granted granted Critical
Publication of CN112420170B publication Critical patent/CN112420170B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/55—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Abstract

本发明涉及一种提高计算机辅助诊断系统图片分类准确度的方法，属于计算机视觉技术领域。本方法基于深度学习的融合医学图像特征和临床特征，首先对系统影像数据和临床数据进行预处理。然后，将系统的临床数据Ci经过卷积层和最大池化操作，得到高维特征向量。将影像信息经过残差块进行特征提取。将最后得到的影像特征图调整为一维向量，并与临床特征向量进行拼接，得到一个新的更大的特征向量。将该特征向量通过一层全连接层和Softmax函数，最终得到各个分类结果的概率。本发明方法，与现有的计算机辅助诊断系统图片分类方法相比，可使计算机辅助诊断系统在各种实际应用场景下获得快速、高可靠的图片分类。

Description

一种提高计算机辅助诊断系统图片分类准确度的方法
技术领域
本发明涉及一种提高计算机辅助诊断系统图片分类准确度的方法，属于计算机视觉技术领域。
背景技术
计算机辅助诊断(computer aided diagnosis，CAD)系统，是通过影像学、图像处理技术以及其他可能的生理、生化手段，结合计算机的分析计算，辅助发现病灶，提高诊断的准确率。计算机辅助诊断的过程包括病人一般资料和检查资料的搜集、医学信息的量化处理、统计学分析，直至最后得出诊断。随着人工智能技术的发展，近年来，计算机辅助诊断系统得到了广泛的应用。
图片分类处理，是计算机辅助诊断系统的重要问题。目前，现有的计算机辅助诊断系统的图片分类方法，主要分为两类：
1.基于传统机器学习方法的图片分类方法。该方法通常采用支持向量机(SVM)、决策树等机器学习方法，对经过数字图像处理后得到的特征进行分类。它对特征提取的要求很高，而且由于医学图像的复杂度较高，传统方法的分类能力不足，导致图片分类准确率较低。
2.基于卷积神经网络的图片分类方法。主要分成四类：第一类是采用2D医学影像的方法，这类方法通常取一组三维影像中的几张切片作为代表进行特征提取和分类。第二类是采用3D医学影像的方法，这类方法直接将三维影像作为输入，进行特征的提取和分类。第三类是加入临床信息和医学影像的方法，这类方法在前面两类的基础上添加了临床信息作为输入，对纯影像分类的结果进行补充。第四类则是采用多模态数据进行诊断的方法。
上述图片分类方法存在以下不足和缺陷：
基于传统机器学习的图片分类方法，虽然实现相对简单，但由于医学图像中特征在姿态、尺度等方面的多样化，传统机器学习的分类性能不足，分类的准确率往往达不到实际应用的要求。
基于卷积神经网络的图片分类方法，由于采用了复杂的神经网络结构，分类精度会优于传统方法。但是，使用2D医学影像的分类方法在选取的感兴趣区域(ROI)不合适时，会导致神经网络无法有效学习到特征提取的方法，从而大大降低分类准确率。使用3D医学影像的分类方法中，由于选用了整个三维影像，不存在感兴趣区域的选取问题，但是，三维影像带来的高复杂度和高内存占用会带来大量的计算消耗，大大降低方法的分类效率，使用如此巨大的计算消耗换取准确率提升的几个百分点，得不偿失。加入临床信息补充纯影像分类结果时，由于临床信息的数量较少，大量的影像特征会将临床信息淹没，导致神经网络无法充分使用临床信息。在使用多模态数据的方法中，由于采用了多种影像数据，例如MRI和PET，网络获得的信息会更多，分类准确率也有提升，但是网络复杂度和计算消耗极大，计算效率很低。
发明内容
本发明的目的是针对现有的计算机辅助诊断系统图片分类技术存在的不足，基于深度学习融合医学图像特征和临床特征，提出一种能够有效提高计算机辅助诊断系统的图片分类准确率的方法。
本发明采取的技术方案如下：
一种提高计算机辅助诊断系统图片分类准确率的方法，包括以下步骤：
步骤1：进行相关定义。
定义1：初始影像数据，记作Iori；
定义2：初始临床数据，记作Cori；
定义3：预处理后的影像数据，记为I；
定义4：预处理后的临床数据，记作C；
定义5：输入影像数据，用灰度像素矩阵表示，将数据集中第i张影像记作Ii；
定义6：输入临床数据，用一维向量表示，将数据集中第i条临床数据记作Ci；
定义7：在特征提取过程中的影像特征向量记作
Figure BDA0002829676570000021
定义8：在特征提取过程中的临床特征向量记作
Figure BDA0002829676570000022
步骤2：对系统影像数据和临床数据进行预处理。
对初始影像数据Iori进行筛选和大小调整，得到预处理后的影像数据I。其中，筛选的标准为：影像数据对应病人的临床数据缺失情况不超过10％；大小调整的标准为：256*256。
同时，对初始临床数据Cori进行归一化处理，得到预处理后的临床数据C。
步骤3：将临床数据Ci经过6个分别由一层卷积核大小为3×3的卷积层和1个最大池化操作后，得到高维特征向量
Figure BDA0002829676570000031
步骤4：将影像信息Ii经过4个两种类型的残差块进行特征提取。所述残差块包括含有临床特征注意力机制和不含有临床特征注意力机制两种类型。
其中，在含有临床特征注意力机制的残差块中，共有2个输入：
Figure BDA0002829676570000032
和
Figure BDA0002829676570000033
首先，将
Figure BDA0002829676570000034
经过一层卷积核大小为1×1的卷积层和一层全连接层进行特征对齐。
然后，将对齐后的
Figure BDA0002829676570000035
与
Figure BDA0002829676570000036
进行按通道的乘法，得到相似性度量矩阵Mi。将Mi每个通道进行压缩操作，即，对该通道每个元素进行加和后取平均，得到一个权值向量Vi。
最后，将权值向量Vi和
Figure BDA0002829676570000037
进行通道乘法，得到加权后的
Figure BDA0002829676570000038
将其输入到剩下两层参数层中，进行特征提取。同时，对原特征图
Figure BDA0002829676570000039
进行残差操作。
在不含有临床特征注意力机制的残差块中，仅对原特征图
Figure BDA00028296765700000310
进行残差操作以及两个参数层的特征提取，得到进一步特征提取后的特征图
Figure BDA00028296765700000311
步骤5：将最后得到的影像特征图
Figure BDA00028296765700000312
调整为一维向量，并与步骤2得到的临床特征向量进行拼接，得到一个新的更大的特征向量。
步骤6：将步骤5得到的特征向量，通过一层全连接层和Softmax函数，最终得到各个分类结果的概率。
有益效果
本发明方法与现有的计算机辅助诊断系统图片分类方法相比，可使计算机辅助诊断系统在各种实际应用场景下获得快速、高可靠的图片分类。经测试，在Alzheimer’sDisease Neuroimaging Initiative(ADNI)数据集中阿尔茨海默症的分类应用中，系统图片分类准确率能够达到97％以上。
附图说明
图1为本发明方法的原理框图。
图2为测试本发明方法的影像数据样例。
图3为本发明方法中病理特征引导注意力残差块。
图4为本发明方法中病理特征引导注意力机制的实现原理。
具体实施方式
下面结合附图与实施例对本发明方法作进一步具体说明。
实施例
一种提高计算机辅助诊断系统图片分类准确率的方法，包括以下步骤：
步骤1：进行相关定义。
定义1：初始影像数据，记作Iori；
定义2：初始临床数据，记作Cori；
定义3：预处理后的影像数据，记为I；
定义4：预处理后的临床数据，记作C；
定义5：输入影像数据，用灰度像素矩阵表示，数据集中第i张影像记作Ii；
定义6：输入临床数据，用一维向量表示，数据集中第i条临床数据记作Ci；
定义7：在特征提取过程中的影像特征向量，记作
Figure BDA0002829676570000041
定义8：在特征提取过程中的临床特征向量，记作
Figure BDA0002829676570000042
步骤2：对系统的影像数据和临床数据进行预处理。
对初始影像数据Iori进行筛选和大小调整，得到预处理后的影像数据I。同时，对初始临床数据Cori进行归一化处理，得到预处理后的临床数据C。
具体实现如下：
步骤2.1：查看所有初始影像数据对应的临床数据中是否有超过10％的缺失，缺失数据的表示为-4。
步骤2.2：将所有初始临床数据在所有临床数据之间进行归一化处理:。归一化方法采用min-max标准化方法，公式为
Figure BDA0002829676570000043
得到237维的归一化临床数据。
步骤2.3：将所有初始影像数据Resize为256*256。
步骤3：将输入的临床数据Ci，经过6个分别由一层卷积核大小为3×3的卷积层和1个最大池化操作后，得到高维特征向量
Figure BDA0002829676570000044
具体实现如下：
输入的临床数据Ci为237*1的一维向量，经过6个卷积层和1个最大池化操作后，得到3*1024的高维特征向量
Figure BDA0002829676570000051
步骤4：将输入的影像信息Ii，经过4个两种类型的残差块进行特征提取。
残差块包括含有临床特征注意力机制和不含有临床特征注意力机制两种类型。具体实现如下：
步骤4.1:在含有临床特征注意力机制的残差块中，共有两个输入：
Figure BDA0002829676570000052
和
Figure BDA0002829676570000053
步骤4.2：将
Figure BDA0002829676570000054
经过一层卷积核大小为1×1的卷积层和一层全连接层进行特征对齐,对齐后得到与特征图通道数一致，其余两维为1的向量。
步骤4.3：将对齐后的
Figure BDA0002829676570000055
与
Figure BDA0002829676570000056
进行按通道的乘法，得到相似性度量矩阵Mi。将Mi每个通道进行压缩操作，即，对该通道每个元素进行加和后取平均，得到一个维度与特征图通道数一致的权值向量Vi。
步骤4.4:将权值向量Vi和
Figure BDA0002829676570000057
进行通道乘法，得到加权后的
Figure BDA0002829676570000058
将其输入到剩下两层参数层中，进行特征提取。同时，对原特征图
Figure BDA0002829676570000059
进行残差操作。
步骤5：将最后得到的影像特征图
Figure BDA00028296765700000510
调整为一维向量，并与步骤2得到的临床特征向量
Figure BDA00028296765700000511
进行拼接，得到一个更大的特征向量。具体实现如下：
影像特征图
Figure BDA00028296765700000512
调整为8192*1的一维向量和步骤2得到的临床特征向量拼接得到11264*1的特征向量。
步骤6：将步骤5得到的特征向量，通过一层全连接层和Softmax函数，最终得到该图片各个分类结果的概率。

Claims (3)

1.一种提高计算机辅助诊断系统图片分类准确度的方法，其特征在于，包括以下步骤：
步骤1：进行相关定义；
定义1：初始影像数据，记作Iori；
定义2：初始临床数据，记作Cori；
定义3：预处理后的影像数据，记为I；
定义4：预处理后的临床数据，记作C；
定义5：输入影像数据，用灰度像素矩阵表示，将数据集中第i张影像记作Ii；
定义6：输入临床数据，用一维向量表示，将数据集中第i条临床数据记作Ci；
定义7：在特征提取过程中的影像特征向量记作
Figure FDA0003780399060000011
定义8：在特征提取过程中的临床特征向量记作
Figure FDA0003780399060000012
步骤2：对系统影像数据和临床数据进行预处理；
对初始影像数据Iori进行筛选和大小调整，得到预处理后的影像数据I；
同时，对初始临床数据Cori进行归一化处理，得到预处理后的临床数据C；
步骤3：将临床数据Ci经过6个分别由一层卷积核大小为3×3的卷积层和1个最大池化组成的卷积模块操作后，得到临床特征向量
Figure FDA0003780399060000013
步骤4：将影像数据Ii经过4个两种类型的残差块进行特征提取；所述残差块包括含有临床特征注意力机制和不含有临床特征注意力机制两种类型；
其中，在含有临床特征注意力机制的残差块中，共有2个输入：
Figure FDA0003780399060000014
和
Figure FDA0003780399060000015
首先，将
Figure FDA0003780399060000016
经过一层卷积核大小为1×1的卷积层和一层全连接层进行特征对齐；
然后，将对齐后的
Figure FDA0003780399060000017
与
Figure FDA0003780399060000018
进行按通道的乘法，得到相似性度量矩阵Mi；将Mi每个通道进行压缩操作，即，对该通道每个元素进行加和后取平均，得到一个权值向量Vi；
最后，将权值向量Vi和影像特征向量
Figure FDA0003780399060000019
进行通道乘法，得到加权后的
Figure FDA00037803990600000110
将其输入到剩下两层参数层中，进行特征提取；同时，对影像特征向量
Figure FDA00037803990600000111
进行残差操作；
在不含有临床特征注意力机制的残差块中，仅对影像特征向量
Figure FDA0003780399060000021
进行残差操作以及两个参数层的特征提取，得到进一步特征提取后的影像特征向量
Figure FDA0003780399060000022
步骤5：将最后得到的影像特征向量
Figure FDA0003780399060000023
调整为一维向量，并与步骤2得到的临床数据C的特征向量进行拼接，得到一个新的更大的特征向量；
步骤6：将步骤5得到的特征向量，通过一层全连接层和Softmax函数，最终得到各个分类结果的概率。
2.如权利要求1所述的一种提高计算机辅助诊断系统图片分类准确度的方法，其特征在于，步骤2对初始影像数据Iori进行筛选的标准为：影像数据对应病人的临床数据缺失情况不超过10％。
3.如权利要求1所述的一种提高计算机辅助诊断系统图片分类准确度的方法，其特征在于，步骤2对初始影像大小调整的标准为：256*256。
CN202011457683.5A 2020-12-10 2020-12-10 一种提高计算机辅助诊断系统图片分类准确度的方法 Active CN112420170B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011457683.5A CN112420170B (zh) 2020-12-10 2020-12-10 一种提高计算机辅助诊断系统图片分类准确度的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011457683.5A CN112420170B (zh) 2020-12-10 2020-12-10 一种提高计算机辅助诊断系统图片分类准确度的方法

Publications (2)

Publication Number Publication Date
CN112420170A CN112420170A (zh) 2021-02-26
CN112420170B true CN112420170B (zh) 2022-12-09

Family

ID=74775534

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011457683.5A Active CN112420170B (zh) 2020-12-10 2020-12-10 一种提高计算机辅助诊断系统图片分类准确度的方法

Country Status (1)

Country Link
CN (1) CN112420170B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112966636A (zh) * 2021-03-19 2021-06-15 捻果科技(深圳)有限公司 一种用于民航机场飞行区客梯车靠接航空器的自动识别方法
CN113592797A (zh) * 2021-07-21 2021-11-02 山东大学 基于多数据融合及深度学习的乳腺结节风险等级预测系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109165667A (zh) * 2018-07-06 2019-01-08 中国科学院自动化研究所 基于自注意力机制的脑疾病分类系统
CN110298383A (zh) * 2019-05-28 2019-10-01 中国科学院计算技术研究所 基于多模态深度学习的病理分类方法及系统
CN111353539A (zh) * 2020-02-29 2020-06-30 武汉大学 一种基于双路注意力卷积神经网络的宫颈oct图像分类方法及系统
CN111898709A (zh) * 2020-09-30 2020-11-06 中国人民解放军国防科技大学 一种图像分类方法及设备

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018213841A1 (en) * 2017-05-19 2018-11-22 Google Llc Multi-task multi-modal machine learning model

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109165667A (zh) * 2018-07-06 2019-01-08 中国科学院自动化研究所 基于自注意力机制的脑疾病分类系统
CN110298383A (zh) * 2019-05-28 2019-10-01 中国科学院计算技术研究所 基于多模态深度学习的病理分类方法及系统
CN111353539A (zh) * 2020-02-29 2020-06-30 武汉大学 一种基于双路注意力卷积神经网络的宫颈oct图像分类方法及系统
CN111898709A (zh) * 2020-09-30 2020-11-06 中国人民解放军国防科技大学 一种图像分类方法及设备

Also Published As

Publication number Publication date
CN112420170A (zh) 2021-02-26

Similar Documents

Publication Publication Date Title
CN112116605B (zh) 一种基于集成深度卷积神经网络的胰腺ct图像分割方法
CN111476292B (zh) 医学图像分类处理人工智能的小样本元学习训练方法
CN109523521B (zh) 基于多切片ct图像的肺结节分类和病灶定位方法和系统
CN112101451B (zh) 一种基于生成对抗网络筛选图像块的乳腺癌组织病理类型分类方法
CN111429460A (zh) 图像分割方法、图像分割模型训练方法、装置和存储介质
CN111738363B (zh) 基于改进的3d cnn网络的阿尔茨海默病分类方法
CN112420170B (zh) 一种提高计算机辅助诊断系统图片分类准确度的方法
CN113223005B (zh) 一种甲状腺结节自动分割及分级的智能系统
Yao et al. Pneumonia detection using an improved algorithm based on faster r-cnn
CN114494296A (zh) 一种基于Unet和Transformer相融合的脑部胶质瘤分割方法与系统
WO2021169126A1 (zh) 病灶分类模型训练方法、装置、计算机设备和存储介质
CN112508953A (zh) 基于深度神经网络的脑膜瘤快速分割定性方法
CN112381846A (zh) 一种基于非对称网络的超声甲状腺结节分割方法
CN116030325A (zh) 基于深度混合学习框架的肺结节ct图像识别方法
CN110728666B (zh) 基于数字病理玻片进行慢性鼻窦炎的分型方法及其系统
CN115526829A (zh) 基于ViT与上下文特征融合的蜂窝肺病灶分割方法及网络
CN116664590B (zh) 基于动态对比增强磁共振图像的自动分割方法及装置
CN112949728B (zh) 基于切片图像筛选和特征聚合的mri图像分类方法
CN114283406A (zh) 细胞图像识别方法、装置、设备、介质及计算机程序产品
CN113889235A (zh) 一种三维医学影像无监督特征抽取系统
CN112614092A (zh) 脊柱检测方法和装置
Yu et al. Deep learning-based fully automated detection and segmentation of breast mass
CN111291825B (zh) 病灶分类模型训练方法、装置、计算机设备和存储介质
Ye et al. Dual attention based fine-grained leukocyte recognition for imbalanced microscopic images
Kassim et al. A cell augmentation tool for blood smear analysis

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant