CN108399616B - 基于深度残差网络的骨科病病变分类分级方法 - Google Patents

基于深度残差网络的骨科病病变分类分级方法 Download PDF

Info

Publication number
CN108399616B
CN108399616B CN201810142302.0A CN201810142302A CN108399616B CN 108399616 B CN108399616 B CN 108399616B CN 201810142302 A CN201810142302 A CN 201810142302A CN 108399616 B CN108399616 B CN 108399616B
Authority
CN
China
Prior art keywords
residual error
neural network
image
layer
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810142302.0A
Other languages
English (en)
Other versions
CN108399616A (zh
Inventor
邓亚平
王璐
贾颢
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian University of Technology
Original Assignee
Xian University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian University of Technology filed Critical Xian University of Technology
Priority to CN201810142302.0A priority Critical patent/CN108399616B/zh
Publication of CN108399616A publication Critical patent/CN108399616A/zh
Application granted granted Critical
Publication of CN108399616B publication Critical patent/CN108399616B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/51—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Epidemiology (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Primary Health Care (AREA)
  • Biomedical Technology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Databases & Information Systems (AREA)
  • Radiology & Medical Imaging (AREA)
  • Pathology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于深度残差网络的骨科病病变分类分级方法，具体按照以下步骤实施：步骤1，离线学习，将经过专业分类并做好标记的骨科病病变图像进行预处理，然后进行深度残差神经网络训练；步骤2，在线学习，将经步骤1训练好的深度残差神经网络进行备份后部署到日常诊疗中，同时使用在线学习的训练方法，使深度残差神经网络通过日常的诊疗数据不断的自我修正。本发明的基于深度残差网络的骨科病病变分类分级方法，解决了现有卷积神经网络随着神经网络构架深度的增加，出现精度饱和随后精度下降，且离线学习的方法无法对每天产生的诊疗数据加以利用，因而无法随着诊疗数目的增加进行自我修正的问题。

Description

基于深度残差网络的骨科病病变分类分级方法
技术领域
本发明属于骨科病病变分类方法技术领域，涉及一种基于深度残差网络的骨科病病变分类分级方法。
背景技术
现有技术中，对腰椎间盘突出，肩周炎，膝盖损伤，颈椎病，这一类病变分类分级依然依靠人工对现有的医学造影来进行人工判断。现在通过CT、X光，核磁共振，等医学造影技术产生了大量的医学诊断影像资料。但是医生个人无法充分利用。现在的方法依旧是依赖医生个人经验和能力，进行人工判断的方式来对这几种病变分类分级，因而及其依赖医生的个人经验，技术素养，人工成本极高，判断准确性受人为因素影响极大，时间成本非常高，诊断效率低下。因而寻求一种自动，高效，准确的辅助诊断方式变得十分迫切。
当今类似问题解决方法是使用卷积神经网络对医学影像进行分类分级，但是卷积神经网络自身存在着精度饱和问题，在数据量一定的情况下，想要进一步提高精度就需要增加卷积神经网络深度，然而随着深度的增加卷积神经网络精度会首先上升，然后出现饱和，因此精度无法进一步提升。现使用卷积神经网络解决方案精度仅为80％左右，其存在精度无法继续提高的瓶颈，同时现有技术使用离线学习的方式来进行神经网络训练，即使用离线数据库训练完毕后将经过离线训练最优的神经网络结构部署到实际诊断中，使用固定数据库。但是现实情况下，每天的诊断都在产生着大量的数据，而离线学习的方式无法使用这些新产生的数据，从而造成了现有医疗数据的极大浪费。
发明内容
本发明的目的是提供一种基于深度残差网络的骨科病病变分类分级方法，解决了现有卷积神经网络随着神经网络构架深度的增加，出现精度饱和随后精度下降，且离线学习的方法无法对每天产生的诊疗数据加以利用，因而无法随着诊疗数目的增加进行自我修正的问题。
本发明所采用的技术方案是，基于深度残差网络的骨科病病变分类分级方法，具体按照以下步骤实施：
步骤1，离线学习
将经过专业分类并做好标记的骨科病病变图像进行预处理，然后进行深度残差神经网络训练；
步骤2，在线学习
将经步骤1训练好的深度残差神经网络进行备份后部署到日常诊疗中，同时使用在线学习的训练方法，使深度残差神经网络通过日常的诊疗数据不断的自我修正。
本发明的特征还在于，
步骤1具体按照以下步骤实施：
步骤1.1，准备离线图像库
图像库包含经过专业分类并做好诊断标记的各类骨科病病变图像，每类病变图像应确保一定量的数量，其中，诊断标记包括两部分，第一部分为病变类型，第二部分为病变程度；
步骤1.2，将经步骤1.1做好分类标记的图像进行预处理
将经步骤1.1做好分类标记的图像变为jpg或png格式文件，然后在保留最大分辨率的前提下进行图像归一化，并且打乱图像排布，使其病变类型、病变程度分布在图像库中处于均匀状态；
步骤1.3，将经步骤1.2处理的所有图像分为训练集和测试集两个部分，其中训练集中的图像占所有图像的80％，测试集中的图像占所有图像的20％，训练集和测试集中均包括图像的每一个类；
步骤1.4，将经步骤1.3处理的训练集和测试集中的图像以及经过人工分类分级的标签均变为矩阵形式；
步骤1.5，构建深度残差神经网络框架，其中，深度残差神经网络主要包括三个部分，第一部分为输入层，第二部分为隐含层，第三部分为输出层，隐含层连接在输入层上，输出层连接在隐含层上；
步骤1.6，训练深度残差神经网络
将步骤1.5所建立的深度残差神经网络框架，使用经步骤1.4处理的训练集的图像数据进行训练，训练时遍历训练集中的每一个图像，每一个完整的遍历被称为一个世代，经过若干次训练，即经过若干个世代，得到训练好的深度残差神经网络；
步骤1.7，过拟合判断
使用经步骤1.6训练好后的深度残差神经网络，用1/4的测试集数据进行测试，若准确度大幅下降，则调整深度残差神经网络的超参数，然后重新训练深度残差神经网络，训练后再次执行过拟合判断，如此循环，直至未出现过拟合，则使用当前深度残差神经网络来进行实际诊疗判断。
步骤1.4中，将经步骤1.3处理的训练集和测试集中的图像均变为矩阵形式，其图像矩阵格式为：[图像序号，图像长度，图像宽度，3]，其中，3代表RGB三色通道，每个图像对应的标签转化为3维矩阵形式，其格式为：[图像序号，病症类型，病症等级]，其中，标签的序号与该标签所对应图像为一一对应关系。
步骤1.5中的隐含层包括多层，第一个隐含层连接输入层，最后一个隐含层连接输出层，第一个隐含层到最后一个隐含层之间依次存在参数传递通道或者第一个隐含层到最后一个隐含层之间跨层顺次存在参数传递通道，参数传递通道不能在隐含层之间相互交叉。
除输入层外，各个神经网络层均有上一层输出数据经过激活函数后与后一层相连。
输出层为Soft-Max层，每一层神经网络的激活函数使用Relu激活函数。
步骤2具体按照以下步骤实施：
步骤2.1，图像预处理
将医疗诊断中的医学图像转化为jpg或png格式文件，并将图像进行大小调整，像素归一化；
步骤2.2，将经步骤2.1处理的图像变为数字矩阵；
步骤2.3，将步骤1训练好的深度残差神经网络进行备份后，将经步骤2.2形成的数字矩阵输入至经步骤1训练好的深度残差神经网络中，深度残差网络经最后一层输出对应医学图像的病变分类分级，并经过标准病例生成处理，使其变为标准病例格式；
步骤2.4，修正判断
人为对步骤2.3生成的对应医学图像的病变分类分级进行判断，若步骤2.3为误判，则为图像打上正确的分类分级标签，并且重新生成正确的标准病例，若步骤2.3分类分级正确，则直接使其标准病例以及当前的深度残差神经网络；
步骤2.5，将步骤2.4进行判断且确定步骤2.3为误判的图像打上正确的分类分级标签后，将其输入到备份的深度残差神经网络中进行训练，得到经再次训练的深度残差神经网络；
步骤2.6，检测精度
使用剩余的测试集图像对经步骤2.5生成的经再次训练的深度残差神经网络进行测试，若精度高于原训练好的深度残差神经网络则替代原有深度残差神经网络，否则将抛弃训练后网络，维持原有深度残差神经网络。
步骤2.5中将步骤2.4进行判断且确定步骤2.3为误判的图像打上正确的分类分级标签后输入到备份的深度残差神经网络中进行训练的训练方法与离线学习使用的训练方法相同。
步骤2.2中数字矩阵的文件格式为：[X，图像长度，图像宽度，3]，其中X表示图像的数量，3表示RGB三色通道。
本发明的有益效果是
本发明经过训练的深度残差神经网络可以快速的对骨科疾病，如：腰间盘突出，肩周炎，膝盖损伤，颈椎病病变分类分级，极大的解放人力劳动，减轻医疗人员压力，可以作为辅助诊断手段。本发明的方法可以最大限度的使用医学造影的信息，深度残差神经网络相对于卷积神经网络可以极大的增加神经网络深度，突破原有卷积神网络的精度瓶颈，可以最大限度的提取出医学造影中的诊断特征，从而可以快速准确的判断腰间盘突出，肩周炎，膝盖损伤，颈椎病病变的分类和等级。通过基于大数据的数据库来进行训练，可以对现有的医学造影的诊断数据进行最大的资源整合。通过深度残差神经网络的训练过程，可以自动提取出所需特征，从而自动学习来得到最准确的判断，算法具有泛用性。通过其在线学习能力，随着诊疗数目的增多，数据库可以自动更新，部署的神经网络模型可以不断自我修正，学习成长，进一步提高精度，从每天产生的新的医疗数据中学习到新的图像特征，从而更好的使用现有的，以及不断产生的医学造影资料来腰间盘突出，肩周炎，膝盖损伤，颈椎病病变的自动诊断和分级。
附图说明
图1是本发明基于深度残差网络的骨科病病变分类分级方法中离线学习部分的流程图；
图2是本发明基于深度残差网络的骨科病病变分类分级方法中在线学习部分的流程图；
图3是本发明残差基于深度残差网络的骨科病病变分类分级方法中神经网络层级结构图；
图4是本发明残差基于深度残差网络的骨科病病变分类分级方法中隐含层之间参数传递通道的第一种示意图；
图5是本发明残差基于深度残差网络的骨科病病变分类分级方法中隐含层之间参数传递通道的第二种示意图；
图6是本发明残差基于深度残差网络的骨科病病变分类分级方法中隐含层之间参数传递通道的第三种示意图；
图7是参数传递通道在隐含层之间相互交叉的结构示意图；
图8是本发明的一种实施例图。
具体实施方式
下面结合附图和具体实施方式对本发明进行详细说明。
本发明基于深度残差网络的骨科病病变分类分级方法，具体按照以下步骤实施：
步骤1，离线学习
将经过专业分类并做好标记的骨科病病变图像进行预处理，然后进行深度残差神经网络训练，具体为：
如图1所示，步骤1.1，准备离线图像库
图像库包含经过专业分类并做好诊断标记的各类骨科病病变图像，每类病变图像应确保一定量的数量，其中，诊断标记包括两部分，第一部分为病变类型，第二部分为病变程度；图像库包含已经经过专业分类并做好标记的腰间盘突出，肩周炎，膝盖损伤，颈椎病病变图片，每类病变图片应确保一定量的图片数量。第一部分为病变类型，例如腰椎间盘突出病变的膨隆型，突出型，脱垂游离型，Schmorl结节等；颈椎病的神经根型颈椎病，脊髓型颈椎病，椎动脉型颈椎病，交感神经型颈椎病等，膝关节病变的骨性关节炎、滑膜炎、髌骨软化、半月板损伤等；第二部分为病变程度，如零级一级二级三级；
步骤1.2，将经步骤1.1做好分类标记的图像进行预处理
将经步骤1.1做好分类标记的图像变为jpg或png格式文件，然后在保留最大分辨率的前提下进行图像归一化，并且打乱图像排布，使其病变类型、病变程度分布在图像库中处于均匀状态；其中归一化包括：图像分辨率调整，翻转到同一角度；
步骤1.3，将经步骤1.2处理的所有图像分为训练集和测试集两个部分，其中训练集中的图像占所有图像的80％，测试集中的图像占所有图像的20％，训练集和测试集中均包括图像的每一个类；
步骤1.4，将经步骤1.3处理的训练集和测试集中的图像以及经过人工分类分级的标签均变为矩阵形式，其图像矩阵格式为：[图像序号，图像长度，图像宽度，3]，其中，3代表RGB三色通道，每个图像对应的标签转化为3维矩阵形式，其格式为：[图像序号，病症类型，病症等级]，其中，标签的序号与该标签所对应图像为一一对应关系；
步骤1.5，构建深度残差神经网络框架，其中，深度残差神经网络主要包括三个部分，第一部分为输入层，第二部分为隐含层，第三部分为输出层，隐含层连接在输入层上，输出层连接在隐含层上；其中，隐含层包括多层，第一个隐含层连接输入层，最后一个隐含层连接输出层，如图4所示，第一个隐含层到最后一个隐含层之间依次存在参数传递通道，或者如图5-6所示，第一个隐含层到最后一个隐含层之间跨层顺次存在参数传递通道，如图7所示，参数传递通道不能在隐含层之间相互交叉；其中隐含层中，参数传递通道用于参数传递，从而使每一层学到的不是输入X对应的期望输出H(X)的映射，而是输入X对应其期望输H(X)的残差，即F(X)＝H(X)-X，如图3所示，除第一层输入层外，其余层参数均相互之间存在联系，除第一层外，各层神经网络层均有上一层输出数据经过激活函数后与后一层相连，深度残差神经网络经过最后一层Soft-Max层来输出诊断结果；如图8所示，为使用50层深度残差神经网络构架，其中第一层为输入层，第2层到第49层为隐含层，隐含层与隐含层之间存在参数传递通道，隐含层中可以包含卷积层，全连接层，池化层，丢弃层。第50层为Soft-Max层，该层用于输出诊断结果；
步骤1.6，训练深度残差神经网络
将步骤1.5所建立的深度残差神经网络框架，使用经步骤1.4处理的训练集的图像数据进行训练，训练时遍历训练集中的每一个图像，每一个完整的遍历被称为一个世代，经过若干次训练，即经过若干个世代，得到训练好的深度残差神经网络；除输入层外，各个神经网络层均有上一层输出数据经过激活函数后与后一层相连；输出层为Soft-Max层，每一层神经网络的激活函数使用Relu激活函数；
该步骤中，针对深度残差神经网络使用如下训练方法：
该训练中使用固定超参数进行训练，如学习率设置为0.0001，迭代世代设置为2500，每经过20个世代使用1/4测试集进行测试打印出相应的深度残差神经网络精度，对深度残差神经网络每一层的输出数据进行规范化，此处使用批规范化来进行全局规范化，同时对每一层的数据进行L2正则化，减少过拟合现象，在此每一层神经网络的激活函数使用Relu激活函数，使用交叉熵作为损失函数，使用Momentum优化器来进行训练，之后全局数据进行初始化对所有神经网单元进行参数初始化，此处使用全局随机初始化，初始化完成后进行深度残差神经网络训练，此处使用经过所设置的迭代世代迭代后可以得到当前最优深度残差神经网络。
步骤1.7，过拟合判断
使用经步骤1.6训练好后的深度残差神经网络，用1/4的测试集数据进行测试，若准确度大幅下降，则调整深度残差神经网络的超参数，然后重新训练深度残差神经网络，训练后再次执行过拟合判断，如此循环，直至未出现过拟合，则使用当前深度残差神经网络来进行实际诊疗判断；其中超参数如学习率，迭代世代，调整卷积层数量，卷积核大小等。
步骤2，在线学习
将经步骤1训练好的深度残差神经网络进行备份后部署到日常诊疗中，同时使用在线学习的训练方法，使深度残差神经网络通过日常的诊疗数据不断的自我修正，具体为：
步骤2.1，图像预处理
将医疗诊断中的医学图像转化为jpg或png格式文件，并将图像进行大小调整，像素归一化；其中，医学图像为x光图像，ct图像，核磁共振图像等；
步骤2.2，将经步骤2.1处理的图像变为数字矩阵，数字矩阵的文件格式为：[X，图像长度，图像宽度，3]，其中X表示图像的数量，3表示RGB三色通道；
步骤2.3，将步骤1训练好的深度残差神经网络进行备份后，将经步骤2.2形成的数字矩阵输入至经步骤1训练好的深度残差神经网络中，深度残差网络经最后一层输出对应医学图像的病变分类分级，并经过标准病例生成处理，使其变为标准病例格式；
步骤2.4，修正判断
人为对步骤2.3生成的对应医学图像的病变分类分级进行判断，若步骤2.3为误判，则为图像打上正确的分类分级标签，并且重新生成正确的标准病例，若步骤2.3分类分级正确，则直接使其标准病例以及当前的深度残差神经网络；
步骤2.5，将步骤2.4进行判断且确定步骤2.3为误判的图像打上正确的分类分级标签后，将其输入到备份的深度残差神经网络中进行训练，得到经再次训练的深度残差神经网络；
步骤2.6，检测精度
使用剩余的测试集图像对经步骤2.5生成的经再次训练的深度残差神经网络进行测试，若精度高于原训练好的深度残差神经网络则替代原有深度残差神经网络，否则将抛弃训练后网络，维持原有深度残差神经网络。
步骤2.5中将步骤2.4进行判断且确定步骤2.3为误判的图像打上正确的分类分级标签后输入到备份的深度残差神经网络中进行训练的训练方法与离线学习使用的训练方法相同。
本发明的方法中神经网络的隐含层数量可以根据实际拥有的计算资源的多少来进行调整，可以增加到45层以上，如45层隐含层训练只需要50分钟，那么可以将层数增加为45增加到70层来获得更好的训练效果，或者45层隐含层训练需要8小时可以降低隐含层数量来快速训练，同时，这样也会降低模型的准确性。隐含层中结构可以自行调整，如卷积层，丢弃层，池化层，全连接层在隐含层中出现的数量和排布方式，以及各层参数可以根据准确度进行调节。如，在确定一个排布方式后，进行训练发现准确率无法随着训练世代的增加而提高，甚至下降，可以相应减少卷积层，增加丢弃层等，或者将3×3卷积层变为6×6来改变参数数量。
本发明中Momentum优化器可以用选择SGD或亚当优化器替换，从而寻求更高精确度。
本发明的输出层可以选择为全连接层或者使用卷积层之后连接接Softmax层来实现。
本发明中Relu激活函数可以选择为Leak Relu，Sigmoid，tanh，ELU，PRELI，RRELU来进行替换，从而获得更好的训练效果。
实施例：
经过专家分类的共6万张的腰间盘突出，肩周炎，膝盖损伤，颈椎病病变图像的训练，并且在1.4万张测试数据上进行准确率测试，在使用50层深度残差神经网络构架下，其准确度可以达到97.8％。通过模拟在线学习的方式，经过2000张错误图像修正，在线学习训练后，其准确率上升到了98.2％。高于同类使用卷积神经网络的判断准确性。
离线学习部分，本实例基于开源的深度学习框架，由50层深度残差神经网络单元构成，第一层为输入层，中间隐含层为48层，隐含层含有卷积层，池化层，全连接层，最后一层为Soft-Max层。卷积层与卷积层之间存在映射通道，使该层可以通过输入的X来学习到目标输出H(x)与其自身的残差，即F(X)＝H(X)-X；学习率设置为0.0001，迭代世代为3000个世代，输入图片的分辨率为800*800(此处根据计算机计算资源的情况来选择)，这样的情况下进行迭代，最终经过调整，识别率可以达到97.8％，其结构如图5所示。
在线学习部分，使用相同神经网络构架，经历2000个错误修正后，其准确度上升到98.2％。对比同类问题使用卷积神经网络其高出了近20个百分点。
本发明的深度残差神经网络的深度相对于卷积神经网络可以极大的扩展，解决了卷积神经网络的准确度饱和问题。同时加入在线学习模块，使其在部署后，在实际的医疗诊断中，随着诊断数目的增多，可以对不断产生的数据进行学习，从而实现自我修正。
本发明的基于深度残差网络的骨科病病变分类分级方法，解决了现有技术中存在的诊断依赖医生个人职业素养，医生个人接触医疗影像资料有限，无法充分利用现有医学影像，并且诊断精度不高，但时间及诊断成本极高，无法自动、高效、准确的进行诊断。

Claims (8)

1.基于深度残差网络的骨科病病变分类分级方法，其特征在于，具体按照以下步骤实施：
步骤1，离线学习
将经过专业分类并做好标记的骨科病病变图像进行预处理，然后进行深度残差神经网络训练；
步骤2，在线学习
将经步骤1训练好的深度残差神经网络进行备份后部署到日常诊疗中，同时使用在线学习的训练方法，使深度残差神经网络通过日常的诊疗数据不断的自我修正，具体按照以下步骤实施：
步骤2.1，图像预处理
将医疗诊断中的医学图像转化为jpg或png格式文件，并将图像进行大小调整，像素归一化；
步骤2.2，将经步骤2.1处理的图像变为数字矩阵；
步骤2.3，将步骤1训练好的深度残差神经网络进行备份后，将经步骤2.2形成的数字矩阵输入至经步骤1训练好的深度残差神经网络中，深度残差网络经最后一层输出对应医学图像的病变分类分级，并经过标准病例生成处理，使其变为标准病例格式；
步骤2.4，修正判断
人为对步骤2.3生成的对应医学图像的病变分类分级进行判断，若步骤2.3为误判，则为图像打上正确的分类分级标签，并且重新生成正确的标准病例，若步骤2.3分类分级正确，则直接使用标准病例以及当前的深度残差神经网络；
步骤2.5，将步骤2.4进行判断且确定步骤2.3为误判的图像打上正确的分类分级标签后，将其输入到备份的深度残差神经网络中进行训练，得到经再次训练的深度残差神经网络；
步骤2.6，检测精度
使用剩余的测试集图像对经步骤2.5生成的经再次训练的深度残差神经网络进行测试，若精度高于原训练好的深度残差神经网络则替代原有深度残差神经网络，否则将抛弃训练后网络，维持原有深度残差神经网络。
2.根据权利要求1所述的基于深度残差网络的骨科病病变分类分级方法，其特征在于，所述步骤1具体按照以下步骤实施：
步骤1.1，准备离线图像库
图像库包含经过专业分类并做好诊断标记的各类骨科病病变图像，每类病变图像应确保一定量的数量，其中，诊断标记包括两部分，第一部分为病变类型，第二部分为病变程度；
步骤1.2，将经步骤1.1做好分类标记的图像进行预处理
将经步骤1.1做好分类标记的图像变为jpg或png格式文件，然后在保留最大分辨率的前提下进行图像归一化，并且打乱图像排布，使其病变类型、病变程度分布在图像库中处于均匀状态；
步骤1.3，将经步骤1.2处理的所有图像分为训练集和测试集两个部分，其中训练集中的图像占所有图像的80%，测试集中的图像占所有图像的20%，训练集和测试集中均包括图像的每一个类；
步骤1.4，将经步骤1.3处理的训练集和测试集中的图像以及经过人工分类分级的标签均变为矩阵形式；
步骤1.5，构建深度残差神经网络框架，其中，深度残差神经网络包括三个部分，第一部分为输入层，第二部分为隐含层，第三部分为输出层，所述隐含层连接在输入层上，所述输出层连接在所述隐含层上；
步骤1.6，训练深度残差神经网络
将步骤1.5所建立的深度残差神经网络框架，使用经步骤1.4处理的训练集的图像数据进行训练，训练时遍历训练集中的每一个图像，每一个完整的遍历被称为一个世代，经过若干次训练，即经过若干个世代，得到训练好的深度残差神经网络；
步骤1.7，过拟合判断
使用经步骤1.6训练好后的深度残差神经网络，用1/4的测试集数据进行测试，若准确度大幅下降，则调整深度残差神经网络的超参数，然后重新训练深度残差神经网络，训练后再次执行过拟合判断，如此循环，直至未出现过拟合，则使用当前深度残差神经网络来进行实际诊疗判断。
3.根据权利要求2所述的基于深度残差网络的骨科病病变分类分级方法，其特征在于，所述步骤1.4中，将经步骤1.3处理的训练集和测试集中的图像均变为矩阵形式，其图像矩阵格式为：[图像序号，图像长度，图像宽度，3]，其中，3代表RGB三色通道，每个图像对应的标签转化为3维矩阵形式，其格式为：[图像序号，病症类型，病症等级]，其中，标签的序号与该标签所对应图像为一一对应关系。
4.根据权利要求2所述的基于深度残差网络的骨科病病变分类分级方法，其特征在于，步骤1.5中的所述隐含层包括多层，第一个隐含层连接所述输入层，最后一个隐含层连接所述输出层，第一个隐含层到最后一个隐含层之间依次存在参数传递通道或者第一个隐含层到最后一个隐含层之间跨层顺次存在参数传递通道，参数传递通道不能在隐含层之间相互交叉。
5.根据权利要求4所述的基于深度残差网络的骨科病病变分类分级方法，其特征在于，除输入层外，各个神经网络层均有上一层输出数据经过激活函数后与后一层相连。
6.根据权利要求4所述的基于深度残差网络的骨科病病变分类分级方法，其特征在于，所述输出层为Soft-Max层，每一层神经网络的激活函数使用Relu激活函数。
7.根据权利要求1所述的基于深度残差网络的骨科病病变分类分级方法，其特征在于，所述步骤2.5中将步骤2.4进行判断且确定步骤2.3为误判的图像打上正确的分类分级标签后输入到备份的深度残差神经网络中进行训练的训练方法与离线学习使用的训练方法相同。
8.根据权利要求1所述的基于深度残差网络的骨科病病变分类分级方法，其特征在于，所述步骤2.2中数字矩阵的文件格式为：[X，图像长度，图像宽度，3]，其中X表示图像的数量，3表示RGB三色通道。
CN201810142302.0A 2018-02-11 2018-02-11 基于深度残差网络的骨科病病变分类分级方法 Active CN108399616B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810142302.0A CN108399616B (zh) 2018-02-11 2018-02-11 基于深度残差网络的骨科病病变分类分级方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810142302.0A CN108399616B (zh) 2018-02-11 2018-02-11 基于深度残差网络的骨科病病变分类分级方法

Publications (2)

Publication Number Publication Date
CN108399616A CN108399616A (zh) 2018-08-14
CN108399616B true CN108399616B (zh) 2021-11-16

Family

ID=63095997

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810142302.0A Active CN108399616B (zh) 2018-02-11 2018-02-11 基于深度残差网络的骨科病病变分类分级方法

Country Status (1)

Country Link
CN (1) CN108399616B (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2018351078B2 (en) * 2017-10-20 2023-07-06 Nuvasive, Inc. Intervertebral disc modeling
CN109376860A (zh) * 2018-09-28 2019-02-22 深圳百诺智能健康管理科技有限公司 一种神经网络及其训练方法
CN111383207B (zh) * 2018-12-11 2024-03-15 深圳开立生物医疗科技股份有限公司 一种肌骨超声图像处理方法、系统、装置及可读存储介质
CN109523547A (zh) * 2018-12-21 2019-03-26 四川大学华西医院 一种影像结节检出的方法及装置
CN109946080B (zh) * 2019-04-08 2020-06-16 西安交通大学 一种基于嵌入式循环网络的机械设备健康状态识别方法
CN110796249B (zh) * 2019-09-29 2024-01-05 中山大学孙逸仙纪念医院 耳内镜图像神经网络模型构建方法及分类处理方法
CN111524096B (zh) * 2020-03-30 2023-05-26 清华大学深圳国际研究生院 一种肌肉骨骼x光片分类方法、控制装置及存储介质
CN112071422B (zh) * 2020-09-04 2024-05-03 平安科技（深圳）有限公司 基于神经网络的腰椎病变诊断系统
CN112801128B (zh) * 2020-12-14 2023-10-13 深圳云天励飞技术股份有限公司 非机动车识别方法、装置、电子设备及存储介质
CN113284136A (zh) * 2021-06-22 2021-08-20 南京信息工程大学 一种双损失函数训练的残差网络和XGBoost的医学图像分类方法
WO2023173294A1 (zh) * 2022-03-15 2023-09-21 生物岛实验室 模型训练方法、装置、设备、存储介质及程序产品
CN116796818B (zh) * 2022-03-15 2024-05-10 生物岛实验室 模型训练方法、装置、设备、存储介质及程序产品

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0622752A2 (en) * 1993-04-30 1994-11-02 Eastman Kodak Company Apparatus and method for a lexical post-processor for a neural network-based character processor
CN103473480A (zh) * 2013-10-08 2013-12-25 武汉大学 基于改进万有引力支持向量机的在线监测数据校正方法
CN106971198A (zh) * 2017-03-03 2017-07-21 北京市计算中心 一种基于深度学习的尘肺病等级判定方法及系统
CN107591200A (zh) * 2017-08-25 2018-01-16 卫宁健康科技集团股份有限公司 基于深度学习及影像组学的骨龄标记识别评估方法及系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0622752A2 (en) * 1993-04-30 1994-11-02 Eastman Kodak Company Apparatus and method for a lexical post-processor for a neural network-based character processor
CN103473480A (zh) * 2013-10-08 2013-12-25 武汉大学 基于改进万有引力支持向量机的在线监测数据校正方法
CN106971198A (zh) * 2017-03-03 2017-07-21 北京市计算中心 一种基于深度学习的尘肺病等级判定方法及系统
CN107591200A (zh) * 2017-08-25 2018-01-16 卫宁健康科技集团股份有限公司 基于深度学习及影像组学的骨龄标记识别评估方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
《Comparison of Real-time Online and Offline Neural Network Models for a UAV》;Vishwas R.Puttige,et al;《Proceedings of International Joint Conference on Neural Networks》;20170817;第1-6页 *
《基于学习的腰椎检测与跟踪方法研究》;张业伟;《中国优秀硕士学位论文全文数据库 信息科技辑》;20170715(第7期);第I138-717页 *

Also Published As

Publication number Publication date
CN108399616A (zh) 2018-08-14

Similar Documents

Publication Publication Date Title
CN108399616B (zh) 基于深度残差网络的骨科病病变分类分级方法
CN111401480B (zh) 一种基于融合注意力机制的乳腺mri自动辅助诊断新方法
CN108830326B (zh) 一种mri图像的自动分割方法及装置
CN108335303B (zh) 一种应用于手掌x光片的多尺度手掌骨骼分割方法
CN110232383A (zh) 一种基于深度学习模型的病灶图像识别方法及病灶图像识别系统
CN106056595A (zh) 基于深度卷积神经网络自动识别甲状腺结节良恶性的方法
CN113902761B (zh) 基于知识蒸馏的肺部疾病病灶无监督分割方法
CN109711426A (zh) 一种基于gan和迁移学习的病理图片分类装置及方法
CN103996018A (zh) 基于4dlbp的人脸识别方法
CN106157249A (zh) 基于光流法和稀疏邻域嵌入的单图像超分辨率重建算法
CN111080591A (zh) 基于编码解码结构结合残差模块的医学图像分割方法
CN109767459A (zh) 新型眼底图配准方法
Khan et al. Segmentation of shoulder muscle MRI using a new region and edge based deep auto-encoder
Feng et al. Deep learning for chest radiology: a review
Yang et al. Discriminative semi-supervised dictionary learning with entropy regularization for pattern classification
CN114463605A (zh) 基于深度学习的持续学习图像分类方法及装置
Tang et al. Automatic lumbar spinal CT image segmentation with a dual densely connected U-Net
CN114387282A (zh) 一种医学影像器官精准自动分割方法及系统
Mehta et al. Deep learning framework for automatic bone age assessment
Mahapatra Registration of histopathogy images using structural information from fine grained feature maps
Goutham et al. Automatic localization of landmarks in cephalometric images via modified U-Net
CN116310335A (zh) 一种基于Vision Transformer的翼状胬肉病灶区域的分割方法
Sünkel et al. Hybrid quantum machine learning assisted classification of COVID-19 from computed tomography scans
CN115690115A (zh) 一种基于重建预训练的肺部医学图像分割方法
Hussain et al. UT-Net: Combining U-Net and Transformer for Joint Optic Disc and Cup Segmentation and Glaucoma Detection

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant