CN116052847B - 基于深度学习的胸片多异常识别系统、装置及方法 - Google Patents

基于深度学习的胸片多异常识别系统、装置及方法 Download PDF

Info

Publication number
CN116052847B
CN116052847B CN202310087785.XA CN202310087785A CN116052847B CN 116052847 B CN116052847 B CN 116052847B CN 202310087785 A CN202310087785 A CN 202310087785A CN 116052847 B CN116052847 B CN 116052847B
Authority
CN
China
Prior art keywords
chest
chest radiography
anomaly
radiography
abnormal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310087785.XA
Other languages
English (en)
Other versions
CN116052847A (zh
Inventor
张冬
粘永建
范卫杰
杨毅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Third Military Medical University TMMU
Second Affiliated Hospital Army Medical University
Original Assignee
Third Military Medical University TMMU
Second Affiliated Hospital Army Medical University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Third Military Medical University TMMU, Second Affiliated Hospital Army Medical University filed Critical Third Military Medical University TMMU
Priority to CN202310087785.XA priority Critical patent/CN116052847B/zh
Publication of CN116052847A publication Critical patent/CN116052847A/zh
Application granted granted Critical
Publication of CN116052847B publication Critical patent/CN116052847B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biomedical Technology (AREA)
  • Public Health (AREA)
  • Epidemiology (AREA)
  • Data Mining & Analysis (AREA)
  • Primary Health Care (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Pathology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本发明公开了一种基于深度学习的胸片多异常识别系统、装置及方法，包括胸片数据库，用于对采集的胸片影像中的多种异常征象进行定位标注，形成包含多异常定位的胸片数据集；以及胸片多异常识别模块，用于基于深度学习定位网络并利用所述胸片数据集对构建的胸片多异常识别模型进行训练及验证，以及基于训练后的胸片多异常识别模型对胸片影像上的多种异常征象进行识别，并对异常征象进行定位标注，输出异常征象的置信系数；与现有技术相比，本发明能够对同一胸片上的多种异常征象进行同步识别并定位，有利于医生快速找到异常的位置并得出综合诊断结果，能够较好的适用于临床，缓解放射科专业医生短缺的问题。

Description

基于深度学习的胸片多异常识别系统、装置及方法
技术领域
本发明涉及医学影像处理技术领域，特别是涉及一种基于深度学习的胸片多异常识别系统、装置及方法。
背景技术
医学X光影像是一种根据不同组织对X射线的不同吸收程度来反映人体内部结构的成像方式，可以显示多种复杂的病理特征，而胸部X光胸片中包含人体多种组织和器官的影像，能够实现多种疾病的检查及诊断，占整个医学X光影像中的40～50％。目前，为提高X光胸片的识别效率，缩短疾病的诊断周期，为病人提供最佳治疗时间，通常利用胸片辅助识别工具来对胸片进行筛选识别或分类，以为医生的诊断提供参考。
目前，通常采用深度学习算法来对胸片影像进行识别，如基于深度学习的分类模型，但其仅能用来筛选正常胸片和异常胸片，并不能对异常胸片上的异常征象的种类及位置进行识别；虽然一些辅助识别工具虽然能够对异常征象进行识别，但这些辅助识别工具通常是基于单一病种开发，仅能实现单一病种的识别，而X光胸片中不止包含一种病种，使得无法满足临床需求；并且这些辅助识别工具仅能识别单一异常征象并且无法对该异常征象进行定位和标注，使得医生在后期诊断时仍需对响应的异常征象进行边界划分后进行诊断，由此延长了诊断时间，降低了诊断效率，使得病人无法得到最快的治疗。
虽然深度学习的引入，使现有的辅助识别工具对于胸片上异常征象的识别能力得到了极大提高，但仍远达不到目前的临床需求。因此，有必要建立基于具有每个异常的类别和定位标签的大型CXR数据集，并对胸片中的异常征象进行识别和定位，来实现胸片多病变的检测。
发明内容
有鉴于此，本发明的目的在于提供一种基于深度学习的胸片多异常识别系统、装置及方法，以解决现有技术中无法对同一胸片影像的多种异常征象进行同时识别及定位的问题。
为解决上述技术问题，本发明的一技术方案提供一种基于深度学习的胸片识别系统，包括：
胸片数据库，用于对采集的胸片影像中的多种异常征象进行定位标注，形成包含多异常定位的胸片数据集；以及
胸片多异常识别模块，用于基于深度学习定位网络并利用所述胸片数据集对构建的胸片多异常识别模型进行训练及验证，以及基于训练后的胸片多异常识别模型对胸片影像上的多种异常征象进行识别，并对异常征象进行定位标注，输出异常征象的置信系数。
进一步的，所述胸片数据库包括：
胸片采集子模块，用于采集具有多种异常征象的异常胸片影像及正常胸片影像；以及
异常标注子模块，用于识别专业人员的标注动作，基于所述标注动作对异常胸片影像上的多种异常征象进行定位标注。
进一步的，所述异常征象至少包括肺不张、钙化、实变、积液、积气、纤维灶、骨折、肿块、结节、胸膜增厚、肺气肿、气胸、术后金属以及静脉置管。
进一步的，所述胸片多异常识别模块包括：
胸片预处理子模块，用于对所述胸片数据集中的胸片影像进行标准化处理；
模型构建子模块，用于构建识别并定位胸片影像中的多种异常征象的胸片多异常识别模型；
模型训练子模块，用于设定训练参数并对构建的胸片多异常识别模型进行模型训练，优化训练参数；以及
异常识别子模块，用于将待识别的胸片影像输入训练好的胸片多异常识别模型中，基于胸片多异常识别模型的正向传递，对胸片影像中的异常征象进行识别并标注异常征象的位置以及输出该异常征象的置信系数。
进一步的，所述胸片多异常识别模型基于YOLOX深度学习定位算法实现；所述胸片多异常识别模型至少包括：
特征提取主干网络，用于将输入的胸片影像进行取值、堆叠，获取胸片影像的卷积核特征，并提取所述卷积核特征中关于异常征象的多尺度特征信息；
特征融合网络，用于对所述特征提取主干网络提取的多尺度特征信息进行特征融合得到增强后的多尺度加强特征信息；以及
异常征象识别及定位网络，用于根据多尺度加强特征信息对胸片影像中的异常征象的种类进行识别，并标注该异常征象的位置及置信系数。
进一步的，所述模型训练子模块还用于将所述胸片数据集中的胸片影像随机按照预设比例划分为训练集及调参验证集，设置胸片多异常识别模型的模型参数，并将所述训练集输入所述胸片多异常识别模型中，基于所述胸片多异常识别模型的正向传递输出识别结果，并将所述识别结果反向传递至胸片多异常识别模型中对所述胸片多异常识别模型进行迭代训练，优化训练参数，直至识别结果收敛或达到设定的最大迭代次数，得到训练好的胸片多异常识别模型。
进一步的，所胸片多异常识别模块还包括一模型性能验证与评价子模块；
所述模型性能验证与评价模块用于对所述多异常识别模型进行初步验证、前瞻性数据验证、多中心验证和/或人机对比测试验证。
进一步的，还包括一可视化模块；
所述可视化模块用于对所述胸片多异常识别模型识别到的胸片上的多种异常征象及其位置和置信系数进行可视化。
为解决上述技术问题，本发明的另一技术方案提供一种基于深度学习的胸片多异常识别装置，搭载有如上所述的基于深度学习的胸片多异常识别系统，并与医院PACS系统对接，嵌入医生的报告系统，对胸片的异常征象进行识别及定位。
为解决上述技术问题，本发明的又一技术方案提供一种基于深度学习的胸片多异常识别方法，基于如上所述的基于深度学习的胸片多异常识别系统实现，包括以下步骤：
采集胸片影像并对异常的胸片影像的异常征象进行定位标注及分类；
构建胸片多异常识别模型，并基于所述胸片数据集中标注及分类的异常的胸片影像对所述胸片多异常识别模型进行模型训练，以及用于基于训练后的胸片多异常识别模型对胸片影像上的异常征象进行识别并对异常征象进行定位标注、输出异常征象的置信系数。
本发明通过构建具有多种异常征象类别及定位标注的大型CXR-AL14数据集，几乎囊括了胸片影像中能够显示的所有病症，覆盖范围广，解决了现有模型训练输入数据匮乏的问题，同时在自主构建的CXR-AL14数据集的基础上基于深度学习网络构建胸片多异常识别模型，能够实现同一胸片影像上多种异常征象的识别及检测，并能够对各异常征象进行定位及计算置信系数，最终展示给放射科的专业医生辅助诊断，有利于提高医生对病症诊断的效率，缓解了基层医院放射科医生短缺以及三甲及以上医院放射科医生工作任务巨大的问题，能够较好的适于临床中。
附图说明
图1为本发明实施例1的基于深度学习的胸片多异常识别系统的系统框图。
图2为胸片多异常识别模型的框架图。
图3为本发明的基于深度学习的胸片识别系统的另一优选实施例的系统框图。
图4为采用本发明的基于深度学习的胸片多异常识别系统识别到的胸片影像识别结果展示图。
图5为本发明实施例2的基于深度学习的胸片多异常识别方法的流程图。
具体实施方式
下面通过具体实施方式进一步详细说明：
实施例1
如图1所示，为本实施例的基于深度学习的胸片多异常识别系统的系统框图，本实施例的基于深度学习的胸片多异常识别系统包括胸片数据库1和胸片识别模块2，其能够对接医院的放射学信息系统(即PACS)并嵌入医生的报告系统，直接从医院的放射学信息系统中获取患者的胸片影像，对患者的胸片影像进行处理，识别出胸片影像中的异常征象，并将该异常征象进行框选定位，计算出异常征象的置信系数后返回医生的报告系统，以便医生能够根据识别到的异常征象及其位置和置信系数对胸片影像进行快速解读并对疾病进行辅助诊断，进而将本系统应用于临床上。
所述胸片数据库1中存储有若干已经进行了多种异常征象定位标注及分类的异常胸片影像及正常胸片影像，构建得到一包含多异常定位标注的胸片数据集。具体而言，所述胸片数据库1通过采集若干胸片影像，并由专业医生对胸片影像中的异常征象进行定位标注及分类；在本实施例中，着重聚焦胸片影像上最常见的异常征象，被标注的异常征象包括但不限于肺不张、钙化、实变、积液、积气、纤维灶、骨折、肿块、结节、胸膜增厚、肺气肿、气胸、术后金属以及静脉置管等。
所述胸片数据库1包括胸片采集子模块11以及异常标注子模块12。其中：
所述胸片采集子模块11能够采集具有异常征象的异常胸片影像及正常胸片影像。具体而言，所述胸片采集子模块11与各大医疗机构进行对接，从医疗机构获取大量包含上述异常征象的异常胸片影像以及正常胸片影像，所述异常胸片影像和正常胸片影像可作为后续构建的胸片多异常识别模型的输入以对胸片多异常识别模型进行训练。
所述异常标注子模块12识别专业人员(主要是专业放射科医生)的标注动作，基于所述标注动作对胸片采集子模块11采集到的异常胸片影像上的异常征象进行定位标注。在本实施例中，由于行业内对于胸片影像的解读及诊断的金标准为由高年资放射科医生进行标注，因此，为准确构建用于模型训练的胸片数据集，每张胸片影像至少由两名放射科的专业医生对其上的异常征象进行标注，通过专业医生发出的异常征象框选动作，对该异常征象以定位方框的形式进行勾画并完整框住该异常征象的轮廓后对该异常征象进行识别并标注名称，以确保胸片数据库1中存储的胸片影像上的异常征象数据的准确性。为进一步提高胸片数据库1中胸片影像及其异常征象标注的准确性，在选择专业医生时，可以至少包括一名中级职称医生和至少一名高年资医生(通常为副高级别及以上的医生)，若当二者在意见上存在分歧时，需通过除该两名医生之外的第三名更高级别(如正高级医生)来作出最终决定。
具体实现时，专业医生可通过异常标注子模块12对呈现于一显示介质(如显示屏)上的胸片影像执行异常征象的框选动作，例如当显示屏为触摸屏时，专业医生的框选动作表示为通过手指在触摸屏上选择胸片影像上的异常征象的轮廓，当异常标注子模块12识别到手指的触摸时，则生成对应的方框完成异常征象的标注，又如当显示屏为普通屏时，专业医生的框选动作可表示为通过鼠标等在胸片影像选择异常征象的轮廓，当异常标注子模块12识别到鼠标的移动或点击时，生成对应的方框完成异常征象的标注。
在本实施例中，所述异常标注子模块12在根据专业医生的标注动作对所述胸片采集子模块11采集到的异常胸片上的异常征象进行标注时，需至少遵循以下原则：
贴边原则：即在标注时，标注的方框需紧贴目标(即异常征象，通常表现为胸片影像上的阴影)的边缘进行画框标注，方框刚好完全框选目标，不可框大亦不可框小。
重叠原则：当同一胸片影像上有两个及以上的目标有重叠时，允许不同目标的标注方框存在重叠部分，即若有其中一个目标挡住另一目标时，可先对一个目标进行标注，另一目标可凭专业医生的经验对其轮廓进行补充后再进行标注；例如一侧胸腔积液遮挡了肋膈角及膈肌，标注的医生需要根据对侧肋膈角和膈顶的走形根据经验确定患侧膈肌及肋膈角的形状及位置，从而对患侧胸腔积液进行定位框标注；当然，在其他的一些实施例中，当出现多个异常正常有重叠的情况时，也可通过机器学习的方式对被遮挡部分的异常征象的轮廓进行预测，从而方便标注的医生对患处进行标注。
独立原则：即每一目标均需单独框选，不得将多个目标(如多个结节)同时框在一起而需要分别勾画方框进行标注。
在本实施例中，通过所述胸片采集子模块11共采集了约165988张胸片影像，并通过放射科专业医生对每一胸片影像上的异常征象进行标注，共标注了约253844个异常征象标注方框，以构建得到本实施例进行模型训练的自主胸片数据集：CXR-AL14数据集，其分布如下表1所示：
表1
所述胸片多异常识别模块2通过构建胸片多异常识别模型，并基于所述胸片数据集(即CXR-AL14数据集)中标注及分类的异常胸片影像对所述胸片多异常识别模型进行模型训练后，利用训练好的胸片多异常识别模型对胸片影像上的异常征象进行识别并定位、输出异常征象的置信系数，以为医生对胸片的诊断提供参考，有利于快速诊断胸片，及时进行治疗。
所述胸片识别模块2包括胸片预处理子模块21、模型构建子模块22、模型训练子模块23、异常识别子模块24以及模型性能验证与评价子模块25。其中：
所述胸片预处理子模块21预先对胸片数据集中的胸片影像进行标准化处理，统一胸片影像的尺寸及分辨率等，使胸片影像与胸片多异常识别模型定义的输入入口的大小和数据结构相匹配，以便胸片多异常识别模型能够顺利识别胸片影像。在本实施例中，通过将所述胸片影像进行裁剪、缩放后，将所述胸片影像转换成1280*1280的大小。
所述模型构建子模块22基于深度学习算法构建胸片多异常识别模型，以对胸片影像中的异常征象进行识别及定位。具体的，所述胸片多异常识别模型通过提取输入的胸片影像中的多尺度特征信息，并将该多尺度特征信息进行特征融合后得到多尺度加强特征信息，最后基于所述多尺度加强特征信息对胸片影像中的异常征象的种类及位置进行识别并得到该异常征象的置信系数。
如图2所示，为本实施例中胸片多异常识别模型的框架图。在本实施例中，所述胸片多异常识别模型基于YOLOX深度学习算法实现，所述胸片多异常识别模型包括特征提取主干网络(CSPDarknet)、特征融合网络以及异常征象识别及定位网络(Decoupled head)。其中：
所述特征提取主干网络通过将胸片数据集输入的胸片影像进行取值、堆叠，以对输入通道进行扩增形成特征层，然后从扩增后的特征层中获取胸片影像的卷积核特征，并提取所述卷积核特征中关于异常征象的多尺度特征信息。
在本实施例中，所述特征提取主干网络至少包括焦点主干子网络(Focus)和CSP子网络，所述焦点主干子网络能够在输入的胸片影像中每隔一个像素取一个值，以获得若干个独立的特征层后将各独立的特征层进行堆叠，以将所述胸片影像的宽高信息集中于通道信息中，进而对特征提取主干网络的输入通道进行扩增，从而将胸片影像转换成包含特征信息的特征图像；所述CSP子网络由卷积层(Conv，其中Conv1×1表示对输入进行1×1卷积调整，Conv3×3表示对输入进行3×3卷积调整)、批标准化层(BN)和激活函数层(SiLU)构成，所述CSP子网络至少包括三个特征层(CSPLayer，对应下述底层特征层、中间特征层和表层特征层)，所述三个特征层分别位于CSP子网络的不同位置，所述特征层每一特征层分别对输入进行卷积操作后提取卷积核特征得到对应的特征信息，进而得到多尺度特征信息。
所述特征融合网络以所述特征提取主干网络的三个特征层提取到的多尺度特征信息为输入，对不同特征层的特征信息进行特征融合得到增强后的多尺度加强特征信息，以便从多尺度特征信息中提取出更有效的多尺度加强特征信息。
在本实施例中，所述特征融合网络采用特征金字塔结构融合底层与表层的特征信息。具体的，首先，将底层特征层提取的第一特征信息Feat1进行一次1×1卷积调整后得到第一中间信息P1，对第一中间信息P1进行上采样(Upsample：nearest)后与中间特征层提取的第二特征信息Feat2进行连接(Concatenate)，并再次使用CSPLayer进行特征提取得到第一中间信息P1的上采样特征信息P1_upsample。然后，对P1_upsample对应的特征层进行一次1×1卷积调整后得到第二中间信息P2，对第二中间信息P2进行上采样(Upsample：nearest)后与顶层特征层提取得第三特征信息Feat3进行连接(Concatenate)，再次使用CSPLayer进行特征提取得到输入第一加强特征信息S1。接着，对第一加强特征信息S1对应的特征层进行一次3×3卷积调整，并对卷积后的信息进行下采样后与第二中间信息P2进行堆叠，再使用CSPLayer进行特征提取得到第二加强特征信息S2。最后，对第二加强特征信息S2对应的特征层进行一次3×3卷积调整，并对卷积后的信息进行下采样后与第一中间信息P1进行堆叠，再使用CSPLayer进行特征提取得到第三加强特征信息S3。
由此，利用特征金字塔结构，基于特征提取主干网络提取到的三个特征信息，可以获得对应的三个加强特征信息形成多尺度加强特征信息，以作为后续异常征象识别及定位网络的输入。
所述异常征象识别及定位网络根据所述特征融合网络提取的多尺度加强特征信息(即所述第一至第三加强特征信息P1～P3)，对胸片影像中的异常征象的种类进行识别，并标注该异常征象的位置及置信系数。
在本实施例中，所述异常征象识别及定位网络采用解耦头部设计，即Decoupledhead，对于每一加强特征信息对应的特征层，可以获得三个识别特征Reg、Obj和Cls，所述Reg用于判断每一个特征点的回归参数，回归参数调整后可以获得预测框，以框选出异常征象的位置，对异常征象进行定位，Obj用于判断每一个特征点中是否包含异常征象，而Cls则用于判断每一个特征点所包含的物体种类，最后将该三个识别特征进行连接(Concatenate)，得到最终的识别结果(Reshape)。
所述模型训练子模块23根据设定训练参数并基于胸片数据集中的胸片影像对构建的胸片多异常识别模型进行模型训练。具体的，首先，所述模型训练子模块23将胸片数据集中已经进行标注的胸片影像随机按照预设比例划分为训练集及调参验证集；在本实施例中，按照9:1的比例将所述CXR-AL14数据集中的胸片影像随机分成训练集和调参验证集(具体构成参见上表1所示，Training dataset表示训练集，Tuning dataset表示调参验证集)，所述训练集用于对胸片多异常识别模型进行训练，所述调参验证集用于优化多异常识别模型的模型参数。然后，设置胸片多异常识别模型的模型参数；在本实施例中，将输入胸片多异常识别模型的胸片影像批次大小设置为8、训练历元设置为60，并设置激活函数、损失函数及最大迭代次数。最后，将所述训练集按照设置的批次大小及训练历元输入所述胸片多异常识别模型中，基于所述胸片多异常识别模型的正向传递(即利用上述特征提取主干网络(CSPDarknet)、特征融合网络以及异常征象识别及定位网络(Decoupled head)对胸片影像的正向处理)输出识别结果后将所述识别结果反向传递至胸片多异常识别模型中对所述胸片多异常识别模型进行迭代训练，优化模型参数，直至识别结果收敛或达到设定的最大迭代次数，得到训练好的胸片多异常识别模型。
在本实施例中，采用数据增强策略(如马赛克、混合、随机翻转和颜色抖动等)，选择随机梯度下降策略作为模型优化器，使用余弦调度将初始学习率设置为0.01，并使用MSCOCO数据集上的预训练模型来提高训练效率，从而精准、快速的得到训练好的胸片多异常识别模型。
所述异常识别子模块24将待识别的胸片影像输入训练好的胸片多异常识别模型中，基于胸片多异常识别模型的正向传递(即利用上述特征提取主干网络(CSPDarknet)、特征融合网络以及异常征象识别及定位网络(Decoupled head)对胸片影像的正向处理)，对胸片影像中的异常征象进行识别并标注异常征象的位置以及输出该异常征象的置信系数。
所述模型性能验证与评价模块25通过多种渠道获取或抽取若干胸片影像组成测试集，依次对胸片多异常识别模型进行初步验证、人机对比测试验证、多中心验证及前瞻性数据验证，以对所述胸片多异常识别模型的识别性能、泛化性能以及诊断水平进行评价。
具体的，将所述测试集输入胸片多异常识别模型中，基于胸片多异常识别模型的正向传递输出标注了异常征象及其标注方框和置信系数的胸片影像作为测试数据。
首先，对所述胸片多异常识别模型进行初步验证。所述初步验证即由本中心随机抽取6000张胸片影像(其他实施例中不限于6000张，也可以是其他数量的胸片影像)作为独立测试集，以两名放射科专家医生对胸片影像进行标注得到金标准，通过将独立测试集输入胸片多异常识别模型中，基于胸片多异常识别模型的正向传递得到第一输出结果，计算第一输出结果与金标准的交并比，得出各个异常征象的第一平均精准度(AveragePrecision，即第一AP)，进而计算胸片多异常识别模型的第一平均精准度均值(mean AP，第一mAP)。
其次，对所述胸片多异常识别模型进行多中心验证。所述多中心验证即通过收集多中心(除本中心外的其他核医学中心)的胸片影像组成多中心测试集，同样的，通过将多中心测试集输入胸片多异常识别模型，基于胸片多异常识别模型的正向传递得到第二输出结果，计算第二输出结果与金标准的交并比，计算胸片多异常识别模型的第二AP及第二mAP，以验证胸片识别模型的泛化性能。
接着，对所述胸片多异常识别模型进行人机对比测试验证。所述人机对比验证则是将上述6000张的独立测试集以及在多中心测试集中随机抽取2800张胸片影像组成人机对比测试集，将所述人机对比测试集通过三名初级职称医生和三名中级职称医生进行定位标注人机对比测试数据，同样的，通过将人机对比测试集输入胸片多异常识别模型，基于胸片多异常识别模型的正向传递得到第三输出结果，将人机对比测试数据和第三输出结果分别与所述金标准进行比较得到两组对比精准度、召回率及F1值，针对该两组精准度、召回率和F1值进行T验证，确定胸片多异常识别模型的识别诊断水平能够达到6名医生中的哪个级别以验证胸片多病变识别模型能够达到的放射科医生诊断水平。
最后，对所述胸片多异常识别模型进行前瞻性数据验证。所述前瞻性验证通过可视化软件前瞻性收集1000张胸片影像构成前瞻性测试集，通过将前瞻性测试集输入胸片多异常识别模型，基于胸片多异常识别模型的正向传递得到第四输出结果，计算第四输出结果与金标准的交并比，计算胸片多异常识别模型的第四AP及第四mAP，以验证模型的识别性能。
可理解的，在其他的一些实施例中，上述四种验证方式可不必全部选择进行验证，在具体实现时，也可有选择的进行胸片多异常识别模型的验证，如任意选择其中一种或两种方式对所述胸片多异常识别模型进行验证与评价，其验证顺序也不必按照上述顺序执行，可根据验证需求进行适应性调整。
如图3所示，作为本实施例的一种优选方式，所述基于深度学习的胸片多异常识别系统还包括一可视化模块3，所述可视化模块3能够对所述胸片多异常识别模型识别到的胸片上的各种异常征象及其位置和置信系数进行可视化，便于医生能够快速、准确查看识别到的异常征象类型及其位置和置信系数，有利于医生快速做出诊断，对病人进行及时治疗。在本实施例中，对所述胸片多异常识别模型的识别结果进行可视化，可用于进一步开发基于所述胸片多异常识别模型的辅助诊断系统，应用于基层医院，进而填补基层医院放射诊断医生不足的空缺。
如图4所示，为采用本实施例的基于深度学习的胸片多异常识别系统对胸片中异常征象进行识别后的可视化展示图，从图中可以明确看出，能够准确识别出胸片影像中的多种异常征象，并通过不同颜色的方框对不同的异常征象进行定位后并显示对应异常征象的置信系数，能够很好的为医生进行异常判定提供参考，提高医生诊断的效率。
作为本发明的另一优选实施例，本发明还提供一种基于深度学习的胸片多异常识别装置，所述胸片多异常识别装置可以是移动电脑、平板电脑、移动手机等一切能够进行高速计算及数据处理能力的装置，所述胸片多异常识别装置上搭载有如上述实施例所述的基于深度学习的胸片多异常识别系统，所述胸片多异常识别装置能够与医院PACS系统对接并嵌入医生的报告系统，直接从医院的放射学信息系统中获取患者的胸片影像，对患者的胸片影像进行处理，识别出胸片影像中的异常征象，并将该异常征象进行框选定位，计算出异常征象的置信系数后返回医生的报告系统，以便医生能够根据识别到的异常征象及其位置和置信系数对胸片影像进行快速解读并对疾病进行辅助诊断，进而将本系统应用于临床上。
本实施例的胸片多异常识别系统，在后续的应用过程中，还可对后续识别到的胸片进行处理后更新至所述胸片数据集中，进而不断扩充胸片数据集的规模；同时，还可以定期基于新增的胸片影像对所述胸片多异常识别模型进行更新训练，从而不断的优化胸片多异常识别模型，以提高胸片多异常识别模型的识别精度。
本实施例的基于深度学习的胸片多异常识别系统，通过胸片采集子模块11采集大量的胸片影像，并通过异常标注子模块12对大量胸片影像中的异常胸片影像上的异常征象进行标注构建具有多种异常征象类别及定位标注的大型CXR-AL14数据集；然后通过胸片识别模块2基于深度学习网络构建胸片多异常识别模型，以实现同一胸片影像上多种异常征象的识别及检测，并能够对各异常征象进行定位及计算置信系数，最终展示给放射科的专业医生辅助诊断，有利于提高医生对病症诊断的效率，缓解了基层医院放射科医生短缺以及三甲及以上医院放射科医生工作任务巨大的问题，能够较好的适于临床中。
实施例2
如图5所示，为本实施例的基于深度学习的胸片多异常识别方法的流程图。本实施例的基于深度学习的胸片多异常识别方法基于实施例1的基于深度学习的胸片多异常识别系统实现，以通过构建庞大胸片数据集的方式对构建的胸片多异常识别模型进行训练，进而实现对同一胸片影像上多种异常征象的识别及定位等功能。具体的，本实施例包括以下步骤：
S1：采集并标注胸片影像，构建胸片数据集。
具体的，从医疗机构获取大量包含上述异常征象的异常胸片影像以及正常胸片影像，所述异常胸片影像和正常胸片影像可作为后续构建的胸片多异常识别模型的输入以对胸片多异常识别模型进行训练；然后通过专业人员在所述异常胸片影像上标注出异常征象的种类及位置，从而构建得到一个拥有庞大数据的包含多异常定位框的胸片数据集。在本实施例中，所述胸片数据集的具体构建过程参见实施例1中的相关描述，本实施例不做赘述。
S2：构建并训练胸片多异常识别模型，识别胸片影像。
具体的，基于深度学习网络构建一胸片多异常识别模型，并基于所述胸片数据集中标注及分类的异常的胸片影像对所述胸片多异常识别模型进行模型训练，以及用于基于训练后的胸片多异常识别模型对胸片影像上的异常征象进行识别并对异常征象进行定位标注、输出异常征象的置信系数，以为医生对病症的诊断提供参考，有利于快速诊断胸片，找到病因，及时进行治疗。在本实施例中，构建并训练胸片多异常识别模型以及对胸片影像识别的具体过程基于实施例的胸片识别模块2实现，具体过程参见实施例1中的相关描述，本实施例不做赘述。
本实施例的基于深度学习的胸片多异常识别方法，通过构建具有多种异常征象类别及定位标注的大型CXR-AL14数据集，并基于深度学习定位网络构建胸片多异常识别模型，以实现同一胸片影像上多种异常征象的识别及定位检测，并能够对各异常征象进行定位及计算置信系数，最终展示给放射科的专业医生辅助诊断，有利于提高医生对病症诊断的效率，缓解了基层医院放射科医生短缺以及三甲及以上医院放射科医生工作任务巨大的问题，能够较好的适于临床中。

Claims (9)

1. 一种基于深度学习的胸片多异常识别系统，其特征在于，包括：
胸片数据库，用于对采集的胸片影像中的多种异常征象进行定位标注，形成包含多异常定位的胸片数据集；以及
胸片多异常识别模块，用于基于深度学习定位网络并利用所述胸片数据集对构建的胸片多异常识别模型进行训练及验证，以及基于训练后的胸片多异常识别模型对胸片影像上的多种异常征象进行识别，并对异常征象进行定位标注，输出异常征象的置信系数；
所述胸片多异常识别模型基于YOLOX深度学习定位算法实现；所述胸片多异常识别模型至少包括：
特征提取主干网络，用于将输入的胸片影像进行取值、堆叠，获取胸片影像的卷积核特征，并提取所述卷积核特征中关于异常征象的多尺度特征信息；
特征融合网络，用于对所述特征提取主干网络提取的多尺度特征信息进行特征融合得到增强后的多尺度加强特征信息；以及
异常征象识别及定位网络，用于根据多尺度加强特征信息对胸片影像中的异常征象的种类进行识别，并标注该异常征象的位置及置信系数。
2. 根据权利要求1所述的基于深度学习的胸片多异常识别系统，其特征在于，所述胸片数据库包括：
胸片采集子模块，用于采集具有多种异常征象的异常胸片影像及正常胸片影像；以及
异常标注子模块，用于识别专业人员的标注动作，基于所述标注动作对异常胸片影像上的多种异常征象进行定位标注。
3.根据权利要求2所述的基于深度学习的胸片多异常识别系统，其特征在于，所述异常征象至少包括肺不张、钙化、实变、积液、积气、纤维灶、骨折、肿块、结节、胸膜增厚、肺气肿、气胸、术后金属以及静脉置管。
4.根据权利要求1所述的基于深度学习的胸片多异常识别系统，其特征在于，所述胸片多异常识别模块包括：
胸片预处理子模块，用于对所述胸片数据集中的胸片影像进行标准化处理；
模型构建子模块，用于构建识别并定位胸片影像中的多种异常征象的胸片多异常识别模型；
模型训练子模块，用于设定训练参数并对构建的胸片多异常识别模型进行模型训练，优化训练参数；以及
异常识别子模块，用于将待识别的胸片影像输入训练好的胸片多异常识别模型中，基于胸片多异常识别模型的正向传递，对胸片影像中的异常征象进行识别并标注异常征象的位置以及输出该异常征象的置信系数。
5.根据权利要求4所述的基于深度学习的胸片多异常识别系统，其特征在于，所述模型训练子模块还用于将所述胸片数据集中的胸片影像随机按照预设比例划分为训练集及调参验证集，设置胸片多异常识别模型的模型参数，并将所述训练集输入所述胸片多异常识别模型中，基于所述胸片多异常识别模型的正向传递输出识别结果，并将所述识别结果反向传递至胸片多异常识别模型中对所述胸片多异常识别模型进行迭代训练，优化训练参数，直至识别结果收敛或达到设定的最大迭代次数，得到训练好的胸片多异常识别模型。
6.根据权利要求5所述的基于深度学习的胸片多异常识别系统，其特征在于，所胸片多异常识别模块还包括一模型性能验证与评价子模块；
所述模型性能验证与评价模块用于对多异常识别模型进行初步验证、前瞻性数据验证、多中心验证和/或人机对比测试验证。
7.根据权利要求1所述的基于深度学习的胸片多异常识别系统，其特征在于，还包括一可视化模块；
所述可视化模块用于对所述胸片多异常识别模型识别到的胸片上的多种异常征象及其位置和置信系数进行可视化。
8.一种基于深度学习的胸片多异常识别装置，其特征在于，搭载有如权利要求1~7任一项所述的基于深度学习的胸片多异常识别系统，并与医院PACS系统对接，嵌入医生的报告系统，对胸片的多种异常征象进行识别及定位。
9.一种基于深度学习的胸片多异常识别方法，其特征在于，基于如权利要求1~7任一项所述的基于深度学习的胸片多异常识别系统实现，包括以下步骤：
采集胸片影像并对异常的胸片影像的异常征象进行定位标注及分类；
构建胸片多异常识别模型，并基于所述胸片数据集中标注及分类的异常的胸片影像对所述胸片多异常识别模型进行模型训练，以及用于基于训练后的胸片多异常识别模型对胸片影像上的异常征象进行识别并对异常征象进行定位标注、输出异常征象的置信系数。
CN202310087785.XA 2023-02-08 2023-02-08 基于深度学习的胸片多异常识别系统、装置及方法 Active CN116052847B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310087785.XA CN116052847B (zh) 2023-02-08 2023-02-08 基于深度学习的胸片多异常识别系统、装置及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310087785.XA CN116052847B (zh) 2023-02-08 2023-02-08 基于深度学习的胸片多异常识别系统、装置及方法

Publications (2)

Publication Number Publication Date
CN116052847A CN116052847A (zh) 2023-05-02
CN116052847B true CN116052847B (zh) 2024-01-23

Family

ID=86116294

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310087785.XA Active CN116052847B (zh) 2023-02-08 2023-02-08 基于深度学习的胸片多异常识别系统、装置及方法

Country Status (1)

Country Link
CN (1) CN116052847B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116452579B (zh) * 2023-06-01 2023-12-08 中国医学科学院阜外医院 一种基于胸片图像的肺动脉高压智能评估方法和系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107730484A (zh) * 2017-07-26 2018-02-23 江西中科九峰智慧医疗科技有限公司 一种基于深度学习的异常胸片智能识别方法及系统
CN112699868A (zh) * 2020-12-17 2021-04-23 深圳视见医疗科技有限公司 一种基于深度卷积神经网络的图像识别方法、设备
WO2022121170A1 (zh) * 2020-12-11 2022-06-16 上海商汤智能科技有限公司 图像处理方法及装置、电子设备、存储介质和程序
CN115690072A (zh) * 2022-11-11 2023-02-03 楚雄师范学院 基于多模态深度学习的胸片特征提取和疾病分类方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107730484A (zh) * 2017-07-26 2018-02-23 江西中科九峰智慧医疗科技有限公司 一种基于深度学习的异常胸片智能识别方法及系统
WO2022121170A1 (zh) * 2020-12-11 2022-06-16 上海商汤智能科技有限公司 图像处理方法及装置、电子设备、存储介质和程序
CN112699868A (zh) * 2020-12-17 2021-04-23 深圳视见医疗科技有限公司 一种基于深度卷积神经网络的图像识别方法、设备
CN115690072A (zh) * 2022-11-11 2023-02-03 楚雄师范学院 基于多模态深度学习的胸片特征提取和疾病分类方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
基于密集卷积网络的X线气胸检测与定位;罗国婷;刘志勤;周莹;王庆凤;郑介志;刘启榆;;计算机应用(第12期);第133-139页 *
基于深度学习的胸部常见病变诊断方法;张驰名;王庆凤;刘志勤;黄俊;陈波;付婕;周莹;;计算机工程(第07期);第306-311页、第320页 *
基于深度学习的胸部数字X线质量控制方法;易音巧;计算机应用;第237-242页 *
应用于CT图像肺结节检测的深度学习方法综述;张福玲;张少敏;;计算机工程与应用(第13期);第20-32页 *

Also Published As

Publication number Publication date
CN116052847A (zh) 2023-05-02

Similar Documents

Publication Publication Date Title
Dey et al. Customized VGG19 architecture for pneumonia detection in chest X-rays
Shoeibi et al. Automated detection and forecasting of covid-19 using deep learning techniques: A review
US11710233B2 (en) Three-dimensional medical image analysis method and system for identification of vertebral fractures
EP0757544B1 (en) Computerized detection of masses and parenchymal distortions
JP6014059B2 (ja) 医療データの知的リンキング方法及びシステム
Wang et al. An automatic knee osteoarthritis diagnosis method based on deep learning: data from the osteoarthritis initiative
CN116052847B (zh) 基于深度学习的胸片多异常识别系统、装置及方法
Kushol et al. Contrast enhancement of medical x-ray image using morphological operators with optimal structuring element
Patro et al. SCovNet: A skip connection-based feature union deep learning technique with statistical approach analysis for the detection of COVID-19
Teixeira et al. DuaLAnet: Dual lesion attention network for thoracic disease classification in chest X-rays
Jiménez-Sánchez et al. Weakly-supervised localization and classification of proximal femur fractures
Krak et al. Information technology for early diagnosis of pneumonia on individual radiographs
Zhu et al. Gaze-guided class activation mapping: leveraging human attention for network attention in chest x-rays classification
de Azevedo Marques et al. Content-based retrieval of medical images: landmarking, indexing, and relevance feedback
Singh et al. Preprocessing of Medical Images using Deep Learning: A Comprehensive Review
Crosby et al. Deep convolutional neural networks in the classification of dual-energy thoracic radiographic views for efficient workflow: analysis on over 6500 clinical radiographs
Khan et al. Ensemble learning-based abnormality diagnosis in wrist skeleton radiographs using densenet variants voting: 10.48129/kjs. splml. 19477
Khan Deep learning based medical X-ray image recognition and classification
Zhang et al. Ultrasonic Image's Annotation Removal: A Self-supervised Noise2Noise Approach
Noureen et al. Analysis and Classification of Bone Fractures Using Machine Learning Techniques
Gunasekara et al. A feasibility study for deep learning based automated brain tumor segmentation using magnetic resonance images
Guo et al. A Benchmark and Transformer-based Approach for Automated Hyperparathyroidism Detection
US20220277452A1 (en) Methods for analyzing and reducing inter/intra site variability using reduced reference images and improving radiologist diagnostic accuracy and consistency
US20240153082A1 (en) Deep learning model for diagnosis of hepatocellular carcinoma on non-contrast computed tomography
Lee et al. ALiGN: Attention based Line Guided Network for Vertebral Comprssion Fracture Detection

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CB03 Change of inventor or designer information

Inventor after: Zhang Dong

Inventor after: Zhan Yongjian

Inventor after: Fan Weijie

Inventor after: Yang Yi

Inventor before: Zhang Dong

Inventor before: Zhan Yongjian

Inventor before: Fan Weijie

Inventor before: Yang Yi

CB03 Change of inventor or designer information