CN111915554A - 一种基于x光影像的骨折检测定位一体化方法及装置 - Google Patents

一种基于x光影像的骨折检测定位一体化方法及装置 Download PDF

Info

Publication number
CN111915554A
CN111915554A CN202010563112.3A CN202010563112A CN111915554A CN 111915554 A CN111915554 A CN 111915554A CN 202010563112 A CN202010563112 A CN 202010563112A CN 111915554 A CN111915554 A CN 111915554A
Authority
CN
China
Prior art keywords
fracture
positioning
detection
input image
key point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010563112.3A
Other languages
English (en)
Other versions
CN111915554B (zh
Inventor
何福金
颜立峰
刘小青
俞益洲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Shenrui Bolian Technology Co Ltd
Shenzhen Deepwise Bolian Technology Co Ltd
Original Assignee
Beijing Shenrui Bolian Technology Co Ltd
Shenzhen Deepwise Bolian Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Shenrui Bolian Technology Co Ltd, Shenzhen Deepwise Bolian Technology Co Ltd filed Critical Beijing Shenrui Bolian Technology Co Ltd
Priority to CN202010563112.3A priority Critical patent/CN111915554B/zh
Publication of CN111915554A publication Critical patent/CN111915554A/zh
Application granted granted Critical
Publication of CN111915554B publication Critical patent/CN111915554B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H15/00—ICT specially adapted for medical reports, e.g. generation or transmission thereof
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10116—X-ray image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30008—Bone

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Epidemiology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Public Health (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Primary Health Care (AREA)
  • Biomedical Technology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种基于X光影像的骨折检测定位一体化方法及装置，其中方法包括：收集符合预设规范的X光影像骨折数据；对骨折数据进行预处理，并将预处理后的数据进行数据转化，得到符合预设要求的输入图像；利用深层的特征提取器与特征网络相结合从输入图像中提取预设的多尺度特征；通过骨折检测模型利用多尺度特征对输入图像中的可疑的骨折区域进行检测，得到检测框；通过骨折定位模型根据检测框从多尺度特征的对应层中提取相应的骨折区域特征信息，根据骨折区域特征信息定位骨块位置；通过关键点检测模型对关键点位置进行检测，确定输入图像中的关键点位置信息；通过后处理算法融合检测框、骨块位置和关键点位置信息得到最终骨折区域及其区域定位的结果。

Description

一种基于X光影像的骨折检测定位一体化方法及装置
技术领域
本发明涉及计算机领域，尤其涉及一种基于X光影像的骨折检测定位一体化方法及装置。
背景技术
医学影像技术(X光、CT、MRI等)是现代医学诊断技术的基础，对于大医院中的影像科医生每天往往需要检查成百上千的片子，这些重复性的筛查工作极具的加大了影像科医生的工作负担，并且这种人工检查的方式存在几个明显的弊端：其一、对医生的专业水平要求非常高，其二、人工检查速度慢而且人容易疲劳。这些因素严重制约了医生的工作效率。因此开发自动化的影像检查筛查装置变得极其重要，利用这种计算机辅助诊断技术可以快速的从大量的影像图像中找到需要关注的病灶区域，并出具相应的诊断报告书，大大减少了医生的工作负担。
对于人体关节骨折，目前最常用的方法是基于X光的影像进行骨折区域的判断，通常影像科医生需要从大量的影像片当中先找到骨折部位，随后出具相应的影像诊断报告书，这个过程需要耗费大量的人力和物力。近年来，基于计算机辅助诊断技术快速的对X光影像进行骨折检测是研究的热点之一，目前主要有传统方法和基于深度学习的方法，传统方法一般使用手工设计特征描述子对影像中的特征进行提取，随后使用一个分类器来实现分类。这种方式受研究者经验影响比较大，好的特征描述子是实现骨折检测的重点，因此该方法存在很大的局限性，因而性能比较一般。基于深度学习的方法则让网络自己学习有效的特征描述子，从而提取更为有效的特征，基于强大的特征提取能力，深度学习的方法往往可以取得比传统方法更为优秀的性能。但目前这些方法仅仅只对影像中的骨折区域进行检测，并没有定位出骨折的具体部位，这对于需要出具影像诊断报告书的影像科医生来说是远远不够的。因此将骨折检测与定位同时输出才是临床中最为关注的重点。
发明内容
本发明旨在提供一种克服上述问题或者至少部分地解决上述问题的基于X光影像的骨折检测定位一体化方法及装置。
为达到上述目的，本发明的技术方案具体是这样实现的：
本发明的一个方面提供了一种基于X光影像的骨折检测定位一体化方法，包括：收集符合预设规范的X光影像骨折数据；对骨折数据进行预处理，并将预处理后的数据进行数据转化，得到符合预设要求的输入图像；利用深层的特征提取器与特征网络相结合从输入图像中提取预设的多尺度特征；通过骨折检测模型利用多尺度特征对输入图像中的可疑的骨折区域进行检测，得到检测框；通过骨折定位模型根据检测框从多尺度特征的对应层中提取相应的骨折区域特征信息，根据骨折区域特征信息定位骨块位置；通过关键点检测模型对关键点位置进行检测，确定输入图像中的关键点位置信息；通过后处理算法融合检测框、骨块位置和关键点位置信息得到最终骨折区域及其区域定位的结果。
其中，方法还包括：将骨折结果显示在图像上；接收修改指令，对骨折结果进行修改，得到修改后的骨折结果；根据修改后的骨折结果生成影像报告书。
其中，方法还包括：对骨折检测模型进行训练；对骨折定位模型进行训练；以及对关键点检测模型进行训练。
其中，方法还包括：使用交叉熵和平滑的一范数损失函数对骨折检测模型进行优化，使用交叉熵损失函数对骨折定位模型进行优化，使用欧式距离损失函数对关键点检测模型进行优化。
其中，利用深层的特征提取器与特征网络相结合从输入图像中提取预设的多尺度特征包括：使用ResNeXt 101+FPN从输入图像中提取预设的多尺度特征；通过骨折检测模型利用多尺度特征对输入图像中的可疑的骨折区域进行检测包括：利用多尺度特征作为输入，输入至RPN和RCNN模块对输入图像中的可疑的骨折区域的检测。
本发明另一方面提供了一种基于X光影像的骨折检测定位一体化装置，包括：数据预处理模块，用于收集符合预设规范的X光影像骨折数据；对骨折数据进行预处理，并将预处理后的数据进行数据转化，得到符合预设要求的输入图像；检测与定位模块，用于利用深层的特征提取器与特征网络相结合从输入图像中提取预设的多尺度特征；通过骨折检测模型利用多尺度特征对输入图像中的可疑的骨折区域进行检测，得到检测框；通过骨折定位模型根据检测框从多尺度特征的对应层中提取相应的骨折区域特征信息，根据骨折区域特征信息定位骨块位置；通过关键点检测模型对关键点位置进行检测，确定输入图像中的关键点位置信息；通过后处理算法融合检测框、骨块位置和关键点位置信息得到最终骨折区域及其区域定位的结果。
其中，装置还包括：影像报告生成模块；影像报告生成模块，用于将骨折结果显示在图像上；接收修改指令，对骨折结果进行修改，得到修改后的骨折结果；根据修改后的骨折结果生成影像报告书。
其中，装置还包括：训练模块；训练模块，用于对骨折检测模型进行训练；对骨折定位模型进行训练；以及对关键点检测模型进行训练。
其中，装置还包括：优化模块；优化模块，用于使用交叉熵和平滑的一范数损失函数对骨折检测模型进行优化，使用交叉熵损失函数对骨折定位模型进行优化，使用欧式距离损失函数对关键点检测模型进行优化。
其中，检测与定位模块通过如下方式利用深层的特征提取器与特征网络相结合从输入图像中提取预设的多尺度特征：检测与定位模块具体用于使用ResNeXt 101+FPN从输入图像中提取预设的多尺度特征；检测与定位模块通过如下方式通过骨折检测模型利用多尺度特征对输入图像中的可疑的骨折区域进行检测：检测与定位模块具体用于利用多尺度特征作为输入，输入至RPN和RCNN模块对输入图像中的可疑的骨折区域的检测。
由此可见，通过本发明提供的基于X光影像的骨折检测定位一体化方法及装置，直接一次性的对影像中的骨折区域以及骨折位置进行输出，同时由于检测和定位本身存在一定内在相关性，这种协同多任务的处理方式也可以提高模型最终的效果，从而这种影像处理方式可以有效的减少影像科医生的临床阅片时间，加速工作的效率。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。
图1为本发明实施例提供的一种基于X光影像的骨折检测定位一体化装置的结构示意图；
图2为本发明实施例提供的一种基于X光影像的骨折检测定位一体化方法的流程图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
图1示出了本发明实施例提供的基于X光影像的骨折检测定位一体化装置的结构示意图，参见图1，本发明实施例提供的基于X光影像的骨折检测定位一体化装置，包括：
数据预处理模块、检测与定位模块以及影像报告生成模块。
其中，数据预处理模块，主要包括数据采集、数据筛选及脱敏、医生标注及审核、数据转换四个过程；
检测与定位模块，主要包括多尺度特征提取、骨折检测算法、骨折定位算法、关键点检测算法、后处理算法五个部分；
影像报告生成模块，主要包括可视化结果、医生审核、影像报告生成三个部分。
以下，结合图1和图2对本发明实施例提供的基于X光影像的骨折检测定位一体化方法的流程进行说明，参见图2，本发明实施例提供的基于X光影像的骨折检测定位一体化方法，包括：
S1，收集符合预设规范的X光影像骨折数据。
具体地，本步骤对应数据预处理模块的数据采集过程，其中：
数据采集：主要可以从各大医院中收集符合DICOM(Digital Imaging andCommunications in Medicine)规范的X光影像骨折数据。
S2，对骨折数据进行预处理，并将预处理后的数据进行数据转化，得到符合预设要求的输入图像。
具体地，本步骤对应数据预处理模块的数据筛选及脱敏、医生标注及审核、数据转换过程，其中：
数据筛选及脱敏：初步的将一些不合格的数据筛除，同时为了保护用户的隐私，需要对每一个DICOM数据源进行必要的脱敏工作，做到关键信息的不泄漏。
医生标注及审核：在此步骤中，一般需要两个以上经验丰富的专家同时对一个X光影像骨折数据进行骨折轮廓、骨折部位以及骨块的关键点信息进行标注，随后对标注结果一致的标注结果直接录入数据库，对于标注不一致的影像(两个专家存在不同的意见)，则需要请第三方更为权威的专家进行审核，随后将所有审核完成无异议的标注结果录入数据库，以备后续使用。
数据转化：对符合要求并且有标注的DICOM数据进行前期的预处理工作，保证后续模型可以更方便的读取使用。主要过程包括窗宽和窗位的的设置以及DICOM格式的转换，其中窗宽和窗位的设置可以直接使用DICOM里面预设的默认值也可以使用一些的自适应算法(如使用大量的经验结果来聚类)去寻找最合适的窗宽和窗位。格式的转化主要是依据窗宽和窗位将DICOM格式的数据转化为更容易使用的图像格式(例如：jpg，png等)，同时将图像的标注信息也整理成统一的格式，方便后续的使用。
S3，利用深层的特征提取器与特征网络相结合从输入图像中提取预设的多尺度特征。
具体地，本步骤对应检测与定位模块的多尺度特征提取部分，其中：
多尺度特征提取：考虑到生活中可能出现各种尺度的骨折，并且骨折的表现形式也是多样的，单个尺度特征并不能很好的描述所有的骨折情况，所以本发明使用一个深层的特征提取器与特征网络相结合从输入图像中提取需要的多尺度特征。
作为本发明实施例的一个可选实施方式，利用深层的特征提取器与特征网络相结合从输入图像中提取预设的多尺度特征包括：使用ResNeXt 101+FPN从输入图像中提取预设的多尺度特征。即可以使用ResNeXt 101+FPN实现多尺度特征的提取。
S4，通过骨折检测模型利用多尺度特征对输入图像中的可疑的骨折区域进行检测，得到检测框。
具体地，本步骤对应检测与定位模块的骨折检测算法部分，其中：
骨折检测算法：其目的在于对输入图像中的可疑的骨折区域进行检出，通常来说一般使用一个二阶段的网络来实现该功能。
作为本发明实施例的一个可选实施方式，通过骨折检测模型利用多尺度特征对输入图像中的可疑的骨折区域进行检测包括：利用多尺度特征作为输入，输入至RPN和RCNN模块对输入图像中的可疑的骨折区域的检测。即可以使用上述的多尺度特征作为输入，随后接上一个RPN和RCNN模块来实现图像中骨折区域的检测。
S5，通过骨折定位模型根据检测框从多尺度特征的对应层中提取相应的骨折区域特征信息，根据骨折区域特征信息定位骨块位置。
具体地，本步骤对应检测与定位模块的骨折定位算法部分，其中：
骨折定位算法：其目的在于对骨折框进行定位，也就是说该部分只要对骨折检测算法中输出为前景的目标框进行定位，判断其属于什么骨块，如：锁骨或者肱骨。具体的：模型依据检测算法输出的检测框从多尺度特征的对应层中提取相应的骨折区域特征信息，随后利用提取后的信息定位其骨块位置。由于骨折区域特征通常只包含骨折区域及其周围小范围的局部信息，在缺少全局信息的情况下直接做精确的骨折定位是十分不准确的，故本发明在这里只是做初步的骨块定位，如锁骨或肱骨。
S6，通过关键点检测模型对关键点位置进行检测，确定输入图像中的关键点位置信息。
具体地，本步骤对应检测与定位模块的关键点检测算法部分，其中：
关键点检测算法：其目的在于发现输入图像中的关键点位置信息，如：锁骨近端、锁骨远端、锁骨中段分别在什么位置，通过对这些关键点位置进行检测可以用来辅助定位模型的输出，从而更好的确定骨折位置，如，对一个骨折区域骨折定位模型输出为锁骨，而距离该骨折区域中心点最近的关键点是锁骨近端，那在后处理算法中就可以很准确的定位该骨折区域是锁骨近端。对于该部分的输入通常以上述的多尺度特征作为输入。
S7，通过后处理算法融合检测框、骨块位置和关键点位置信息得到最终骨折区域及其区域定位的结果。
具体地，本步骤对应检测与定位模块的后处理算法部分，其中：
后处理算法：其目的在于将骨折检测算法、骨折定位算法以及关键点检测算法的结果进行融合，从而输出最终的检测与定位的结果。具体的：骨折检测算法通常只输出图像中的可疑的病灶区域，但具体是什么部位并不知道。骨折定位算法的则是初步的确定病灶所属的骨块，如：锁骨或者肱骨，此时依旧不清楚骨折的具体部位。而关键点检测算法的核心就是定位图像中骨块的具体位置，如锁骨近端位置。通过将三个信息进行结合则可以清晰对图像中的骨折区域进行检出和定位一体化。
由此可见，通过本发明实施例提供的基于X光影像的骨折检测定位一体化方法，首先对影像中的骨折区域进行检测，随后使用分类网络来确定骨折区域的具体部位(锁骨、肱骨、肩胛骨等)，同时并行设计了一个部位关键点(如在锁骨远端、中段、近端分别设置一个关键点)检测网络来辅助确定骨折的具体部位，如锁骨远端或者锁骨近端。通过三个子网络之间的相互协作，本系统可以轻松的实现检测与定位的一体化输出。
作为本发明实施例的一个可选实施方式，本发明实施例提供的基于X光影像的骨折检测定位一体化方法还包括：将骨折结果显示在图像上；接收修改指令，对骨折结果进行修改，得到修改后的骨折结果；根据修改后的骨折结果生成影像报告书。
具体地，本步骤对应于影像报告生成模块的可视化结果、医生审核、影像报告生成三个部分，其中：
可视化结果：其目的在于将后处理算法的输出结果直接显示在图像上，并且可以实时对可视化结果进行修改，方便后续影像科医生更加方便快捷的进行检查结果的审核。
医生审核：影像科医生对算法输出的检测结果进行可视化检查，将存在问题的结果进行修改，然后保存。
影像报告生成：将医生审核完的结果生成一张完整的影像报告书，以更好的提供给临床医生和患者使用。
由此，利用深度学习技术，准确地对X光影像中的骨折区域进行检测以及精准的定位(锁骨近端、锁骨中段、锁骨远端、肱骨近端等)一体化，最终生成一张影像诊断报告书，从而有效的减少影像科医生的阅片工作负担。
作为本发明实施例的一个可选实施方式，本发明实施例提供的基于X光影像的骨折检测定位一体化方法还包括：对骨折检测模型进行训练；对骨折定位模型进行训练；以及对关键点检测模型进行训练。基于此实现对各个模型的训练，在训练过程中，需对整个骨折检测定位一体化方法进行优化，考虑到多个任务之间存在一定内在关系，在训练时，本发明实施例提供的基于X光影像的骨折检测定位一体化方法还包括：使用交叉熵和平滑的一范数损失函数对骨折检测模型进行优化，使用交叉熵损失函数对骨折定位模型进行优化，使用欧式距离损失函数对关键点检测模型进行优化。具体的，通常三个算法使用共同的底层特征(ResNeXt 101+FPN)，随后使用交叉熵和平滑的一范数(smooth L1)损失函数对骨折检测模型进行优化，使用交叉熵损失函数对骨折定位模型进行优化，使用欧式距离损失函数来对关键点检测模型进行优化，三个部分在训练时同时优化，共同促进底层特征的学习，但多个任务分支之间并不存在明显的信息交互。需要说明的是，本发明在训练模型过程中均使用随机镜像、水平反转以及改变对比度和亮度几个常见的数据增扩方式来增加样本的多样性，从而增强模型的泛化性能。
由此可见，通过本发明实施例提供的基于X光影像的骨折检测定位一体化方法，对于推理测试阶段，对于输入的一张X光影像，模型首先通过骨折检测模型来识别图中可疑的骨折区域，然后将一些置信度比较低的可疑区域去掉。随后通过骨折定位模型来判断剩下的可疑区域具体属于什么骨块。与此同时输入图像还需要再次通过关键点检测模型对图像中的关键点信息进行识别，最后将三个模型的输出输入到后处理算法中，从而实现最终检测定位一体化。同时为了保证实际应用场景中的方便性与可靠性，本发明在最后引入了医生审核和影像报告生成两个步骤，从而实现了端对端的图像输入，报告生成。
对于后处理算法中的骨折区域定位与关键点信息融合，本发明的出发点主要有两个，其一，骨折区域定位模型的的输入为骨折检测的前景区域，故其训练数据是比较少的，直接利用这些数据来实现精确定位时，通常性能会比较差一些，故该分支只用来做粗定位。其二，关键点检测模型的信息是比较全面的，但对于一些极端的遮挡体位，关键点检测模型通常会表现的比较差。所以单纯的利用其中任何一个均不能带来比较好的结果。考虑到这些单一信息的局限性，本发明考虑将两者的信息进行融合，一方面利用两者的信息差来选择更为可靠的输出；另一方面，骨折的关键点信息也可以作为一组比较强的部位先验信息来协同区域定位分支的输出。从而有效的减少定位错误。比如当一个骨折区域定位输出为肱骨，但距离该区域中心最近的关键点确是锁骨近端，这明显是一组矛盾的信息，此时可以依据两者置信度信息，选择置信度更大的信息作为最终的结果。故骨折定位与关键点信息一定程度上可以互相为对方进行错误纠正，这种相互的纠错方式可以一定程度的减少定位错误，提高最终定位的准确性。
因此，本发明基于多任务学习的思想，在一套框架里直接实现了骨折检测和定位的一体化，同时还能出具相应的影像诊断报告书，从而端对端的实现了影像输入，报告输出的过程。大大减少了影像科医生的阅片时间，提高了工作的效率。相对于传统的人工诊断方式来说，这种一体化的计算机辅助诊断技术有助于提高影像诊断的准确性与可靠性。
将骨折粗糙定位与关键点检测信息相结合，两者通过相互纠错的方式对信息进行融合，相对于单独使用一种模型定位来说，这种融合方式一定程度上减少了错误定位的发生，提高了最终定位结果的可靠性。
以下基于图1提供的基于X光影像的骨折检测定位一体化装置的结构示意图，对本发明基于X光影像的骨折检测定位一体化装置的结构进行简单说明，该基于X光影像的骨折检测定位一体化装置应用上述方法，其他未尽事宜，请参照上述基于X光影像的骨折检测定位一体化方法中的相关描述，参见图1，本发明实施例提供的基于X光影像的骨折检测定位一体化装置，包括：
数据预处理模块，用于收集符合预设规范的X光影像骨折数据；对骨折数据进行预处理，并将预处理后的数据进行数据转化，得到符合预设要求的输入图像；
检测与定位模块，用于利用深层的特征提取器与特征网络相结合从输入图像中提取预设的多尺度特征；通过骨折检测模型利用多尺度特征对输入图像中的可疑的骨折区域进行检测，得到检测框；通过骨折定位模型根据检测框从多尺度特征的对应层中提取相应的骨折区域特征信息，根据骨折区域特征信息定位骨块位置；通过关键点检测模型对关键点位置进行检测，确定输入图像中的关键点位置信息；通过后处理算法融合检测框、骨块位置和关键点位置信息得到最终骨折区域及其区域定位的结果。
由此可见，通过本发明实施例提供的基于X光影像的骨折检测定位一体化装置，首先对影像中的骨折区域进行检测，随后使用分类网络来确定骨折区域的具体部位(锁骨、肱骨、肩胛骨等)，同时并行设计了一个部位关键点(如在锁骨远端、中段、近端分别设置一个关键点)检测网络来辅助确定骨折的具体部位，如锁骨远端或者锁骨近端。通过三个子网络之间的相互协作，本系统可以轻松的实现检测与定位的一体化输出。
作为本发明实施例的一个可选实施方式，本发明提供的基于X光影像的骨折检测定位一体化装置还包括：影像报告生成模块；影像报告生成模块，用于将骨折结果显示在图像上；接收修改指令，对骨折结果进行修改，得到修改后的骨折结果；根据修改后的骨折结果生成影像报告书。
作为本发明实施例的一个可选实施方式，基于X光影像的骨折检测定位一体化装置还包括：训练模块；训练模块，用于对骨折检测模型进行训练；对骨折定位模型进行训练；以及对关键点检测模型进行训练。
作为本发明实施例的一个可选实施方式，基于X光影像的骨折检测定位一体化装置还包括：优化模块；优化模块，用于使用交叉熵和平滑的一范数损失函数对骨折检测模型进行优化，使用交叉熵损失函数对骨折定位模型进行优化，使用欧式距离损失函数对关键点检测模型进行优化。
作为本发明实施例的一个可选实施方式，检测与定位模块通过如下方式利用深层的特征提取器与特征网络相结合从输入图像中提取预设的多尺度特征：检测与定位模块具体用于使用ResNeXt 101+FPN从输入图像中提取预设的多尺度特征；检测与定位模块通过如下方式通过骨折检测模型利用多尺度特征对输入图像中的可疑的骨折区域进行检测：检测与定位模块具体用于利用多尺度特征作为输入，输入至RPN和RCNN模块对输入图像中的可疑的骨折区域的检测。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。存储器是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
以上仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (10)

1.一种基于X光影像的骨折检测定位一体化方法，其特征在于，包括：
收集符合预设规范的X光影像骨折数据；
对所述骨折数据进行预处理，并将预处理后的数据进行数据转化，得到符合预设要求的输入图像；
利用深层的特征提取器与特征网络相结合从所述输入图像中提取预设的多尺度特征；
通过骨折检测模型利用所述多尺度特征对所述输入图像中的可疑的骨折区域进行检测，得到检测框；
通过骨折定位模型根据所述检测框从所述多尺度特征的对应层中提取相应的骨折区域特征信息，根据所述骨折区域特征信息定位骨块位置；
通过关键点检测模型对关键点位置进行检测，确定所述输入图像中的关键点位置信息；
通过后处理算法融合所述检测框、所述骨块位置和所述关键点位置信息得到最终骨折区域及其区域定位的结果。
2.根据权利要求1所述的方法，其特征在于，还包括：
将所述骨折结果显示在图像上；
接收修改指令，对所述骨折结果进行修改，得到修改后的骨折结果；
根据所述修改后的骨折结果生成影像报告书。
3.根据权利要求1所述的方法，其特征在于，还包括：
对所述骨折检测模型进行训练；对所述骨折定位模型进行训练；以及对所述关键点检测模型进行训练。
4.根据权利要求4所述的方法，其特征在于，还包括：
使用交叉熵和平滑的一范数损失函数对所述骨折检测模型进行优化，使用交叉熵损失函数对所述骨折定位模型进行优化，使用欧式距离损失函数对所述关键点检测模型进行优化。
5.根据权利要求1所述的方法，其特征在于，所述利用深层的特征提取器与特征网络相结合从所述输入图像中提取预设的多尺度特征包括：
使用ResNeXt 101+FPN从所述输入图像中提取预设的多尺度特征；
所述通过骨折检测模型利用所述多尺度特征对所述输入图像中的可疑的骨折区域进行检测包括：
利用所述多尺度特征作为输入，输入至RPN和RCNN模块对所述输入图像中的可疑的骨折区域的检测。
6.一种基于X光影像的骨折检测定位一体化装置，其特征在于，包括：
数据预处理模块，用于收集符合预设规范的X光影像骨折数据；对所述骨折数据进行预处理，并将预处理后的数据进行数据转化，得到符合预设要求的输入图像；
检测与定位模块，用于利用深层的特征提取器与特征网络相结合从所述输入图像中提取预设的多尺度特征；通过骨折检测模型利用所述多尺度特征对所述输入图像中的可疑的骨折区域进行检测，得到检测框；通过骨折定位模型根据所述检测框从所述多尺度特征的对应层中提取相应的骨折区域特征信息，根据所述骨折区域特征信息定位骨块位置；通过关键点检测模型对关键点位置进行检测，确定所述输入图像中的关键点位置信息；通过后处理算法融合所述检测框、所述骨块位置和所述关键点位置信息得到最终骨折区域及其区域定位的结果。
7.根据权利要求6所述的装置，其特征在于，还包括：影像报告生成模块；
所述影像报告生成模块，用于将所述骨折结果显示在图像上；接收修改指令，对所述骨折结果进行修改，得到修改后的骨折结果；根据所述修改后的骨折结果生成影像报告书。
8.根据权利要求6所述的装置，其特征在于，还包括：训练模块；
所述训练模块，用于对所述骨折检测模型进行训练；对所述骨折定位模型进行训练；以及对所述关键点检测模型进行训练。
9.根据权利要求8所述的装置，其特征在于，还包括：优化模块；
所述优化模块，用于使用交叉熵和平滑的一范数损失函数对所述骨折检测模型进行优化，使用交叉熵损失函数对所述骨折定位模型进行优化，使用欧式距离损失函数对所述关键点检测模型进行优化。
10.根据权利要求6所述的装置，其特征在于，所述检测与定位模块通过如下方式利用深层的特征提取器与特征网络相结合从所述输入图像中提取预设的多尺度特征：所述检测与定位模块具体用于使用ResNeXt 101+FPN从所述输入图像中提取预设的多尺度特征；所述检测与定位模块通过如下方式通过骨折检测模型利用所述多尺度特征对所述输入图像中的可疑的骨折区域进行检测：所述检测与定位模块具体用于利用所述多尺度特征作为输入，输入至RPN和RCNN模块对所述输入图像中的可疑的骨折区域的检测。
CN202010563112.3A 2020-06-19 2020-06-19 一种基于x光影像的骨折检测定位一体化方法及装置 Active CN111915554B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010563112.3A CN111915554B (zh) 2020-06-19 2020-06-19 一种基于x光影像的骨折检测定位一体化方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010563112.3A CN111915554B (zh) 2020-06-19 2020-06-19 一种基于x光影像的骨折检测定位一体化方法及装置

Publications (2)

Publication Number Publication Date
CN111915554A true CN111915554A (zh) 2020-11-10
CN111915554B CN111915554B (zh) 2024-05-14

Family

ID=73237932

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010563112.3A Active CN111915554B (zh) 2020-06-19 2020-06-19 一种基于x光影像的骨折检测定位一体化方法及装置

Country Status (1)

Country Link
CN (1) CN111915554B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108305248A (zh) * 2018-01-17 2018-07-20 慧影医疗科技（北京）有限公司 一种骨折识别模型的构建方法及应用
CN108765417A (zh) * 2018-06-15 2018-11-06 西安邮电大学 一种基于深度学习和数字重建放射影像的股骨x线片生成系统及方法
US20190318828A1 (en) * 2018-04-11 2019-10-17 Shanghai United Imaging Healthcare Co., Ltd. Systems and methods for image processing
CN110400316A (zh) * 2019-04-19 2019-11-01 杭州健培科技有限公司 一种基于深度学习的骨科影像测量方法及装置
CN111008974A (zh) * 2019-11-22 2020-04-14 浙江飞图影像科技有限公司 多模型融合的股骨颈骨折区域定位和分割方法及系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108305248A (zh) * 2018-01-17 2018-07-20 慧影医疗科技（北京）有限公司 一种骨折识别模型的构建方法及应用
US20190318828A1 (en) * 2018-04-11 2019-10-17 Shanghai United Imaging Healthcare Co., Ltd. Systems and methods for image processing
CN108765417A (zh) * 2018-06-15 2018-11-06 西安邮电大学 一种基于深度学习和数字重建放射影像的股骨x线片生成系统及方法
CN110400316A (zh) * 2019-04-19 2019-11-01 杭州健培科技有限公司 一种基于深度学习的骨科影像测量方法及装置
CN111008974A (zh) * 2019-11-22 2020-04-14 浙江飞图影像科技有限公司 多模型融合的股骨颈骨折区域定位和分割方法及系统

Also Published As

Publication number Publication date
CN111915554B (zh) 2024-05-14

Similar Documents

Publication Publication Date Title
Laserson et al. Textray: Mining clinical reports to gain a broad understanding of chest x-rays
CN108464840B (zh) 一种乳腺肿块自动检测方法及系统
Lin et al. AANet: Adaptive attention network for COVID-19 detection from chest X-ray images
CN111080583B (zh) 医学图像检测方法、计算机设备和可读存储介质
CN111325745A (zh) 骨折区域分析方法和装置、电子设备及可读存储介质
Nijiati et al. Artificial intelligence assisting the early detection of active pulmonary tuberculosis from chest X-rays: A population-based study
CN111476776A (zh) 胸部病灶位置确定方法、系统、可读存储介质和设备
CN113485555B (zh) 医学影像阅片方法、电子设备和存储介质
CN112926677B (zh) 医学图像数据的信息标注方法、装置及系统
Niri et al. A superpixel-wise fully convolutional neural network approach for diabetic foot ulcer tissue classification
JP2009045121A (ja) 医用画像処理システム、医用画像処理方法、及びプログラム
Zhang et al. An Algorithm for Automatic Rib Fracture Recognition Combined with nnU‐Net and DenseNet
Wu et al. DMs-MAFM+ EfficientNet: a hybrid model for predicting dysthyroid optic neuropathy
Fatema et al. Development of an automated optimal distance feature-based decision system for diagnosing knee osteoarthritis using segmented X-ray images
Yang et al. A lightweight neural network for lung nodule detection based on improved ghost module
Rocha et al. STERN: Attention-driven Spatial Transformer Network for abnormality detection in chest X-ray images
Li et al. MCAFNet: multiscale cross-layer attention fusion network for honeycomb lung lesion segmentation
US20230334656A1 (en) Method and system for identifying abnormal images in a set of medical images
CN114419087A (zh) 病灶图像生成方法、装置、电子设备及存储介质
CN111915554B (zh) 一种基于x光影像的骨折检测定位一体化方法及装置
Zhu et al. Explainable classification of benign-malignant pulmonary nodules with neural networks and information bottleneck
CN116228660A (zh) 胸部正片异常部位检测方法及装置
CN111612755B (zh) 肺部病灶分析方法、装置、电子设备和存储介质
Zeng et al. Recognition of rare antinuclear antibody patterns based on a novel attention-based enhancement framework
WO2021107098A1 (ja) 文書作成支援装置、文書作成支援方法及び文書作成支援プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant