CN116523903A - 一种多模态骨折损伤检测识别方法和系统 - Google Patents
一种多模态骨折损伤检测识别方法和系统 Download PDFInfo
- Publication number
- CN116523903A CN116523903A CN202310747825.9A CN202310747825A CN116523903A CN 116523903 A CN116523903 A CN 116523903A CN 202310747825 A CN202310747825 A CN 202310747825A CN 116523903 A CN116523903 A CN 116523903A
- Authority
- CN
- China
- Prior art keywords
- fracture
- image
- training
- modal
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 206010017076 Fracture Diseases 0.000 title claims abstract description 93
- 208000010392 Bone Fractures Diseases 0.000 title claims abstract description 92
- 238000000034 method Methods 0.000 title claims abstract description 33
- 208000027418 Wounds and injury Diseases 0.000 title claims abstract description 21
- 230000006378 damage Effects 0.000 title claims abstract description 21
- 208000014674 injury Diseases 0.000 title claims abstract description 21
- 238000001514 detection method Methods 0.000 title claims abstract description 19
- 238000012549 training Methods 0.000 claims abstract description 46
- 238000007781 pre-processing Methods 0.000 claims abstract description 9
- 238000013528 artificial neural network Methods 0.000 claims abstract description 8
- 239000003550 marker Substances 0.000 claims abstract description 8
- 201000010099 disease Diseases 0.000 claims abstract description 4
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 claims abstract description 4
- 238000000605 extraction Methods 0.000 claims description 5
- 238000012937 correction Methods 0.000 claims description 4
- 208000002103 Shoulder Fractures Diseases 0.000 claims description 3
- 241000469816 Varus Species 0.000 claims description 3
- 210000000988 bone and bone Anatomy 0.000 claims description 3
- 230000001054 cortical effect Effects 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 3
- 238000011176 pooling Methods 0.000 claims description 3
- 238000006073 displacement reaction Methods 0.000 claims description 2
- 238000002372 labelling Methods 0.000 claims 1
- 238000003745 diagnosis Methods 0.000 abstract description 6
- 238000012545 processing Methods 0.000 abstract description 5
- 230000000399 orthopedic effect Effects 0.000 abstract description 4
- 238000013527 convolutional neural network Methods 0.000 description 6
- 206010020100 Hip fracture Diseases 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000001537 neural effect Effects 0.000 description 2
- 210000002569 neuron Anatomy 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 206010061363 Skeletal injury Diseases 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000003759 clinical diagnosis Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 210000002364 input neuron Anatomy 0.000 description 1
- 230000003278 mimic effect Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 210000004205 output neuron Anatomy 0.000 description 1
- 230000007918 pathogenicity Effects 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 210000000857 visual cortex Anatomy 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/047—Probabilistic or stochastic networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/766—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using regression, e.g. by projecting features on hyperplanes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30008—Bone
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/03—Recognition of patterns in medical or anatomical images
- G06V2201/033—Recognition of patterns in medical or anatomical images of skeletal patterns
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Medical Informatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- General Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Life Sciences & Earth Sciences (AREA)
- Molecular Biology (AREA)
- Databases & Information Systems (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Probability & Statistics with Applications (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种多模态骨折损伤检测识别方法和系统，涉及图像处理技术领域，包括：收集若干骨折图像作为训练用图像，训练用图像的内容涵盖多种骨折类型；对各个训练用图像添加多模态标记，多模态标记至少包括如下信息中的一种或多种：性别、年龄、既往病史或致病因；采用CLAHE算法对训练用图像进行预处理；使用预处理后的训练用图像训练Faster RCNN模型，训练过程中按照预设概率将神经网络单元暂时从网络中丢弃，以使每一个mini‑batch都在训练不同的网络；获取待检测图像输入训练后的Faster RCNN模型，识别出骨折类型并标记出骨折位置。本发明能够准确识别X光片中包含的骨折信息，提升骨科诊室的诊断效率。
Description
技术领域
本发明涉及图像处理技术领域，具体而言，涉及一种多模态骨折损伤检测识别方法和系统。
背景技术
在当前医疗水平下，尽管MRI与CT已经很普遍，但由于X-ray的辐射较低并且性价比较高，传统X光平片仍然是骨科预检的核心检测手段。对于临床诊断来说，从X光平片中准确的提炼出有效信息需要多年训练，并且在过程中决策者总是独立进行决策，可靠性问题始终存在。近年来使用不同数据集在X光平片上进行骨折检测的各种尝试表明，深度学习算法在检测某些常见骨折方面具有能够跟医师相媲美的能力。卷积神经网络(Convolutionalneural network, CNN)也是深度学习算法之一，它包含的多层神经网络具有模仿人类视觉皮层中图像识别系统的能力。将CNN算法应用于处理二维数据能够得到较好的结果，因此在图像处理中得到了良好的应用。然而，目前基于卷积神经网络的骨折图像识别算法仅能够对X光片进行初步识别，对图像中是否存在骨折现象进行检测后需要医师根据经验对图像进行进一步分析，才能准确判断患者病情，诊断结果的准确性大幅依赖临床医生的专业水平和诊疗经验，在耗费大量时间进行观察的情况下依旧无法保障诊断质量，还会影响到后续的治疗方案制定过程。此外，现有的骨折图像识别算法还存在如下缺陷：骨折图像资源不容易获取，而神经网络模型需要大量骨折图像进行模型训练，导致模型训练效果差，识别准确率低，模型训练速度较慢；对于图像模糊区域无法识别或识别效果差。
因此，如何进一步优化网络模型以提升骨折损伤图像的检测和识别速度以及精确度，成为需要解决的技术问题。
发明内容
本发明旨在至少解决现有技术或相关技术中存在的技术问题之一，公开了一种多模态骨折损伤检测识别方法和系统，结合多模态数据提高对骨伤图像的识别准确率，降低对医生诊断经验的依赖性，提升骨科诊室的诊断效率。
本发明的第一方面公开了一种多模态骨折损伤检测识别方法，包括：收集若干骨折图像作为训练用图像，训练用图像的内容涵盖多种骨折类型；对各个训练用图像添加多模态标记，多模态标记至少包括如下信息中的一种或多种：性别、年龄、既往病史或致病因；采用CLAHE算法对训练用图像进行预处理；使用预处理后的训练用图像训练Faster RCNN模型，训练过程中按照预设概率将神经网络单元暂时从网络中丢弃，以随机的丢弃使每一个mini-batch都在训练不同的网络；获取待检测图像输入训练后的Faster RCNN模型，识别出骨折类型并标记出骨折位置。
根据本发明公开的多模态骨折损伤检测识别方法，优选地，骨折类型具体包括：EvansⅠ型：二分骨折，骨折端没有移位、骨折稳定；EvansⅡ型：骨折端有移位，有小块的小粗隆骨折，股骨距完整，骨折较为稳定；EvansⅢ型：四分骨折，骨折内翻移位，后内侧骨皮质粉碎，大粗隆骨折，骨折不稳定；EvansⅣ型：骨折不稳定，骨折线波及到粗隆下；EvansⅤ型：骨折线为反斜行，远端向内侧移位骨折不稳定。
根据本发明公开的多模态骨折损伤检测识别方法，优选地，还包括：对骨折图像中的骨折区域进行手动标注。
根据本发明公开的多模态骨折损伤检测识别方法，优选地，Faster RCNN模型的运算步骤包括：对待检测图像进行预处理以满足分类步骤的输入尺寸要求；处理过的图像被送入卷积层进行特征提取得到Feature Map；根据区域候选网络生成区域建议窗口；将区域建议窗口映射到最后一层卷积的特征图上后，池化层会使每个ROI生成固定尺寸的FeatureMap；根据Softmax对分类概率与边框回归校正联合训练，得到分类结果与区域预测标记。
根据本发明公开的多模态骨折损伤检测识别方法，优选地，Faster RCNN模型包括：VGG、 Inception V3、 Resnet50或 Xception。
本发明的第二方面公开了一种多模态骨折损伤检测识别系统，包括：存储器，用于存储程序指令；处理器，用于调用存储器中存储的程序指令以实现如上述任一技术方案的多模态骨折损伤检测识别方法。
本发明的有益效果至少包括：对训练用图像添加性别、年龄、致病因以及既往病史等信息，降低误差，保障模型训练效果，提升模型可靠度。针对多模态特征融合中出现的模型容量大，易发生过拟合的问题，引入正则化技术。本发明能够帮助经验不足的新医生实现对患者病情的准确评估。
附图说明
图1示出了根据本发明的一个实施例的CLAHE算法网络结构示意图。
图2示出了根据本发明的一个实施例的神经网络训练原理图。
具体实施方式
为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的其他方式来实施，因此，本发明并不限于下面公开的具体实施例的限制。
本发明公开的多模态骨折损伤检测识别方法具体包括：收集若干骨折图像作为训练用图像，训练用图像的内容涵盖多种骨折类型；对各个训练用图像添加多模态标记，多模态标记至少包括如下信息中的一种或多种：性别、年龄、既往病史或致病因；采用CLAHE算法对训练用图像进行预处理；使用预处理后的训练用图像训练Faster RCNN模型，训练过程中按照预设概率将神经网络单元暂时从网络中丢弃，随机的丢弃使每一个mini-batch都在训练不同的网络；获取待检测图像输入训练后的Faster RCNN模型，识别出骨折类型并标记出骨折位置。
在该实施例中，训练用图像来源于医院放射科，经过Evans分型的粗隆间骨折X光影像共524张（EvansⅠ型127张、EvansⅡ型86张、EvansⅢ型133张、EvansⅣ型166张、EvansⅤ型12张）。另外，我们收集到264张正常的髋骨X光影像，这788张影像被制作成pascal_VOC格式数据集并将分为两部分分别用做训练( 90% )和测试( 10% )。
上述Evans分型将粗隆间骨折分为五型：EvansⅠ型为二分骨折，骨折端没有移位、骨折稳定；EvansⅡ型的骨折端有移位，有小块的小粗隆骨折，股骨距完整，骨折较为稳定；EvansⅢ型，四分骨折，骨折内翻移位，后内侧骨皮质粉碎，大粗隆骨折，骨折不稳定；EvansⅣ型，同三型骨折，骨折不稳定，骨折线波及到粗隆下；EvansⅤ型，骨折线为反斜行，远端向内侧移位骨折不稳定。具体的骨折区域标记由经验丰富的骨伤科专家手动标注。
由于X光影像的原始图像大多都模糊不清，而在医学应用上，这些被模糊的细节又非常有用，因此，医学影像的图像增强一直是图像处理领域研究的一大重点。X光射线图像的亮部与暗部边缘模糊，这会导致在后续图像的分割识别中产生较大误差，因此必须对实验所以的粗隆间骨折图像进行预处理。除了边缘模糊之外，在拍摄中产生的噪声都隐藏在黑暗中。因此，仅仅提高暗区的亮度会造成背景噪声也被放大。为解决这一问题，我们采用CLAHE算法对影像进行预处理操作，CLAHE算法是一个简单高效的网络，它的原理是利用直方图均衡原理对每个分块进行处理，并使用插值方法得到最后的增强图像。CLAHE算法的优点在于它不仅能够实现图像细节的增强, 还抑制了背景噪声。CLAHE算法的具体网络结构如图1所示。
在经过CLAHE算法预处理后，我们得到更适合送入深度学习训练的粗隆间骨折X光影像。具体体现在使用标准图像数据，对比计算原始图像和预处理后图像表征图像质量的各项指标得到后者的结果会更好，如表1所示：
从表1数据对比可以看出预处理后的图像质量得到了有效提升。三个评价指标的标准计算式分别为公式(1)、(2)、(3)。
在上述公式中，M表示预处理后图像的宽度方向像素点数量，N表示高度方向像素点数量；i表示高度方向具体像素点，i取值范围为[1,N]；j表示宽度方向具体像素点，j取值范围为[1,M]； fij表示预处理前图像高度为i宽度为j的像素点的真实值，fij’表示预处理后图像高度为i宽度为j的像素点的真实值；L为图像的最大像素值；SSIM 主要考量图片的三个关键特征：亮度、对比度及结构，分别由l(x,y), c(x,y), s(x,y)计算得到，α、β和γ分别代表了亮度、对比度和结构特征在SSIM衡量中的占比，在计算中设定为α=β=γ=1。
MSE（均方误差）是反映估计量与被估计量之间差异程度的一种度量。MSE越小图像质量越好。PSNR（峰值信噪比，Peak Signal-to-Noise Ratio）用于衡量两张图像之间的差异，表示基于对应像素点间的误差，即基于误差敏感的图像质量指标。SSIM (structuralsimilarity index) 表征结构相似性，公式中分别计算亮度、对比度和结构。这是用来衡量两张数字图像相似性的指标。SSIM取值范围[0,1]，值越大，表示图像失真越小。以此为依据对照表1中数据可以发现，预处理后的数据质量相较于原始图像有明显提升。这验证了CLAHE算法针对粗隆间骨折图像优化的有效性。
Faster RCNN是在Fast RCNN基础上的演化升级。在Faster RCNN中目标检测的四个基本步骤（候选区域生成、特征提取、分类、位置修正）被统一到一个深度网络框架中，整个训练过程在GPU中完成，速度大大提升。在整个结构里，原始图像送入后先进行简单预处理过程，以满足分类步骤的输入尺寸要求（包括大小调整、向量转换和归一化操作）。随后，处理过的图像被送入卷积层进行特征提取得到Feature Map。RPN会生成区域建议窗口，即proposals。将区域建议窗口映射到最后一层卷积的特征图上后，池化层会使每个ROI生成固定尺寸的Feature Map。Softmax会对分类概率与边框回归校正联合训练,得到更加准确的分类结果与区域预测标记。
根据上述实施例，优选地，Faster RCNN包括：VGG、 Inception V3、 Resnet50或Xception。
如图2所示，针对多模态特征融合中出现的模型容量大，易发生过拟合的问题，引入正则化技术。采用Dropout策略，在网络的训练过程中，按照概率将神经网络单元暂时从网络中丢弃。对于随机梯度下降来说，随机的丢弃使每一个mini-batch都在训练不同的网络。这使得模型不会太依赖某些局部的特征，泛化能力得到有效增强。在采用Dropout策略后，在训练中将会随机（临时）删除网络中一半的神经单元，输入输出神经元保持不变（图2中虚线为部分临时被删除的神经单元）。然后，将把输入数据通过修改后的网络前向传播，得到的损失结果会通过修改的网络反向传播。训练样本在执行完此过程后，将在没有被删除的神经元上按照随机梯度下降原则更新对应的参数。随后继续重复这一过程。这一策略起到了类似“取平均”的作用并减少了神经元之间复杂的共适应关系，实现了在多模态训练过程中的优化。
上述实施例的各种方法中的全部或部分步骤是可以通过程序来控制相关的硬件来完成，该程序可以存储于可读存储介质中，存储介质包括只读存储器(Read—OnlyMemory，ROM) 、随机存储器(Random Access Memory，RAM) 、可编程只读存储器(Programmable Read-only Memory，PROM) 、可擦除可编程只读存储器(ErasableProgrammable Read Only Memory，EPROM) 、一次可编程只读存储器(One-timeProgrammable Read-Only Memory，OTPROM) 、电子抹除式可复写只读存储器(Electrically-Erasable Programmable Read-Only Memory，EEPROM) 、只读光盘(CompactDisc Read—Only Memory，CD-ROM) 或其他光盘存储器、磁盘存储器、磁带存储器、或者能够用于携带或存储数据的可读的任何其他介质。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (6)
1.一种多模态骨折损伤检测识别方法，其特征在于，包括：
收集若干骨折图像作为训练用图像，所述训练用图像的内容涵盖多种骨折类型；
采用CLAHE算法对所述训练用图像进行预处理；
对预处理后的训练用图像添加多模态标记，所述多模态标记至少包括如下信息中的一种或多种：性别、年龄、既往病史或致病因；
使用预处理后的训练用图像训练Faster RCNN模型，训练过程中按照预设概率将神经网络单元暂时从网络中丢弃，随机丢弃操作使每一个mini-batch都在训练不同的网络；
获取待检测图像输入训练后的Faster RCNN模型，识别出骨折类型并标记出骨折位置。
2.根据权利要求1所述的多模态骨折损伤检测识别方法，其特征在于，所述骨折类型具体包括：EvansⅠ型：二分骨折，骨折端没有移位、骨折稳定；EvansⅡ型：骨折端有移位，有小块的小粗隆骨折，股骨距完整，骨折较为稳定；EvansⅢ型：四分骨折，骨折内翻移位，后内侧骨皮质粉碎，大粗隆骨折，骨折不稳定；EvansⅣ型：骨折不稳定，骨折线波及到粗隆下；EvansⅤ型：骨折线为反斜行，远端向内侧移位骨折不稳定。
3.根据权利要求1所述的多模态骨折损伤检测识别方法，其特征在于，还包括：对所述骨折图像中的骨折区域进行手动标注。
4.根据权利要求1所述的多模态骨折损伤检测识别方法，其特征在于， 所述FasterRCNN模型的运算步骤包括：
对待检测图像进行预处理以满足分类步骤的输入尺寸要求；
处理过的图像被送入卷积层进行特征提取得到Feature Map；
根据区域候选网络生成区域建议窗口；
将区域建议窗口映射到最后一层卷积的特征图上后，池化层会使每个ROI生成固定尺寸的Feature Map；
根据Softmax对分类概率与边框回归校正联合训练，得到分类结果与区域预测标记。
5.根据权利要求1所述的多模态骨折损伤检测识别方法，其特征在于，所述FasterRCNN模型包括：VGG、 Inception V3、 Resnet50或 Xception。
6.一种多模态骨折损伤检测识别系统，其特征在于，包括：
存储器，用于存储程序指令；
处理器，用于调用所述存储器中存储的所述程序指令以实现如权利要求1至5中任一项所述的多模态骨折损伤检测识别方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310747825.9A CN116523903A (zh) | 2023-06-25 | 2023-06-25 | 一种多模态骨折损伤检测识别方法和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310747825.9A CN116523903A (zh) | 2023-06-25 | 2023-06-25 | 一种多模态骨折损伤检测识别方法和系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116523903A true CN116523903A (zh) | 2023-08-01 |
Family
ID=87397896
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310747825.9A Pending CN116523903A (zh) | 2023-06-25 | 2023-06-25 | 一种多模态骨折损伤检测识别方法和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116523903A (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108305248A (zh) * | 2018-01-17 | 2018-07-20 | 慧影医疗科技（北京）有限公司 | 一种骨折识别模型的构建方法及应用 |
| CN108665447A (zh) * | 2018-04-20 | 2018-10-16 | 浙江大学 | 一种基于眼底照相深度学习的青光眼图像检测方法 |
| CN110503097A (zh) * | 2019-08-27 | 2019-11-26 | 腾讯科技（深圳）有限公司 | 图像处理模型的训练方法、装置及存储介质 |
| CN113656706A (zh) * | 2021-08-31 | 2021-11-16 | 平安医疗健康管理股份有限公司 | 基于多模态深度学习模型的信息推送方法及装置 |
| CN114171187A (zh) * | 2021-12-06 | 2022-03-11 | 浙江大学 | 一种基于多模态深度学习的胃癌tnm分期预测系统 |
-
2023
- 2023-06-25 CN CN202310747825.9A patent/CN116523903A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108305248A (zh) * | 2018-01-17 | 2018-07-20 | 慧影医疗科技（北京）有限公司 | 一种骨折识别模型的构建方法及应用 |
| CN108665447A (zh) * | 2018-04-20 | 2018-10-16 | 浙江大学 | 一种基于眼底照相深度学习的青光眼图像检测方法 |
| CN110503097A (zh) * | 2019-08-27 | 2019-11-26 | 腾讯科技（深圳）有限公司 | 图像处理模型的训练方法、装置及存储介质 |
| CN113656706A (zh) * | 2021-08-31 | 2021-11-16 | 平安医疗健康管理股份有限公司 | 基于多模态深度学习模型的信息推送方法及装置 |
| CN114171187A (zh) * | 2021-12-06 | 2022-03-11 | 浙江大学 | 一种基于多模态深度学习的胃癌tnm分期预测系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11669965B2 (en) | AI-based label generating system and methods for use therewith | |
| Chan et al. | Effective pneumothorax detection for chest X‐ray images using local binary pattern and support vector machine | |
| CN111862044B (zh) | 超声图像处理方法、装置、计算机设备和存储介质 | |
| US20200320685A1 (en) | Automated classification and taxonomy of 3d teeth data using deep learning methods | |
| CN111062947B (zh) | 一种基于深度学习的x光胸片病灶定位方法及系统 | |
| Kong et al. | Automated maxillofacial segmentation in panoramic dental x-ray images using an efficient encoder-decoder network | |
| JP2008520344A (ja) | 放射線写真画像の向きを検知及び補正する方法 | |
| CN110751636B (zh) | 一种基于改进型编解码网络的眼底图像视网膜动脉硬化检测方法 | |
| CN111696083A (zh) | 一种图像处理方法、装置、电子设备及存储介质 | |
| Seo et al. | A deep learning algorithm for automated measurement of vertebral body compression from X-ray images | |
| CN111986177A (zh) | 一种基于注意力卷积神经网络的胸部肋骨骨折检测方法 | |
| CN110766670A (zh) | 一种基于深度卷积神经网络的乳腺钼靶图像肿瘤定位算法 | |
| Rajee et al. | Dental image segmentation and classification using inception Resnetv2 | |
| Chen et al. | Detection of various dental conditions on dental panoramic radiography using Faster R-CNN | |
| US9672600B2 (en) | Clavicle suppression in radiographic images | |
| Goutham et al. | Automatic localization of landmarks in cephalometric images via modified U-Net | |
| CN116523903A (zh) | 一种多模态骨折损伤检测识别方法和系统 | |
| WO2020106393A2 (en) | Skeletal maturity determination using radiographs of portions of a hand | |
| CN113822904B (zh) | 一种图像标注装置、方法及可读存储介质 | |
| Tang et al. | Deep learning segmentation model for automated detection of the opacity regions in the chest X-rays of the Covid-19 positive patients and the application for disease severity | |
| Hage Chehade et al. | A Systematic Review: Classification of Lung Diseases from Chest X-Ray Images Using Deep Learning Algorithms | |
| Mouzai et al. | Xray-Net: Self-supervised pixel stretching approach to improve low-contrast medical imaging | |
| CN114155234A (zh) | 病灶肺段位置的识别方法、装置、存储介质及电子设备 | |
| CN113450306A (zh) | 提供骨折检测工具的方法 | |
| CN112634226A (zh) | 头部ct图像检测装置、方法、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20230801 |