CN116543222A - 膝关节病变检测方法、装置、设备及计算机可读存储介质 - Google Patents

膝关节病变检测方法、装置、设备及计算机可读存储介质 Download PDF

Info

Publication number
CN116543222A
CN116543222A CN202310537650.9A CN202310537650A CN116543222A CN 116543222 A CN116543222 A CN 116543222A CN 202310537650 A CN202310537650 A CN 202310537650A CN 116543222 A CN116543222 A CN 116543222A
Authority
CN
China
Prior art keywords
knee joint
positioning frame
image
frame
detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310537650.9A
Other languages
English (en)
Inventor
张逸凌
刘星宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Longwood Valley Medtech Co Ltd
Original Assignee
Longwood Valley Medtech Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Longwood Valley Medtech Co Ltd filed Critical Longwood Valley Medtech Co Ltd
Priority to CN202310537650.9A priority Critical patent/CN116543222A/zh
Publication of CN116543222A publication Critical patent/CN116543222A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/043—Architecture, e.g. interconnection topology based on fuzzy logic, fuzzy membership or fuzzy inference, e.g. adaptive neuro-fuzzy inference systems [ANFIS]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10116—X-ray image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30008—Bone
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G06V2201/033—Recognition of patterns in medical or anatomical images of skeletal patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Pure & Applied Mathematics (AREA)
  • Computational Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Quality & Reliability (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Analysis (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供了一种膝关节病变检测方法、装置、设备及计算机可读存储介质。该膝关节病变检测方法，包括：获取膝关节图像；对膝关节图像进行目标检测，确定膝关节定位框；对膝关节定位框进行模糊检测；在模糊大于设定阈值的情况下，对膝关节定位框进行去模糊处理，得到膝关节清晰图像；将膝关节清晰图像输入预设的多标签分类网络模型，输出膝关节病变检测结果。根据本申请实施例，能够又快又准地进行膝关节病变检测。

Description

膝关节病变检测方法、装置、设备及计算机可读存储介质
技术领域
本申请属于深度学习智能识别技术领域，尤其涉及一种膝关节病变检测方法、装置、设备及计算机可读存储介质。
背景技术
目前，膝关节病变检测主要是通过具有多年临床经验的医生对X线片进行识别分类，效率和准确率低下。
因此，如何又快又准地进行膝关节病变检测是本领域技术人员亟需解决的技术问题。
发明内容
本申请实施例提供一种膝关节病变检测方法、装置、设备及计算机可读存储介质，能够又快又准地进行膝关节病变检测。
第一方面，本申请实施例提供一种膝关节病变检测方法，包括：
获取膝关节图像；
对膝关节图像进行目标检测，确定膝关节定位框；
对膝关节定位框进行模糊检测；
在模糊大于设定阈值的情况下，对膝关节定位框进行去模糊处理，得到膝关节清晰图像；
将膝关节清晰图像输入预设的多标签分类网络模型，输出膝关节病变检测结果。
可选的，对膝关节图像进行目标检测，确定膝关节定位框，包括：
利用预设的目标检测网络模型进行目标检测，确定膝关节定位框；
其中，目标检测网络模型是基于RetinaNet网络进行模型训练得到的，RetinaNet网络由ResNet网络、FPN网络和分类子网络依次连接而成。
可选的，对膝关节图像进行目标检测，确定膝关节定位框，包括：
在生成膝关节定位框出现重叠现象的情况下，分别确定预测框和真实框的中心点；
基于预测框和真实框的中心点，计算预测框和真实框之间的欧氏距离；
计算同时包含预测框和真实框的最小闭包区域的对角线距离；
利用预测框和真实框的交集除以二者的并集，计算IOU；
基于欧氏距离、对角线距离和IOU，计算DIOU以调整预测框。
可选的，对膝关节定位框进行模糊检测，包括：
将每个膝关节定位框进行大小调整，生成固定大小的图像；
在对固定大小的图像进行灰度化后，用Laplacian算子滤波，计算其方差；
依据方差和设定的实验阈值之间的大小，确定膝关节定位框是否模糊。
可选的，依据方差和设定的实验阈值之间的大小，确定膝关节定位框是否模糊，包括：
若方差值小于设定的实验阈值，则确定膝关节定位框模糊；
若方差值不小于设定的实验阈值，则确定膝关节定位框清晰。
可选的，在模糊大于设定阈值的情况下，对膝关节定位框进行去模糊处理，得到膝关节清晰图像，包括：
将膝关节定位框灰度化后，计算频谱图G(u,v)；
根据G(u,v)计算频谱亮纹偏移角φ、实际位移的偏移角θ；
基于频谱亮纹偏移角φ、实际位移的偏移角θ，计算模糊卷积核尺度size;基于模糊卷积核尺度size，计算模糊卷积核；
基于模糊卷积核，经过逆傅里叶变换，得到膝关节清晰图像。
可选的，多标签分类网络模型基于ResNet网络经过模型训练得到，在模型训练过程中，设置训练的batch_size为32；
设置初始化学习率为1e-4，附加学习率衰减策略，每迭代5000次，学习率衰减为上一次学习率的0.9；
设置优化器为Adam优化器；
设置损失函数为DICE loss；
设置每迭代1000次，对训练集和验证集做一次验证，通过早停法来判断网络训练停止时间，并得到多标签分类网络模型。
第二方面，本申请实施例提供了一种膝关节病变检测装置，所述装置包括：
图像获取模块，用于获取膝关节图像；
目标检测模块，用于对膝关节图像进行目标检测，确定膝关节定位框；
模糊检测模块，用于对膝关节定位框进行模糊检测；
去模糊处理模块，用于在模糊大于设定阈值的情况下，对膝关节定位框进行去模糊处理，得到膝关节清晰图像；
病变检测结果输出模块，用于将膝关节清晰图像输入预设的多标签分类网络模型，输出膝关节病变检测结果。
第三方面，本申请实施例提供了一种电子设备，所述电子设备包括：处理器以及存储有计算机程序指令的存储器；
所述处理器执行所述计算机程序指令时实现如第一方面所述的膝关节病变检测方法。
第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现如第一方面所述的膝关节病变检测方法。
本申请实施例的膝关节病变检测方法、装置、设备及计算机可读存储介质，能够又快又准地进行膝关节病变检测。
该膝关节病变检测方法，包括：获取膝关节图像；对膝关节图像进行目标检测，确定膝关节定位框；对膝关节定位框进行模糊检测；在模糊大于设定阈值的情况下，对膝关节定位框进行去模糊处理，得到膝关节清晰图像；将膝关节清晰图像输入预设的多标签分类网络模型，输出膝关节病变检测结果。
可见，该方法对膝关节定位框进行去模糊处理，得到膝关节清晰图像，然后利用多标签分类网络模型，可以提高输出膝关节病变检测结果的效率和准确率。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请一个实施例提供的膝关节病变检测方法的流程示意图；
图2是本申请一个实施例提供的膝关节病变检测方法的流程示意图；
图3是本申请一个实施例提供的RetinaNet网络结构示意图；
图4是本申请一个实施例提供的FPN网络结构示意图；
图5是本申请一个实施例提供的膝关节病变检测装置的结构示意图；
图6是本申请一个实施例提供的电子设备的结构示意图。
具体实施方式
下面将详细描述本申请的各个方面的特征和示例性实施例，为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及具体实施例，对本申请进行进一步详细描述。应理解，此处所描述的具体实施例仅意在解释本申请，而不是限定本申请。对于本领域技术人员来说，本申请可以在不需要这些具体细节中的一些细节的情况下实施。下面对实施例的描述仅仅是为了通过示出本申请的示例来提供对本申请更好的理解。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
目前，膝关节病变检测主要是通过具有多年临床经验的医生对X线片进行识别分类，效率和准确率低下。
为了解决现有技术问题，本申请实施例提供了一种膝关节病变检测方法、装置、设备及计算机可读存储介质。下面首先对本申请实施例所提供的膝关节病变检测方法进行介绍。
图1示出了本申请一个实施例提供的膝关节病变检测方法的流程示意图。如图1所示，该膝关节病变检测方法，包括：
S101、获取膝关节图像；
S102、对膝关节图像进行目标检测，确定膝关节定位框；
S103、对膝关节定位框进行模糊检测；
S104、在模糊大于设定阈值的情况下，对膝关节定位框进行去模糊处理，得到膝关节清晰图像；
S105、将膝关节清晰图像输入预设的多标签分类网络模型，输出膝关节病变检测结果。
具体的，在图2所示的膝关节病变检测方法的流程示意图中，对输入的膝关节图像，先用改进的RetinaNet网络对该图片进行目标检测，检测膝关节位置，接着用本文的模糊检测算法对每个目标框做模糊检测，如果大于设定的阈值，则用本文的方法将模糊图像恢复出清晰图，最后用多标签分类网络进行病变检测。
在一个实施例中，对膝关节图像进行目标检测，确定膝关节定位框，包括：
利用预设的目标检测网络模型进行目标检测，确定膝关节定位框；
其中，目标检测网络模型是基于RetinaNet网络进行模型训练得到的，RetinaNet网络由ResNet网络、FPN网络和分类子网络依次连接而成。
本文综合考虑计算的速度和准确率，选用目前目标检测网络较好的RetinaNet网络来定位膝关节位置。为了充分利用各层的语义信息，RetinaNet采用ResNet+FPN结构，RetinaNet网络结构如图3所示。
RetinaNet网络优于其他目标检测网络主要原因是它引入平衡因子来抑制易分样本的损失权重，加强对不平衡的样本中含有少量样本的数据学习，损失函数Focal Loss的表达式如下：
其中，这里取a为0.25，y表示真实值，y’预测值。
FPN网络详细结构如图4所示，由P3–P7构成，ResNet网络的Con3-Con5这3层均采用1x1,3x3,1x1的卷积特征，卷积之后与经过1×1的卷积相加，就成了FPN的P3–P5层，采用1×1卷积核的目的是降低通道数，Con5经过卷积得到P5，P7是C6经过激励函数后卷积所得。每个融合层后接一个分类网络和一个位置回归网络。
在一个实施例中，对膝关节图像进行目标检测，确定膝关节定位框，包括：
在生成膝关节定位框出现重叠现象的情况下，分别确定预测框和真实框的中心点；
基于预测框和真实框的中心点，计算预测框和真实框之间的欧氏距离；
计算同时包含预测框和真实框的最小闭包区域的对角线距离；
利用预测框和真实框的交集除以二者的并集，计算IOU；
基于欧氏距离、对角线距离和IOU，计算DIOU以调整预测框。
对于生成的膝关节定位框，会有重叠现象，因此使用DIOU算法，同时考虑了预测框与实际框的欧式距离,重叠率和两框的大小,能够很好地解决上述问题,计算公式如下:
其中，b，bgt分别代表预测框和真实框的中心点，ρ2(b,bgt)表示这两者的欧氏距离的平方，c代表的是能够同时包含预测框和真实框的最小闭包区域的对角线距离。当两框的IOU为0时，DIOU可以指导预测框往哪个方向调整，能得到更佳更稳定的回归。
在一个实施例中，对膝关节定位框进行模糊检测，包括：
将每个膝关节定位框进行大小调整，生成固定大小的图像；
在对固定大小的图像进行灰度化后，用Laplacian算子滤波，计算其方差；
依据方差和设定的实验阈值之间的大小，确定膝关节定位框是否模糊。
在一个实施例中，依据方差和设定的实验阈值之间的大小，确定膝关节定位框是否模糊，包括：
若方差值小于设定的实验阈值，则确定膝关节定位框模糊；
若方差值不小于设定的实验阈值，则确定膝关节定位框清晰。
具体的，膝关节图像由于拍摄原因会使得图像产生模糊，如果图片中的高频分量较少则可认为它是模糊的。本文设计一种图像模糊检测算法，检测过程：先将每个目标框的图片resize成固定大小的图片，灰度化后用Laplacian算子滤波，计算其方差。由于模糊图片很难提取边缘，因此方差较小，如果计算出的方差值小于设定的实验阈值则认为它是模糊照片。
在一个实施例中，在模糊大于设定阈值的情况下，对膝关节定位框进行去模糊处理，得到膝关节清晰图像，包括：
将膝关节定位框灰度化后，计算频谱图G(u,v)；
根据G(u,v)计算频谱亮纹偏移角φ、实际位移的偏移角θ；
基于频谱亮纹偏移角φ、实际位移的偏移角θ，计算模糊卷积核尺度size；
基于模糊卷积核尺度size，计算模糊卷积核；
基于模糊卷积核，经过逆傅里叶变换，得到膝关节清晰图像。
具体的，模糊图像可以认为由原清晰图像与模糊卷积核卷积而成，因此，需要估算出模糊卷积核的方向及大小，然后用逆傅里叶变换即可得到清晰图像。假设相机曝光时长为T，目标沿位移方向运动了L像素，即模糊卷积核大小为L，x0(t)和y0(t)是位移方向分解的两个运动分量，模糊图像g(x,t)可由清晰图像f(x,y)积分得到，其关系式如式下所示：
对上公式进行二维傅里叶变换得到：
其中，
G(u,v)＝F(u,v)H(u,v)
设目标在x轴和y轴方向的位移分量分别为a和b,则H(u,v)表示为：
假设图像尺寸MxN，则
频谱亮纹偏移角，实际位移的偏移角分别为和θ，模糊卷积核尺度为size，计算方式如下：
图像去模糊算法步骤总结如下：
(1)将目标框图片灰度化后计算频谱图G(u,v)。
(2)估算模糊卷积核：根据G(u,v)计算频谱亮纹偏移角φ、实际位移的偏移角θ；即可得到模糊卷积核尺度size，然后计算模糊卷积核。
(3)得到模糊卷积核，经过逆傅里叶变换即可恢复出原清晰图像。
(4)使用去除模糊的图像来进行病变检测，可提高检测准确率。
在一个实施例中，多标签分类网络模型基于ResNet网络经过模型训练得到，在模型训练过程中，设置训练的batch_size为32；
设置初始化学习率为1e-4，附加学习率衰减策略，每迭代5000次，学习率衰减为上一次学习率的0.9；
设置优化器为Adam优化器；
设置损失函数为DICE loss；
设置每迭代1000次，对训练集和验证集做一次验证，通过早停法来判断网络训练停止时间，并得到多标签分类网络模型。
具体的，获取膝关节X线片数据集，对膝关节位置进行标注，同时标注病变类型，将标注结果保存txt文本中。将X线片数据和对应的txt文本，进行打乱顺序后按照6:2:2的比例划分为训练集、验证集、测试集。对于膝关节病变检测，使用ResNet网络来实现多标签分类。考虑到本文要分类的标签较多，因此，使用ResNet50网络来实现膝关节病变分类。
模型训练过程中，训练的batch_size为32，初始化学习率设置为1e-4，附加学习率衰减策略，每迭代5000次,学习率衰减为原来的0.9，优化器使用Adam优化器，使用损失函数为DICE loss，设置每迭代1000次，对训练集和验证集做一次验证，通过早停法来判断网络训练停止时间，并得到最终模型。
图5是本申请一个实施例提供的膝关节病变检测装置的结构示意图，该膝关节病变检测装置，装置包括：
图像获取模块501，用于获取膝关节图像；
目标检测模块502，用于对膝关节图像进行目标检测，确定膝关节定位框；
模糊检测模块503，用于对膝关节定位框进行模糊检测；
去模糊处理模块504，用于在模糊大于设定阈值的情况下，对膝关节定位框进行去模糊处理，得到膝关节清晰图像；
病变检测结果输出模块505，用于将膝关节清晰图像输入预设的多标签分类网络模型，输出膝关节病变检测结果。
图6示出了本申请实施例提供的电子设备的结构示意图。
电子设备可以包括处理器301以及存储有计算机程序指令的存储器302。
具体地，上述处理器301可以包括中央处理器(CPU)，或者特定集成电路(Application Specific Integrated Circuit，ASIC)，或者可以被配置成实施本申请实施例的一个或多个集成电路。
存储器302可以包括用于数据或指令的大容量存储器。举例来说而非限制，存储器302可包括硬盘驱动器(Hard Disk Drive，HDD)、软盘驱动器、闪存、光盘、磁光盘、磁带或通用串行总线(Universal Serial Bus，USB)驱动器或者两个或更多个以上这些的组合。在合适的情况下，存储器302可包括可移除或不可移除(或固定)的介质。在合适的情况下，存储器302可在电子设备的内部或外部。在特定实施例中，存储器302可以是非易失性固态存储器。
在一个实施例中，存储器302可以是只读存储器(Read Only Memory，ROM)。在一个实施例中，该ROM可以是掩模编程的ROM、可编程ROM(PROM)、可擦除PROM(EPROM)、电可擦除PROM(EEPROM)、电可改写ROM(EAROM)或闪存或者两个或更多个以上这些的组合。
处理器301通过读取并执行存储器302中存储的计算机程序指令，以实现上述实施例中的任意一种膝关节病变检测方法。
在一个示例中，电子设备还可包括通信接口303和总线310。其中，如图3所示，处理器301、存储器302、通信接口303通过总线310连接并完成相互间的通信。
通信接口303，主要用于实现本申请实施例中各模块、装置、单元和/或设备之间的通信。
总线310包括硬件、软件或两者，将电子设备的部件彼此耦接在一起。举例来说而非限制，总线可包括加速图形端口(AGP)或其他图形总线、增强工业标准架构(EISA)总线、前端总线(FSB)、超传输(HT)互连、工业标准架构(ISA)总线、无限带宽互连、低引脚数(LPC)总线、存储器总线、微信道架构(MCA)总线、外围组件互连(PCI)总线、PCI-Express(PCI-X)总线、串行高级技术附件(SATA)总线、视频电子标准协会局部(VLB)总线或其他合适的总线或者两个或更多个以上这些的组合。在合适的情况下，总线310可包括一个或多个总线。尽管本申请实施例描述和示出了特定的总线，但本申请考虑任何合适的总线或互连。
另外，结合上述实施例中的膝关节病变检测方法，本申请实施例可提供一种计算机可读存储介质来实现。该计算机可读存储介质上存储有计算机程序指令；该计算机程序指令被处理器执行时实现上述实施例中的任意一种膝关节病变检测方法。
需要明确的是，本申请并不局限于上文所描述并在图中示出的特定配置和处理。为了简明起见，这里省略了对已知方法的详细描述。在上述实施例中，描述和示出了若干具体的步骤作为示例。但是，本申请的方法过程并不限于所描述和示出的具体步骤，本领域的技术人员可以在领会本申请的精神后，作出各种改变、修改和添加，或者改变步骤之间的顺序。
以上所述的结构框图中所示的功能模块可以实现为硬件、软件、固件或者它们的组合。当以硬件方式实现时，其可以例如是电子电路、专用集成电路(ASIC)、适当的固件、插件、功能卡等等。当以软件方式实现时，本申请的元素是被用于执行所需任务的程序或者代码段。程序或者代码段可以存储在机器可读介质中，或者通过载波中携带的数据信号在传输介质或者通信链路上传送。“机器可读介质”可以包括能够存储或传输信息的任何介质。机器可读介质的例子包括电子电路、半导体存储器设备、ROM、闪存、可擦除ROM(EROM)、软盘、CD-ROM、光盘、硬盘、光纤介质、射频(RF)链路，等等。代码段可以经由诸如因特网、内联网等的计算机网络被下载。
还需要说明的是，本申请中提及的示例性实施例，基于一系列的步骤或者装置描述一些方法或系统。但是，本申请不局限于上述步骤的顺序，也就是说，可以按照实施例中提及的顺序执行步骤，也可以不同于实施例中的顺序，或者若干步骤同时执行。
上面参考根据本申请的实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本申请的各方面。应当理解，流程图和/或框图中的每个方框以及流程图和/或框图中各方框的组合可以由计算机程序指令实现。这些计算机程序指令可被提供给通用计算机、专用计算机、或其它可编程数据处理装置的处理器，以产生一种机器，使得经由计算机或其它可编程数据处理装置的处理器执行的这些指令使能对流程图和/或框图的一个或多个方框中指定的功能/动作的实现。这种处理器可以是但不限于是通用处理器、专用处理器、特殊应用处理器或者现场可编程逻辑电路。还可理解，框图和/或流程图中的每个方框以及框图和/或流程图中的方框的组合，也可以由执行指定的功能或动作的专用硬件来实现，或可由专用硬件和计算机指令的组合来实现。
以上所述，仅为本申请的具体实施方式，所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的系统、模块和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。应理解，本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本申请的保护范围之内。

Claims (10)

1.一种膝关节病变检测方法，其特征在于，包括：
获取膝关节图像；
对膝关节图像进行目标检测，确定膝关节定位框；
对膝关节定位框进行模糊检测；
在模糊大于设定阈值的情况下，对膝关节定位框进行去模糊处理，得到膝关节清晰图像；
将膝关节清晰图像输入预设的多标签分类网络模型，输出膝关节病变检测结果。
2.根据权利要求1所述的膝关节病变检测方法，其特征在于，对膝关节图像进行目标检测，确定膝关节定位框，包括：
利用预设的目标检测网络模型进行目标检测，确定膝关节定位框；
其中，目标检测网络模型是基于RetinaNet网络进行模型训练得到的，RetinaNet网络由ResNet网络、FPN网络和分类子网络依次连接而成。
3.根据权利要求1所述的膝关节病变检测方法，其特征在于，对膝关节图像进行目标检测，确定膝关节定位框，包括：
在生成膝关节定位框出现重叠现象的情况下，分别确定预测框和真实框的中心点；
基于预测框和真实框的中心点，计算预测框和真实框之间的欧氏距离；
计算同时包含预测框和真实框的最小闭包区域的对角线距离；
利用预测框和真实框的交集除以二者的并集，计算IOU；
基于欧氏距离、对角线距离和IOU，计算DIOU以调整预测框。
4.根据权利要求1所述的膝关节病变检测方法，其特征在于，对膝关节定位框进行模糊检测，包括：
将每个膝关节定位框进行大小调整，生成固定大小的图像；
在对固定大小的图像进行灰度化后，用Laplacian算子滤波，计算其方差；
依据方差和设定的实验阈值之间的大小，确定膝关节定位框是否模糊。
5.根据权利要求4所述的膝关节病变检测方法，其特征在于，依据方差和设定的实验阈值之间的大小，确定膝关节定位框是否模糊，包括：
若方差值小于设定的实验阈值，则确定膝关节定位框模糊；
若方差值不小于设定的实验阈值，则确定膝关节定位框清晰。
6.根据权利要求1所述的膝关节病变检测方法，其特征在于，在模糊大于设定阈值的情况下，对膝关节定位框进行去模糊处理，得到膝关节清晰图像，包括：
将膝关节定位框灰度化后，计算频谱图G(u,v)；
根据G(u,v)计算频谱亮纹偏移角φ、实际位移的偏移角θ；
基于频谱亮纹偏移角φ、实际位移的偏移角θ，计算模糊卷积核尺度size；
基于模糊卷积核尺度size，计算模糊卷积核；
基于模糊卷积核，经过逆傅里叶变换，得到膝关节清晰图像。
7.根据权利要求1所述的膝关节病变检测方法，其特征在于，多标签分类网络模型基于ResNet网络经过模型训练得到，在模型训练过程中，设置训练的batch_size为32；
设置初始化学习率为1e-4，附加学习率衰减策略，每迭代5000次，学习率衰减为上一次学习率的0.9；
设置优化器为Adam优化器；
设置损失函数为DICEloss；
设置每迭代1000次，对训练集和验证集做一次验证，通过早停法来判断网络训练停止时间，并得到多标签分类网络模型。
8.一种膝关节病变检测装置，其特征在于，所述装置包括：
图像获取模块，用于获取膝关节图像；
目标检测模块，用于对膝关节图像进行目标检测，确定膝关节定位框；
模糊检测模块，用于对膝关节定位框进行模糊检测；
去模糊处理模块，用于在模糊大于设定阈值的情况下，对膝关节定位框进行去模糊处理，得到膝关节清晰图像；
病变检测结果输出模块，用于将膝关节清晰图像输入预设的多标签分类网络模型，输出膝关节病变检测结果。
9.一种电子设备，其特征在于，所述电子设备包括：处理器以及存储有计算机程序指令的存储器；
所述处理器执行所述计算机程序指令时实现如权利要求1-7任意一项所述的膝关节病变检测方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现如权利要求1-7任意一项所述的膝关节病变检测方法。
CN202310537650.9A 2023-05-12 2023-05-12 膝关节病变检测方法、装置、设备及计算机可读存储介质 Pending CN116543222A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310537650.9A CN116543222A (zh) 2023-05-12 2023-05-12 膝关节病变检测方法、装置、设备及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310537650.9A CN116543222A (zh) 2023-05-12 2023-05-12 膝关节病变检测方法、装置、设备及计算机可读存储介质

Publications (1)

Publication Number Publication Date
CN116543222A true CN116543222A (zh) 2023-08-04

Family

ID=87453949

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310537650.9A Pending CN116543222A (zh) 2023-05-12 2023-05-12 膝关节病变检测方法、装置、设备及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN116543222A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117670839A (zh) * 2023-12-08 2024-03-08 北京长木谷医疗科技股份有限公司 膝关节炎辅助检测评估方法、装置、设备及可读存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111460939A (zh) * 2020-03-20 2020-07-28 深圳市优必选科技股份有限公司 一种去模糊的人脸识别方法、系统和一种巡检机器人
CN115082326A (zh) * 2021-03-12 2022-09-20 成都鼎桥通信技术有限公司 视频去模糊的处理方法、边缘计算设备及中心处理器

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111460939A (zh) * 2020-03-20 2020-07-28 深圳市优必选科技股份有限公司 一种去模糊的人脸识别方法、系统和一种巡检机器人
CN115082326A (zh) * 2021-03-12 2022-09-20 成都鼎桥通信技术有限公司 视频去模糊的处理方法、边缘计算设备及中心处理器

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
包晓安 等: ""基于RetinaNet-CPN网络的视频人体关键点检测"", 《计算机系统应用》, 22 October 2021 (2021-10-22), pages 138 - 144 *
袁进等: ""图像去模糊系统的频域处理改进方法"", 《电子技术应用》, vol. 44, no. 9, 30 September 2018 (2018-09-30), pages 63 - 66 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117670839A (zh) * 2023-12-08 2024-03-08 北京长木谷医疗科技股份有限公司 膝关节炎辅助检测评估方法、装置、设备及可读存储介质

Similar Documents

Publication Publication Date Title
US11720798B2 (en) Foreground-background-aware atrous multiscale network for disparity estimation
CN113591967B (zh) 一种图像处理方法、装置、设备及计算机存储介质
CN111639653B (zh) 一种误检图像确定方法、装置、设备和介质
CN112336342B (zh) 手部关键点检测方法、装置及终端设备
Kumar Deblurring of motion blurred images using histogram of oriented gradients and geometric moments
EP2636993A1 (en) Stereo image processing device and stereo image processing method
CN112733885A (zh) 点云识别模型的确定方法、点云识别的方法及装置
EP2851867A2 (en) Method and apparatus for filtering an image
US20180089839A1 (en) Moving object detection based on motion blur
CN116543222A (zh) 膝关节病变检测方法、装置、设备及计算机可读存储介质
CN112215773A (zh) 基于视觉显著性的局部运动去模糊方法、装置及存储介质
CN113780110A (zh) 一种图像序列中弱小目标实时检测方法及设备
CN109712134B (zh) 虹膜图像质量评价方法、装置及电子设备
CN111062927A (zh) 一种无人机图像质量检测的方法、系统及设备
Zeng et al. Restoration of motion-blurred image based on border deformation detection: A traffic sign restoration model
CN111754497B (zh) 一种基于几何代数的工业缺陷检测方法和系统
CN110210314B (zh) 人脸检测方法、装置、计算机设备及存储介质
TWI592905B (zh) 用來進行牌照偵測之方法與裝置
CN111797923A (zh) 图像分类模型的训练方法、图像分类的方法及装置
CN116645365A (zh) 基于频谱的石英玻璃检测方法、装置、设备及介质
CN112926612A (zh) 病理图像分类模型训练方法、病理图像分类方法及装置
CN115908995A (zh) 数字仪表读数的识别方法、装置、电子设备及存储介质
CN112102295A (zh) Dr图像配准方法、装置、终端和计算机可读存储介质
CN111291767A (zh) 一种细粒度识别方法、终端设备及计算机可读存储介质
CN106909934B (zh) 一种基于自适应搜索的目标跟踪方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination