CN115131301A - 基于深度学习的智能识别骨关节炎的方法及系统 - Google Patents

基于深度学习的智能识别骨关节炎的方法及系统 Download PDF

Info

Publication number
CN115131301A
CN115131301A CN202210682179.8A CN202210682179A CN115131301A CN 115131301 A CN115131301 A CN 115131301A CN 202210682179 A CN202210682179 A CN 202210682179A CN 115131301 A CN115131301 A CN 115131301A
Authority
CN
China
Prior art keywords
bone
determining
discrete points
contour region
gap
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210682179.8A
Other languages
English (en)
Other versions
CN115131301B (zh
Inventor
张逸凌
刘星宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhang Yiling
Longwood Valley Medtech Co Ltd
Original Assignee
Longwood Valley Medtech Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Longwood Valley Medtech Co Ltd filed Critical Longwood Valley Medtech Co Ltd
Priority to CN202210682179.8A priority Critical patent/CN115131301B/zh
Publication of CN115131301A publication Critical patent/CN115131301A/zh
Priority to PCT/CN2023/071148 priority patent/WO2023241032A1/zh
Application granted granted Critical
Publication of CN115131301B publication Critical patent/CN115131301B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30008—Bone
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Quality & Reliability (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本发明提供一种基于深度学习的智能识别骨关节炎的方法及系统，应用于图像处理领域，该方法包括：获取待处理图像；确定所述待处理图像中第一骨骼的第一轮廓区域和第二骨骼的第二轮廓区域；将位于所述第一骨骼远端的第一轮廓区域上的多个离散点，投影至所述第二骨骼近端的第二轮廓区域上，得到与所述多个离散点一一对应的多个投影点；根据所述多个离散点和所述多个离散点各自对应的投影点之间的距离，确定所述第一骨骼和所述第二骨骼之间的间隙。本发明提供的基于深度学习的智能识别骨关节炎的方法及系统，可以提高确定出的骨骼间隙的精度。

Description

基于深度学习的智能识别骨关节炎的方法及系统
技术领域
本发明涉及图像处理技术领域，尤其涉及一种基于深度学习的智能识别骨关节炎的方法及系统。
背景技术
骨骼间隙，是指不同类型的骨骼之间的距离。准确的确定骨骼之间的间隙，在医学领域中具有重要的意义。
现有技术中，在确定骨骼间隙时，通常都是通过拍摄医学图像后，用户通过肉眼进行观测，从而评估出骨骼之间的间隙。
然而，上述方式得出的骨骼间隙精度不高。
发明内容
本发明提供一种基于深度学习的智能识别骨关节炎的方法及系统，用以解决现有技术中确定骨骼间隙的精度不高的缺陷，提高了确定出的骨骼间隙的精度。
本发明提供一种基于深度学习的智能识别骨关节炎的方法，包括：
获取待处理图像；
确定所述待处理图像中第一骨骼的第一轮廓区域和第二骨骼的第二轮廓区域；
将位于所述第一骨骼远端的第一轮廓区域上的多个离散点，投影至所述第二骨骼近端的第二轮廓区域上，得到与所述多个离散点一一对应的多个投影点；
根据所述多个离散点和所述多个离散点各自对应的投影点之间的距离，确定所述第一骨骼和所述第二骨骼之间的间隙。
根据本发明提供的一种基于深度学习的智能识别骨关节炎的方法，所述根据所述多个离散点和所述多个离散点各自对应的投影点之间的距离，确定所述第一骨骼和所述第二骨骼之间的间隙，包括：
确定多个离散点中的每个离散点和所述每个离散点对应的投影点之间的距离；
将多个距离中的最小的距离，确定为所述第一骨骼和所述第二骨骼之间的间隙。
根据本发明提供的一种基于深度学习的智能识别骨关节炎的方法，所述根据所述多个离散点和所述多个离散点各自对应的投影点之间的距离，确定所述第一骨骼和所述第二骨骼之间的间隙，包括：
确定多个离散点中的每个离散点和所述每个离散点对应的投影点之间的距离；
将多个距离的平均值确定为所述第一骨骼和所述第二骨骼之间的间隙。
根据本发明提供的一种基于深度学习的智能识别骨关节炎的方法，所述确定所述待处理图像中第一骨骼的第一轮廓区域和第二骨骼的第二轮廓区域，包括：
将所述待处理图像输入至预先训练的骨骼分割模型中，得到所述第一骨骼所在的区域和所述第二骨骼所在的区域，其中，所述骨骼分割模型通过初始骨骼分割模型利用多个样本图像进行训练后得到的，其中，所述多个样本图像为包含不同类型骨骼的图像；
分别对所述第一骨骼所在的区域和所述第二骨骼所在的区域进行轮廓提取，得到所述第一骨骼的第一轮廓区域和所述第二骨骼的第二轮廓区域。
根据本发明提供的一种基于深度学习的智能识别骨关节炎的方法，所述将位于所述第一骨骼的远端的第一轮廓区域上的多个离散点，投影至所述第二骨骼的近端的第二轮廓区域上，得到与所述多个离散点一一对应的多个投影点之前，所述方法还包括：
确定所述第一骨骼的远端的内侧边缘边界点和所述第一骨骼的远端的外侧边缘边界点；
在所述内侧边缘边界点和所述外侧边缘边界点之间，在所述第一骨骼的远端的第一轮廓区域上确定多个离散点。
根据本发明提供的一种基于深度学习的智能识别骨关节炎的方法，确定所述第一骨骼和所述第二骨骼之间的间隙之后，所述方法还包括：
将所述间隙与预设的多个间隙范围进行匹配，确定所述间隙所处的目标间隙范围；
根据所述目标间隙范围，确定所述第一骨骼和所述第二骨骼所在关节的病变程度。
本发明还提供一种基于深度学习的智能识别骨关节炎的系统，包括：
获取模块，用于获取待处理图像；
确定模块，用于确定所述待处理图像中第一骨骼的第一轮廓区域和第二骨骼的第二轮廓区域；
投影模块，用于将位于所述第一骨骼远端的第一轮廓区域上的多个离散点，投影至所述第二骨骼近端的第二轮廓区域上，得到与所述多个离散点一一对应的多个投影点；
所述确定模块，还用于根据所述多个离散点和所述多个离散点各自对应的投影点之间的距离，确定所述第一骨骼和所述第二骨骼之间的间隙。
本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述基于深度学习的智能识别骨关节炎的方法。
本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述基于深度学习的智能识别骨关节炎的方法。
本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述基于深度学习的智能识别骨关节炎的方法。
本发明提供的基于深度学习的智能识别骨关节炎的方法及系统，通过获取待处理图像，确定待处理图像中第一骨骼的第一轮廓区域和第二骨骼的第二轮廓区域，并将位于第一骨骼远端的第一轮廓区域上的多个离散点，投影至第二骨骼近端的第二轮廓区域上，得到与多个离散点一一对应的多个投影点后，再根据多个离散点和多个离散点各自对应的投影点之间的距离，确定第一骨骼和第二骨骼之间的间隙，由于可以将位于第一骨骼远端的多个离散点投影到第二轮廓区域上，以根据离散点和投影点之间的距离，确定第一骨骼和第二骨骼之间的间隙，从而可以提高确定出的骨骼间隙的精度。并且，基于确定的第一骨骼和第二骨骼之间的间隙，还可以识别出第一骨骼和第二骨骼之间是否存在骨关节炎。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的基于深度学习的智能识别骨关节炎的方法的流程示意图；
图2为骨骼分割模型的结构示意图；
图3为本发明实施例提供的多个离散点及每个离散点的投影示意图；
图4为Hourglass神经网络的结构示意图；
图5为本发明实施例提供的基于深度学习的智能识别骨关节炎的系统的示意图；
图6示例了一种电子设备的实体结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例提供的基于深度学习的智能识别骨关节炎的方法，通过确定待处理图像中不同类型的骨骼各自对应的轮廓区域，并通过将其中一个骨骼的轮廓区域上的多个离散点投影到另一个轮廓区域上，从而根据投影之前的离散点和投影之后的投影点之间的距离，确定骨骼之间的距离。通过上述方式，可以将确定三维空间的距离，转换为确定二维空间中两点之间的距离，从而可以提高确定出的骨骼间隙的精度。
下面结合图1-图4描述本发明实施例提供的基于深度学习的智能识别骨关节炎的方法。
图1为本发明实施例提供的基于深度学习的智能识别骨关节炎的方法的流程示意图，该基于深度学习的智能识别骨关节炎的方法的执行主体可以为电子设备。如图1所示，该方法包括：
步骤101：获取待处理图像。
在本步骤中，待处理图像包括各种类型的医学图像，例如计算机断层扫描(computed tomograhy，CT)图像、磁共振成像(Magnetic Resonance Imaging，MRI)图像、超声波图像、X-射线图像、DynaCT图像、正电子发射断层扫描(positron emissioncomputerized tomography，PET)图像。
另外，待处理图像可以包括二维图像或三维图像。
步骤102：确定待处理图像中第一骨骼的第一轮廓区域和第二骨骼的第二轮廓区域。
在本步骤中，第一骨骼和第二骨骼可以为不同类型的骨骼。例如，第一骨骼可以为股骨，第二骨骼可以为胫骨。当然，第一骨骼和第二骨骼也可以为其他骨骼，如腓骨、髌骨等。本发明实施例中均以第一骨骼为股骨，第二骨骼为胫骨为例进行说明，对于确定其他类型的骨骼的轮廓区域的方式，与确定股骨和胫骨的轮廓区域的方式类似，此处不再赘述。
可选地，可以将待处理图像输入至预先训练的骨骼分割模型中，得到第一骨骼所在的区域和第二骨骼所在的区域，分别对第一骨骼所在的区域和第二骨骼所在的区域进行轮廓提取，得到第一骨骼的第一轮廓区域和第二骨骼的第二轮廓区域。
其中，骨骼分割模型通过初始骨骼分割模型利用多个样本图像进行训练后得到的，其中，多个样本图像为包含不同类型骨骼的图像。
具体的，将待处理图像输入至预先训练的骨骼分割模型中，可以将待处理图像中包括的不同类型的骨骼进行划分或者分割，从而分割出第一骨骼所在的区域和第二骨骼所在的区域。分割完成后，对第一骨骼所在的区域和第二骨骼所在的区域进行轮廓提取，即可得到第一骨骼的第一轮廓区域和第二骨骼的第二轮廓区域。
示例性的，图2为骨骼分割模型的结构示意图，如图2所示，本发明实施例中的图像分割算法采用deeplabv3+网络结构，该网络结构包括编码器(Encoder)和解码器(Decoder)，其中，编码器(Encoder)中连接的第一个模块是深度卷积神经网络(DeepConvolutional Neural Networks，DCNN)，其代表的是用于提取图片特征的主干网络。将待处理图像输入至编码器后，经过DCNN生成两个有效特征层，分别为浅层特征层和深层特征层，浅层特征层的高和宽会大一些，而深层特征层的下采样会多一些，所以高和宽会小一些。
DCNN右边是一个空洞空间卷积池化金字塔(atrous spatial pyramid pooling，ASPP)网络，ASPP网络包括一个1*1的卷积、3个3*3的空洞卷积和一个全局池化来对主干网络的输出进行处理。其中，可以采用不同采样率的3个3*3的空洞卷积进行特征提取，示例性的，3个3*3的空洞卷积的采样率分别为6、12和18。ASPP网络对输入的深层特征层以不同采样率的空洞卷积并行采样，可以更好的捕捉图像的上下文信息。之后，再将其结果都连接起来并用一个1*1的卷积来缩减通道数，获得缩减了通道数的特征层。
由DCNN生成的浅层特征层进入到解码器(Decoder)中，经过1x1卷积后，将与缩减了通道数的特征层变换成相同形状。由编码器生成的具有高语义信息的缩减了通道数的特征层进入到Decoder中进行上采样，之后与浅层特征层经过1x1卷积得到的结果进行特征融合，之后经过3x3的卷积进行特征提取，并利用特征提取的结果来实现不同类型骨骼的区域分割，得到特征图。另外，Decoder是一个上采样过称，即特征还原的过程，可以将特征图还原为与输入的待处理图像尺寸一致。
通过deeplabv3+图像分割算法可以分割待处理图像中胫骨、股骨和腓骨区域。
另外，用来训练骨骼分割模型所需要的样本图像可以为医学图像集，该医学图像集中包括多个包含有不同类型的骨骼的图像，在该些图像中，手动标注出不同类型的骨骼的区域，作为标签信息。为了提高训练出的模型的准确度，还可以将上述医学图像集划分为训练集和测试集，将标注后的医学图像作为训练集中的图像对初始骨骼分割模型进行训练，将未标注的医学图像作为测试集中的图像，对训练好的模型进行测试。
将样本图像输入至初始骨骼分割模型中，会输出不同类型的骨骼的分割结果。将该分割结果和标签信息进行比对，从而得到损失信息，基于该损失信息调整初始骨骼分割模型的网络参数，并重复执行上述的训练过程，直至该损失信息最小或者得到的骨骼分割模型收敛，该训练过程结束，并将最后得到的模型确定为骨骼分割模型。
在本实施例中，通过预先训练的骨骼分割模型，可以将待处理图像中的第一骨骼和第二骨骼进行分割，继而可以提取出第一骨骼的第一轮廓区域和第二骨骼的第二轮廓区域，提高了不同类型的骨骼分割的效率和准确性。
步骤103：将位于第一骨骼远端的第一轮廓区域上的多个离散点，投影至第二骨骼近端的第二轮廓区域上，得到与多个离散点一一对应的多个投影点。
在本步骤中，在分割出第一骨骼的第一轮廓区域和第二骨骼的第二轮廓区域之后，可以在第一骨骼远端的第一轮廓区域上，确定多个离散点。
可选地，在确定多个离散点时，可以先确定第一骨骼的远端的内侧边缘边界点和第一骨骼的远端的外侧边缘边界点，在内侧边缘边界点和外侧边缘边界点之间，在第一骨骼的远端的第一轮廓区域上确定多个离散点。
具体的，图3为本发明实施例提供的多个离散点及离散点的投影示意图，如图3所示，以第一骨骼的第一轮廓区域为股骨的轮廓区域，第二骨骼的第二轮廓区域为胫骨的轮廓区域为例，在确定出轮廓区域后，将在股骨远端的轮廓区域中确定内侧边缘边界点P1和外侧边缘边界点Pn。
在一种可能的实现方式中，对于股骨关键点检测，本发明中使用Hourglass神经网络关键点检测算法，其中，图4为Hourglass神经网络的结构示意图，如图4所示，该网络是一个沙漏结构，可以输出像素级的预测。该网络由卷积层(C1-C7)和池化层组成，中间部分的特征图(C1a-C4a)是卷积层的复制层，通过复制层与卷积层中相应层上采样相加，可以得到新的特征信息，达到特征融合的效果，即图中的C1b-C4b部分。整个Hourglass是对称的，获取低分辨率特征过程中每有一个网络层，则在上采样的过程中相应地就会有一个对应网络层。
这样将特征层叠加后得到一个大的特征层，即C1b，该层既保留了所有层的信息，又与输入原图大小相等，之后通过1x1卷积生成代表关键点概率的热力图(heatmap)，取热力图中最大概率值点为特征点，该特征点位置即预测的股骨边界点位置。
在另一种可能的实现方式中，也可以计算股骨远端的轮廓区域中各点的曲率，将曲率最大的两个点确定为内侧边缘边界点P1和外侧边缘边界点Pn。
进一步地，可以在内侧边缘边界点P1和外侧边缘边界点Pn之间，在第一轮廓区域上确定多个离散点，例如P1、P2、P3、P4……Pn，其中，多个离散点中，任意两个相邻的离散点之间的距离可以相同，也可以不同。可以理解的是，相邻的离散点之间的距离越小，也即提取的离散点数量越多，确定出的第一骨骼和第二骨骼之间的间隙越准确。
在本实施例中，通过确定第一骨骼的远端的内侧边缘边界点和第一骨骼的远端的外侧边缘边界点，并在内侧边缘边界点和外侧边缘边界点之间，在第一骨骼的远端的第一轮廓区域上确定多个离散点，这样可以通过第一骨骼的轮廓区域中，接近第二骨骼的轮廓区域上的特定离散点确定第一骨骼和第二骨骼之间的距离，从而可以提高确定出的第一骨骼和第二骨骼之间间隙的准确性。
在确定出多个离散点之后，可以将第一轮廓区域上的多个离散点，投影至第二骨骼近端的第二轮廓区域上，得到多个投影点。如图3所示，将离散点P1、P2、P3、P4……Pn垂直投影至胫骨近端的第二轮廓区域上，得到多个投影点P1’、P2’、P3’、P4’……Pn’。
步骤104：根据多个离散点和多个离散点各自对应的投影点之间的距离，确定第一骨骼和第二骨骼之间的间隙。
在本步骤中，将多个离散点进行垂直投影后，可以计算每个离散点和其对应的投影点之间的距离，从而确定出第一骨骼和第二骨骼之间的间隙。
在一种可能的实现方式中，在确定多个离散点中的每个离散点和每个离散点对应的投影点之间的距离后，将多个距离中的最小的距离，确定为第一骨骼和第二骨骼之间的间隙。
具体的，如图3所示，离散点P1对应的投影点为P1’，离散点P2对应的投影点为P2’，……，离散点Pn对应的投影点为Pn’，可以计算离散点P1和投影点为P1’之间的距离L1，离散点P2和投影点为P2’之间的距离L2，……，离散点Pn和投影点为Pn’之间的距离Ln。在确定出每个离散点和对应的投影点之间的距离之后，将所有的距离中，最小的距离Lmin确定为第一骨骼和第二骨骼之间的间隙。例如，可以将离散点Pn和投影点为Pn’之间的距离确定为第一骨骼和第二骨骼之间的间隙。
在本实施例中，在确定每个离散点和其对应的投影点之间的距离后，将最小的距离，确定为第一骨骼和第二骨骼之间的间隙，可以为后续基于骨骼间隙确定关节病变程度提供了有利的依据。
在另一种可能的实现方式中，在确定多个离散点中的每个离散点和每个离散点对应的投影点之间的距离后，将多个距离的平均值确定为第一骨骼和第二骨骼之间的间隙。
具体的，如图3所示，在计算离散点P1和投影点为P1’之间的距离L1，离散点P2和投影点为P2’之间的距离L2，……，离散点Pn和投影点为Pn’之间的距离Ln后，将计算所有距离的平均值，并将该平均值确定为第一骨骼和第二骨骼之间的间隙。
在本实施例中，在确定每个离散点和其对应的投影点之间的距离后，将多个距离的平均值，确定为第一骨骼和第二骨骼之间的间隙，从而可以提高确定出的间隙的精度。
可选地，在确定第一骨骼和第二骨骼之间的间隙之后，还可以将间隙和预设的多个间隙范围进行匹配，确定间隙所处的目标间隙范围，并根据目标间隙范围，确定第一骨骼和第二骨骼所在关节处的病变程度。
具体的，在一种应用场景中，在确定出第一骨骼和第二骨骼之间的间隙之后，将该间隙与预设的多个间隙范围进行匹配，以确定该间隙所处的目标间隙范围。举例来说，假设第一骨骼和第二骨骼之间的间隙为0.8cm，预设的多个间隙范围包括0.3cm-0.5cm、0.5cm-0.7cm、0.7cm-0.9cm、0.9cm-1.1cm，将确定出的间隙和预设的多个间隙范围进行匹配之后，确定第一骨骼和第二骨骼之间的间隙0.8cm处于目标间隙范围0.7cm-0.9cm中。
另外，每个预设的间隙范围均对应一种病变程度，如0.3cm-0.5cm对应四级，表示关节软骨关节出现大量骨赘,关节间隙严重变窄,软骨下骨硬化及畸形明显，0.5cm-0.7cm对应三级，表示关节软骨关节间隙中度变窄,软骨下骨出现硬化，0.7cm-0.9cm对应二级，表示关节软骨存在明显的骨赘,关节间隙轻度变窄，0.9cm-1.1cm对应一级，表示关节间隙可疑变窄,可能唇状增生。因此，在确定出间隙所处的目标间隙范围后，将可以进一步确定第一骨骼和第二骨骼所在关节处的病变程度，例如可以确定病变程度为二级，也就是说第一骨骼和第二骨骼之间存在骨关节炎。
本发明实施例提供的基于深度学习的智能识别骨关节炎的方法，通过获取待处理图像，确定待处理图像中第一骨骼的第一轮廓区域和第二骨骼的第二轮廓区域，并将位于第一骨骼远端的第一轮廓区域上的多个离散点，投影至第二骨骼近端的第二轮廓区域上，得到与多个离散点一一对应的多个投影点后，再根据多个离散点和多个离散点各自对应的投影点之间的距离，确定第一骨骼和第二骨骼之间的间隙，由于可以将位于第一骨骼远端的多个离散点投影到第二轮廓区域上，以根据离散点和投影点之间的距离，确定第一骨骼和第二骨骼之间的间隙，从而可以提高确定出的骨骼间隙的精度。并且，基于确定的第一骨骼和第二骨骼之间的间隙，还可以确定第一骨骼和第二骨骼之间是否存在骨关节炎。
下面对本发明实施例提供的基于深度学习的智能识别骨关节炎的系统进行描述，下文描述的基于深度学习的智能识别骨关节炎的系统与上文描述的基于深度学习的智能识别骨关节炎的方法可相互对应参照。
图5为本发明实施例提供的基于深度学习的智能识别骨关节炎的系统的示意图，如图5所示，该装置包括：
获取模块11，用于获取待处理图像；
确定模块12，用于确定所述待处理图像中第一骨骼的第一轮廓区域和第二骨骼的第二轮廓区域；
投影模块13，用于将位于所述第一骨骼远端的第一轮廓区域上的多个离散点，投影至所述第二骨骼近端的第二轮廓区域上，得到与所述多个离散点一一对应的多个投影点；
所述确定模块12，还用于根据所述多个离散点和所述多个离散点各自对应的投影点之间的距离，确定所述第一骨骼和所述第二骨骼之间的间隙。
可选地，所述确定模块12，具体用于：
确定多个离散点中的每个离散点和所述每个离散点对应的投影点之间的距离；
将多个距离中的最小的距离，确定为所述第一骨骼和所述第二骨骼之间的间隙。
可选地，所述确定模块12，具体用于：
确定多个离散点中的每个离散点和所述每个离散点对应的投影点之间的距离；
将多个距离的平均值确定为所述第一骨骼和所述第二骨骼之间的间隙。
可选地，所述确定模块12，具体用于：
将所述待处理图像输入至预先训练的骨骼分割模型中，得到所述第一骨骼所在的区域和所述第二骨骼所在的区域，其中，所述骨骼分割模型通过初始骨骼分割模型利用多个样本图像进行训练后得到的，其中，所述多个样本图像为包含不同类型骨骼的图像；
分别对所述第一骨骼所在的区域和所述第二骨骼所在的区域进行轮廓提取，得到所述第一骨骼的第一轮廓区域和所述第二骨骼的第二轮廓区域。
可选地，所述确定模块12，还用于：
确定所述第一骨骼的远端的内侧边缘边界点和所述第一骨骼的远端的外侧边缘边界点；
在所述内侧边缘边界点和所述外侧边缘边界点之间，在所述第一骨骼的远端的第一轮廓区域上确定多个离散点。
可选地，所述确定模块12，还用于：
将所述间隙与预设的多个间隙范围进行匹配，确定所述间隙所处的目标间隙范围；
根据所述目标间隙范围，确定所述第一骨骼和所述第二骨骼所在关节的病变程度。
本实施例的装置，可以用于执行前述电子设备侧方法实施例中任一实施例的方法，其具体实现过程与技术效果与电子设备侧方法实施例中类似，具体可以参见电子设备侧方法实施例中的详细介绍，此处不再赘述。
图6示例了一种电子设备的实体结构示意图，如图6所示，该电子设备可以包括：处理器(processor)410、通信接口(Communications Interface)420、存储器(memory)430和通信总线440，其中，处理器410，通信接口420，存储器430通过通信总线440完成相互间的通信。处理器410可以调用存储器430中的逻辑指令，以执行基于深度学习的智能识别骨关节炎的方法，该方法包括：获取待处理图像；确定所述待处理图像中第一骨骼的第一轮廓区域和第二骨骼的第二轮廓区域；将位于所述第一骨骼远端的第一轮廓区域上的多个离散点，投影至所述第二骨骼近端的第二轮廓区域上，得到与所述多个离散点一一对应的多个投影点；根据所述多个离散点和所述多个离散点各自对应的投影点之间的距离，确定所述第一骨骼和所述第二骨骼之间的间隙。
此外，上述的存储器430中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各方法所提供的基于深度学习的智能识别骨关节炎的方法，该方法包括：获取待处理图像；确定所述待处理图像中第一骨骼的第一轮廓区域和第二骨骼的第二轮廓区域；将位于所述第一骨骼远端的第一轮廓区域上的多个离散点，投影至所述第二骨骼近端的第二轮廓区域上，得到与所述多个离散点一一对应的多个投影点；根据所述多个离散点和所述多个离散点各自对应的投影点之间的距离，确定所述第一骨骼和所述第二骨骼之间的间隙。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的基于深度学习的智能识别骨关节炎的方法，该方法包括：获取待处理图像；确定所述待处理图像中第一骨骼的第一轮廓区域和第二骨骼的第二轮廓区域；将位于所述第一骨骼远端的第一轮廓区域上的多个离散点，投影至所述第二骨骼近端的第二轮廓区域上，得到与所述多个离散点一一对应的多个投影点；根据所述多个离散点和所述多个离散点各自对应的投影点之间的距离，确定所述第一骨骼和所述第二骨骼之间的间隙。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种基于深度学习的智能识别骨关节炎的方法，其特征在于，包括：
获取待处理图像；
确定所述待处理图像中第一骨骼的第一轮廓区域和第二骨骼的第二轮廓区域；
将位于所述第一骨骼远端的第一轮廓区域上的多个离散点，投影至所述第二骨骼近端的第二轮廓区域上，得到与所述多个离散点一一对应的多个投影点；
根据所述多个离散点和所述多个离散点各自对应的投影点之间的距离，确定所述第一骨骼和所述第二骨骼之间的间隙。
2.根据权利要求1所述的基于深度学习的智能识别骨关节炎的方法，其特征在于，所述根据所述多个离散点和所述多个离散点各自对应的投影点之间的距离，确定所述第一骨骼和所述第二骨骼之间的间隙，包括：
确定多个离散点中的每个离散点和所述每个离散点对应的投影点之间的距离；
将多个距离中的最小的距离，确定为所述第一骨骼和所述第二骨骼之间的间隙。
3.根据权利要求1所述的基于深度学习的智能识别骨关节炎的方法，其特征在于，所述根据所述多个离散点和所述多个离散点各自对应的投影点之间的距离，确定所述第一骨骼和所述第二骨骼之间的间隙，包括：
确定多个离散点中的每个离散点和所述每个离散点对应的投影点之间的距离；
将多个距离的平均值确定为所述第一骨骼和所述第二骨骼之间的间隙。
4.根据权利要求1-3任一项所述的基于深度学习的智能识别骨关节炎的方法，其特征在于，所述确定所述待处理图像中第一骨骼的第一轮廓区域和第二骨骼的第二轮廓区域，包括：
将所述待处理图像输入至预先训练的骨骼分割模型中，得到所述第一骨骼所在的区域和所述第二骨骼所在的区域，其中，所述骨骼分割模型通过初始骨骼分割模型利用多个样本图像进行训练后得到的，其中，所述多个样本图像为包含不同类型骨骼的图像；
分别对所述第一骨骼所在的区域和所述第二骨骼所在的区域进行轮廓提取，得到所述第一骨骼的第一轮廓区域和所述第二骨骼的第二轮廓区域。
5.根据权利要求1-3任一项所述的基于深度学习的智能识别骨关节炎的方法，其特征在于，所述将位于所述第一骨骼的远端的第一轮廓区域上的多个离散点，投影至所述第二骨骼的近端的第二轮廓区域上，得到与所述多个离散点一一对应的多个投影点之前，所述方法还包括：
确定所述第一骨骼的远端的内侧边缘边界点和所述第一骨骼的远端的外侧边缘边界点；
在所述内侧边缘边界点和所述外侧边缘边界点之间，在所述第一骨骼的远端的第一轮廓区域上确定多个离散点。
6.根据权利要求1所述的基于深度学习的智能识别骨关节炎的方法，其特征在于，确定所述第一骨骼和所述第二骨骼之间的间隙之后，所述方法还包括：
将所述间隙与预设的多个间隙范围进行匹配，确定所述间隙所处的目标间隙范围；
根据所述目标间隙范围，确定所述第一骨骼和所述第二骨骼所在关节的病变程度。
7.一种基于深度学习的智能识别骨关节炎的系统，其特征在于，包括：
获取模块，用于获取待处理图像；
确定模块，用于确定所述待处理图像中第一骨骼的第一轮廓区域和第二骨骼的第二轮廓区域；
投影模块，用于将位于所述第一骨骼远端的第一轮廓区域上的多个离散点，投影至所述第二骨骼近端的第二轮廓区域上，得到与所述多个离散点一一对应的多个投影点；
所述确定模块，还用于根据所述多个离散点和所述多个离散点各自对应的投影点之间的距离，确定所述第一骨骼和所述第二骨骼之间的间隙。
8.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7任一项所述基于深度学习的智能识别骨关节炎的方法。
9.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的基于深度学习的智能识别骨关节炎的方法。
10.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的基于深度学习的智能识别骨关节炎的方法。
CN202210682179.8A 2022-06-15 2022-06-15 基于深度学习的智能识别骨关节炎的方法及系统 Active CN115131301B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202210682179.8A CN115131301B (zh) 2022-06-15 2022-06-15 基于深度学习的智能识别骨关节炎的方法及系统
PCT/CN2023/071148 WO2023241032A1 (zh) 2022-06-15 2023-01-08 基于深度学习的智能识别骨关节炎的方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210682179.8A CN115131301B (zh) 2022-06-15 2022-06-15 基于深度学习的智能识别骨关节炎的方法及系统

Publications (2)

Publication Number Publication Date
CN115131301A true CN115131301A (zh) 2022-09-30
CN115131301B CN115131301B (zh) 2023-04-18

Family

ID=83378650

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210682179.8A Active CN115131301B (zh) 2022-06-15 2022-06-15 基于深度学习的智能识别骨关节炎的方法及系统

Country Status (2)

Country Link
CN (1) CN115131301B (zh)
WO (1) WO2023241032A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023241032A1 (zh) * 2022-06-15 2023-12-21 北京长木谷医疗科技有限公司 基于深度学习的智能识别骨关节炎的方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107392131A (zh) * 2017-07-14 2017-11-24 天津大学 一种基于人体骨骼节点距离的动作识别方法
CN112017148A (zh) * 2019-05-31 2020-12-01 杭州三坛医疗科技有限公司 一种单节骨骼轮廓的提取方法及装置
CN113689402A (zh) * 2021-08-24 2021-11-23 北京长木谷医疗科技有限公司 基于深度学习的股骨髓腔形态识别方法、装置及存储介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019180745A1 (en) * 2018-03-21 2019-09-26 Karade Vikas Systems and methods for obtaining 3-d images from x-ray information for deformed elongate bones
CN111768399A (zh) * 2020-07-07 2020-10-13 上海商汤智能科技有限公司 图像处理方法及装置、电子设备和存储介质
CN114027828A (zh) * 2021-12-15 2022-02-11 杭州柳叶刀机器人有限公司 膝关节间隙测量方法、装置、终端设备和可读存储介质
CN115131301B (zh) * 2022-06-15 2023-04-18 北京长木谷医疗科技有限公司 基于深度学习的智能识别骨关节炎的方法及系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107392131A (zh) * 2017-07-14 2017-11-24 天津大学 一种基于人体骨骼节点距离的动作识别方法
CN112017148A (zh) * 2019-05-31 2020-12-01 杭州三坛医疗科技有限公司 一种单节骨骼轮廓的提取方法及装置
CN113689402A (zh) * 2021-08-24 2021-11-23 北京长木谷医疗科技有限公司 基于深度学习的股骨髓腔形态识别方法、装置及存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023241032A1 (zh) * 2022-06-15 2023-12-21 北京长木谷医疗科技有限公司 基于深度学习的智能识别骨关节炎的方法及系统

Also Published As

Publication number Publication date
CN115131301B (zh) 2023-04-18
WO2023241032A1 (zh) 2023-12-21

Similar Documents

Publication Publication Date Title
US20240119719A1 (en) Identification and tracking of a predefined object in a set of images from a medical image scanner during a surgical procedure
CN109685060B (zh) 图像处理方法和装置
JP6404310B2 (ja) 異常な骨の手術的矯正のための計画システム及び方法
US20200327721A1 (en) Autonomous level identification of anatomical bony structures on 3d medical imagery
EP2194505B1 (en) Method and apparatus for segmenting spine and aorta in a medical image according to a skeletal atlas
CN110956635A (zh) 一种肺段分割方法、装置、设备及存储介质
CN109859210B (zh) 一种医学数据处理装置及方法
KR102211688B1 (ko) 무릎 자기공명 영상에서의 반월상 연골 분할 방법 및 장치
CN115393272B (zh) 基于深度学习的膝关节髌骨置换三维术前规划系统及方法
KR20220019278A (ko) 이미지 처리를 위한 딥 러닝 모델들
CN115131301B (zh) 基于深度学习的智能识别骨关节炎的方法及系统
CN115222713A (zh) 一种冠状动脉钙化积分的计算方法、装置及存储介质
CN112308823B (zh) 医学图像中感兴趣区域的定位方法及装置
CN116309647B (zh) 颅脑病灶图像分割模型构建方法、图像分割方法及设备
Shadid et al. Bone fragment segmentation from 3D CT imagery using the Probabilistic Watershed Transform
Kamencay et al. 3D image reconstruction from 2D CT slices
Koh et al. Automatic spinal canal detection in lumbar MR images in the sagittal view using dynamic programming
Bukas et al. Patient-specific virtual spine straightening and vertebra inpainting: an automatic framework for osteoplasty planning
CN113240681B (zh) 图像处理的方法及装置
CN115439453A (zh) 一种脊椎椎体定位方法、装置、电子设备及存储介质
KR101479845B1 (ko) 무릎 자기공명영상의 전방십자인대 분할 장치 및 그 분할 방법
Xu et al. Auto-segmentation of Hip Joints Using MultiPlanar UNet with Transfer Learning
Kim et al. Development of automated 3D knee bone segmentation with inhomogeneity correction for deformable approach in magnetic resonance imaging
CN116091469B (zh) 骨折检测方法、装置、电子设备及介质
CN117315210B (zh) 一种基于立体成像的图像虚化方法及相关装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP01 Change in the name or title of a patent holder

Address after: 100176 2201, 22 / F, building 1, yard 2, Ronghua South Road, Beijing Economic and Technological Development Zone, Daxing District, Beijing

Patentee after: Beijing Changmugu Medical Technology Co.,Ltd.

Patentee after: Zhang Yiling

Address before: 100176 2201, 22 / F, building 1, yard 2, Ronghua South Road, Beijing Economic and Technological Development Zone, Daxing District, Beijing

Patentee before: BEIJING CHANGMUGU MEDICAL TECHNOLOGY Co.,Ltd.

Patentee before: Zhang Yiling

CP01 Change in the name or title of a patent holder