CN116071372B - 膝关节分割方法、装置、电子设备及存储介质 - Google Patents

膝关节分割方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN116071372B
CN116071372B CN202211739104.5A CN202211739104A CN116071372B CN 116071372 B CN116071372 B CN 116071372B CN 202211739104 A CN202211739104 A CN 202211739104A CN 116071372 B CN116071372 B CN 116071372B
Authority
CN
China
Prior art keywords
image
feature
knee joint
leg
characteristic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211739104.5A
Other languages
English (en)
Other versions
CN116071372A (zh
Inventor
张逸凌
刘星宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Longwood Valley Medtech Co Ltd
Original Assignee
Longwood Valley Medtech Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Longwood Valley Medtech Co Ltd filed Critical Longwood Valley Medtech Co Ltd
Priority to CN202211739104.5A priority Critical patent/CN116071372B/zh
Publication of CN116071372A publication Critical patent/CN116071372A/zh
Application granted granted Critical
Publication of CN116071372B publication Critical patent/CN116071372B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10116—X-ray image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30008—Bone

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Image Analysis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本发明提供一种膝关节分割方法、装置、电子设备及存储介质，该方法包括：将腿部造影图像序列中的每一张腿部造影图像进行格式转换，得到腿部图像张量；将所述腿部图像张量输入至分割模型，获得所述分割模型输出的膝关节三维图像。本发明提供的膝关节分割方法、装置、电子设备及存储介质，能够将多尺度、多层级的特征信息进行整合，可以让浅层局部细节与深层抽象特征互补增强，实现更好的膝关节分割效果，提高膝关节分割的精确度和效率。

Description

膝关节分割方法、装置、电子设备及存储介质
技术领域
本发明涉及医学图像处理技术领域，尤其涉及一种膝关节分割方法、装置、电子设备及存储介质。
背景技术
膝关节股骨和胫骨是整个膝关节最为重要的两大骨块，在膝关节手术中关节假体主要放置在股骨和胫骨上，准确快速的分割出股骨和胫骨是精准手术规划的前提。传统的膝关节分割方法繁琐、耗时且分割精度较差。大部分需要在每一张CT序列图像中进行手动定位或手动分割，费时费力，且效率低。
近年来，人工智能深度学习技术已被成功应用于医学图像处理领域，实现了病变部位或目标区域的自动识别及分割处理，但是采用深度学习的方法存在训练过程繁琐、运行速度较慢，对一些复杂病例效果不稳定。
因此，现有的膝关节分割方法存在分割效果不稳定和速度较慢的问题。
发明内容
本发明提供一种膝关节分割方法、装置、电子设备及存储介质，用以解决现有技术中分割效果不稳定和速度较慢的缺陷。
本发明提供一种膝关节分割方法，包括：
将腿部造影图像序列中的每一张腿部造影图像进行格式转换，得到腿部图像张量；
将所述腿部图像张量输入至分割模型，获得所述分割模型输出的膝关节三维图像；
其中，所述分割模型是基于样本腿部图像张量，以及所述样本腿部图像张量对应标注的膝关节标签训练得到的；所述分割模型包括：
浅层特征提取层，用于对所述腿部图像张量进行特征提取，得到浅层特征图像；
深层特征提取层，用于基于所述腿部图像张量，进行不同尺度的下采样操作和卷积操作，获取不同尺度的深层特征图像；
特征融合层，用于基于所述浅层特征图像和所述不同尺度的深层特征图像进行特征融合，获取所述膝关节三维图像；
其中，所述深层特征提取层包括级联的多个层级的下采样子层。
根据本发明提供的一种膝关节分割方法，所述基于所述浅层特征图像和所述不同尺度的深层特征图像进行特征融合，获取所述膝关节三维图像，包括：
对各所述深层特征图像进行相应尺度的池化操作，获得第一特征图像；
将所述浅层特征图像和所述第一特征图像进行特征融合，获取所述膝关节三维图像。
根据本发明提供的一种膝关节分割方法，所述对各所述深层特征图像进行相应尺度的池化操作，获得第一特征图像，包括：
将所述不同尺度的深层特征图像进行卷积降维操作，获取多个第二特征图像；
将各所述第二特征图像进行不同尺度的上采样操作和卷积操作，获取相同尺度的第三特征图像；
基于所述相同尺度的第三特征图像，获取所述第一特征图像。
根据本发明提供的一种膝关节分割方法，所述将所述浅层特征图像和所述第一特征图像进行特征融合，获取所述膝关节三维图像，包括：
对所述浅层特征图像进行卷积操作，获取第四特征图像；
将所述第四特征图像和所述第一特征图像进行全局平均池化操作，获取第五特征图像；
基于所述第五特征图像进行卷积操作，获取所述膝关节三维图像。
根据本发明提供的一种膝关节分割方法，所述基于所述腿部图像张量，进行不同尺度的下采样操作和卷积操作，获取不同尺度的深层特征图像，包括：
基于所述腿部图像张量，进行逐层级的下采样操作，获取二维尺度不同的各第六特征图像；
基于各所述第六特征图像，进行全局平均池化操作，获取所述不同尺度的深层特征图像。
根据本发明提供的一种膝关节分割方法，所述对所述腿部图像张量进行特征提取，得到浅层特征图像，包括：
对腿部图像张量进行多组卷积操作和批标准化操作，得到所述浅层特征图像。
本发明还提供一种膝关节分割装置，包括：
预处理模块，用于将腿部造影图像序列中的每一张腿部造影图像进行格式转换，得到腿部图像张量；
分割模块，用于将所述腿部图像张量输入至分割模型，获得所述分割模型输出的膝关节三维图像；
其中，所述分割模型是基于样本腿部图像张量，以及所述样本腿部图像张量对应标注的膝关节标签训练得到的；所述分割模型包括：
浅层特征提取层，用于对所述腿部图像张量进行特征提取，得到浅层特征图像；
深层特征提取层，用于基于所述腿部图像张量，进行不同尺度的下采样操作和卷积操作，获取不同尺度的深层特征图像；
特征融合层，用于基于所述浅层特征图像和所述不同尺度的深层特征图像进行特征融合，获取所述膝关节三维图像；
其中，所述深层特征提取层包括级联的多个层级的下采样子层。
本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述膝关节分割方法。
本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述膝关节分割方法。
本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述膝关节分割方法。
本发明提供的膝关节分割方法、装置、电子设备及存储介质，基于不同断层的腿部造影图像序列，转换成腿部图像张量，并将腿部图像张量作为分割模型的输入，通过浅层特征提取层提取腿部图像张量中低维度的空间信息特征后，再利用深层特征提取层提取出腿部图像张量中高维度的上下文信息特征后，最后经由特征融合层对不同维度的特征进行融合，只对具有膝关节特征的部分进行三维重建。能够将多尺度、多层级的特征信息进行整合，可以让浅层局部细节与深层抽象特征互补增强，实现更好的膝关节分割效果，提高膝关节分割的精确度和效率。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的膝关节分割方法的流程示意图；
图2是本发明提供的分割模型的部分结构示意图之一；
图3是本发明提供的分割模型的部分结构示意图之二；
图4是本发明提供的分割模型的部分结构示意图之三；
图5是本发明提供的膝关节分割方法的总流程示意图；
图6是本发明提供的分割模型的结构示意图。
图7是本发明提供的膝关节分割装置的结构示意图；
图8是本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本申请中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施，且“第一”、“第二”等所区分的对象通常为一类，并不限定对象的个数，例如第一对象可以是一个，也可以是多个。
应当理解，在本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
图1是本发明提供的膝关节分割方法的流程示意图。如图1所示，本发明实施例提供的膝关节分割方法，包括：步骤101、将腿部造影图像序列中的每一张腿部造影图像进行格式转换，得到腿部图像张量。
需要说明的是，本发明实施例提供的膝关节分割方法的执行主体是膝关节分割装置。
本申请实施例提供的膝关节分割方法适用于用户通过电子设备对腿部造影图像进行处理，以单独提取出膝关节部分的三维模型。
上述电子设备可以以各种形式来实施。例如，本申请实施例中描述的电子设备可以包括诸如移动电话、智能电话、笔记本电脑、数字广播接收器、PDA(个人数字助理)、PAD(平板电脑)、PMP(便携式多媒体播放器)、导航装置、智能手环、智能手表等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。下面，假设电子设备是移动终端。然而，本领域技术人员将理解的是，除了特别用于移动目的的元件之外，根据本申请实施例的构造也能够应用于固定类型的终端。
需要说明的是，腿部造影图像序列，是指在射线扫描组织密度不同的人体腿部一圈后，根据射线衰减规律重建(迭代法、反投影法等)成像形成的多个断层层面的图像集合。
其中，腿部造影图像序列中所包含的腿部造影图像包括但不限于X线片、电子计算机断层扫描(Computed Tomography，CT)图像、核磁共振(Magnetic Resonance Imaging，MRI)图像。
具体地，在步骤101中，膝关节分割装置对腿部造影图像序列中的单张腿部造影图像的尺寸大小进行统一后，将每一幅腿部造影图像中的原始CT值转换为像素值，并按照序列中图像的排列次序依次将其转化为腿部图像张量中的切片。
其中，腿部图像张量中的每一切片所对应的图像格式包括但不限于便携式网络图形(Portable Network Graphics，PNG)格式、位图图像(Bitmap，BMP)格式、图像互换格式(Graphics Interchange Format，GIF)等常见的图像格式。
步骤102、将所述腿部图像张量输入至分割模型，获得所述分割模型输出的膝关节三维图像。
其中，所述分割模型是基于样本腿部图像张量，以及所述样本腿部图像张量对应标注的膝关节标签训练得到的。所述分割模型包括：
浅层特征提取层，用于对所述腿部图像张量进行特征提取，得到浅层特征图像。
深层特征提取层，用于基于所述腿部图像张量，进行不同尺度的下采样操作和卷积操作，获取不同尺度的深层特征图像。
特征融合层，用于基于所述浅层特征图像和所述不同尺度的深层特征图像进行特征融合，获取所述膝关节三维图像。
其中，所述深层特征提取层包括级联的多个层级的下采样子层。
需要说明的是，分割模型可以是一种人工智能模型，本发明实施例对模型类型不作具体限定。
例如，分割模型可以是一种神经网络，神经网络的结构和参数包括但不限于神经网络的输入层，隐藏层和输出层的层数，以及每一层的权重参数等。本发明实施例对神经网络的种类和结构不作具体限定。
例如，分割模型可以是一种前馈神经网络，该模型由输入层、隐藏层和输出层构成，其中：
输入层在整个网络的最前端部分，直接接收腿部造影图像序列所对应的腿部图像张量。
隐藏层可以有一层或多层，通过自身的神经元对输入向量以加权求和的方式来进行运算，计算公式可以表达为：
z＝b+w1*x1+w2*x2+…+wm*xm
其中，z是隐藏层输出的权重加和值，x1、x2、x3……xm是每个样本的m个特征向量，b为偏置，w1、w2……wm为每个特征向量对应的权重。
输出层是最后一层，用来对加权求和后得到的向量进行解码，输出分割出的只包含膝关节的图像。
需要说明的是，样本数据包含与样本数据对应的样本腿部图像张量以及预先在样本腿部图像张量中的膝关节所处区域对应的坐标上标注的膝关节标签。将样本数据按照一定比例，划分为训练集和测试集。
示例性地，将样本数据打乱顺序后，按照6:2:2的比例相应划分为训练集、验证集和测试集。
具体地，在步骤102中，膝关节分割装置对构建好的分割模型各层间的权值系数初始化，再将训练集中的一组样本数据输入到当前权值系数下的神经网络，依次计算输入层、隐藏层和输出层的各节点的输出。输出层最后的输出结果与其实际连接位置状态类型之间的累积误差，根据梯度下降法，修正输入层与隐藏层各节点间的权值系数。依照上述过程，直至遍历训练集中的所有样本，可以得到输入层与隐藏层的权值系数。
膝关节分割装置根据神经网络输入层与隐藏层的权值系数，还原步骤102中的分割模型，并将测试集中的每一组腿部图像张量输入到训练好的分割模型，可以得到相应的分割结果。
本发明实施例对分割结果的形式不作具体限定。
例如，分割结果可以是一个宽高尺寸与腿部图像张量相同的三维矩阵，数组中任意一个数值的取值范围为[0，1]。其中，0为该坐标点不处于膝关节区域，1为该坐标点处于膝关节区域，并且可以通过坐标点在三维数组中的位置信息获知造影中哪些区域为股骨和胫骨。
例如，分割结果可以是一个统计值，则可以通过对所有坐标点进行统计的数值说明造影中是否存在膝关节骨块，以及哪些区域为膝关节股骨和胫骨。
本发明实施例对分割模型不作具体限定。
示例性地，分割模型由输入层、隐藏层和输出层组成。隐藏层的作用是通过自身的神经元，对输入的图像张量进行特征提取，抽取出有利于识别出膝关节的特征信息。
优选地，分割模型可以为一种双边分割网络(Bilateral Segmentation Network，BiSeNet)模型，其隐藏层至少包含三层，分别是浅层特征提取层、深层特征提取层和特征融合层，其中：
浅层特征提取层可以在空间路径(Spatial Path)中通过连续下采样操作对丰富的空间信息进行编码，将包含有足够空间信息的特征信息保存在浅层特征图像。
深层特征提取层可以在上下文路径(Context Path)中对特征映射进行降采样，以获得较大的感受野，从而编码高级语义上下文信息。然后，再进行一个全局平均池化，该池化可以提供具有全局上下文信息的最大感受野，将足够视野域信息的特征信息保存在深层特征图像。
特征融合层可以拼接空间路径和上下文路径分别输出的不同级别特征。利用批量归一化来平衡特征的规模。再将连接的特征池化到特征向量，并计算权重向量，分割出只包括膝关节对应的生理组织特征，并进行三维重建，得到膝关节三维图像。
其中，膝关节三维图像，可以用于对膝关节骨块进行三维重建，以引导膝关节分割装置的使用用户或者医学工作者明确其自身所对应的膝关节轮廓，为后续治疗工作提供具有针对性的数据支持。
本发明实施例基于不同断层的腿部造影图像序列，转换成腿部图像张量，并将腿部图像张量作为分割模型的输入，通过浅层特征提取层提取腿部图像张量中低维度的空间信息特征后，再利用深层特征提取层提取出腿部图像张量中高维度的上下文信息特征后，最后经由特征融合层对不同维度的特征进行融合，只对具有膝关节特征的部分进行三维重建。能够将多尺度、多层级的特征信息进行整合，可以让浅层局部细节与深层抽象特征互补增强，实现更好的膝关节分割效果，提高膝关节分割的精确度和效率。
在上述任一实施例的基础上，基于所述浅层特征图像和所述不同尺度的深层特征图像进行特征融合，获取所述膝关节三维图像，包括：对各所述深层特征图像进行相应尺度的池化操作，获得第一特征图像。
具体地，膝关节分割装置在分割模型的深层特征提取层根据采样尺度呈由小至大的变化趋势，设置由顶至底逐次级联的多个下采样子层，将所有下采样子层输出的深层特征图像进行全局平均池化，将全局平均池化后得到的特征与最底端的下采样子层输出其对应尺度的深层特征图像进行相应尺度的池化操作后，在由底至顶方向上逐层与其下一下采样子层所分别输出的深层特征图像进行对应尺度的池化操作，直至到与最顶端的下采样子层所输出的对应尺度的深层特征图像池化后，得到在不丢失分辨率的情况下其感受野仍不断扩大的第一特征图像。
将所述浅层特征图像和所述第一特征图像进行特征融合，获取所述膝关节三维图像。
具体地，膝关节分割装置将浅层特征图像和深层次的第一特征图像进行融合，并通过全局池化操作和1x1卷积后，使得第一特征图像中的深层特征信息对浅层特征图像中的浅层特征信息进行语义选择，得到更具区分能力的特征，即完成了特征融合操作，得到膝关节三维图像。
本发明实施例基于对不同尺度的深层特征图像逐层向上的进行相应尺度的池化操作，在得到第一特征图像后与浅层特征图像进行特征融合，得到膝关节三维图像。能够将上下文路径中浅层细节特征与不同尺度、不同层级的深层特征图像进行融合，通过丰富内容特征的方式，能够有效避免直接对深层抽象特征做上采样操作对边缘细节造成的损失，提高对膝关节分割的精度。
在上述任一实施例的基础上，对各所述深层特征图像进行相应尺度的池化操作，获得第一特征图像，包括：将所述不同尺度的深层特征图像进行卷积降维操作，获取多个第二特征图像。
具体地，膝关节分割装置将通过一个1x1卷积核将特征维度缩减为不同尺度的深层特征图像的1/4，得到多个第二特征图像。
将各所述第二特征图像进行不同尺度的上采样操作和卷积操作，获取相同尺度的第三特征图像。
具体地，膝关节分割装置将具有这些金字塔特征的第二特征图像直接上采样到与输入特征相同尺寸，得到多个第三特征图像。
基于所述相同尺度的第三特征图像，获取所述第一特征图像。
具体地，膝关节分割装置将输入特征和多个经过上采样后的第三特征图像进行拼接后，再通过一个1x1卷积核生成最终的第一特征图像。
本发明实施例基于池化核由大至小的变化趋势，相应池化得到不同尺度的深层特征图像，通过卷积降维操作将各尺度的深层特征图像进行维度缩减，再通过对缩减后的第二特征图像逐层上采样到与上一层的特征相同尺寸的第三特征图像，然后将每一层第三特征图像和该层的输入特征逐层向上合并，得到具有全局特征的第一特征图像。能够上下文路径中浅层细节特征与不同尺度、不同层级的深层特征图像通过空洞金字塔池化进行融合，通过融合膝关节的细节特征和全局特征的方式，能够有效避免直接对深层抽象特征做上采样操作对边缘细节造成的损失，提高对膝关节分割的精度。
在上述任一实施例的基础上，将所述浅层特征图像和所述第一特征图像进行特征融合，获取所述膝关节三维图像，包括：对所述浅层特征图像进行卷积操作，获取第四特征图像。
具体地，膝关节分割装置对浅层特征图像进行依次或者多次卷积操作，以逐层细化空间特征信息，得到第四特征图像。
将所述第四特征图像和所述第一特征图像进行全局平均池化操作，获取第五特征图像。
具体地，膝关节分割装置将第四特征图像和第一特征图像进行全局平均池化操作后，得到即包含空间特征又包含上下文特征的第五特征图像。
基于所述第五特征图像进行卷积操作，获取所述膝关节三维图像。
具体地，膝关节分割装置对第五特征图像进行卷积操作再次细化后，将降维后的特征映射到样本标记空间进行分类，保留属于膝关节特征的像素点，并将非膝关节特征的像素点置为0，以得到最终的膝关节三维图像。
图2是本发明提供的分割模型的部分结构示意图之一。图3是本发明提供的分割模型的部分结构示意图之二。如图2和图3所示，本发明实施例给出一种得到膝关节三维图像的具体实施过程：
如图2所示，可以在分割模型中设置一个多尺度特征融合模块(Multi-scaleFeature Fusion Module，MSFFM)的网络结构，用于表征特征融合的机制。其中：
如图3的子图(a)所示，先利用模块A来细化浅层特征图像所包含的特征，经过1x1卷积后，先后执行两次由3x3卷积核、批标准化(Batch Normalization，BN)操作和ReLU激活函数构成的组合细化特征操作，得到第四特征图像。
同时，如图3的子图(c)所示，将模块C设置为空洞金字塔池化结构，该结构确保在不丢失分辨率的情况下，仍然扩大感受野，获得的感受野不一样，也即获取包含多尺度信息的第一特征图像，一方面感受野大了可以检测分割大目标，另一方面分辨率高了可以精确定位目标。
紧接着，如图3的子图(b)所示，利用模块B将细化后的第四特征图像和包含多尺度信息的第一特征图像进行融合，并通过全局池化操作和1x1卷积后，使得深层特征信息对浅层特征信息进行语义选择，得到更具区分能力的特征，即完成了特征融合操作，获取第五特征图像。
最后，再利用模块A对第五特征图像进行特征细化后，进行到全连接层进行分类，分割出只包含膝关节特征的膝关节三维图像。
本发明实施例基于对浅层特征图像进行特征细化，利用细化后的第四特征图像和第一特征图像进行全局平均池化操作，得到初次融合后的第五特征图像，并对第五特征图像再次进行特征细化后直接分类，得到膝关节三维图像。能够在BiSeNet网络的基础上，引入一个空洞金字塔池化层和多尺度特征融合模块，将上下文路径中的浅层细节特征与通过空洞金字塔池化得到的深层抽象特征进行融合，得到增强后的内容特征，提高对膝关节分割的精度。
在上述任一实施例的基础上，基于所述腿部图像张量，进行不同尺度的下采样操作和卷积操作，获取不同尺度的深层特征图像，包括：基于所述腿部图像张量，进行逐层级的下采样操作，获取二维尺度不同的各第六特征图像。
具体地，膝关节分割装置将腿部图像张量依次经由级联的多个下采样子层进行下采样操作，获取二维尺度不断缩减的第六特征图像。
基于各所述第六特征图像，进行全局平均池化操作，获取所述不同尺度的深层特征图像。
具体地，膝关节分割装置对每一个下采样子层输出的第六特征图像均进行全局平均池化操作，进行进一步的特征提取，得到不同尺度的深层特征图像。
图4是本发明提供的分割模型的部分结构示意图之三。如图4所示，本发明实施例给出一种得到不同尺度的深层特征图像的具体实施过程，即将每一个下采样子层输出的第六特征图像进行全局平均池化操作后，分别利用一个1x1卷积核、批标准化(BatchNormalization，BN)操作和sigmoid激活函数构成的组合操作，得到二维尺度依次递减的深层特征图像。
本发明实施例基于对腿部图像张量进行逐层级的下采样操作，并对不同采样尺度对应得到的第六特征图像进行全局平均池化操作，得到初次上下文特征提取后的深层特征图像。能够使用全局平均池化来检索上下文特征，优化上下文路径中每一个阶段的输出特性，并且还可以集成全局上下文信息，提高对膝关节分割的精度。
在上述任一实施例的基础上，对所述腿部图像张量进行特征提取，得到浅层特征图像，包括：对腿部图像张量进行多组卷积操作和批标准化操作，得到所述浅层特征图像。
具体地，膝关节分割装置对腿部图像张量进行多组卷积操作和批标准化操作，得到空间特征维度逐层缩小，得到浅层特征图像。
图5是本发明提供的膝关节分割方法的总流程示意图。图6是本发明提供的分割模型的结构示意图。如图5和图6所示，本发明实施例给出一种膝关节分割方法的具体实施过程：
如图5所示，对DICOM数据格式的腿部造影图像序列，将二维横断面DICOM数据转换成PNG格式，将格式转换后的腿部图像张量输入至分割模型，根据分割模型输出的膝关节三维图像进行膝关节的三维重建，其分割模型的结构如图6所示：
首先，对腿部图像张量先后执行三次由3x3卷积核、批标准化(BatchNormalization，BN)操作和ReLU激活函数构成的组合特征提取操作，得到浅层特征图像。
同时，还将腿部图像张量输入至空洞金字塔池化结构中，逐层下采样得到的第六特征图像的二维尺寸分别为腿部图像张量每一切片尺寸的1/4、1/8、1/16和1/32。并经由模块D对每一个第六特征图像执行由1x1卷积核、批标准化(Batch Normalization，BN)操作和sigmoid激活函数构成的组合操作，得到二维尺度依次递减的4个深层特征图像。再将4个深层特征图像利用分割模型中设置的多尺度特征融合模块(Multi-scale Feature FusionModule，MSFFM)进行特征融合，得到第一特征图像。
紧接着，将第一特征图像和浅层特征图像再输入至多尺度特征融合模块(Multi-scale Feature Fusion Module，MSFFM)，先经过模块A对浅层特征图像进行特征细化，再将细化得到的第四特征图像和第一特征图像经过模块B进行特征融合，将融合后的第五特征图像再次经由模块A细化，获取膝关节三维图像。
本发明实施例基于对腿部图像张量进行多组卷积操作和批标准化操作，逐步减少空间特征维度，得到浅层特征图像。能够在融合上下文特征之前，尽可能的减少空间特征信息的维度，提高对膝关节分割的计算效率。
图7是本发明提供的膝关节分割装置的结构示意图。在上述任一实施例的基础上，如图7所示，该装置包括预处理模块710和分割模块720，其中：
预处理模块710用于将腿部造影图像序列中的每一张腿部造影图像进行格式转换，得到腿部图像张量。
分割模块720，用于将所述腿部图像张量输入至分割模型，获得所述分割模型输出的膝关节三维图像。
其中，所述分割模型是基于样本腿部图像张量，以及所述样本腿部图像张量对应标注的膝关节标签训练得到的。所述分割模型包括浅层特征提取层、深层特征提取层和特征融合层
相应地，分割模块720包括浅层特征提取子模块、深层特征提取子模块和特征融合子模块，其中：
浅层特征提取子模块，用于对所述腿部图像张量进行特征提取，得到浅层特征图像。
深层特征提取子模块，用于基于所述腿部图像张量，进行不同尺度的下采样操作和卷积操作，获取不同尺度的深层特征图像。
特征融合子模块，用于基于所述浅层特征图像和所述不同尺度的深层特征图像进行特征融合，获取所述膝关节三维图像。
其中，所述深层特征提取层包括级联的多个层级的下采样子层。
具体地，预处理模块710和分割模块720顺次电连接。
预处理模块710对腿部造影图像序列中的单张腿部造影图像的尺寸大小进行统一后，将每一幅腿部造影图像中的原始CT值转换为像素值，并按照序列中图像的排列次序依次将其转化为腿部图像张量中的切片。
分割模块720对构建好的分割模型各层间的权值系数初始化，再将训练集中的一组样本数据输入到当前权值系数下的神经网络，依次计算输入层、隐藏层和输出层的各节点的输出。输出层最后的输出结果与其实际连接位置状态类型之间的累积误差，根据梯度下降法，修正输入层与隐藏层各节点间的权值系数。依照上述过程，直至遍历训练集中的所有样本，可以得到输入层与隐藏层的权值系数。
再根据神经网络输入层与隐藏层的权值系数，还原分割模块720中的分割模型，并将测试集中的每一组腿部图像张量输入到训练好的分割模型，可以得到相应的分割结果。
可选地，特征融合子模块包括分层池化单元和特征融合单元，其中：
分层池化单元，用于对各所述深层特征图像进行相应尺度的池化操作，获得第一特征图像。
特征融合单元，用于将所述浅层特征图像和所述第一特征图像进行特征融合，获取所述膝关节三维图像。
可选地，分层池化单元包括降维子单元、上采样子单元和拼接子单元，其中：
降维子单元，用于将所述不同尺度的深层特征图像进行卷积降维操作，获取多个第二特征图像。
上采样子单元，用于将各所述第二特征图像进行不同尺度的上采样操作和卷积操作，获取相同尺度的第三特征图像。
拼接子单元，用于基于所述相同尺度的第三特征图像，获取所述第一特征图像。
可选地，特征融合单元包括第一特征细化子单元、全局平均池化子单元和第二特征细化子单元，其中：
第一特征细化子单元，用于对所述浅层特征图像进行卷积操作，获取第四特征图像。
全局平均池化子单元，用于将所述第四特征图像和所述第一特征图像进行全局平均池化操作，获取第五特征图像。
第二特征细化子单元，用于基于所述第五特征图像进行卷积操作，获取所述膝关节三维图像。
可选地，深层特征提取子模块包括下采样单元和池化单元，其中：
下采样单元，用于基于所述腿部图像张量，进行逐层级的下采样操作，获取二维尺度不同的各第六特征图像
池化单元，用于基于各所述第六特征图像，进行全局平均池化操作，获取所述不同尺度的深层特征图像。
可选地，浅层特征提取子模块，具体用于对腿部图像张量进行多组卷积操作和批标准化操作，得到所述浅层特征图像。
本发明实施例提供的膝关节分割装置，用于执行本发明上述膝关节分割方法，其实施方式与本发明提供的膝关节分割方法的实施方式一致，且可以达到相同的有益效果，此处不再赘述。
本发明实施例基于不同断层的腿部造影图像序列，转换成腿部图像张量，并将腿部图像张量作为分割模型的输入，通过浅层特征提取层提取腿部图像张量中低维度的空间信息特征后，再利用深层特征提取层提取出腿部图像张量中高维度的上下文信息特征后，最后经由特征融合层对不同维度的特征进行融合，只对具有膝关节特征的部分进行三维重建。能够将多尺度、多层级的特征信息进行整合，可以让浅层局部细节与深层抽象特征互补增强，实现更好的膝关节分割效果，提高膝关节分割的精确度和效率。
图8示例了一种电子设备的实体结构示意图，如图8所示，该电子设备可以包括：处理器(processor)810、通信接口(Communications Interface)820、存储器(memory)830和通信总线840，其中，处理器810，通信接口820，存储器830通过通信总线840完成相互间的通信。处理器810可以调用存储器830中的逻辑指令，以执行膝关节分割方法，该方法包括：将腿部造影图像序列中的每一张腿部造影图像进行格式转换，得到腿部图像张量；将所述腿部图像张量输入至分割模型，获得所述分割模型输出的膝关节三维图像；其中，所述分割模型是基于样本腿部图像张量，以及所述样本腿部图像张量对应标注的膝关节标签训练得到的；所述分割模型包括：浅层特征提取层，用于对所述腿部图像张量进行特征提取，得到浅层特征图像；深层特征提取层，用于基于所述腿部图像张量，进行不同尺度的下采样操作和卷积操作，获取不同尺度的深层特征图像；特征融合层，用于基于所述浅层特征图像和所述不同尺度的深层特征图像进行特征融合，获取所述膝关节三维图像；其中，所述深层特征提取层包括级联的多个层级的下采样子层。
此外，上述的存储器830中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各方法所提供的膝关节分割方法，该方法包括：将腿部造影图像序列中的每一张腿部造影图像进行格式转换，得到腿部图像张量；将所述腿部图像张量输入至分割模型，获得所述分割模型输出的膝关节三维图像；其中，所述分割模型是基于样本腿部图像张量，以及所述样本腿部图像张量对应标注的膝关节标签训练得到的；所述分割模型包括：浅层特征提取层，用于对所述腿部图像张量进行特征提取，得到浅层特征图像；深层特征提取层，用于基于所述腿部图像张量，进行不同尺度的下采样操作和卷积操作，获取不同尺度的深层特征图像；特征融合层，用于基于所述浅层特征图像和所述不同尺度的深层特征图像进行特征融合，获取所述膝关节三维图像；其中，所述深层特征提取层包括级联的多个层级的下采样子层。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的膝关节分割方法，该方法包括：将腿部造影图像序列中的每一张腿部造影图像进行格式转换，得到腿部图像张量；将所述腿部图像张量输入至分割模型，获得所述分割模型输出的膝关节三维图像；其中，所述分割模型是基于样本腿部图像张量，以及所述样本腿部图像张量对应标注的膝关节标签训练得到的；所述分割模型包括：浅层特征提取层，用于对所述腿部图像张量进行特征提取，得到浅层特征图像；深层特征提取层，用于基于所述腿部图像张量，进行不同尺度的下采样操作和卷积操作，获取不同尺度的深层特征图像；特征融合层，用于基于所述浅层特征图像和所述不同尺度的深层特征图像进行特征融合，获取所述膝关节三维图像；其中，所述深层特征提取层包括级联的多个层级的下采样子层。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (5)

1.一种膝关节分割方法，其特征在于，包括：
将腿部造影图像序列中的每一张腿部造影图像进行格式转换，得到腿部图像张量；
将所述腿部图像张量输入至分割模型，获得所述分割模型输出的膝关节三维图像，所述膝关节三维图像中膝关节特征的像素点被保留，非膝关节特征的像素点被置0；
其中，所述分割模型是基于样本腿部图像张量，以及所述样本腿部图像张量对应标注的膝关节标签训练得到的；所述分割模型包括：
浅层特征提取层，用于对所述腿部图像张量进行特征提取，得到浅层特征图像；
深层特征提取层，用于基于所述腿部图像张量，进行不同尺度的下采样操作和卷积操作，获取不同尺度的深层特征图像；
特征融合层，用于基于所述浅层特征图像和所述不同尺度的深层特征图像进行特征融合，获取所述膝关节三维图像；
其中，所述深层特征提取层包括级联的多个层级的下采样子层；所述基于所述浅层特征图像和所述不同尺度的深层特征图像进行特征融合，获取所述膝关节三维图像，包括：
对各所述深层特征图像进行相应尺度的池化操作，获得第一特征图像；
将所述浅层特征图像和所述第一特征图像进行特征融合，获取所述膝关节三维图像；
所述对各所述深层特征图像进行相应尺度的池化操作，获得第一特征图像，包括：
将所述不同尺度的深层特征图像进行卷积降维操作，获取多个第二特征图像；
将各所述第二特征图像进行不同尺度的上采样操作和卷积操作，获取相同尺度的第三特征图像；
基于所述相同尺度的第三特征图像，获取所述第一特征图像；
所述基于所述相同尺度的第三特征图像，获取所述第一特征图像，包括：
将每一层所述第三特征图像和该层输入的所述深层特征图像逐层向上拼接再通过一个1*1卷积核进行卷积，得到具有全局特征的所述第一特征图像；
所述将所述浅层特征图像和所述第一特征图像进行特征融合，获取所述膝关节三维图像，包括：
对所述浅层特征图像进行卷积操作，获取第四特征图像；
将所述第四特征图像和所述第一特征图像进行全局平均池化操作，获取第五特征图像；
基于所述第五特征图像进行卷积操作，获取所述膝关节三维图像；
所述对所述浅层特征图像进行卷积操作，获取第四特征图像，包括：
对所述浅层特征图像先后执行两次由3*3卷积核、批标准化操作和ReLU激活函数构成的组合细化特征操作，得到所述第四特征图像；
所述将所述第四特征图像和所述第一特征图像进行全局平均池化操作，获取第五特征图像，包括：
对所述第一特征图像进行空洞金字塔池化操作，获取包含多尺度信息的所述第一特征图像；
通过特征处理模块将所述第四特征图像和包含多尺度信息的所述第一特征图像进行融合，得到所述第五特征图像，其中，所述特征处理模块包括全局池化层、1*1卷积层和3*3卷积层；
所述基于所述第五特征图像进行卷积操作，获取所述膝关节三维图像，包括：
对所述第五特征图像先后执行两次由3*3卷积核、批标准化操作和ReLU激活函数构成的组合细化特征操作，得到所述膝关节三维图像；
所述基于所述腿部图像张量，进行不同尺度的下采样操作和卷积操作，获取不同尺度的深层特征图像，包括：
基于所述腿部图像张量，进行逐层级的下采样操作，获取二维尺度不同的各第六特征图像；
基于各所述第六特征图像，进行全局平均池化操作，获取所述不同尺度的深层特征图像；所述对所述腿部图像张量进行特征提取，得到浅层特征图像，包括：
对腿部图像张量进行多组卷积操作和批标准化操作，得到所述浅层特征图像。
2.一种膝关节分割装置，其特征在于，包括：
预处理模块，用于将腿部造影图像序列中的每一张腿部造影图像进行格式转换，得到腿部图像张量；
分割模块，用于将所述腿部图像张量输入至分割模型，获得所述分割模型输出的膝关节三维图像；
其中，所述分割模型是基于样本腿部图像张量，以及所述样本腿部图像张量对应标注的膝关节标签训练得到的；所述分割模型包括：
浅层特征提取层，用于对所述腿部图像张量进行特征提取，得到浅层特征图像；
深层特征提取层，用于基于所述腿部图像张量，进行不同尺度的下采样操作和卷积操作，获取不同尺度的深层特征图像；
特征融合层，用于基于所述浅层特征图像和所述不同尺度的深层特征图像进行特征融合，获取所述膝关节三维图像；
其中，所述深层特征提取层包括级联的多个层级的下采样子层；
所述基于所述浅层特征图像和所述不同尺度的深层特征图像进行特征融合，获取所述膝关节三维图像，包括：
对各所述深层特征图像进行相应尺度的池化操作，获得第一特征图像；
将所述浅层特征图像和所述第一特征图像进行特征融合，获取所述膝关节三维图像；
所述对各所述深层特征图像进行相应尺度的池化操作，获得第一特征图像，包括：
将所述不同尺度的深层特征图像进行卷积降维操作，获取多个第二特征图像；
将各所述第二特征图像进行不同尺度的上采样操作和卷积操作，获取相同尺度的第三特征图像；
基于所述相同尺度的第三特征图像，获取所述第一特征图像；
所述基于所述相同尺度的第三特征图像，获取所述第一特征图像，包括：
将每一层所述第三特征图像和该层输入的所述深层特征图像逐层向上拼接，得到具有全局特征的所述第一特征图像；
所述将所述浅层特征图像和所述第一特征图像进行特征融合，获取所述膝关节三维图像，包括：
对所述浅层特征图像进行卷积操作，获取第四特征图像；
将所述第四特征图像和所述第一特征图像进行全局平均池化操作，获取第五特征图像；
基于所述第五特征图像进行卷积操作，获取所述膝关节三维图像；
所述对所述浅层特征图像进行卷积操作，获取第四特征图像，包括：
对所述浅层特征图像先后执行两次由3*3卷积核、批标准化操作和ReLU激活函数构成的组合细化特征操作，得到所述第四特征图像；
所述将所述第四特征图像和所述第一特征图像进行全局平均池化操作，获取第五特征图像，包括：
对所述第一特征图像进行空洞金字塔池化操作，获取包含多尺度信息的所述第一特征图像；
通过特征处理模块将所述第四特征图像和包含多尺度信息的所述第一特征图像进行融合，得到所述第五特征图像，其中，所述特征处理模块包括全局池化层、1*1卷积层和3*3卷积层；
所述基于所述第五特征图像进行卷积操作，获取所述膝关节三维图像，包括：
对所述第五特征图像先后执行两次由3*3卷积核、批标准化操作和ReLU激活函数构成的组合细化特征操作，得到所述膝关节三维图像；
所述基于所述腿部图像张量，进行不同尺度的下采样操作和卷积操作，获取不同尺度的深层特征图像，包括：
基于所述腿部图像张量，进行逐层级的下采样操作，获取二维尺度不同的各第六特征图像；
基于各所述第六特征图像，进行全局平均池化操作，获取所述不同尺度的深层特征图像；所述对所述腿部图像张量进行特征提取，得到浅层特征图像，包括：
对腿部图像张量进行多组卷积操作和批标准化操作，得到所述浅层特征图像。
3.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1所述膝关节分割方法。
4.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1所述膝关节分割方法。
5.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1所述膝关节分割方法。
CN202211739104.5A 2022-12-30 2022-12-30 膝关节分割方法、装置、电子设备及存储介质 Active CN116071372B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211739104.5A CN116071372B (zh) 2022-12-30 2022-12-30 膝关节分割方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211739104.5A CN116071372B (zh) 2022-12-30 2022-12-30 膝关节分割方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN116071372A CN116071372A (zh) 2023-05-05
CN116071372B true CN116071372B (zh) 2024-03-19

Family

ID=86179636

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211739104.5A Active CN116071372B (zh) 2022-12-30 2022-12-30 膝关节分割方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN116071372B (zh)

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110648337A (zh) * 2019-09-23 2020-01-03 武汉联影医疗科技有限公司 髋关节分割方法、装置、电子设备和存储介质
CN111104962A (zh) * 2019-11-05 2020-05-05 北京航空航天大学青岛研究院 图像的语义分割方法、装置、电子设备及可读存储介质
CN111563906A (zh) * 2020-05-07 2020-08-21 南开大学 一种基于深度卷积神经网络的膝关节磁共振图像自动分割方法
CN111783779A (zh) * 2019-09-17 2020-10-16 北京沃东天骏信息技术有限公司 图像处理方法、装置和计算机可读存储介质
CN112957126A (zh) * 2021-02-10 2021-06-15 北京长木谷医疗科技有限公司 基于深度学习的单髁置换术前规划方法和相关设备
CN113012155A (zh) * 2021-05-07 2021-06-22 刘慧烨 髋关节图像中骨骼分割方法、电子设备及存储介质
CN113538209A (zh) * 2020-04-17 2021-10-22 成都连心医疗科技有限责任公司 一种多模态医学影像配准方法、配准系统、计算设备和存储介质
CN114049315A (zh) * 2021-10-29 2022-02-15 北京长木谷医疗科技有限公司 关节识别方法、电子设备、存储介质及计算机程序产品
CN114419618A (zh) * 2022-01-27 2022-04-29 北京长木谷医疗科技有限公司 基于深度学习的全髋关节置换术前规划系统
CN114565547A (zh) * 2020-11-13 2022-05-31 复旦大学 基于2d-3d特征融合的膝关节mri骨结构分割方法
CN114723762A (zh) * 2022-04-22 2022-07-08 瓴域影诺(北京)科技有限公司 一种膝关节ct图像自动分割方法、装置及电子设备
CN114882227A (zh) * 2022-07-07 2022-08-09 南方医科大学第三附属医院（广东省骨科研究院） 一种人体组织图像分割方法及相关设备
CN115131300A (zh) * 2022-06-15 2022-09-30 北京长木谷医疗科技有限公司 一种基于深度学习的骨性关节炎智能三维诊断方法及系统
CN115393272A (zh) * 2022-07-15 2022-11-25 北京长木谷医疗科技有限公司 基于深度学习的膝关节髌骨置换三维术前规划系统及方法

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111783779A (zh) * 2019-09-17 2020-10-16 北京沃东天骏信息技术有限公司 图像处理方法、装置和计算机可读存储介质
CN110648337A (zh) * 2019-09-23 2020-01-03 武汉联影医疗科技有限公司 髋关节分割方法、装置、电子设备和存储介质
CN111104962A (zh) * 2019-11-05 2020-05-05 北京航空航天大学青岛研究院 图像的语义分割方法、装置、电子设备及可读存储介质
CN113538209A (zh) * 2020-04-17 2021-10-22 成都连心医疗科技有限责任公司 一种多模态医学影像配准方法、配准系统、计算设备和存储介质
CN111563906A (zh) * 2020-05-07 2020-08-21 南开大学 一种基于深度卷积神经网络的膝关节磁共振图像自动分割方法
CN114565547A (zh) * 2020-11-13 2022-05-31 复旦大学 基于2d-3d特征融合的膝关节mri骨结构分割方法
CN112957126A (zh) * 2021-02-10 2021-06-15 北京长木谷医疗科技有限公司 基于深度学习的单髁置换术前规划方法和相关设备
CN113012155A (zh) * 2021-05-07 2021-06-22 刘慧烨 髋关节图像中骨骼分割方法、电子设备及存储介质
CN114049315A (zh) * 2021-10-29 2022-02-15 北京长木谷医疗科技有限公司 关节识别方法、电子设备、存储介质及计算机程序产品
CN114419618A (zh) * 2022-01-27 2022-04-29 北京长木谷医疗科技有限公司 基于深度学习的全髋关节置换术前规划系统
CN114723762A (zh) * 2022-04-22 2022-07-08 瓴域影诺(北京)科技有限公司 一种膝关节ct图像自动分割方法、装置及电子设备
CN115131300A (zh) * 2022-06-15 2022-09-30 北京长木谷医疗科技有限公司 一种基于深度学习的骨性关节炎智能三维诊断方法及系统
CN114882227A (zh) * 2022-07-07 2022-08-09 南方医科大学第三附属医院（广东省骨科研究院） 一种人体组织图像分割方法及相关设备
CN115393272A (zh) * 2022-07-15 2022-11-25 北京长木谷医疗科技有限公司 基于深度学习的膝关节髌骨置换三维术前规划系统及方法

Also Published As

Publication number Publication date
CN116071372A (zh) 2023-05-05

Similar Documents

Publication Publication Date Title
CN110111313B (zh) 基于深度学习的医学图像检测方法及相关设备
EP3961484A1 (en) Medical image segmentation method and device, electronic device and storage medium
Atlason et al. Unsupervised brain lesion segmentation from MRI using a convolutional autoencoder
CN113313234A (zh) 用于图像分割的神经网络系统和方法
Desai et al. Technical considerations for semantic segmentation in MRI using convolutional neural networks
CN113506308B (zh) 一种医学图像中基于深度学习的椎骨定位与脊柱分割方法
CN112561877B (zh) 多尺度双通道卷积模型训练方法、图像处理方法及装置
CN113706463A (zh) 基于深度学习的关节影像关键点自动检测方法、装置、设备及存储介质
CN110853048A (zh) 基于粗、精训练的mri图像分割方法、装置和存储介质
CN110782427A (zh) 基于可分离空洞卷积的磁共振脑肿瘤自动分割方法
Shan et al. SCA-Net: A spatial and channel attention network for medical image segmentation
CN115222713A (zh) 一种冠状动脉钙化积分的计算方法、装置及存储介质
CN111080658A (zh) 基于可形变配准和dcnn的宫颈mri图像分割方法
CN116563533A (zh) 基于目标位置先验信息的医学图像分割方法及系统
Arega et al. Leveraging uncertainty estimates to improve segmentation performance in cardiac MR
CN112750131B (zh) 基于尺度和序列关系的骨盆核磁共振图像肌肉骨骼分割方法
CN116758093B (zh) 一种图像分割方法、模型训练方法、装置、设备及介质
CN116071372B (zh) 膝关节分割方法、装置、电子设备及存储介质
CN113870261B (zh) 用神经网络识别力线的方法与系统、存储介质及电子设备
CN113379770B (zh) 鼻咽癌mr图像分割网络的构建方法、图像分割方法及装置
Alexopoulos et al. Early detection of knee osteoarthritis using deep learning on knee magnetic resonance images
CN115375787A (zh) 伪影校正方法、计算机设备及可读存储介质
CN112614092A (zh) 脊柱检测方法和装置
CN113888751A (zh) 一种关节关键点的识别方法、装置及计算机设备
Li et al. Uncertainty quantification in medical image segmentation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 100176 2201, 22 / F, building 1, yard 2, Ronghua South Road, economic and Technological Development Zone, Daxing District, Beijing

Applicant after: Beijing Changmugu Medical Technology Co.,Ltd.

Applicant after: Zhang Yiling

Address before: 100176 2201, 22 / F, building 1, yard 2, Ronghua South Road, Beijing Economic and Technological Development Zone, Daxing District, Beijing

Applicant before: BEIJING CHANGMUGU MEDICAL TECHNOLOGY Co.,Ltd.

Applicant before: Zhang Yiling

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant