CN113012155A - 髋关节图像中骨骼分割方法、电子设备及存储介质 - Google Patents

髋关节图像中骨骼分割方法、电子设备及存储介质 Download PDF

Info

Publication number
CN113012155A
CN113012155A CN202110496302.2A CN202110496302A CN113012155A CN 113012155 A CN113012155 A CN 113012155A CN 202110496302 A CN202110496302 A CN 202110496302A CN 113012155 A CN113012155 A CN 113012155A
Authority
CN
China
Prior art keywords
hip joint
segmentation
image
model
segmentation result
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110496302.2A
Other languages
English (en)
Other versions
CN113012155B (zh
Inventor
刘慧烨
张云东
胡强
王渭君
徐征宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Rui Hong Suzhou Medical Technology Co ltd
Original Assignee
Rui Hong Suzhou Medical Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Rui Hong Suzhou Medical Technology Co ltd filed Critical Rui Hong Suzhou Medical Technology Co ltd
Priority to CN202110496302.2A priority Critical patent/CN113012155B/zh
Publication of CN113012155A publication Critical patent/CN113012155A/zh
Application granted granted Critical
Publication of CN113012155B publication Critical patent/CN113012155B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30008—Bone

Abstract

本发明实施例涉及图像处理领域，公开了一种髋关节图像中骨骼分割方法、电子设备及存储介质，该方法包括：获取待分割髋关节图像；将待分割髋关节图像输入预先训练的分割模型，输出分割结果；通过预先训练得到分割模型的方法，包括：创建分割初始模型，获取多张人工标注的髋关节样本图像，得到掩膜图像；将髋关节样本图像分别输入自注意力变换初始模型以及卷积神经网络初始模型，分别得到第一分割结果和第二分割结果；计算训练损失，将训练损失回传至分割初始模型，以得到最终的分割模型。本发明实施例分割结果精确，且具有鲁棒性，能够高效地自动分割出髋关节图像中的骨结构，从而辅助临床医生进行手术规划，术中导航以及术后评估。

Description

髋关节图像中骨骼分割方法、电子设备及存储介质
技术领域
本发明涉及图像处理技术领域，具体涉及一种髋关节图像中骨骼分割方法、电子设备及存储介质。
背景技术
髋关节图像骨骼的分割一直是医疗影像研究的热点之一。精确、稳定的分割结果能很好的辅助骨科医生诊断髋关节疾病、快速定位患病区域、规划手术以及分析关节受力情况等。传统的分割技术大多基于atlas方法，收集大量的数据建立模型库，通过将目标与库中模型进行配准来得到分割结果。然而，由于人体结构的多变性与复杂性，特别是病变的影响，传统的方法鲁棒性有限。近年来，深度卷积神经网络的高速发展受到了医疗影像研究人员的高度关注。卷积网络通过端到端的训练方式能够自动从标注数据中学习并提取对目标任务有用的特征。多项工作也将深度卷积神经网络应用到了髋关节图像的骨骼分割中，并达到了领域中的先进结果。然而，深度卷积神经网络常常需要堆叠大量的卷积层和下采样层以达到足够大的感受野，由此带来了三个问题：
(1)大量的卷积层和下采样层使得特征图的分辨率下降，不利于像图像分割这样的密集预测任务；
(2)非常深的网络结构使得训练过程变得不鲁棒，容易过拟合，需要大量的数据来进行学习；
(3)计算复杂度高，网络的预测速度有限。
发明内容
针对所述缺陷，本发明实施例公开了一种髋关节图像中骨骼分割方法、电子设备及存储介质，其能够高效地自动分割出髋关节图像中的骨结构。
本发明实施例第一方面公开了一种髋关节图像中骨骼分割方法，包括：
获取待分割髋关节图像；
将所述待分割髋关节图像输入预先训练的分割模型，以输出所述待分割髋关节图像的分割结果；
其中，通过预先训练得到分割模型的方法，包括：
创建分割初始模型，所述分割初始模型包括自注意力变换初始模型和卷积神经网络初始模型；
获取多张人工标注的髋关节样本图像，得到掩膜图像；
将所述髋关节样本图像输入所述自注意力变换初始模型，以得到第一分割结果；
将所述髋关节样本图像输入所述卷积神经网络初始模型，以得到局部特征信息；
将所述第一分割结果和局部特征信息进行融合，得到第二分割结果；
比对所述第一分割结果和所述掩膜图像、以及所述第二分割结果和所述掩膜图像，得到训练损失，将所述训练损失回传至所述分割初始模型，以得到最终的分割模型。
作为一种可选的实施方式，在本发明实施例第一方面中，所述获取多张人工标注的髋关节样本图像，得到掩膜图像，包括：
获取多张髋关节样本图像，并对所述髋关节样本图像进行脱敏处理；
由骨科医生对所述脱敏后的髋关节样本图像进行分割，得到掩膜图像。
作为一种可选的实施方式，在本发明实施例第一方面中，对所述脱敏后的髋关节样本图像进行分割，得到掩膜图像，包括：
在所述髋关节样本图像中分割出骨盆和左右股骨轮廓；
将所述骨盆轮廓、左股骨轮廓和右股骨轮廓的颜色置为1，所述髋关节样本图像其他区域置为0，得到掩膜图像。
作为一种可选的实施方式，在本发明实施例第一方面中，将所述待分割髋关节图像输入预先训练的分割模型之前，还包括：
对所述待分割髋关节图像进行预处理；
或/和；
将所述髋关节样本图像输入所述自注意力变换初始模型以及卷积神经网络初始模型之前，还包括：
对所述髋关节样本图像进行预处理。
作为一种可选的实施方式，在本发明实施例第一方面中，所述预处理包括降噪处理、对比度增强处理、边缘处理以及数据增强处理中的一种或多种；
当所述预处理包括数据增强处理时，所述数据增强处理包括水平翻转、随机旋转以及随机裁剪中的一种或多种。
作为一种可选的实施方式，在本发明实施例第一方面中，所述自注意力变换初始模型包括分块线性投影层、多头自注意力变换层以及第一上采样解码器；
将所述髋关节样本图像输入所述自注意力变换初始模型，以得到第一分割结果，包括：
将所述髋关节样本图像输入分块线性投影层，得到多个大小相同的图块；
将所述多个图块输入所述多头自注意力变换层提取得到全局信息特征；
通过第一上采样解码器对所述全局信息特征进行上采样，得到第一分割结果。
作为一种可选的实施方式，在本发明实施例第一方面中，在将所述髋关节样本图像输入所述卷积神经网络初始模型，以得到局部特征信息，包括：
将所述髋关节样本图像输入带有残差卷积层的卷积神经网络初始模型，得到局部特征信息；
或/和；
将所述第一分割结果和局部特征信息进行融合，得到第二分割结果，包括：
将所述第一分割结果和局部特征信息通过点积的形式进行融合，得到融合特征；
使用第二上采样解码器对所述融合特征进行上采样，得到所述第二分割结果；
或/和；
比对所述第一分割结果和所述掩膜图像、以及所述第二分割结果和所述掩膜图像，得到训练损失，将所述训练损失回传至所述分割初始模型，以得到最终的分割模型，包括：
对第一分割结果和第二分割结果利用所述掩膜图像分别进行监督学习，以得到第一分割结果的训练损失和第二分割结果的训练损失；
将所述第一分割结果的训练损失和第二分割结果的训练损失相加作为最终的训练损失；
利用梯度回传所述训练损失到分割初始模型，以调整所述分割初始模型中自注意力变换初始模型和卷积神经网络初始模型的相关参数，得到自注意力变换模型和卷积神经网络模型，即分割模型。
作为一种可选的实施方式，在本发明实施例第一方面中，将所述待分割髋关节图像输入预先训练的分割模型，以输出所述待分割髋关节图像的分割结果，包括：
将所述待分割髋关节图像输入所述分割模型的自注意力变换模型，以得到粗分割结果；
将所述待分割髋关节图像输入所述分割模型的卷积神经网络模型，以得到局部基本特征；
将所述粗分割结果和局部基本特征进行融合，得到所述待分割髋关节图像的分割结果。
本发明实施例第二方面公开了一种髋关节图像中骨骼分割装置，包括：
获取单元，用于获取待分割髋关节图像；
分割单元，用于将所述待分割髋关节图像输入预先训练的分割模型，以输出所述待分割髋关节图像的分割结果；
训练单元，所述训练单元包括：
创建子单元，用于创建分割初始模型，所述分割初始模型包括自注意力变换初始模型和卷积神经网络初始模型；
标注子单元，用于获取多张人工标注的髋关节样本图像，得到掩膜图像；
第一输入子单元，用于将所述髋关节样本图像输入所述自注意力变换初始模型，以得到第一分割结果；
第二输入子单元，用于将所述髋关节样本图像输入所述卷积神经网络初始模型，以得到局部特征信息；
融合子单元，用于将所述第一分割结果和局部特征信息进行融合，得到第二分割结果；
反向传播子单元，用于比对所述第一分割结果和所述掩膜图像、以及所述第二分割结果和所述掩膜图像，得到训练损失，将所述训练损失回传至所述分割初始模型，以得到最终的分割模型。
本发明实施例第三方面公开一种电子设备，包括：存储有可执行程序代码的存储器；与所述存储器耦合的处理器；所述处理器调用所述存储器中存储的所述可执行程序代码，用于执行本发明实施例第一方面公开的髋关节图像中骨骼分割方法。
本发明实施例第四方面公开一种计算机可读存储介质，其存储计算机程序，其中，所述计算机程序使得计算机执行本发明实施例第一方面公开的髋关节图像中骨骼分割方法。
本发明实施例第五方面公开一种计算机程序产品，其中，当计算机程序产品在计算机上运行时，使得计算机执行本发明实施例第一方面中公开的髋关节图像中骨骼分割方法。
本发明实施例第六方面公开一种应用发布平台，所述应用发布平台用于发布计算机程序产品，其中，当所述计算机程序产品在计算机上运行时，使得所述计算机执行本发明实施例第一方面公开的髋关节图像中骨骼分割方法。
与现有技术相比，本发明实施例具有以下有益效果：
本发明实施例的髋关节图像中骨骼分割方法、电子设备及存储介质，其融合自注意力变换网络技术和卷积神经网络技术，能有效地提取髋关节图像中的全局信息和局部信息，达到先进的结果。同时，由于自注意力变换网络技术和卷积神经网络技术为平行结构，模型所需要的参数量更少，计算速度更快，结果更鲁棒，适合辅助各项骨科应用。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例公开的髋关节图像中骨骼分割方法的流程示意图；
图2是本发明实施例公开的分割模型训练方法的流程示意图；
图3是本发明实施例提供的一种髋关节图像中骨骼分割装置的结构示意图；
图4是本发明实施例提供的训练单元的结构示意图；
图5是本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书中的术语“第一”、“第二”、“第三”、“第四”等是用于区别不同的对象，而不是用于描述特定顺序。本发明实施例的术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，示例性地，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
在通常情况下，图像的分割获取目标区域的方法一般要求尽可能快速且分割精确，同时，又具有一定的鲁棒性。基于此本发明实施例公开了髋关节图像中骨骼分割方法、装置、电子设备及存储介质，该方法通过自注意力变换网络得到待分割髋关节图像的粗分割结果，该粗分割结果只在对分割模型进行训练时起作用，起到提高回传效率，加快训练速度的效果，再通过卷积神经网络得到待分割髋关节图像的局部低级特征，然后将粗分割结果和局部低级特征进行融合，从而使得分割结果精确，且具有鲁棒性，能够高效地自动分割出髋关节图像中的骨结构，从而辅助临床医生进行手术规划，术中导航以及术后评估。
实施例一
请参阅图1，图1是本发明实施例公开的髋关节图像中骨骼分割方法的流程示意图。其中，本发明实施例所描述的方法的执行主体为由软件或/和硬件组成的电子设备，该执行主体可以通过有线或/和无线方式接收相关信息(在训练时主要是接收髋关节样本图像，在分割时主要是接收待分割的髋关节图像)，在一些实施例中，其还可以发送一定的指令，也可以具有一定的存储功能。该执行主体可以是具有一定处理功能的计算机或服务器，服务器可以是物理服务器或者云服务器等，当然，在处理能力足够的情况下，执行主体也可以是手机或平板电脑等。如图1所示，该基于髋关节图像中骨骼分割方法包括以下步骤：
S110，数据标注。
获取若干髋关节样本图像，对这些髋关节样本图像采用人工标注的方式进行分割，从而得到人工分割结果。
髋关节样本图像可以是髋关节X-ray图像，当然，还可以是MRI图像或CT图像，这里不做限定，在样本图像足够多的情况下，髋关节样本图像可以是任意角度的髋关节图像，当然，为了便于人工标注以及后续的训练，优选髋关节样本图像为髋关节正位片。
得到若干的髋关节样本图像后，先对髋关节样本图像经过脱敏处理。脱敏处理包括但不限于对髋关节样本图像中涉及的个人隐私信息的过滤等。脱敏处理后，由骨科医生对髋关节样本图像进行分割；分割的工具统一采用定制化的标注软件。为了使得人工分割更准确，在本发明较佳的实施例中，骨科医生分割的结果再由资深骨科专家进行进一步的确认和更正，将最后由资深骨科专家确认后的人工分割结果定为正位片标准分割结果。
人工分割时，主要是确定髋关节样本图像中骨盆和左右股骨的位置。示例性地，人工分割时，绘制骨盆和左右股骨轮廓，然后在通过掩膜技术将骨盆轮廓、左股骨轮廓和右股骨轮廓的颜色置为1，所述髋关节样本图像其他区域置为0，得到掩膜图像，如图2中最后的人工标注图像G1。当然，在一些其他的实施例中，人工标注图像即掩膜图像的大小可以在前期进行相关处理，例如旋转、裁剪或补全等。
S120，对分割模型进行训练。
请参照图2所示，对分割模型的训练，具体包括以下步骤：
第一步，创建分割模型。在本发明较佳的实施例中，使用并行的自注意力变换网络和带有残差卷积的卷积神经网络组建分割模型。为示区分，在训练和测试阶段，分别称为分割初始模型、自注意力变换初始模型和卷积神经网络初始模型。
第二步，对髋关节样本图像进行相关预处理，得到训练图像I1。预处理包括但不限于降噪处理、对比度增强处理、边缘增强处理以及数据增强处理中的一种或多种的组合。示例性地，降噪处理可以采用高斯降噪方式，对比度增强处理可以采用基于直方图均衡的对比度增强处理方式，边缘增强可以采用基于bilateral filtering的边缘增强处理方式。数据增强处理可以提高数据的多样性，帮助后续的神经网络学习到平移和翻转等的不变形；示例性地，数据增强处理可以是水平翻转，随机旋转和随机裁剪中的一种或多种的组合。
第三步，将训练图像I1以及对应的掩膜图像输入分割初始模型进行训练。
具体地，将训练图像I1输入自注意力变换初始模型，先由自注意力变换初始模型的分块线性投影层对训练图像I1进行划分，得到若干个大小相同的图块，图块的数量根据需要设置，例如8个等。然后将这些图块输入堆叠多头的自注意力变换层的网络结构中，该结构能够不断的建模图块与图块间的高维关系，有效地提取图片的全局信息；经过多头自注意力变换层提取特征后，再由第一上采样解码器对该全局信息进行上采样，得到粗分割结果P1，称为第一分割结果，该第一分割结果只在分割模型训练过程中发挥作用，起到提高梯度回传效率，加快训练速度的效果；
将训练图像I1输入卷积神经网络初始模型，通过带有残差卷积层的卷积神经网络初始模型可以有层次的提取训练图像I1中的局部低级特征，记为局部特征信息，局部特征信息例如可以是纹理、色彩和边缘等。
将第一分割结果和局部特征信息通过神经融合模块进行融合。先将第一分割结果和局部特征信息进行点积操作进行融合，从而得到更丰富的语义信息，然后在融合后的特征通过第二上采样解码器进行上采样，得到第二分割结果P2。
第四步，对分割结果P1和P2利用标注结果进行监督学习，将两个结果的损失相加作为分割初始网络最终的训练损失，并利用梯度回传进行网络训练，用于调整自注意力变换初始模型和卷积神经网络初始模型。
损失计算可以采用交并比损失函数或者交叉熵损失函数进行，当然，也可以是其他的损失函数例如均方差等，这里不做具体限定。
经过上述的多次训练，当最终的训练损失小于或等于预设阈值时，则训练完成。再通过测试样本对训练后的分割初始模型进行测试，当测试样本测试通过率达到预设阈值时，则训练后的分割初始模型记为最终的分割模型，否则，再次对分割初始模型进行训练和测试。
在本发明较佳的实施例中，训练样本和测试样本占总的髋关节样本图像的比例可以是8:2，当然，也可以是其他的比例关系。
当测试完成后，得到的分割模型中，包括自注意力变换模型和卷积神经网络模型。
需要说明的是，上述步骤S110和步骤S120并不是每次对待分割髋关节图像进行分割时的必要步骤，即是在一定周期内，通过一次预先训练得到的分割模型可以对该周期内所有的待分割髋关节图像执行分割操作。而在该周期外，才需要重新创建分割初始模型并对该分割初始模型进行训练。
S130，获取单张的待分割髋关节图像，并对该待分割髋关节图像进行分割。
与步骤S110类似，该待分割髋关节图像可以是髋关节X-ray图像，当然，还可以是MRI图像或CT图像，待分割髋关节图像优选为髋关节正位片。同样地，也可以对该待分割髋关节图像进行与步骤S120中髋关节样本图像类似的预处理。
将预处理后的待分割髋关节图像输入上述训练得到的分割模型中，从而输出该待分割髋关节图像对应的骨盆、左右股骨的分割结果。
具体地，将所述待分割髋关节图像输入所述分割模型的自注意力变换模型，以得到粗分割结果；将所述待分割髋关节图像输入所述分割模型的卷积神经网络模型，以得到局部基本特征；将所述粗分割结果和局部基本特征进行融合，得到所述待分割髋关节图像的分割结果。
可见，实时本实施例的方法，可以通过融合自注意力变换网络技术和卷积神经网络技术，有效地提取髋关节图像中的全局信息和局部信息，达到先进的结果。同时，由于自注意力变换网络技术和卷积神经网络技术为平行结构，模型所需要的参数量更少，计算速度更快，结果更鲁棒，适合辅助各项骨科应用。
实施例二
请参阅图3，图3是本发明实施例公开的髋关节图像中骨骼分割装置的结构示意图。如图3所示，该髋关节图像中骨骼分割装置可以包括：
训练单元210，用于训练得到分割模型。
获取单元220，用于获取待分割髋关节图像；
分割单元230，用于将所述待分割髋关节图像输入预先训练的分割模型，以输出所述待分割髋关节图像的分割结果；
其中，请参照图4所示，所述训练单元210包括：
创建子单元211，用于创建分割初始模型，所述分割初始模型包括自注意力变换初始模型和卷积神经网络初始模型；
标注子单元212，用于获取多张人工标注的髋关节样本图像，得到掩膜图像；
第一输入子单元213，用于将所述髋关节样本图像输入所述自注意力变换初始模型，以得到第一分割结果；
第二输入子单元214，用于将所述髋关节样本图像输入所述卷积神经网络初始模型，以得到局部特征信息；
第一融合子单元215，用于将所述第一分割结果和局部特征信息进行融合，得到第二分割结果；
反向传播子单元216，用于比对所述第一分割结果和所述掩膜图像、以及所述第二分割结果和所述掩膜图像，得到训练损失，将所述训练损失回传至所述分割初始模型，以得到最终的分割模型。
优选地，标注子单元212，还可以包括：
脱敏孙单元，用于获取多张髋关节样本图像，并对所述髋关节样本图像进行脱敏处理；
人工标注孙单元，用于由骨科医生对所述脱敏后的髋关节样本图像进行分割，得到掩膜图像，具体包括：在所述髋关节样本图像中分割出骨盆和左右股骨轮廓；将所述骨盆轮廓、左股骨轮廓和右股骨轮廓的颜色置为1，所述髋关节样本图像其他区域置为0，得到掩膜图像
优选地，将所述待分割髋关节图像输入预先训练的分割模型之前，还包括：对所述待分割髋关节图像进行预处理；
优选地，将所述髋关节样本图像输入所述自注意力变换初始模型以及卷积神经网络初始模型之前，还包括：对所述髋关节样本图像进行预处理。
上述的预处理包括降噪处理、对比度增强处理、边缘处理以及数据增强处理中的一种或多种，数据增强处理包括水平翻转、随机旋转以及随机裁剪中的一种或多种。
优选地，所述自注意力变换初始模型包括分块线性投影层、多头自注意力变换层以及第一上采样解码器；
第一输入子单元213，包括：
投影孙单元，用于将所述髋关节样本图像输入分块线性投影层，得到多个大小相同的图块；
提取孙单元，用于将所述多个图块输入所述多头自注意力变换层提取得到全局信息特征；
第一上采样孙单元，用于通过第一上采样解码器对所述全局信息特征进行上采样，得到第一分割结果。
优选地，第二输入子单元214具体为将所述髋关节样本图像输入带有残差卷积层的卷积神经网络初始模型，得到局部特征信息。
优选地，第一融合子单元215，可以包括：
点积孙单元，用于将所述第一分割结果和局部特征信息通过点积的形式进行融合，得到融合特征；
第二上采样孙单元，用于使用第二上采样解码器对所述融合特征进行上采样，得到所述第二分割结果。
优选地，反向传播子单元216，可以包括：
损失计算孙单元，用于对第一分割结果和第二分割结果利用所述掩膜图像分别进行监督学习，以得到第一分割结果的训练损失和第二分割结果的训练损失；
相加孙单元，用于将所述第一分割结果的训练损失和第二分割结果的训练损失相加作为最终的训练损失；
梯度回归孙单元，用于利用梯度回传所述训练损失到分割初始模型，以调整所述分割初始模型中自注意力变换初始模型和卷积神经网络初始模型的相关参数，得到自注意力变换模型和卷积神经网络模型，即分割模型。
优选地，分割单元230，可以包括：
第三输入子单元，用于将所述待分割髋关节图像输入所述分割模型的自注意力变换模型，以得到粗分割结果；
第四输入子单元，用于将所述待分割髋关节图像输入所述分割模型的卷积神经网络模型，以得到局部基本特征；
第二融合子单元，用于将所述粗分割结果和局部基本特征进行融合，得到所述待分割髋关节图像的分割结果。
实施例三
请参阅图5，图5是本发明实施例公开的一种电子设备的结构示意图。电子设备可以是计算机以及服务器等，当然，在一定情况下，还可以是手机、平板电脑以及监控终端等智能设备。如图5所示，该电子设备可以包括：
存储有可执行程序代码的存储器310；
与存储器310耦合的处理器320；
其中，处理器320调用存储器310中存储的可执行程序代码，执行实施例一中的髋关节图像中骨骼分割方法中的部分或全部步骤。
本发明实施例公开一种计算机可读存储介质，其存储计算机程序，其中，该计算机程序使得计算机执行实施例一中的髋关节图像中骨骼分割方法中的部分或全部步骤。
本发明实施例还公开一种计算机程序产品，其中，当计算机程序产品在计算机上运行时，使得计算机执行实施例一中的髋关节图像中骨骼分割方法中的部分或全部步骤。
本发明实施例还公开一种应用发布平台，其中，应用发布平台用于发布计算机程序产品，其中，当计算机程序产品在计算机上运行时，使得计算机执行实施例一中的髋关节图像中骨骼分割方法中的部分或全部步骤。
在本发明的各种实施例中，应理解，所述各过程的序号的大小并不意味着执行顺序的必然先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物单元，即可位于一个地方，或者也可以分布到多个网络单元上。可根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外，在本发明各实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。所述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元若以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可获取的存储器中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或者部分，可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储器中，包括若干请求用以使得一台计算机设备(可以为个人计算机、服务器或者网络设备等，具体可以是计算机设备中的处理器)执行本发明的各个实施例所述方法的部分或全部步骤。
在本发明所提供的实施例中，应理解，“与A对应的B”表示B与A相关联，根据A可以确定B。但还应理解，根据A确定B并不意味着仅仅根据A确定B，还可以根据A和/或其他信息确定B。
本领域普通技术人员可以理解所述实施例的各种方法中的部分或全部步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质包括只读存储器(Read-Only Memory，ROM)、随机存储器(RandomAccess Memory，RAM)、可编程只读存储器(Programmable Read-only Memory，PROM)、可擦除可编程只读存储器(Erasable Programmable Read-Only Memory，EPROM)、一次可编程只读存储器(One-timeProgrammable Read-Only Memory，OTPROM)、电子抹除式可复写只读存储器(Electrically-Erasable Programmable Read-Only Memory，EEPROM)、只读光盘(CompactDisc Read-Only Memory，CD-ROM)或其他光盘存储器、磁盘存储器、磁带存储器、或者能够用于携带或存储数据的计算机可读的任何其他介质。
以上对本发明实施例公开的髋关节图像中骨骼分割方法、电子设备及存储介质进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种髋关节图像中骨骼分割方法，其特征在于，包括：
获取待分割髋关节图像；
将所述待分割髋关节图像输入预先训练的分割模型，以输出所述待分割髋关节图像的分割结果；
其中，通过预先训练得到分割模型的方法，包括：
创建分割初始模型，所述分割初始模型包括自注意力变换初始模型和卷积神经网络初始模型；
获取多张人工标注的髋关节样本图像，得到掩膜图像；
将所述髋关节样本图像输入所述自注意力变换初始模型，以得到第一分割结果；
将所述髋关节样本图像输入所述卷积神经网络初始模型，以得到局部特征信息；
将所述第一分割结果和局部特征信息进行融合，得到第二分割结果；
比对所述第一分割结果和所述掩膜图像、以及所述第二分割结果和所述掩膜图像，得到训练损失，将所述训练损失回传至所述分割初始模型，以得到最终的分割模型。
2.如权利要求1所述的髋关节图像中骨骼分割方法，其特征在于，所述获取多张人工标注的髋关节样本图像，得到掩膜图像，包括：
获取多张髋关节样本图像，并对所述髋关节样本图像进行脱敏处理；
由骨科医生对所述脱敏后的髋关节样本图像进行分割，得到掩膜图像。
3.如权利要求2所述的髋关节图像中骨骼分割方法，其特征在于，对所述脱敏后的髋关节样本图像进行分割，得到掩膜图像，包括：
在所述髋关节样本图像中分割出骨盆和左右股骨轮廓；
将所述骨盆轮廓、左股骨轮廓和右股骨轮廓的颜色置为1，所述髋关节样本图像其他区域置为0，得到掩膜图像。
4.如权利要求1所述的髋关节图像中骨骼分割方法，其特征在于，将所述待分割髋关节图像输入预先训练的分割模型之前，还包括：
对所述待分割髋关节图像进行预处理；
或/和；
将所述髋关节样本图像输入所述自注意力变换初始模型以及卷积神经网络初始模型之前，还包括：
对所述髋关节样本图像进行预处理。
5.如权利要求4所述的髋关节图像中骨骼分割方法，其特征在于，所述预处理包括降噪处理、对比度增强处理、边缘处理以及数据增强处理中的一种或多种；
当所述预处理包括数据增强处理时，所述数据增强处理包括水平翻转、随机旋转以及随机裁剪中的一种或多种。
6.如权利要求1所述的髋关节图像中骨骼分割方法，其特征在于，所述自注意力变换初始模型包括分块线性投影层、多头自注意力变换层以及第一上采样解码器；
将所述髋关节样本图像输入所述自注意力变换初始模型，以得到第一分割结果，包括：
将所述髋关节样本图像输入分块线性投影层，得到多个大小相同的图块；
将所述多个图块输入所述多头自注意力变换层提取得到全局信息特征；
通过第一上采样解码器对所述全局信息特征进行上采样，得到第一分割结果。
7.如权利要求1所述的髋关节图像中骨骼分割方法，其特征在于，在将所述髋关节样本图像输入所述卷积神经网络初始模型，以得到局部特征信息，包括：
将所述髋关节样本图像输入带有残差卷积层的卷积神经网络初始模型，得到局部特征信息；
或/和；
将所述第一分割结果和局部特征信息进行融合，得到第二分割结果，包括：
将所述第一分割结果和局部特征信息通过点积的形式进行融合，得到融合特征；
使用第二上采样解码器对所述融合特征进行上采样，得到所述第二分割结果；
或/和；
比对所述第一分割结果和所述掩膜图像、以及所述第二分割结果和所述掩膜图像，得到训练损失，将所述训练损失回传至所述分割初始模型，以得到最终的分割模型，包括：
对第一分割结果和第二分割结果利用所述掩膜图像分别进行监督学习，以得到第一分割结果的训练损失和第二分割结果的训练损失；
将所述第一分割结果的训练损失和第二分割结果的训练损失相加作为最终的训练损失；
利用梯度回传所述训练损失到分割初始模型，以调整所述分割初始模型中自注意力变换初始模型和卷积神经网络初始模型的相关参数，得到自注意力变换模型和卷积神经网络模型，即分割模型。
8.如权利要求1-7任一项所述的髋关节图像中骨骼分割方法，其特征在于，将所述待分割髋关节图像输入预先训练的分割模型，以输出所述待分割髋关节图像的分割结果，包括：
将所述待分割髋关节图像输入所述分割模型的自注意力变换模型，以得到粗分割结果；
将所述待分割髋关节图像输入所述分割模型的卷积神经网络模型，以得到局部基本特征；
将所述粗分割结果和局部基本特征进行融合，得到所述待分割髋关节图像的分割结果。
9.一种电子设备，其特征在于，包括：存储有可执行程序代码的存储器；与所述存储器耦合的处理器；所述处理器调用所述存储器中存储的所述可执行程序代码，用于执行权利要求1至8任一项所述的髋关节图像中骨骼分割方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储计算机程序，其中，所述计算机程序使得计算机执行权利要求1至8任一项所述的髋关节图像中骨骼分割方法。
CN202110496302.2A 2021-05-07 2021-05-07 髋关节图像中骨骼分割方法、电子设备及存储介质 Active CN113012155B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110496302.2A CN113012155B (zh) 2021-05-07 2021-05-07 髋关节图像中骨骼分割方法、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110496302.2A CN113012155B (zh) 2021-05-07 2021-05-07 髋关节图像中骨骼分割方法、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN113012155A true CN113012155A (zh) 2021-06-22
CN113012155B CN113012155B (zh) 2023-05-05

Family

ID=76380871

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110496302.2A Active CN113012155B (zh) 2021-05-07 2021-05-07 髋关节图像中骨骼分割方法、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN113012155B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113592771A (zh) * 2021-06-24 2021-11-02 深圳大学 一种图像分割方法
CN113763340A (zh) * 2021-08-25 2021-12-07 中国人民解放军空军军医大学 基于多任务深度学习强直性脊柱炎的自动分级方法
CN113837192A (zh) * 2021-09-22 2021-12-24 推想医疗科技股份有限公司 图像分割方法及装置，神经网络的训练方法及装置
CN113907775A (zh) * 2021-10-13 2022-01-11 瓴域影诺(北京)科技有限公司 一种髋关节影像质量判断方法及系统
CN114037719A (zh) * 2022-01-11 2022-02-11 北京威高智慧科技有限公司 骨骼区域确定方法、装置、电子设备及存储介质
CN115690143A (zh) * 2022-09-26 2023-02-03 推想医疗科技股份有限公司 图像分割方法、装置、电子设备及存储介质
CN116071372A (zh) * 2022-12-30 2023-05-05 北京长木谷医疗科技有限公司 膝关节分割方法、装置、电子设备及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110648337A (zh) * 2019-09-23 2020-01-03 武汉联影医疗科技有限公司 髋关节分割方法、装置、电子设备和存储介质
CN111563899A (zh) * 2020-06-09 2020-08-21 南京汇百图科技有限公司 一种髋关节ct图像中骨的分割方法
CN111681252A (zh) * 2020-05-30 2020-09-18 重庆邮电大学 一种基于多路径注意力融合的医学图像自动分割方法
CN112258524A (zh) * 2020-10-20 2021-01-22 推想医疗科技股份有限公司 一种多分支图像分割方法、装置、介质及电子设备
CN112634283A (zh) * 2020-12-22 2021-04-09 华中科技大学 使用小样本图像训练的髋关节分割模型建立方法及其应用
CN112651974A (zh) * 2020-12-29 2021-04-13 上海联影智能医疗科技有限公司 图像分割方法及系统、电子设备及存储介质
CN112749801A (zh) * 2021-01-22 2021-05-04 上海商汤智能科技有限公司 神经网络训练和图像处理方法及装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110648337A (zh) * 2019-09-23 2020-01-03 武汉联影医疗科技有限公司 髋关节分割方法、装置、电子设备和存储介质
CN111681252A (zh) * 2020-05-30 2020-09-18 重庆邮电大学 一种基于多路径注意力融合的医学图像自动分割方法
CN111563899A (zh) * 2020-06-09 2020-08-21 南京汇百图科技有限公司 一种髋关节ct图像中骨的分割方法
CN112258524A (zh) * 2020-10-20 2021-01-22 推想医疗科技股份有限公司 一种多分支图像分割方法、装置、介质及电子设备
CN112634283A (zh) * 2020-12-22 2021-04-09 华中科技大学 使用小样本图像训练的髋关节分割模型建立方法及其应用
CN112651974A (zh) * 2020-12-29 2021-04-13 上海联影智能医疗科技有限公司 图像分割方法及系统、电子设备及存储介质
CN112749801A (zh) * 2021-01-22 2021-05-04 上海商汤智能科技有限公司 神经网络训练和图像处理方法及装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
HENGSHUANG ZHAO ET AL: "Exploring Self-attention for Image Recognition", 《IEEE》 *
田钰杰 等: "一种鲁棒的多特征点云分类分割深度神经网络", 《计算机工程》 *
顾佳艳 等: "基于多头注意力机制的房颤检测方法", 《计算机系统应用》 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113592771A (zh) * 2021-06-24 2021-11-02 深圳大学 一种图像分割方法
CN113592771B (zh) * 2021-06-24 2023-12-15 深圳大学 一种图像分割方法
CN113763340A (zh) * 2021-08-25 2021-12-07 中国人民解放军空军军医大学 基于多任务深度学习强直性脊柱炎的自动分级方法
CN113837192A (zh) * 2021-09-22 2021-12-24 推想医疗科技股份有限公司 图像分割方法及装置，神经网络的训练方法及装置
CN113837192B (zh) * 2021-09-22 2024-04-19 推想医疗科技股份有限公司 图像分割方法及装置，神经网络的训练方法及装置
CN113907775A (zh) * 2021-10-13 2022-01-11 瓴域影诺(北京)科技有限公司 一种髋关节影像质量判断方法及系统
CN114037719A (zh) * 2022-01-11 2022-02-11 北京威高智慧科技有限公司 骨骼区域确定方法、装置、电子设备及存储介质
CN115690143A (zh) * 2022-09-26 2023-02-03 推想医疗科技股份有限公司 图像分割方法、装置、电子设备及存储介质
CN116071372A (zh) * 2022-12-30 2023-05-05 北京长木谷医疗科技有限公司 膝关节分割方法、装置、电子设备及存储介质
CN116071372B (zh) * 2022-12-30 2024-03-19 北京长木谷医疗科技股份有限公司 膝关节分割方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN113012155B (zh) 2023-05-05

Similar Documents

Publication Publication Date Title
CN113012155A (zh) 髋关节图像中骨骼分割方法、电子设备及存储介质
US20210365717A1 (en) Method and apparatus for segmenting a medical image, and storage medium
CN104794504B (zh) 基于深度学习的图形图案文字检测方法
CN110298844B (zh) X光造影图像血管分割与识别方法及装置
US11735316B2 (en) Method and apparatus of labeling target in image, and computer recording medium
CN112233777A (zh) 基于深度学习的胆结石自动识别及分割系统、计算机设备、存储介质
CN113240661B (zh) 基于深度学习的腰椎骨分析方法、装置、设备及存储介质
US11636695B2 (en) Method for synthesizing image based on conditional generative adversarial network and related device
CN111598899A (zh) 图像处理方法、装置及计算机可读存储介质
CN112581458A (zh) 一种图像处理方法和装置
CN110738702B (zh) 一种三维超声图像的处理方法、装置、设备及存储介质
CN114972771A (zh) 车辆定损理赔方法、装置、电子设备及存储介质
CN113033581B (zh) 髋关节图像中骨骼解剖关键点定位方法、电子设备及介质
CN116188479A (zh) 基于深度学习的髋关节图像分割方法及系统
CN111260670A (zh) 基于深度学习网络的三维影像的管状结构分割图断裂修复方法及系统
CN113935943A (zh) 颅内动脉瘤识别检测的方法、装置、计算机设备和存储介质
CN111325756A (zh) 基于深度学习网络的三维影像动静脉分割方法及系统
CN116468702A (zh) 黄褐斑评估方法、装置、电子设备及计算机可读存储介质
CN116469545A (zh) 使用医学图像进行辅助疾病预测的方法、装置及设备
CN115762721A (zh) 一种基于计算机视觉技术的医疗影像质控方法和系统
CN111626972B (zh) Ct图像重构方法、模型训练方法及设备
CN113177938B (zh) 基于圆形卷积核的脑胶质瘤的分割方法、装置及相关组件
CN113327221A (zh) 融合roi区域的图像合成方法、装置、电子设备及介质
CN114581459A (zh) 一种基于改进性3D U-Net模型的学前儿童肺部影像感兴趣区域分割方法
CN112633285A (zh) 领域适应方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant