CN113033581B - 髋关节图像中骨骼解剖关键点定位方法、电子设备及介质 - Google Patents

髋关节图像中骨骼解剖关键点定位方法、电子设备及介质 Download PDF

Info

Publication number
CN113033581B
CN113033581B CN202110497266.1A CN202110497266A CN113033581B CN 113033581 B CN113033581 B CN 113033581B CN 202110497266 A CN202110497266 A CN 202110497266A CN 113033581 B CN113033581 B CN 113033581B
Authority
CN
China
Prior art keywords
image
hip joint
key point
neural network
hip
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110497266.1A
Other languages
English (en)
Other versions
CN113033581A (zh
Inventor
刘慧烨
张云东
吴碧波
徐淮锟
王渭君
何川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Rui Hong Suzhou Medical Technology Co ltd
Original Assignee
Rui Hong Suzhou Medical Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Rui Hong Suzhou Medical Technology Co ltd filed Critical Rui Hong Suzhou Medical Technology Co ltd
Priority to CN202110497266.1A priority Critical patent/CN113033581B/zh
Publication of CN113033581A publication Critical patent/CN113033581A/zh
Application granted granted Critical
Publication of CN113033581B publication Critical patent/CN113033581B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10116—X-ray image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30008—Bone

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及图像处理领域，公开了一种髋关节图像中骨骼解剖关键点定位方法、电子设备及介质，该方法包括：获取待定位髋关节图像；将待定位髋关节图像输入预先训练的识别模型，以输出待定位髋关节图像的识别结果；通过预先训练得到识别模型包括：创建识别初始模型；获取多张人工标注关键点的髋关节样本图像；将髋关节样本图像输入残差卷积神经网络初始模型，以得到关键点特征图；将关键点特征图经过全局池化后，输入图卷积神经网络初始模型，通过关键点连接图对关键点特征图进行图卷积，得到融合特征图；将融合特征和关键点特征图进行点积操作，预测各个关键点的位置。本发明能有效地建模髋关节各解剖关键点之间的空间相关性，达到先进的结果。

Description

髋关节图像中骨骼解剖关键点定位方法、电子设备及介质
技术领域
本发明涉及图像处理技术领域，具体涉及一种髋关节图像中骨骼解剖关键点定位方法、电子设备及介质。
背景技术
髋关节X-ray图像骨骼关键点的定位与识别一直是医疗影像研究的热点之一。精准可靠的定位结果能够辅助骨科临床医生根据患者X片进行疾病诊断、术前测量和手术规划。传统的关键点定位技术大多基于回归森林方法，通过提取局部的哈尔特征并利用决策树来推断当前像素与目标关键点的联系。然而，人体髋关节结构形状变化大，易受病变的影响，传统的方法泛化性能较差。近年来，深度卷积神经网络在医疗影像分析上表现出了强大潜能。利用反向传播，卷积网络能够端到端地从标注数据中学习并提取对目标任务有用的特征。多项工作已经展示了卷积神经网络在髋关节X光正位片骨骼解剖关键点识别任务上的良好性能。
但是，经典的卷积神经网络依赖于局部的卷积算子，无法高效地建模全局关系，而骨骼的解剖关键点往往在形状和位置上都有很强的相关性。忽略这种医学上的关联性会使得模型只考虑局部的图像特征，导致泛化性和鲁棒性有限。因此，传统的卷积神经网络在识别骨骼解剖关键点的性能上仍有很大的提升空间。
发明内容
针对所述缺陷，本发明实施例公开了一种髋关节图像中骨骼解剖关键点定位方法、电子设备及介质，其能够有效地建模解剖关键点之间的位置关系，提高解剖关键点的准确性和鲁棒性。
本发明实施例第一方面公开了一种髋关节图像中骨骼解剖关键点定位方法，包括：
获取待定位髋关节图像；
将所述待定位髋关节图像输入预先训练的识别模型，以输出所述待定位髋关节图像的识别结果；
其中，通过预先训练得到识别模型的方法，包括：
创建识别初始模型，所述识别初始模型包括级联的残差卷积神经网络初始模型和图卷积神经网络初始模型；
获取多张人工标注关键点的髋关节样本图像；
将所述髋关节样本图像输入所述残差卷积神经网络初始模型，以得到关键点特征图；
将所述关键点特征图经过全局池化后，输入所述图卷积神经网络初始模型，以使预先制定的关键点连接图对所述关键点特征图进行图卷积，得到融合特征图；
将所述融合特征和所述关键点特征图进行点积操作，得到预测的各个关键点位置；
对预测的各个关键点位置利用所述髋关节样本图像中的人工标注关键点进行监督学习，确定损失函数，将所述损失函数回传至所述识别初始模型，以得到最终的识别模型。
作为一种可选的实施方式，在本发明实施例第一方面中，所述获取多张人工标注关键点的髋关节样本图像，包括：
获取多张髋关节样本图像，并对所述髋关节样本图像进行脱敏处理；
由一名或多名骨科临床医生对所述脱敏后的髋关节样本图像进行解剖关键点标注，得到带有人工标注关键点的髋关节样本图像；
当多名骨科临床医生对同一髋关节样本图像进行解剖关键点标注时，所述同一髋关节样本图像的人工标注关键点为所述多名骨科临床医生标注的解剖关键点的均值。
作为一种可选的实施方式，在本发明实施例第一方面中，将所述髋关节样本图像输入所述残差卷积神经网络初始模型，以得到关键点特征图，包括：
将所述髋关节样本图像输入所述残差卷积神经网络初始模型用于提取关键点特征，在目标关键点个数为n个时，所述残差卷积神经网络初始模型对应输出n个关键点特征图。
作为一种可选的实施方式，在本发明实施例第一方面中，将所述关键点特征图经过全局池化后，输入所述图卷积神经网络初始模型，以使预先制定的关键点连接图对所述关键点特征图进行图卷积，得到融合特征，包括：
将所述关键点特征图经过全局池化，得到池化后的关键点特征图；
将所述池化后的关键点特征图输入图卷积神经网络初始模型，图卷积神经网络初始模型将所述池化后的关键点特征图和预先制定的关键点连接图进行图卷积，得到融合特征。
作为一种可选的实施方式，在本发明实施例第一方面中，将所述融合特征和所述关键点特征图进行点积操作，得到预测的各个关键点位置，包括：
将所述关键点特征图和融合特征进行点积操作，得到加权特征图；
将所述加权特征图进行卷积操作，得到预测的各个关键点位置。
作为一种可选的实施方式，在本发明实施例第一方面中，将所述待定位髋关节图像输入预先训练的识别模型之前，还包括：
对所述待定位髋关节图像进行预处理；
或/和；
将所述髋关节样本图像输入所述残差卷积神经网络初始模型之前，还包括：
对所述髋关节样本图像进行预处理。
作为一种可选的实施方式，在本发明实施例第一方面中，所述预处理包括降噪处理、对比度增强处理、边缘处理以及数据增强处理中的一种或多种；
当所述预处理包括数据增强处理时，所述数据增强处理包括水平翻转、随机平移和旋转、色彩抖动以及随机擦除中的一种或多种；在对髋关节样本图像进行数据增强处理时，髋关节样本图像上的人工标注关键点随之变换。
作为一种可选的实施方式，在本发明实施例第一方面中，将所述待定位髋关节图像输入预先训练的识别模型，以输出所述待定位髋关节图像的识别结果，包括：
将所述待定位髋关节图像输入所述识别模型的残差卷积神经网络模型，以得到关键点提取特征图；
将所述关键点提取特征图经过全局池化后，输入所述图卷积神经网络模型，以使图卷积神经网络模型将所述池化后的关键点提取特征图和预先制定的关键点连接图进行图卷积，得到融合交互特征图；
将所述融合交互特征图和所述关键点提取特征图进行点积后进行卷积操作，得到所述待定位髋关节图像预测的各个关键点位置。
本发明实施例第二方面公开了一种髋关节图像中骨骼解剖关键点定位装置，包括：
获取单元，用于获取待定位髋关节图像；
识别单元，用于将所述待定位髋关节图像输入预先训练的识别模型，以输出所述待定位髋关节图像的识别结果；
训练单元，所述训练单元包括：
创建子单元，用于创建识别初始模型，所述识别初始模型包括级联的残差卷积神经网络初始模型和图卷积神经网络初始模型；
标注子单元，用于获取多张人工标注关键点的髋关节样本图像；
第一输入子单元，用于将所述髋关节样本图像输入所述残差卷积神经网络初始模型，以得到关键点特征图；
第二输入子单元，用于将所述关键点特征图经过全局池化后，输入所述图卷积神经网络初始模型，以使预先制定的关键点连接图对所述关键点特征图进行图卷积，得到融合特征图；
预测子单元，用于将所述融合特征和所述关键点特征图进行点积操作，得到预测的各个关键点位置；
反向传播子单元，用于对预测的各个关键点位置利用所述髋关节样本图像中的人工标注关键点进行监督学习，确定损失函数，将所述损失函数回传至所述识别初始模型，以得到最终的识别模型。
本发明实施例第三方面公开一种电子设备，包括：存储有可执行程序代码的存储器；与所述存储器耦合的处理器；所述处理器调用所述存储器中存储的所述可执行程序代码，用于执行本发明实施例第一方面公开的髋关节图像中骨骼解剖关键点定位方法。
本发明实施例第四方面公开一种计算机可读存储介质，其存储计算机程序，其中，所述计算机程序使得计算机执行本发明实施例第一方面公开的髋关节图像中骨骼解剖关键点定位方法。
本发明实施例第五方面公开一种计算机程序产品，其中，当计算机程序产品在计算机上运行时，使得计算机执行本发明实施例第一方面中公开的髋关节图像中骨骼解剖关键点定位方法。
本发明实施例第六方面公开一种应用发布平台，所述应用发布平台用于发布计算机程序产品，其中，当所述计算机程序产品在计算机上运行时，使得所述计算机执行本发明实施例第一方面公开的髋关节图像中骨骼解剖关键点定位方法。
与现有技术相比，本发明实施例具有以下有益效果：
本发明实施例的髋关节图像中骨骼解剖关键点定位方法、电子设备及介质，其残差卷积神经网络技术和图卷积神经网络技术，充分利用了人体结构，以图网络的方式建立医学先验，能有效地建模髋关节各解剖关键点之间的空间相关性，达到先进的结果。同时，由于识别模型训练和部署简单方便，结果鲁棒，适合辅助各项骨科应用。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例公开的髋关节图像中骨骼解剖关键点定位方法的流程示意图；
图2是本发明实施例公开的识别模型训练方法的流程示意图；
图3是本发明实施例提供的一种髋关节图像中骨骼解剖关键点定位装置的结构示意图；
图4是本发明实施例提供的训练单元的结构示意图；
图5是本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书中的术语“第一”、“第二”、“第三”、“第四”等是用于区别不同的对象，而不是用于描述特定顺序。本发明实施例的术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，示例性地，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
在通常情况下，解剖关键点的定位一般要求尽可能识别精确，同时，又具有一定的鲁棒性。基于此本发明实施例公开了髋关节图像中骨骼解剖关键点定位方法、装置、电子设备及存储介质，该方法基于医学先验知识的图卷积神经网络解剖关键点，能够有效地建模解剖关键点之间的位置关系，提高解剖关键点的准确性和鲁棒性，从而更好地辅助临床医生进行手术规划，术中导航以及术后评估。
实施例一
请参阅图1，图1是本发明实施例公开的髋关节图像中骨骼解剖关键点定位方法的流程示意图。其中，本发明实施例所描述的方法的执行主体为由软件或/和硬件组成的电子设备，该执行主体可以通过有线或/和无线方式接收相关信息(在训练时主要是接收髋关节样本图像，在识别时主要是接收待定位的髋关节图像)，在一些实施例中，其还可以发送一定的指令，也可以具有一定的存储功能。该执行主体可以是具有一定处理功能的计算机或服务器，服务器可以是物理服务器或者云服务器等，当然，在处理能力足够的情况下，执行主体也可以是手机或平板电脑等。如图1所示，该基于髋关节图像中骨骼解剖关键点定位方法包括以下步骤：
S110，数据标注。
获取若干髋关节样本图像，对这些髋关节样本图像采用人工标注的方式进行解剖关键点的定位，从而得到人工标注关键点的髋关节样本图像。
髋关节样本图像可以是髋关节X-ray图像，当然，还可以是MRI图像或CT图像，这里不做限定，在样本图像足够多的情况下，髋关节样本图像可以是任意角度的髋关节图像，当然，为了便于人工标注以及后续的训练，优选髋关节样本图像为髋关节正位片。
得到若干的髋关节样本图像后，先对髋关节样本图像经过脱敏处理。脱敏处理包括但不限于对髋关节样本图像中涉及的个人隐私信息的过滤等。脱敏处理后，由骨科临床医生骨骼的解剖关键点利用统一的定制化标注软件进行标注。为了应对标注过程中的随机性以及解剖定位的不确定性，同一髋关节样本图像可以将由三名以上医生标注，并将结果取平均，所得结果定为标准解剖点位置。
S120，对识别模型进行训练。
请参照图2所示，对识别模型的训练，具体包括以下步骤：
第一步，创建识别模型。在本发明较佳的实施例中，使用级联的残差卷积神经网络模型和图卷积神经网络模型。为示区分，在训练和测试阶段，分别称为识别初始模型、残差卷积神经网络初始模型和图卷积神经网络初始模型。
第二步，对髋关节样本图像进行相关预处理，得到训练图像I1。预处理包括但不限于降噪处理、对比度增强处理、边缘增强处理以及数据增强处理中的一种或多种的组合。示例性地，降噪处理可以采用高斯滤波器，对比度增强处理可以采用基于直方图均衡滤波器或/和伽马矫正滤波器，边缘增强可以采用双边滤波器。数据增强处理可以提高数据的多样性从而增强神经网络的泛化性能；示例性地，数据增强处理可以是水平翻转，随机平移与旋转、色彩抖动和随机擦除中的一种或多种的组合。需要说明的是，在进行数据增强时，对应的人工标注关键点也需要一同变换。
第三步，将训练图像I1输入识别初始模型进行训练。
具体地，将训练图像I1输入残差卷积神经网络初始模型，用于提取关键点特征；假设目标关键点的总个数为n，则卷积神经网络将输出n个关键点特征图(K1...Kn)，分别对应各解剖关键点的特征；
将得到的n个关键点特征图分别经过全局池化后，输入图卷积神经网络初始模型中；该模型会依据由医学专家制定的关键点连接图(包括但不限于髂前上棘、耻骨联合)对所输入的关键点特征图进行图卷积操作，使得各关键点特征编码的信息得以融合和交互，得到融合图像。将各关键点特征编码的信息得以融合和交互，可以提高解剖关键点的准确性。
将图卷积神经网络初始模型输出的融合特征图与原n个关键点特征图点积，相当于对原n个关键点特征图中的各滤波器重新加权，进一步保证解剖关键点的准确性；最后再对加权后的特征图进行卷积操作得到预测的各关键点位置P1。
第四步，对预测的各关键点位置P1利用对应髋关节样本图像的人工标注关键点进行监督学习，使用简单的L2范数作为损失函数，并利用梯度回传进行网络训练。
经过上述的多次训练，当最终的训练损失小于或等于预设阈值时，则训练完成。再通过测试样本对训练后的识别初始模型进行测试，当测试样本测试通过率达到预设阈值时，则训练后的识别初始模型记为最终的识别模型，否则，再次对识别初始模型进行训练和测试。
在本发明较佳的实施例中，训练样本和测试样本占总的髋关节样本图像的比例可以是8:2，当然，也可以是其他的比例关系。
当测试完成后，得到的识别模型中，包括残差卷积神经网络模型和图卷积神经网络模型。
需要说明的是，上述步骤S110和步骤S120并不是每次对待定位髋关节图像进行识别时的必要步骤，即是在一定周期内，通过一次预先训练得到的识别模型可以对该周期内所有的待定位髋关节图像执行识别操作。而在该周期外，才需要重新创建识别初始模型并对该识别初始模型进行训练。
S130，获取单张的待定位髋关节图像，并对该待定位髋关节图像的解剖关键点进行识别。
与步骤S110类似，该待定位髋关节图像可以是髋关节X-ray图像，当然，还可以是MRI图像或CT图像，待定位髋关节图像优选为髋关节正位片。同样地，也可以对该待定位髋关节图像进行与步骤S120中髋关节样本图像类似的预处理。
将预处理后的待定位髋关节图像输入上述训练得到的识别模型中，从而输出髋关节图像中骨骼的解剖关键点。
具体地，将待定位髋关节图像输入识别模型的残差卷积神经网络模型，以得到关键点提取特征图；将关键点提取特征图经过全局池化后，输入图卷积神经网络模型，以使图卷积神经网络模型将池化后的关键点提取特征图和预先制定的关键点连接图进行图卷积，得到融合交互特征图；将融合交互特征图和关键点提取特征图进行点积后进行卷积操作，得到待定位髋关节图像预测的各个关键点位置。
可见，实时本实施例的方法，通过融合的残差卷积神经网络技术和图卷积神经网络技术，充分利用了人体结构，以图卷积神经网络的方式建立医学先验，能有效地建模髋关节各解剖关键点之间的空间相关性，达到先进的结果。同时，由于识别模型训练和部署简单方便，结果鲁棒，适合辅助各项骨科应用。
实施例二
请参阅图3，图3是本发明实施例公开的髋关节图像中骨骼解剖关键点定位装置的结构示意图。如图3所示，该髋关节图像中骨骼解剖关键点定位装置可以包括：
训练单元210，用于训练得到识别模型。
获取单元220，用于获取待定位髋关节图像；
识别单元230，用于将所述待定位髋关节图像输入预先训练的识别模型，以输出所述待定位髋关节图像的识别结果。
其中，请参照图4所示，所述训练单元210包括：
创建子单元211，用于创建识别初始模型，所述识别初始模型包括级联的残差卷积神经网络初始模型和图卷积神经网络初始模型；
标注子单元212，用于获取多张人工标注关键点的髋关节样本图像；
第一输入子单元213，用于将所述髋关节样本图像输入所述残差卷积神经网络初始模型，以得到关键点特征图；
第二输入子单元214，用于将所述关键点特征图经过全局池化后，输入所述图卷积神经网络初始模型，以使预先制定的关键点连接图对所述关键点特征图进行图卷积，得到融合特征图；
第一预测子单元215，用于将所述融合特征和所述关键点特征图进行点积操作，得到预测的各个关键点位置；
反向传播子单元216，用于对预测的各个关键点位置利用所述髋关节样本图像中的人工标注关键点进行监督学习，确定损失函数，将所述损失函数回传至所述识别初始模型，以得到最终的识别模型。
优选地，所述标注子单元212，可以包括：
脱敏孙单元，用于获取多张髋关节样本图像，并对所述髋关节样本图像进行脱敏处理；
标注孙单元，用于由一名或多名骨科临床医生对所述脱敏后的髋关节样本图像进行解剖关键点标注，得到带有人工标注关键点的髋关节样本图像；当多名骨科临床医生对同一髋关节样本图像进行解剖关键点标注时，所述同一髋关节样本图像的人工标注关键点为所述多名骨科临床医生标注的解剖关键点的均值。
优选地，第一输入子单元213，具体是将所述髋关节样本图像输入所述残差卷积神经网络初始模型用于提取关键点特征，在目标关键点个数为n个时，所述残差卷积神经网络初始模型对应输出n个关键点特征图。
优选地，第二输入子单元214，可以包括：
池化孙单元，用于将所述关键点特征图经过全局池化，得到池化后的关键点特征图；
融合孙单元，用于将所述池化后的关键点特征图输入图卷积神经网络初始模型，图卷积神经网络初始模型将所述池化后的关键点特征图和预先制定的关键点连接图进行图卷积，得到融合特征。
优选地，预测子单元215，可以包括：
点积孙单元，用于将所述关键点特征图和融合特征进行点积操作，得到加权特征图；
卷积孙单元，用于将所述加权特征图进行卷积操作，得到预测的各个关键点位置。
优选地，将所述待定位髋关节图像输入预先训练的识别模型之前，还包括：对所述待定位髋关节图像进行预处理。
优选地，将所述髋关节样本图像输入所述残差卷积神经网络初始模型之前，还包括：对所述髋关节样本图像进行预处理。
优选地，所述预处理包括降噪处理、对比度增强处理、边缘处理以及数据增强处理中的一种或多种；当所述预处理包括数据增强处理时，所述数据增强处理包括水平翻转、随机平移和旋转、色彩抖动以及随机擦除中的一种或多种；在对髋关节样本图像进行数据增强处理时，髋关节样本图像上的人工标注关键点随之变换。
优选地，识别单元230，可以包括：
第三输入子单元，用于将所述待定位髋关节图像输入所述识别模型的残差卷积神经网络模型，以得到关键点提取特征图；
第四输入子单元，用于将所述关键点提取特征图经过全局池化后，输入所述图卷积神经网络模型，以使图卷积神经网络模型将所述池化后的关键点提取特征图和预先制定的关键点连接图进行图卷积，得到融合交互特征图；
第二预测子单元，用于将所述融合交互特征图和所述关键点提取特征图进行点积后进行卷积操作，得到所述待定位髋关节图像预测的各个关键点位置。
实施例三
请参阅图5，图5是本发明实施例公开的一种电子设备的结构示意图。电子设备可以是计算机以及服务器等，当然，在一定情况下，还可以是手机、平板电脑以及监控终端等智能设备。如图5所示，该电子设备可以包括：
存储有可执行程序代码的存储器310；
与存储器310耦合的处理器320；
其中，处理器320调用存储器310中存储的可执行程序代码，执行实施例一中的髋关节图像中骨骼解剖关键点定位方法中的部分或全部步骤。
本发明实施例公开一种计算机可读存储介质，其存储计算机程序，其中，该计算机程序使得计算机执行实施例一中的髋关节图像中骨骼解剖关键点定位方法中的部分或全部步骤。
本发明实施例还公开一种计算机程序产品，其中，当计算机程序产品在计算机上运行时，使得计算机执行实施例一中的髋关节图像中骨骼解剖关键点定位方法中的部分或全部步骤。
本发明实施例还公开一种应用发布平台，其中，应用发布平台用于发布计算机程序产品，其中，当计算机程序产品在计算机上运行时，使得计算机执行实施例一中的髋关节图像中骨骼解剖关键点定位方法中的部分或全部步骤。
在本发明的各种实施例中，应理解，所述各过程的序号的大小并不意味着执行顺序的必然先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物单元，即可位于一个地方，或者也可以分布到多个网络单元上。可根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外，在本发明各实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。所述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元若以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可获取的存储器中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或者部分，可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储器中，包括若干请求用以使得一台计算机设备(可以为个人计算机、服务器或者网络设备等，具体可以是计算机设备中的处理器)执行本发明的各个实施例所述方法的部分或全部步骤。
在本发明所提供的实施例中，应理解，“与A对应的B”表示B与A相关联，根据A可以确定B。但还应理解，根据A确定B并不意味着仅仅根据A确定B，还可以根据A和/或其他信息确定B。
本领域普通技术人员可以理解所述实施例的各种方法中的部分或全部步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质包括只读存储器(Read-Only Memory，ROM)、随机存储器(RandomAccess Memory，RAM)、可编程只读存储器(Programmable Read-only Memory，PROM)、可擦除可编程只读存储器(Erasable Programmable Read-Only Memory，EPROM)、一次可编程只读存储器(One-timeProgrammable Read-Only Memory，OTPROM)、电子抹除式可复写只读存储器(Electrically-Erasable Programmable Read-Only Memory，EEPROM)、只读光盘(CompactDisc Read-Only Memory，CD-ROM)或其他光盘存储器、磁盘存储器、磁带存储器、或者能够用于携带或存储数据的计算机可读的任何其他介质。
以上对本发明实施例公开的髋关节图像中骨骼解剖关键点定位方法、电子设备及介质进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (9)

1.一种髋关节图像中骨骼解剖关键点定位方法，其特征在于，包括：
获取待定位髋关节图像；
将所述待定位髋关节图像输入预先训练的识别模型，以输出所述待定位髋关节图像的识别结果；
其中，通过预先训练得到识别模型的方法，包括：
创建识别初始模型，所述识别初始模型包括级联的残差卷积神经网络初始模型和图卷积神经网络初始模型；
获取多张人工标注关键点的髋关节样本图像；
将所述髋关节样本图像输入所述残差卷积神经网络初始模型，以得到关键点特征图；
将所述关键点特征图经过全局池化后，输入所述图卷积神经网络初始模型，以使预先制定的关键点连接图对所述关键点特征图进行图卷积，得到融合特征图；
将所述融合特征和所述关键点特征图进行点积操作，得到预测的各个关键点位置；
对预测的各个关键点位置利用所述髋关节样本图像中的人工标注关键点进行监督学习，确定损失函数，将所述损失函数回传至所述识别初始模型，以得到最终的识别模型。
2.如权利要求1所述的髋关节图像中骨骼解剖关键点定位方法，其特征在于，所述获取多张人工标注关键点的髋关节样本图像，包括：
获取多张髋关节样本图像，并对所述髋关节样本图像进行脱敏处理；
由一名或多名骨科临床医生对所述脱敏后的髋关节样本图像进行解剖关键点标注，得到带有人工标注关键点的髋关节样本图像；
当多名骨科临床医生对同一髋关节样本图像进行解剖关键点标注时，所述同一髋关节样本图像的人工标注关键点为所述多名骨科临床医生标注的解剖关键点的均值。
3.如权利要求1所述的髋关节图像中骨骼解剖关键点定位方法，其特征在于，将所述髋关节样本图像输入所述残差卷积神经网络初始模型，以得到关键点特征图，包括：
将所述髋关节样本图像输入所述残差卷积神经网络初始模型用于提取关键点特征，在目标关键点个数为n个时，所述残差卷积神经网络初始模型对应输出n个关键点特征图。
4.如权利要求1所述的髋关节图像中骨骼解剖关键点定位方法，其特征在于，将所述融合特征和所述关键点特征图进行点积操作，得到预测的各个关键点位置，包括：
将所述关键点特征图和融合特征进行点积操作，得到加权特征图；
将所述加权特征图进行卷积操作，得到预测的各个关键点位置。
5.如权利要求1所述的髋关节图像中骨骼解剖关键点定位方法，其特征在于，将所述待定位髋关节图像输入预先训练的识别模型之前，还包括：
对所述待定位髋关节图像进行预处理；
或/和；
将所述髋关节样本图像输入所述残差卷积神经网络初始模型之前，还包括：
对所述髋关节样本图像进行预处理。
6.如权利要求5所述的髋关节图像中骨骼解剖关键点定位方法，其特征在于，所述预处理包括降噪处理、对比度增强处理、边缘处理以及数据增强处理中的一种或多种；
当所述预处理包括数据增强处理时，所述数据增强处理包括水平翻转、随机平移和旋转、色彩抖动以及随机擦除中的一种或多种；在对髋关节样本图像进行数据增强处理时，髋关节样本图像上的人工标注关键点随之变换。
7.如权利要求1-6任一项所述的髋关节图像中骨骼解剖关键点定位方法，其特征在于，将所述待定位髋关节图像输入预先训练的识别模型，以输出所述待定位髋关节图像的识别结果，包括：
将所述待定位髋关节图像输入所述识别模型的残差卷积神经网络模型，以得到关键点提取特征图；
将所述关键点提取特征图经过全局池化后，输入所述图卷积神经网络模型，以使图卷积神经网络模型将所述池化后的关键点提取特征图和预先制定的关键点连接图进行图卷积，得到融合交互特征图；
将所述融合交互特征图和所述关键点提取特征图进行点积后进行卷积操作，得到所述待定位髋关节图像预测的各个关键点位置。
8.一种电子设备，其特征在于，包括：存储有可执行程序代码的存储器；与所述存储器耦合的处理器；所述处理器调用所述存储器中存储的所述可执行程序代码，用于执行权利要求1至7任一项所述的髋关节图像中骨骼解剖关键点定位方法。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储计算机程序，其中，所述计算机程序使得计算机执行权利要求1至7任一项所述的髋关节图像中骨骼解剖关键点定位方法。
CN202110497266.1A 2021-05-07 2021-05-07 髋关节图像中骨骼解剖关键点定位方法、电子设备及介质 Active CN113033581B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110497266.1A CN113033581B (zh) 2021-05-07 2021-05-07 髋关节图像中骨骼解剖关键点定位方法、电子设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110497266.1A CN113033581B (zh) 2021-05-07 2021-05-07 髋关节图像中骨骼解剖关键点定位方法、电子设备及介质

Publications (2)

Publication Number Publication Date
CN113033581A CN113033581A (zh) 2021-06-25
CN113033581B true CN113033581B (zh) 2024-02-23

Family

ID=76455073

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110497266.1A Active CN113033581B (zh) 2021-05-07 2021-05-07 髋关节图像中骨骼解剖关键点定位方法、电子设备及介质

Country Status (1)

Country Link
CN (1) CN113033581B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114511553B (zh) * 2022-02-25 2024-08-13 中山大学孙逸仙纪念医院 一种基于手部x光图像的关节炎评分方法及装置
CN114663363B (zh) * 2022-03-03 2023-11-17 四川大学 一种基于深度学习的髋关节医学图像处理方法和装置
CN116894844B (zh) * 2023-07-06 2024-04-02 北京长木谷医疗科技股份有限公司 一种髋关节图像分割与关键点联动识别方法及装置
CN117765228A (zh) * 2023-11-14 2024-03-26 宁波大学 一种基于隐式和显式结构约束的髋关节关键点检测系统
CN118015245A (zh) * 2024-01-22 2024-05-10 北京长木谷医疗科技股份有限公司 基于强化学习的关键解剖部位识别检测方法、装置及设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111339818A (zh) * 2019-12-18 2020-06-26 中国人民解放军第四军医大学 一种人脸多属性识别系统
CN111598214A (zh) * 2020-04-02 2020-08-28 浙江工业大学 一种基于图卷积神经网络的跨模态检索方法
CN111611903A (zh) * 2020-05-15 2020-09-01 北京百度网讯科技有限公司 动作识别模型的训练方法、使用方法、装置、设备和介质
CN111657935A (zh) * 2020-05-11 2020-09-15 浙江大学 一种基于层次图卷积神经网络的癫痫脑电识别系统、终端及存储介质
CN111860128A (zh) * 2020-06-05 2020-10-30 南京邮电大学 一种基于多流快慢图卷积网络的人体骨骼行为识别方法
CN112712169A (zh) * 2021-01-08 2021-04-27 中国科学院地理科学与资源研究所 基于图卷积的全残差深度网络的模型建立方法及应用

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109670397B (zh) * 2018-11-07 2020-10-30 北京达佳互联信息技术有限公司 人体骨骼关键点的检测方法、装置、电子设备及存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111339818A (zh) * 2019-12-18 2020-06-26 中国人民解放军第四军医大学 一种人脸多属性识别系统
CN111598214A (zh) * 2020-04-02 2020-08-28 浙江工业大学 一种基于图卷积神经网络的跨模态检索方法
CN111657935A (zh) * 2020-05-11 2020-09-15 浙江大学 一种基于层次图卷积神经网络的癫痫脑电识别系统、终端及存储介质
CN111611903A (zh) * 2020-05-15 2020-09-01 北京百度网讯科技有限公司 动作识别模型的训练方法、使用方法、装置、设备和介质
CN111860128A (zh) * 2020-06-05 2020-10-30 南京邮电大学 一种基于多流快慢图卷积网络的人体骨骼行为识别方法
CN112712169A (zh) * 2021-01-08 2021-04-27 中国科学院地理科学与资源研究所 基于图卷积的全残差深度网络的模型建立方法及应用

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Gated action-specific graph convolutional networks for skeleton-based action recognition;Chan W, et al.;《 Sensors》;1-13 *
Huang Z,et al.. MR-GCN: Multi-Relational Graph Convolutional Networks based on Generalized Tensor Product.《IJCAI》.2020,1258-1264. *
基于级联框架的人脸关键点检测算法改进;赵大鹏 等;《软件导刊》;第17卷(第11期);60-64 *

Also Published As

Publication number Publication date
CN113033581A (zh) 2021-06-25

Similar Documents

Publication Publication Date Title
CN113033581B (zh) 髋关节图像中骨骼解剖关键点定位方法、电子设备及介质
CN111275207B (zh) 基于半监督的横向联邦学习优化方法、设备及存储介质
KR101864380B1 (ko) 수술영상데이터 학습시스템
CN110136103B (zh) 医学影像解释方法、装置、计算机设备及存储介质
CN113012155B (zh) 髋关节图像中骨骼分割方法、电子设备及存储介质
CN109919928B (zh) 医学影像的检测方法、装置和存储介质
US20190311478A1 (en) System and Method for Automatic Detection, Localization, and Semantic Segmentation of Anatomical Objects
JP2018530401A5 (zh)
KR20190088375A (ko) 수술영상데이터 학습시스템
CN108197664A (zh) 模型获取方法、装置、电子设备及计算机可读存储介质
CN111428448B (zh) 文本生成方法、装置、计算机设备及可读存储介质
CN110033019A (zh) 人体部位的异常检测方法、装置和存储介质
CN111192660B (zh) 一种影像报告分析方法、设备及计算机存储介质
CN111178420B (zh) 一种二维造影图像上冠脉段标注方法及系统
CN113435236A (zh) 居家老人姿态检测方法、系统、存储介质、设备及应用
CN114663426B (zh) 一种基于关键骨区定位的骨龄评估方法
Chykeyuk et al. Class-specific regression random forest for accurate extraction of standard planes from 3D echocardiography
CN108875500A (zh) 行人再识别方法、装置、系统及存储介质
CN112331329A (zh) 以个人装置进行手骨骨龄即时判读的系统及方法
CN113724185B (zh) 用于图像分类的模型处理方法、装置及存储介质
CN117474879A (zh) 主动脉夹层真假腔分割方法、装置、电子设备及存储介质
CN115762721A (zh) 一种基于计算机视觉技术的医疗影像质控方法和系统
CN117173777A (zh) 一种基于肢体方向线索解码网络的学习者正面姿态估计方法
CN115690063A (zh) 骨密度参数检测方法、计算机设备和存储介质
CN112329736B (zh) 人脸识别方法及金融系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant