CN111882532B - 下肢x光影像中关键点提取方法 - Google Patents

下肢x光影像中关键点提取方法 Download PDF

Info

Publication number
CN111882532B
CN111882532B CN202010680826.2A CN202010680826A CN111882532B CN 111882532 B CN111882532 B CN 111882532B CN 202010680826 A CN202010680826 A CN 202010680826A CN 111882532 B CN111882532 B CN 111882532B
Authority
CN
China
Prior art keywords
channel
map
key point
point
lower limb
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010680826.2A
Other languages
English (en)
Other versions
CN111882532A (zh
Inventor
谢洪涛
张勇东
孙军
马凌峰
毛震东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Anhui Provincial Children's Hospital (anhui Xinhua Hospital Anhui Institute Of Pediatric Medicine)
University of Science and Technology of China USTC
Original Assignee
Anhui Provincial Children's Hospital (anhui Xinhua Hospital Anhui Institute Of Pediatric Medicine)
University of Science and Technology of China USTC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Anhui Provincial Children's Hospital (anhui Xinhua Hospital Anhui Institute Of Pediatric Medicine), University of Science and Technology of China USTC filed Critical Anhui Provincial Children's Hospital (anhui Xinhua Hospital Anhui Institute Of Pediatric Medicine)
Priority to CN202010680826.2A priority Critical patent/CN111882532B/zh
Publication of CN111882532A publication Critical patent/CN111882532A/zh
Application granted granted Critical
Publication of CN111882532B publication Critical patent/CN111882532B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10116—X-ray image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30008—Bone
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G06V2201/033—Recognition of patterns in medical or anatomical images of skeletal patterns

Landscapes

  • Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种下肢X光影像中关键点提取方法，通过关键点定位神经网络模型来自动分析下肢X光影像，通过骨骼的全局空间结构以及多尺度信息得到各关键点的位置信息；不仅加快了关键点提取速度与效率，还可以确保结果的准确性。实验表明关键点定位的误差仅有3.042像素，角度计算误差仅有1.096°。

Description

下肢X光影像中关键点提取方法
技术领域
本发明涉及智能医学影像分析技术领域，尤其涉及一种下肢X光影像中关键点提取方法。
背景技术
下肢X光影像是常规医学影像中的一种，目前对于下肢X光影像的分析(例如，关键点提取等)大多由人工方式实现，还没有较为有效的自动分析方案。
但是，人工方式的缺陷在于：一方面，分析耗时较长，效率较低；另一方面，分析结果的准确性依赖于分析者的专业水平，因此，也难以保证分析结果的准确性。
发明内容
本发明的目的是提供一种下肢X光影像中关键点提取方法，可以提取全局骨骼空间信息，并且具有尺度不变的优势，提高了定位的精度。
本发明的目的是通过以下技术方案实现的：
一种下肢X光影像中关键点提取方法，包括：
获取预先进行了N个关键点标注的下肢X光影像，并以此构建训练集；
构建关键点定位神经网络模型，通过关键点定位神经网络模型提取多尺度信息进而提取骨骼的全局空间结构信息，从而预测关键点位置；
训练阶段，训练集中每一训练影像的每一关键点位置数据都被转化为一个通道的高斯图，并且每个通道高斯图的顶点设置为相应关键点的位置，从而得到每一训练影像的N通道标签图；每一训练影像经过关键点定位神经网络模型都会输出包含关键点位置的N通道预测图；通过N通道标签图与N通道预测图的误差构建损失函数并进行网络训练；
测试阶段，将下肢X光影像输入至训练后的关键点定位神经网络模型，获得N通道的预测图，每一通道的预测图对应一个关键点位置。
由上述本发明提供的技术方案可以看出，通过关键点定位神经网络模型来自动分析下肢X光影像，通过骨骼的全局空间结构以及多尺度信息得到各关键点的位置信息；不仅加快了关键点提取速度与效率，还可以确保结果的准确性。实验表明关键点定位的误差仅有3.042像素，角度计算误差仅有1.096°。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。
图1为本发明实施例提供的一种下肢X光影像中关键点提取方法中的关键点定位神经网络模型的结构示意图；
图2为本发明实施例提供的尺度特征捕捉模块与全局依赖捕捉模块的结构示意图；
图3为本发明实施例提供的关键点位置及角度计算示意图。
具体实施方式
下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明的保护范围。
本发明实施例提供一种下肢X光影像中关键点提取方法，包括：
获取预先进行了N个关键点标注的下肢X光影像，并以此构建训练集；
构建关键点定位神经网络模型，通过关键点定位神经网络模型提取多尺度信息进而提取骨骼的全局空间结构信息，从而预测关键点位置；
训练阶段，训练集中每一训练影像的每一关键点位置数据都被转化为一个通道的高斯图，并且每个通道高斯图的顶点设置为相应关键点的位置，从而得到每一训练影像的N通道标签图；每一训练影像经过关键点定位神经网络模型都会输出包含关键点位置的N通道预测图；通过N通道标签图与N通道预测图的误差构建损失函数并进行网络训练；
测试阶段，将下肢X光影像输入至训练后的关键点定位神经网络模型，获得NN通道的预测图，每一通道的预测图对应一个关键点位置。
为了便于理解，下面针对网络模型的结构与原理、及训练与测试过程做详细的介绍。
一、网络模型的结构与原理。
如图1所示，关键点定位神经网络模型包含预处理部分与沙漏型结构部分。
所述预处理部分用于对输入的训练影像进行预处理，初步提取特征。
所述沙漏型结构部分由一系列具有相同结构的沙漏型子网络级联而成；所述沙漏型子网络对输入特征先进行下采样，再提取多尺度信息及骨骼的全局空间结构信息，最后通过上采样恢复到与输入特征相同大小。
示例性的，下采样可通过最大池化实现，上采样通过双线性插值实现。
具体来说，通过下采样得到高层语义特征，再依次送入尺度特征捕捉模块(SFEM)与全局依赖捕捉模块(GDCM)提取输入特征的多尺度信息、骨骼的全局空间结构信息
如图2所示，给出了尺度特征捕捉模块与全局依赖捕捉模块的结构。
右侧为尺度特征捕捉模块，通过尺度特征捕捉模块提取输入特征的多尺度信息。尺度特征捕捉模块借鉴了金字塔池化的思想来处理多尺度变化。与金字塔池化不同的是，尺度特征捕捉模块并没有使用池化操作而是使用空洞卷积来得到不同感受野的特征从而构成特征金字塔结构。所述尺度特征捕捉模块包括四个并行分支：卷积核大小为1×1的普通卷积、卷积核大小为3×3的普通卷积(普通卷积的扩张率为1)、卷积核大小为3×3且扩张率为3的空洞卷积、以及卷积核大小为3×3且扩张率为5的空洞卷积；再通过逐点相加的策略将四个并行分支的结果结合在一起，输出蕴含多尺度信息的特征图。
左侧为全局依赖捕捉模块，通过全局依赖捕捉模块通过计算点与点之间的相关来得到骨骼的全局空间结构信息。所述全局依赖捕捉模块输入为特征图X，大小记为H×W，H、W分别为特征图的高、宽；特征图X中每个点都是一个C维向量，循环计算出每个点与所有点的相关，点i和点j之间的相关计算结果为：
Figure BDA0002585771140000031
其中，Xi,k、Xj,k表示特征图X位置分别为i、j，第k维的元素的像素值，0≤i,j≤HW-1。
最终得到大小为H×W的相关图R，相关图R中每个点通道维度都为HW；利用图R来改进特征图X得到输出Y，其大小与输入X相同，高为H，宽为W，通道维度为C。位置为i第j维的元素计算方式为：
Figure BDA0002585771140000041
其中，Ri,s表示相关图R的位置为i、第s维元素的像素值，Xs,k表示特征图X中位置为s、第k维元素的像素值，0≤i≤HW-1,0≤k≤C-1。
上述公式各项参数的角标中，前一项表示位置，后一项表示通道维度。
GDCM的输出进行上采样得到一个沙漏型子网络的输出，如图1，n个结构相同的沙漏型子网络级联构成了完整的网络，各沙漏型子网络内部的卷积操作可以改变特征图的通道数，上采样也是一系列卷积和池化的组合，最终由最后一个沙漏型子网络的输出即为网络模型输出的关键点位置的预测图，即计算每个通道计算值最大的位置就可以得到N个关键点的位置(N通道预测图)。
二、网络训练。
本发明实施例中，需要收集一些预先进行了N个关键点标注的下肢X光影像，并以此制作深度学习数据集。然后，随机将数据集分为两份作为训练集和测试集，例如，数量比为五比一。通常标注工作由技术专家完成，使得标注的关键点足够准确。如图3所示，示出了进行了N个关键点标注的下肢X光影像的示例，其中N＝16，也即标注了16个关键点。以左股骨为例，C和D为左股骨的底部左右顶点，A和B为左股骨的近邻膝关节三分之一处左右边界点，其他三块骨头上的关键点类似。
训练时，每次取8张训练影像送入图1所示的网络模型中进行训练，对应训练影像的每一关键点位置数据都被转化为一个N通道的高斯图，并且每个通道高斯图的顶点设置为相应关键点的位置，从而得到每一训练影像的N通道标签图；每一训练影像经过关键点定位神经网络模型都会输出N通道预测图。
通过N通道标签图与N通道预测图的均方误差构建损失函数，表示为：
Figure BDA0002585771140000042
其中，tk,n表示标签图中位置为k、第n维元素的像素值，pk,n表示预测图中对应元素的像素值，标签图与预测图尺寸相同，高、宽分别为H、W。
循环更新网络参数，使得损失最小化，从而得到训练好的网络模型。
三、测试阶段。
测试阶段与训练阶段类似，直接将下肢X光影像输入至训练好的关键点定位神经网络模型，获得N通道的预测图，每一通道的预测图对应一个关键点位置。
通过本发明实施例提供的上述方案获得关键点后，可以做一些科研分析、实验分析、相关操作人员培训等工作等，但是后续具体应用方式本发明不做限定。
举例来说：如图3所示，关键点数目为16个，左右下肢各自为4组，其中两组位于股骨(Femur)，两组位于胫骨(Tibia)；股骨中两组关键点的中点连线即为股骨轴线，即图3中，“AB”中点与“CD”中点的连线；同理，胫骨中两组关键点的中点连线即为胫骨轴线，通过胫骨轴线与股骨轴线得到股胫角(aTFA)。由于本发明的定位精度较高，因此，上述结果可用于操作人员的培训、考核，或者相关科研工作。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例可以通过软件实现，也可以借助软件加必要的通用硬件平台的方式来实现。基于这样的理解，上述实施例的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求书的保护范围为准。

Claims (4)

1.一种下肢X光影像中关键点提取方法，其特征在于，包括：
获取预先进行了N个关键点标注的下肢X光影像，并以此构建训练集；
构建关键点定位神经网络模型，通过关键点定位神经网络模型提取多尺度信息进而提取骨骼的全局空间结构信息，从而预测关键点位置；
训练阶段，训练集中每一训练影像的每一关键点位置数据都被转化为一个通道的高斯图，并且每个通道高斯图的顶点设置为相应关键点的位置，从而得到每一训练影像的N通道标签图；每一训练影像经过关键点定位神经网络模型都会输出包含关键点位置的N通道预测图；通过N通道标签图与N通道预测图的误差构建损失函数并进行网络训练；
测试阶段，将下肢X光影像输入至训练后的关键点定位神经网络模型，获得N通道的预测图，每一通道的预测图对应一个关键点位置；
其中，通过全局依赖捕捉模块提取骨骼的全局空间结构信息；所述全局依赖捕捉模块输入为蕴含多尺度信息的特征图X，大小记为H×W，H、W分别为特征图的高、宽；特征图X中每个点都是一个C维向量，循环计算出每个点与所有点的相关，点i和点j之间的相关计算结果为：
Figure FDA0003147288740000011
其中，Xi,k、Xj,k表示特征图X中i、j位置处，第k维元素的像素值，0≤i,j≤HW-1；
最终得到大小为H×W的相关图R，相关图R中每个点通道维度都为HW；利用图R来改进特征图X得到输出Y：
Figure FDA0003147288740000012
其中，Ri,s表示相关图R的位置为i、第s维元素的像素值，Xs,k表示特征图X中位置为s、第k维元素的像素值，0≤i≤HW-1,0≤k≤C-1。
2.根据权利要求1所述的一种下肢X光影像中关键点提取方法，其特征在于，所述关键点定位神经网络模型其包含预处理部分与沙漏型结构部分；所述预处理部分用于对输入的训练影像进行预处理，初步提取特征；所述沙漏型结构部分由一系列具有相同结构的沙漏型子网络级联而成；所述沙漏型子网络对输入特征先进行下采样，再提取多尺度信息及骨骼的全局空间结构信息，最后通过上采样恢复到与输入特征相同大小。
3.根据权利要求1或2所述的一种下肢X光影像中关键点提取方法，其特征在于，通过尺度特征捕捉模块提取输入特征的多尺度信息；所述尺度特征捕捉模块包括四个并行分支：卷积核大小为1×1且扩张率为1的卷积、卷积核大小为3×3且扩张率为1的卷积、卷积核大小为3×3且扩张率为3的空洞卷积、以及卷积核大小为3×3且扩张率为5的空洞卷积；
再通过逐点相加的策略将四个并行分支的结果结合在一起，输出蕴含多尺度信息的特征图。
4.根据权利要求1所述的一种下肢X光影像中关键点提取方法，其特征在于，
通过N通道标签图与N通道预测图的均方误差构建损失函数，表示为：
Figure FDA0003147288740000021
其中，tk,n表示标签图中位置为k、第n维元素的像素值，pk,n表示预测图中对应元素的像素值，标签图与预测图尺寸相同，高、宽分别为H、W。
CN202010680826.2A 2020-07-15 2020-07-15 下肢x光影像中关键点提取方法 Active CN111882532B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010680826.2A CN111882532B (zh) 2020-07-15 2020-07-15 下肢x光影像中关键点提取方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010680826.2A CN111882532B (zh) 2020-07-15 2020-07-15 下肢x光影像中关键点提取方法

Publications (2)

Publication Number Publication Date
CN111882532A CN111882532A (zh) 2020-11-03
CN111882532B true CN111882532B (zh) 2021-10-01

Family

ID=73150858

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010680826.2A Active CN111882532B (zh) 2020-07-15 2020-07-15 下肢x光影像中关键点提取方法

Country Status (1)

Country Link
CN (1) CN111882532B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113870261B (zh) * 2021-12-01 2022-05-13 杭州柳叶刀机器人有限公司 用神经网络识别力线的方法与系统、存储介质及电子设备
CN114429192B (zh) * 2022-04-02 2022-07-15 中国科学技术大学 一种图像匹配方法、装置和电子设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110084161A (zh) * 2019-04-17 2019-08-02 中山大学 一种人体骨骼关键点的快速检测方法及系统
CN110288583A (zh) * 2019-06-27 2019-09-27 中国科学技术大学 髋关节影像中的关键点自动提取方法
CN110634133A (zh) * 2019-09-04 2019-12-31 杭州健培科技有限公司 一种基于x线平片的膝关节骨科测量方法及装置
CN110738654A (zh) * 2019-10-18 2020-01-31 中国科学技术大学 髋关节影像中的关键点提取及骨龄预测方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110084161A (zh) * 2019-04-17 2019-08-02 中山大学 一种人体骨骼关键点的快速检测方法及系统
CN110288583A (zh) * 2019-06-27 2019-09-27 中国科学技术大学 髋关节影像中的关键点自动提取方法
CN110634133A (zh) * 2019-09-04 2019-12-31 杭州健培科技有限公司 一种基于x线平片的膝关节骨科测量方法及装置
CN110738654A (zh) * 2019-10-18 2020-01-31 中国科学技术大学 髋关节影像中的关键点提取及骨龄预测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Stacked Hourglass Networks for Human Pose Estimation;Alejandro Newell等;《ECCV2016：Computer Vision》;20160917;第9912卷;第483-499页 *

Also Published As

Publication number Publication date
CN111882532A (zh) 2020-11-03

Similar Documents

Publication Publication Date Title
EP3961484B1 (en) Medical image segmentation method and device, electronic device and storage medium
Vasconcelos et al. Experiments using deep learning for dermoscopy image analysis
CN108537742B (zh) 一种基于生成对抗网络的遥感图像全色锐化方法
CN109784283B (zh) 基于场景识别任务下的遥感图像目标提取方法
CN110929736A (zh) 多特征级联rgb-d显著性目标检测方法
CN109754007A (zh) 前列腺手术中外包膜智能检测和预警方法及系统
CN111882532B (zh) 下肢x光影像中关键点提取方法
Zhang et al. Relation changes matter: Cross-temporal difference transformer for change detection in remote sensing images
CN113191489B (zh) 二值神经网络模型的训练方法、图像处理方法和装置
Delibasoglu et al. Improved U-Nets with inception blocks for building detection
Wang et al. RSCNet: A residual self-calibrated network for hyperspectral image change detection
CN117496347A (zh) 遥感影像建筑物提取方法、装置及介质
Andermatt et al. A weakly supervised convolutional network for change segmentation and classification
Christophe et al. Open source remote sensing: Increasing the usability of cutting-edge algorithms
CN114612902A (zh) 图像语义分割方法、装置、设备、存储介质及程序产品
Li et al. Wavelet u-net for medical image segmentation
Hu et al. Supervised multi-scale attention-guided ship detection in optical remote sensing images
Tao et al. MFFDNet: Single Image Deraining via Dual-Channel Mixed Feature Fusion
CN116894943A (zh) 一种双约束的伪装目标检测方法及系统
Jia et al. Siamese Meets Diffusion Network: SMDNet for Enhanced Change Detection in High-Resolution RS Imagery
CN116543165A (zh) 一种基于双通道复合深度网络的遥感图像果树分割方法
Sri et al. Detection Of MRI Brain Tumor Using Customized Deep Learning Method Via Web App
Qi et al. JAED-Net: joint attention encoder–decoder network for road extraction from remote sensing images
CN115861207A (zh) 一种轻量化的医学图像分割方法和系统
CN111626972B (zh) Ct图像重构方法、模型训练方法及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant