CN113706463A - 基于深度学习的关节影像关键点自动检测方法、装置、设备及存储介质 - Google Patents

基于深度学习的关节影像关键点自动检测方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN113706463A
CN113706463A CN202110827759.7A CN202110827759A CN113706463A CN 113706463 A CN113706463 A CN 113706463A CN 202110827759 A CN202110827759 A CN 202110827759A CN 113706463 A CN113706463 A CN 113706463A
Authority
CN
China
Prior art keywords
key point
sample image
predicted
detection model
thermodynamic diagram
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110827759.7A
Other languages
English (en)
Other versions
CN113706463B (zh
Inventor
翟方文
丁玉国
乔天
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Jianjia Robot Co ltd
Original Assignee
Hangzhou Jianjia Robot Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Jianjia Robot Co ltd filed Critical Hangzhou Jianjia Robot Co ltd
Priority to CN202110827759.7A priority Critical patent/CN113706463B/zh
Publication of CN113706463A publication Critical patent/CN113706463A/zh
Application granted granted Critical
Publication of CN113706463B publication Critical patent/CN113706463B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30008—Bone
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种基于深度学习的关节影像关键点自动检测方法、装置、设备及存储介质。该方法包括：获取样本图像，所述样本图像包括关键点位置的标注信息；将所述样本图像输入预设的关键点检测模型，所述关键点检测模型包括U‑Net网络；利用所述预设的关键点检测模型对所述样本图像进行关键点检测，得到所述样本图像的预测关键点的第一热力图；根据所述样本图像的预测关键点的第一热力图和设定的损失函数对所述预设的关键点检测模型的网络权值进行训练，得到目标关键点检测模型。本发明的技术能够实现关节影像中关键点的自动提取，提高关键点检测的一致性，降低人为因素的影响。

Description

基于深度学习的关节影像关键点自动检测方法、装置、设备及 存储介质
技术领域
本发明属于医学影像关键点检测技术领域，尤其涉及一种基于深度学习的 关节影像关键点检测方法及装置、用于确定关节假体置换位置的方法及装置、 计算设备及计算机存储介质。
背景技术
诸如髋关节置换手术等关节置换手术是目前治疗患病关节，提高患者生活 质量最有效的方法之一。随着中国人口老龄化问题凸显，关节置换手术的现实 意义更加显著。成功的关节置换手术依赖于准确、完备、详尽的术前规划方案， 其中包括植入假体的型号和位姿的选择等。骨骼关键点的选择是制定术前规划 方案的关键步骤。利用骨骼关键点可以确定骨骼的方位并为假体型号、位姿设 定等提供依据。传统流程中，需要医生手动选择关键点，这不仅依赖于医生的 经验和对相关软件的熟悉程度，操作比较耗时，而且很容易引入人为误差。
发明内容
本发明的目的在于提供一种基于深度学习的关节影像关键点检测方法及装 置、用于确定关节假体置换位置的方法及装置、计算设备及计算机存储介质， 实现关节影像中关键点的自动提取，提高关键点检测的一致性，降低人为因素 的影响。
本发明提供一种基于深度学习的关节影像关键点检测方法，其特征在于， 利用所述方法中基于深度学习的关节影像关键点检测模型从关节影像中检测出 关键点，该方法包括：
获取样本图像，所述样本图像包括关键点位置的标注信息；
将所述样本图像输入预设的关键点检测模型，所述关键点检测模型包括U-Net网络；
利用所述预设的关键点检测模型对所述样本图像进行关键点检测，得到所 述样本图像的预测关键点的第一热力图；
根据所述样本图像的预测关键点的第一热力图和设定的损失函数对所述预 设关键点检测模型的网络权值进行训练，得到目标关键点检测模型。
作为优选，所述基于深度学习的关节影像关键点检测方法还包括：对所述 样本图像进行处理，得到所述样本图像中的标注关键点的热力图；所述根据所 述样本图像的预测关键点的第一热力图和设定的损失函数训练所述预设的关键 点检测模型，得到目标关键点检测模型，包括：根据所述样本图像的预测关键 点的第一热力图、标注关键点的热力图和设定的损失函数训练所述预设的关键 点检测模型，得到目标关键点检测模型。
进一步地，所述对所述样本图像进行处理，得到所述样本图中的标注关键 点的热力图，包括：使用多个不同参数的高斯分布核来得到多个所述样本图像 中的标注关键点的热力图；所述根据所述样本图像的预测关键点的第一热力图、 标注关键点的热力图和设定的损失函数训练所述预设的关键点检测模型，得到 目标关键点检测模型，包括：使用多个所述样本图像中的标注关键点的热力图 对所述预设的关键点检测模型进行训练。
进一步地，还包括：使用目标关键点检测模型对所述样本图像进行处理得 到所述样本图像的预测关键点的第二热力图；对所述样本图像的预测关键点的 第二热力图进行处理得到所述样本图像中关键点的预测坐标；根据所述样本图 像中关键点的预测坐标和真实坐标确定所述目标关键点检测模型的检测误差； 根据所述目标关键点检测模型的检测误差对所述目标检测模型进行评估。
进一步地，所述对所述样本图像的预测关键点的第二热力图进行处理得到 所述样本图像中关键点的预测坐标，包括：确定所述样本图像的预测关键点的 第二热力图中具有最大响应的像素，并将该最大响应的像素的坐标作为所述样 本图像中关键点的预测坐标；或者计算所述样本图像的预测关键点的第二热力 图的重心，并将其作为所述样本图像中关键点的预测坐标；或者对所述样本图 像的预测关键点的第二热力图进行预处理，计算预处理后的所述样本图像的预 测关键点的第二热力图的重心，并将其作为所述样本图像中关键点的预测坐标。
进一步地，所述对所述样本图像的预测关键点的第二热力图进行预处理， 包括：使用设定阈值对所述样本图像的预测关键点的第二热力图的响应进行过 滤；或者使用响应的最大值对所述样本图像的预测关键点的第二热力图进行归 一化，并使用设定阈值进行过滤；或者使用指数函数对所述样本图像的预测关 键点的第二热力图进行处理。
进一步地，所述U-Net网络包括编码模块和解码，所述解码模块使用重采 样操作或反卷积操作。
进一步地，所述关键点检测模型还包括SCN网络，所述U-Net网络用于对 所述样本图像进行处理得到局部热力图；所述SCN网络用于对所述局部热力图 进行处理，得到空间构型热力图；所述预测关键点的热第一力图根据所述局部 外观热力图以及所述空间构型热力图得到。
进一步地，在利用所述预设的关键点检测模型对所述样本图像进行关键点 检测，得到所述样本图像的预测关键点的第一热力图之前，还包括：使用均值 为0，标准差为0.001的正态分布对所述U-Net网络和所述SCN网络的最后一 层卷积层的权重进行初始化。
进一步地，根据所述样本图像的预测关键点的第一热力图和设定的损失函 数训练所述预设的关键点检测模型，得到目标关键点检测模型，包括：
对所述预测关键点的第一热力图处理得到预测关键点的第三热力图；
根据所述预测关键点的第三热力图得到关键点坐标的预测值以及所述预测 关键点的第三热力图在各个方向的方差；
根据关键点坐标的预测值、所述预测关键点的第三热力图在各个方向的方 差、以及关键点坐标的实际值和目标方差，以及设定损失函数训练所述预设的 关键点检测模型，得到目标关键点检测模型。
进一步地，所述损失函数为：
Figure BDA0003174302090000041
其中，pred为关键点坐标的预测值，y为关键点坐标的实际值，Varx、Vary和 Varz为所述第三预测关键点的热力图在x,y,z方向上的方差，σ为目标方差，α为 权重因子。
进一步地，所述关键点的数量为18。
本发明还提供了一种用于确定关节假体置换位置的方法，包括：
获取待提取关键点的关节影像；
利用第一方面所述的方法训练的关键点检测模型从所述关节影像提取所述 关键点；
根据提取的所述关键点确定假体的置换位置。
作为优选，所述关节影像包括髋关节影像。
进一步地，所述关键点包括：左髂前上棘，右髂前上棘，左髋臼前缘中心、 右髋臼前缘中心、左髋臼上缘中心、右髋臼上缘中心、左髋臼后缘中心、右髋 臼后缘中心、左髋臼旋转中心、右髋臼旋转中心、左耻骨突起中心、右耻骨突 起中心、左股骨头中心、右股骨头中心、左大转子、右大转子、左小转子、右 小转子。
本发明还提供了一种对关节影像的关键点检测模型网络权值进行训练的装 置，所述装置包括：
样本获取模块，获取样本图像，所述样本图像包括关键点位置的标注信息；
输入模块，用于将所述样本图像输入预设的关键点检测模型，所述关键点 检测模型包括U-Net网络；
第一预测模块，用于利用所述预设的关键点检测模型对所述样本图像进行 关键点检测，得到所述样本图像的预测关键点的第一热力图；
训练模块，用于根据所述样本图像的预测关键点的第一热力图和设定的损 失函数对所述预设的关键点检测模型网络权值进行训练，得到目标关键点检测 模型。
本发明还提供了一种用于确定关节假体置换位置的装置，包括：
图片获取模块，用于获取待提取关键点的关节影像；
预测模块，用于利用本发明装置训练的关键点检测模型从所述关节影像提 取所述关键点；
确定模块，用于根据提取的所述关键点确定假体的置换位置。
本发明还提供了一种计算设备，该设备包括：处理器，以及存储有计算机 程序指令的存储器；所述处理器读取并执行所述计算机程序指令，以实现第一 方面所述对关节影像的关键点检测模型网络权值进行训练的方法，或第二方面 所述的用于确定关节假体置换位置的方法。
本发明提供了一种计算机存储介质，所述计算机存储介质上存储有计算机 程序指令，所述计算机程序指令被处理器执行时实现第一方面所述的对关节影 像的关键点检测模型网络权值进行训练的方法，或第二方面所述的用于确定关 节假体置换位置的方法。
本发明基于深度学习的关节影像关键点检测方法及装置、用于确定关节假 体置换位置的方法及装置、计算设备及计算机存储介质，能够实现关节影像中 关键点的自动提取，提高关键点检测的一致性，降低人为因素的影响。
附图说明
为了更清楚地说明本发明的技术方案，下面将对本发明中所需要使用的附 图作简单的介绍，对于本领域普通技术人员来讲，在不付出创造性劳动的前提 下，还可以根据这些附图获得其他的附图。
图1是本发明实施例所使用U-Net网络的结构示意图；
图2示出了本发明提供的基于深度学习的关节影像关键点检测方法的流程 示意图；
图3示出了本发明提供的用于评估目标关键点检测模型的方法的流程示意 图；
图4是本发明所使用U-Net网络的结构示意图；
图5是本发明提供的用于确定关节假体置换位置的方法的流程示意图；
图6是本发明提供的对关节影像中关键点检测模型网络权值进行训练的装 置的结构示意图；
图7是本发明提供的用于确定关节假体置换位置的装置的结构示意图；
图8是本发明提供的一种计算设备的结构示意图。
具体实施方式
下面将详细描述本公开的各个方面的特征和示例性实施例，为了使本公开 的目的、技术方案及优点更加清楚明白，以下结合附图及具体实施例，对本公 开进行进一步详细描述。应理解，此处所描述的具体实施例仅意在解释本公开， 而不是限定本公开。对于本领域技术人员来说，本公开可以在不需要这些具体 细节中的一些细节的情况下实施。下面对实施例的描述仅仅是为了通过示出本 公开的示例来提供对本公开更好的理解。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将 一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些 实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包 含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素 的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的 其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在 没有更多限制的情况下，由语句“包括……”限定的要素，并不排除在包括所 述要素的过程、方法、物品或者设备中还存在另外的相同要素。
U-Net在网络结构上使用了编码器、解码器思想。在编码的过程中，U-Net 使用了多级编码。为了防止压缩时信息的逐层丢失，以致解码时没有全局的信 息。U-Net将每一级编码的中间结果直通到解码过程的对应层级，保证了解码 过程中，既可以从上一级的解码结果中得到压缩的、高层级的信息，也可以从 对应的编码层级中得到未压缩的、底层级的信息。这一网络结构成功解决了医 学领域的图像分割问题，并超越了以往的其他方法。同时，这一网络结构很容 易迁移到关键点检测问题上，详见下文。
本发明提供了基于U-Net的关节影像关键点检测模型及其训练方法。图1 示出了本发明所使用U-Net网络的结构示意图。图中，conv(+BN)+ReLu对 应的箭头表示依次进行三维卷积、批归一化(batch normalization)和线性整流 (ReLu)激活函数操作。为了保证在卷积操作进行前后，图像的大小不会发生 变化，我们对图像做了边缘填充。图中的maxpool对应的箭头表示最大池化操 作；concat对应的箭头表示拼接操作；upsample对应的箭头表示重采样操作。 在重采样时，我们将图像进行放大，以使得可以和来自上一层的图像进行拼接。 最后的conv对应的箭头是卷积操作，使得网络最终输出图像的通道数和关键点的个数一致。这就是网络输出的热力图。网络输入是单一通道(黑白)的医学 影像，因此左上角的图像的通道数为1。
本发明所使用的U-Net网络的处理过程为：首先，如图1中左半部分所示， 输入的图像经过两次卷积操作后进行一次最大池化，使得网络下一层接收到的 图像的尺寸在上一层的基础上成倍减小。这样的操作在网络中共进行三次，分 别形成三个中间结果。如图1中右半部分所示，最下层的图像在经过卷积后， 通过一次上采样，使得尺寸成倍增大。与先前尺寸匹配的中间结果进行拼接后， 再度进行卷积和上采样操作。如此进行三轮，直到图像的大小与网络输入的大 小一致。经过最终的卷积层得到N张热力图，N为关键点的个数。
应当理解，图1所示U-Net仅是一个示例，在本公开其它实施例中可以使 用各种类似结构的U-net，而不限于图1中所示示例。
图2示出了本发明一个实施例提供的对关节影像的关键点检测模型网络权 值进行训练的方法的流程示意图。
本发明提供一种基于深度学习的关节影像关键点检测方法100，所述关节影 像的关键点检测模型用于从关节影像中检测出关键点，如图2所示，该方法100 可以包括以下步骤：
S101，获取样本图像，所述样本图像包括关键点位置的标注信息。
在本发明中，样本图像可以使用公开的医疗影像，例如公开的医疗关节影 像(例如髋关节影像)。示例性地，在本实施例中，样本图像包括89张骨盆CT 扫描图像。在RAS坐标系下，图像的尺寸为400×256×256，体素的尺寸为1mm ×1mm×1mm。这些图像的选取保证完整包含了骨盆，也就是没有被图像边 缘切掉的地方。在本发明中选取了15个关键点位，这些关键点位的标注可以例 如由具有医学影像处理的人完成。
应当理解，所述样本图像包括关键点的位置信息，即通过标注人员对关键 点的位置进行了标注，通过标注的位置可以确定关键点的实际坐标或真实坐标。
还可以理解，对于样本图像，由于数量较少，为了达到更好地训练效果， 在本发明还可以对样本图像进行数据增强处理，例如对样本图像做一定角度旋 转、沿某一轴翻转，以及对体素值做一些伽马校正或高斯模糊等处理。
S102，将所述样本图像输入预设的关键点检测模型，所述关键点检测模型 包括U-Net网络。
当在S101中获取样本图像后，则将样本图像输入至预设的关键点检测模型。 在本发明中，所述关键点检测模型包括U-Net网络，所述U-Net网络的示例结 构如图1所示。
S103，利用所述预设的关键点检测模型对所述样本图像进行关键点检测， 得到所述样本图像的预测关键点的第一热力图。
在本发明中，假设一共需要检测N个关键点，分别记为Li,i＝{1,…,N}。关 键点Li在图像中的位置为ti，预设的关键点检测模型以样本图像x作为输入，为 关键点i生成第一预测关键点的热力图hi(x)。
当在S102中将样本图像输入预设的关键点检测模型之后，则利用所述预设 的关键点检测模型对所述样本图像进行关键点检测，得到所述样本图像的预测 关键点的第一热力图。
S104，根据所述样本图像的预测关键点的第一热力图和设定的损失函数对 所述预设的关键点检测模型网络权值进行训练，得到目标关键点检测模型。
当获得所述样本图像的预测关键点的第一热力图之后，则根据所述样本图 像的预测关键点的热第一力图和设定的损失函数对所述预设的关键点检测模型 网络权值进行训练，得到目标关键点检测模型。
在本公开一实施例中，使用热力图回归来训练关键点检测模型的网络权值， 因此在S104中，根据所述样本图像的预测关键点的第一热力图和设定的损失函 数对所述预设的关键点检测模型网络权值进行训练，得到目标关键点检测模型。 同时，根据所述样本图像的预测关键点的第一热力图和设定的损失函数对所述 预设的关键点检测模型网络权值进行训练，得到目标关键点检测模型，方法100 还包括：对所述样本图像进行处理，得到所述样本图像中的标注关键点的热力 图。具体地，该处理过程可以例如为：对每个标注的关键点，以其坐标点为中 心生成一定半径的高斯分布的球状区域，区域的值全外为0，得到所述样本图像 标注的关键点的热力图。
即，在S104之前，先对样本图像进行预处理来得到所述样本图像中的标注 关键点的热力图作为目标基准(ground truth)，从而基于预测关键点的第一热力 图和目标基准计算损失函数，并根据损失函数调整关键点检测模型的网络权值， 从而实现训练。
假设一共需要检测N个关键点，分别记为Li,i＝{1,…,N}。关键点Li在图像 中的位置为ti，使用高斯分布为关键点Li生成一目标基准热力图。
具体地，可以通过下述公式得到所述样本图像中的标注关键点的热力图：
Figure BDA0003174302090000101
其中，σ参数用于控制热力图中的高斯分布的核的大小，不同的σ表示不同 的高斯分布核大小。
示例性地，在本发明中，设定损失函数为使用MSE(均方差)，在S104中 可以根据损失函数loss＝1/N∑(gi-hi(x))2来训练所述预设的关键点检测模型 的网络权值，得到目标关键点检测模型。
在本发明中，在训练中，为了得到合适参数σ，或者确定σ对关键点检测模 型的影响，方法100，还包括下述步骤：
首先，使用多个大小不同的高斯分布核来得到多个所述样本图中的标注关 键点的热力图。也即，使用多个不同参数的高斯分布核来得到多个所述样本图 像中的标注关键点的热力图。
接着，使用多个所述样本图中的标注关键点的热力图对所述预设的关键点 检测模型的网络权值进行训练。
即在对样本图像进行预处理来得到所述样本图像中的标注关键点的热力图 时，使用不同大小的σ参数。示例性地，在本发明中，σ可以设置为2、4、6、8、 10。
在本公开一些实施例中，对于训练得到的目标检测模型，还可以对其进行 评估，以确认检测误差的大小。
图3示出了本公开一个实施例提供的用于评估目标关键点检测模型的方法 的流程示意图。
如图3所示，本发明提供的用于评估目标关键点检测模型的方法200，包括：
S201，使用目标关键点检测模型对所述样本图像进行处理得到所述样本图 像的第二预测关键点的热力图。
S202，对所述样本图像的预测关键点的第二热力图进行处理得到所述样本 图像中关键点的预测坐标。
S203，根据所述样本图像中关键点的预测坐标和真实坐标确定所述目标关 键点检测模型的检测误差。
S204，根据所述目标关键点检测模型的检测误差对所述目标检测模型进行 评估。
在S201中，当通过方法100完成对预设的关键点检测模型网络权值的训练， 得到目标关键点检测模型之后，则通过目标关键点检测模型对所述样本图像进 行处理得到所述样本图像的预测关键点的第二热力图。
在本发明公开一些实施例中，目标关键点检测模型的网络结构与图1类似。
在S202中，对所述样本图像的预测关键点的第二热力图进行处理得到所述 样本图像中关键点的预测坐标可以通过下述其中一种方法实现。
一，确定所述样本图像的预测关键点的第二热力图中具有最大响应的像素， 并将该最大响应的像素的坐标作为所述样本图像中关键点的预测坐标。例如， 对于为关键点i生成的预测关键点的第二热力图hi(x)，找到热力图中具有最大响 应的像素，并将其作为关键点位置的预测值。即，
Figure BDA0003174302090000121
该方法 为方法一。
二、计算所述样本图像的预测关键点的第二热力图的重心，并将其作为所 述样本图像中关键点的预测坐标。该方法为方法二。
示例性地，热力图是一三维向量，在此用i,j,k表示像素在热力图中的位置。 对于关键点位置的三个分量x,y,z中的x分量
Figure BDA0003174302090000122
按照如下公式给出预测值：
Figure BDA0003174302090000123
类似地，对于另外两个分量y、z，也按照类似公式进行计算，在此不再赘 述。
三、对所述样本图像的预测关键点的第二热力图进行预处理，计算预处理 后的所述样本图像的预测关键点的热力图的重心，并将其作为所述样本图像中 关键点的预测坐标。
具体地，为了抑制热力图中远离关键点的像素的响应对重心计算的干扰， 在本发明中还可以对热力图进行一定的预处理后，得到处理后的热力图h′i(x)， 再按照方法二求出重心，作为关键点位置的预测值。
示例性地，在本发明中，对所述样本图像的预测关键点的第二热力图进行 预处理，可以通过下述方法进行：
(1)使用设定阈值对所述样本图像的预测关键点的第二热力图的响应进行 过滤。即，将热力图中小于阈值的响应进行过滤，即：h′i(x)＝[hi(x)>T]*hi(x)。 该方法为方法三。
(2)使用响应的最大值对所述样本图像的第二预测关键点的热力图进行归 一化，并使用设定阈值进行过滤。这样可以防止推理时输出的热力图在某些图 像的某些关键点附近响应过小，以至于使用上一方法导致无法给出关键点坐标 的预测值。
具体地，
Figure BDA0003174302090000131
该方法为方法四。
(3)使用指数函数对所述样本图像的第二预测关键点的热力图进行处理。 这样可以抑制具有较小响应位置处对重心计算的干扰。即：
h′i(x)＝exp(α*hi(x))
其中，α用于控制抑制较小响应的强度。该方法为方法五。
应当理解，得到关键点在热力图中位置的预测后，需要进行一定的仿射变 换以从关键点在热力图中的坐标转换到关键点在空间中的坐标yispace。这是因为。 图像使用的是RAS坐标系，训练时使用的时IJK坐标系。图像中保存了图像原 点位置处在空间中的位置Origin，以及每个体素的尺寸Spacing。这两者的单位 都为毫米。在网络权值训练时，我们需要将标注数据在LPS坐标系下的位置转 换到在RAS坐标系下的位置，然后再转换到在图像的IJK坐标系下的位置。在 网络推理时，需要反向进行转换，以得到正确结果。
在S203中，示例性地，在本发明中，在得到关键点在空间中的坐标yispace后，可以求得和关键点的位置的真实值tispace之间的距离di来作为检测误差：
di＝‖yispace-tispace‖2
为了在多个方法间相互比较，我们可以对所有测试图像的所有关键点的检 测误差求均值，用于表示方法的准确程度，即平均误差：
dmean＝1/N*M∑x,idi
其中M表示样本图像的数量。
此外，还可以关注各个关键点的检测误差。这是由于不同关键点检测的精 确度对于术前规划的重要性是不同的。对于部分关键点，我们希望较高的检测 精度；而对于另一部分关键点，我们只需要粗略地得到位置即可。对全部关键 点求检测误差的均值无法得到各个关键点的检测情况。因此，在必要时，我们 也会对关键点Li计算检测误差的均值：
di,mean＝1/M∑xdi
在S204中，根据所述目标关键点检测模型的检测误差对所述目标检测模型 进行评估。
即，通过检测误差确定目标检测模型是否符合要求，或者确定多个目标检 测模型中哪一个更符合实际需求。
示例性地，在本公开实施中，考察选取不同的从热力图中提取关键点位置 的算法的误差。我们选取σ＝8，观察使用不同算法时，关键点位置的预测值与真 实值之间的平均误差。其中涉及阈值T的方法，阈值T选取为0.5，方法五的α选 取为20。结果如表2.1所示。
表2.1各类坐标提取算法的平均误差
方法 平均误差
方法一 4.11
方法二 25.12
方法三 3.98
方法四 4.06
方法五 5.01
从表中可以看出，方法一、方法三、方法四的检测误差最好，且不相上下； 方法五检测误差次之；方法二效果最差。方法二效果非常差以至于无法应用的 原因在于，虽然目标基准(ground truth)热力图在关键点附近的值为1，远离 关键点的位置为0，但是推理时网络输出的热力图只能贴近目标基准(ground truth)，而不能达到。由于远离关键点位置处的非0值也参与了关键点位置的预 测值的计算，对最终的结果产生了影响。由于热力图的尺寸较大，这个影响是 不可忽略的。热力图的尺寸为200×128×128，总共为3276800个体素。通过 观察推理时网络输出的热力图，远离关键点处的非零值的为千分之一，甚至万分之一，但由于数量众多，求和后会极大干扰关键点位置的预测。方法五和方 法一类似，都是以网络具有最大响应处作为关键点位置的预测。实验结果表明， 这种方法的检测误差大于方法三和方法四。这说明，网络具有最大响应处并未 出现在关键点位置处，而是出现在了稍有偏差的地方。方法三和方法四检测效 果最优，方法三稍稍占优。
随后，我们考察不同的σ对网络检测误差的影响。结果如表2.2所示
对于σ＝2,4，网络的检测效果相当差。当σ≥6时，σ＝8时效果最好， σ＝6,10时效果次之。我们单独分析σ＝2,4的情况。我们不再计算总体的平 均误差，而针对各个关键点计算平均误差。
对于σ＝2,4的情况，存在网络完全无法为部分关键点生成预测值的情况， 且σ＝2时，这样的关键点的数量更多。这说明，当σ的值较小时，网络无法为 全部的关键点生成预测。这为σ参数的选择提供了下限。
在本发明中，U-Net网络包括编码模块和解码模块，所述解码模块使用重采 样操作和反卷积操作。
为了获得更好的检测性能，我们尝试对图1所使用的U-Net进行了变型， 例如使用反卷积操作代替图1中的重采样操作。
并且，替换为反卷积层后，为了使得U-Net网络中的拼接操作进行时，除 了被拼接的维度以外，被拼接的向量的其他维度相等。设Din为反卷积层输入图 像的某个维度的长度，Dout为输出的对应维度的长度，它们存在如下关系：
Dout＝(Din-1)×stride-2×padding+dilation×(kernel size-1)+output
padding+1
其中，stride设置为2、kernel size设置为2，以使得输出的维度是输入维 度的二倍。dilation设置为1，原因为我们不必在输出中添加空洞。由Dout＝2Din的关系可以得出，padding参数的值为1，output padding的值为1。
在本发明中选取参数α＝6，在修改后的网络上进行训练，训练时使用的参 数与前述实施例保持一致。训练所的模型的检测精度结果如表3.1所示：
表3.1U-net(重采样与U-net(反卷积)的检测精度比较
Figure BDA0003174302090000161
Figure BDA0003174302090000171
由表3.1可以看出，使用反卷积后，网络检测误差得到了改善。
在本公开一些实施例中，为了提高检测精度，还可以增加SCN网络，即关 键点检测模型除了包括U-Net网络，还包括SCN(Spacial Configuration Net)) 网络。所述U-Net网络用于对所述样本图像进行处理得到局部外观热力图；所 述SCN网络用于对所述局部外观热力图进行处理，得到空间构型热力图；所述 第一预测关键点的热力图根据所述局部外观热力图以及所述空间构型热力图得 到。
也就是，将关键点检测模型划分为两个组件。其中一个组件(局部组件) 关注于给出关键点可能的候选位置，这个侯选位置应当是包含一个精准(即距 离真实值近)的位置，同时可以含有其他多个错误的检测位置。另一个组件(全 局组件)则从全局的角度出发，从上一个组件给出的多个候选位置中，去伪存真， 保留正确的检测位置。简单来说，第一个组件给出了假阳性率高，但含有准确 预测位置的检测结果，第二个组件则从第一个组件的结果中剔除错误的检测结 果，保留正确的结果。
从网络设计上，第一个组件应当提供较高的检测精度(可能有假阳性的响 应)，因此可以着重于图像中的局部特征；第二个组件需要从第一个组件的结果 中低精度地去伪存真，因此，需要较高的感知野。这两个组件的输出可以通过 乘法进行交互，将相乘后的结果作为网络的输出。
在本发明中，使用U-Net网络作为局部组件，使用SCN网络作为全局组件。
全局组件(即Spacial组件)以局部组件的输出为输入。全局组件的输出与 局部组件组件的输出逐元素相乘后，作为网络的输出。全局组件组件的具体结 构例如可以为下重采样、六层卷积层、上重采样、激活函数的串联。
在本公开一些实施例中，在利用所述预设的关键点检测模型对所述样本图 像进行关键点检测，得到所述样本图像的第一预测关键点的热力图之前，还包 括：
使用均值为0，标准差为0.001的正态分布对所述U-Net网络和所述SCN 网络的最后一层卷积层的权重进行初始化。
进一步地，在本公开一些实施例中，为了提高关键点检测模型的检测性能， 在模型中，DSNT(differentiable spatial to numerical transform)代替热力图回归 法。在本公开一些实施例中，根据所述样本图像的第一预测关键点的热力图和 设定的损失函数对所述预设的关键点检测模型的网络权值进行训练，得到目标 关键点检测模型，包括：对所述第一预测关键点的热力图得到第三预测关键点 的热力图；根据所述第三预测关键点的热力图得到关键点坐标的预测值以及所 述第三预测关键点的热力图在各个方向的方差；根据关键点坐标的预测值、所 述第三预测关键点的热力图在各个方向的方差、以及关键点坐标的实际值和目 标方差，以及设定损失函数对所述预设的关键点检测模型网络权值进行训练， 得到目标关键点检测模型。
具体地，首先，对于关键点Li网络输出的热力图hi(x)进行预处理，使得热 力图各体素处的值大于0，且和为1。在此可以使用softmax函数进行预处理。 设处理后的热力图为h′i(x)，则：
Figure BDA0003174302090000181
定义矩阵X，使得其尺寸与h′i(x)保持一致，其值由下式给出：
Xi,j,k＝i/n
进而得到x轴上的坐标预测值predx：predx＝<h′i(x),X>F
对于另外两轴上的预测值predx、predy，计算方法相同，不再赘述。
得到坐标预测值后pred，我们可以计算热力图h′i(x)在x轴方向上的方差：
Varx＝<h′i(x),(X-pred)⊙(X-pred)>F
对于另外两轴上的方差，计算方法相同，不再赘述。
损失函数方面，对于坐标预测值使用MSE作为损失函数，对于方差使用 MSE作为损失函数。我们希望方差与目标方差σ靠近。即损失函数
Figure BDA0003174302090000191
其中α是一权重因子，用于控制损失函数中两者的比重。
在网络推理时，由于DSNT已经端到端地对网络进行训练，因此，可以直 接使用DSNT输出的坐标作为网络推理的结果。
图5是本发明提供的用于确定关节假体置换位置的方法的流程示意图。
如图5所示，本发明提供的用于确定关节假体置换位置的方法300，包括：
S301，获取待提取关键点的关节影像。
S302，利用本发明的训练方法训练的关键点检测模型从所述关节影像提取 所述关键点。
S303，根据提取的所述关键点确定假体的置换位置。
示例性地，在本公开一些实施例中，所述关节影像包括髋关节影像。
示例性地，在本公开一些实施例中，所述关键点包括：左髂前上棘，右髂 前上棘，左髋臼前缘中心、右髋臼前缘中心、左髋臼上缘中心、右髋臼上缘中 心、左髋臼后缘中心、右髋臼后缘中心、左髋臼旋转中心、右髋臼旋转中心、 左耻骨突起中心、右耻骨突起中心、左股骨头中心、右股骨头中心、左大转子、 右大转子、左小转子、右小转子。
图6是本发明提供的对关节影像中关键点检测模型网络权值进行训练的装 置的结构示意图。
如图6所示，本发明提供的对关节影像中关键点检测模型网络权值进行训 练的装置500，包括样本获取模块210、输入模块220、第一预测模块230、第 二预测模块240和训练模块250。
样本获取模块210用于获取样本图像，所述样本图像包括关键点位置的标 注信息。样本获取模块210用于执行图2所示的对关节影像中关键点检测模型 网络权值进行训练的方法的中S101。
输入模块220用于将所述样本图像输入预设的关键点检测模型，所述关键 点检测模型包括U-Net网络。输入模块220用于执行图2所示的对关节影像中 关键点检测模型网络权值进行训练的方法的中S102。
第一预测模块230，用于利用所述预设的关键点检测模型对所述样本图像进 行关键点检测，得到所述样本图像的第一预测关键点的热力图。第一预测模块 230用于执行图2所示的对关节影像中关键点检测模型网络权值进行训练的方法 的中S103。
训练模块250用于根据所述样本图像的第一预测关键点的热力图和设定的 损失函数对所述预设的关键点检测模型网络权值进行训练，得到目标关键点检 测模型。训练模块250用于执行图2所示的对关节影像中关键点检测模型网络 权值进行训练的方法的中S104。
图6所示装置中500的各个模块/单元具有实现图2中各个步骤的功能，并 能达到其相应的技术效果，为简洁描述，在此不再赘述。
图7是本发明提供的用于确定关节假体置换位置的装置的结构示意图。
如图7所示，本发明提供的用于确定关节假体置换位置的装置600包括图 片获取模块310、预测模块320和确定模块330。
图片获取模块310用于获取待提取关键点的关节影像。图片获取模块310 用于执行图5所示的用于确定关节假体置换位置的方法中的S301
预测模块320用于利用本发明所述的装置训练的关键点检测模型从所述关 节影像提取所述关键点。预测模块320用于执行图5所示的用于确定关节假体 置换位置的方法中的S302。
确定模块330用于根据提取的所述关键点确定假体的置换位置。确定模块 330用于执行图5所示的用于确定关节假体置换位置的方法中的S303。
图7示装置中600的各个模块/单元具有实现图5中各个步骤的功能，并能 达到其相应的技术效果，为简洁描述，在此不再赘述。
图8示出了本发明提供的计算设备700的硬件结构示意图。
计算设备700可以包括处理器701以及存储有计算机程序指令的存储器702。
具体地，上述处理器701可以包括中央处理器(Central Processing Unit，CPU)，或者特定集成电路(Application Specific Integrated Circuit，ASIC)，或者可以被 配置成实施本发明的一个或多个集成电路。
存储器702可以包括用于数据或指令的大容量存储器。举例来说而非限制， 存储器702可包括硬盘驱动器(Hard Disk Drive，HDD)、软盘驱动器、闪存、 光盘、磁光盘、磁带或通用串行总线(Universal Serial Bus，USB)驱动器或者 两个或更多个以上这些的组合。在一个实例中，存储器702可以包括可移除或 不可移除(或固定)的介质，或者存储器302是非易失性固态存储器。存储器702 可在综合网关容灾设备的内部或外部。
在一个实例中，存储器702可以是只读存储器(Read Only Memory，ROM)。 在一个实例中，该ROM可以是掩模编程的ROM、可编程ROM(PROM)、可 擦除PROM(EPROM)、电可擦除PROM(EEPROM)、电可改写ROM(EAROM) 或闪存或者两个或更多个以上这些的组合。
存储器702可以包括只读存储器(ROM)，随机存取存储器(RAM)，磁盘 存储介质设备，光存储介质设备，闪存设备，电气、光学或其他物理/有形的存 储器存储设备。因此，通常，存储器包括一个或多个编码有包括计算机可执行 指令的软件的有形(非暂态)计算机可读存储介质(例如，存储器设备)，并且 当该软件被执行(例如，由一个或多个处理器)时，其可操作来执行参考根据 本公开的一方面的方法所描述的操作。
处理器701通过读取并执行存储器702中存储的计算机程序指令，以实现 图2所示实施例中的方法/步骤S101至S104，并达到图2和图3所示实例执行 其方法/步骤达到的相应技术效果，为简洁描述在此不再赘述。
在一个实施例中，计算设备700还可包括通信接口703和总线710。其中， 如图8所示，处理器701、存储器702、通信接口703通过总线710连接并完成 相互间的通信。
通信接口703，主要用于实现本发明中各模块、装置、单元和/或设备之间 的通信。
总线710包括硬件、软件或两者，将在线数据流量计费设备的部件彼此耦 接在一起。举例来说而非限制，总线可包括加速图形端口(Accelerated Graphics Port，AGP)或其他图形总线、增强工业标准架构(Extended Industry Standard Architecture，EISA)总线、前端总线(Front Side Bus，FSB)、超传输(Hyper Transport，HT)互连、工业标准架构(Industry Standard Architecture，ISA)总 线、无限带宽互连、低引脚数(LPC)总线、存储器总线、微信道架构(MCA) 总线、外围组件互连(PCI)总线、PCI-Express(PCI-X)总线、串行高级技术 附件(SATA)总线、视频电子标准协会局部(VLB)总线或其他合适的总线或 者两个或更多个以上这些的组合。在合适的情况下，总线710可包括一个或多 个总线。尽管本发明描述和示出了特定的总线，但本公开考虑任何合适的总线 或互连。
另外，结合上述实施例中的对关节影像的关键点检测模型的网络权值进行 训练的方法和用于确定关节假体置换位置的方法，本发明可提供一种计算机存 储介质来实现。该计算机存储介质上存储有计算机程序指令；该计算机程序指 令被处理器执行时实现上述实施例中的任意一种对关节影像的关键点检测模型 网络权值进行训练的方法或用于确定关节假体置换位置的方法。
需要明确的是，本公开并不局限于上文所描述并在图中示出的特定配置和 处理。为了简明起见，这里省略了对已知方法的详细描述。在上述实施例中， 描述和示出了若干具体的步骤作为示例。但是，本公开的方法过程并不限于所 描述和示出的具体步骤，本领域的技术人员可以在领会本公开的精神后，做出 各种改变、修改和添加，或者改变步骤之间的顺序。
以上所述的结构框图中所示的功能块可以实现为硬件、软件、固件或者它 们的组合。当以硬件方式实现时，其可以例如是电子电路、专用集成电路 (Application SpecificIntegrated Circuit，ASIC)、适当的固件、插件、功能卡等 等。当以软件方式实现时，本公开的元素是被用于执行所需任务的程序或者代 码段。程序或者代码段可以存储在机器可读介质中，或者通过载波中携带的数 据信号在传输介质或者通信链路上传送。“机器可读介质”可以包括能够存储 或传输信息的任何介质。机器可读介质的例子包括电子电路、半导体存储器设 备、ROM、闪存、可擦除ROM(EROM)、软盘、CD-ROM、光盘、硬盘、光 纤介质、射频(Radio Frequency，RF)链路，等等。代码段可以经由诸如因特 网、内联网等的计算机网络被下载。
还需要说明的是，本公开中提及的示例性实施例，基于一系列的步骤或者 装置描述一些方法或系统。但是，本公开不局限于上述步骤的顺序，也就是说， 可以按照实施例中提及的顺序执行步骤，也可以不同于实施例中的顺序，或者 若干步骤同时执行。
上面参考根据本公开的实施例的方法、装置(系统)和计算机程序产品的 流程图和/或框图描述了本公开的各方面。应当理解，流程图和/或框图中的每个 方框以及流程图和/或框图中各方框的组合可以由计算机程序指令实现。这些计 算机程序指令可被提供给通用计算机、专用计算机、或其它可编程数据处理装 置的处理器，以产生一种机器，使得经由计算机或其它可编程数据处理装置的 处理器执行的这些指令使能对流程图和/或框图的一个或多个方框中指定的功能 /动作的实现。这种处理器可以是但不限于是通用处理器、专用处理器、特殊应 用处理器或者现场可编程逻辑电路。还可理解，框图和/或流程图中的每个方框 以及框图和/或流程图中的方框的组合，也可以由执行指定的功能或动作的专用 硬件来实现，或可由专用硬件和计算机指令的组合来实现。
以上所述，仅为本公开的具体实施方式，所属领域的技术人员可以清楚地 了解到，为了描述的方便和简洁，上述描述的系统、模块和单元的具体工作过 程，可以参考前述方法实施例中的对应过程，在此不再赘述。应理解，本公开 的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本公开揭露的技 术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本 公开的保护范围之内。

Claims (19)

1.一种基于深度学习的关节影像关键点检测方法，其特征在于，利用所述方法中基于深度学习的关节影像关键点检测模型从关节影像中检测出关键点，该方法包括：
获取样本图像，所述样本图像包括关键点位置的标注信息；
将所述样本图像输入预设的关键点检测模型，所述关键点检测模型包括U-Net网络；
利用所述预设的关键点检测模型对所述样本图像进行关键点检测，得到所述样本图像的预测关键点的第一热力图；
根据所述样本图像的预测关键点的第一热力图和设定的损失函数对所述预设关键点检测模型的网络权值进行训练，得到目标关键点检测模型。
2.根据权利要求1所述的基于深度学习的关节影像关键点检测方法，其特征在于，还包括：
对所述样本图像进行处理，得到所述样本图像中的标注关键点的热力图；
所述根据所述样本图像的预测关键点的第一热力图和设定的损失函数训练所述预设的关键点检测模型，得到目标关键点检测模型，包括：
根据所述样本图像的预测关键点的第一热力图、标注关键点的热力图和设定的损失函数训练所述预设的关键点检测模型，得到目标关键点检测模型。
3.根据权利要求2所述的基于深度学习的关节影像关键点检测方法，其特征在于，所述对所述样本图像进行处理，得到所述样本图中的标注关键点的热力图，包括：
使用多个不同参数的高斯分布核来得到多个所述样本图像中的标注关键点的热力图；
所述根据所述样本图像的预测关键点的第一热力图、标注关键点的热力图和设定的损失函数训练所述预设的关键点检测模型，得到目标关键点检测模型，包括：
使用多个所述样本图像中的标注关键点的热力图对所述预设的关键点检测模型进行训练。
4.根据权利要求1-3中的任一项所述的基于深度学习的关节影像关键点检测方法，其特征在于，还包括：
使用目标关键点检测模型对所述样本图像进行处理得到所述样本图像的预测关键点的第二热力图；
对所述样本图像的预测关键点的第二热力图进行处理得到所述样本图像中关键点的预测坐标；
根据所述样本图像中关键点的预测坐标和真实坐标确定所述目标关键点检测模型的检测误差；
根据所述目标关键点检测模型的检测误差对所述目标检测模型进行评估。
5.根据权利要求4所述的基于深度学习的关节影像关键点检测方法，其特征在于，所述对所述样本图像的预测关键点的第二热力图进行处理得到所述样本图像中关键点的预测坐标，包括：
确定所述样本图像的预测关键点的第二热力图中具有最大响应的像素，并将该最大响应的像素的坐标作为所述样本图像中关键点的预测坐标；或者计算所述样本图像的预测关键点的第二热力图的重心，并将其作为所述样本图像中关键点的预测坐标；或者对所述样本图像的预测关键点的第二热力图进行预处理，计算预处理后的所述样本图像的预测关键点的第二热力图的重心，并将其作为所述样本图像中关键点的预测坐标。
6.根据权利要求5所述的基于深度学习的关节影像关键点检测方法，其特征在于，所述对所述样本图像的预测关键点的第二热力图进行预处理，包括：
使用设定阈值对所述样本图像的预测关键点的第二热力图的响应进行过滤；或者使用响应的最大值对所述样本图像的预测关键点的第二热力图进行归一化，并使用设定阈值进行过滤；或者使用指数函数对所述样本图像的预测关键点的第二热力图进行处理。
7.根据权利要求1-6中的任一项所述的基于深度学习的关节影像关键点检测方法，其特征在于，所述U-Net网络包括编码模块和解码，所述解码模块使用重采样操作或反卷积操作。
8.根据权利要求1-6中的任一项所述的基于深度学习的关节影像关键点检测方法，其特征在于，所述关键点检测模型还包括SCN网络，
所述U-Net网络用于对所述样本图像进行处理得到局部热力图；
所述SCN网络用于对所述局部热力图进行处理，得到空间构型热力图；
所述预测关键点的热第一力图根据所述局部外观热力图以及所述空间构型热力图得到。
9.根据权利要求8所述的基于深度学习的关节影像关键点检测方法，其特征在于，在利用所述预设的关键点检测模型对所述样本图像进行关键点检测，得到所述样本图像的预测关键点的第一热力图之前，还包括：
使用均值为0，标准差为0.001的正态分布对所述U-Net网络和所述SCN网络的最后一层卷积层的权重进行初始化。
10.根据权利要求1-9中的任一项所述的基于深度学习的关节影像关键点检测方法，其特征在于，根据所述样本图像的预测关键点的第一热力图和设定的损失函数训练所述预设的关键点检测模型，得到目标关键点检测模型，包括：
对所述预测关键点的第一热力图处理得到预测关键点的第三热力图；
根据所述预测关键点的第三热力图得到关键点坐标的预测值以及所述预测关键点的第三热力图在各个方向的方差；
根据关键点坐标的预测值、所述预测关键点的第三热力图在各个方向的方差、以及关键点坐标的实际值和目标方差，以及设定损失函数训练所述预设的关键点检测模型，得到目标关键点检测模型。
11.根据权利要求10所述的基于深度学习的关节影像关键点检测方法，其特征在于，所述损失函数为：
Figure FDA0003174302080000041
其中，pred为关键点坐标的预测值，y为关键点坐标的实际值，Varx、Vary和Varz为所述第三预测关键点的热力图在x，y，z方向上的方差，σ为目标方差，α为权重因子。
12.根据权利要求1所述的基于深度学习的关节影像关键点检测方法，其特征在于，所述关键点的数量为18。
13.一种用于确定关节假体置换位置的方法，其特征在于，包括：
获取待提取关键点的关节影像；
利用权利要求1-12中的任一项所述的方法训练得到的目标关键点检测模型从所述关节影像提取所述关键点；
根据提取的所述关键点确定假体的置换位置。
14.根据权利要求13所述的用于确定关节假体置换位置的方法，其特征在于，所述关节影像包括髋关节影像。
15.根据权利要求14所述的用于确定关节假体置换位置的方法，其特征在于，所述关键点包括：左髂前上棘，右髂前上棘，左髋臼前缘中心、右髋臼前缘中心、左髋臼上缘中心、右髋臼上缘中心、左髋臼后缘中心、右髋臼后缘中心、左髋臼旋转中心、右髋臼旋转中心、左耻骨突起中心、右耻骨突起中心、左股骨头中心、右股骨头中心、左大转子、右大转子、左小转子、右小转子。
16.一种训练关节影像的关键点检测模型的装置，其特征在于，所述装置包括：
样本获取模块，用于获取样本图像，所述样本图像包括关键点位置的标注信息；
输入模块，用于将所述样本图像输入预设的关键点检测模型，所述关键点检测模型包括U-Net网络；
第一预测模块，用于利用所述预设的关键点检测模型对所述样本图像进行关键点检测，得到所述样本图像的预测关键点的第一热力图；
训练模块，用于根据所述样本图像的预测关键点的第一热力图和设定的损失函数训练所述预设的关键点检测模型，得到目标关键点检测模型。
17.一种用于确定关节假体置换位置的装置，其特征在于，包括：
图片获取模块，用于获取待提取关键点的关节影像；
预测模块，用于利用权利要求16所述的装置训练的关键点检测模型从所述关节影像提取所述关键点；
确定模块，用于根据提取的所述关键点确定假体的置换位置。
18.一种计算设备，其特征在于，所述设备包括：处理器，以及存储有计算机程序指令的存储器；所述处理器读取并执行所述计算机程序指令，以实现如权利要求1-12中的任意一项所述训练关节影像的关键点检测模型的方法，或权利要求13-15中的任意一项所述的用于确定关节假体置换位置的方法。
19.一种计算机存储介质，其特征在于，所述计算机存储介质上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现权利要求1-12中的任意一项所述训练关节影像的关键点检测模型的方法，或权利要求13-15中的任意一项所述的用于确定关节假体置换位置的方法。
CN202110827759.7A 2021-07-22 2021-07-22 基于深度学习的关节影像关键点自动检测方法、装置 Active CN113706463B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110827759.7A CN113706463B (zh) 2021-07-22 2021-07-22 基于深度学习的关节影像关键点自动检测方法、装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110827759.7A CN113706463B (zh) 2021-07-22 2021-07-22 基于深度学习的关节影像关键点自动检测方法、装置

Publications (2)

Publication Number Publication Date
CN113706463A true CN113706463A (zh) 2021-11-26
CN113706463B CN113706463B (zh) 2024-04-26

Family

ID=78650283

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110827759.7A Active CN113706463B (zh) 2021-07-22 2021-07-22 基于深度学习的关节影像关键点自动检测方法、装置

Country Status (1)

Country Link
CN (1) CN113706463B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114186632A (zh) * 2021-12-10 2022-03-15 北京百度网讯科技有限公司 关键点检测模型的训练方法、装置、设备、存储介质
CN114494183A (zh) * 2022-01-25 2022-05-13 哈尔滨医科大学附属第一医院 一种基于人工智能的髋臼半径自动测量方法及系统
CN114638878A (zh) * 2022-03-18 2022-06-17 北京安德医智科技有限公司 基于深度学习的二维超声心动图管径检测方法及装置
CN114782449A (zh) * 2022-06-23 2022-07-22 中国科学技术大学 下肢x光影像中关键点提取方法、系统、设备及存储介质

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109508681A (zh) * 2018-11-20 2019-03-22 北京京东尚科信息技术有限公司 生成人体关键点检测模型的方法和装置
CN110738654A (zh) * 2019-10-18 2020-01-31 中国科学技术大学 髋关节影像中的关键点提取及骨龄预测方法
CN110895809A (zh) * 2019-10-18 2020-03-20 中国科学技术大学 准确提取髋关节影像中关键点的方法
CN110991380A (zh) * 2019-12-11 2020-04-10 腾讯科技（深圳）有限公司 人体属性识别方法、装置、电子设备以及存储介质
CN111126101A (zh) * 2018-10-30 2020-05-08 北京猎户星空科技有限公司 关键点位置的确定方法、装置、电子设备和存储介质
CN111402228A (zh) * 2020-03-13 2020-07-10 腾讯科技（深圳）有限公司 图像检测方法、装置和计算机可读存储介质
CN111523422A (zh) * 2020-04-15 2020-08-11 北京华捷艾米科技有限公司 一种关键点检测模型训练方法、关键点检测方法和装置
CN111967406A (zh) * 2020-08-20 2020-11-20 高新兴科技集团股份有限公司 人体关键点检测模型生成方法、系统、设备和存储介质
US20200387698A1 (en) * 2018-07-10 2020-12-10 Tencent Technology (Shenzhen) Company Limited Hand key point recognition model training method, hand key point recognition method and device
CN112668480A (zh) * 2020-12-29 2021-04-16 上海高德威智能交通系统有限公司 头部姿态角检测方法、装置、电子设备及存储介质
CN112785582A (zh) * 2021-01-29 2021-05-11 北京百度网讯科技有限公司 热力图生成模型的训练方法、装置、电子设备和存储介质
WO2021097750A1 (zh) * 2019-11-21 2021-05-27 深圳市欢太科技有限公司 人体姿态的识别方法、装置、存储介质及电子设备
CN113095254A (zh) * 2021-04-20 2021-07-09 清华大学深圳国际研究生院 一种人体部位关键点的定位方法及系统
CN113139564A (zh) * 2020-01-20 2021-07-20 清华大学 关键点检测模型的训练方法、装置、电子设备及存储介质

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200387698A1 (en) * 2018-07-10 2020-12-10 Tencent Technology (Shenzhen) Company Limited Hand key point recognition model training method, hand key point recognition method and device
CN111126101A (zh) * 2018-10-30 2020-05-08 北京猎户星空科技有限公司 关键点位置的确定方法、装置、电子设备和存储介质
CN109508681A (zh) * 2018-11-20 2019-03-22 北京京东尚科信息技术有限公司 生成人体关键点检测模型的方法和装置
CN110738654A (zh) * 2019-10-18 2020-01-31 中国科学技术大学 髋关节影像中的关键点提取及骨龄预测方法
CN110895809A (zh) * 2019-10-18 2020-03-20 中国科学技术大学 准确提取髋关节影像中关键点的方法
WO2021097750A1 (zh) * 2019-11-21 2021-05-27 深圳市欢太科技有限公司 人体姿态的识别方法、装置、存储介质及电子设备
CN110991380A (zh) * 2019-12-11 2020-04-10 腾讯科技（深圳）有限公司 人体属性识别方法、装置、电子设备以及存储介质
CN113139564A (zh) * 2020-01-20 2021-07-20 清华大学 关键点检测模型的训练方法、装置、电子设备及存储介质
CN111402228A (zh) * 2020-03-13 2020-07-10 腾讯科技（深圳）有限公司 图像检测方法、装置和计算机可读存储介质
CN111523422A (zh) * 2020-04-15 2020-08-11 北京华捷艾米科技有限公司 一种关键点检测模型训练方法、关键点检测方法和装置
CN111967406A (zh) * 2020-08-20 2020-11-20 高新兴科技集团股份有限公司 人体关键点检测模型生成方法、系统、设备和存储介质
CN112668480A (zh) * 2020-12-29 2021-04-16 上海高德威智能交通系统有限公司 头部姿态角检测方法、装置、电子设备及存储介质
CN112785582A (zh) * 2021-01-29 2021-05-11 北京百度网讯科技有限公司 热力图生成模型的训练方法、装置、电子设备和存储介质
CN113095254A (zh) * 2021-04-20 2021-07-09 清华大学深圳国际研究生院 一种人体部位关键点的定位方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
杨川: "基于深度学习的人体姿态估计技术研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》, no. 02, pages 1 - 51 *
王柳程: "人体姿态点识别算法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》, no. 01, pages 1 - 69 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114186632A (zh) * 2021-12-10 2022-03-15 北京百度网讯科技有限公司 关键点检测模型的训练方法、装置、设备、存储介质
CN114494183A (zh) * 2022-01-25 2022-05-13 哈尔滨医科大学附属第一医院 一种基于人工智能的髋臼半径自动测量方法及系统
CN114494183B (zh) * 2022-01-25 2024-04-02 哈尔滨医科大学附属第一医院 一种基于人工智能的髋臼半径自动测量方法及系统
CN114638878A (zh) * 2022-03-18 2022-06-17 北京安德医智科技有限公司 基于深度学习的二维超声心动图管径检测方法及装置
CN114782449A (zh) * 2022-06-23 2022-07-22 中国科学技术大学 下肢x光影像中关键点提取方法、系统、设备及存储介质

Also Published As

Publication number Publication date
CN113706463B (zh) 2024-04-26

Similar Documents

Publication Publication Date Title
CN113706463A (zh) 基于深度学习的关节影像关键点自动检测方法、装置、设备及存储介质
US20240119719A1 (en) Identification and tracking of a predefined object in a set of images from a medical image scanner during a surgical procedure
Chen et al. Structure-adaptive fuzzy estimation for random-valued impulse noise suppression
CN113313234A (zh) 用于图像分割的神经网络系统和方法
CN109124662B (zh) 肋骨中心线检测装置及方法
CN111507965A (zh) 新型冠状病毒肺炎病灶检测方法、系统、装置和存储介质
CN111105421A (zh) 一种脑白质高信号分割方法、装置、设备及存储介质
Wang et al. Evaluation and comparison of accurate automated spinal curvature estimation algorithms with spinal anterior-posterior X-Ray images: The AASCE2019 challenge
CN109949288A (zh) 肿瘤类型确定系统、方法及存储介质
EP2178047A2 (en) Ribcage segmentation
Lee et al. Unsupervised domain adaptation for low-dose computed tomography denoising
JP2015173923A (ja) 画像処理装置、画像処理方法およびプログラム
Bento et al. Fractional order image processing of medical images
CN115131301B (zh) 基于深度学习的智能识别骨关节炎的方法及系统
CN115880358A (zh) 定位模型的构建方法、影像标志点的定位方法及电子设备
CN113888751A (zh) 一种关节关键点的识别方法、装置及计算机设备
Manzanera et al. Patient-specific 3d cellular automata nodule growth synthesis in lung cancer without the need of external data
CN115375787A (zh) 伪影校正方法、计算机设备及可读存储介质
CN114881930A (zh) 基于降维定位的3d目标检测方法、装置、设备和存储介质
EP2178046A2 (en) Multi-image correlation
CN110310235B (zh) 眼底图像处理方法、装置及设备和存储介质
CN113870261A (zh) 用神经网络识别力线的方法与系统、存储介质及电子设备
CN112233126A (zh) 医学图像的加窗方法及装置
CN116071372B (zh) 膝关节分割方法、装置、电子设备及存储介质
Piletskii et al. Development of software for automated marking of vertebral bodies

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 310023 rooms 305 and 306, building 8, 181 Wuchang Avenue, Wuchang Street, Yuhang District, Hangzhou City, Zhejiang Province

Applicant after: Hangzhou Jianjia Medical Technology Co.,Ltd.

Address before: 310023 rooms 305 and 306, building 8, 181 Wuchang Avenue, Wuchang Street, Yuhang District, Hangzhou City, Zhejiang Province

Applicant before: HANGZHOU JIANJIA ROBOT Co.,Ltd.

GR01 Patent grant
GR01 Patent grant