CN115345928A - 关键点的获取方法、计算机设备和存储介质 - Google Patents

关键点的获取方法、计算机设备和存储介质 Download PDF

Info

Publication number
CN115345928A
CN115345928A CN202211030214.4A CN202211030214A CN115345928A CN 115345928 A CN115345928 A CN 115345928A CN 202211030214 A CN202211030214 A CN 202211030214A CN 115345928 A CN115345928 A CN 115345928A
Authority
CN
China
Prior art keywords
target
key point
initial
image
sample
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211030214.4A
Other languages
English (en)
Inventor
冀宏
樊连玺
董昢
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lianying Intelligent Medical Technology Beijing Co ltd
Original Assignee
Lianying Intelligent Medical Technology Beijing Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lianying Intelligent Medical Technology Beijing Co ltd filed Critical Lianying Intelligent Medical Technology Beijing Co ltd
Priority to CN202211030214.4A priority Critical patent/CN115345928A/zh
Publication of CN115345928A publication Critical patent/CN115345928A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30008—Bone

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及一种关键点的获取方法、计算机设备和存储介质。所述方法包括：获取包括待测结构的医学图像；将所述医学图像输入至第一关键点检测模型中进行关键点检测处理，确定所述待测结构上对应的多个初始关键点和各所述初始关键点的初始位置；根据各所述初始位置和所述医学图像以及第二关键点检测模型，确定多个目标关键点和各所述目标关键点的目标位置；其中，所述多个初始关键点的数量小于所述多个目标关键点的数量。采用本方法能够节省人力和时间。

Description

关键点的获取方法、计算机设备和存储介质
技术领域
本申请涉及图像处理技术领域，特别是涉及一种关键点的获取方法、计算机设备和存储介质。
背景技术
下肢力线作为膝关节骨性关节炎患者下肢的一个测量参数，其常常由于排列不齐等原因而造成患者的膝关节严重疼痛和功能障碍，而通过测量的下肢力线就可以准确对患者的下肢结构进行调整，以改善或者的下肢情况，因此对患者的下肢的相关测量参数进行准确测量就显得尤为重要。
相关技术中，一般是通过有经验的医生或技师对患者的影像中的下肢进行观察和手动计算或勾画关键点，以通过关键点获得患者下肢的相关测量参数。
然而，上述技术存在耗时耗力的问题。
发明内容
基于此，有必要针对上述技术问题，提供一种能够节省人力和时间的关键点的获取方法、计算机设备和存储介质。
第一方面，本申请提供了一种关键点的获取方法，该方法包括：
获取包括待测结构的医学图像；
将医学图像输入至第一关键点检测模型中进行关键点检测处理，确定待测结构上对应的多个初始关键点和各初始关键点的初始位置；
根据各初始位置和医学图像以及第二关键点检测模型，确定多个目标关键点和各目标关键点的目标位置；
其中，上述多个初始关键点的数量小于多个目标关键点的数量。
在其中一个实施例中，上述方法还包括：
对各目标位置进行计算，确定待测结构对应的力学测量参数。
在其中一个实施例中，上述待测结构为下肢结构；上述第二关键点检测模型包括股骨头关键点检测子模型、膝关节关键点检测子模型以及踝关节关键点检测子模型中的至少一个关键点检测子模型。
在其中一个实施例中，上述根据各初始位置和医学图像以及第二关键点检测模型，确定多个目标关键点和各目标关键点的目标位置，包括：
以各初始位置为参考点，分别在医学图像上进行图像截取处理，确定多个截取图像；上述多个截取图像中包括至少一部分待测结构；
将各截取图像分别输入至与初始位置对应的关键点检测子模型中进行关键点检测处理，确定多个目标关键点和各目标关键点的目标位置。
在其中一个实施例中，上述第一关键点检测模型是基于多个样本图像以及每个样本图像对应的掩膜图像进行训练得到的；
其中，上述样本结构和待测结构相对应，且上述待测结构与样本结构均为对称结构或者均为非对称结构；各掩膜图像上至少包括单侧的样本结构上多个关键点的标注位置信息。
在其中一个实施例中，各上述样本图像的获取方式包括：
获取多个初始样本图像；各初始样本图像中均包括样本结构及样本结构的位置；
根据各样本结构的位置，在对应的初始样本图像中确定目标生成区域；上述目标生成区域靠近样本结构的中心区域；
以目标生成区域中的任意一个点为中心，在对应的初始样本图像中进行图像截取，确定各样本图像；其中，各样本图像的尺寸相同。
在其中一个实施例中，上述力学测量参数包括角度参数或长度参数；上述对各目标位置进行计算，确定待测结构对应的力学测量参数，包括：
采用L2范数对各目标位置中的至少两个目标位置进行计算，确定待测结构对应的长度参数；或者，
采用向量计算方式对各目标位置中的至少三个目标位置进行向量计算，确定待测结构对应的角度参数。
在其中一个实施例中，上述将各截取图像分别输入至与初始位置对应的关键点检测子模型中进行关键点检测处理，确定多个目标关键点和各目标关键点的目标位置，包括：
将各截取图像分别输入至与初始位置对应的关键点检测子模型中进行关键点检测处理，确定各截取图像对应的多个目标关键点的概率图；0
对各目标关键点的概率图进行后处理，确定各目标关键点以及各目标关键点对应的目标位置；上述后处理包括选择概率图中的最大连通域，和/或选择概率图中的最大平均概率，和/或空间距离约束和平均概率值。
第二方面，本申请还提供了一种关键点的获取装置，该装置包括：
图像获取模块，用于获取包括待测结构的医学图像；
第一检测模块，用于将医学图像输入至第一关键点检测模型中进行关键点检测处理，确定待测结构上对应的多个初始关键点和各初始关键点的初始位置；
第二检测模块，用于根据各初始位置和医学图像以及第二关键点检测模型，确定多个目标关键点和各目标关键点的目标位置；其中，上述多个初始关键点的数量小于多个目标关键点的数量。
第三方面，本申请还提供了一种计算机设备，该计算机设备包括存储器和处理器，存储器存储有计算机程序，处理器执行计算机程序时实现以下步骤：
获取包括待测结构的医学图像；
将医学图像输入至第一关键点检测模型中进行关键点检测处理，确定待测结构上对应的多个初始关键点和各初始关键点的初始位置；
根据各初始位置和医学图像以及第二关键点检测模型，确定多个目标关键点和各目标关键点的目标位置；其中，上述多个初始关键点的数量小于多个目标关键点的数量。
第四方面，本申请还提供了一种计算机可读存储介质，该计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
获取包括待测结构的医学图像；
将医学图像输入至第一关键点检测模型中进行关键点检测处理，确定待测结构上对应的多个初始关键点和各初始关键点的初始位置；
根据各初始位置和医学图像以及第二关键点检测模型，确定多个目标关键点和各目标关键点的目标位置；其中，上述多个初始关键点的数量小于多个目标关键点的数量。
第五方面，本申请还提供了一种计算机程序产品，该计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现以下步骤：
获取包括待测结构的医学图像；
将医学图像输入至第一关键点检测模型中进行关键点检测处理，确定待测结构上对应的多个初始关键点和各初始关键点的初始位置；
根据各初始位置和医学图像以及第二关键点检测模型，确定多个目标关键点和各目标关键点的目标位置；其中，上述多个初始关键点的数量小于多个目标关键点的数量。
上述关键点的获取方法、计算机设备和存储介质，通过获取包括待测结构的医学图像，并将医学图像输入至第一关键点检测模型中进行关键点检测处理，确定待测结构上对应的多个初始关键点及其初始位置，以及根据各初始位置和医学图像及第二关键点检测模型，确定多个目标关键点及其目标位置，其中，多个初始关键点的数量小于多个目标关键点的数量。在该方法中，由于可以通过级联的两个关键点检测模型依次对待测结构上的关键点进行检测，这样可以便于后续快速计算相关测量参数，而不需要人工再对关键点进行勾画或计算，这样可以节省人力和时间。同时，由于通过级联的两个关键点检测模型获得的关键点的数量由少到多，即两次关键点检测是由粗检测到精细检测的过程，那么这样获得的关键点检测结果的精确度较高，从而可以提升获得的关键点的准确性，进而可以提升后续计算相关测量参数的准确性。
附图说明
图1为一个实施例中关键点的获取方法的应用环境图；
图2为一个实施例中关键点的获取方法的流程示意图；
图3为另一个实施例中下肢结构上关键点的标注示例图；
图4为另一个实施例中下肢结构上力学测量参数的定义示例图；
图5为另一个实施例中关键点的获取方法的流程示意图；
图6为另一个实施例中下肢结构关键点检测的流程示例图；
图7为另一个实施例中在下肢结构中截取各部位图像的示例图；
图8为另一个实施例中关键点的获取方法的流程示意图；
图9为另一个实施例中关键点的获取方法的流程示意图；
图10为另一个实施例中在初始样本图像中确定目标生成区域的示例图；
图11为另一个实施例中关键点检测模型的网络结构示例图；
图12为一个实施例中关键点的获取装置的结构框图；
图13为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请实施例提供的关键点的获取方法，可以应用于如图1所示的应用环境中。其中，扫描设备102和计算机设备104相互连接，扫描设备102用于对待测对象的待测结构部分进行扫描，以获得扫描数据，并将扫描数据发送至计算机设备进行处理。计算机设备104可以对扫描设备发送的扫描数据进行图像重建、图像后处理等，其中图像后处理例如进行关键点检测处理、参数计算处理等。另外，扫描设备102可以是CT设备、MR设备、PET设备等单模设备，也可以是PET-CT、PET-MR等多模设备。计算机设备104可以是终端或服务器，其中，终端可以不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑、物联网设备和便携式可穿戴设备，物联网设备可为智能音箱、智能车载设备等；便携式可穿戴设备可为智能手表、智能手环、头戴设备等。服务器可以用独立的服务器或者是多个服务器组成的服务器集群来实现。另外，上述计算机设备 104也可以集成在扫描设备102中，与扫描设备102构成一体化的设备。
在一个实施例中，如图2所示，提供了一种关键点的获取方法，以该方法应用于图1中的计算机设备为例进行说明，该方法可以包括以下步骤：
S202，获取包括待测结构的医学图像。
其中，待测结构可以是对称结构，也可以是不对称结构，例如待测结构可以是人体的头部、胸部、腹部、下肢结构、胳膊等等。医学图像可以是二维图像或三维图像等，其可以是CT(Computed Tomography，电子计算机断层扫描图像)、MR(Magnetic Resonance，磁共振)图像、X-ray(X-射线)图像等等。
具体的，可以是采用扫描设备对检测对象的待测结构进行扫描，获得扫描数据，并对扫描数据进行图像重建获得待测结构的医学图像；或者，也可以是将待测结构的医学图像预先存储在云端或服务器，在需要使用时直接调用即可；或者还可以是其他的获取方式，这里不作具体限定。
S204，将医学图像输入至第一关键点检测模型中进行关键点检测处理，确定待测结构上对应的多个初始关键点和各初始关键点的初始位置。
其中，第一关键点检测模型可以是神经网络模型，具体的神经网络模型类型这里不作具体限定，例如可以是V-Net网络、U-Net网络等等。第一关键点检测模型主要用于对图像上的关键点进行识别，关键点可以理解为图像上较为重要的、且对待测结构的整体结构影响较大的点。
可以理解的是，在使用模型之前，一般也可以预先对第一关键点检测模型进行训练，训练时可以将标注了关键点的样本图像输入至初始第一关键点检测模型中进行关键点识别，获得每个样本图像上的预测关键点，并通过预测关键点和标注的关键点之间的差异来对初始第一关键点检测模型进行训练，获得训练好的第一关键点检测模型。
另外，这里一般样本图像上标注的关键点，可以是标注关键点的类别、标识、位置等信息，那么通过训练好的模型进行检测时也可以获得类别、标识、位置等信息。
具体的，在获得训练好的第一关键点检测模型之后，可以将医学图像直接输入至第一关键点检测模型中，也可以是对医学图像进行预处理(例如图像归一化等处理)以及重采样后再输入至第一关键点检测模型中。通过第一关键点检测模型对医学图像中待测结构上的关键点进行识别，获得待测结构上的多个关键点及相应的位置，这里获得的多个关键点均记为初始关键点，各初始关键点的位置均记为初始位置。
S206，根据各初始位置和医学图像以及第二关键点检测模型，确定多个目标关键点和各目标关键点的目标位置；其中，上述多个初始关键点的数量小于多个目标关键点的数量。
其中，这里的第二关键点检测模型和上述第一关键点检测模型相同，也可以是神经网络模型，具体的神经网络模型类型这里不作具体限定，例如可以是 V-Net网络、U-Net网络等等。该第二关键点检测模型主要用于通过各初始关键点及其初始位置识别获得这多个初始关键点及其周围的多个关键点。
另外，该第二关键点检测模型和第一关键点检测模型相同，也需要在使用前进行训练好。在训练时，可以是通过标注关键点的样本图像以及标注初始关键点进行训练，获得检测的多个关键点，并通过检测的多个关键点以及标注的关键点、标注的初始关键点等信息对初始第二关键点检测模型进行训练，获得训练好的第二关键点检测模型。
可以理解的是，上述第一关键点检测模型主要用于对医学图像上的关键点进行粗检测，实现关键点的快速定位。这里的第二关键点检测模型主要用于通过各初始关键点及其初始位置对医学图像上的关键点进行精细检测，实现关键点的准确检测。同时，第二关键点检测模型所检测出的关键点的数量一般大于第一关键点检测模型所检测出的关键点的数量，以此实现对关键点的粗细检测。
具体的，在获得训练好的第二关键点检测模型之后，可以将医学图像以及各初始关键点及其初始位置一起输入至第二关键点检测模型中，通过第二关键点检测模型对待测结构上的关键点进行精细识别，获得待测结构上的多个关键点及相应的位置，这里获得的多个关键点均记为目标关键点，各目标关键点的位置均记为目标位置。
这里的各目标关键点中也可以包括各初始关键点。这里获得的各目标关键点的位置一般是与各初始关键点的位置相关的，即通过各初始关键点的初始位置进行目标关键点的检测，可以更加快速且准确地检测到各目标关键点。
上述关键点的获取方法中，通过获取包括待测结构的医学图像，并将医学图像输入至第一关键点检测模型中进行关键点检测处理，确定待测结构上对应的多个初始关键点及其初始位置，以及根据各初始位置和医学图像及第二关键点检测模型，确定多个目标关键点及其目标位置，其中，多个初始关键点的数量小于多个目标关键点的数量。在该方法中，由于可以通过级联的两个关键点检测模型依次对待测结构上的关键点进行检测，这样可以便于后续快速计算相关测量参数，而不需要人工再对关键点进行勾画或计算，这样可以节省人力和时间。同时，由于通过级联的两个关键点检测模型获得的关键点的数量由少到多，即两次关键点检测是由粗检测到精细检测的过程，那么这样获得的关键点检测结果的精确度较高，从而可以提升获得的关键点的准确性，进而可以提升后续计算相关测量参数的准确性。
以下实施例中主要对通过获得的关键点去计算相关的力学参数的过程进行说明。在另一个实施例中，提供了另一种关键点的获取方法，在上述实施例的基础上，上述方法还可以包括以下步骤：
对各目标位置进行计算，确定待测结构对应的力学测量参数。
也就是说，可以通过上述获得的各个目标关键点的目标位置，对各目标位置之间进行一定的数学运算，获得待测结构的力学测量参数。
可选的，上述力学测量参数包括或长度参数角度参数，那么具体计算长度参数的方式可以是：采用L2范数对各目标位置中的至少两个目标位置进行计算，确定待测结构对应的长度参数；
具体的，长度参数也可以称为距离参数，那么在计算长度参数或距离参数时，可以是在L2范数计算公式中输入待计算的两个目标关键点的空间坐标(即目标位置)(X1,Y1,Z1)、(X2,Y2,Z2)，公式输出为两点之间的L2范数D1(D1 ≥0)，该输出即为测得的长度参数或距离参数，将该输出与图像分辨率相乘即可得到该长度参数对应的物理距离，即待测结构测量的真实距离/长度。
可选的，具体计算角度参数的方式可以是：采用向量计算方式对各目标位置中的至少三个目标位置进行向量计算，确定待测结构对应的角度参数。
这里计算角度参数时，可以是先通过三个目标关键点中的两两目标关键点构建两条线，并计算这两条线对应的两个空间向量u、v，然后在向量计算公式中输入两条线的空间向量u、v，并对这两个空间向量u、v进行余弦运算等，获得这两个空间向量之间的夹角。示例地，以待测结构是下肢结构为例，如计算的是股骨近端外侧角，则该角是gt点、hof点连线和hof点、fi点连线的外侧角，空间向量u为gt点空间坐标减去hof点空间坐标(向量方向为hof点指向gt点)，空间向量v为fi点空间坐标减去hof点空间坐标(向量方向为hof点指向fi点)，根据余弦定理对这两个向量进行计算，即可获得向量夹角α，即获得股骨近端外侧角。需要说明的是，本实施例中涉及的点的英文名称所对应的中文名称将在下文中进行说明。
本实施例中，通过获得的各目标关键点的目标位置，并对目标位置进行计算获得待测结构对应的力学测量参数，这样就无须人工进行参数计算，从而可以节省人力和时间，同时由于获得的关键点较为准确，那么通过此计算的力学测量参数也就更准确。进一步地，可以通过不同的方式计算角度参数和长度参数，这样可以保证快速且准确地计算出相应的角度参数和长度参数。
以下实施例中对待测结构为下肢结构的情况进行说明。在另一个实施例中，上述待测结构为下肢结构；上述第二关键点检测模型包括股骨头关键点检测子模型、膝关节关键点检测子模型以及踝关节关键点检测子模型中的至少一个关键点检测子模型。
在本实施例中，针对下肢结构，主要涉及下肢力线，而针对下肢力线中涉及的关键点及其定义可以参见下面的表1中的定义所示：
表1
Figure BDA0003816918610000081
对于上述表1中定义的关键点具体在下肢结构中的位置，可以参见图3所示的标注示意图，其中图3中的11号关键点在表1中未给出具体的释义，可以忽略。
针对待测结构是下肢结构，且一般下肢结构为双下肢结构，即包括两侧的下肢结构，那么第一关键点检测模型一般可以检测出双下肢结构上的几个初始关键点及其初始位置，例如一般可以检测出L_hof、L_fi、L_lm、R_hof、R_fi、 R_lm，其中，L_hof、L_fi、L_lm为左侧下肢的股骨头、髁间窝、踝关节外侧点，分别对应左侧下肢的股骨头、膝关节、踝关节部分；R_hof、R_fi、R_lm为右侧下肢的股骨头、髁间窝、踝关节外侧点，分别对应右侧下肢的股骨头、膝关节、踝关节部分。可见对下肢结构的每个部分通过第一关键点检测模型只检测出一个初始关键点，这样可以快速定位到需要检测的关键点所在的大致位置，提高关键点的定位效率。
另外，针对下肢结构的不同部分，第二关键点检测模型可以包括股骨头关键点检测子模型、膝关节关键点检测子模型以及踝关节关键点检测子模型等多个关键点检测子模型。其中，各关键点检测子模型分别用于检测下肢结构对应位置处的关键点，具体为：股骨头关键点检测子模型对应检测下肢结构位于股骨头及其周围的目标关键点，膝关节关键点检测子模型对应检测下肢结构位于膝关节及其周围的目标关键点，踝关节关键点检测子模型对应检测下肢结构位于踝关节及其周围的目标关键点。
这里每个关键点检测子模型一般可以检测出多个目标关键点，例如股骨头关键点检测子模型可以检测出左右侧下肢结构上的4个目标关键点，分别为： L_hof、L_gt、R_hof、R_gt；膝关节关键点检测子模型可以检测出左右侧下肢结构上的12个目标关键点，分别为：L_lfc、L_mfc、L_fi、L_ltc、L_mtc、L_ei、 R_lfc、R_mfc、R_fi、R_ltc、R_mtc、R_ei；踝关节关键点检测子模型可以检测出左右侧下肢结构上的4个目标关键点，分别为：L_lm、L_mm、R_lm、R_mm。
这里通过各关键点检测子模型可以对第一关键点检测模型检测出的初始关键点进行精细检测，获得更多数量的目标关键点。
在通过各关键点检测子模型检测出目标关键点之后，就可以通过各目标关键点的目标位置计算相应的测量力学参数，例如上面提到的计算角度参数和长度参数。对于下肢结构的下肢力线，其中涉及的力学测量参数及其定义可以参见下面的表2中的定义所示：
表2
名称 含义
①mLDFA 股骨远端外侧角
②MPTA 胫骨近端内侧角
③LDTA 胫骨远端外侧角
④JLCA 关节面会聚角
⑤LPFA 股骨近端外侧角
⑥WLFA 下肢力学轴–股骨力学轴夹角
⑦Mikulicz 机械轴长度(下肢全长)
对于上述表2中定义的角度参数和长度参数，可以参见图4所示的参数标注示意图，其中图4中针对一侧下肢结构的参数进行了标注。对于表2中各个角度和长度，均可以按照上述实施例中提到的计算方式去计算相应的角度和长度，这里就不再赘述。
本实施例中，待测结构为下肢结构，第二关键点检测子模型包括股骨头关键点检测子模型、膝关节关键点检测子模型以及踝关节关键点检测子模型中的至少一个关键点检测子模型，这样通过下肢结构各个部位的关键点检测子模型，可以便于对下肢结构各个部位的关键点分别进行快速且准确地检测，获得较为精确的关键点检测结果。
以下实施例中对上述提到的各关键点检测子模型，其具体是如何对医学图像上的关键点进行精细检测的过程进行说明。在另一个实施例中，提供了另一种关键点的获取方法，在上述实施例的基础上，如图5所示，上述S206可以包括以下步骤：
S302，以各初始位置为参考点，分别在医学图像上进行图像截取处理，确定多个截取图像；上述多个截取图像中包括至少一部分待测结构。
在本步骤中，参见图6所示，在获得下肢结构的医学图像之后，可以将其进行图像预处理以及重采样之后，输入至第一关键点检测模型(例如图中的关键点定位网络)中进行关键点检测。在通过第一关键点检测模型获得多个初始关键点及其初始位置之后，可以以上述初始关键点的初始位置为中心区域，分别在重采样后的医学图像上裁剪股骨头部位、膝关节部位以及踝关节部位的图像，获得股骨头部位、膝关节部位以及踝关节部位等各个部位对应的截取图像，具体的截取图像可以参见图7所示。
S304，将各截取图像分别输入至与初始位置对应的关键点检测子模型中进行关键点检测处理，确定多个目标关键点和各目标关键点的目标位置。
在获得股骨头部位、膝关节部位以及踝关节部位等各个部位对应的截取图像之后，可以将各个部位的截取图像分别输入至对应的股骨头关键点检测子模型、膝关节关键点检测子模型、踝关节关键点检测子模型中进行关键点检测。具体是股骨头部位的截取图像输入至股骨头关键点检测子模型、膝关节部位的截取图像输入至膝关节关键点检测子模型、踝关节部位的截取图像输入至踝关节关键点检测子模型，得到所有的下肢关键点的位置，即获得目标关键点及目标关键点的目标位置。之后，可以对目标关键点及其目标位置进行后处理，获得相应的结果。
作为可选的，如图8所示，这里S304可以采用如下步骤获得目标关键点：
S402，将各截取图像分别输入至与初始位置对应的关键点检测子模型中进行关键点检测处理，确定各截取图像对应的多个目标关键点的概率图。
S404，对各目标关键点的概率图进行后处理，确定各目标关键点以及各目标关键点对应的目标位置；上述后处理包括选择概率图中的最大连通域，和/或选择概率图中的最大平均概率，和/或空间距离约束和平均概率值。
上述具体将各个部位的截取图像分别输入至对应的股骨头关键点检测子模型、膝关节关键点检测子模型、踝关节关键点检测子模型中进行关键点检测后，输出的为各个截取图像对应的分割概率图，其中N个通道对应N个需检测的关键点和1个通道对应背景。其中，概率图中的像素值为对应关键点或背景的概率，获取与之相对应的关键点坐标，每个关键点坐标均可能出现多个候选点，综合面积最大策略和平均概率最大策略选取预测关键点，本实施例中根据获得的概率图得到最终坐标点(即根据候选关键点获得目标关键点及其目标位置) 的方式如下：
(1)根据预设的概率阈值0.3对概率图进行二值化处理，得到二值化掩膜图像；(2)检测并标记二值化掩膜图像中的连通域，并删除其中面积小于64 的连通域；(3)对于第i个关键点的第j个面积大于64的连通域，计算对应概率图中概率值的加权中心Ci,j以及平均概率值Pi,j；(4)每一目标关键点能够得到多个候选关键点，根据下肢力线需检测的20个目标关键点，建立PCA(主成分分析)形状约束模型，根据每个候选点的空间距离约束和平均概率值采用迭代法选择最佳预测关键点，最终获得目标关键点及对应的目标位置。
本实施例中，通过以各初始位置为参考点在医学图像上截取相应位置处的截取图像，并将获得的各截取图像输入至对应的关键点检测子模型中进行关键点识别检测，获得目标关键点及目标位置，这样通过各截取图像及对应的检测子模型，可以提升获得的目标关键点的准确性和效率。进一步地，通过对各检测子模型获得的目标关键点的概率图进行后处理获得目标关键点及位置，这样可以使得获得的目标关键点及位置的准确性较高。
以下实施例中主要对第一关键点检测模型的训练过程进行详细说明。在另一个实施例中，上述第一关键点检测模型是基于多个样本图像以及每个样本图像对应的掩膜图像进行训练得到的。
具体的，可以使用标注软件，对于给定的N个样本图像(例如1000例站立位X-Ray下肢图像样本)，对每个样本图像标记出I个关键点Pi(1≤i≤I，且I 为自然数)并保存其坐标，并生成其对应的掩膜图像。这里的掩膜图像由I个以每一关键点坐标Pi为中心，边长为r的正方形二值化掩膜构成。例如可以在空白图像中生成以每个关键点Pi坐标为圆心，边长为10个像素的方形掩膜图像。这样，N个掩膜图像与N个样本图像配对组成训练数据集，N可以为1000。
另外，上述样本结构和待测结构相对应，且待测结构与样本结构均为对称结构或者均为非对称结构；各掩膜图像上至少包括单侧的样本结构上多个关键点的标注位置信息。也就是说，这里的待测结构和样本结构可以是对称结构，也可以是不对称结构。
针对待测结构和样本结构是对称结构的情况，这里的对称结构可以是大致对称的结构，例如人体的左右肢(左右胳膊或者左右腿)。也就是说，针对对称结构的待测结构，在进行掩膜标注时，只需要在单侧样本结构上标注多个关键点的坐标即可，并对该标注的单侧样本结构上的坐标进行左右翻转(方向可以根据实际的对称方向确定)，即可获得另一侧样本结构上标注的多个关键点的坐标，这样可以降低一半的标注量，提升模型训练效率。
在通过各样本图像训练第一关键点检测模型之前，一般需要先获取各样本图像，可选的，如图9所示，各样本图像的获取方式包括：
S502，获取多个初始样本图像；各初始样本图像中均包括样本结构及样本结构的位置。
这里的初始样本图像可以是包括样本结构整体的医学图像，其上也可以包括样本结构的位置，可以通过对样本对象进行扫描获得或者通过从云端或服务器获得初始样本图像。
在获得初始样本图像之后，可以先对初始样本图像进行归一化预处理，第一步是对X-Ray图像进行灰度值截断，其目的是消除极端灰度值的影响有利于像素归一化处理，截断门限的下限值和上限值分别取该图像所有灰度值的5％分位数和95％分位数。
接着第二步后采用最大-最小归一化方法将初始样本图像的灰度值映射至 0-1之间，最大-最小归一化方法计算如下公式所示：
Figure BDA0003816918610000121
其中，F为初始样本图像原始的灰度值，F’为归一化后图像的灰度值，Fmin为初始样本图像的灰度最大值，Fmax为初始样本图像的灰度最小值。
对于后续实际使用第一关键点检测模型时，输入图像也可以按照这里的方式进行灰度值截断以及图像归一化处理，并在归一化处理后再输入至第一关键点检测模型中进行关键点检测。
这里通过对模型输入的图像进行归一化处理，可以使输入图像的灰度值分布较为均匀，这样关键点的检测结果更准确。
S504，根据各样本结构的位置，在对应的初始样本图像中确定目标生成区域；上述目标生成区域靠近样本结构的中心区域。
可以理解的是，一般获得的初始样本图像为少量医学图像，其数量有限，那么为了对模型进行更好的训练，一般就需要扩充样本，以下就对扩充样本的过程进行说明。
首先可以对初始样本图像进行图像增强，例如对图像进行平移、旋转、缩放等多种方式扩增样本。之后，可以通过各初始样本图像中样本结构的位置，在对应的初始样本图像中确定中心点生成区域。
S506，以目标生成区域中的任意一个点为中心，在对应的初始样本图像中进行图像截取，确定各样本图像；其中，各样本图像的尺寸相同。
在本步骤中，以样本结构是下肢结构为例，参见图10所示，可以将图中位于两条腿中间的细条矩形作为中心点生成区域，以该区域中的各个点为中心，在初始样本图像上裁剪512*512大小的图像，获得多个裁剪的图像，并将裁剪获得的图像均作为样本图像，其尺寸大小均相同，这样可以便于后续统一处理，加快模型训练的效率。
另外，为了在模型训练过程中平衡正负样本，也可以在掩膜图像上随机采样和正样本数量(即需检测关键点的数量)大致平衡的负样本(负样本的标签为0)。在训练过程中将配对训练集随机打乱后分为多个批次输入初始第一关键点检测模型，批量大小batch_size参数设置为32，初始学习率为1×10-4，训练完100个epoch(所有的数据在模型中做了一次运算)学习率衰减为原始学习率的0.9倍。同时可以使用Focal loss损失函数评估输出图像和金标准图像的差异并采用Adam学习算法更新模型参数，待损失曲线收敛至较小值并趋于稳定后，初始模型训练完成并保存模型参数，获得训练好的第一关键点检测模型。
对于第二关键点检测模型的训练过程和第一关键点检测模型的训练过程类似，这里就不再赘述。
进一步地，参见图11所示的神经网络结构示例图，本实施例中的第一关键点检测模型或第二第一关键点检测模型可以是V-net网络。该V-net网络将原始双层的3×3卷积替换为瓶颈卷积结构，即由1×1、3×3、1×1三层卷积组成，网络结构包含输入模块InputBlock、三个下采样模块Down Block、三个上采样模块Up Block和输出模块Out Block，除输出模块，其他模块均使用了批归一化层以及非线性激活函数Relu，而输出模块中的非线性激活函数改用Softmax归类，这样在输出层输出的各通道概率图中对应位置元素值之和为1，分别代表原图中当前位置像素属于各个标签类的概率。其中的Coarse input为粗糙的输入，即第一关键点检测模型的输入，Fine input为较好的输入，即第二关键点检测模型的输入。网络的输入通道为1，输出通道为N+1，其中“N”为需检测关键点数量的1/2，通道“1”为背景的检测概率图。由于人体左右肢体是大致对称的，因而在网络训练及测试时将右侧下肢的图像及其标签图同时进行左右翻转，只需训练左侧下肢的关键点检测模型，因此“N”为需检测关键点数量的1/2，这样可以大幅提升模型训练的效率。
本实施例中，通过获取的初始样本图像中样本结构的位置，在初始样本图像中确定靠近样本结构中心的目标生成区域，并以目标生成区域中的点为中心对初始样本图像进行截取获得各样本图像，这样可以较为准确且快速地获得多个样本图像，达到扩充样本图像的目的。
应该理解的是，虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
基于同样的发明构思，本申请实施例还提供了一种用于实现上述所涉及的关键点的获取方法的关键点的获取装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个关键点的获取装置实施例中的具体限定可以参见上文中对于关键点的获取方法的限定，在此不再赘述。
在一个实施例中，如图12所示，提供了一种关键点的获取装置，包括：图像获取模块11、第一检测模块12和第二检测模块13，其中：
图像获取模块11，用于获取包括待测结构的医学图像；
第一检测模块12，用于将医学图像输入至第一关键点检测模型中进行关键点检测处理，确定待测结构上对应的多个初始关键点和各初始关键点的初始位置；
第二检测模块13，用于根据各初始位置和医学图像以及第二关键点检测模型，确定多个目标关键点和各目标关键点的目标位置；其中，上述多个初始关键点的数量小于多个目标关键点的数量。
在另一个实施例中，提供了另一种关键点的获取装置，在上述实施例的基础上，上述装置还可以包括：
计算模块，用于对各目标位置进行计算，确定待测结构对应的力学测量参数。
可选的，上述力学测量参数包括角度参数或长度参数；该计算模块，具体用于采用L2范数对各目标位置中的至少两个目标位置进行计算，确定待测结构对应的长度参数；或者，采用向量计算方式对各目标位置中的至少三个目标位置进行向量计算，确定待测结构对应的角度参数。
在另一个实施例中，上述待测结构为下肢结构；上述第二关键点检测模型包括股骨头关键点检测子模型、膝关节关键点检测子模型以及踝关节关键点检测子模型中的至少一个关键点检测子模型。
在另一个实施例中，提供了另一种关键点的获取装置，在上述实施例的基础上，上述第二检测模块13可以包括：
第一截取单元，用于以各初始位置为参考点，分别在医学图像上进行图像截取处理，确定多个截取图像；上述多个截取图像中包括至少一部分待测结构；
检测单元，用于将各截取图像分别输入至与初始位置对应的关键点检测子模型中进行关键点检测处理，确定多个目标关键点和各目标关键点的目标位置。
可选的，上述检测单元可以包括：
概率图确定子单元，用于将各截取图像分别输入至与初始位置对应的关键点检测子模型中进行关键点检测处理，确定各截取图像对应的多个目标关键点的概率图；
后处理子单元，用于对各目标关键点的概率图进行后处理，确定各目标关键点以及各目标关键点对应的目标位置；上述后处理包括选择概率图中的最大连通域，和/或选择概率图中的最大平均概率，和/或空间距离约束和平均概率值。
在另一个实施例中，在上述实施例的基础上，上述第一关键点检测模型是基于多个样本图像以及每个样本图像对应的掩膜图像进行训练得到的；其中，上述样本结构和待测结构相对应，且均为对称结构；各掩膜图像上至少包括单侧的样本结构上多个关键点的标注位置信息。
可选的，上述装置还可以包括样本图像获取模块，该样本图像获取模块可以包括：
初始图像获取单元，用于获取多个初始样本图像；各初始样本图像中均包括样本结构及样本结构的位置；
目标生成区域确定单元，用于根据各样本结构的位置，在对应的初始样本图像中确定目标生成区域；上述目标生成区域靠近样本结构的中心区域；
第二截取单元，用于以目标生成区域中的任意一个点为中心，在对应的初始样本图像中进行图像截取，确定各样本图像；其中，各样本图像的尺寸相同。
上述关键点的获取装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，以该计算机设备可以是终端为例，其内部结构图可以如图13所示。该计算机设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、移动蜂窝网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种关键点的获取方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图13中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：
获取包括待测结构的医学图像；将医学图像输入至第一关键点检测模型中进行关键点检测处理，确定待测结构上对应的多个初始关键点和各初始关键点的初始位置；根据各初始位置和医学图像以及第二关键点检测模型，确定多个目标关键点和各目标关键点的目标位置；其中，上述多个初始关键点的数量小于多个目标关键点的数量。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
对各目标位置进行计算，确定待测结构对应的力学测量参数。
在一个实施例中，上述待测结构为下肢结构；上述第二关键点检测模型包括股骨头关键点检测子模型、膝关节关键点检测子模型以及踝关节关键点检测子模型中的至少一个关键点检测子模型。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
以各初始位置为参考点，分别在医学图像上进行图像截取处理，确定多个截取图像；上述多个截取图像中包括至少一部分待测结构；将各截取图像分别输入至与初始位置对应的关键点检测子模型中进行关键点检测处理，确定多个目标关键点和各目标关键点的目标位置。
在一个实施例中，上述第一关键点检测模型是基于多个样本图像以及每个样本图像对应的掩膜图像进行训练得到的；其中，上述样本结构和待测结构相对应，且均为对称结构；各掩膜图像上至少包括单侧的样本结构上多个关键点的标注位置信息。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
获取多个初始样本图像；各初始样本图像中均包括样本结构及样本结构的位置；根据各样本结构的位置，在对应的初始样本图像中确定目标生成区域；上述目标生成区域靠近样本结构的中心区域；以目标生成区域中的任意一个点为中心，在对应的初始样本图像中进行图像截取，确定各样本图像；其中，各样本图像的尺寸相同。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
采用L2范数对各目标位置中的至少两个目标位置进行计算，确定待测结构对应的长度参数；或者，采用向量计算方式对各目标位置中的至少三个目标位置进行向量计算，确定待测结构对应的角度参数。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
将各截取图像分别输入至与初始位置对应的关键点检测子模型中进行关键点检测处理，确定各截取图像对应的多个目标关键点的概率图；对各目标关键点的概率图进行后处理，确定各目标关键点以及各目标关键点对应的目标位置；上述后处理包括选择概率图中的最大连通域，和/或选择概率图中的最大平均概率，和/或空间距离约束和平均概率值。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
获取包括待测结构的医学图像；将医学图像输入至第一关键点检测模型中进行关键点检测处理，确定待测结构上对应的多个初始关键点和各初始关键点的初始位置；根据各初始位置和医学图像以及第二关键点检测模型，确定多个目标关键点和各目标关键点的目标位置；其中，上述多个初始关键点的数量小于多个目标关键点的数量。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
对各目标位置进行计算，确定待测结构对应的力学测量参数。
在一个实施例中，上述待测结构为下肢结构；上述第二关键点检测模型包括股骨头关键点检测子模型、膝关节关键点检测子模型以及踝关节关键点检测子模型中的至少一个关键点检测子模型。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
以各初始位置为参考点，分别在医学图像上进行图像截取处理，确定多个截取图像；上述多个截取图像中包括至少一部分待测结构；将各截取图像分别输入至与初始位置对应的关键点检测子模型中进行关键点检测处理，确定多个目标关键点和各目标关键点的目标位置。
在一个实施例中，上述第一关键点检测模型是基于多个样本图像以及每个样本图像对应的掩膜图像进行训练得到的；其中，上述样本结构和待测结构相对应，且均为对称结构；各掩膜图像上至少包括单侧的样本结构上多个关键点的标注位置信息。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
获取多个初始样本图像；各初始样本图像中均包括样本结构及样本结构的位置；根据各样本结构的位置，在对应的初始样本图像中确定目标生成区域；上述目标生成区域靠近样本结构的中心区域；以目标生成区域中的任意一个点为中心，在对应的初始样本图像中进行图像截取，确定各样本图像；其中，各样本图像的尺寸相同。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
采用L2范数对各目标位置中的至少两个目标位置进行计算，确定待测结构对应的长度参数；或者，采用向量计算方式对各目标位置中的至少三个目标位置进行向量计算，确定待测结构对应的角度参数。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
将各截取图像分别输入至与初始位置对应的关键点检测子模型中进行关键点检测处理，确定各截取图像对应的多个目标关键点的概率图；对各目标关键点的概率图进行后处理，确定各目标关键点以及各目标关键点对应的目标位置；上述后处理包括选择概率图中的最大连通域，和/或选择概率图中的最大平均概率，和/或空间距离约束和平均概率值。
在一个实施例中，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现以下步骤：
获取包括待测结构的医学图像；将医学图像输入至第一关键点检测模型中进行关键点检测处理，确定待测结构上对应的多个初始关键点和各初始关键点的初始位置；根据各初始位置和医学图像以及第二关键点检测模型，确定多个目标关键点和各目标关键点的目标位置；其中，上述多个初始关键点的数量小于多个目标关键点的数量。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
对各目标位置进行计算，确定待测结构对应的力学测量参数。
在一个实施例中，上述待测结构为下肢结构；上述第二关键点检测模型包括股骨头关键点检测子模型、膝关节关键点检测子模型以及踝关节关键点检测子模型中的至少一个关键点检测子模型。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
以各初始位置为参考点，分别在医学图像上进行图像截取处理，确定多个截取图像；上述多个截取图像中包括至少一部分待测结构；将各截取图像分别输入至与初始位置对应的关键点检测子模型中进行关键点检测处理，确定多个目标关键点和各目标关键点的目标位置。
在一个实施例中，上述第一关键点检测模型是基于多个样本图像以及每个样本图像对应的掩膜图像进行训练得到的；其中，上述样本结构和待测结构相对应，且均为对称结构；各掩膜图像上至少包括单侧的样本结构上多个关键点的标注位置信息。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
获取多个初始样本图像；各初始样本图像中均包括样本结构及样本结构的位置；根据各样本结构的位置，在对应的初始样本图像中确定目标生成区域；上述目标生成区域靠近样本结构的中心区域；以目标生成区域中的任意一个点为中心，在对应的初始样本图像中进行图像截取，确定各样本图像；其中，各样本图像的尺寸相同。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
采用L2范数对各目标位置中的至少两个目标位置进行计算，确定待测结构对应的长度参数；或者，采用向量计算方式对各目标位置中的至少三个目标位置进行向量计算，确定待测结构对应的角度参数。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
将各截取图像分别输入至与初始位置对应的关键点检测子模型中进行关键点检测处理，确定各截取图像对应的多个目标关键点的概率图；对各目标关键点的概率图进行后处理，确定各目标关键点以及各目标关键点对应的目标位置；上述后处理包括选择概率图中的最大连通域，和/或选择概率图中的最大平均概率，和/或空间距离约束和平均概率值。
需要说明的是，本申请所涉及的数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)，均为经用户授权或者经过各方充分授权的信息和数据。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory，ROM)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(ReRAM)、磁变存储器(Magnetoresistive Random Access Memory，MRAM)、铁电存储器(Ferroelectric Random Access Memory，FRAM)、相变存储器(Phase Change Memory，PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器 (Random Access Memory，RAM)或外部高速缓冲存储器等。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic RandomAccess Memory， DRAM)等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。

Claims (10)

1.一种关键点的获取方法，其特征在于，所述方法包括：
获取包括待测结构的医学图像；
将所述医学图像输入至第一关键点检测模型中进行关键点检测处理，确定所述待测结构上对应的多个初始关键点和各所述初始关键点的初始位置；
根据各所述初始位置和所述医学图像以及第二关键点检测模型，确定多个目标关键点和各所述目标关键点的目标位置；
其中，所述多个初始关键点的数量小于所述多个目标关键点的数量。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
对各所述目标位置进行计算，确定所述待测结构对应的力学测量参数。
3.根据权利要求1或2所述的方法，其特征在于，所述待测结构为下肢结构；所述第二关键点检测模型包括股骨头关键点检测子模型、膝关节关键点检测子模型以及踝关节关键点检测子模型中的至少一个关键点检测子模型。
4.根据权利要求3所述的方法，其特征在于，所述根据各所述初始位置和所述医学图像以及第二关键点检测模型，确定多个目标关键点和各所述目标关键点的目标位置，包括：
以各所述初始位置为参考点，分别在所述医学图像上进行图像截取处理，确定多个截取图像；所述多个截取图像中包括至少一部分所述待测结构；
将各所述截取图像分别输入至与初始位置对应的关键点检测子模型中进行关键点检测处理，确定所述多个目标关键点和各所述目标关键点的目标位置。
5.根据权利要求1或2所述的方法，其特征在于，所述第一关键点检测模型是基于多个样本图像以及每个样本图像对应的掩膜图像进行训练得到的；
其中，所述样本结构和所述待测结构相对应，且所述待测结构与所述样本结构均为对称结构或者均为非对称结构；各所述掩膜图像上至少包括单侧的样本结构上多个关键点的标注位置信息。
6.根据权利要求5所述的方法，其特征在于，各所述样本图像的获取方式包括：
获取多个初始样本图像；各所述初始样本图像中均包括所述样本结构及所述样本结构的位置；
根据各所述样本结构的位置，在对应的所述初始样本图像中确定目标生成区域；所述目标生成区域靠近所述样本结构的中心区域；
以所述目标生成区域中的任意一个点为中心，在对应的所述初始样本图像中进行图像截取，确定各所述样本图像；其中，各所述样本图像的尺寸相同。
7.根据权利要求2所述的方法，其特征在于，所述力学测量参数包括角度参数或长度参数；所述对各所述目标位置进行计算，确定所述待测结构对应的力学测量参数，包括：
采用L2范数对各所述目标位置中的至少两个目标位置进行计算，确定所述待测结构对应的长度参数；或者，
采用向量计算方式对各所述目标位置中的至少三个目标位置进行向量计算，确定所述待测结构对应的角度参数。
8.根据权利要求4所述的方法，其特征在于，所述将各所述截取图像分别输入至与初始位置对应的关键点检测子模型中进行关键点检测处理，确定所述多个目标关键点和各所述目标关键点的目标位置，包括：
将各所述截取图像分别输入至与初始位置对应的关键点检测子模型中进行关键点检测处理，确定各所述截取图像对应的多个目标关键点的概率图；
对各所述目标关键点的概率图进行后处理，确定各所述目标关键点以及各所述目标关键点对应的目标位置；所述后处理包括选择概率图中的最大连通域，和/或选择概率图中的最大平均概率，和/或空间距离约束和平均概率值。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至8中任一项所述的方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至8中任一项所述的方法的步骤。
CN202211030214.4A 2022-08-26 2022-08-26 关键点的获取方法、计算机设备和存储介质 Pending CN115345928A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211030214.4A CN115345928A (zh) 2022-08-26 2022-08-26 关键点的获取方法、计算机设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211030214.4A CN115345928A (zh) 2022-08-26 2022-08-26 关键点的获取方法、计算机设备和存储介质

Publications (1)

Publication Number Publication Date
CN115345928A true CN115345928A (zh) 2022-11-15

Family

ID=83954596

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211030214.4A Pending CN115345928A (zh) 2022-08-26 2022-08-26 关键点的获取方法、计算机设备和存储介质

Country Status (1)

Country Link
CN (1) CN115345928A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117422721A (zh) * 2023-12-19 2024-01-19 天河超级计算淮海分中心 一种基于下肢ct影像的智能标注方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117422721A (zh) * 2023-12-19 2024-01-19 天河超级计算淮海分中心 一种基于下肢ct影像的智能标注方法
CN117422721B (zh) * 2023-12-19 2024-03-08 天河超级计算淮海分中心 一种基于下肢ct影像的智能标注方法

Similar Documents

Publication Publication Date Title
CN110599526B (zh) 图像配准方法、计算机设备和存储介质
CN112967236B (zh) 图像的配准方法、装置、计算机设备和存储介质
KR20210048523A (ko) 이미지 처리 방법, 장치, 전자 기기 및 컴퓨터 판독 가능 기억 매체
CN111210467A (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
CN111080573B (zh) 肋骨图像检测方法、计算机设备和存储介质
CN109584327B (zh) 人脸老化模拟方法、装置以及设备
CN111488872B (zh) 图像检测方法、装置、计算机设备和存储介质
CN112233222A (zh) 基于神经网络关节点估计的人体参数化三维模型变形方法
CN110930386B (zh) 图像处理方法、装置、设备及存储介质
CN115861248A (zh) 医学图像分割方法、医学模型训练方法、装置和存储介质
CN115345928A (zh) 关键点的获取方法、计算机设备和存储介质
CN115409879A (zh) 图像配准的数据处理方法及装置、存储介质、电子设备
CN112950684B (zh) 基于表面配准的目标特征提取方法、装置、设备和介质
CN110517300A (zh) 基于局部结构算子的弹性图像配准算法
CN114093462A (zh) 医学影像处理方法、图像处理方法、计算机设备、存储介质
CN111968160A (zh) 图像匹配方法和存储介质
CN111583264A (zh) 图像分割网络的训练方法、图像分割方法和存储介质
CN114202554A (zh) 标记生成、模型训练、标记方法、装置、存储介质及设备
CN116993812A (zh) 冠脉血管中心线的提取方法、装置、设备及存储介质
CN115375971B (zh) 多模态医学图像配准模型训练方法、配准方法、系统及设备
CN116071404A (zh) 图像配准方法、装置、计算机设备和存储介质
CN115457635A (zh) 人脸关键点检测模型训练方法、直播图像处理方法及装置
CN115375787A (zh) 伪影校正方法、计算机设备及可读存储介质
CN114668498A (zh) 标记点的顺序识别方法、手术机器人系统和存储介质
CN112862002A (zh) 多尺度目标检测模型的训练方法、目标检测方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination