CN116894844B - 一种髋关节图像分割与关键点联动识别方法及装置 - Google Patents

一种髋关节图像分割与关键点联动识别方法及装置 Download PDF

Info

Publication number
CN116894844B
CN116894844B CN202310826397.9A CN202310826397A CN116894844B CN 116894844 B CN116894844 B CN 116894844B CN 202310826397 A CN202310826397 A CN 202310826397A CN 116894844 B CN116894844 B CN 116894844B
Authority
CN
China
Prior art keywords
image
image segmentation
key point
identified
segmentation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310826397.9A
Other languages
English (en)
Other versions
CN116894844A (zh
Inventor
张逸凌
刘星宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Longwood Valley Medtech Co Ltd
Original Assignee
Longwood Valley Medtech Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Longwood Valley Medtech Co Ltd filed Critical Longwood Valley Medtech Co Ltd
Priority to CN202310826397.9A priority Critical patent/CN116894844B/zh
Publication of CN116894844A publication Critical patent/CN116894844A/zh
Application granted granted Critical
Publication of CN116894844B publication Critical patent/CN116894844B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Public Health (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供了一种髋关节图像分割与关键点联动识别方法及装置，所述方法包括：获取待识别图像，所述待识别图像为包含髋关节的医学图像；将所述待识别图像输入图像分割与识别模型，得到所述待识别图像的输出热力图；对所述输出热力图进行图像分割和关键点点识别；根据分割和识别后的所述输出热力图，确定所述待识别图像的图像分割结果和关键点识别结果；其中，所述图像分割与识别模型包含多个Hourglass结构。本申请中，通过设置包含多个Hourglass结构的图像分割与识别模型，得到输出热力图，进而确定当前髋关节图像的图像分割结果和关键点识别结果，实现髋关节图像分割与关键点识别的联动，简化中间步骤，避免繁琐过程。

Description

一种髋关节图像分割与关键点联动识别方法及装置
技术领域
本申请涉及图像处理技术领域，具体而言，涉及一种髋关节图像分割与关键点联动识别方法及装置。
背景技术
在医学图像处理领域中图像分割和关键点识别是非常重要的两项技术，图像分割的过程是将医学图像中感兴趣区域提取出来，关键点识别是识别三维骨骼结构中的关键点，分割结果和关键点识别结果对于术前手术规划、术中导航、术后结果的评估都具有重要的参考价值。
但是现有的髋关节医学图像处理过程中，图像分割和关键点识别是分别通过相互独立的两个预训练的深度网络模型进行识别的，这种分别训练、独立使用的方式，对于当前的髋关节图像处理而言，过于繁琐。
发明内容
本申请解决的问题是当前图像分割和关键点识别无法联动。
为解决上述问题，本申请第一方面提供了一种髋关节图像分割与关键点联动识别方法，包括：
获取待识别图像，所述待识别图像为包含髋关节的医学图像；
将所述待识别图像输入图像分割与识别模型，得到所述待识别图像的输出热力图；
对所述输出热力图进行图像分割和关键点点识别；
根据分割和识别后的所述输出热力图，确定所述待识别图像的图像分割结果和关键点识别结果；
其中，所述图像分割与识别模型包含多个Hourglass结构。
本申请第二方面提供了一种髋关节图像分割与关键点联动识别装置，其包括：
图像获取模块，其用于获取待识别图像，所述待识别图像为包含髋关节的医学图像；
模型识别模块，其用于将所述待识别图像输入图像分割与识别模型，得到所述待识别图像的输出热力图；
热力图分割模块，其用于对所述输出热力图进行图像分割和关键点点识别；
结果确定模块，其用于根据分割和识别后的所述输出热力图，确定所述待识别图像的图像分割结果和关键点识别结果；
其中，所述图像分割与识别模型包含多个Hourglass结构。
本申请第三方面提供了一种电子设备，其包括：存储器和处理器；
所述存储器，其用于存储程序；
所述处理器，耦合至所述存储器，用于执行所述程序，以用于：
获取待识别图像，所述待识别图像为包含髋关节的医学图像；
将所述待识别图像输入图像分割与识别模型，得到所述待识别图像的输出热力图；
对所述输出热力图进行图像分割和关键点点识别；
根据分割和识别后的所述输出热力图，确定所述待识别图像的图像分割结果和关键点识别结果；
其中，所述图像分割与识别模型包含多个Hourglass结构。
本申请第四方面提供了一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行实现上述所述的髋关节图像分割与关键点联动识别方法。
本申请中，通过设置包含多个Hourglass结构的图像分割与识别模型，得到输出热力图，进而确定当前髋关节图像的图像分割结果和关键点识别结果，实现髋关节图像分割与关键点识别的联动，简化中间步骤，避免繁琐过程。
附图说明
图1为根据本申请实施例的髋关节图像分割与关键点联动识别方法的流程图；
图2为根据本申请实施例的髋关节图像分割与关键点联动识别方法的模型架构图；
图3为根据本申请实施例图像分割与识别模型分割前的原始图像；
图4为根据本申请实施例图像分割与识别模型分割后的分割结果图；
图5为根据本申请实施例的髋关节图像分割与关键点联动识别方法Hourglass结构的架构图；
图6为根据本申请实施例的髋关节图像分割与关键点联动识别方法单个Hourglass结构的结构图；
图7为根据本申请实施例的髋关节图像分割与关键点联动识别方法模型训练过程的流程图；
图8为根据本申请实施例的髋关节图像分割与关键点联动识别方法模型结合粗训练的流程图；
图9为根据本申请实施例的髋关节图像分割与关键点联动识别方法模型粗训练的具体流程图；
图10为根据本申请实施例的髋关节图像分割与关键点联动识别装置的结构框图；
图11为根据本申请实施例的电子设备的结构框图。
具体实施方式
为使本申请的上述目的、特征和优点能够更为明显易懂，下面结合附图对本申请的具体实施例做详细的说明。虽然附图中显示了本申请的示例性实施方式，然而应当理解，可以以各种形式实现本申请而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了能够更透彻地理解本申请，并且能够将本申请的范围完整的传达给本领域的技术人员。
需要注意的是，除非另有说明，本申请使用的技术术语或者科学术语应当为本申请所属领域技术人员所理解的通常意义。
在医学图像处理领域中图像分割和关键点识别是非常重要的两项技术，图像分割的过程是将医学图像中感兴趣区域提取出来，关键点识别是识别三维骨骼结构中的关键点，分割结果和关键点识别结果对于术前手术规划、术中导航、术后结果的评估都具有重要的参考价值。
但是现有的髋关节医学图像处理过程中，图像分割是通过训练的图像分割网络模型进行分割的，关键点识别是通过训练的关键点识别网络模型进行识别的；图像分割网络模型和关键点识别网络模型的训练和使用是相互独立，互不影响的，这就使得若要获取髋关节医学图像的分割结果和关键点识别结果，需要分别训练和使用两个神经网络模型，较为繁琐。
针对上述问题，本申请提供一种新的髋关节图像分割与关键点联动识别方案，能够通过包含多个Hourglass结构的网络模型，解决当前髋关节图像分割与关键点识别无法联动的问题。
为了便于理解，在此对下述可能使用的术语进行解释：
热力图(Heatmap)：是通过将数据矩阵中的各个值按照一定规律映射为颜色展示，利用颜色变化来可视化数据，这种方法可以很直观地呈现多样本多个基因的全局表达量变化，同时还可以展现多样本或者多基因表达量的聚类关系。
本申请实施例提供了一种髋关节图像分割与关键点联动识别方法，该方法的具体方案由图1-图9所示，该方法可以由髋关节图像分割与关键点联动识别装置来执行，该髋关节图像分割与关键点联动识别装置可以集成在电脑、服务器、计算机、服务器集群、数据中心等电子设备中。结合图1、图2所示，其为根据本申请一个实施例的髋关节图像分割与关键点联动识别方法的流程图；其中，所述髋关节图像分割与关键点联动识别方法，包括：
S301，获取待识别图像，所述待识别图像为包含髋关节的医学图像；
本申请中，所述待识别图像为包含髋关节的医学图像，基于该医学图像可以判断出髋关节状态/病变类别。医学图像例如包括：X线片、电子计算机断层扫描(ComputedTomography，CT)图像、磁共振(Magnetic Resonance Imaging，MRI)图像，或者上述多个图像的合成图像等。
S302，将所述待识别图像输入图像分割与识别模型，得到所述待识别图像的输出热力图；
本申请中，所述图像分割与识别模型包含多个Hourglass结构，通过Hourglass结构进行特征提取，获取待识别图像的深度特征(输出热力图)，通过该输出热力图可以进行图像分割和关键点识别。
S303，对所述输出热力图进行图像分割和关键点点识别；
本申请中，图像分割与识别模型包含多个Hourglass结构，每个Hourglass结构均输出一个热力图；在训练过程中，通过每个Hourglass结构输出的热力图进行损失函数的计算，在训练完成后进行预测时，仅输出最后一个Hourglass结构的热力图作为输出热力图，通过该输出热力图确定图像分割结果和关键点识别结果。
本申请中，图像分割即是把图像分成若干个特定的、具有独特性质的区域并提出感兴趣目标的技术和过程。它是由图像处理到图像分析的关键步骤。
本申请中，可以通过基于阈值的分割方法、基于区域的分割方法、基于边缘的分割方法或基于特定理论的分割方法对热力图进行图像分割。
本申请中，关键点识别，也被称作关键点定位或关键点对齐。
热力图中将每一类坐标用一个概率图来表示，对图片中的每个像素位置都给一个概率，表示该点属于对应类别关键点的概率。热力图中每一个关节对应的最大值元素所在的坐标，即为要识别的关键点。
S304，根据分割和识别后的所述输出热力图，确定所述待识别图像的图像分割结果和关键点识别结果；
其中，所述图像分割与识别模型包含多个Hourglass结构。
本申请中，需要说明的是，所述待识别图像为较大的图像，直接进行多个Hourglass结构的特征提取，需要的计算量过大，因此在所述图像分割与识别模型中首先对待识别图像进行下采样，然后通过多个Hourglass结构对下采样后的待识别图像进行特征提取，得到输出热力图。因此，输出热力图为待识别图像降维后的图像，基于输出热力图进行的图像分割和关键点识别的结果无法直接作为待识别图像的对应结果。
本申请中，待识别图像经过降维后与输出热力图对应，则待识别图像与输出热力图具有映射关系，基于该映射关系，将输出热力图的图像分割结果和关键点识别结果映射到待识别图像上，从而得到待识别图像的图像分割结果和关键点识别结果。
例如，待识别图像的大小为256×256，经过降维之后的输出热力图的大小为64×64，则输出热力图中的图像分割结果和关键点识别结果的坐标基于映射关系映射到待识别图像中，作为待识别图像的图像分割结果和关键点识别结果。
本申请中，通过设置包含多个Hourglass结构的图像分割与识别模型，得到输出热力图，进而确定当前髋关节图像的图像分割结果和关键点识别结果，实现髋关节图像分割与关键点识别的联动，简化中间步骤，避免繁琐过程。
本申请中，通过图像分割与识别模型直接获取待识别图像的图像分割结果和关键点识别结果，过程简单、便捷。
在一种实施方式中，所述待识别图像的图像分割结果中至少包括：植入物股骨组件、植入物髋臼组件、植入螺钉、股骨植入头、大转子、小转子、植入侧股骨、非植入侧股骨、磁性标记。
如图2所示，图中经由图像分割与识别模型得到的图像分割结果为：9segmentmask(分段掩码/分割掩码)：Femoral Component Of Implant(植入物股骨组件)、Acetabular Component Of Implant(植入物髋臼组件)、Implant Screws(植入螺钉)、Femoral Implant Head(股骨植入头)、Greater Trochanter(大转子)、Lesser Trochanter(小转子)、Femur On Implant Side(植入侧股骨)、Femur On Non-Implant Side(非植入侧股骨)、Magnetic Markers(磁性标记)。
在一种实施方式中，所述待识别图像的关键点识别结果中至少包括以下的一个或多个：泪滴、大转子上最下面最上面的点、坐骨侧面、小转子的最内侧点、骶尾部交界处中心、股骨干远端、股骨组件最外侧上角。
如图2所示，经由图像分割与识别模型得到的关键点识别结果为：8key pointdetect(关键点检测)：Teardrops(泪滴)、The Most Inferior The Superior Most Pointon The Greater Trochanter(大转子上最下面最上面的点)、Aspects of The Ischium(坐骨侧面)、The Medial Most Point on The Lesser Trochanter(小转子的最内侧点)、TheCenter of Sacrococcygeal Junction(骶尾部交界处中心)、The Distal Tip of TheFemoral Stem(股骨干远端)、The Superior Lateral Most Corner of The FemoralComponent(股骨组件最外侧上角)。
结合图3、图4所示，图3为输入图像分割与识别模型的原始图像，图4为分割后的具有图像分割结果和关键点识别结果的结果图。由图4中可以看出上述的图像分割结果与关键点识别结果。
结合图5、图6所示，在一种实施方式中，所述图像分割与识别模型包含多个Hourglass结构，多个Hourglass结构级联，且每个Hourglass结构均由编码器和解码器组成，以提取特征和生成热力图。
本申请中，图像分割与识别模型对输入图片进行下采样，将其尺寸调整为预设尺寸，例如输入图片为256×256，下采样后尺寸为64×64。
本申请中，输入的待识别图像、第一样本图像、第二样本图像为尺寸很大的图像，由于图像本身会具有大量空间冗余，直接对待识别图像、第二样本图像进行Hourglass结构处理会导致计算量大大增加，但准确度变化不大，因此通过下采样调整图像尺寸，从而降低计算资源的占用。
本申请中，Hourglass结构的构成基础为残差模块，该残差模块为旁路相加结构，其通过卷积方式提取较高层次的特征，同时通过旁路相加的通路保留原有层次的信息。如图6所示，其中的每个长方体均为一个残差模块，不同尺寸的残差模块之间通过降采样和升采样的方式进行连接。所述残差模块在实际使用时仅改变数据深度，不改变数据尺寸，从而保留数据的原有尺寸。
图6中所示的Hourglass结构为四阶Hourglass结构，包含四次降采样与四次升采样，每次降采样之前，分出上半路保留原尺度信息；每次升采样之后，和上一个尺度的数据相加；两次降采样之间，使用三个残差模块提取特征；两次相加之间，使用一个残差模块提取特征。
本申请中，Hourglass结构也可以为一阶、二阶或三阶Hourglass结构。
本申请中，所述Hourglass结构具有对称的结构，从中间依次扩展到两边，可以在程序中用递归的方式实现这个模块，图中的每个小块都可以看作是经过残差模块和池化或反池化后的结果，且前半部分的特征图会加到后半部分对称的位置。
本申请中，多个级联的Hourglass结构中，后一Hourglass结构的输入数据基于前一Hourglass结构确定，具体地：
后一Hourglass结构的输入包含三路：前一Hourglass结构的输入数据、前一Hourglass结构的输出数据，前一Hourglass结构的预测结果(热力图)，该三路数据通过串联(concat)和相加进行融合。
该融合方式可以为：对前一Hourglass结构的输出数据通过一个卷积层，对前一Hourglass结构的热力图通过一个卷积层，将通过卷积层的输出数据和热力图合并前一Hourglass结构的输入数据，得到后一Hourglass结构的输入数据。
其中，所述Hourglass结构的热力图，为该Hourglass结构的输出经由卷积层后得到的。
需要说明的是，针对同一个待识别图像、第一样本图像、第二样本图像，每个Hourglass结构生成的热力图均为一组热力图，也即是图像分割与识别模型具有N个Hourglass结构，则在一次训练时，一个图像(第一样本图像、第二样本图像)可以得到N组热力图，每组热力图分别与一个Hourglass结构对应。
结合图7所示，在一种实施方式中，所述S301，获取待识别图像之前，还包括：
S201，获取第一样本图像，所述第一样本图像具有标注的图像分割信息和标注的关键点信息；
S202，将所述第一样本图像输入图像分割与识别模型，得到多个Hourglass结构输出的多个热力图；
S203，在奇数次训练时，根据多个所述热力图和标注的所述图像分割信息计算第一整体损失；
S204，在偶数次训练时，根据多个所述热力图确定预测的关键点，并基于预测的关键点和标注的关键点信息计算第二整体损失；
S205，根据所述第一整体损失或所述第二整体损失对所述图像分割与识别模型进行迭代，直至所述第一整体损失和所述第二整体损失收敛为止。
本申请中，在对图像分割与识别模型训练的过程中，奇数次训练时，获取多个Hourglass结构输出的多个热力图，基于该多个热力图及第一样本图像标注的所述图像分割信息计算第一整体损失，并基于第一整体损失对图像分割与识别模型的参数进行迭代；然后进行偶数次训练，获取多个Hourglass结构输出的多个热力图，基于该多个热力图确定预测的关键点，并基于预测的关键点及第一样本图像标注的所述关键点信息计算第二整体损失，切基于第二整体损失对图像分割与识别模型的参数进行迭代；如此奇数次训练-偶数次训练进行循环训练，直至第一整体损失和第二整体损失均收敛为止。
需要说明的是，实际执行时，针对输入的每个第一样本图像，图像分割与识别模型中的每个Hourglass结构在一次训练中均会输出一组热力图；因此，上述所述的多个Hourglass结构输出的多个热力图，其中的多个热力图实际划分为多组，每组热力图均与一个Hourglass结构对应。
在一种实施方式中，所述第一整体损失收敛，即是基于奇数次训练获取的第一整体损失确定收敛。
具体地：获取训练过程中奇数次训练的第一整体损失，若2n+1次训练的第一整体损失与第2n-1次训练的第一整体损失相比收敛，则确定所述第一整体损失收敛。
在一种实施方式中，所述第二整体损失收敛，即是基于偶数次训练获取的第二整体损失确定收敛。
具体地：获取训练过程中偶数次训练的第一整体损失，若2n+2次训练的第二整体损失与第2n次训练的第二整体损失相比收敛，则确定所述第二整体损失收敛。
在一种实施方式中，所述第一整体损失和第二整体损失均收敛，即是在相邻的两次训练过程中分别确定第一整体损失收敛和第二整体损失收敛。
具体地：在2n+1次训练时确定第一整体损失收敛，且在2n次或者2n+2次训练时确定第二整体损失收敛，则确定所述第一整体损失和第二整体损失均收敛。
需要说明的是，若仅第一整体损失收敛或者仅第二整体损失收敛，则继续进行奇数次训练和偶数次训练，直至第一整体损失和第二整体损失均收敛为止。
本申请中，通过相邻的方式确定第一整体损失和第二整体损失的共同收敛，利用收敛后持续训练的扰动问题，提高整个图像分割与识别模型的识别准确性。
本申请中，通过将图像分割与识别模型的训练划分为奇数次和偶数次，在奇数次通过统计与标注的图像分割信息的差距将图像分割与识别模型的参数向图像分割进行逼近，在偶数次通过统计与标注的关键点信息的差距将图像分割与识别模型的参数向关键点识别进行逼近，通过循环调整图像分割与识别模型的参数的逼近方向，从而达到更准确的训练效果。
在一种实施方式中，所述第一整体损失的计算公式为：
其中，L1为第一整体损失，n为计算第一整体损失的热力图的总数量，Intersectioni为第i个热力图与标注的图像分割信息的交集，Unioni为第个i热力图与标注的图像分割信息的并集。
本申请中，Intersection表示预测结果和真实标签的交集(即预测结果与真实标签同时为正样本的像素数)，Union表示预测结果和真实标签的并集(即预测结果或真实标签为正样本的像素数)。
L1的取值范围为0到1，越接近0表示预测结果与真实标签的不相似程度越高，越接近1表示预测结果与真实标签的相似程度越高。因此，通过最小化L1可以使得预测结果与真实标签更加一致。
在一种实施方式中，所述第二整体损失的计算公式为：
其中，L2为第二整体损失，m为计算第二整体损失的预测关键点对应热力图的总数量，α为平衡因子，γ为可调节超参数，pti为对应第i个热力图的预测关键点与标注的关键点的接近程度。
本申请中，α为平衡因子，用于调节正样本和负样本的权重。通常设置为0.25，可以根据具体情况进行调整。γ为可调节的超参数，用于调节正负样本之间的平衡程度。
L2通过引入动态调节因子(1-pti)γ，使得预测概率较低的样本和预测概率较高的样本在损失计算中得到不同的权重，从而减轻类别不平衡问题的影响。
结合图8所示，在一种实施方式中，所述S201，获取第一样本图像之前，还包括：
S110，获取第二样本图像，所述第二样本图像具有标注的图像分割信息和标注的关键点信息；
本申请中，第二样本图像的格式与第一样本图像相同，其标注的图像分割信息与标注的关键点信息的格式也相同。
S120，根据所述第二样本图像对所述图像分割与识别模型进行粗训练，得到粗训练后的图像分割与识别模型。
本申请中，通过对图像分割与识别模型进行粗训练，从而提高图像分割与识别模型中的Hourglass结构(粗训练后的参数)的(对图像分割和关键点识别)针对性，在具有针对性的基础上再次训练图像分割与识别模型时可以避免训练过程中陷入局部最优的情况。
需要说明的是，对图像分割与识别模型进行训练过程中，由于奇数次训练和偶数次训练的损失进行单独和迭代，且图像分割需要的深度特征与关键点识别需要的深度特征对应的提取深度不同，容易出现只有单个整体损失收敛的情况，该种情况下若持续训练，则容易发生过拟合情况。
本申请中，通过对图像分割与识别模型进行粗训练，提高了图像分割与识别模型对于图像识别和点识别的针对性，从而减少了后续训练过程中的训练时间，避免过拟合现象。
本申请中，通过将图像分割与识别模型的训练过程拆分为粗训练和训练，从而降低了粗训练和训练过程中需要训练的内容，减少了训练时间，避免了过拟合等后果。
在一种实施方式中，所述第一样本图像与所述第二样本图像相同。
本申请中，通过相同的第一样本图像分别对图像分割与识别模型进行训练和粗训练，通过复用训练样本的方式，增加训练和粗训练之间的同调性和兼容性，进一步降低训练时间。
结合图9所示，在一种实施方式中，
所述图像分割与识别模型中的多个Hourglass结构依次排列；所述S120，根据所述第二样本图像对所述图像分割与识别模型进行粗训练，得到粗训练后的图像分割与识别模型，包括：
S101，将所述第二样本图像输入图像分割与识别模型，得到多个Hourglass结构输出的多个热力图；
S102，根据排列在前列的预设数量的Hourglass结构输出的热力图和标注的所述图像分割信息计算图像分割损失；
S103，根据排列在后列的预设数量的Hourglass结构输出的热力图确定预测的关键点，并基于预测的关键点和标注的关键点信息计算点识别损失；
本申请中，多个Hourglass结构级联，沿数据的输送/处理方向对Hourglass结构进行排列，前一Hourglass结构的输出数据输入后一Hourglass结构，根据该Hourglass结构的排列，排列在前列的n个Hourglass结构作为计算图像分割损失的基础，排列在后列的m个Hourglass结构(共有m+n个Hourglass结构)作为计算点识别损失的基础。
需要说明的是，用于图像分割的特征信息与用于关键点识别的特征信息相比，后者需要进行深度的特征提取才能获取；因此，将前列的预设数量的Hourglass结构用于图像分割，后列的Hourglass结构用于关键点识别，以提高识别的准确性。
在一种实施方式中，所述图像分割损失通过第一整体损失的计算方式进行计算。
在一种实施方式中，所述点识别损失通过第二整体损失的计算方式进行计算。
S104，根据所述图像分割损失和点识别损失确定第三整体损失；
本申请中，所述第三整体损失基于所述图像分割损失和点识别损失按照预设的损失计算策略确定，该损失计算策略可以为均值计算或损失叠加计算。
S105，根据所述第三整体损失对所述图像分割与识别模型进行迭代，直至所述第三整体损失收敛为止。
本申请中，通过粗训练，可以将前列的预设数量的Hourglass结构向图像分割方向逼近，将后列的预设数量的Hourglass结构向点识别方向逼近，从而在后期训练过程中更快收敛。
本申请实施例提供了一种髋关节图像分割与关键点联动识别装置，用于执行本申请上述内容所述的髋关节图像分割与关键点联动识别方法，以下对所述髋关节图像分割与关键点联动识别装置进行详细描述。
如图10所示，所述髋关节图像分割与关键点联动识别装置，包括：
图像获取模块101，其用于获取待识别图像，所述待识别图像为包含髋关节的医学图像；
模型识别模块102，其用于将所述待识别图像输入图像分割与识别模型，得到所述待识别图像的输出热力图；
热力图分割模块103，其用于对所述输出热力图进行图像分割和关键点点识别；
结果确定模块104，其用于根据分割和识别后的所述输出热力图，确定所述待识别图像的图像分割结果和关键点识别结果；
其中，所述图像分割与识别模型包含多个Hourglass结构。
在一种实施方式中，所述髋关节图像分割与关键点联动识别装置还包括模型训练模块，所述模型训练模块用于：
获取第一样本图像，所述第一样本图像具有标注的图像分割信息和标注的关键点信息；将所述第一样本图像输入图像分割与识别模型，得到多个Hourglass结构输出的多个热力图；在奇数次训练时，根据多个所述热力图和标注的所述图像分割信息计算第一整体损失；在偶数次训练时，根据多个所述热力图确定预测的关键点，并基于预测的关键点和标注的关键点信息计算第二整体损失；根据所述第一整体损失或所述第二整体损失对所述图像分割与识别模型进行迭代，直至所述第一整体损失和所述第二整体损失收敛为止。
在一种实施方式中，所述第一整体损失的计算公式为：
其中，L1为第一整体损失，n为计算第一整体损失的热力图的总数量，Intersectioni为第i个热力图与标注的图像分割信息的交集，Unioni为第个i热力图与标注的图像分割信息的并集。
在一种实施方式中，所述第二整体损失的计算公式为：
其中，L2为第二整体损失，m为计算第二整体损失的预测关键点对应热力图的总数量，α为平衡因子，γ为可调节超参数，pti为对应第i个热力图的预测关键点与标注的关键点的接近程度。
在一种实施方式中，所述待识别图像的图像分割结果中至少包括：植入物股骨组件、植入物髋臼组件、植入螺钉、股骨植入头、大转子、小转子、植入侧股骨、非植入侧股骨、磁性标记。
在一种实施方式中，所述髋关节图像分割与关键点联动识别装置还包括模型粗训练模块，所述模型粗训练模块用于：
获取第二样本图像，所述第二样本图像具有标注的图像分割信息和标注的关键点信息；根据所述第二样本图像对所述图像分割与识别模型进行粗训练，得到粗训练后的图像分割与识别模型。
在一种实施方式中，所述图像分割与识别模型中的多个Hourglass结构依次排列；所述模型粗训练模块还用于：
将所述第二样本图像输入图像分割与识别模型，得到多个Hourglass结构输出的多个热力图；根据排列在前列的预设数量的Hourglass结构输出的热力图和标注的所述图像分割信息计算图像分割损失；根据排列在后列的预设数量的Hourglass结构输出的热力图确定预测的关键点，并基于预测的关键点和标注的关键点信息计算点识别损失；根据所述图像分割损失和点识别损失确定第三整体损失；根据所述第三整体损失对所述图像分割与识别模型进行迭代，直至所述第三整体损失收敛为止。
本申请的上述实施例提供的髋关节图像分割与关键点联动识别装置与本申请实施例提供的髋关节图像分割与关键点联动识别方法具有对应关系，因此该装置中的具体内容与髋关节图像分割与关键点联动识别方法具有对应关系，具体内容可以参照髋关节图像分割与关键点联动识别方法中的记录，本申请中对此不再赘述。
本申请的上述实施例提供的髋关节图像分割与关键点联动识别装置与本申请实施例提供的髋关节图像分割与关键点联动识别方法出于相同的发明构思，具有与其存储的应用程序所采用、运行或实现的方法相同的有益效果。
以上描述了髋关节图像分割与关键点联动识别装置的内部功能和结构，如图11所示，实际中，该髋关节图像分割与关键点联动识别装置可实现为电子设备，包括：存储器301及处理器303。
存储器301，可被配置为存储程序。
另外，存储器301，还可被配置为存储其它各种数据以支持在电子设备上的操作。这些数据的示例包括用于在电子设备上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。
存储器301可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。
处理器303，耦合至存储器301，用于执行存储器301中的程序，以用于：
获取待识别图像，所述待识别图像为包含髋关节的医学图像；
将所述待识别图像输入图像分割与识别模型，得到所述待识别图像的输出热力图；
对所述输出热力图进行图像分割和关键点点识别；
根据分割和识别后的所述输出热力图，确定所述待识别图像的图像分割结果和关键点识别结果；
其中，所述图像分割与识别模型包含多个Hourglass结构。
在一种实施方式中，处理器303还用于：
获取第一样本图像，所述第一样本图像具有标注的图像分割信息和标注的关键点信息；将所述第一样本图像输入图像分割与识别模型，得到多个Hourglass结构输出的多个热力图；在奇数次训练时，根据多个所述热力图和标注的所述图像分割信息计算第一整体损失；在偶数次训练时，根据多个所述热力图确定预测的关键点，并基于预测的关键点和标注的关键点信息计算第二整体损失；根据所述第一整体损失或所述第二整体损失对所述图像分割与识别模型进行迭代，直至所述第一整体损失和所述第二整体损失收敛为止。
在一种实施方式中，所述第一整体损失的计算公式为：
其中，L1为第一整体损失，n为计算第一整体损失的热力图的总数量，Intersectioni为第i个热力图与标注的图像分割信息的交集，Unoioni为第个i热力图与标注的图像分割信息的并集。
在一种实施方式中，所述第二整体损失的计算公式为：
其中，L2为第二整体损失，m为计算第二整体损失的预测关键点对应热力图的总数量，α为平衡因子，γ为可调节超参数，pti为对应第i个热力图的预测关键点与标注的关键点的接近程度。
在一种实施方式中，所述待识别图像的图像分割结果中至少包括：植入物股骨组件、植入物髋臼组件、植入螺钉、股骨植入头、大转子、小转子、植入侧股骨、非植入侧股骨、磁性标记。
在一种实施方式中，处理器303还用于：
获取第二样本图像，所述第二样本图像具有标注的图像分割信息和标注的关键点信息；根据所述第二样本图像对所述图像分割与识别模型进行粗训练，得到粗训练后的图像分割与识别模型。
在一种实施方式中，所述图像分割与识别模型中的多个Hourglass结构依次排列；处理器303还用于：
将所述第二样本图像输入图像分割与识别模型，得到多个Hourglass结构输出的多个热力图；根据排列在前列的预设数量的Hourglass结构输出的热力图和标注的所述图像分割信息计算图像分割损失；根据排列在后列的预设数量的Hourglass结构输出的热力图确定预测的关键点，并基于预测的关键点和标注的关键点信息计算点识别损失；根据所述图像分割损失和点识别损失确定第三整体损失；根据所述第三整体损失对所述图像分割与识别模型进行迭代，直至所述第三整体损失收敛为止。
本申请中，处理器还具体用于执行上述髋关节图像分割与关键点联动识别方法的所有流程及步骤，具体内容可参照髋关节图像分割与关键点联动识别方法中的记录，本申请中对此不再赘述。
本申请中，图11中仅示意性给出部分组件，并不意味着电子设备只包括图11所示组件。
本实施例提供的电子设备，与本申请实施例提供的髋关节图像分割与关键点联动识别方法出于相同的发明构思，具有与其存储的应用程序所采用、运行或实现的方法相同的有益效果。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可读存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(Flash RAM)。内存是计算机可读介质的示例。
本申请还提供一种与前述实施方式所提供的髋关节图像分割与关键点联动识别方法对应的计算机可读存储介质，其上存储有计算机程序(即程序产品)，所述计算机程序在被处理器运行时，会执行前述任意实施方式所提供的髋关节图像分割与关键点联动识别方法。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(Transitory Media)，如调制的数据信号和载波。
本申请的上述实施例提供的计算机可读存储介质与本申请实施例提供的髋关节图像分割与关键点联动识别方法出于相同的发明构思，具有与其存储的应用程序所采用、运行或实现的方法相同的有益效果。
需要说明的是，在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本申请的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的结构和技术，以便不模糊对本说明书的理解。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (9)

1.一种髋关节图像分割与关键点联动识别方法，其特征在于，包括：
获取待识别图像，所述待识别图像为包含髋关节的医学图像；
将所述待识别图像输入图像分割与识别模型，得到所述待识别图像的输出热力图；
对所述输出热力图进行图像分割和关键点点识别；
根据分割和识别后的所述输出热力图，确定所述待识别图像的图像分割结果和关键点识别结果；
其中，所述图像分割与识别模型包含多个Hourglass结构；
所述获取待识别图像之前，还包括：
获取第一样本图像，所述第一样本图像具有标注的图像分割信息和标注的关键点信息；
将所述第一样本图像输入图像分割与识别模型，得到多个Hourglass结构输出的多个热力图；
在奇数次训练时，根据多个所述热力图和标注的所述图像分割信息计算第一整体损失；
在偶数次训练时，根据多个所述热力图确定预测的关键点，并基于预测的关键点和标注的关键点信息计算第二整体损失；
根据所述第一整体损失或所述第二整体损失对所述图像分割与识别模型进行迭代，直至所述第一整体损失和所述第二整体损失收敛为止。
2.根据权利要求1所述的髋关节图像分割与关键点联动识别方法，其特征在于，所述第一整体损失的计算公式为：
其中，L1为第一整体损失，n为计算第一整体损失的热力图的总数量，Intersectioni为第i个热力图与标注的图像分割信息的交集，Unioni为第个i热力图与标注的图像分割信息的并集。
3.根据权利要求1所述的髋关节图像分割与关键点联动识别方法，其特征在于，所述第二整体损失的计算公式为：
其中，L2为第二整体损失，m为计算第二整体损失的预测关键点对应热力图的总数量，α为平衡因子，γ为可调节超参数，pti为对应第i个热力图的预测关键点与标注的关键点的接近程度。
4.根据权利要求1-3中任一项所述的髋关节图像分割与关键点联动识别方法，其特征在于，所述待识别图像的图像分割结果中至少包括：植入物股骨组件、植入物髋臼组件、植入螺钉、股骨植入头、大转子、小转子、植入侧股骨、非植入侧股骨、磁性标记。
5.根据权利要求1-3中任一项所述的髋关节图像分割与关键点联动识别方法，其特征在于，所述获取第一样本图像之前，还包括：
获取第二样本图像，所述第二样本图像具有标注的图像分割信息和标注的关键点信息；
根据所述第二样本图像对所述图像分割与识别模型进行粗训练，得到粗训练后的图像分割与识别模型。
6.根据权利要求5所述的髋关节图像分割与关键点联动识别方法，其特征在于，所述图像分割与识别模型中的多个Hourglass结构依次排列；所述根据所述第二样本图像对所述图像分割与识别模型进行粗训练，得到粗训练后的图像分割与识别模型，包括：
将所述第二样本图像输入图像分割与识别模型，得到多个Hourglass结构输出的多个热力图；
根据排列在前列的预设数量的Hourglass结构输出的热力图和标注的所述图像分割信息计算图像分割损失；
根据排列在后列的预设数量的Hourglass结构输出的热力图确定预测的关键点，并基于预测的关键点和标注的关键点信息计算点识别损失；
根据所述图像分割损失和点识别损失确定第三整体损失；
根据所述第三整体损失对所述图像分割与识别模型进行迭代，直至所述第三整体损失收敛为止。
7.一种髋关节图像分割与关键点联动识别装置，其特征在于，包括：
图像获取模块，其用于获取待识别图像，所述待识别图像为包含髋关节的医学图像；
模型识别模块，其用于将所述待识别图像输入图像分割与识别模型，得到所述待识别图像的输出热力图；
热力图分割模块，其用于对所述输出热力图进行图像分割和关键点点识别；
结果确定模块，其用于根据分割和识别后的所述输出热力图，确定所述待识别图像的图像分割结果和关键点识别结果；
其中，所述图像分割与识别模型包含多个Hourglass结构；
还包括模型训练模块，其用于：
获取第一样本图像，所述第一样本图像具有标注的图像分割信息和标注的关键点信息；将所述第一样本图像输入图像分割与识别模型，得到多个Hourglass结构输出的多个热力图；在奇数次训练时，根据多个所述热力图和标注的所述图像分割信息计算第一整体损失；在偶数次训练时，根据多个所述热力图确定预测的关键点，并基于预测的关键点和标注的关键点信息计算第二整体损失；根据所述第一整体损失或所述第二整体损失对所述图像分割与识别模型进行迭代，直至所述第一整体损失和所述第二整体损失收敛为止。
8.一种电子设备，其特征在于，包括：存储器和处理器；
所述存储器，其用于存储程序；
所述处理器，耦合至所述存储器，用于执行所述程序，以用于：
获取待识别图像，所述待识别图像为包含髋关节的医学图像；
将所述待识别图像输入图像分割与识别模型，得到所述待识别图像的输出热力图；
对所述输出热力图进行图像分割和关键点点识别；
根据分割和识别后的所述输出热力图，确定所述待识别图像的图像分割结果和关键点识别结果；
其中，所述图像分割与识别模型包含多个Hourglass结构；
所述获取待识别图像之前，还包括：
获取第一样本图像，所述第一样本图像具有标注的图像分割信息和标注的关键点信息；
将所述第一样本图像输入图像分割与识别模型，得到多个Hourglass结构输出的多个热力图；
在奇数次训练时，根据多个所述热力图和标注的所述图像分割信息计算第一整体损失；
在偶数次训练时，根据多个所述热力图确定预测的关键点，并基于预测的关键点和标注的关键点信息计算第二整体损失；
根据所述第一整体损失或所述第二整体损失对所述图像分割与识别模型进行迭代，直至所述第一整体损失和所述第二整体损失收敛为止。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行实现权利要求1-6任一项所述的髋关节图像分割与关键点联动识别方法。
CN202310826397.9A 2023-07-06 2023-07-06 一种髋关节图像分割与关键点联动识别方法及装置 Active CN116894844B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310826397.9A CN116894844B (zh) 2023-07-06 2023-07-06 一种髋关节图像分割与关键点联动识别方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310826397.9A CN116894844B (zh) 2023-07-06 2023-07-06 一种髋关节图像分割与关键点联动识别方法及装置

Publications (2)

Publication Number Publication Date
CN116894844A CN116894844A (zh) 2023-10-17
CN116894844B true CN116894844B (zh) 2024-04-02

Family

ID=88311606

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310826397.9A Active CN116894844B (zh) 2023-07-06 2023-07-06 一种髋关节图像分割与关键点联动识别方法及装置

Country Status (1)

Country Link
CN (1) CN116894844B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117576375A (zh) * 2023-11-27 2024-02-20 北京长木谷医疗科技股份有限公司 基于深度学习算法的髋关节病变识别方法、装置及设备

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108710520A (zh) * 2018-05-11 2018-10-26 中国联合网络通信集团有限公司 数据的可视化方法、装置、终端及计算机可读存储介质
CN109670397A (zh) * 2018-11-07 2019-04-23 北京达佳互联信息技术有限公司 人体骨骼关键点的检测方法、装置、电子设备及存储介质
CN109948796A (zh) * 2019-03-13 2019-06-28 腾讯科技（深圳）有限公司 自编码器学习方法、装置、计算机设备及存储介质
CN110889858A (zh) * 2019-12-03 2020-03-17 中国太平洋保险（集团）股份有限公司 一种基于点回归的汽车部件分割方法及装置
CN112842529A (zh) * 2020-12-31 2021-05-28 北京长木谷医疗科技有限公司 全膝关节置换术前规划方法及装置
CN113033581A (zh) * 2021-05-07 2021-06-25 刘慧烨 髋关节图像中骨骼解剖关键点定位方法、电子设备及介质
CN113936314A (zh) * 2021-10-13 2022-01-14 浙江核新同花顺网络信息股份有限公司 一种面部表情识别的方法和系统
WO2022170768A1 (zh) * 2021-02-10 2022-08-18 北京长木谷医疗科技有限公司 单髁关节图像的处理方法、装置、设备和存储介质
CN115131297A (zh) * 2022-06-10 2022-09-30 青岛海信医疗设备股份有限公司 一种髋关节检测方法、设备及装置
CN115131487A (zh) * 2022-07-22 2022-09-30 苏州微创畅行机器人有限公司 医学影像处理方法、系统、计算机设备、存储介质
CN115661282A (zh) * 2022-10-18 2023-01-31 上海联影智能医疗科技有限公司 伪影识别方法、装置及计算机可读存储介质
WO2023035586A1 (zh) * 2021-09-10 2023-03-16 上海商汤智能科技有限公司 图像检测方法、模型训练方法、装置、设备、介质及程序
WO2023051659A1 (zh) * 2021-09-29 2023-04-06 北京长木谷医疗科技有限公司 股骨近端髓腔图像数据处理方法、装置、设备和存储介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10896341B2 (en) * 2018-11-15 2021-01-19 International Business Machines Corporation Efficient defect localization/segmentation for surface defect inspection
CN114092963B (zh) * 2021-10-14 2023-09-22 北京百度网讯科技有限公司 关键点检测及模型训练方法、装置、设备和存储介质

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108710520A (zh) * 2018-05-11 2018-10-26 中国联合网络通信集团有限公司 数据的可视化方法、装置、终端及计算机可读存储介质
CN109670397A (zh) * 2018-11-07 2019-04-23 北京达佳互联信息技术有限公司 人体骨骼关键点的检测方法、装置、电子设备及存储介质
CN109948796A (zh) * 2019-03-13 2019-06-28 腾讯科技（深圳）有限公司 自编码器学习方法、装置、计算机设备及存储介质
CN110889858A (zh) * 2019-12-03 2020-03-17 中国太平洋保险（集团）股份有限公司 一种基于点回归的汽车部件分割方法及装置
CN112842529A (zh) * 2020-12-31 2021-05-28 北京长木谷医疗科技有限公司 全膝关节置换术前规划方法及装置
WO2022170768A1 (zh) * 2021-02-10 2022-08-18 北京长木谷医疗科技有限公司 单髁关节图像的处理方法、装置、设备和存储介质
CN113033581A (zh) * 2021-05-07 2021-06-25 刘慧烨 髋关节图像中骨骼解剖关键点定位方法、电子设备及介质
WO2023035586A1 (zh) * 2021-09-10 2023-03-16 上海商汤智能科技有限公司 图像检测方法、模型训练方法、装置、设备、介质及程序
WO2023051659A1 (zh) * 2021-09-29 2023-04-06 北京长木谷医疗科技有限公司 股骨近端髓腔图像数据处理方法、装置、设备和存储介质
CN113936314A (zh) * 2021-10-13 2022-01-14 浙江核新同花顺网络信息股份有限公司 一种面部表情识别的方法和系统
CN115131297A (zh) * 2022-06-10 2022-09-30 青岛海信医疗设备股份有限公司 一种髋关节检测方法、设备及装置
CN115131487A (zh) * 2022-07-22 2022-09-30 苏州微创畅行机器人有限公司 医学影像处理方法、系统、计算机设备、存储介质
CN115661282A (zh) * 2022-10-18 2023-01-31 上海联影智能医疗科技有限公司 伪影识别方法、装置及计算机可读存储介质

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Lightweight Stacked Hourglass Network for Human Pose Estimation;Seung-Taek Kim 等;《applied sciences》;20200917;1-15 *
Synthetic Humans for Action Recognition from Unseen Viewpoints;Gül Varol 等;《 International Journal of Computer Vision》;20210512;第129卷;2264-2287 *
基于沙漏网络的人体姿态估计算法改进研究及应用;吴翠娜;《中国优秀硕士学位论文全文数据库 信息科技辑》;20230228;I138-1586 *
基于深度学习的图像稠密预测研究及应用;欧杰;《中国优秀硕士学位论文全文数据库 信息科技辑》;20200731(07);I138-882 *

Also Published As

Publication number Publication date
CN116894844A (zh) 2023-10-17

Similar Documents

Publication Publication Date Title
CN111369581B (zh) 图像处理方法、装置、设备及存储介质
US5617459A (en) Method of processing images in order automatically to detect key points situated on the contour of an object and device for implementing this method
CN111291825A (zh) 病灶分类模型训练方法、装置、计算机设备和存储介质
CN112862824A (zh) 新型冠状病毒肺炎病灶检测方法、系统、装置和存储介质
CN116894844B (zh) 一种髋关节图像分割与关键点联动识别方法及装置
CN112561877B (zh) 多尺度双通道卷积模型训练方法、图像处理方法及装置
CN113763340A (zh) 基于多任务深度学习强直性脊柱炎的自动分级方法
CN110853048A (zh) 基于粗、精训练的mri图像分割方法、装置和存储介质
CN111681204B (zh) 基于图神经网络的ct肋骨骨折病灶关系建模方法及装置
CN111192320B (zh) 一种位置信息确定方法、装置、设备和存储介质
CN117670951B (zh) 基于多模态交叉注意力机制的膝关节图像配准方法及装置
CN112529849B (zh) 一种ct肋骨自动计数方法及装置
CN111027551B (zh) 图像处理方法、设备和介质
CN117173463A (zh) 一种基于多分类稀疏点云的骨关节模型重建方法及装置
CN116051813A (zh) 全自动智能腰椎定位与识别方法及应用
CN113327221B (zh) 融合roi区域的图像合成方法、装置、电子设备及介质
CN113255756B (zh) 图像融合方法、装置、电子设备及存储介质
CN114359133A (zh) 基于特征提取的手骨影像分析方法及相关设备
CN113538348A (zh) 一种颅脑磁共振弥散加权图像的处理方法及相关产品
Rollan-Martinez-Herrera et al. Thorax-Net: A Full Thoracic Chest X-Ray Segmentation Approach
CN112750124A (zh) 模型生成、图像分割方法、装置、电子设备及存储介质
CN116993762B (zh) 图像分割方法、装置、电子设备及存储介质
CN117853432B (zh) 一种基于混合模型的骨关节病变识别方法及装置
CN116824265B (zh) 一种基于glm的脊柱智能诊断评估方法及装置
CN113506302B (zh) 一种交互式对象更新方法、装置及处理系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant