CN117455873A - 脊柱椎体定位识别方法、装置、设备及存储介质 - Google Patents

脊柱椎体定位识别方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN117455873A
CN117455873A CN202311423237.6A CN202311423237A CN117455873A CN 117455873 A CN117455873 A CN 117455873A CN 202311423237 A CN202311423237 A CN 202311423237A CN 117455873 A CN117455873 A CN 117455873A
Authority
CN
China
Prior art keywords
vertebral body
heat map
cone
image
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311423237.6A
Other languages
English (en)
Inventor
江宗康
王秀娟
郭延恩
邵明昊
唐文彬
蔡宁
宓海
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Jirui Medical Technology Co ltd
Original Assignee
Shanghai Jirui Medical Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Jirui Medical Technology Co ltd filed Critical Shanghai Jirui Medical Technology Co ltd
Priority to CN202311423237.6A priority Critical patent/CN117455873A/zh
Publication of CN117455873A publication Critical patent/CN117455873A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/042—Knowledge-based neural networks; Logical representations of neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/66—Analysis of geometric attributes of image moments or centre of gravity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30008—Bone
    • G06T2207/30012—Spine; Backbone

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Geometry (AREA)
  • Radiology & Medical Imaging (AREA)
  • Databases & Information Systems (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供一种脊柱椎体定位识别方法、装置、设备及存储介质。该方法包括：将待识别的脊柱部位的放射平片图像输入至脊柱椎体定位识别模型，输出放射平片图像中每节椎体对应的热图以及热图对应的索引号，热图包含椎体的至少一个候选中心点的坐标；根据预设的椎体节段类型与索引号的关系，确定每节椎体的椎体节段类型；基于每节椎体对应的椎体节段类型以及候选中心点的坐标构建图模型，图模型包含开始节点和结束节点；确定图模型中开始节点至结束节点之间的最短路径，将最短路径包含的每节椎体的候选中心点作为目标中心点，本方法基于脊柱椎体定位识别模型以及构建图模型，确定每节椎体的椎体节段类型和目标中心点，提高了脊柱椎体识别的准确率。

Description

脊柱椎体定位识别方法、装置、设备及存储介质
技术领域
本申请涉及医疗图像技术领域，尤其涉及一种脊柱椎体定位识别方法、装置、设备及存储介质。
背景技术
近些年来图像处理和计算机技术不断飞速发展，深度学习在辅助放射科诊断是目前人工智能领域所研究的热点之一，运用深度学习技术自动定位与识别脊柱椎体的方法极大的减轻了外科医生的负担。
在一些相关技术中，可使用卷积神经网络等模型来提取图像的特征并进行物体检测或者关键点检测，从而实现椎体识别。
但是对椎体节段类型进行识别时，由于该方法从图像中识别到多个推荐区域或者推荐点是无序的，因此利用该方法对椎体节段类型进行识别的准确率较低。
发明内容
本申请提供一种脊柱椎体定位识别方法、装置、设备及存储介质，用以解决相关技术中，利用卷积神经网络等模型提取图像的特征并进行物体检测或者关键点检测，从而实现椎体识别，识别准确率较低的问题。
第一方面，本申请提供一种脊柱椎体定位识别方法，包括：
将待识别的脊柱部位的放射平片图像输入至脊柱椎体定位识别模型，输出放射平片图像中每节椎体对应的热图以及热图对应的索引号，热图包含椎体的至少一个候选中心点的坐标；
根据预设的椎体节段类型与索引号的关系，确定每节椎体对应的椎体节段类型；
基于每节椎体对应的椎体节段类型以及候选中心点的坐标构建图模型，图模型包含开始节点和结束节点；
确定图模型中开始节点至结束节点之间的最短路径，将最短路径包含的每节椎体的候选中心点作为目标中心点。
第二方面，本申请提供一种脊柱椎体定位识别模型的训练方法，包括：
获取脊柱部位的放射平片图像，并对放射平片图像进行预处理，获取待标注图像；
获取待标注图像对应的标注结果，标注结果包含脊柱部位包含的每节椎体的中心点的坐标以及对应的椎体节段类型；
以每一中心点为中心生成热图，并根据预设的椎体节段类型与索引号的关系，确定每一热图对应的索引号；
基于热图回归的方法，根据待标注图像、每一中心点对应的热图以及热图对应的索引号对深度学习网络模型进行训练，得到脊柱椎体定位识别模型。
第三方面，本申请提供一种脊柱椎体定位识别装置，包括：
输入模块，用于将待识别的脊柱部位的放射平片图像输入至脊柱椎体定位识别模型，输出放射平片图像中每节椎体对应的热图以及热图对应的索引号，热图包含椎体的至少一个候选中心点的坐标；
确定模块，用于根据预设的椎体节段类型与索引号的关系，确定每节椎体对应的椎体节段类型；
构建模块，用于基于每节椎体对应的椎体节段类型以及候选中心点的坐标构建图模型，图模型包含开始节点和结束节点；
确定模块，还用于确定图模型中开始节点至结束节点之间的最短路径，将最短路径包含的每节椎体的候选中心点作为目标中心点。
第四方面，本申请提供一种脊柱椎体定位识别模型的训练装置，包括：
获取模块，用于获取脊柱部位的放射平片图像；
处理模块，用于对放射平片图像进行预处理，获取待标注图像；
获取模块，还用于获取待标注图像对应的标注结果，标注结果包含脊柱部位包含的每节椎体的中心点的坐标以及对应的椎体节段类型；
处理模块，还用于以每一中心点为中心生成热图，并根据预设的椎体节段类型与索引号的关系，确定每一热图对应的索引号；
处理模块，还用于基于热图回归的方法，根据待标注图像、每一中心点对应的热图以及热图对应的索引号，对深度学习网络模型进行训练，得到脊柱椎体定位识别模型。
第五方面，本申请提供一种电子设备，包括：处理器、存储器，存储器中存储代码，处理器运行存储器中存储的代码，以执行如第一方面或第二方面中任一项的方法。
第六方面，本申请提供一种计算机可读存储介质，计算机可读存储介质中存储有计算机执行指令，计算机执行指令被处理器执行时用于实现如第一方面或第二方面中任一项的方法。
第七方面，本申请提供一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现第一方面或第二方面中任一项的方法。
本申请提供一种脊柱椎体定位识别方法、装置、设备及存储介质，将待识别的脊柱部位的放射平片图像输入至脊柱椎体定位识别模型，该模型即可输出放射平片图像中每节椎体对应的热图以及热图对应的索引号，该热图中包含椎体的至少一个候选中心点的坐标。根据预设的椎体节段类型与索引号的关系，即可确定每节椎体对应的椎体节段类型，实现对椎体的类别信息的识别。基于每节椎体对应的椎体节段类型以及候选中心点的坐标构建图模型，确定图模型中开始节点至结束节点之间的最短路径，将最短路径包含的每节椎体的候选中心点作为该节椎体的目标中心点，实现对椎体的定位。本申请的方法基于脊柱椎体定位识别模型，对每节椎体的热图及其索引号进行预测，使得基于热图及其索引号确定每节椎体的椎体节段类型和目标中心点，有利于提高椎体定位与识别的准确率。同时，通过构建图模型，基于开始节点到结束节点之间的完整路径确定每一节椎体的目标中心点，由于完整路径包含不同椎体之间的关联关系，因此有利于提高椎体定位的准确率。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。
图1为本申请实施例提供的一种脊柱椎体定位识别的场景示意图；
图2为本申请实施例提供的一种脊柱椎体定位识别方法流程图；
图3为本申请实施例提供的一种构建图模型的方法流程图；
图4为本申请实施例提供的一种图模型的示意图；
图5为本申请实施例提供的一种脊柱椎体定位识别模型的训练方法流程图；
图6为本申请实施例提供的一种脊柱椎体定位识别装置示意图；
图7为本申请实施例提供的一种脊柱椎体定位识别模型的训练装置示意图；
图8为本申请实施例提供的一种电子设备示意图。
通过上述附图，已示出本申请明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本申请构思的范围，而是通过参考特定实施例为本领域技术人员说明本申请的概念。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
需要说明的是，本申请所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)，均为经用户授权或者经过各方充分授权的信息和数据，并且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准，并提供有相应的操作入口，供用户选择授权或者拒绝。
首先对本申请所涉及的名词进行解释：
解剖学标志点定位与识别：指在医学解剖学中，通过图像处理和计算机视觉技术来自动定位和识别人体解剖结构的关键点的特定位置和具体的类别。这些相关的技术包括图像预处理、特征提取、定位和识别等步骤。常用的方法包括基于阈值、边缘检测、形态学操作、特征点匹配、机器学习和深度学习等技术。通过这些技术的组合，可以实现对解剖学标志点的准确定位和识别。这些关键点通常是与解剖结构的形态、位置和功能密切相关的重要参考点。解剖学标志点可以是骨骼结构的关键点，如骨骼关节、脊柱椎体的中心点、骨折的断点等。它们也可以是软组织结构的特定位置，如血管、器官或肌肉的边界点、重要结构的交叉点等。通过检测这些标志点，可以实现精确的解剖结构定位、测量和分析，从而帮助医生做出准确的诊断和治疗决策。
近些年来，图像处理和计算机技术不断飞速发展，深度学习在辅助放射科诊断是目前人工智能领域所研究的热点之一，运用深度学习技术自动定位与识别脊柱椎体的方法极大的减轻了外科医生的负担。
传统的脊柱手术在定位和识别患者脊柱的椎体时，依赖于医生的经验和手工测量，存在主观性和误差的风险。此外，手术操作的精确性和安全性也受到医生个体差异的影响。因此，为了提高脊柱手术的精确性和安全性，需要一种基于医学影像的脊柱椎体信息自动定位与识别的方法。
在脊柱类疾病的临床工作中，医生应用计算机辅助导航技术在术前获取脊柱X线图像，将图像处理与重建可视化相结合，在虚拟世界坐标空间中显示二维或三维的脊柱图像，以便基于数字化信息充分评估脊柱病情、模拟手术路径以及控制手术工具根据定位器到达目标部位实施手术。脊柱图像的处理直接反映着脊柱的医学事实，是临床诊断和手术治疗的重要基础。
在一些相关技术中，临床上脊柱x线椎体识别主要通过放射科医生审阅完成，依赖于医生的临床经验和知识水平，由于阅片疲劳、工作量大等因素影响，椎体识别过程繁琐、耗时且结果不可复现，主观判断可能导致较大的误差，椎骨识别准确率较低。
在一些相关技术中，对于医学图像椎体识别任务，可使用卷积神经网络(CNN)等模型来提取特征并进行物体检测或者关键点检测。然而，这些方法从图像中识别到多个推荐区域或者推荐点是无序的，若基于该技术对椎体进行识别可能会导致椎体节段类型识别错误，比如将L3被认为L2或者L4，无法保证每节椎体的椎体节段类型的准确性，准确率较低。
基于上述问题，本申请提供一种脊柱椎体定位识别方法，借助深度学习技术获取的脊柱椎体定位识别模型，对椎体x线图像即放射平片图像进行预测，得到每节椎体对应的热图以及热图的索引号。基于热图的索引号即可确定对应椎体的椎体节段类型，实现椎体节段类型的有效识别。同时根据椎体节段类型以及热图中包含的多个候选中心点，通过构建图模型、确定图模型中开始节点至结束节点之间的最短路径，从多个候选中心点中确定每节椎体的目标中心点。由于开始节点到结束节点的完整路径中包含不同椎体之间的关联关系，因此提高了椎体定位的准确率。
由于本申请的方法能够自动对放射平片图像进行预测，获得准确度较高的椎骨识别结果，能够实现椎骨的自动有效的定位与识别，为图像处理、脊柱医学的临床发展提供理论参考和技术支撑，为手术规划创造条件并提供有力的技术支撑。
图1为本申请实施例提供的一种脊柱椎体定位识别的场景示意图，如图1所示，待识别的放射平片图像包含多节椎体，将放射平片图像输入至脊柱椎体定位识别模型中，该模型即可预测并输出每节椎体对应的热图以及热图对应的索引号，基于索引号即可确定对应椎体的椎体节段类型。对每节椎体对应热图包含的多个候选中心点进行后处理，从多个候选中心点中得到目标中心点，实现对椎体的定位与椎体节段类型的识别。
下面以具体的实施例对本申请的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本申请的实施例进行描述。
图2为本申请实施例提供的一种脊柱椎体定位识别方法流程图。本实施例的方法可以由脊柱椎体定位识别设备执行，可以通过硬件、软件、或者硬件和软件相结合的方式实现。如图2所示，该方法可以包括：
S201：将待识别的脊柱部位的放射平片图像输入至脊柱椎体定位识别模型，输出放射平片图像中每节椎体对应的热图以及热图对应的索引号，热图包含椎体的至少一个候选中心点的坐标。
在一些实施例中，获取到放射平片图像后，可对放射平片图像进行窗宽和窗位调节，窗宽用于表征显示放射平片图像时的CT值范围，窗位为窗宽上下限CT值的平均值。对调节后的放射平片图像进行对比度增强处理，并对放射平片图像进行格式转换，获取目标格式的放射平片图像，以将目标格式的放射平片图像输入至脊柱椎体定位识别模型。
在一种实施场景下，获取到的放射平片图像通常为DICOM(Digital Imaging andCommunications in Medicine，医学数字成像和通信)格式，其目标格式为脊柱椎体定位识别模型能够识别的一种图像格式，举例而言，可以是PNG格式。
在一些实施例中，放射平片图像中可包含多节椎体，脊柱椎体定位识别模型可对每一节椎体预测其对应的热图，并确定热图中包含的一个或多个候选中心点，同时还可以确定热图的索引号。
S202：根据预设的椎体节段类型与索引号的关系，确定每节椎体对应的椎体节段类型。
在一些实施例中，椎体节段类型可包含颈椎(C1-C7)、胸椎(T1-T12)、腰椎(L1-L5)等，还可以包含骶椎和尾椎等。需要说明的是，C1-C7、T1-T12和L1-L5是椎体节段类型对应的编号，其编号与椎体节段类型为一一对应的关系，因此该编号可用于表示椎体节段类型。
以颈椎、胸椎、腰椎举例而言，共24块椎骨，预设的椎体节段类型与索引号的关系可以如下所示：C1对应索引号为1、C2对应索引号为2，依次类推，L5对应的索引号为24。因此，确定热图的索引号后，即可确定对应的椎体节段类型，实现椎体的椎体节段类型的识别。
S203：基于每节椎体对应的椎体节段类型以及候选中心点的坐标构建图模型，图模型包含开始节点和结束节点。
在一些实施例中，可将椎体节段类型作为图模型的顶点，图模型的每条边即为相邻两节椎体的任意两个候选中心点之间的连线，并在图模型中添加虚拟的开始节点和虚拟的结束节点，从而完成图模型的构建。
在一些实施例中，构建图模型的过程中可使用马尔科夫随机场进行建模。
S204：确定图模型中开始节点至结束节点之间的最短路径，将最短路径包含的每节椎体的候选中心点作为目标中心点。
开始节点至结束节点之间存在多条路径，每条路径均包含每一节椎体的一个候选中心点，不同路径至少存在一节椎体的候选中心点不同，因此不同路径的距离也会存在一定差异。
开始节点和结束节点之间的最短路径包含的每节椎体的候选中心点作为目标中心点，目标中心点即为该节椎体的最佳中心点，实现椎体的定位。
本申请实施例提供一种脊柱椎体定位识别方法，将待识别的脊柱部位的放射平片图像输入至脊柱椎体定位识别模型中，该模型即可预测并输出放射平片图像中包含的每节椎体对应的热图以及热图的索引号。其中，热图包含椎体的至少一个候选中心点的坐标。根据预设的椎体节段类型与索引号的关系，即可确定每节椎体对应的椎体节段类型，实现椎体节段类型的识别。同时，基于每节椎体对应的椎体节段类型以及候选中心点的坐标构建图模型，确定图模型中开始节点和结束节点之间的最短路径，将最短路径包含的每节椎体的候选中心点作为目标中心点，实现椎体的定位。本申请实施例提供的方法由于脊柱椎体定位识别模型能够预测每节椎体对应的包含多个候选中心点的热图以及热图的索引号，基于热图及其索引号确定脊柱椎体的椎体节段类型和目标中心点，实现脊柱椎体的定位与识别，有利于提高脊柱椎体定位识别的准确率。同时，构建的图模型包含每节椎体的椎体节段类型以及多个候选中心点，基于开始节点到结束节点之间的完整路径确定每一节椎体的目标中心点，由于完整路径包含不同椎体之间的关联关系，因此有利于进一步提高脊柱椎体定位与识别的准确率。
图3为本申请实施例提供的一种构建图模型的方法流程图。在本申请的一个或多个实施例中，基于每节椎体对应的椎体节段类型以及候选中心点的坐标构建图模型，可包括图3所示的步骤：
S301：将每一热图对应的椎体节段类型作为图模型的顶点。
在一些实施例中，由于脊柱的椎体是呈线性排列的，椎体有一定的排列顺序，因此为提高图模型的准确性，在确定图模型的顶点时，可基于椎体的排列顺序，对每一热图对应的椎体节段类型作为图模型的顶点进行排列。其中，椎体节段类型可通过L1、L2、L3、L4、L5等进行表示。
举例而言，通常情况下，脊柱椎体的排列顺序为：从上到下依次为颈椎C1-C7、胸椎T1-T12、腰椎L1-L5等，一个热图对应一节椎体的中心点，也可以称为一个热图对应一节椎体，因此热图对应的椎体节段类型即为该椎体对应的椎体节段类型。因此可根据从上到下依次为颈椎C1-C7、胸椎T1-T12、腰椎L1-L5这一顺序，对热图对应的椎体节段类型进行设置，使得构建的图模型包含椎体顺序这一特性。
图4为本申请实施例提供的一种图模型的示意图，如图4所示，该图模型从上到下依次列出了颈椎C1、颈椎C2、腰椎L4、腰椎L5等脊柱椎体的椎体节段类型，其中，颈椎C2至腰椎L4之间的椎体并未详细示出。
S302：基于马尔科夫随机场，将第一节椎体包含的每一候选中心点与第二节椎体包含的每一候选中心点之间的连线作为图模型的边，并确定图模型包含的每条边的权重，第一节椎体和第二节椎体为相邻的两节椎体。
在一种实施场景下，可将第一节椎体用椎体i进行表示，第二节椎体用椎体j进行表示。由上可知，图模型的每条边则是由椎体i的第k个候选点到椎体j的第l个候选点组成。
在一些实施例中，构建图模型的过程中，基于马尔科夫随机场进行建模，即当前节点的最佳候选点只与前一个节点的候选点有关联，与其他节点没有关系。
在一些实施例中，确定图模型包含的每条边的权重时，可获取相邻的两节椎体中心点之间的平均基准距离；对于图模型包含的每条边，根据组成边的两个候选中心点之间的距离以及两个候选中心点对应椎体的中心点之间的平均基准距离，确定边的权重。
由于脊柱的椎体是呈线性排列的，因此可统计出相邻椎体中心点之间的距离，并取平均值以获取相邻两节椎体中心点之间的平均基准距离，将相邻椎体中心点之间的平均基准距离作为先验知识。
在一种实施场景下，图模型中每条边的权重的一种计算方式如下所示：
上式中，表示椎体i的第k个候选点到椎体j的第l个候选点对应边的权重，di,j表示从椎体i到椎体j的平均基准距离，/>表示椎体i的第k个候选点到椎体j的第l个候选点的距离，||.||代表L2范数。
S303：向图模型中设置开始节点和结束节点，以构建图模型。
开始节点和结束节点均为虚拟的节点。在一种实施场景下，仍参考图4所示，由于作为图模型顶点的椎体节段类型是按一定顺序进行排列的，因此可在第一节椎体之前设置虚拟的开始节点，在最后一节椎体后设置虚拟的结束节点，使得图模型中每条路径均为同一个起点、同一个终点。
举例而言，以颈椎-胸椎-腰椎举例说明，可在第一颈椎C1对应的顶点之前增加一个开始节点，在腰椎L5后增加结束节点。
综上，将每一热图对应的椎体节段类型作为图模型的顶点。基于马尔科夫随机场，将第一节椎体包含的每一候选中心点与第二节椎体包含的每一候选中心点之间的连线作为图模型的边，其中，第一节椎体和第二节椎体为相邻的两节椎体。向图模型中设置开始节点和结束节点，以完成图模型的构建。本申请创建的图模型包含按一定顺序排列的每节椎体的椎体节段类型以及每一节椎体的一个或多个候选中心点，使得该图模型包含脊柱椎体的顺序信息，因此基于该图模型确定每节椎体的目标中心点，有利于提高确定目标中心点的准确率。
图5为本申请实施例提供的一种脊柱椎体定位识别模型的训练方法流程图，该方法可以由脊柱椎体定位识别模型的训练设备执行，参考图5所示，该模型的训练方法可以包括：
S501：获取脊柱部位的放射平片图像，并对放射平片图像进行预处理，获取待标注图像。
在一些实施例中，可收集脊柱部位的放射平片图像对应的DICOM数据，对放射平片图像进行预处理时，可从收集到的DICOM数据中，筛选出符合数据标注要求，质量较为完善的放射平片图像。对于筛选后得到的放射平片图像可进行窗宽窗位的调整、对比度增强、格式转换等处理，从而得到待标注图像。
其中，放射平片图像也可以称为DICOM图像、X线平片图像等。
在一种实施场景下，对放射平片图像进行格式转换时，可根据实际需求得到目标格式。举例而言，可将放射平片图像的格式由DICOM格式转换为PNG格式。
需要说明的是，由于需要根据待标注图像对神经网络模型进行训练，以得到脊柱椎体定位识别模型，因此为提高脊柱椎体定位识别模型的准确率，需要获取较多数量的脊柱部位的放射平片图像。
S502：获取待标注图像对应的标注结果，标注结果包含脊柱部位包含的每节椎体的中心点的坐标以及对应的椎体节段类型。
在一些实施例中，获取到待标注图像后，可由预设数目的放射科医生对待标注图像进行标注。标注结果包含每节椎体的中心点坐标以表征中心点位置，每节椎体存在其对应的一个中心点。标注结果还包括每一节椎体对应的椎体节段类型，比如L3、L4等。
获取到标注结果后，可将每一位放射科医生的标注结果作为一组，进一步的，为提高标注结果的准确率，可将多组标注结果进行对比，比较标注结果是否存在差异。若存在差异，可由更高级别的专家审核标注，得到标准标注结果。若标注结果不存在差异，则将当前的标注结果作为标准标注结果。
在一些实施例中，获取到标准标注结果后，可将标注结果保存为计算机可识别的数据格式，同时与对应的待标注图像合并在一起，构建标注数据库。
S503：以每一中心点为中心生成热图，并根据预设的椎体节段类型与索引号的关系，确定每一热图对应的索引号。
在一些实施例中，以颈椎(C1-C7)、胸椎(T1-T12)、腰椎(L1-L5)举例而言，共24块椎骨，预设的椎体节段类型与索引号的关系可以如下所示：C1对应索引号为1、C2对应索引号为2，依次类推，L5对应的索引号为24。因此，已知某一椎体的椎体节段类型，即可确定该椎体对应热图的索引号。
在一种实施场景下，热图可以是以中心点的位置为中心所生成的二维高斯图像。
S504：基于热图回归的方法，根据待标注图像、每一中心点对应的热图以及热图对应的索引号对深度学习网络模型进行训练，得到脊柱椎体定位识别模型。
在一些实施例中，可基于热图回归的方法以及图像分割框架对深度学习网络模型进行训练，以得到脊柱椎体定位识别模型。每一中心点对应的热图编码了该中心点这一特定像素位置的伪概率。
在一些实施例中，假设N为总的中心点的个数，那么第i个中心点的热图是以该中心点的位置为中心所生成的二维高斯图像。设置深度学习网络模型同时回归N个热图，最小化预测热图和目标热图之间的差异。由于同时回归了N个热图，因此热图的索引号和椎体的节段类型一一对应，使得深度学习网络模型不仅学习椎体中心点的位置，也会根据热图所对应的索引号得到该热图所对应的椎体的节段类型。
其中，在对深度学习网络模型进行训练的过程中，可采用PyTorch框架对其进行训练。深度学习网络模型为神经网络模型，可以是UNet这种端到端的网络。
在一些实施例中，可根据预设比例，将待标注图像、每一中心点对应的热图以及热图对应的索引号划分为训练集和测试集。在完成网络结构设计和初始化工作后，可将训练集输入深度学习网络模型中进行训练。在训练过程中，可根据训练集和测试集的loss变化情况，采取梯度下降法使深度学习网络模型收敛到最优值。其中，初始化工作即为上述对放射平片图像进行预处理的过程。
具体的，为了最优化深度学习网络模型的模型参数，梯度下降法会计算深度学习网络模型在每一个小批量数据训练时的损失函数，并计算损失函数对模型参数的梯度。通过模型参数在梯度方向上的移动使损失函数不断减小，实现模型参数的最优化。
此外，还可以通过观察训练集和测试集的loss变化情况，判断目前深度学习网络模型是否存在过拟合现象。若训练集loss下降，测试集loss上升，则代表了当前深度学习网络模型在训练集上发生了过拟合现象，此时可通过添加正则化项，降低模型复杂度等方法优化模型训练，使模型收敛到最优值。
本申请实施例提供一种脊柱椎体定位识别模型的训练方法，获取脊柱部位的放射平片图像，并对放射平片图像进行预处理，获取待标注图像。待标注图像进行标注后，可获取待标注图像对应的标注结果，标注结果中包含每节椎体的中心点的坐标以及对应的椎体节段类型。以每一中心点为中心生成热图，并根据预设的椎体节段类型与索引号的关系，确定每一热图对应的索引号。基于热图回归的方法，根据待标注图像、每一中心点对应的热图以及热图的索引号对深度学习网络模型进行训练，从而得到能够预测椎体的中心点位置以及椎体节段类型的脊柱椎体定位识别模型。由于本申请实施例的方法在训练深度学习网络模型时，是基于热图回归的方法对其进行训练，使得训练得到的脊柱椎体定位识别能够预测放射平片图像中，每节椎体对应的包含多个候选中心点的热图及其索引号，以进一步确定每节椎体的目标中心点及椎体节段类型，有效提高了脊柱椎体识别定位的准确率。
图6为本申请实施例提供的一种脊柱椎体定位识别装置示意图。如图6所示，本申请实施例提供一种脊柱椎体定位识别装置600，可以包括输入模块601、确定模块602和构建模块603。
输入模块601，用于将待识别的脊柱部位的放射平片图像输入至脊柱椎体定位识别模型，输出放射平片图像中每节椎体对应的热图以及热图对应的索引号，热图包含椎体的至少一个候选中心点的坐标；
确定模块602，用于根据预设的椎体节段类型与索引号的关系，确定每节椎体对应的椎体节段类型；
构建模块603，用于基于每节椎体对应的椎体节段类型以及候选中心点的坐标构建图模型，图模型包含开始节点和结束节点；
确定模块602，还用于确定图模型中开始节点至结束节点之间的最短路径，将最短路径包含的每节椎体的候选中心点作为目标中心点。
本实施例的设备，可用于执行如图2至图3所示的方法实施例，其实现原理和技术效果类似，此处不再赘述。
图7为本申请实施例提供的一种脊柱椎体定位识别模型的训练装置示意图。如图7所示，本申请实施例提供一种脊柱椎体定位识别模型的训练装置700，可以包括获取模块701和处理模块702。
获取模块701，用于获取脊柱部位的放射平片图像；
处理模块702，用于对放射平片图像进行预处理，获取待标注图像；
获取模块701，还用于获取待标注图像对应的标注结果，标注结果包含脊柱部位包含的每节椎体的中心点的坐标以及对应的椎体节段类型；
处理模块702，还用于以每一中心点为中心生成热图，并根据预设的椎体节段类型与索引号的关系，确定每一热图对应的索引号；
处理模块702，还用于基于热图回归的方法，根据待标注图像、每一中心点对应的热图以及热图对应的索引号对深度学习网络模型进行训练，得到脊柱椎体定位识别模型。
本实施例的设备，可用于执行如图5所示的方法实施例，其实现原理和技术效果类似，此处不再赘述。
图8为本申请实施例提供的一种电子设备示意图。如图8所示，本申请实施例提供一种电子设备800包括：处理器801、存储器802，存储器802中存储代码，处理器801运行存储器802中存储的代码，以执行上述的方法。
处理器801的具体实现过程可参见上述方法实施例，其实现原理和技术效果类似，本实施例此处不再赘述。
在上述的图8所示的实施例中，应理解，处理器801可以是中央处理单元(英文：Central Processing Unit，简称：CPU)，还可以是其他通用处理器、数字信号处理器(英文：Digital Signal Processor，简称：DSP)、专用集成电路(英文：Application SpecificIntegrated Circuit，简称：ASIC)等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合发明所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。
存储器802可能包含高速RAM存储器，也可能还包括非易失性存储NVM，例如至少一个磁盘存储器。
处理器801、存储器802通过总线803连接。总线803可以是工业标准体系结构(Industry Standard Architecture，ISA)总线、外部设备互连(Peripheral Component，PCI)总线或扩展工业标准体系结构(Extended Industry Standard Architecture，EISA)总线等。总线803可以分为地址总线、数据总线、控制总线等。为便于表示，本申请附图中的总线803并不限定仅有一根总线或一种类型的总线。
本申请实施例提供一种计算机可读存储介质，计算机可读存储介质中存储有计算机执行指令，计算机执行指令被处理器执行时用于实现上述方法实施例的方法。
上述的计算机可读存储介质，可以是由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。可读存储介质可以是通用或专用计算机能够存取的任何可用介质。
一种示例性的可读存储介质耦合至处理器，从而使处理器能够从该可读存储介质读取信息，且可向该可读存储介质写入信息。当然，可读存储介质也可以是处理器的组成部分。处理器和可读存储介质可以位于专用集成电路(Application Specific IntegratedCircuits，简称：ASIC)中。当然，处理器和可读存储介质也可以作为分立组件存在于设备中。
本申请实施例提供一种计算机程序产品，包括计算机程序，计算机程序被处理器执行时实现上述本申请实施例中任意实施例提供的方法。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本申请的真正范围和精神由下面的权利要求书指出。
应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求书来限制。

Claims (10)

1.一种脊柱椎体定位识别方法，其特征在于，包括：
将待识别的脊柱部位的放射平片图像输入至脊柱椎体定位识别模型，输出所述放射平片图像中每节椎体对应的热图以及热图对应的索引号，所述热图包含椎体的至少一个候选中心点的坐标；
根据预设的椎体节段类型与索引号的关系，确定每节椎体对应的椎体节段类型；
基于每节椎体对应的椎体节段类型以及候选中心点的坐标构建图模型，所述图模型包含开始节点和结束节点；
确定所述图模型中开始节点至结束节点之间的最短路径，将所述最短路径包含的每节椎体的候选中心点作为目标中心点。
2.根据权利要求1所述的方法，其特征在于，所述基于每节椎体对应的椎体节段类型以及候选中心点的坐标构建图模型，包括：
将每一热图对应的椎体节段类型作为图模型的顶点；
基于马尔科夫随机场，将第一节椎体包含的每一候选中心点与第二节椎体包含的每一候选中心点之间的连线作为图模型的边，并确定所述图模型包含的每条边的权重，所述第一节椎体和所述第二节椎体为相邻的两节椎体；
向所述图模型中设置开始节点和结束节点，以构建所述图模型。
3.根据权利要求2所述的方法，其特征在于，所述确定所述图模型包含的每条边的权重，包括：
获取相邻的两节椎体中心点之间的平均基准距离；
对于所述图模型包含的每条边，根据组成所述边的两个候选中心点之间的距离以及两个候选中心点对应椎体的中心点之间的平均基准距离，确定所述边的权重。
4.根据权利要求1-3任一项所述的方法，其特征在于，所述方法还包括：
对所述放射平片图像进行窗宽和窗位调节，所述窗宽用于表征显示所述放射平片图像时的CT值范围，所述窗位为窗宽上下限CT值的平均值；
对调节后的放射平片图像进行对比度增强处理，并对放射平片图像进行格式转换，获取目标格式的放射平片图像，以将目标格式的放射平片图像输入至脊柱椎体定位识别模型。
5.一种脊柱椎体定位识别模型的训练方法，其特征在于，包括：
获取脊柱部位的放射平片图像，并对所述放射平片图像进行预处理，获取待标注图像；
获取所述待标注图像对应的标注结果，所述标注结果包含脊柱部位包含的每节椎体的中心点的坐标以及对应的椎体节段类型；
以每一中心点为中心生成热图，并根据预设的椎体节段类型与索引号的关系，确定每一热图对应的索引号；
基于热图回归的方法，根据所述待标注图像、每一中心点对应的热图以及热图对应的索引号对深度学习网络模型进行训练，得到脊柱椎体定位识别模型。
6.一种脊柱椎体定位识别装置，其特征在于，包括：
输入模块，用于将待识别的脊柱部位的放射平片图像输入至脊柱椎体定位识别模型，输出所述放射平片图像中每节椎体对应的热图以及热图对应的索引号，所述热图包含椎体的至少一个候选中心点的坐标；
确定模块，用于根据预设的椎体节段类型与索引号的关系，确定每节椎体对应的椎体节段类型；
构建模块，用于基于每节椎体对应的椎体节段类型以及候选中心点的坐标构建图模型，所述图模型包含开始节点和结束节点；
确定模块，还用于确定所述图模型中开始节点至结束节点之间的最短路径，将所述最短路径包含的每节椎体的候选中心点作为目标中心点。
7.一种脊柱椎体定位识别模型的训练装置，其特征在于，包括：
获取模块，用于获取脊柱部位的放射平片图像；
处理模块，用于对所述放射平片图像进行预处理，获取待标注图像；
获取模块，还用于获取所述待标注图像对应的标注结果，所述标注结果包含脊柱部位包含的每节椎体的中心点的坐标以及对应的椎体节段类型；
处理模块，还用于以每一中心点为中心生成热图，并根据预设的椎体节段类型与索引号的关系，确定每一热图对应的索引号；
处理模块，还用于基于热图回归的方法，根据所述待标注图像、每一中心点对应的热图以及热图对应的索引号对深度学习网络模型进行训练，得到脊柱椎体定位识别模型。
8.一种电子设备，包括：处理器、存储器，所述存储器中存储代码，所述处理器运行所述存储器中存储的代码，以执行如权利要求1-5中任一项所述的方法。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如权利要求1-5任一项所述的方法。
10.一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现权利要求1-5中任一项所述的方法。
CN202311423237.6A 2023-10-30 2023-10-30 脊柱椎体定位识别方法、装置、设备及存储介质 Pending CN117455873A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311423237.6A CN117455873A (zh) 2023-10-30 2023-10-30 脊柱椎体定位识别方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311423237.6A CN117455873A (zh) 2023-10-30 2023-10-30 脊柱椎体定位识别方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN117455873A true CN117455873A (zh) 2024-01-26

Family

ID=89583109

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311423237.6A Pending CN117455873A (zh) 2023-10-30 2023-10-30 脊柱椎体定位识别方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN117455873A (zh)

Similar Documents

Publication Publication Date Title
US11263772B2 (en) Computer assisted identification of appropriate anatomical structure for medical device placement during a surgical procedure
CN111160367B (zh) 图像分类方法、装置、计算机设备和可读存储介质
US10997466B2 (en) Method and system for image segmentation and identification
JP4855141B2 (ja) 医用画像部位認識装置、及び、医用画像部位認識プログラム
US20210174503A1 (en) Method, system and storage medium with a program for the automatic analysis of medical image data
Korez et al. A deep learning tool for fully automated measurements of sagittal spinopelvic balance from X-ray images: performance evaluation
CN111047572A (zh) 一种基于Mask RCNN的医学图像中脊柱自动定位方法
CN111210897A (zh) 处理医学图像
CN113966204B (zh) 为医疗介入自动规划轨迹的方法
JP2003175023A (ja) 放射線写真査定方法
CN110111305B (zh) 处理方案的生成方法、装置、设备和存储介质
JP2008006188A (ja) 医用画像表示処理装置、及び、医用画像表示処理プログラム
US20220361807A1 (en) Assessment of spinal column integrity
CN113538533A (zh) 一种脊柱配准方法、装置、设备及计算机存储介质
Liao et al. CNN attention guidance for improved orthopedics radiographic fracture classification
US11704796B2 (en) Estimating bone mineral density from plain radiograph by assessing bone texture with deep learning
Fatima et al. Vertebrae localization and spine segmentation on radiographic images for feature‐based curvature classification for scoliosis
AU2020223750B2 (en) Method and System for Image Annotation
CN109350059A (zh) 用于肘部自动对准的组合的转向引擎和界标引擎
Reddy et al. Anatomical Landmark Detection using Deep Appearance-Context Network
Sha et al. A robust segmentation method based on improved U-Net
CN117455873A (zh) 脊柱椎体定位识别方法、装置、设备及存储介质
Meesters et al. Multi atlas-based muscle segmentation in abdominal CT images with varying field of view
Makhdoomi et al. Development of Scoliotic Spine Severity Detection using Deep Learning Algorithms
EP3499514A1 (en) Image-based and demographic prediction-based implant size determination

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination