CN117274772B - 一种椎骨旋转估计模型的训练方法 - Google Patents

一种椎骨旋转估计模型的训练方法 Download PDF

Info

Publication number
CN117274772B
CN117274772B CN202311203529.9A CN202311203529A CN117274772B CN 117274772 B CN117274772 B CN 117274772B CN 202311203529 A CN202311203529 A CN 202311203529A CN 117274772 B CN117274772 B CN 117274772B
Authority
CN
China
Prior art keywords
segmentation
vertebra
vertebral
network
loss
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311203529.9A
Other languages
English (en)
Other versions
CN117274772A (zh
Inventor
李危石
吴及
许南方
郭辰仪
刘杉杉
傅湘玲
陈越鹏
张铖
徐飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Beijing University of Posts and Telecommunications
Peking University Third Hospital Peking University Third Clinical Medical College
Original Assignee
Tsinghua University
Beijing University of Posts and Telecommunications
Peking University Third Hospital Peking University Third Clinical Medical College
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University, Beijing University of Posts and Telecommunications, Peking University Third Hospital Peking University Third Clinical Medical College filed Critical Tsinghua University
Priority to CN202311203529.9A priority Critical patent/CN117274772B/zh
Publication of CN117274772A publication Critical patent/CN117274772A/zh
Application granted granted Critical
Publication of CN117274772B publication Critical patent/CN117274772B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G06V2201/033—Recognition of patterns in medical or anatomical images of skeletal patterns
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Molecular Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及一种椎骨旋转估计模型的训练方法，属于椎骨旋转估计技术领域，解决了现有技术中椎骨旋转估计效率低、估计不精确的问题。方法包括：获取不同动作下的成对的腰椎斜位X光片以及对应的标签数据构建训练样本集；标签数据包括每张腰椎斜位X光片中椎骨的分割标签和每块椎骨在每个方向的方向向量；构建多任务学习网络，任务学习网络包括第一椎骨分割网络、第二椎骨分割网络和椎骨旋转估计网络；第一椎骨分割网络和第二椎骨分割网络用于分别对输入的腰椎斜位X光片进行图像分割得到椎骨分割图像；椎骨旋转估计网络用于基于所述椎骨分割图像进行椎骨旋转估计；基于训练样本集对构建的多任务学习网络进行训练得到椎骨旋转估计模型。

Description

一种椎骨旋转估计模型的训练方法
技术领域
本发明涉及椎骨旋转估计技术领域，尤其涉及一种椎骨旋转估计模型的训练方法。
背景技术
腰椎退行性椎间盘疾病(DDDs)是引起下背痛的主要原因之一。为了研究腰椎退变和治疗，需要测量腰椎节段运动学，已有几种方法被发展。其中，放射立体摄影测量分析(RSA)可以准确测量腰椎节段的运动学，但需要植入金属珠作为示踪剂，因此侵入性操作仅适用于非手术人群。双透视成像系统(DFIS)是一种无创测量技术，已被广泛用于测量腰椎在生理或病理状态下的运动，但其2D-3D配准需要人工操作，耗时较长。这严重限制了其在临床研究中的应用。
对脊椎进行2D-3D配准需要确定椎骨的空间形态信息，现有方法是通过基于CT图像模拟X光图像，通过三维重建的方式计算椎体旋转方向，CT图像只能得到平躺姿态的腰椎形态，无法确定患者其他姿态下的椎骨形态，无法对其他姿态下的2D-3D椎骨进行配准，不利于准确的研究腰椎退变和治疗，并且由于模拟X线图像与真实X线图像的风格差异很大，生成时会产生偏差，无法保证临床应用性能。现有估计椎骨旋转估计效率低、精确度低。
发明内容
鉴于上述的分析，本发明实施例旨在提供一种椎骨旋转估计模型的训练方法，用以解决现有椎骨旋转估计效率低、结果不精确的问题。
一方面，本发明实施例提供了一种基于椎骨旋转估计模型的训练方法，包括以下步骤：
获取不同动作下的成对的腰椎斜位X光片以及对应的标签数据构建训练样本集；所述标签数据包括每张腰椎斜位X光片中椎骨的分割标签和每块椎骨在每个方向的方向向量；
构建多任务学习网络，所述任务学习网络包括第一椎骨分割网络、第二椎骨分割网络和椎骨旋转估计网络；所述第一椎骨分割网络和第二椎骨分割网络用于分别对输入的腰椎斜位X光片进行图像分割得到椎骨分割图像；所述椎骨旋转估计网络用于基于所述椎骨分割图像进行椎骨旋转估计；
基于所述训练样本集对构建的多任务学习网络进行训练得到椎骨旋转估计模型。
基于上述方法的进一步改进，所述第一椎骨分割网络和第二椎骨分割网络结构相同；所述第一椎骨分割网络包括：
初始分割特征提取模块，用于对输入的腰椎斜位X光片进行特征提取得到初始分割特征图；
区域生成模块，用于基于所述初始分割特征图进行检测框生成；
检测框特征提取模块，用于基于所述初始分割特征图得到检测框对应的特征；
分类模块，用于基于所述检测框对应的特征对检测框进行分类；
掩膜预测模块，用于基于所述检测框对应的特征进行椎骨掩膜预测得到椎骨分割图像。
基于上述方法的进一步改进，椎骨旋转估计网络包括结构相同的第一旋转特征提取模块和第二旋转特征提取模块、特征融合模块和旋转估计模块；
所述第一旋转特征提取模块和第二旋转特征提取模块用于分别对输入的椎骨分割图像进行特征提取得到旋转特征图；
所述特征融合模块，用于对得到的旋转特征图按通道拼接得到融合特征；
所述旋转估计模块，用于基于融合特征进行椎骨旋转估计。
基于上述方法的进一步改进，在所述第一椎骨分割网络和第二椎骨分割网络对输入的腰椎斜位X光片进行图像分割得到椎骨分割图像之后、所述椎骨旋转估计网络基于所述椎骨分割图像进行椎骨旋转估计前，所述方法还包括：
将每张椎骨分割图像中每个位置的概率值乘以腰椎斜位X光片中对应位置的像素值；将相乘后得到的图像作为椎骨旋转估计网络的输入。
基于上述方法的进一步改进，采用以下公式计算多任务学习网络的损失：
其中，Loss表示模型的整体损失，表示第i块椎骨的旋转损失，lossMaskRCNN1表示第一椎骨分割网络的分割损失，lossMaskRCNN2表示表示第二椎骨分割网络的分割损失，mv表示椎骨的块数。
基于上述方法的进一步改进，采用以下公式计算第一椎骨分割网络的分割损失：
LossMaskRCNN1＝Lcls1+Lreg1+Lmask1；
其中，Lcls1表示第一椎骨分割网络的分类损失，Lreg1表示第一椎骨分割网络的位置损失，Lmask1表示第一椎骨分割网络的掩膜损失。
基于上述方法的进一步改进，采用以下公式计算第一椎骨分割网络的分类损失：
其中，pi表示第i个检测框预测为椎骨的概率，表示第i个检测框的真实标签，Nreg表示检测框的个数。
基于上述方法的进一步改进，采用以下公式计算第一椎骨分割网络的位置损失：
其中，ti＝(xi,yi,wi,hi)表示第i个检测框的偏移量，(xi,yi)表示第i个检测框的中心点坐标，wi和hi分别表示i个检测框的宽和高； 表示第j个真实框的中心点坐标、和分别表示第j个真实框的宽和高，Nreg表示检测框的个数，Nreg表示真实框的个数。
基于上述方法的进一步改进，采用以下公式计算第一椎骨分割网络的掩膜损失：
其中，m表示腰椎斜位X光片的像素数量,sj表示腰椎斜位X光片中第j个元素位置的标签，p(sj)表示第一椎骨分割网络预测的第j个元素属于sj标签的概率。
基于上述方法的进一步改进，采用以下公式计算第i块椎骨的旋转损失：
lossvertebraei＝lossx+lossy+lossz+αlossorthogonality；
其中，表示模型预测的椎骨在X方向上的方向估计向量，表示模型预测的椎骨在Y方向上的方向估计向量，表示模型预测的椎骨在Z方向上的方向估计向量，表示标签数据中椎骨在X方向上的方向向量，表示标签数据中椎骨在Y方向上的方向向量，表示标签数据中椎骨在Z方向上的方向向量，lossorthogonality表示垂直约束损失，α表示垂直约束损失在整个损失函数中的权重系数。
与现有技术相比，本实施例提供的椎骨旋转估计模型的训练方法通过构建包含图像分割任务和椎骨旋转估计任务的多任务学习网络，基于不同动作下的腰椎双斜位X光片训练构建的多任务学习网络，通过同时训练椎骨分割任务和旋转估计任务，利用两个任务间的相关性，使模型学习到更加丰富、更加鲁棒的特征表示，改善在各个任务上的表现，提高了椎骨分割和椎骨方向估计的准确性和稳定性，从而实现不同动作下更精确的椎骨旋转估计。
本发明中，上述各技术方案之间还可以相互组合，以实现更多的优选组合方案。本发明的其他特征和优点将在随后的说明书中阐述，并且，部分优点可从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过说明书以及附图中所特别指出的内容中来实现和获得。
附图说明
附图仅用于示出具体实施例的目的，而并不认为是对本发明的限制，在整个附图中，相同的参考符号表示相同的部件；
图1为本发明实施例椎骨旋转估计模型的训练方法的流程图。
具体实施方式
下面结合附图来具体描述本发明的优选实施例，其中，附图构成本申请一部分，并与本发明的实施例一起用于阐释本发明的原理，并非用于限定本发明的范围。
本发明的一个具体实施例，公开了一种椎骨旋转估计模型的训练方法，如图1所示，包括以下步骤：
S1、获取不同动作下的成对的腰椎斜位X光片以及对应的标签数据构建训练样本集；所述标签数据包括每张腰椎斜位X光片中椎骨的分割标签和每块椎骨在每个方向的方向向量；
S2、构建多任务学习网络，所述所任务学习网络包括第一椎骨分割网络、第二椎骨分割网络和椎骨旋转估计网络；所述第一椎骨分割网络和第二椎骨分割网络用于分别对输入的腰椎斜位X光片进行图像分割得到椎骨分割图像；所述椎骨旋转估计网络用于基于所述椎骨分割图像进行椎骨旋转估计；
S3、基于所述训练样本集对构建的多任务学习网络进行训练得到椎骨旋转估计模型。
实施时，不同动作下的成对的腰椎双斜位X光片可以是直立、前屈、后伸、左旋、右旋、左侧弯、右侧弯等动作下的两张正交斜位的腰椎X光片。
与现有技术相比，本实施例提供的椎骨旋转估计模型的训练方法通过构建包含图像分割任务和椎骨旋转估计任务的多任务学习网络，基于不同动作下的腰椎双斜位X光片训练构建的多任务学习网络，通过同时训练椎骨分割任务和旋转估计任务，利用两个任务间的相关性，使模型学习到更加丰富、更加鲁棒的特征表示，改善在各个任务上的表现，提高了椎骨分割和椎骨方向估计的准确性和稳定性，从而实现不同动作下更精确的椎骨旋转估计。
当后续需要进行腰椎2D图像和3D模型配对时，根据模型预测的椎骨的旋转角度将椎骨的3D模型调整到对应角度即可，无需人工配准，也不用进行额外的侵入性操作，同时由于直接通过X光片得到椎骨的方向向量，从而能保证临床应用的性能，提高配准的准确性和效率，能更好的满足临床研究和治疗的需求。
实施时，对获取的腰椎X光片可先进行预处理，单视角的X光片无法评估三维空间旋转信息，因此，需要根据X光片的拍摄时间、拍摄角度的标签剔除非配对的数据，确保有成对的斜位X光片。
为了对准确估计椎骨的形态，需要先统一腰椎数据的空间坐标系。实施时，以人体解剖学姿势统一坐标系，冠状轴作为坐标系X轴，矢状轴作为坐标系Y轴，垂直轴作为Z轴。对应每块椎骨，以椎体中心为原点，确定其在统一坐标系下每个坐标轴方向的方向向量作为标签。即，两张配对的腰椎斜位X光片和其中每个椎骨的方向向量构成一个训练样本，构建训练样本集。
实施时，将成对的两张腰椎斜位X光片分别输入第一椎骨分割网络和第二椎骨分割网络，从而分别得到第一椎骨分割图像和第二椎骨分割图像。第一椎骨分割网络和第二椎骨分割网络结构相同。
为了椎骨旋转估计网络能够准确地确定感兴趣区域(椎骨)，将注意力集中在感兴趣区域，避免对整个X光片处理，从而提高椎骨三维旋转估计的效率和精度，第一椎骨分割网络包括：
初始分割特征提取模块，用于对输入的腰椎斜位X光片进行特征提取得到初始分割特征图；
区域生成模块，用于基于所述初始分割特征图进行检测框生成；
检测框特征提取模块，用于基于所述初始分割特征图得到检测框对应的特征；
分类模块，用于基于所述检测框对应的特征对检测框进行分类；
掩膜预测模块，用于基于所述检测框对应的特征进行椎骨掩膜预测得到椎骨分割图像。
实施时，初始分割特征提取模块可采用VGG16，Resnet50或Resnet101等模型(去除VGG16等网络最后的全连接层)对输入的腰椎斜位X光片进行特征提取，输出初始分割特征图。
实施时，可采用RPN(Region Proposal Network)网络基于初始分割特征图生成有可能包含目标(椎骨)的多个检测框。检测框采用ti＝(xi,yi,wi,hi)表示，(xi,yi)表示第i个检测框的中心点坐标，wi和hi分别表示i个检测框的宽和高。
由于RPN网络生成的检测框对应的是原始图像(输入的腰椎斜位X光片)的尺寸，并且不同检测框的尺寸可能不同，在进行后续的分类和掩膜预测时需要将不同尺寸的检测框的特征图映射到相同的大小，因此，实施时，需要首先基于初始分割特征图提取每个检测框对应的尺寸，再将提取的特征图映射到固定的尺寸。实施时，可采用ROIAlign方法提取从初始分割特征图中提取检测框对应的特征，并将特征转换为固定大小的特征图得到每个检测框对应的特征。
得到检测框对应的特征后，分类模块基于检测框对应的特征可采用全连接层与softmax层进行分类预测，即，预测检测框对应区域是否是椎骨。
掩膜预测模块基于检测框对应的特征可采用全卷积神经网络进行掩膜预测，得到椎骨掩膜，即椎骨分割图像。掩膜预测模块输出的椎骨分割图像中每个元素值为该位置属于椎骨的概率值，范围为[0-1]，例如，椎骨分割图像中某个位置的值为0.7，表示该位置属于椎骨的概率为0.7。
第一椎骨分割网络和第二椎骨分割网络为并行的网络，两个网络分别输出成对的腰椎斜位X光片对应的两张椎骨分割图像，作为椎骨旋转估计网络的输入。
为了使椎骨区域的特征值更明显，提高椎骨区域在图像中的权重，以便在后续旋转估计任务中更好地利用椎骨形态的信息，优选的，将每张椎骨分割图像中每个位置的概率值乘以腰椎斜位X光片中对应位置的像素值；将相乘后得到的图像作为椎骨旋转估计网络的输入。
椎骨旋转估计网络包括结构相同的第一旋转特征提取模块和第二旋转特征提取模块、特征融合模块和旋转估计模块；
第一旋转特征提取模块和第二旋转特征提取模块用于分别对输入的椎骨分割图像进行特征提取得到旋转特征图；
特征融合模块，用于对得到的两张旋转特征图按通道拼接得到融合特征；
旋转估计模块，用于基于融合特征进行椎骨旋转估计。
实施时，第一旋转特征提取模块和第二旋转特征提取模块可采用ResNet50模型作为特征提取器分别从两张椎骨分割图像中提取深度特征得到旋转特征图。
为了自适应的学习全局信息加强有用的特征，实施时，在ResNet50模型的每个残差单元中添加自适应特征提取模块以自适应的提取有用信息，将自适应特征提取模块添加在残差单元的主分支和残差分支融合之前，即主分支经过自适应特征提取模块后，再与残差分支相加。实施时，自适应特征提取模块可采用Squeeze-and-Excitation(SE)模块。
特征融合模块将第一旋转特征提取模块输出的旋转特征图和第一旋转特征提取模块输出的旋转特征图按通道拼接，形成一个更高维度的特征表示，从而融合不同视角的腰椎X光片特征，弥补缺失的空间信息，提高旋转估计的准确性。
得到高维融合特征后，旋转估计模块基于高维融合特征预测每块椎骨在每个方向上的方向向量。
实施时，每张腰椎X光片中可能有3-5块椎骨，因此将高维融合特征分为3-5个通道预测每块椎骨在每个方向上的方向向量。旋转估计模块可采用多层全连接神经网络预测每个方向上的方向向量的坐标值，每个预测得到的每个方向上的方向向量转化为单位向量。
为了使得模型可以学习到更丰富、更鲁棒的特征表示，从而改善在椎骨分割任务和椎骨旋转估计任务的表现，在对构建的多任务学习网络进行训练得到椎骨旋转估计模型时，基于第一椎骨分割网络、第二椎骨分割网络和椎骨旋转估计网络的联合损失更新多任务深度学习网络模型的模型参数，对多任务学习网络模型进行训练得到椎骨旋转估计模型。
具体的，采用以下公式计算多任务学习网络的联合损失：
其中，Loss表示模型的整体损失，表示第i块椎骨的旋转损失，lossMaskRCNN1lossMaskRCNN1表示第一椎骨分割网络的分割损失，lossMaskRCNN2表示表示第二椎骨分割网络的分割损失，mv表示椎骨的块数。
第一椎骨分割网络和第二椎骨分割网络结构相同，其损失函数的组成相同，以下以第一椎骨分割网络的损失为例进行说明。
第一椎骨分割网络的分割损失包括分类模块的用于预测类别的分类损失Lcls1、用于回归边框位置的位置损失Lreg1和掩膜预测模块的掩膜损失Lmask1。第一椎骨分割网络的损失定义如下：
LossMaskRCNN1＝Lcls1+Lreg1+Lmask1；
其中，Lcls1表示第一椎骨分割网络的分类损失，Lreg1表示第一椎骨分割网络的位置损失，Lmask1表示第一椎骨分割网络的掩膜损失。
Lcls1用于训练模型预测目标实例的类别标签，具体的，采用以下公式计算第一椎骨分割网络的分类损失：
其中，pi表示第i个检测框预测为椎骨的概率，表示第i个检测框的真实标签，Nreg表示检测框的个数。
Lreg1用于训练模型预测目标实例的检测框，实施时，采用以下公式计算第一椎骨分割网络的位置损失：
其中，ti＝(xi,yi,wi,hi)表示第i个检测框的偏移量，(xi,yi)表示第i个检测框的中心点坐标，wi和hi分别表示i个检测框的宽和高。 表示第j个真实框的中心点坐标、和分别表示第j个真实框的宽和高，Nreg表示检测框的个数，NT表示真实框的个数。
需要说明的是，真实框是在每张腰椎斜位X光片中椎骨的分割标签中的标签数据。每张腰椎斜位X光片中可能包括多个
Lmask1用于训练模型预测目标实例的掩膜，实施时，采用以下公式计算第一椎骨分割网络的掩膜损失：
其中，m表示腰椎斜位X光片的像素数量,sj表示腰椎斜位X光片中第j个元素位置的标签，p(sj)表示第一椎骨分割网络预测的第j个元素属于sj标签的概率。
具体的，采用以下公式计算第i块椎骨的旋转损失：
其中，表示模型预测的椎骨在X方向上的方向估计向量，表示模型预测的椎骨在Y方向上的方向估计向量，表示模型预测的椎骨在Z方向上的方向估计向量，表示标签数据中椎骨在X方向上的方向向量，表示标签数据中椎骨在Y方向上的方向向量，表示标签数据中椎骨在Z方向上的方向向量，lossorthogonality表示垂直约束损失，α表示垂直约束损失在整个损失函数中的权重系数。
lossx、lossy和lossz分别表示在三个方向上模型预测结果与椎骨真实方向的角度误差，lossorthogonality用于约束三个方向向量互相垂直。实施时，垂直约束系数α可取0.1。通过添加垂直约束，使得得到的旋转方向估计更加精确。
实施时，当模型精度达到要求或达到迭代次数后，停止训练，得到椎骨旋转估计模型。
本发明实施例提出的椎骨旋转估计模型的训练方法，通过输入不同动作下(直立、前屈、后伸、左旋、右旋、左侧弯、右侧弯)的腰椎双斜位X光片后能够同时提供不同动作下的腰椎方向估计和椎骨形态的分割结果，充分利用任务之间的相关性，提高了腰椎方向估计和椎骨分割的准确性和稳定性，得到能对不同姿态下的X光片进行准确分割椎骨和进行椎骨旋转分割的模型，对于待估计的成对的腰椎双斜位X光片，将其输入训练好的椎骨旋转估计模型即可得到每块椎骨在每个方向的方向估计向量。提高了椎骨旋转估计的准确性和应用范围。
本领域技术人员可以理解，实现上述实施例方法的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于计算机可读存储介质中。其中，所述计算机可读存储介质为磁盘、光盘、只读存储记忆体或随机存储记忆体等。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。

Claims (8)

1.一种椎骨旋转估计模型的训练方法，其特征在于，包括以下步骤：
获取不同动作下的成对的腰椎斜位X光片以及对应的标签数据构建训练样本集；所述标签数据包括每张腰椎斜位X光片中椎骨的分割标签和每块椎骨在每个方向的方向向量；
构建多任务学习网络，所述任务学习网络包括第一椎骨分割网络、第二椎骨分割网络和椎骨旋转估计网络；所述第一椎骨分割网络和第二椎骨分割网络用于分别对输入的腰椎斜位X光片进行图像分割得到椎骨分割图像；所述椎骨旋转估计网络用于基于所述椎骨分割图像进行椎骨旋转估计；
基于所述训练样本集对构建的多任务学习网络进行训练得到椎骨旋转估计模型；
所述第一椎骨分割网络和第二椎骨分割网络结构相同；所述第一椎骨分割网络包括：
初始分割特征提取模块，用于对输入的腰椎斜位X光片进行特征提取得到初始分割特征图；
区域生成模块，用于基于所述初始分割特征图进行检测框生成；
检测框特征提取模块，用于基于所述初始分割特征图得到检测框对应的特征；
分类模块，用于基于所述检测框对应的特征对检测框进行分类；
掩膜预测模块，用于基于所述检测框对应的特征进行椎骨掩膜预测得到椎骨分割图像；
椎骨旋转估计网络包括结构相同的第一旋转特征提取模块和第二旋转特征提取模块、特征融合模块和旋转估计模块；
所述第一旋转特征提取模块和第二旋转特征提取模块用于分别对输入的椎骨分割图像进行特征提取得到旋转特征图；
所述特征融合模块，用于对得到的旋转特征图按通道拼接得到融合特征；
所述旋转估计模块，用于基于融合特征进行椎骨旋转估计。
2.根据权利要求1所述的椎骨旋转估计模型的训练方法，其特征在于，在所述第一椎骨分割网络和第二椎骨分割网络对输入的腰椎斜位X光片进行图像分割得到椎骨分割图像之后、所述椎骨旋转估计网络基于所述椎骨分割图像进行椎骨旋转估计前，所述方法还包括：
将每张椎骨分割图像中每个位置的概率值乘以腰椎斜位X光片中对应位置的像素值；将相乘后得到的图像作为椎骨旋转估计网络的输入。
3.根据权利要求1所述的椎骨旋转估计模型的训练方法，其特征在于，采用以下公式计算多任务学习网络的损失：
其中，Loss表示模型的整体损失，表示第i块椎骨的旋转损失，lossMaskRCNN1表示第一椎骨分割网络的分割损失，lossMaskRCNN2表示表示第二椎骨分割网络的分割损失，mv表示椎骨的块数。
4.根据权利要求3所述的椎骨旋转估计模型的训练方法，其特征在于，采用以下公式计算第一椎骨分割网络的分割损失：
LossMaskRCNN1＝Lcls1+Lreg1+Lmask1；
其中，Lcls1表示第一椎骨分割网络的分类损失，Lreg1表示第一椎骨分割网络的位置损失，Lmask1表示第一椎骨分割网络的掩膜损失。
5.根据权利要求4所述的椎骨旋转估计模型的训练方法，其特征在于，采用以下公式计算第一椎骨分割网络的分类损失：
其中，pi表示第i个检测框预测为椎骨的概率，表示第i个检测框的真实标签，Nreg表示检测框的个数。
6.根据权利要求4所述的椎骨旋转估计模型的训练方法，其特征在于，采用以下公式计算第一椎骨分割网络的位置损失：
其中，ti＝(xi,yi,wi,hi)表示第i个检测框的偏移量，(xi,yi)表示第i个检测框的中心点坐标，wi和hi分别表示i个检测框的宽和高； 表示第j个真实框的中心点坐标、和分别表示第j个真实框的宽和高，Nreg表示检测框的个数，NT表示真实框的个数。
7.根据权利要求4所述的椎骨旋转估计模型的训练方法，其特征在于，采用以下公式计算第一椎骨分割网络的掩膜损失：
其中，m表示腰椎斜位X光片的像素数量,sj表示腰椎斜位X光片中第j个元素位置的标签，p(sj)表示第一椎骨分割网络预测的第j个元素属于sj标签的概率。
8.根据权利要求3所述的椎骨旋转估计模型的训练方法，其特征在于，采用以下公式计算第i块椎骨的旋转损失：
其中，表示模型预测的椎骨在X方向上的方向估计向量，表示模型预测的椎骨在Y方向上的方向估计向量，表示模型预测的椎骨在Z方向上的方向估计向量，表示标签数据中椎骨在X方向上的方向向量，表示标签数据中椎骨在Y方向上的方向向量，表示标签数据中椎骨在Z方向上的方向向量，lossorthogonality表示垂直约束损失，α表示垂直约束损失在整个损失函数中的权重系数。
CN202311203529.9A 2023-09-18 2023-09-18 一种椎骨旋转估计模型的训练方法 Active CN117274772B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311203529.9A CN117274772B (zh) 2023-09-18 2023-09-18 一种椎骨旋转估计模型的训练方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311203529.9A CN117274772B (zh) 2023-09-18 2023-09-18 一种椎骨旋转估计模型的训练方法

Publications (2)

Publication Number Publication Date
CN117274772A CN117274772A (zh) 2023-12-22
CN117274772B true CN117274772B (zh) 2024-02-20

Family

ID=89218895

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311203529.9A Active CN117274772B (zh) 2023-09-18 2023-09-18 一种椎骨旋转估计模型的训练方法

Country Status (1)

Country Link
CN (1) CN117274772B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113034495A (zh) * 2021-04-21 2021-06-25 上海交通大学 一种脊柱影像分割方法、介质及电子设备
CN114494192A (zh) * 2022-01-26 2022-05-13 西南交通大学 一种基于深度学习的胸腰椎骨折识别分割与检测定位方法
CN116416428A (zh) * 2023-01-10 2023-07-11 山东大学 基于三维卷积神经网络和ct图像的骨量识别方法及系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10366491B2 (en) * 2017-03-08 2019-07-30 Siemens Healthcare Gmbh Deep image-to-image recurrent network with shape basis for automatic vertebra labeling in large-scale 3D CT volumes

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113034495A (zh) * 2021-04-21 2021-06-25 上海交通大学 一种脊柱影像分割方法、介质及电子设备
CN114494192A (zh) * 2022-01-26 2022-05-13 西南交通大学 一种基于深度学习的胸腰椎骨折识别分割与检测定位方法
CN116416428A (zh) * 2023-01-10 2023-07-11 山东大学 基于三维卷积神经网络和ct图像的骨量识别方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
刘忠利 ; 陈光 ; 单志勇 ; 蒋学芹 ; .基于深度学习的脊柱CT图像分割.计算机应用与软件.2018,(10),全文. *

Also Published As

Publication number Publication date
CN117274772A (zh) 2023-12-22

Similar Documents

Publication Publication Date Title
US8920322B2 (en) Valve treatment simulation from medical diagnostic imaging data
CN111524170B (zh) 一种基于无监督深度学习的肺部ct图像配准方法
JP2023550844A (ja) 深層形状学習に基づく肝臓ｃｔ自動分割方法
Kim et al. Automation of spine curve assessment in frontal radiographs using deep learning of vertebral-tilt vector
Qin et al. Biomechanics-informed neural networks for myocardial motion tracking in MRI
CN113870331B (zh) 一种基于深度学习的胸部ct与x光实时配准算法
CN113822792A (zh) 图像配准方法、装置、设备及存储介质
CN111080676B (zh) 一种通过在线分类跟踪内窥镜图像序列特征点的方法
Thang et al. Estimation of 3-D human body posture via co-registration of 3-D human model and sequential stereo information
Zimmer et al. Towards whole placenta segmentation at late gestation using multi-view ultrasound images
Sokooti et al. Hierarchical prediction of registration misalignment using a convolutional LSTM: Application to chest CT scans
CN117350979A (zh) 一种基于医疗超声影像的任意病灶分割和追踪系统
CN117974693B (zh) 图像分割方法、装置、计算机设备和存储介质
CN114266896A (zh) 图像标注方法、模型训练方法及装置、电子设备、介质
CN117649337A (zh) 基于条件生成对抗网络将背部照片转换成脊柱x光的方法
Qin et al. Residual block-based multi-label classification and localization network with integral regression for vertebrae labeling
CN116580819B (zh) 用于自动化地确定图像序列中的检查结果的方法和系统
CN117274772B (zh) 一种椎骨旋转估计模型的训练方法
Song et al. BDIS-SLAM: a lightweight CPU-based dense stereo SLAM for surgery
CN117237426B (zh) 一种基于腰椎双斜位x光片的椎骨配准方法
Chen et al. Automating Cobb Angle Measurement for Adolescent Idiopathic Scoliosis using Instance Segmentation
Khalid et al. Automated Cobb’s Angle Measurement for Scoliosis Diagnosis Using Deep Learning Technique
Palaniappan et al. Non-rigid motion estimation using the robust tensor method
CN112330603A (zh) 基于软组织表面形变估计组织内部目标运动的系统与方法
Tapp et al. Generation of patient-specific, ligamentoskeletal, finite element meshes for scoliosis correction planning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant