CN113052842A - 脊柱侧弯图像检测模型训练方法、确定方法、装置及设备 - Google Patents

脊柱侧弯图像检测模型训练方法、确定方法、装置及设备 Download PDF

Info

Publication number
CN113052842A
CN113052842A CN202110581572.3A CN202110581572A CN113052842A CN 113052842 A CN113052842 A CN 113052842A CN 202110581572 A CN202110581572 A CN 202110581572A CN 113052842 A CN113052842 A CN 113052842A
Authority
CN
China
Prior art keywords
spine
network
loss
image
predicted
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110581572.3A
Other languages
English (en)
Other versions
CN113052842B (zh
Inventor
林一
李悦翔
何楠君
马锴
郑冶枫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202110581572.3A priority Critical patent/CN113052842B/zh
Publication of CN113052842A publication Critical patent/CN113052842A/zh
Application granted granted Critical
Publication of CN113052842B publication Critical patent/CN113052842B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10116—X-ray image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30008—Bone
    • G06T2207/30012—Spine; Backbone

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种脊柱侧弯图像检测模型训练方法、确定方法、装置及设备，属于计算机技术领域。所述方法包括：获取样本脊柱图像、样本脊柱图像中的真实脊柱区域以及样本脊柱图像中脊柱的真实侧弯角度；将样本脊柱图像输入分割网络，得到预测脊柱区域；将真实脊柱区域输入回归网络，得到第一预测侧弯角度，以及将预测脊柱区域输入回归网络，得到第二预测侧弯角度；基于区域损失和角度损失训练分割网络和回归网络，得到脊柱侧弯图像检测模型。能够实现使用回归网络监督训练分割网络，以及使用分割网络监督训练回归网络。通过训练得到的分割网络以及回归网络，能够输出更准确的预测脊柱侧弯角度的结果。

Description

脊柱侧弯图像检测模型训练方法、确定方法、装置及设备
技术领域
本申请涉及计算机技术领域，特别涉及一种脊柱侧弯图像检测模型训练方法、确定方法、装置及设备。
背景技术
脊柱侧弯是一种脊柱畸形疾病。当患者的脊柱有大于10度的侧方弯曲时，即可被医务人员诊断为存在脊柱侧弯。医务人员在诊断的过程中，首先需要确定脊柱侧弯角度。
计算机设备可以通过回归网络，对基于X光成像技术（X ray imagingtechnology）得到的脊柱的x射线图像进行预测，从而得到预测脊柱侧弯角度。为了提升回归网络预测的准确度，计算机设备还会先将脊柱的x射线图像通过分割网络分割出脊柱所在区域的图像，之后再输入回归网络中进行预测，从而避免脊柱的x射线图像中除脊柱的特征以外的特征干扰预测结果。
在通过上述分割网络和回归网络预测脊柱侧弯角度之前，需要先分步训练上述分割网络及回归网络。计算机设备会先根据样本脊柱图像和用于标识样本脊柱图像中的脊柱区域的标签训练分割网络，再基于分割网络的分割结果以及分割结果对应的真实的脊柱侧弯角度训练回归网络。
然而，上述回归网络预测的准确度取决于分割网络的分割准确度，如果训练得到的分割网络的准确度较差，可能导致分割的结果无法保留图像中的脊柱的形状特征，从而造成最终预测的脊柱侧弯角度的准确度较低。
发明内容
本申请提供了一种脊柱侧弯图像检测模型训练方法、确定方法、装置及设备，可以提升预测脊柱侧弯角度的准确度。所述技术方案如下。
根据本申请的一方面，提供了一种脊柱侧弯图像检测模型训练方法，所述脊柱侧弯图像检测模型包括级联的分割网络和回归网络，所述方法包括以下步骤。
获取样本脊柱图像、所述样本脊柱图像中的真实脊柱区域以及所述样本脊柱图像中脊柱的真实侧弯角度，所述样本脊柱图像是用于反映脊柱的特征的图像，所述真实脊柱区域是所述样本脊柱图像中脊柱所在的图像区域；
将所述样本脊柱图像输入所述分割网络，得到所述分割网络预测的所述样本脊柱图像中的预测脊柱区域；
将所述真实脊柱区域输入所述回归网络，得到所述回归网络预测的所述真实脊柱区域中脊柱的第一预测侧弯角度，以及将所述预测脊柱区域输入所述回归网络，得到所述回归网络预测的所述预测脊柱区域中脊柱的第二预测侧弯角度；
基于区域损失和角度损失训练所述分割网络和所述回归网络，得到所述脊柱侧弯图像检测模型；其中，所述区域损失是基于所述真实脊柱区域和所述预测脊柱区域确定的，所述角度损失是基于所述第一预测侧弯角度、所述第二预测侧弯角度以及所述真实侧弯角度中的至少两者确定的。
根据本申请的另一方面，提供了一种脊柱侧弯角度的确定方法，所述方法包括以下步骤。
获取脊柱图像，所述脊柱图像是用于反映脊柱的特征的图像；
将所述脊柱图像输入分割网络，得到所述分割网络预测的所述脊柱图像中的脊柱区域，所述脊柱区域是所述脊柱图像中脊柱所在的图像区域；
将所述脊柱区域输入回归网络，得到所述回归网络预测的所述脊柱区域中脊柱的脊柱侧弯角度，所述分割网络与所述回归网络属于脊柱侧弯图像检测模型，所述分割网络与所述回归网络级联，所述分割网络是基于所述回归网络输出的结果进行训练的，所述回归网络基于所述分割网络输出的结果进行训练的。
根据本申请的另一方面，提供了一种脊柱侧弯图像检测模型训练装置，所述脊柱侧弯图像检测模型包括级联的分割网络和回归网络，所述装置包括以下模块。
获取模块，用于获取样本脊柱图像、所述样本脊柱图像中的真实脊柱区域以及所述样本脊柱图像中脊柱的真实侧弯角度，所述样本脊柱图像是用于反映脊柱的特征的图像，所述真实脊柱区域是所述样本脊柱图像中脊柱所在的图像区域；
训练模块，用于将所述样本脊柱图像输入所述分割网络，得到所述分割网络预测的所述样本脊柱图像中的预测脊柱区域；
所述训练模块，还用于将所述真实脊柱区域输入所述回归网络，得到所述回归网络预测的所述真实脊柱区域中脊柱的第一预测侧弯角度，以及将所述预测脊柱区域输入所述回归网络，得到所述回归网络预测的所述预测脊柱区域中脊柱的第二预测侧弯角度；
所述训练模块，还用于基于区域损失和角度损失训练所述分割网络和所述回归网络，得到所述脊柱侧弯图像检测模型；其中，所述区域损失是基于所述真实脊柱区域和所述预测脊柱区域确定的，所述角度损失是基于所述第一预测侧弯角度、所述第二预测侧弯角度以及所述真实侧弯角度中的至少两者确定的。
在一个可选的设计中，所述训练模块，用于：
固定所述回归网络的网络参数，基于所述区域损失和所述角度损失训练所述分割网络；
固定所述分割网络的网络参数，基于所述角度损失训练所述回归网络；
交替执行上述两个步骤。
在一个可选的设计中，所述训练模块，用于：
固定所述回归网络的网络参数；
确定所述区域损失中的第一误差损失；
确定所述角度损失中的第二误差损失以及第三误差损失；
根据所述第一误差损失、所述第二误差损失以及所述第三误差损失的和训练所述分割网络；
其中，所述第一误差损失用于反映所述真实脊柱区域与所述预测脊柱区域之间的误差，所述第二误差损失用于反映所述第二预测侧弯角度与所述真实侧弯角度之间的误差，所述第三误差损失用于反映所述第一预测侧弯角度与所述第二预测侧弯角度之间的误差。
在一个可选的设计中，所述训练模块，用于：
基于所述真实脊柱区域与所述预测脊柱区域，通过第一损失函数确定所述第一误差损失，所述第一损失函数是根据骰子损失函数以及交叉熵损失函数的和确定的；
基于所述第二预测侧弯角度与所述真实侧弯角度，通过第二损失函数确定所述第二误差损失，所述第二损失函数是基于对称平均绝对百分比误差的计算方式确定的；
基于所述第一预测侧弯角度与所述第二预测侧弯角度，通过第三损失函数确定所述第三误差损失，所述第三损失函数是用于约束所述第一预测侧弯角度与所述第二预测侧弯角度之间的误差的函数；
根据所述第一误差损失、所述第二误差损失以及所述第三误差损失的和，确定分割误差损失；
基于所述分割误差损失在所述分割网络中通过反向传播训练所述分割网络。
在一个可选的设计中，所述训练模块，用于：
将所述分割误差损失中的所述第二误差损失与所述第三误差损失分别与时变自调节参数相乘，得到时变分割误差损失，所述时变自调节参数的大小与训练所述分割网络的时长负相关；
基于所述时变分割误差损失在所述分割网络中通过反向传播训练所述分割网络。
在一个可选的设计中，所述训练模块，用于：
固定所述分割网络的网络参数；
确定所述角度损失中的第四误差损失、第二误差损失以及第三误差损失；
根据所述第四误差损失、所述第二误差损失以及所述第三误差损失的和训练所述回归网络；
其中，所述第四误差损失用于反映所述第一预测侧弯角度与所述真实侧弯角度之间的误差，所述第二误差损失用于反映所述第二预测侧弯角度与所述真实侧弯角度之间的误差，所述第三误差损失用于反映所述第一预测侧弯角度与所述第二预测侧弯角度之间的误差。
在一个可选的设计中，所述训练模块，用于：
基于所述第一预测侧弯角度与所述真实侧弯角度，通过第四损失函数确定所述第四误差损失，所述第四损失函数是基于对称平均绝对百分比误差的计算方式确定的；
基于所述第二预测侧弯角度与所述真实侧弯角度，通过第二损失函数确定所述第二误差损失，所述第二损失函数是基于对称平均绝对百分比误差的计算方式确定的；
基于所述第一预测侧弯角度与所述第二预测侧弯角度，通过第三损失函数确定所述第三误差损失，所述第三损失函数是用于约束所述第一预测侧弯角度与所述第二预测侧弯角度之间的误差的函数；
根据所述第四误差损失、所述第二误差损失以及所述第三误差损失的和，确定回归误差损失；
基于所述回归误差损失在所述回归网络中通过反向传播训练所述回归网络。
在一个可选的设计中，所述分割网络包括目标金字塔采样层，所述目标金子塔采样层是包括扩大卷积层的金字塔采样层，所述目标金字塔采样层用于提取所述样本脊柱图像的图像特征，所述扩大卷积层用于增大所述分割网络在提取所述样本脊柱图像的图像特征时的感受野。
在一个可选的设计中，所述回归网络基于目标分类网络，所述目标分类网络是包括角度输出通道的分类网络，所述角度输出通道用于输出所述第一预测侧弯角度以及所述第二预测侧弯角度。
在一个可选的设计中，所述装置还包括预训练模块，所述预训练模块，用于：
通过所述第一损失函数确定所述第一误差损失；
基于所述第一误差损失通过反向传播对所述分割网络进行预训练。
在一个可选的设计中，所述预训练模块，还用于：
通过所述第二损失函数确定所述第二误差损失；
基于所述第二误差损失通过反向传播对所述回归网络进行预训练。
在一个可选的设计中，所述样本脊柱图像属于样本图像集，所述样本图像集用于训练所述分割网络以及所述回归网络；所述装置还包括处理模块，所述处理模块，用于：
将所述样本脊柱图像缩放为同一尺寸，得到标准脊柱图像；
将所述标准脊柱图像进行翻转处理、旋转处理和缩放处理中的至少一种处理，得到扩充脊柱图像；
将所述扩充脊柱图像添加至所述样本图像集。
根据本申请的另一方面，提供了一种脊柱侧弯角度的确定装置，所述装置包括以下模块。
获取模块，用于获取脊柱图像，所述脊柱图像是用于反映脊柱的特征的图像；
预测模块，用于将所述脊柱图像输入分割网络，得到所述分割网络预测的所述脊柱图像中的脊柱区域，所述脊柱区域是所述脊柱图像中脊柱所在的图像区域；
所述预测模块，还用于将所述脊柱区域输入回归网络，得到所述回归网络预测的所述脊柱区域中脊柱的脊柱侧弯角度，所述分割网络与所述回归网络属于脊柱侧弯图像检测模型，所述分割网络与所述回归网络级联，所述分割网络是基于所述回归网络输出的结果进行训练的，所述回归网络基于所述分割网络输出的结果进行训练的。
根据本申请的另一方面，提供了一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如上方面所述的脊柱侧弯图像检测模型训练方法或脊柱侧弯角度的确定方法。
根据本申请的另一方面，提供了一种计算机可读存储介质，所述可读存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如上方面所述的脊柱侧弯图像检测模型训练方法或脊柱侧弯角度的确定方法。
根据本申请的另一方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述方面的各种可选实现方式中提供的脊柱侧弯图像检测模型训练方法或脊柱侧弯角度的确定方法。
本申请提供的技术方案带来的有益效果至少包括：
通过根据分割网络输出的结果确定的区域损失，和根据回归网络输出的结果确定的角度损失，来训练分割网络和回归网络，能够实现使用回归网络监督训练分割网络，以及使用分割网络监督训练回归网络。在训练的过程中，能够使分割网络的输出结果提升回归网络的输出结果的准确度，且回归网络的输出结果能够约束分割网络的输出结果，提升分割网络的输出结果的准确度。通过训练得到的分割网络以及回归网络，能够输出更准确的预测脊柱侧弯角度的结果。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请一个示例性实施例提供的训练分割网络和回归网络的过程的示意图；
图2是本申请一个示例性实施例提供的脊柱侧弯图像检测模型训练方法的流程示意图；
图3是本申请一个示例性实施例提供的脊柱侧弯角度的示意图；
图4是本申请另一个示例性实施例提供的脊柱侧弯图像检测模型训练方法的流程示意图；
图5是本申请一个示例性实施例提供的分割网络的结构示意图；
图6是本申请一个示例性实施例提供的回归网络的结构示意图；
图7是本申请一个示例性实施例提供的训练分割网络和回归网络的实现过程的示意图；
图8是本申请一个示例性实施例提供的脊柱侧弯角度的确定方法的流程示意图；
图9是本申请一个示例性实施例提供的确定脊柱侧弯角度的过程的示意图；
图10是本申请一个示例性实施例提供的分布式系统的结构示意图；
图11是本申请一个示例性实施例提供的区块结构的示意图；
图12是本申请一个示例性实施例提供的脊柱侧弯图像检测模型训练装置的结构示意图；
图13是本申请另一个示例性实施例提供的脊柱侧弯图像检测模型训练装置的结构示意图；
图14是本申请又一个示例性实施例提供的脊柱侧弯图像检测模型训练装置的结构示意图；
图15是本申请一个示例性实施例提供的脊柱侧弯角度的确定装置的结构示意图；
图16是本申请一个示例性实施例提供的服务器的结构示意图。
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。
图1是本申请一个示例性实施例提供的训练分割网络和回归网络的过程的示意图。如图1的（a）所示，计算机设备获取样本脊柱图像、样本脊柱图像中的真实脊柱区域以及样本脊柱图像中脊柱的真实侧弯角度。该样本脊柱图像是用于反映脊柱的特征的图像，真实脊柱区域是样本脊柱图像中脊柱所在的图像区域。之后计算机设备将样本脊柱图像输入分割网络101，输出分割网络101预测的样本脊柱图像中的预测脊柱区域。之后根据真实脊柱区域与样本脊柱区域间的误差对分割网络101进行训练。如图1的（b）所示，计算机设备将真实脊柱区域输入回归网络102，得到回归网络102预测的真实脊柱区域中脊柱的第一预测侧弯角度，以及将预测脊柱区域输入回归网络102，得到回归网络102预测的预测脊柱区域中脊柱的第二预测侧弯角度。之后根据第一预测侧弯角度与真实侧弯角度的误差以及第二预测侧弯角度与真实侧弯角度的误差中的至少一种，对回归网络102进行训练。如图1的（c）所示，计算机设备固定回归网络102的网络参数，根据分割误差损失在分割网络101中通过反向传播训练分割网络101，该分割误差损失基于真实脊柱区域与预测脊柱区域之间的误差，以及第一预测侧弯角度与第二预测侧弯角度之间的误差，以及真实侧弯角度与第二预测侧弯角度之间的误差的和确定的。如图1的（d）所示，计算机设备固定分割网络101的网络参数，根据回归误差损失在回归网络102中通过反向传播训练回归网络102，该回归误差损失是基于第一预测侧弯角度与真实侧弯角度之间的误差，以及第二预测侧弯角度与真实侧弯角度之间的误差，以及第一预测侧弯角度与第二预测侧弯角度之间的误差的和确定的。并且，计算机设备在基于如图1的（c）所示的方式以及如图1的（d）所示的方式，对分割网络101以及回归网络102进行训练的过程中，是交替对分割网络101以及回归网络102进行训练的。需要说明的是，通过上述交替的方式训练分割网络101以及回归网络102，能够使回归网络102监督训练分割网络101，以及使分割网络101监督训练回归网络102。从而使分割网络101的输出结果能够提升回归网络102的输出结果的准确度，且回归网络102的输出结果能够约束分割网络101的输出结果，提升分割网络101的输出结果的准确度。在此过程中，上述真实脊柱区域、预测脊柱区域以及第二预测侧弯角度三项信息之间会互相适应，使得上述三项信息具有一致性，因此上述训练的过程可称为三角一致性学习策略。
在完成分割网络101以及回归网络102的训练后，计算机设备会获取需要预测脊柱侧弯角度的脊柱图像，并将脊柱图像输入分割网络101，得到分割网络101预测的脊柱图像中脊柱所在的脊柱区域。之后将预测的脊柱区域输入回归网络102，得到回归网络102预测的脊柱区域中脊柱的脊柱侧弯角度。从而完成对脊柱图像中脊柱的脊柱侧弯角度的预测。
在训练分割网络和回归网络的过程中，计算机设备会固定其中一个网络的网络参数，并基于两个网络各自的输出结果实现对另一个网络的训练。从而能够使回归网络监督分割网络的训练，以及使分割网络监督回归网络的训练。在训练的过程中，能够使分割网络的输出结果提升回归网络的输出结果的准确度，且回归网络的输出结果能够约束分割网络的输出结果，提升分割网络的输出结果的准确度。通过训练得到的分割网络以及回归网络，能够输出更准确的预测脊柱侧弯角度的结果。
图2是本申请一个示例性实施例提供的脊柱侧弯图像检测模型训练方法的流程示意图。该方法可以用于计算机设备。如图2所示，该方法包括以下步骤。
步骤202：获取样本脊柱图像、样本脊柱图像中的真实脊柱区域以及样本脊柱图像中脊柱的真实侧弯角度。
该样本脊柱图像是用于反映脊柱的特征的图像。例如该样本脊柱图像能够为基于X光成像技术得到的脊柱的x射线图像，该脊柱的x射线图像通常为患者的胸腔的x射线图像。可选地，计算机设备能够从公共数据集中获取该样本脊柱图像，例如自然图像数据集（ImageNet）。
该真实脊柱区域是样本脊柱图像中脊柱所在的图像区域。可选地，该样本脊柱图像中每个像素点对应有分类标签，该分类标签包括脊柱、椎间盘以及背景。计算机设备根据对应分类标签中的脊柱的像素点，能够确定出该真实脊柱区域。该分类标签能够是由人工标注的。
样本脊柱图像中脊柱的真实侧弯角度指样本脊柱图像中脊柱的脊柱侧弯角度。该脊柱侧弯角度能够是由人工计算的，脊柱侧弯角度能够反映脊柱侧弯的严重程度。可选地，该脊柱侧弯角度指Cobb角（Cobb氏角）。Cobb角是通过Cobb角度测量方法确定出的脊柱侧弯角度。该脊柱侧弯角度能够包括上胸弯、主胸弯和胸腰弯，其中上胸弯指处于胸部以上的脊柱的脊柱侧弯角度，主胸弯指胸部附近的脊柱的脊柱侧弯角度，胸腰弯指处于胸部和腰部间的脊柱的脊柱侧弯角度。
示例地，图3是本申请一个示例性实施例提供的脊柱侧弯角度的示意图。如图3所示，脊柱侧弯角度包括第一角度301，第二角度302以及第三角度303。其中第一角度301为上胸弯，第二角度302为主胸弯，第三角度303为胸腰弯。
步骤204：将样本脊柱图像输入分割网络，得到分割网络预测的样本脊柱图像中的预测脊柱区域。
该分割网络能够根据样本脊柱图像的特征，预测出样本脊柱图像中脊柱所在的预测脊柱区域，并将预测脊柱区域中像素点的像素值设置为1，预测脊柱区域外的像素点的像素值设置为0，从而生成图像掩膜（mask），实现分割出预测脊柱区域。可选地，该分割网络能够基于金字塔场景解析网络（Pyramid Scene Parsing Network，PSPNet）以及深度残差网络（Residual Network，ResNet）构成。其中ResNet能够为ResNet50，ResNet50为分割网络的骨干。
步骤206：将真实脊柱区域输入回归网络，得到回归网络预测的真实脊柱区域中脊柱的第一预测侧弯角度，以及将预测脊柱区域输入回归网络，得到回归网络预测的预测脊柱区域中脊柱的第二预测侧弯角度。
该回归网络能够分析输入的真实脊柱区域中脊柱的特征，从而预测出第一预测侧弯角度。以及分析输入的预测脊柱区域中脊柱的特征，从而预测出第二预测侧弯角度。可选地，该分割网络基于目标分类网络，该目标分类网络是包括角度输出通道的分类网络，该角度输出通道用于输出第一预测侧弯角度和第二预测侧弯角度。该目标分类网络是通过将分类网络中最后一个卷积层替换为该角度输出通道得到的，从而使得目标分类网络能够实现输出角度预测的数值。
上述分割网络与回归网络属于脊柱侧弯图像检测模型，该分割网络与回归网络级联，且分割网络设置于回归网络之前，使得分割网络输出的结果能够输入回归网络。
步骤208：基于区域损失和角度损失训练分割网络和回归网络，得到脊柱侧弯图像检测模型。
该区域损失是基于真实脊柱区域和预测脊柱区域确定的，该角度损失是基于第一预测侧弯角度、第二预测侧弯角度以及真实侧弯角度中的至少两者确定的。即区域损失是根据分割网络的输出结果确定的，角度损失是根据回归网络的输出结果确定的。基于区域损失和角度损失训练分割网络和回归网络，能够使用回归网络来监督训练分割网络，以及通过分割网络来监督训练回归网络。在训练的过程中，分割网络的输出结果能够提升回归网络的输出结果的准确度，且回归网络的输出结果能够约束分割网络的输出结果，提升分割网络的输出结果的准确度。
综上所述，本实施例提供的方法，基于通过分割网络输出的结果确定的区域损失，和通过回归网络输出的结果确定的角度损失，来训练分割网络和回归网络，能够实现使用回归网络监督训练分割网络，以及使用分割网络监督训练回归网络。在训练的过程中，能够使分割网络的输出结果提升回归网络的输出结果的准确度，且回归网络的输出结果能够约束分割网络的输出结果，提升分割网络的输出结果的准确度。通过训练得到的分割网络以及回归网络，能够输出更准确的预测脊柱侧弯角度的结果。
图4是本申请另一个示例性实施例提供的脊柱侧弯图像检测模型训练方法的流程示意图。该方法可以用于计算机设备。如图4所示，该方法包括以下步骤。
步骤402：获取样本脊柱图像、样本脊柱图像中的真实脊柱区域以及样本脊柱图像中脊柱的真实侧弯角度。
样本脊柱图像是用于反映脊柱的特征的图像，例如该样本脊柱图像能够为基于X光成像技术得到的脊柱的x射线图像。真实脊柱区域是样本脊柱图像中脊柱所在的图像区域。可选地，该样本脊柱图像中每个像素点对应有分类标签，该分类标签包括脊柱、椎间盘以及背景，计算机设备根据该分类标签能够确定出该真实脊柱区域。该分类标签能够是由人工标注的。该真实侧弯角度指样本脊柱图像中脊柱的脊柱侧弯角度。可选地，该脊柱侧弯角度是人工计算的Cobb角，包括上胸弯、主胸弯和胸腰弯。
步骤404：对样本脊柱图像进行预处理。
该样本脊柱图像属于样本图像集，该样本图像集是用于训练脊柱侧弯图像检测模型。计算机设备将样本脊柱图像缩放为同一尺寸（例如尺寸为512*256），得到标准脊柱图像。之后将标准脊柱图像进行翻转处理、旋转处理和缩放处理中的至少一种处理，得到扩充脊柱图像，并将扩充脊柱图像添加至样本图像集，从而实现扩充样本图像集。可选地，该翻转处理的翻转角度、旋转处理的角度以及缩放处理的缩放倍数是计算机设备生成的，该旋转角度处于-45°到45°之间，该缩放处理的缩放倍数处于0.85至1.25之间。
步骤406：将样本脊柱图像输入分割网络，得到分割网络预测的样本脊柱图像中的预测脊柱区域。
该分割网络能够根据样本脊柱图像的特征，预测出样本脊柱图像中脊柱所在的预测脊柱区域。可选地，该分割网络能够基于PSPNet以及ResNet构成。其中ResNet能够为ResNet50，ResNet50为分割网络的骨干。该分割网络包括目标金字塔采样层，目标金子塔采样层是包括扩大卷积层的金字塔采样层。通过将金字塔采样层中的池化层替换为扩大卷积层，能够得到该目标采样层。目标金字塔采样层用于提取样本脊柱图像的图像特征，扩大卷积层用于增大分割网络在提取样本脊柱图像的图像特征时的感受野（Receptive Field）。
示例地，图5是本申请一个示例性实施例提供的分割网络的结构示意图。如图5所示，分割网络包括特征提取层501、目标金字塔采样层502以及上采样层503。其中，特征提取层为ResNet50，目标金字塔采样层502是通过将金字塔采样层中的池化层替换为扩大卷积层5021得到的，扩大卷积层5021能够对输入的特征进行空洞卷积（也称为扩张卷积、膨胀卷积），金字塔采样层与上采样层503共同构成PSPNet。计算机设备将样本脊柱图像输入特征提取层501，提取出图像的图像特征，之后由目标金字塔采样层502确定提取的图像特征在不同图像尺寸粒度下的特征，之后再由上采样层503根据目标金字塔采样层502输出的特征确定出预测脊柱区域。
步骤408：根据预测脊柱区域与真实脊柱区域之间的误差对分割网络进行预训练。
计算机设备根据预测脊柱区域与真实脊柱区域，通过第一损失函数能够确定第一误差损失。之后基于第一误差损失通过反向传播能够对分割网络进行预训练。该第一误差损失用于反映真实脊柱区域与预测脊柱区域之间的误差。该第一损失函数是根据骰子损失函数以及交叉熵损失函数的和确定的。
示例地，第一损失函数的表达式如下：
Figure 748593DEST_PATH_IMAGE001
；（1）
公式（1）中的
Figure 993629DEST_PATH_IMAGE002
为第一误差损失，f（x）为预测脊柱区域，y为真实脊柱区域，n为样本脊柱图像中区域所属的类别的数量，n为3（脊柱、椎间盘和背景）。
Figure 242208DEST_PATH_IMAGE003
为预测脊柱区域中属于第i类的像素点的数量，
Figure 463848DEST_PATH_IMAGE004
为真实脊柱区域中属于第i类的像素点的数量，i为小于等于3的正整数。等式右侧的第一项为骰子损失函数，第二项为交叉熵损失函数。λ为骰子损失函数和交叉熵损失函数之间的权值参数。λ能够是由人工确定的。
步骤410：将真实脊柱区域输入回归网络，得到回归网络预测的真实脊柱区域中脊柱的第一预测侧弯角度，以及将预测脊柱区域输入回归网络，得到回归网络预测的预测脊柱区域中脊柱的第二预测侧弯角度。
该回归网络能够分析输入的真实脊柱区域中脊柱的特征，从而预测出第一预测侧弯角度。以及分析输入的预测脊柱区域中脊柱的特征，从而预测出第二预测侧弯角度。可选地，该回归网络基于目标分类网络，目标分类网络是包括角度输出通道的分类网络，角度输出通道用于输出第一预测侧弯角度以及第二预测侧弯角度。该目标分类网络是通过将分类网络中最后一个卷积层替换为该角度输出通道得到的，从而使得目标分类网络能够实现输出角度预测的数值。并且，该回归网络最后一层的激活函数能够为S型（Sigmoid）函数。
示例地，图6是本申请一个示例性实施例提供的回归网络的结构示意图。如图6所示，以通过回归网络601确定第一预测侧弯角度为例，计算机设备将真实脊柱区域输入回归网络601的输入层6011，输入层6011通过对真实脊柱区域进行卷积、归一化以及下采样，得到反映真实脊柱区域的图像特征的特征图。之后回归网络601中的中间卷积层6012-6015会对特征图继续进行处理，实现特征提取。之后回归网络601中的全连接层6016基于提取的特征能够确定出第一预测侧弯角度。回归网络601的结构基于ResNet18，回归网络601是通过将ResNet18中最后一个卷积层替换为全连接层6016（角度输出通道）得到的。
需要说明的是，该分割网络与该回归网络属于脊柱侧弯图像检测模型，该分割网络与回归网络级联，且分割网络设置于回归网络之前，使得分割网络输出的结果能够输入回归网络。
步骤412：根据第一预测侧弯角度与真实侧弯角度的误差以及第二预测侧弯角度与真实侧弯角度的误差中的至少一种，对回归网络进行预训练。
计算机设备根据第二预测侧弯角度与真实侧弯角度，通过第二损失函数能够确定第二误差损失，并基于第二误差损失通过反向传播对回归网络进行预训练。该第二误差损失用于反映第二预测侧弯角度与真实侧弯角度之间的误差。该第二损失函数是基于对称平均绝对百分比误差的计算方式确定的。
示例地，第一损失函数的表达式如下：
Figure 606117DEST_PATH_IMAGE005
；（2）
公式（2）中的
Figure 897421DEST_PATH_IMAGE006
为第二误差损失，g（x）为第二预测侧弯角度，
Figure 492350DEST_PATH_IMAGE007
为真实侧弯角度。n为回归网络预测的脊柱侧弯角度的数量，n为3（上胸弯、主胸弯和胸腰弯）。
Figure 19146DEST_PATH_IMAGE008
为第i种预测的脊柱侧弯角度的数值，
Figure 517386DEST_PATH_IMAGE009
为第i种真实的脊柱侧弯角度的数值，i为小于等于3的正整数。ε为平滑因子，用于保证分母不为0。
计算机设备根据第一预测侧弯角度与真实侧弯角度，通过上述损失函数能够确定第四误差损失，并基于第四误差损失通过反向传播对回归网络进行预训练。该第四误差损失用于反映第一预测侧弯角度与真实侧弯角度之间的误差。
可选地，计算机设备还能够将样本脊柱图像直接输入回归网络，得到第三预测侧弯角度，并根据第三预测侧弯角度与真实侧弯角度，通过上述损失函数能够确定第五误差损失，并基于第五误差损失通过反向传播对回归网络进行预训练。
需要说明的是，在对分割网络和回归网络进行预训练时，是独立对分割网络或回归网络进行训练，对训练的先后顺序不作限制。并且，在此过程中无需将分割网络与回归网络级联。在对分割网络和回归网络进行预训练之前，计算机设备还能够通过公共的数据集对分割网络和回归网络进行训练，实现分割网络和回归网络的初始化。
步骤414：基于区域损失和角度损失训练分割网络和回归网络，得到脊柱侧弯图像检测模型。
该区域损失是根据分割网络的输出结果确定的，角度损失是根据回归网络的输出结果确定的。区域损失是基于真实脊柱区域和预测脊柱区域确定的，角度损失是基于第一预测侧弯角度、第二预测侧弯角度以及真实侧弯角度中的至少两者确定的。基于区域损失和角度损失训练分割网络和回归网络，能够使用回归网络来监督训练分割网络，以及使用分割网络来监督训练回归网络。
可选地，如图7所示，步骤414的实现过程包括以下步骤4142至4146。
在步骤4142中，固定回归网络的网络参数，基于区域损失和角度损失训练分割网络。
计算机设备固定回归网络的网络参数。并确定区域损失中的第一误差损失，以及确定角度损失中的第二误差损失以及第三误差损失。之后根据第一误差损失、第二误差损失以及第三误差损失的和训练分割网络。其中，第一误差损失用于反映真实脊柱区域与预测脊柱区域之间的误差，第二误差损失用于反映第二预测侧弯角度与真实侧弯角度之间的误差，第三误差损失用于反映第一预测侧弯角度与第二预测侧弯角度之间的误差。
可选地，计算机设备确定第一误差损失、第二误差损失和第三误差损失，以及训练分割网络的过程如下。
计算机设备基于真实脊柱区域与预测脊柱区域，通过第一损失函数能够确定第一误差损失，该第一损失函数是根据骰子损失函数以及交叉熵损失函数的和确定的。该第一损失的函数的表达式可见公式1。计算机设备基于第二预测侧弯角度与真实侧弯角度，通过第二损失函数能够确定第二误差损失，第二损失函数是基于对称平均绝对百分比误差的计算方式确定的。该第二损失函数的表达式可见公式2。计算机设备基于第一预测侧弯角度与第二预测侧弯角度，通过第三损失函数能够确定第三误差损失，该第三损失函数是用于约束第一预测侧弯角度与第二预测侧弯角度之间的误差的函数。例如该第三损失函数为L1损失函数。在确定第一误差损失、第二误差损失和第三误差损失后，计算机设备根据第一误差损失、第二误差损失以及第三误差损失的和，能够确定分割误差损失。之后基于分割误差损失在分割网络中通过反向传播训练分割网络，此时回归网络只进行前向传播。
示例地，分割误差损失的表达式如下：
Figure 714012DEST_PATH_IMAGE010
；（3）
公式（3）中的
Figure 61817DEST_PATH_IMAGE011
为分割误差损失，f（x）为预测脊柱区域，y为真实脊柱区域，
Figure 126725DEST_PATH_IMAGE012
为真实侧弯角度，g（f（x））为第二预测侧弯角度，g（y）为第一预测侧弯角度。等式右侧第一项为第一损失函数，第二项为第二损失函数，第三项为第三损失函数。γ和β为权重因子，用于平衡不同的误差损失在训练的过程中的重要程度。γ和β能够为人工确定的。
并且，在训练过程需要逐步增大回归网络对于分割网络的监督力度，即增大等式右侧第二项。主要原因在于：1、在训练分割网络的前期，分割网络自身的第一误差损失能够有效约束训练结果，可以更直接地帮助分割网络收敛。2、回归网络需要达到一定的性能后才能有效的对于分割模型进行监督，否则会产生错误的监督信息。因此，计算机设备会将分割误差损失中的第二误差损失与第三误差损失分别与时变自调节参数相乘，得到时变分割误差损失。时变自调节参数的大小与训练分割网络的时长负相关。并基于时变分割误差损失在分割网络中通过反向传播训练分割网络。
示例地，时变自调节参数的表达式如下：
Figure 853373DEST_PATH_IMAGE013
；（4）
其中，T为当前训练周期，
Figure 611113DEST_PATH_IMAGE014
为总训练周期。计算机设备在训练分割网络和回归网络时是交替进行的。例如，训练一次分割网络后再训练一次回归网络可看作为一个周期。总训练周期指对分割网络和回归网络进行训练的总周期数，当前训练周期指当前训练在总训练周期中的周期数。
结合公式（3）和公式（4）可知，时变分割误差损失的表达式如下：
Figure 679170DEST_PATH_IMAGE015
；（5）
在步骤4144中，固定分割网络的网络参数，基于角度损失训练回归网络。
计算机设备固定分割网络的网络参数。并确定角度损失中的第四误差损失、第二误差损失以及第三误差损失。之后根据第四误差损失、第二误差损失以及第三误差损失的和训练回归网络。其中，第四误差损失用于反映第一预测侧弯角度与真实侧弯角度之间的误差，第二误差损失用于反映第二预测侧弯角度与真实侧弯角度之间的误差，第三误差损失用于反映第一预测侧弯角度与第二预测侧弯角度之间的误差。
可选地，计算机设备确定第四误差损失、第二误差损失和第三误差损失，以及训练回归网络的过程如下。
计算机设备基于第一预测侧弯角度与真实侧弯角度，通过第四损失函数确定第四误差损失，该第四损失函数是基于对称平均绝对百分比误差的计算方式确定的。该第四损失函数的表达式可见公式2。计算机设备基于第二预测侧弯角度与真实侧弯角度，通过第二损失函数确定第二误差损失，第二损失函数是基于对称平均绝对百分比误差的计算方式确定的。该第二损失函数的表达式可见公式2。计算机设备基于第一预测侧弯角度与第二预测侧弯角度，通过第三损失函数确定第三误差损失，第三损失函数是用于约束第一预测侧弯角度与第二预测侧弯角度之间的误差的函数。例如该第三损失函数为L1损失函数。在确定第四误差损失、第二误差损失和第三误差损失后，计算机设备根据第四误差损失、第二误差损失以及第三误差损失的和，能够确定回归误差损失。之后基于回归误差损失在回归网络中通过反向传播训练回归网络，此时分割网络只进行前向传播。
示例地，回归误差损失的表达式如下：
Figure 282189DEST_PATH_IMAGE016
；（6）
公式（6）中的
Figure 128923DEST_PATH_IMAGE017
为回归误差损失。等式右侧第一项为第四损失函数，第二项为第二损失函数，第三项为第三损失函数。
在步骤4146中，交替执行上述步骤4142和步骤4144。
可选地，计算机设备在训练分割网络和回归网络的过程中，会周期性的交替训练分割网络和回归网络。例如，训练一次分割网络后再训练一次回归网络可看作为一个周期。计算机设备按照总训练周期数，周期性的训练分割网络和回归网络。直至当前训练周期数达到总训练周期数。
需要说明的是，在对分割网络和回归网络进行预训练，以及对分割网络和回归网络进行交替训练的过程中，计算机设备还能够使用Adam优化器来控制反向传播时网络的参数的变化。该Adam优化器的参数中的学习率为1e-4，权值衰减为1e-5。
综上所述，本实施例提供的方法，基于通过分割网络输出的结果确定的区域损失，和通过回归网络输出的结果确定的角度损失，来训练分割网络和回归网络，能够实现使用回归网络监督训练分割网络，以及使用分割网络监督训练回归网络。在训练的过程中，能够使分割网络的输出结果提升回归网络的输出结果的准确度，且回归网络的输出结果能够约束分割网络的输出结果，提升分割网络的输出结果的准确度。通过训练得到的分割网络以及回归网络，能够输出更准确的预测脊柱侧弯角度的结果。
本实施例提供的方法，还通过固定分割网络和回归网络中的一个网络的网络参数，训练另一个网络，且交替训练分割网络和回归网络，实现基于两个网络的输出结果来训练其中一个网络，且交替训练能够保证两个网络都被有效训练，有助于提升脊柱侧弯图像检测模型预测的准确度。
本申请实施例提供的方法，还通过确定第一误差损失、第二误差损失和第三误差损失来训练分割网络，通过多种误差损失来实现分割网络的训练，能够有效提升分割网络的准确度。
本实施例提供的方法，还通过第一损失函数、第二损失函数和第三损失函数确定分割误差损失，提供了一种快速确定分割误差损失的方式，且通过分割误差损失训练分割网络能够提升分割网络的准确度。
本实施例提供的方法，还通过时变自调节参数，动态调整训练分割网络过程中，回归网络对分割网络的监督力度。在保证分割网络快速收敛的同时，避免监督过程产生错误。进一步提升分割网络的准确度。
本申请实施例提供的方法，还通过确定第四误差损失、第二误差损失和第三误差损失来训练回归网络，通过多种误差损失来实现回归网络的训练，能够有效提升回归网络的准确度。
本实施例提供的方法，还通过第四损失函数、第二损失函数和第三损失函数确定回归误差损失，提供了一种快速确定回归误差损失的方式，且通过回归误差损失训练回归网络能够提升回归网络的准确度。
本实施例提供的方法，还通过使用包括目标金字塔采样层的分割网络，来提升预测样本脊柱图像中的预测脊柱区域时的性能。
本实施例提供的方法，还通过使用基于目标分类网络的回归网络，提升预测脊柱侧弯角度时的性能。
本实施例提供的方法，还通过对分割网络进行预训练，使得后续训练能够更快使模型收敛，加快了整个训练过程。
本实施例提供的方法，还通过对回归网络进行预训练，使得后续训练能够更快使模型收敛，加快了整个训练过程。
本实施例提供的方法，还通过对样本脊柱图像进行处理，从而扩充训练模型时的样本，有助于提升训练得到的脊柱侧弯图像检测模型的准确度。
图8是本申请一个示例性实施例提供的脊柱侧弯角度的确定方法的流程示意图。该方法可以用于计算机设备。如图8所示，该方法包括以下步骤。
步骤802：获取脊柱图像。
该脊柱图像是需要进行脊柱侧弯角度预测的图像。该脊柱图像是用于反映脊柱的特征的图像。可选地，该脊柱图像是基于X光成像技术得到的脊柱的x射线图像。该脊柱图像是由医务人员上传的。
步骤804：将脊柱图像输入分割网络，得到分割网络预测的脊柱图像中的脊柱区域。
该分割网络能够根据脊柱图像的特征，预测出脊柱图像中脊柱所在的脊柱区域。
步骤806：将脊柱区域输入回归网络，得到回归网络预测的脊柱区域中脊柱的脊柱侧弯角度。
该回归网络能够分析输入的脊柱区域中脊柱的特征，从而预测出脊柱区域中脊柱的脊柱侧弯角度。上述分割网络与回归网络属于脊柱侧弯图像检测模型，分割网络与回归网络级联，且分割网络设置于回归网络之前。并且，分割网络是基于回归网络输出的结果进行训练的，回归网络基于分割网络输出的结果进行训练的。该脊柱侧弯图像检测模型能够为通过上述步骤402至414训练得到的模型。
在一个具体的例子中，图9是本申请一个示例性实施例提供的确定脊柱侧弯角度的过程的示意图。如图9所示，计算机设备获取脊柱图像901，并将脊柱图像901输入完成训练的分割网络902，从而预测出脊柱图像中的脊柱区域903。之后将脊柱区域903输入完成训练的回归网络904，从而预测出脊柱区域903中脊柱的脊柱侧弯角度。
示例地，表1示出了采用四种方式来预测脊柱侧弯角度，不同方式预测的脊柱侧弯角度之间的准确度比较情况。
表1
Figure 791985DEST_PATH_IMAGE018
如表1所示，使用四种方式来训练模型以及预测脊柱侧弯角度。其中，使用样本图进行训练并预测指，使用样本脊柱图像对回归网络进行训练，并通过回归网络预测脊柱侧弯角度。使用分割结果进行训练并预测指，使用分割网络分割的脊柱区域对回归网络进行训练，并通过回归网络预测脊柱侧弯角度。使用人工分割结果进行训练并预测指，使用人工分割的脊柱区域对回归网络进行训练，并通过回归网络预测脊柱侧弯角度。表1中平均绝对误差中三项分别为上胸弯、主胸弯和胸腰弯对应的误差。皮尔逊相关系数中三项分别为上胸弯、主胸弯和胸腰弯对应的系数。结合表1中的数据可知，本申请实施例提供的方法在主胸弯和胸腰弯两个角度的预测值超过了使用人工分割结果训练并预测的结果，且上胸弯接近。并且，在实际应用中是无法获得分割结果的真实值的。由此可知，本申请实施例提供的方法可以使分割网络产生对于回归网络更加友好的分割结果，来提升回归网络预测的准确度。并且，本申请实施例提供的训练两个级联的网络的方法，还能够用于其它具有级联的两个网络的结构的模型，例如对皮肤病进行分类的模型。
在一个具体的例子中，医务人员在诊断患者是否存在脊柱侧弯问题时，会先通知患者进行基于X光成像技术的检查，从而得到患者胸腔的x射线图像，该x射线图像中包括脊柱的图像。之后医务人员将x射线图像上传至计算机设备（例如台式电脑）中的医疗客户端中，并触发脊柱侧弯角度预测请求，该医疗客户端具有检测脊柱侧弯图像，从而预测出脊柱侧弯角度的功能。可选地，该医疗客户端还具有辅助检测其它疾病的功能，以及处理日常工作的功能等。医疗客户端会向服务器发送脊柱侧弯角度预测请求，该请求中携带有该x射线图像。服务器将x射线图像输入训练完成的脊柱侧弯图像检测模型中，由模型中的分割网络从x射线图像中分割出脊柱区域，之后输入回归网络，回归网络会根据脊柱区域的图像特征预测脊柱区域中脊柱的脊柱侧弯角度。之后服务器将预测的脊柱侧弯角度发送至医疗客户端中进行显示。并且，服务器还能够基于预设规则，根据预测得到的脊柱侧弯角度确定诊断建议并发送至医疗客户端。例如当预测的脊柱侧弯角度中的主胸弯大于10度时，服务器会向医疗客户端发送诊断建议“判断为轻微脊柱侧弯，建议选择保守治疗，仅供参考”。可选地，服务器中存储的该x射线图像以及预测的脊柱侧弯角度与患者的身份信息（姓名、手机号、身份证号）对应，患者能够通过公众号、小程序或该医疗客户端查询自己的诊断信息。
可选地，本申请实施例中的计算机设备能够为服务器，该服务器为一台服务器，或者由若干台服务器组成的服务器集群，或者是一个云计算服务中心中的虚拟服务器等。在预测脊柱侧弯角度时，服务器获取服务器中上传的需要预测脊柱侧弯角度的脊柱图像，并通过脊柱侧弯评估模型预测出预测脊柱侧弯角度。并且，服务器还能够对应有客户端，服务器从客户端获取需要预测脊柱侧弯角度的脊柱图像，在预测出脊柱侧弯角度后，将其发送至客户端中进行显示。
本申请实施例涉及的系统能够是由客户端、多个节点（接入网络中的任意形式的计算设备，如服务器、用户终端）通过网络通信的形式连接形成的分布式系统。以分布式系统为区块链系统为例，图10是本申请一个示例性实施例提供的分布式系统的结构示意图。如图10所示，分布式系统1000由多个节点1001（接入网络中的任意形式的计算设备，如服务器、用户终端）和客户端1002组成。节点1001之间形成点对点（Peer To Peer，P2P）网络，P2P协议是一个运行在传输控制协议（Transmission Control Protocol，TCP）之上的应用层协议。在分布式系统1000中，任何机器如服务器、终端都可以加入而成为节点1001，节点1001包括硬件层、中间层、操作系统层和应用层。
参见图10示出的区块链系统（分布式系统1000），该系统中的节点1001能够具有以下功能。
1）路由，节点1001具有的基本功能，用于支持节点1001之间的通信。
节点除具有路由功能外，还可以具有以下功能。
2）应用，用于部署在区块链中，根据实际业务需求而实现特定业务，记录实现功能相关的数据形成记录数据，在记录数据中携带数字签名以表示记录数据的来源，将记录数据发送到区块链系统中的其他节点，供其他节点在验证记录数据来源以及完整性成功时，将记录数据添加到临时区块中。
例如，应用实现的业务包括：
通过脊柱侧弯图像检测模型预测脊柱图像中脊柱的脊柱侧弯角度，该脊柱侧弯图像检测模型包括分割网络以及回归网络。其中，分割网络用于预测脊柱图像中的脊柱区域，回归网络用于预测脊柱区域中脊柱的脊柱侧弯角度。分割网络能够存在于分布式系统1000的一个节点1001中，回归网络能够存在于分布式系统1000的另一个节点1001中，且分割网络所在的节点1001与回归网络所在的节点1001之间存在通信关系。
3）区块链，包括一系列按照产生的先后时间顺序相互接续的区块（Block），新区块一旦加入到区块链中就不会再被移除，区块中记录了区块链系统中节点提交的记录数据。
图11是本申请一个示例性实施例提供的区块结构（Block Structure）的示意图。如图11所示，每个区块中包括本区块存储的数据的哈希值（本区块的哈希值）、以及前一区块的哈希值，各区块通过哈希值连接形成区块链。另外，区块中还可以包括有区块生成时的时间戳等信息。区块链（Blockchain），本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了相关的信息，用于验证其信息的有效性（防伪）和生成下一个区块。
综上所述，本实施例提供的方法，通过分割网络以及回归网络预测脊柱图像中脊柱的脊柱侧弯角度。该分割网络是基于回归网络输出的结果进行训练的，回归网络基于分割网络输出的结果进行训练的，能够实现使用回归网络监督训练分割网络，以及使用分割网络监督训练回归网络。在训练的过程中，能够使分割网络的输出结果提升回归网络的输出结果的准确度，且回归网络的输出结果能够约束分割网络的输出结果，提升分割网络的输出结果的准确度。因此通过该分割网络以及回归网络，能够输出更准确的预测脊柱侧弯角度的结果。
需要说明的是，本申请实施例提供的方法步骤的先后顺序可以进行适当调整，步骤也可以根据情况进行相应增减，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化的方法，都应涵盖在本申请的保护范围之内，因此不再赘述。
图12是本申请一个示例性实施例提供的脊柱侧弯图像检测模型训练装置的结构示意图。该装置可以用于计算机设备。如图12所示，该装置120包括以下装置。
获取模块1201，用于获取样本脊柱图像、样本脊柱图像中的真实脊柱区域以及样本脊柱图像中脊柱的真实侧弯角度，样本脊柱图像是用于反映脊柱的特征的图像，真实脊柱区域是样本脊柱图像中脊柱所在的图像区域。
训练模块1202，用于将样本脊柱图像输入分割网络，得到分割网络预测的样本脊柱图像中的预测脊柱区域。
训练模块1202，还用于将真实脊柱区域输入回归网络，得到回归网络预测的真实脊柱区域中脊柱的第一预测侧弯角度，以及将预测脊柱区域输入回归网络，得到回归网络预测的预测脊柱区域中脊柱的第二预测侧弯角度。
训练模块1202，还用于基于区域损失和角度损失训练分割网络和回归网络，得到脊柱侧弯图像检测模型。其中，区域损失是基于真实脊柱区域和预测脊柱区域确定的，角度损失是基于第一预测侧弯角度、第二预测侧弯角度以及真实侧弯角度中的至少两者确定的。
在一个可选的设计中，训练模块1202，用于：
固定回归网络的网络参数，基于区域损失和角度损失训练分割网络。固定分割网络的网络参数，基于角度损失训练回归网络。交替执行上述两个步骤。
在一个可选的设计中，训练模块1202，用于：
固定回归网络的网络参数。确定区域损失中的第一误差损失。确定角度损失中的第二误差损失以及第三误差损失。根据第一误差损失、第二误差损失以及第三误差损失的和训练分割网络。其中，第一误差损失用于反映真实脊柱区域与预测脊柱区域之间的误差，第二误差损失用于反映第二预测侧弯角度与真实侧弯角度之间的误差，第三误差损失用于反映第一预测侧弯角度与第二预测侧弯角度之间的误差。
在一个可选的设计中，训练模块1202，用于：
基于真实脊柱区域与预测脊柱区域，通过第一损失函数确定第一误差损失，第一损失函数是根据骰子损失函数以及交叉熵损失函数的和确定的。基于第二预测侧弯角度与真实侧弯角度，通过第二损失函数确定第二误差损失，第二损失函数是基于对称平均绝对百分比误差的计算方式确定的。基于第一预测侧弯角度与第二预测侧弯角度，通过第三损失函数确定第三误差损失，第三损失函数是用于约束第一预测侧弯角度与第二预测侧弯角度之间的误差的函数。根据第一误差损失、第二误差损失以及第三误差损失的和，确定分割误差损失。基于分割误差损失在分割网络中通过反向传播训练分割网络。
在一个可选的设计中，训练模块1202，用于：
将分割误差损失中的第二误差损失与第三误差损失分别与时变自调节参数相乘，得到时变分割误差损失，时变自调节参数的大小与训练分割网络的时长负相关。基于时变分割误差损失在分割网络中通过反向传播训练分割网络。
在一个可选的设计中，训练模块1202，用于：
固定分割网络的网络参数。确定角度损失中的第四误差损失、第二误差损失以及第三误差损失。根据第四误差损失、第二误差损失以及第三误差损失的和训练回归网络。其中，第四误差损失用于反映第一预测侧弯角度与真实侧弯角度之间的误差，第二误差损失用于反映第二预测侧弯角度与真实侧弯角度之间的误差，第三误差损失用于反映第一预测侧弯角度与第二预测侧弯角度之间的误差。
在一个可选的设计中，训练模块1202，用于：
基于第一预测侧弯角度与真实侧弯角度，通过第四损失函数确定第四误差损失，第四损失函数是基于对称平均绝对百分比误差的计算方式确定的。基于第二预测侧弯角度与真实侧弯角度，通过第二损失函数确定第二误差损失，第二损失函数是基于对称平均绝对百分比误差的计算方式确定的。基于第一预测侧弯角度与第二预测侧弯角度，通过第三损失函数确定第三误差损失，第三损失函数是用于约束第一预测侧弯角度与第二预测侧弯角度之间的误差的函数。根据第四误差损失、第二误差损失以及第三误差损失的和，确定回归误差损失。基于回归误差损失在回归网络中通过反向传播训练回归网络。
在一个可选的设计中，分割网络包括目标金字塔采样层，目标金子塔采样层是包括扩大卷积层的金字塔采样层，目标金字塔采样层用于提取样本脊柱图像的图像特征，扩大卷积层用于增大分割网络在提取样本脊柱图像的图像特征时的感受野。
在一个可选的设计中，回归网络基于目标分类网络，目标分类网络是包括角度输出通道的分类网络，角度输出通道用于输出第一预测侧弯角度以及第二预测侧弯角度。
在一个可选的设计中，如图13所示，装置120还包括预训练模块1203。预训练模块1203，用于：
通过第一损失函数确定第一误差损失。基于第一误差损失通过反向传播对分割网络进行预训练。
在一个可选的设计中，预训练模块1203，还用于：
通过第二损失函数确定第二误差损失。基于第二误差损失通过反向传播对回归网络进行预训练。
在一个可选的设计中，样本脊柱图像属于样本图像集，样本图像集用于训练分割网络以及回归网络。如图14所示，装置120还包括处理模块1204。处理模块1204，用于：
将样本脊柱图像缩放为同一尺寸，得到标准脊柱图像。将标准脊柱图像进行翻转处理、旋转处理和缩放处理中的至少一种处理，得到扩充脊柱图像。将扩充脊柱图像添加至样本图像集。
图15是本申请一个示例性实施例提供的脊柱侧弯角度的确定装置的结构示意图。该装置可以用于计算机设备。如图15所示，该装置150包括以下装置。
获取模块1501，用于获取脊柱图像，脊柱图像是用于反映脊柱的特征的图像。
预测模块1502，用于将脊柱图像输入分割网络，得到分割网络预测的脊柱图像中的脊柱区域，脊柱区域是脊柱图像中脊柱所在的图像区域。
预测模块1502，还用于将脊柱区域输入回归网络，得到回归网络预测的脊柱区域中脊柱的脊柱侧弯角度，分割网络与回归网络属于脊柱侧弯图像检测模型，分割网络与回归网络级联，分割网络是基于回归网络输出的结果进行训练的，回归网络基于分割网络输出的结果进行训练的。
需要说明的是：上述实施例提供的脊柱侧弯图像检测模型训练装置，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的脊柱侧弯图像检测模型训练装置与脊柱侧弯图像检测模型训练方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
同理，上述实施例提供的脊柱侧弯角度的确定装置，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的脊柱侧弯角度的确定装置与脊柱侧弯角度的确定方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
本申请的实施例还提供了一种计算机设备，该计算机设备包括：处理器和存储器，存储器中存储有至少一条指令、至少一段程序、代码集或指令集，至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行以实现上述各方法实施例提供的脊柱侧弯图像检测模型训练方法或脊柱侧弯角度的确定方法。
可选地，该计算机设备为服务器。示例地，图16是本申请一个示例性实施例提供的服务器的结构示意图。
所述服务器1600包括中央处理单元（Central Processing Unit，CPU）1601、包括随机存取存储器（Random Access Memory，RAM）1602和只读存储器（Read-Only Memory，ROM）1603的系统存储器1604，以及连接系统存储器1604和中央处理单元1601的系统总线1605。所述计算机设备1600还包括帮助计算机设备内的各个器件之间传输信息的基本输入/输出系统（Input/Output系统，I/O系统）1606，和用于存储操作系统1613、应用程序1614和其他程序模块1615的大容量存储设备1607。
所述基本输入/输出系统1606包括有用于显示信息的显示器1608和用于用户输入信息的诸如鼠标、键盘之类的输入设备1609。其中所述显示器1608和输入设备1609都通过连接到系统总线1605的输入输出控制器1610连接到中央处理单元1601。所述基本输入/输出系统1606还可以包括输入输出控制器1610以用于接收和处理来自键盘、鼠标、或电子触控笔等多个其他设备的输入。类似地，输入输出控制器1610还提供输出到显示屏、打印机或其他类型的输出设备。
所述大容量存储设备1607通过连接到系统总线1605的大容量存储控制器（未示出）连接到中央处理单元1601。所述大容量存储设备1607及其相关联的计算机可读存储介质为服务器1600提供非易失性存储。也就是说，所述大容量存储设备1607可以包括诸如硬盘或者只读光盘（Compact Disc Read-Only Memory，CD-ROM）驱动器之类的计算机可读存储介质（未示出）。
不失一般性，所述计算机可读存储介质可以包括计算机存储介质和通信介质。计算机存储介质包括以用于存储诸如计算机可读存储指令、数据结构、程序模块或其他数据等信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。计算机存储介质包括RAM、ROM、可擦除可编程只读寄存器（Erasable Programmable Read OnlyMemory，EPROM）、电子抹除式可复写只读存储器（Electrically-Erasable ProgrammableRead-Only Memory，EEPROM）、闪存或其他固态存储设备，CD-ROM、数字多功能光盘（DigitalVersatile Disc，DVD）或其他光学存储、磁带盒、磁带、磁盘存储或其他磁性存储设备。当然，本领域技术人员可知所述计算机存储介质不局限于上述几种。上述的系统存储器1604和大容量存储设备1607可以统称为存储器。
存储器存储有一个或多个程序，一个或多个程序被配置成由一个或多个中央处理单元1601执行，一个或多个程序包含用于实现上述方法实施例的指令，中央处理单元1601执行该一个或多个程序实现上述各个方法实施例提供的方法。
根据本申请的各种实施例，所述服务器1600还可以通过诸如因特网等网络连接到网络上的远程服务器运行。也即服务器1600可以通过连接在所述系统总线1605上的网络接口单元1611连接到网络1612，或者说，也可以使用网络接口单元1611来连接到其他类型的网络或远程服务器系统（未示出）。
所述存储器还包括一个或者一个以上的程序，所述一个或者一个以上程序存储于存储器中，所述一个或者一个以上程序包含用于进行本申请实施例提供的方法中由服务器所执行的步骤。
本申请实施例中还提供了一种计算机可读存储介质，该可读存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，当该至少一条指令、至少一段程序、代码集或指令集由计算机设备的处理器加载并执行时，实现上述各方法实施例提供的脊柱侧弯图像检测模型训练方法或脊柱侧弯角度的确定方法。
本申请还提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述各方法实施例提供的脊柱侧弯图像检测模型训练方法或脊柱侧弯角度的确定方法。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，该程序可以存储于一种计算机可读存储介质中，上述提到的可读存储介质可以是只读存储器，磁盘或光盘等。
以上所述仅为本申请的可选实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同切换、改进等，均应包含在本申请的保护范围之内。

Claims (15)

1.一种脊柱侧弯图像检测模型训练方法，其特征在于，所述脊柱侧弯图像检测模型包括级联的分割网络和回归网络，所述方法包括：
获取样本脊柱图像、所述样本脊柱图像中的真实脊柱区域以及所述样本脊柱图像中脊柱的真实侧弯角度，所述样本脊柱图像是用于反映脊柱的特征的图像，所述真实脊柱区域是所述样本脊柱图像中脊柱所在的图像区域；
将所述样本脊柱图像输入所述分割网络，得到所述分割网络预测的所述样本脊柱图像中的预测脊柱区域；
将所述真实脊柱区域输入所述回归网络，得到所述回归网络预测的所述真实脊柱区域中脊柱的第一预测侧弯角度，以及将所述预测脊柱区域输入所述回归网络，得到所述回归网络预测的所述预测脊柱区域中脊柱的第二预测侧弯角度；
基于区域损失和角度损失训练所述分割网络和所述回归网络，得到所述脊柱侧弯图像检测模型；其中，所述区域损失是基于所述真实脊柱区域和所述预测脊柱区域确定的，所述角度损失是基于所述第一预测侧弯角度、所述第二预测侧弯角度以及所述真实侧弯角度中的至少两者确定的。
2.根据权利要求1所述的方法，其特征在于，所述基于区域损失和角度损失训练所述分割网络和所述回归网络，包括：
固定所述回归网络的网络参数，基于所述区域损失和所述角度损失训练所述分割网络；
固定所述分割网络的网络参数，基于所述角度损失训练所述回归网络；
交替执行上述两个步骤。
3.根据权利要求2所述的方法，其特征在于，所述固定所述回归网络的网络参数，基于所述区域损失和所述角度损失训练所述分割网络，包括：
固定所述回归网络的网络参数；
确定所述区域损失中的第一误差损失；
确定所述角度损失中的第二误差损失以及第三误差损失；
根据所述第一误差损失、所述第二误差损失以及所述第三误差损失的和训练所述分割网络；
其中，所述第一误差损失用于反映所述真实脊柱区域与所述预测脊柱区域之间的误差，所述第二误差损失用于反映所述第二预测侧弯角度与所述真实侧弯角度之间的误差，所述第三误差损失用于反映所述第一预测侧弯角度与所述第二预测侧弯角度之间的误差。
4.根据权利要求3所述的方法，其特征在于，所述确定所述区域损失中的第一误差损失，包括：
基于所述真实脊柱区域与所述预测脊柱区域，通过第一损失函数确定所述第一误差损失，所述第一损失函数是根据骰子损失函数以及交叉熵损失函数的和确定的；
所述确定所述角度损失中的第二误差损失以及第三误差损失，包括：
基于所述第二预测侧弯角度与所述真实侧弯角度，通过第二损失函数确定所述第二误差损失，所述第二损失函数是基于对称平均绝对百分比误差的计算方式确定的；
基于所述第一预测侧弯角度与所述第二预测侧弯角度，通过第三损失函数确定所述第三误差损失，所述第三损失函数是用于约束所述第一预测侧弯角度与所述第二预测侧弯角度之间的误差的函数；
所述根据所述第一误差损失、所述第二误差损失以及所述第三误差损失的和训练所述分割网络，包括：
根据所述第一误差损失、所述第二误差损失以及所述第三误差损失的和，确定分割误差损失；
基于所述分割误差损失在所述分割网络中通过反向传播训练所述分割网络。
5.根据权利要求4所述的方法，其特征在于，所述基于所述分割误差损失在所述分割网络中通过反向传播训练所述分割网络，包括：
将所述分割误差损失中的所述第二误差损失与所述第三误差损失分别与时变自调节参数相乘，得到时变分割误差损失，所述时变自调节参数的大小与训练所述分割网络的时长负相关；
基于所述时变分割误差损失在所述分割网络中通过反向传播训练所述分割网络。
6.根据权利要求2所述的方法，其特征在于，所述固定所述分割网络的网络参数，基于所述角度损失训练所述回归网络，包括：
固定所述分割网络的网络参数；
确定所述角度损失中的第四误差损失、第二误差损失以及第三误差损失；
根据所述第四误差损失、所述第二误差损失以及所述第三误差损失的和训练所述回归网络；
其中，所述第四误差损失用于反映所述第一预测侧弯角度与所述真实侧弯角度之间的误差，所述第二误差损失用于反映所述第二预测侧弯角度与所述真实侧弯角度之间的误差，所述第三误差损失用于反映所述第一预测侧弯角度与所述第二预测侧弯角度之间的误差。
7.根据权利要求6所述的方法，其特征在于，所述确定所述角度损失中的第四误差损失、第二误差损失以及第三误差损失，包括：
基于所述第一预测侧弯角度与所述真实侧弯角度，通过第四损失函数确定所述第四误差损失，所述第四损失函数是基于对称平均绝对百分比误差的计算方式确定的；
基于所述第二预测侧弯角度与所述真实侧弯角度，通过第二损失函数确定所述第二误差损失，所述第二损失函数是基于对称平均绝对百分比误差的计算方式确定的；
基于所述第一预测侧弯角度与所述第二预测侧弯角度，通过第三损失函数确定所述第三误差损失，所述第三损失函数是用于约束所述第一预测侧弯角度与所述第二预测侧弯角度之间的误差的函数；
所述根据所述第四误差损失、所述第二误差损失以及所述第三误差损失的和训练所述回归网络，包括：
根据所述第四误差损失、所述第二误差损失以及所述第三误差损失的和，确定回归误差损失；
基于所述回归误差损失在所述回归网络中通过反向传播训练所述回归网络。
8.根据权利要求1至7任一所述的方法，其特征在于，
所述分割网络包括目标金字塔采样层，所述目标金子塔采样层是包括扩大卷积层的金字塔采样层，所述目标金字塔采样层用于提取所述样本脊柱图像的图像特征，所述扩大卷积层用于增大所述分割网络在提取所述样本脊柱图像的图像特征时的感受野。
9.根据权利要求1至7任一所述的方法，其特征在于，
所述回归网络基于目标分类网络，所述目标分类网络是包括角度输出通道的分类网络，所述角度输出通道用于输出所述第一预测侧弯角度以及所述第二预测侧弯角度。
10.根据权利要求1至7任一所述的方法，其特征在于，所述样本脊柱图像属于样本图像集，所述样本图像集用于训练所述分割网络以及所述回归网络；
所述方法还包括：
将所述样本脊柱图像缩放为同一尺寸，得到标准脊柱图像；
将所述标准脊柱图像进行翻转处理、旋转处理和缩放处理中的至少一种处理，得到扩充脊柱图像；
将所述扩充脊柱图像添加至所述样本图像集。
11.一种脊柱侧弯角度的确定方法，其特征在于，所述方法包括：
获取脊柱图像，所述脊柱图像是用于反映脊柱的特征的图像；
将所述脊柱图像输入分割网络，得到所述分割网络预测的所述脊柱图像中的脊柱区域，所述脊柱区域是所述脊柱图像中脊柱所在的图像区域；
将所述脊柱区域输入回归网络，得到所述回归网络预测的所述脊柱区域中脊柱的脊柱侧弯角度，所述分割网络与所述回归网络属于脊柱侧弯图像检测模型，所述分割网络与所述回归网络级联，所述分割网络是基于所述回归网络输出的结果进行训练的，所述回归网络基于所述分割网络输出的结果进行训练的。
12.一种脊柱侧弯图像检测模型训练装置，其特征在于，所述脊柱侧弯图像检测模型包括级联的分割网络和回归网络，所述装置包括：
获取模块，用于获取样本脊柱图像、所述样本脊柱图像中的真实脊柱区域以及所述样本脊柱图像中脊柱的真实侧弯角度，所述样本脊柱图像是用于反映脊柱的特征的图像，所述真实脊柱区域是所述样本脊柱图像中脊柱所在的图像区域；
训练模块，用于将所述样本脊柱图像输入所述分割网络，得到所述分割网络预测的所述样本脊柱图像中的预测脊柱区域；
所述训练模块，还用于将所述真实脊柱区域输入所述回归网络，得到所述回归网络预测的所述真实脊柱区域中脊柱的第一预测侧弯角度，以及将所述预测脊柱区域输入所述回归网络，得到所述回归网络预测的所述预测脊柱区域中脊柱的第二预测侧弯角度；
所述训练模块，还用于基于区域损失和角度损失训练所述分割网络和所述回归网络，得到所述脊柱侧弯图像检测模型；其中，所述区域损失是基于所述真实脊柱区域和所述预测脊柱区域确定的，所述角度损失是基于所述第一预测侧弯角度、所述第二预测侧弯角度以及所述真实侧弯角度中的至少两者确定的。
13.一种脊柱侧弯角度的确定装置，其特征在于，所述装置包括：
获取模块，用于获取脊柱图像，所述脊柱图像是用于反映脊柱的特征的图像；
预测模块，用于将所述脊柱图像输入分割网络，得到所述分割网络预测的所述脊柱图像中的脊柱区域，所述脊柱区域是所述脊柱图像中脊柱所在的图像区域；
所述预测模块，还用于将所述脊柱区域输入回归网络，得到所述回归网络预测的所述脊柱区域中脊柱的脊柱侧弯角度，所述分割网络与所述回归网络属于脊柱侧弯图像检测模型，所述分割网络与所述回归网络级联，所述分割网络是基于所述回归网络输出的结果进行训练的，所述回归网络基于所述分割网络输出的结果进行训练的。
14.一种计算机设备，其特征在于，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或所述指令集由所述处理器加载并执行以实现如权利要求1至10任一所述的脊柱侧弯图像检测模型训练方法，或权利要求11所述的脊柱侧弯角度的确定方法。
15.一种计算机可读存储介质，其特征在于，所述可读存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如权利要求1至10任一所述的脊柱侧弯图像检测模型训练方法，或权利要求11所述的脊柱侧弯角度的确定方法。
CN202110581572.3A 2021-05-27 2021-05-27 脊柱侧弯图像检测模型训练方法、确定方法、装置及设备 Active CN113052842B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110581572.3A CN113052842B (zh) 2021-05-27 2021-05-27 脊柱侧弯图像检测模型训练方法、确定方法、装置及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110581572.3A CN113052842B (zh) 2021-05-27 2021-05-27 脊柱侧弯图像检测模型训练方法、确定方法、装置及设备

Publications (2)

Publication Number Publication Date
CN113052842A true CN113052842A (zh) 2021-06-29
CN113052842B CN113052842B (zh) 2021-08-27

Family

ID=76518577

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110581572.3A Active CN113052842B (zh) 2021-05-27 2021-05-27 脊柱侧弯图像检测模型训练方法、确定方法、装置及设备

Country Status (1)

Country Link
CN (1) CN113052842B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114224322A (zh) * 2021-10-25 2022-03-25 上海工程技术大学 一种基于人体骨骼关键点的脊柱侧弯评估方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110415291A (zh) * 2019-08-07 2019-11-05 清华大学 图像处理方法及相关设备
US20200012895A1 (en) * 2018-07-03 2020-01-09 General Electric Company Classification and localization based on annotation information
CN111047572A (zh) * 2019-12-10 2020-04-21 南京安科医疗科技有限公司 一种基于Mask RCNN的医学图像中脊柱自动定位方法
CN111383221A (zh) * 2020-03-12 2020-07-07 南方科技大学 一种脊柱侧弯检测模型的生成方法和计算机设备
CN112419343A (zh) * 2019-11-27 2021-02-26 上海联影智能医疗科技有限公司 用于图像分割的系统和方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200012895A1 (en) * 2018-07-03 2020-01-09 General Electric Company Classification and localization based on annotation information
CN110415291A (zh) * 2019-08-07 2019-11-05 清华大学 图像处理方法及相关设备
CN112419343A (zh) * 2019-11-27 2021-02-26 上海联影智能医疗科技有限公司 用于图像分割的系统和方法
CN111047572A (zh) * 2019-12-10 2020-04-21 南京安科医疗科技有限公司 一种基于Mask RCNN的医学图像中脊柱自动定位方法
CN111383221A (zh) * 2020-03-12 2020-07-07 南方科技大学 一种脊柱侧弯检测模型的生成方法和计算机设备

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
BO CHEN ET AL: "An Automated and Accurate Spine Curve Analysis System", 《IEEE ACCESS》 *
HAOLIANG SUN ET AL: "Direct Estimation of Spinal Cobb Angles by Structured Multi-Output Regression", 《PROCEEDINGS OF INTERNATIONAL CONFERENCE ON INFORMATION PROCESSING IN MEDICAL IMAGING 》 *
许秋皓: "基于多视角外推网络的精确自动Cobb角评估", 《中国优秀硕士学位论文全文数据库》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114224322A (zh) * 2021-10-25 2022-03-25 上海工程技术大学 一种基于人体骨骼关键点的脊柱侧弯评估方法

Also Published As

Publication number Publication date
CN113052842B (zh) 2021-08-27

Similar Documents

Publication Publication Date Title
CN110163260B (zh) 基于残差网络的图像识别方法、装置、设备及存储介质
CN110929622B (zh) 视频分类方法、模型训练方法、装置、设备及存储介质
CN110033019B (zh) 人体部位的异常检测方法、装置和存储介质
CN110599421B (zh) 模型训练方法、视频模糊帧转换方法、设备及存储介质
JP7406758B2 (ja) 人工知能モデルを使用機関に特化させる学習方法、これを行う装置
CN111881926A (zh) 图像生成、图像生成模型的训练方法、装置、设备及介质
US11646119B2 (en) Systems and methods for automated analysis of medical images
KR102542037B1 (ko) 인공지능 모델을 사용 기관에 특화시키는 학습 방법, 이를 수행하는 장치
JP7191443B2 (ja) 機械学習に基づくターゲットオブジェクト属性予測方法、関連機器及びコンピュータプログラム
CN113821668A (zh) 数据分类识别方法、装置、设备及可读存储介质
WO2024108663A1 (zh) 肿瘤生存预测方法、装置、电子设备及存储介质
CN111863247B (zh) 基于结构磁共振影像的大脑年龄级联精炼预测方法及系统
CN113052842B (zh) 脊柱侧弯图像检测模型训练方法、确定方法、装置及设备
CN113822845A (zh) 医学图像中组织结构的层级分割方法、装置、设备及介质
CN113807330B (zh) 面向资源受限场景的三维视线估计方法及装置
JP2020042645A (ja) 時系列データ分析装置、時系列データ分析方法、および時系列データ分析プログラム
CN112750110A (zh) 基于神经网络对肺部病灶区进行评估的评估系统和相关产品
CN116958154A (zh) 图像分割方法和装置、存储介质及电子设备
CN114360732B (zh) 医疗数据分析方法、装置、电子设备及存储介质
Khalid et al. Automated Cobb’s Angle Measurement for Scoliosis Diagnosis Using Deep Learning Technique
CN117009863A (zh) 免疫组库分类方法、装置、设备和存储介质
CN115423836A (zh) 三维脑中线分割方法、装置、设备、存储介质及程序产品
CN112233126B (zh) 医学图像的加窗方法及装置
CN113782221A (zh) 基于自训练学习的疾病预测装置、设备及存储介质
CN114283216A (zh) 图像去伪影方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40045474

Country of ref document: HK