CN110176302A - 利用生成对抗网络模型的下肢力线智能标定确认方法 - Google Patents

Abstract

本发明涉及全膝关节置换术技术领域，具体为利用生成对抗网络模型的下肢力线智能标定确认方法，包括采集数据、建立生成器、映射样本、建立判别器和输出结果步骤。该利用生成对抗网络模型的下肢力线智能标定确认方法中，通过生成器G自动生成标注有标准下肢力线的影像数据，本发明只需完成模型训练便可以重复利用，迅速准确自动生成下肢力线，帮助医生进行手术规划，易于操作、准确度高、满足患者个体差异的优点，通过提高全膝关节置换手术中力线平衡的准确率，对增加患者术后假体的使用寿命，降低术后并发症，提高患者术后生活质量有重要作用。

Description

利用生成对抗网络模型的下肢力线智能标定确认方法

技术领域

本发明涉及全膝关节置换术技术领域，具体为利用生成对抗网络模型的下肢力线智能 标定确认方法。

背景技术

全膝关节置换术使用金属、高分子聚乙烯、陶瓷等材料，根据人体关节的形态、构造 及功能制成人工膝关节假体，通过外科技术植入人体内，缓解关节疼痛，纠正关节畸形，恢复关节功能，提高患者生活质量，TKA常用于治疗和改善严重的膝关节疼痛、不稳、畸 形，如类风湿性关节炎、膝骨性关节炎，少数创伤性关节炎等疾病，包括截骨和软组织松 解两个步骤，最终实现恢复下肢力线、保持软组织平衡，达到膝关节平衡的目的。

若术前规划的失误会导致术中截骨不当或假体匹配不精确，从而进一步导致力线的不 平衡，进一步导致患者疼痛、假体磨损及松动等问题，最终影响患者健康和假体在患者体 内留存时间。目前医院常参考多个人体解剖位置来使力线平衡，如使用两踝中点的踝关节 中心、髌骨沟中点、髁间切迹、股骨干下端等位置作为下肢力线的参考位置，并结合患者 股骨解剖轴经胫骨髁连线形成的F角和胫骨解剖轴经胫骨髁连线形成的T角来确定力线平 衡。

在临床全膝关节置换术前，需要对患者下肢骨骼影像进行力线的标注，并以此为依据 进行手术的规划与决策，人工标注过程复杂且需要耗费大量时间，经验丰富的医生尚且不 能保证每次都标注的很完美，力线标注对于资历尚浅的医生更是一种挑战鉴于此，我们提 出利用生成对抗网络模型的下肢力线智能标定确认方法。

发明内容

本发明的目的在于提供利用生成对抗网络模型的下肢力线智能标定确认方法，以解决 上述背景技术中提出的人工标注过程复杂且需要耗费大量时间的问题。

为实现上述目的，本发明提供利用生成对抗网络模型的下肢力线智能标定确认方法， 包括以下步骤：

S11、采集数据：采集大量标注有标准力线的下肢影像以及未标注标准下肢力线的下 肢影像数据；

S12、建立生成器：将未标注下肢力线的影像数据输入生成器G；

S13、映射样本：采用多层感知机的网络结构，用MLP的参数来表示可导映射G(z)，将输入空间映射到样本空间；

S14、建立判别器：将标注有标准力线的下肢影像和生成器G映射的样本G(z)输入判 别器D；

S15、输出结果：采用“Sigmoid函数”变换以“0”和“1”表示判别器D的最终判别 结果。

作为优选，步骤S12中建立生成器G后还需要对生成器G进行优化。

作为优选，所述生成器G优化过程包括以下步骤：

S21、抽取样本：从未标注标准力线的下肢影像数据中抽取多个噪声样本；

S22、更新迭代生成器参数：通过梯度下降法，更新迭代生成器参数，以使得极大化。

作为优选，步骤S14中建立判别器D后还需要对判别器D进行优化。

作为优选，所述判别器D优化过程包括以下步骤：

S31、抽取样本：从标注有标准力线的下肢影像数据中抽取多个样本，同时从未标注 标准力线的下肢影像数据中抽取多个噪声样本；

S32、送至生成器：将步骤S31中抽取的样本送至生成器G，并生成数据；

S33、更新迭代判别器：通过梯度上升法更新迭代判别器D的参数，以使得极大化。

与现有技术相比，本发明的有益效果：

1、该利用生成对抗网络模型的下肢力线智能标定确认方法中，通过生成器和判别器 在极大极小博弈中扮演了两个竞争对手循环迭代训练以实现最终优化目标，完成输入未标 注力线的下肢影像数据，生成器G能自动生成标注有标准下肢力线的影像数据。

2、该利用生成对抗网络模型的下肢力线智能标定确认方法中，本发明只需完成模型 训练便可以重复利用，迅速准确自动生成下肢力线，帮助医生进行手术规划，易于操作、准确度高、满足患者个体差异的优点，通过提高全膝关节置换手术中力线平衡的准确率，对增加患者术后假体的使用寿命，降低术后并发症，提高患者术后生活质量有重要作用。

附图说明

图1为本发明的整体流程示意图；

图2为本发明的生成器G优化流程图；

图3为本发明的判别器D优化流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地 描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本 发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实 施例，都属于本发明保护的范围。

在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

实施例1

本发明提供利用生成对抗网络模型的下肢力线智能标定确认方法，如图1所示，包括 以下步骤：

S11、采集数据：采集大量标注有标准力线的下肢影像以及未标注标准下肢力线的下 肢影像数据；

S12、建立生成器：将未标注下肢力线的影像数据输入生成器G；

S13、映射样本：采用多层感知机的网络结构，用MLP的参数来表示可导映射G(z)，将输入空间映射到样本空间；

S14、建立判别器：将标注有标准力线的下肢影像和生成器G映射的样本G(z)输入判 别器D；

S15、输出结果：采用“Sigmoid函数”变换以“0”和“1”表示判别器D的最终判别 结果。

本实施例中，标注有标准力线的下肢影像可由医生根据最终手术效果对之前标注有下 肢力线的影像数据进行筛选，从大量标注力线的下肢影像中筛选出手术效果更好的，作为 标准的影像数据用作训练集。

进一步的，生成器G原理为：学习得到联合概率分布P(x，y)，即特征x和标记y共同出现的概率，然后求条件概率分布，能够学习到数据生成的机制。

值得说明的是，生成器G以统计学和Bayes作为理论基础，可分为朴素贝叶斯模型、混合高斯模型和隐马尔可夫模型；

朴素贝叶斯模型，通过学习先验概率分布P(Y＝c_k)，和条件概率分布P(X＝x|Y＝c_k)， 得到联合概率分布，然后对应分类时的后验概率为：

使用极大似然估计(使用样本中的数据分布来拟合数据的实际分布概率)得到先验概 率；

混合高斯模型公式如下：

隐马尔可夫模型，由隐藏的马尔可夫链随机生成观测序列，是生成模型，HMM是关于 时序的概率模型，描述由一个隐藏的马尔可夫链随机生成不可观测的状态随机序列，再由 各个状态生成一个观测而产生观测随机序列的过程。包含三要素：初始状态概率向量pie， 状态转移概率矩阵A，观测概率矩阵B。

此外，判别器D原理为：学习得到条件概率分布P(y|x)，即在特征x出现的情况下标记y出现的概率。

值得说明的是，判别器D可分为线性分类模型、k近邻法、决策树、逻辑斯蒂回归模型、最大熵模型、SVM分为线性、boosting方法和条件随机场；

线性分类模型，输入空间为X，输出空间为y∈{+1，-1}，使用的映射函数为 f(x)＝sign(w·x+b)，其中sign为符号函数(输入大于等于1时输出为1；否则为0)。 使用的损失函数为误分类点到超平面的总距离，即：

k近邻法，基于已知样本，对未知样本进行预测时，找到对应的K个最近邻，通过多数表决进行预测；

决策树，决策树在每个单元定义一个类的概率分布，形成一个条件概率分布，决策树 中递归地选择最优特征，所谓最优特征即分类效果最好的特征，算法中使用信息增益来衡 量，对应公式为：

g(D，A)＝H(D)-H(D|A)

其中，D为训练集，A为待测试的特征，H(D)为熵(经验熵)，H(D|A)为条件熵，两者的计算为：

但是以信息增益为划分，存在偏向于选择取值较多的特征，因此使用信息增益比来校 正，公式为：

其中n为特征A的取值个数；

逻辑斯蒂回归模型，使用条件概率分布表示为：

可以使用极大似然估计法估计模型参数，对优化目标使用梯度下降法或者拟牛顿法；

最大熵模型原理为：概率模型中，熵最大的模型是最好的模型，可以使用拉格朗日函 数求解对偶问题解决；

SVM分为线性，SVM分为线性可分支持向量机、线性支持向量机、非线性支持向量机三种；

boosting方法，通过改变训练样本的权重，训练多个分类器，将分类器进行线性组合， 提升分类性能，AdaBoost采用加权多数表决的方法；

条件随机场，给定一组输入随机变量条件下另一组输出随机变量的条件概率分布模型， 其特点是假设输出随机变量构成马尔可夫随机场。

本实施例的利用生成对抗网络模型的下肢力线智能标定确认方法具体过程为：将标注 标准力线的下肢影像数据记作P_data以及未标注标准下肢力线的下肢影像数据记作P_z，对于 生成器G，我们将未标注下肢力线的影像数据输入生成器G，采用多层感知机的网络结构， 用MLP的参数来表示可导映射G(z)，将输入空间映射到样本空间，对于判别器D，将输入真实样本，标注有标准力线的下肢影像数据x(带有标签real)和生成器伪造的样本G(z)，判别器采用带有参数的多层感知机，记为D(x)，对于输出结果将采用“Sigmoid函数”变 换以“0”和“1”表示判别器的最终判别结果。

值得说明的是，生成器G和判别器D采用以下函数V(G,D)表示最终优化目标：

实施例2

作为本发明的第二种实施例，与实施例1相比，本实施例对生成器G进行优化，如图2所示，步骤S12中建立生成器G后还需要对生成器G进行优化，生成器G优化过程包括 以下步骤：

S21、抽取样本：从未标注标准力线的下肢影像数据中抽取多个噪声样本；

S22、更新迭代生成器参数：通过梯度下降法，更新迭代生成器参数，以使得极大化。

本实施例中，生成器G优化过程具体如下：从未标注标准力线的下肢影像数据中抽取 m个噪声样本{z¹，z²，...z^m}，通过梯度下降法，更新迭代生成器参数以 使得极大化，该过程在一次优化循环迭代中重复一次，可以避 免更新太多使得JS散度上升。

具体的，梯度下降法，通常也叫最速下降法，基于这样一个事实：如果实值函数f(x) 在点x处可微且有定义，那么函数f(x)在x点沿着负梯度(梯度的反方向)下降最快

假设x是一个向量，考虑f(x)的泰勒展开式：

其中

Δx_k＝x_k+1-x_k＝α_kd_k(α_k为步长标量；d_k是方向向量)

如果想要函数值下降，则要

如果想要下降的最快，则需要取最小值，即也 就是说，此时x的变化方向跟梯度的方向相反，梯度法迭代公式为：

值得说明的是，梯度下降法的步骤如下：

Step1、给定初始点x₀，迭代精度ε＞0，k＝0；

Step2、计算如果停止，否则，计算搜索方向

Step3、计算最优步长α_k＝arg min f(x_k+αd_k)。

实施例3

作为本发明的第三种实施例，与实施例1相比，本实施例对判别器D进行优化，如图3所示，步骤S14中建立判别器D后还需要对判别器D进行优化，判别器D优化过程包括 以下步骤：

S31、抽取样本：从标注有标准力线的下肢影像数据中抽取多个样本，同时从未标注 标准力线的下肢影像数据中抽取多个噪声样本；

S32、送至生成器：将步骤S31中抽取的样本送至生成器G，并生成数据；

S33、更新迭代判别器：通过梯度上升法更新迭代判别器D的参数，以使得极大化。

本实施例中，判别器D优化过程具体如下：从标注有标准力线的下肢影像数据中抽取m个样本，同时从未标注标准力线的下肢影像数据中抽取m个噪声样本送入生成器G而生 成数据通过梯度上升法更新迭代判别器D的参数 以使得极大化，该过程在一次优 化循环迭代中会重复n次，确保最大化价值函数。

进一步的，梯度上升法其基本原理与下降法一致，区别在于：梯度上升法是求函数的 局部最大值，因此，算法的迭代过程是一个“上坡”的过程，每一步选择坡度变化率最大的方向往上走，这个方向就是函数在这一点梯度方向，最后随着迭代的进行，梯度还是不断减小，最后趋近与零，其公式如下：

以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员 应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的仅为本发明的优 选例，并不用来限制本发明，在不脱离本发明精神和范围的前提下，本发明还会有各种变 化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附 的权利要求书及其等效物界定。

Claims (5)

1.利用生成对抗网络模型的下肢力线智能标定确认方法，其特征在于：包括以下步骤：

S11、采集数据：采集大量标注有标准力线的下肢影像以及未标注标准下肢力线的下肢影像数据；

S12、建立生成器：将未标注下肢力线的影像数据输入生成器G；

S13、映射样本：采用多层感知机的网络结构，用MLP的参数来表示可导映射G(z)，将输入空间映射到样本空间；

S14、建立判别器：将标注有标准力线的下肢影像和生成器G映射的样本G(z)输入判别器D；

S15、输出结果：采用“Sigmoid函数”变换以“0”和“1”表示判别器D的最终判别结果。

2.根据权利要求1所述的利用生成对抗网络模型的下肢力线智能标定确认方法，其特征在于：步骤S12中建立生成器G后还需要对生成器G进行优化。

3.根据权利要求2所述的利用生成对抗网络模型的下肢力线智能标定确认方法，其特征在于：所述生成器G优化过程包括以下步骤：

S21、抽取样本：从未标注标准力线的下肢影像数据中抽取多个噪声样本；

S22、更新迭代生成器参数：通过梯度下降法，更新迭代生成器参数，以使得极大化。

4.根据权利要求1所述的利用生成对抗网络模型的下肢力线智能标定确认方法，其特征在于：步骤S14中建立判别器D后还需要对判别器D进行优化。

5.根据权利要求4所述的利用生成对抗网络模型的下肢力线智能标定确认方法，其特征在于：所述判别器D优化过程包括以下步骤：

S31、抽取样本：从标注有标准力线的下肢影像数据中抽取多个样本，同时从未标注标准力线的下肢影像数据中抽取多个噪声样本；

S32、送至生成器：将步骤S31中抽取的样本送至生成器G，并生成数据；

S33、更新迭代判别器：通过梯度上升法更新迭代判别器D的参数，以使得极大化。