CN112037200A - 一种医学影像中解剖特征自动识别与模型重建方法 - Google Patents

Abstract

本发明涉及医学影像智能分析技术领域，提供了一种医学影像中解剖特征自动识别与模型重建方法,包括：S1：将二维影像输入分割网络进行预测，输出二维影像对应的预测结果图；S2：对预测结果图中分割出的每一个解剖结构进行形态分析，提取关键点的位置和轮廓线；S3：读取轮廓线，与形状模型进行对比，当形状模型模拟出的投影轮廓与轮廓线相近时，当前形状模型即为对真实的解剖结构的重建；S4：使用至少两张不同视角上的二维影像，执行上述步骤S1‑S3，即可以重建出解剖结构的三维模型。上述技术方案能够自动识别二维影像的解剖特征点和轮廓线，并能够通过至少两张不同视角上的二维影像，重建出最佳的三维模型。

Description

一种医学影像中解剖特征自动识别与模型重建方法

技术领域

本发明涉及医学影像智能分析技术领域，尤其涉及一种医学影像中解剖特征自动识别与模型重建方法。

背景技术

包括高精度的X-ray影像在内的二维影像是临床诊断和科学研究中非常重要的影像参考依据。借助于正位二维影像，医生通过手动圈选一些解剖关键点和轮廓线，可以定量的计算一些关节角度，关节距离，执行对齐分析，从而为假体置换手术提供术前规划，为术后评估效果提供数值依据。但是，在图像上大量手动标记关键点和线，对医生来说是极大的负担，基于手动标记的结果的计算，也非常耗时耗力，容易出错。若能设计一种算法实现上述过程的自动化，将大大的减少医生的负担。

如图1所示，在现有技术中对二维影像进行分割，一般包括两个步骤关键点检测和形状约束。输入一幅图像后，首先检测出轮廓线上预定的一些关键点位置，然后我们将检测出的关键点作为形状模型的约束因子，用统计形状模型预测出轮廓线的位置和形状。这样的策略是一种级联结构，最主要的问题是前一步的输出会影响第二步的结果，即第一步的关键点预测如果稍有偏差，那么最后输出的形状将会有较大的误差。

进一步地，由于二维影像是单一方向的影像，会压缩投影方向的深度信息，因此二维影像必然存在信息丢失的问题，基于二维影像的测算结果也只是三维空间真实信息的简化。但是，医生还是非常愿意了解真实的三维空间下，关节间的角度距离关系，或是关节轮廓线曲率与重力线的关系。在现有的处理方法中，若需要获取到相对精准的三维影像，需要对患者进行CT扫描，但是，CT机比较庞大，不适用于手术室等场合，且拍摄一次CT影像的放射量巨大，不适用于类似于手术中的需要多次扫描的应用场景，若能够通过二维影像直接重建出三维影像，将给医生带来极大的便利性。

事实上，在二维平面识别关键点和轮廓线与三维重建问题联系非常紧密，正确识别的轮廓线和关键点是一个好的三维重建算法的重要输入，所以如果能开发一套计算机算法，能够自动的识别关键点和轮廓线，并以此为基础重建三维模型，完全不需要用户的介入，那么其将在临床上具有重大的价值。但是现在的主要问题有：

(1)主流的算法研究往往集中于二维平面识别关键点与三维重建两个问题中的一个，并未探究联立情况下，最终重建模型的效果。

(2)一些算法研究使用体膜的影像数据，这类影像比真实骨骼更少受到噪声影像，更加干净清晰，处理起来更加简单，但是影像本身的失真性决定了算法的局限。

(3)大部分算法研究均是针对于单一骨头进行特征识别与重建，泛用性和覆盖性不足。

发明内容

针对上述问题，本发明的目的在于提供一种医学影像中解剖特征自动识别与模型重建的方法，能够自动识别二维影像上的解剖特征点和轮廓线，并能够通过至少两张不同视角上的二维影像，重建出最佳的三维模型。尤其适合于在骨科的临床研究中占比比较高的下肢的识别与三维重建，能够完美覆盖下肢的股骨、胫骨、腓骨，具有较强的临床实用性。

本发明的上述发明目的是通过以下技术方案得以实现的：

一种医学影像中解剖特征自动识别与模型重建方法，包括以下步骤：

S1：将待分割的二维影像输入分割网络进行预测，事先约定所要识别的解剖结构种类，对输入的所述二维影像的每一个像素作分类预测，形成预测结果图，其中，所述分割网络为预先收集大量的所述二维影像并进行像素级标注后进行神经网络训练后得到的；

S2：对所述预测结果图中分割出的每一个解剖结构进行形态分析，使用图像处理算法提取出解剖结构中关键点的位置，并提取出解剖结构的边界像素作为解剖结构的轮廓线；

S3：读取所述轮廓线，与使用不同权重因子生成的多组形状模型进行对比，当所述形状模型模拟出的投影轮廓与所述轮廓线相近时，当前所述形状模型即为对真实的解剖结构的重建，其中，所述形状模型的生成需要依赖于一个基于CT人工重建的模型数据库；

S4：使用至少两张不同视角上的所述二维影像，执行上述步骤S1-S3，即可以重建出解剖结构的三维模型。

进一步地，在步骤S1中，所述分割网络为预先收集大量的所述二维影像并进行像素级标注后进行神经网络训练后得到的，具体的训练过程为：

针对于所述二维影像中不同的解剖结构设置不同的标签；

使用像素标注工具，根据不同的解剖结构，为收集到的每一张二维影像中的每个像素打上不同的标签，并对每一种不同的标签以不同颜色的图层覆盖在像素上，形成以不同的颜色来表示每一个像素所属的解剖结构种类的二维标注图像；

对所述二维标注图像的数据集进行归类，并以此划分训练集和验证集，所述训练集用于训练神经网络，形成所述分割网络，所述验证集用于训练网络面对未知数据的表现。

进一步地，对所述二维标注图像的数据集进行归类，具体为：

检查所述二维标注图像的图像质量，根据图像的清晰度分为包括清晰、一般、模糊在内的多种类型，将每一张所述二维标注图像进行归类；

对于每一种清晰度的所述二维标注图像，随机抽取部分图像加入所述训练集，剩余的加入验证集；

使用所述训练集中的所述二维标注图像进行训练，生成所述分割网络；

使用所述验证集中的所述二维标注图像对所述分割网络进行验证。

进一步地，在步骤S1中，还包括对所述预测结果图进行处理，具体为：

对所述预测结果图进行去噪处理，对除了背景类之外的所有的解剖结构种类，对所有被归类为此类别的像素进行连通性分析，若分析出多个连通区域，寻找并保留最大的连通区域，去除其他的连通区域；

对连通区域使用形态学运算去除小的锯齿点，作为最终的所述预测结果图。

进一步地，在步骤S3中，所述形状模型具体的生成过程为：

针对于收集到的每一个三维影像，重建出每一种解剖结构的结构模型，形成每一种解剖结构特有的结构模型数据库；

对每一个结构模型按照标准采样模型进行重采样，使得不同人重建的结构模型能归一化到一标准形状模型；

将每一个结构模型的所有节点的坐标组成一用于描述结构模型的节点向量，对每一个解剖结构对应的所有的结构模型的节点向量构建协方差矩阵，并计算所述协方差矩阵的特征值和特征向量；

使用每一个解剖结构的所有的结构模型计算得到的平均模型与特征值和特征向量，使用不同的权重因子生成所述形状模型。

进一步地，对每一个结构模型按照标准采样模型进行重采样，具体的步骤为：

对结构模型的每一部分使用半球拟合的形式进行重采样，从半球拟合的球心发出射线与对应部分的表面面片进行相交，相交的交点即为一个重采样节点。

进一步地，将每一个结构模型的所有节点的坐标组成一用于描述结构模型的节点向量，对每一个解剖结构对应的所有的结构模型的节点向量构建协方差矩阵，并计算所述协方差矩阵的特征值和特征向量，具体为：

将每一个结构模型的所有节点坐标组成一(3*n,1)维的向量；

对每一个解剖结构对应的所有的结构模型的节点向量构建所述协方差矩阵：

其中，p为解剖结构对应的结构模型的数量，n为每一个结构模型的节点数量，S_i为一个结构模型的向量表达，

为所有的结构模型的所述平均模型；

对所述协方差矩阵计算特征值和特征向量可得：

其中，λ是特征值，由大到小排列；P为特征向量，s为使用的特征值与特征向量的个数。

进一步地，使用每一个解剖结构的所有的结构模型计算得到的平均模型与特征值和特征向量，使用不同的权重因子生成所述形状模型，具体为：

其中，a_j为生成所述形状模型的权重因子。

进一步地，在步骤S3中，读取所述轮廓线，与使用不同权重因子生成的多组所述形状模型进行对比，当所述形状模型模拟出的投影轮廓与所述轮廓线相近时，当前所述形状模型即为对真实的解剖结构的重建，具体为：

读取所述轮廓线；

从原始的所述二维影像中读取摄影时的环境参数；

在所述环境参数对应的摄影环境下，使用所述形状模型模拟出投影轮廓；

使用模拟出的投影轮廓与实际图像分割出的所述轮廓线进行对比，当投影轮廓与所述轮廓线接近时，当前所述形状模型即为对真实的解剖结构的重建，优化过程用公式表示如下：

其中，L1为模拟出来的投影轮廓，L2为从实际图像中分割出的所述轮廓线，当F接近0时，当前所述形状模型即为对真实的解剖结构的重建。

进一步地，当重建解剖结构的三维模型时，优化过程的公式表示如下：

其中，k表示第几个视角，n为视角的个数，当F接近0时，当前所述形状模型即为对真实的解剖结构的重建。

与现有技术相比，本发明包括以下至少一种有益效果是：

(1)通过将待分割的二维影像输入分割网络进行预测，事先约定所要识别的解剖结构种类，对输入的所述二维影像的每一个像素作分类预测，形成预测结果图，进一步地，通过对预测结果图中分割出的每一个解剖结构进行形态分析，提取出解剖结构中的关键点和轮廓线。上述技术方案实现了对二维影像的自动识别，能够自动的获取到关键点和轮廓线，节约了医生的时间，减少了医生的负担，并且计算结果更加的准确，给医生留下更多的时间去完成更重要的工作。对于在包括手术等时间很宝贵的应用场景下，拍完二维影像后，通过计算机的自动识别，即可在很短的时间内看到关键点和轮廓线，为救治病人赢得了宝贵的时间。

(2)基于(1)中描述的技术方案，摆脱了现有技术中对二维影像进行分割，一般通过关键点检测和形状约束两个步骤进行，前一步的输出结果会影响第二步的结果，第一步的关键点预测如果稍有偏差，那么输出的形状将会有较大的误差的技术问题。本发明中的技术方案，首先，通过对每一个解剖结构进行打标签的形式获取到包含不同标签的预测结果图，进而对通过标签区分出的每一个解剖结构进行形态分析，获取关键点和轮廓线。关键点和轮廓线的获取可以同时独立的进行，两个步骤之间不会相互影响，确保了获取到的关键点和轮廓线的准确性，同时，获取到准确的关键点和轮廓线，为后续的三维模型的重建提供了重要的输入。

(3)通过建立形状模型，与二维影像中提取出来的轮廓线进行对比，当某一组形状模型模拟出来的投影轮廓与轮廓线相近时，即可以认为当前形状模型为对真实的解剖结构的重建。进一步地，使用至少两张不同视角上的二维影像，即可以重建出解剖结构的三维模型。上述技术方案，通过使用至少两张不同视角上的二维影像，即可以通过算法快速的重建出三维模型，在临床应用上将具有重大的意义。比如说：当需要获取三维影像时，现有的处理方法，一般是通过对患者进行CT扫描，但是，CT机体积比较庞大，需要一个专用的CT房用于进行CT扫描，在进行扫描时，无法进行其他操作，不适用于手术室的场景。同时，人体做一次CT扫描，所接收到的放射量是巨大的，若扫描太过频繁将会给人体带来伤害。对于上述问题，通过本发明的三维重建方法，只需要扫描至少两张二维影像，即可以重建出三维模型，能够应用于手术、门诊等场景中。

附图说明

图1为现有技术中对二维影像进行分割的步骤图；

图2为本发明一种医学影像中解剖特征自动识别与模型重建方法整体流程图；

图3为本发明对关键点标记中对骨盆坐骨结节点标记的举例的示意图；

图4为本发明对关键点标记中对股骨大转子节点标记的举例的示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。

对于二维影像，医生一般都是通过手动在图像上标记关键点和线，耗时耗力，容易出错。现有技术中对二维影像进行分割，一般是通过关键点检测和形状约束两个步骤进行，前一步的输出结果会影响第二步的结果，第一步的关键点预测如果稍有偏差，那么输出的形状将会有较大的误差的技术问题。进一步地，现有技术中，需要获取三维影像，需要通过CT扫描获取，CT机体积庞大，且放射量巨大，不能频繁的去进行扫描。

基于以上应用场景和技术问题，本发明的核心思路为：提供一种医学影像中解剖特征自动识别与模型重建的方法，对待分割的二维影像通过预先构建的分割网络进行识别，分割网络自动输出预测结果图，对于预测结果图中分割出来的每一个解剖结构，提取关键点和轮廓线。建立形状模型，与二维影像中提取出来的轮廓线进行对比，实现对真实解剖结构的重建。进一步地，通过不同视角上的至少两张二维影像即可以重建出三维模型。

本发明的显著特点是：(1)无需通过现有技术中的关键点和形状约束两个步骤对二维影像进行分割，对于通过分割网络输出的预测结果图，可同时提取关键点和轮廓线。(2)通过不同视角上的至少两张二维影像，即可以实现对三维空间的重建。

第一实施例

如图2所示，本实施例提供了一种医学影像中解剖特征自动识别与模型重建方法，包括以下步骤：

S1：将待分割的二维影像输入分割网络进行预测，事先约定所要识别的解剖结构种类，对输入的所述二维影像的每一个像素作分类预测，形成预测结果图，，其中，所述分割网络为预先收集大量的所述二维影像并进行像素级标注后进行神经网络训练后得到的。

一、关于对待分割的二维影像输入分割网络进行预测并标记

具体地，在本实施例中，步骤S1的目的在于对二维影像中的每一种不同种类的解剖结构使用不同的标签进行预测并标记，使得在处理后的预测结果图上能够一目了然的对每一种解剖结构进行区分。其中，在二维影像中每一块骨头、每一个软组织结构都是一个解剖结构，都需要使用不同的标签进行区分，甚至是去除掉骨头和软组织的空区，也需要使用一个单独的不同的标签进行区分。

需要说明的是，本步骤的目的在于对解剖结构进行区分，本实施例中提到的标签只是一种优选的方案，一切能够将二维影像中解剖结构进行区分开的方案均属于本发明的保护范围。对于用于标记的标签，对于标签的表现形式本发明也不做限制，可以是使用不同的颜色、相同颜色不同的灰度、不同的符号等对不同的标签进行区分，本发明不进行赘述。优选地，在临床应用中，由于颜色在二维影像中区分比较明显，可以使用不同颜色来对应于不同的标签。

对于标签，在对二维影像中的解剖结构进行标注时，由于像素是图像中的最小单元，可以对每一个像素进行标注，判断当前像素所属的解剖结构，获取对应的标签进行标注，并使用不同的标签的表现形式覆盖在像素上。由于每一个解剖结构的像素点都集中在一起，当对二维影像标注完成以后，在预测结果图上，通过不同标签的表现形式，将很容易区分出每一个解剖结构。

进一步地，还可以使用包括整数，字母等形式对像素进行标记，并通过标记与实际使用的标签形成对应关系，使用一个单独的文件或者是数据库中的一张表格进行存储，方便查询和结果的展示。

对于标签的标注方法，可以使用像素标注工具，为二维影像中每个像素所述的类别打上不同的标签来进行。对于像素标注工具，本发明不做任何限制，任何能进行像素标记的现有的以及后续开发的工具都可以应用于本发明。举个例子来说，可以使用matlab的imageLabeler app内置的像素标注工具来对像素进行标注。

二、关于分割网络的训练

进一步地，如何正确的判断出每一个像素的类别，为每一个像素打上正确的标签，本发明通过训练分割网络来实现。当将待分割的二维影像输入训练后的分割网络中，通过训练后的分割网络中的数据，即可以对待分割的二维影像中的每一个像素的类别进行准确的区分，分割网络具体的训练步骤为：

S11：使用上文中提到的标签的设定方式，针对于所述二维影像中不同的解剖结构设置不同的标签。

S12：使用像素标注工具，根据不同的解剖结构，为收集到的每一张二维影像中的每个像素打上不同的标签，并对每一种不同的标签以不同颜色的图层覆盖在像素上，形成以不同的颜色来表示每一个像素所属的解剖结构种类的二维标注图像。

具体地，对于人体的待分割部位的二维影像，尽可能多的收集若干张现有的与待分割相同部位的相同的二维影像，对收集到的每一张二维影像进行标记分析。

S13：对所述二维标注图像的数据集进行归类，并以此划分训练集合验证集，所述训练集用于训练神经网络，形成所述分割网络，所述验证集用于训练网络面对未知数据的表现。

(1)关于对所述二维标注图像的数据集进行归类，具体为：

检查所述二维标注图像的图像质量，根据图像的清晰度分为包括清晰、一般、模糊在内的多种类型，将每一张所述二维标注图像进行归类；对于每一种清晰度的所述二维标注图像，获随机抽取部分图像加入所述训练集，剩余的加入验证集；使用所述训练集中的所述二维标注图像进行训练，生成所述分割网络；使用所述验证集中的所述二维标注图像对所述分割网络进行验证。

根据已经进行的实验，对于每一种清晰度的所述二维标注图像，选取60％的图像加入训练集，剩余的加入验证集，训练出的分割网络最佳。当然，60％的数值只是一种最佳方案，实际应用中可以根据自己的选择，选取不同比例的图像加入训练集，剩余的加入验证集，本发明不做任何限制。

这样归类的目的在于，将收集到的二维影像进行合理的划分，一部分用于训练，一部分用于验证，确保最终形成的分割网络的准确性。

(2)关于对分割网络进行训练的过程

对于步骤S13，还包含了对分割网络进行训练的过程，一般的通过神经网络对分割网络进行训练，当然本发明也不局限于神经网络的训练方式，一切能够对大量现有数据进行训练实现本发明训练目的的方式均可应用于本发明。

对于通过神经网络训练分割网络，其方法本发明也不做限制。举个例子来说，可以搭建Unet和deeplabV3混合神经网络，使用diceLoss和activeContourLoss混合损失函数，使用adam优化器训练此分割网络，并使用early stopping(早停)策略决定何时停止训练。

进一步地，每一次的在使用分割网络对待分割的二维影像进行分割的过程，既是对二维影像进行分割，同时也是在对分割网络进行不断完整的过程，随着分割网络中，用于训练的二维影像的不断增多，后续分割的过程，将会越来越准确。

当需要分割新的二维影像时，输入分割网络，分割网络即可以输出一个对应的预测结果图。

S2：对所述预测结果图中分割出的每一个解剖结构进行形态分析，使用图像处理算法提取出解剖结构中关键点的位置，并提取出解剖结构的边界像素作为解剖结构的轮廓线。

具体地，对于通过步骤S1预测出的预测结果图，可以分别提取关键点和轮廓线，省去了医生手动标注的麻烦，同时为后续的三维模型的重建提供了重要输入。

一、提取关键点

对于分割出的每一个解剖结构，位置一般是相对固定的，通过基础的图像处理方法即可以进一步提取出关键点的位置。

举个例子来说，当使用不同颜色来作为标签时，每一个解剖结构的分割结果是一个二值图像，使用Hough圆检测，即可以提取出关键点的位置。

进一步地，关键点的位置不是固定的，对应不同的场景、不同的解剖结构将标记不同的关键点。

以下列举两个对关键点标记的举例：

1、骨盆坐骨结节点

如图3所示，骨盆坐骨结节点在正位图上表现为骨盆的最下端点，且具有凸角点性质。对骨盆二值图像采用凸角点检测并筛选y坐标最大的角点即可定位此标记点。

2、股骨大转子

如图4所示，股骨大转子表现为股骨最外侧的角点，对左右两侧的股骨二值图像进行凸角点检测，并筛选最外侧的结果，即可定位此标记点。

二、提取轮廓线

通过提取每一个解剖结构的代表投影边界的边界像素，形成每一个解剖结构的轮廓线，能够帮助后续三维模型的重建。

举个例子来说，同样以使用不同颜色来作为标签来举例，在不同颜色标记的标签的背景下，每一个解剖结构都是一个二值图像，通过摩尔邻居追踪算法进行追踪，即可以获取到指定解剖结构的轮廓线。

S3：读取所述轮廓线，与使用不同权重因子生成的多组形状模型进行对比，当所述形状模型模拟出的投影轮廓与所述轮廓线相近时，当前所述形状模型即为对真实的解剖结构的重建，其中，所述形状模型的生成需要依赖于一个基于CT人工重建的模型数据库。

一、训练形状模型

在对三维模型进行重建之前，需要预先训练出形状模型，具体为：

S311：针对于收集到的每一个三维影像，重建出每一种解剖结构的结构模型，形成每一种解剖结构特有的结构模型数据库。

首先，需要收集大量的与待重建的三维影像属于人体同一部位的三维影像。三维影像可以是包括CT等在内的任何一种形式，本发明不做任何限制。

其次，当需要对一个视角上的二维影像的解剖结构进行重建时，对于预先收集到的大量的三维影像，建立与需要重建的二维影像在同一个视角上的结构模型的数据库。并且可以使用包括Iterative Closest Point(迭代最近点)将数据库中的所有的形状模型迭代在一起。

S312：对每一个解剖结构的结构模型按照标准采样模型进行重采样，使得不同人重建的结构模型能归一化到一标准形状模型；

具体地，对于每一个解剖结构对应的从预先收集的三维影像中获取到的所有的结构模型进行重采样，对于每一个结构模型都采集出尽量多的均分分布的节点。对于均匀分布的节点需要确保同一种解剖结构对应的不同的结构模型上的同一节点都在相似的位置上。这样才能确保不同的解剖结构的重采样点的位置具有相似性。

为了确保同一种解剖结构对应的不同的结构模型上的同一节点都在相似的位置上，本发明的具体方法为：

对结构模型的每一部分使用半球拟合的形式进行重采样，从半球拟合的球心发出射线与对应部分的表面面片进行相交，相交的交点即为一个重采样节点。需要说明的是，半球拟合只是本发明的一种优选的方法，还可以有很多其他的获取节点的方法，本发明不再一一赘述。

举个例子来说，以重采样股骨远端为例，将股骨远端分为内侧踝、外侧踝和骨干部分。对于每一部分均使用半球来拟合。从半球拟合球心发出射线求与对应部分的表面面片的交点作为一个重采样点。

S313：将每一个结构模型的所有节点的坐标组成一用于描述结构模型的节点向量，对每一个解剖结构对应的所有的结构模型的节点向量构建协方差矩阵，并计算所述协方差矩阵的特征值和特征向量。

具体地，通过步骤S32中的重采样，每一个结构模型都形成了用固定数量的节点表示的模型。进一步地，将所有的节点都组成一个节点向量，使用节点向量即可以表示出整个结构模型。

进而，对所有的节点向量构建协方差矩阵，并计算协方差矩阵的特征值和特征向量，具体为：

将每一个结构模型的所有节点坐标组成一(3*n,1)维的向量；

对每一个解剖结构对应的所有的结构模型的节点向量构建所述协方差矩阵：

其中，p为解剖结构对应的结构模型的数量，n为每一个结构模型的节点数量，S_i为一个结构模型的向量表达，

为所有的结构模型的所述平均模型；

对所述协方差矩阵计算特征值和特征向量可得：

其中，λ是特征值，由大到小排列；P为特征向量，s为使用的特征值与特征向量的个数。

S314：使用每一个解剖结构的所有的结构模型计算得到的平均模型与特征值和特征向量，使用不同的权重因子生成所述形状模型，具体为：

其中，a_j为生成所述形状模型的权重因子，通过不同的权重因子生成不同的形状模型，具体为：

首先为每一个权重因子选择所取的正负值范围(一般为对应特征向量方向上

标准差)，随机选择范围内的某一个值，将s个权重因子代入S314中公式可计算得此权重因子组合下的形状模型向量，对此长向量每三个坐标一组提取对应节点的坐标值，可整理出一个点云。将点云重新划分三角网格，即可生成形状模型。

二、模型重建

读取所述轮廓线，与使用不同权重因子生成的多组所述形状模型进行对比，当所述形状模型模拟出的投影轮廓与所述轮廓线相近时，当前所述形状模型即为对真实的解剖结构的重建，具体为：

S321：读取步骤S2中提取出的所述轮廓线。

S322：从原始的所述二维影像中读取摄影时的环境参数。

具体地，为了使得模型出的投影更加的准确，需要在二维影像当时的摄影环境下进行模拟。

S323：在所述环境参数对应的摄影环境下，使用所述形状模型模拟出投影轮廓。

S324：使用模拟出的投影轮廓与实际图像分割出的所述轮廓线进行对比，当投影轮廓与所述轮廓线接近时，当前所述形状模型即为对真实的解剖结构的重建，优化过程用公式表示如下：

其中，L1为模拟出来的投影轮廓，L2为从实际图像中分割出的所述轮廓线，当F接近0时，当前所述形状模型即为对真实的解剖结构的重建。

S4：使用至少两张不同视角上的所述二维影像，执行上述步骤S1-S3，即可以重建出解剖结构的三维模型。

具体地，由于两个不同视角上的二维影像一般的可以涵盖住整个空间的结构。当需要通过二维影像构建三维模型时，需要选取不同视角的上的至少两张二维影像，分别执行上述步骤，即可以模拟出一个三维模型。

优选地，可以选取一张正面的二维影像，与一张侧面的二维影像，通过正面和侧面的两张二维影像即可以构建出三维模型。

当重建解剖结构的三维模型时，优化过程的公式表示如下：

其中，k表示第几个视角，n为视角的个数，当F接近0时，当前所述形状模型即为对真实的解剖结构的重建。

第二实施例

本实施例与第一实施例的步骤基本相同，不同点在于，在步骤S1中，还包括对所述预测结果图进行处理，具体为：

一、去躁

对所述预测结果图进行去噪处理，对除了背景类之外的所有的解剖结构种类，对所有被归类为此类别的像素进行连通性分析，若分析出多个连通区域，寻找并保留最大的连通区域，去除其他的连通区域。

具体地，对于每一种标签对应的像素，寻找到一个最大的连通区域，删除其他的连通区域，最大的连通区域即为每一种标签，对应标注的一个解剖结构。

二、去除锯齿点

对连通区域使用形态学运算去除小的锯齿点，作为最终的所述预测结果图。

基于去躁后的预测结果图，进一步的使用形态学越算将小的锯齿点去除掉，通过两个步骤处理后的预测结果图将具有较好的准确度和清晰度。

第三实施例

本实施例结合第一实施例与第二实施例中的方法，以在骨科的临床研究中占比比较高的下肢为例，通过一个具体的实例来解释本发明的发明内容。

一、分割网络的训练

(1)收集90张下肢全长片Dicom图像，匿名化后转成16位png格式。

其中，Dicom图像为质量能满足临床需要的可用于数据交换的医学图像格式，且使用Dicom图像以及转化成png格式进行处理，均是为了对图像处理更加的方便，不用于对本发明进行限制。同时本实施例中收集90张下肢全长片，也仅是一种具体的举例，实际应用中不一定是90。本实施例中提到的任何一个数字，均是一种举例，用于对本发明的发明点进行说明，不用于限制本发明，本实施例中不再赘述。

(2)将收集到的90张png图导入matlab的imageLabeler app中，使用app内置的像素标注工具为图中每个像素所属类别打上标签。在app的可视化界面上，不同标签将以不同颜色的图层覆盖在像素上。下肢全长片共设置10种的标签：右髋，左髋，右股骨，左股骨，右胫骨，左胫骨，右腓骨，左腓骨，软组织和空区。标注结果将会以png图保存，此结果png图和原本的图像png拥有相同的大小。标注结果png图中每一个像素值都是1到10的某个整数，代表原图对应位置的像素所属的类别。整数与实际标签的对应关系会存在一个单独的文件中，方便查询和结果的展示。

(3)检查90张图像的图像质量，根据清晰程度分为清晰，一般，模糊三类，将每张图像分别归类到某一类中。从每一类中抽60％的图像加入训练集，剩余40％加入验证集。

(4)搭建Unet和deeplabV3+混合神经网络，使用diceLoss和activeContourLoss混合损失函数，使用adam优化器训练此分割网络，使用early stopping(早停)策略决定何时停止训练。网络输入是756*2268。

具体的细化步骤举例如下(仅为举例，本发明不做限制)：

1、从Matlab深度学习库下载deeplabV3+预训练网络，预训练网络使用resnet18作为主干网络，下采样为16。

2、将预训练网络input层的大小改为(756，2268)。

原始与预训练网络的上采样部分网络采用两次上采样，每次上采样4倍。剔除原始上采样部分，替换为Unet的4次上采样，每次上采样为2倍。

3、Dice Loss是基于Sorensen-Dice相似系数，并用以度量两个分割结果的重合度的。度量输出分割结果Y和真实分割结果T的损失函数L的公式为：

其中K是种类的数量，M是图片的像素数量，w_k是种类的权重因子，用来控制不同种类对损失函数的贡献。通常w_k是与种类所占面积成反比，即

4、将真实的分割和预测分割分别记为v,u∈[0,1]^m*n,Active Contour Loss可以写为：

L_AC＝Length+λ·Region

其中：

Region＝∫_Ω((c₁-v)²-(c₂-v)²)udx

写成像素形式为：

其中c₁一般取1，c₂一般取0。

5、混合损失函数L＝L_DC+αL_AC，其中α是平衡两个损失的系数，一般取1。

6、Adam是自适应优化算法中最为常用的，其迭代公式为：

其中：

L是迭代次数，β₁是梯度衰减因子，β₂是平方梯度衰减因子。

7、Early stopping(早停)：监控验证集的误差，当验证集误差连续上涨若干迭代次数(iterations)或轮数(epochs)时，停止训练，防止数据过拟合，并返回验证集误差最低时的参数。实际选择阈值为10个epochs。

二、二维影像分割

(5)当需要分割新二维影像对应的图像时，首先把图像放缩至756*2268的大小。输入分割网络后，网络会输出一个相同尺寸的预测结果图，每一个像素是1-10的某一个数字，代表网络对此像素所属类别的预测。预测结果会存在一些噪声，需要使用图像处理算法对结果后处理。方法是：对每一个像素类别，对结果图进行联通性分析，寻找最大的一个联通区域，其余的联通区域认为是噪声。保留最大联通区域。对此联通区域使用形态学开运算去除一些小的锯齿点。预测结果经后处理后，再缩放至原始输入图像尺寸，作为最终的预测结果。

(6)对(5)的分割结果，对每一块骨头的分割结果进一步做形态分析。每一块骨头的分割结果是一个二值图像，基于相对固定的骨形状，使用基础的图像处理算法如Hough圆检测，可以进一步提取关键点的位置。

(7)对(5)的分割结果，对每一块骨头的分割结果，使用Moore-Neighbor tracingalgorithm(摩尔邻居追踪算法)，提取出二值图像的边界像素。这些像素代表了骨头投影的边界，能够指导后续形状模型的生成。

三、训练形状模型

(8)收集150名下肢CT，使用Mimics重建出髋骨，股骨，胫骨和腓骨的形状模型。每一种骨头的150个形状模型对应那一侧的形状模型数据库。

(9)考虑一种骨头的单侧形状模型数据库。使用Iterative Closest Point将150个骨头对齐到一起。

(10)对每一个骨头模型进行重采样，使得每一个模型均采样出4000个均匀分布的节点，且不同模型间同一节点处在相似位置，方法如下：

以重采样股骨远端为例，将股骨远端分为内侧髁，外侧髁和骨干部分。对每一部分均使用半球来拟合。从半球拟合球心发出射线求与对应部分的表面面片的交点作为一个重采样点。这样可以确保不同骨头的重采样点的位置具有相似性。

(11)每一骨头经过S10的方法变换成了固定数量的节点。将所有节点的三坐标放入一向量中，可用一(3*n，1)维的向量来描述一个数据库中的骨头模型。对150个骨头的表示向量构建协方差矩阵：

其中p是数据库中骨头的数量，这里为150，n是每一个骨头模型的节点数量。Si是一个骨头模型的向量表达。

是所有骨头的平均模型。

对协方差矩阵Cov计算特征值和特征向量可得：

其中λ是特征值，由大到小排列。P是特征向量，与特征值对应。

使用平均模型和特征值特征向量，可以组合成新的形状模型：

其中：s是使用的特征向量个数，a_j是用来生成新的形状模型的权重因子。

四、模型重建

S12:读取S7的轮廓结果。从dicom图中读取X-ray摄影时的环境参数。认为当某一组a_j参数生成的形状模型使得其在摄影环境下模拟出来的投影轮廓与实际图像分割出的轮廓接近时，此形状模型就是对真实骨头模型的重建。等同于优化以下问题：

其中L1是模拟出来的投影轮廓，L2是从实际图像中分割出来的轮廓。如果有超过一个视角以上的图像参与重建，则问题变为以下形式：

其中K代表第几个视角。

以上所述仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

Claims (10)

1.一种医学影像中解剖特征自动识别与模型重建方法，其特征在于，包括以下步骤：

S1：将待分割的二维影像输入分割网络进行预测，事先约定所要识别的解剖结构种类，对输入的所述二维影像的每一个像素作分类预测，形成预测结果图，其中，所述分割网络为预先收集大量的所述二维影像并进行像素级标注后进行神经网络训练后得到的；

S2：对所述预测结果图中分割出的每一个解剖结构进行形态分析，使用图像处理算法提取出解剖结构中关键点的位置，并提取出解剖结构的边界像素作为解剖结构的轮廓线；

S3：读取所述轮廓线，与使用不同权重因子生成的多组形状模型进行对比，当所述形状模型模拟出的投影轮廓与所述轮廓线相近时，当前所述形状模型即为对真实的解剖结构的重建，其中，所述形状模型的生成需要依赖于一个基于CT人工重建的模型数据库；

S4：使用至少两张不同视角上的所述二维影像，执行上述步骤S1-S3，即可以重建出解剖结构的三维模型。

2.根据权利要求1所述的医学影像中解剖特征自动识别与模型重建方法，其特征在于，在步骤S1中，所述分割网络为预先收集大量的所述二维影像并进行像素级标注后进行神经网络训练后得到的，具体的训练过程为：

针对于所述二维影像中不同的解剖结构设置不同的标签；

使用像素标注工具，根据不同的解剖结构，为收集到的每一张二维影像中的每个像素打上不同的标签，并对每一种不同的标签以不同颜色的图层覆盖在像素上，形成以不同的颜色来表示每一个像素所属的解剖结构种类的二维标注图像；

对所述二维标注图像的数据集进行归类，并以此划分训练集和验证集，所述训练集用于训练神经网络，形成所述分割网络，所述验证集用于训练网络面对未知数据的表现。

3.根据权利要求2所述的医学影像中解剖特征自动识别与模型重建方法，其特征在于，对所述二维标注图像的数据集进行归类，具体为：

检查所述二维标注图像的图像质量，根据图像的清晰度分为包括清晰、一般、模糊在内的多种类型，将每一张所述二维标注图像进行归类；

对于每一种清晰度的所述二维标注图像，随机抽取部分图像加入所述训练集，剩余的加入验证集；

使用所述训练集中的所述二维标注图像进行训练，生成所述分割网络；

使用所述验证集中的所述二维标注图像对所述分割网络进行验证。

4.根据权利要求1所述的医学影像中解剖特征自动识别与模型重建方法，其特征在于，在步骤S1中，还包括对所述预测结果图进行处理，具体为：

对所述预测结果图进行去噪处理，对除了背景类之外的所有的解剖结构种类，对所有被归类为此类别的像素进行连通性分析，若分析出多个连通区域，寻找并保留最大的连通区域，去除其他的连通区域；

对连通区域使用形态学运算去除小的锯齿点，作为最终的所述预测结果图。

5.根据权利要求1所述的医学影像中解剖特征自动识别与模型重建方法，其特征在于，在步骤S3中，所述形状模型具体的生成过程为：

针对于收集到的每一个三维影像，重建出每一种解剖结构的结构模型，形成每一种解剖结构特有的结构模型数据库；

对每一个结构模型按照标准采样模型进行重采样，使得不同人重建的结构模型能归一化到一标准形状模型；

将每一个结构模型的所有节点的坐标组成一用于描述结构模型的节点向量，对每一个解剖结构对应的所有的结构模型的节点向量构建协方差矩阵，并计算所述协方差矩阵的特征值和特征向量；

使用每一个解剖结构的所有的结构模型计算得到的平均模型与特征值和特征向量，使用不同的权重因子生成所述形状模型。

6.根据权利要求5所述的医学影像中解剖特征自动识别与模型重建方法，其特征在于，对每一个结构模型按照标准采样模型进行重采样，具体的步骤为：

对结构模型的每一部分使用半球拟合的形式进行重采样，从半球拟合的球心发出射线与对应部分的表面面片进行相交，相交的交点即为一个重采样节点。

7.根据权利要求5所述的医学影像中解剖特征自动识别与模型重建方法，其特征在于，将每一个结构模型的所有节点的坐标组成一用于描述结构模型的节点向量，对每一个解剖结构对应的所有的结构模型的节点向量构建协方差矩阵，并计算所述协方差矩阵的特征值和特征向量，具体为：

将每一个结构模型的所有节点坐标组成一(3*n,1)维的向量；

对每一个解剖结构对应的所有的结构模型的节点向量构建所述协方差矩阵：

其中，p为解剖结构对应的结构模型的数量，n为每一个结构模型的节点数量，S_i为一个结构模型的向量表达，

为所有的结构模型的所述平均模型；

对所述协方差矩阵计算特征值和特征向量可得：

其中，λ是特征值，由大到小排列；P为特征向量，s为使用的特征值与特征向量的个数。

8.根据权利要求7所述的医学影像中解剖特征自动识别与模型重建方法，其特征在于，使用每一个解剖结构的所有的结构模型计算得到的平均模型与特征值和特征向量，使用不同的权重因子生成所述形状模型，具体为：

其中，a_j为生成所述形状模型的权重因子。

9.根据权利要求8所述的医学影像中解剖特征自动识别与模型重建方法，其特征在于，在步骤S3中，读取所述轮廓线，与使用不同权重因子生成的多组所述形状模型进行对比，当所述形状模型模拟出的投影轮廓与所述轮廓线相近时，当前所述形状模型即为对真实的解剖结构的重建，具体为：

读取所述轮廓线；

从原始的所述二维影像中读取摄影时的环境参数；

在所述环境参数对应的摄影环境下，使用所述形状模型模拟出投影轮廓；

使用模拟出的投影轮廓与实际图像分割出的所述轮廓线进行对比，当投影轮廓与所述轮廓线接近时，当前所述形状模型即为对真实的解剖结构的重建，优化过程用公式表示如下：

其中，L1为模拟出来的投影轮廓，L2为从实际图像中分割出的所述轮廓线，当F接近0时，当前所述形状模型即为对真实的解剖结构的重建。

10.根据权利要求9所述的医学影像中解剖特征自动识别与模型重建方法，其特征在于，当重建解剖结构的三维模型时，优化过程的公式表示如下：

其中，k表示第几个视角，n为视角的个数，当F接近0时，当前所述形状模型即为对真实的解剖结构的重建。

Images