CN114240844A - 一种医学图像中无监督的关键点定位和目标检测方法 - Google Patents

Abstract

本发明涉及的是一种三维医学图像中无监督的关键点定位与目标检测方法，属于图像检测技术领域。本发明是通过以下技术方案实现的：首先利用一组未标记的图像，训练一个位移网络来预测同一幅三维图像中任意两个子区域的相对偏移量。得到位移网络的训练结果后，针对一幅新图像，该网络以一个初始位置处的子区域与参考图像中关键点处的子区域作为输入，预测该图像中的初始位置到目标位置的偏移量，从而实现关键点的定位。本发明进一步通过将物体边界框的检测任务转化成六个极端点的定位，实现无监督的目标物体检测。本发明能解决现有的医学图像中的目标检测算法需要大量人工标注的问题，有效降低了标注成本，提高了无监督目标检测算法的性能。

Description

一种医学图像中无监督的关键点定位和目标检测方法

技术领域

本发明属于图像分析技术领域。

背景技术

在三维医学图像分析中，关键点的定位和目标检测对于计算机辅助诊断、治疗方案优化有着十分重要的作用。关键点的定位是从图像中准确地找到某个解剖关键点的位置，三维目标检测是从图像中找到该物体的一个边界框，通常可以通过该物体上的多个的关键点进行定位实现。近年来，深度学习通过对大量含标注的医学图像进行学习，可以有效提取包含在医学图像大数据中的知识，得到较高精度的关键点定位和目标检测的结果，为基于医学图像的计算机辅助诊断系统提供了新的方法。

目前的深度学习方法的成功主要依赖于从大量有标注的三维医学图像中进行训练。然而，对三维医学图像的标注十分困难，由于医学图像中对比度低、个体差异较大，普通人难以完成精确的标注，从而需要专业的医生来完成标注。由于专业医生的稀缺，对成千上万幅大规模医学图像的标注具有高昂的时间和人力成本，因此极大地限制了深度学习医学图像处理算法的开发和应用。

为了减少对标注数据的依赖，诸如半监督、弱监督、自监督与无监督的方法愈发吸引人们的关注。半监督方法允许只对一部分图像(如50％的图像)进行标注，可以大大减少标注量，然而对于大规模三维医学图像来说，该方法需要的标注的绝对数量仍然十分庞大。弱监督方法允许标注者对一幅图像只提供图像级别的标签，如一幅图像中是否包含某个物体(如肝脏)，而不用提供该物体的具体位置信息，可大大减少标注成本。然而，不同病人的腹部医学图像中往往都含有肝脏，仅靠图像级别的标签难以获取目标的准确位置，这类方法的精度受到很大限制。自监督方法是一种特殊的半监督方法，该方法在无标注的数据上先通过辅助任务的学习，再通过一部分标注数据，将学习能力迁移到目标任务上。无监督算法在训练阶段无需人工标注，一般通过对训练数据聚类，以找到数据中的分布模式，然而由于监督信号的缺乏，该方法也难以取得满意的性能。

对目前的这些降低医学图像的标注成本的方法进行考察发现，尽管半监督、弱监督方法可以显著减少图像的标注量，但他们的标注量仍然巨大，未完全降低图像的标注成本。而现有的基于聚类的无监督方法在缺少监督的情况下性能受到很大限制，难以用于实际场景。此外，经典的模板匹配方法也是一种标注成本低的方法，该方法通过一个标注的模板，在目标图像中进行遍历搜索，找到与模板最相似的一块区域作为定位、检测结果，虽然该方法简便易行，但遍历操作十分耗时，且性能十分取决于相似性的定义，在医学图像中关键点定位的应用中，也难以取得稳定的效果。为此，需要更有效的方法来实现在不利用图像数据的标注的情况下，得到较高精度的关键点定位的结果。

发明内容

本发明的目的在于克服现有三维医学图像中关键点定位和目标检测算法的不足，针对现有基于深度学习的目标检测方法依赖人工标注的问题，提出一种无监督的高性能关键点定位算法。该方法在训练阶段无需对目标关键点进行任何类型的标注，并且在推理阶段可以通过单个含标注的参考图像来定位其他图像中的目标关键点。本发明提出一种自监督学习任务，在无标注的数据上，通过一个神经网络学习同一幅三维医学图像中任意两个图像块的相对位置。在预测阶段，利用参考图像中所标注的关键点，应用该神经网络预测目标图像中该点的对应的位置。本发明还提出了一种由粗到细的框架，可以通过多次移动定位位置与多次选取初始化位置来进一步提高性能。在关键点定位的基础上，本发明可以进一步定位三维图像中物体在各个坐标轴方向的极端点，从而实现目标物体的检测。

本发明技术方案为一种医学图像中无监督的关键点定位方法，该方法包括：

步骤1：训练数据和参考图像的收集

收集一批包含该目标的三维医学图像，从这些图像中选择一个或多个作为参考图像；

步骤2：位移网络的搭建

设在训练集中的一幅三维图像中，x_q与x_s表示大小为D×H×W的两块子区域，其中x_q称为查询图像块，x_s称为参考图像块，D,H和W分别表示该三维图像块在z,y和x方向上的大小；设x_q与x_s的中心点分别为c_q和c_s，使用一个位移网络来预测从x_q的中心点c_q到x_s的中心c_s在三维空间中的物理位移；c_q到x_s的真实位移

通过图像的层间距e、c_q与c_s在图像中的坐标计算得到：

其中‖·‖₂表示向量的L2范数，

表示向量对应元素相乘；

设位移网络的参数为θ，其预测结果表示为d_qs＝f(θ；x_q,x_s)，该位移网络预测结果的损失函数L_p为：

步骤3：位移网络的训练

对位移网络针对大尺度和小尺度分别训练一个模型，分别用于粗略定位和精细定位，这两个模型分别记为位移网络-L和位移网络-S；

训练位移网络-L的过程如下：将公式3中的参数r设置成一个大于设定阈值的数r＝r₀，例如三维图像中任意两个像素间的最远物理距离；从同一幅训练图像中的整个图像范围内随机抽取两个大小为D×H×W的图像块组成一对图像块，设每次迭代过程的一个批次包含随机提取P对图像块，其中第i对的两个图像块分别表示为x_qi和x_si，该批次的损失函数为：

其中L_p的定义如公式2所示，利用公式4中的损失函数迭代训练，直到损失函数收敛；

针对位移网络-S的训练过程与位移网络-L的训练过程类似，不同的是采用局部范围内的图像块进训练：将公式3中的参数r设置成一个小于设定阈值的数r＝r₁，从同一幅训练图像中的局部范围内随机抽取两个大小为D×H×W的图像块组成一对图像块，具体操作为：先从整个图像范围内随机选择一个D×H×W的图像块作为x_qi，再随机选择一个与x_qi的距离小于r₁的同样大小的图像块作为x_si；在每次迭代过程中的一个批次包含P对这样的图像块，然后利用公式4中的损失函数进行迭代更新，直到损失函数收敛，从而得到训练好的位移网络-S模型；训练后的位移网络-L和位移网络-S的模型参数分别记为θ₀和θ₁；

步骤4：基于位移网络位-L和位移网络-S的关键点定位

对于一幅参考图像中给定的关键点，以该点为中心，取大小为D×H×W的图像块作为参考图像块x′_s；对于一幅新图像，通过位移网络-L和位移网络-S由粗到细逐渐找到该图像中对应的关键点的位置c_q，具体过程如下：

a)从当前的待处理图像中选取一个初始位置c₀，以c₀为中心取一个大小为D×H×W的图像块x_q0作为查询图像块,将x_q0和x′_s作为粗略位移网络位移网络-L的输入，得到其输出位移向量记为d₀＝f(θ₀；x_q0,x′_s),利用c₀和d₀得到一个新的位置c₁＝c₀+d₀；

b)在当前待处理图像中，以c₁为中心取一个大小为D×H×W的图像块x_q1作为查询图像块，仍然以x′_s作为参考图像块，将x_q1和x′_s作为精细位移网络-S的输入，得到其输出位移向量记为d₁＝f(θ₁；x_q1,x′_s),利用c₁和d₁得到一个新的位置c₂＝c₁+d₁；将c₂作为当前图像中关键点的检测结果,即c_q＝c₂。

进一步的，所述位移网络的结构为以下两种方案中的一种：

方案一：位移网络由两个共享权重的分支组成，每个分支都由一个编码器和N个级联的全连接层组成，其中编码器包含M个级联的卷积块，每个卷积块包含一个卷积单元和一个下采样层，最后一个全连接层输出一个长度为3的向量；位移网络中的第一个分支以x_s作为输入，输出记为p_s,第二个分支以x_q作为输入，输出记为p_q，则d_qs的计算方法方式如下：

d_qs＝f(θ；x_q,x_s)＝r·tanh(p_q-p_s) 公式3

其中r是一个预定义的缩放系数；

方案二：位移网络由包含一个编码器和N个级联的全连接层的主干网络组成，其中编码器包含M个级联的卷积块，每个卷积块包含一个卷积单元和一个下采样层；最后一个全连接层输出一个长度为3的向量；将x_q与x_s拼接成一个双通道的图像，结果记为

位移网络以

作为输入，其输出直接作为d_qs。

进一步的，所述步骤4中，当三维图像的尺寸和背景区域的均匀度大于设定的对应阈值时，预测结果会受到初始位置c₀的影响，为获得更稳定的关键点定位结果，则对a-c的步骤重复K次,每次以不同的c₀的值进行关键点定位，从而得到K个定位结果c_q1,c_q2,…,c_qK，取其平均值作为最终的关键点定位结果：

当三维图像的尺寸和背景区域的均匀度小于等于设定的对应阈值时，且目标关键点周围的对比度大于设定阈值，仅使用位移网络-L的预测结果就已经比较准确，直接将c₁作为关键点的定位结果,即c_q＝c₁；

当三维图像的尺寸和背景区域的均匀度小于等于设定的对应阈值时，且目标关键点周围的对比度小于等于设定阈值，使用了位移网络-L和位移网络-S这两步联合的预测结果得到的c₂可能仍然不够精确，则再将c₁赋值成c₂，重复一次b中的预测步骤，得到更精细的结果。

进一步的，所述采用上述关键点定位方法的目标检测方法，采用上述关键点定位方法分别定位出目标物体的6个极端点，分别为最左边、最右边、最上面、最下面、最前面、最后面的点，以这6个检测出的点所限定的边界框，作为对应的目标物体的检测结果。

本发明能解决现有的医学图像中的目标检测算法需要大量人工标注的问题，有效降低了标注成本，提高了无监督目标检测算法的性能。

附图说明

图1为本发明中位移网络位移网络的结构图；

图2为本发明中基于参考图像的关键点定位过程；

图3为本发明中将边界框检测转化为6个极端点定位的示意图；

图4为本发明与其他方法在CT图像中脑干的检测中的比较；实线表示金标准，虚线表示算法的检测结果。

具体实施方式

结合本发明的内容，提供以下在头颈部CT图像中关键点定位和目标检测的实施例，本实施例在CPU为Intel(R)Core(TM)i7-6850K 3.60GHz GPU为Nvidia GTX1080Ti内存为32.0GB的计算机中实现，编程语言为Python。

步骤1、训练数据收集和预处理

收集一批患者的头颈部三维CT图像，经过预处理将这些图像的分辨率重采样为1mm×1mm×1mm,并经过剪裁去除头颈部以外的背景区域。将其中的一例图像作为参考图像，标记出检测的目标物体如脑干的6个三维极端点作为关键点，即最左边、最右边、最上面、最下面、最前面和最后面的点，这6个关键点所限定的边界框记为该参考图像中目标物体的边界框。其他图像作为未标注的训练集；

步骤2、位移网络的搭建

设在训练集中的一幅三维图像中，x_q与x_s表示大小为D×H×W的两块子区域，其中x_q称为查询图像块，x_s称为参考图像块，D,H和W分别表示该三维图像块在在z,y和x方向上的大小。设x_q与x_s的中心点分别为c_q和c_s，使用一个位移网络(位移网络)来预测从x_q的中心点c_q到x_s的中心c_s在三维空间中的物理位移；c_q到x_s的真实位移

可以通过图像的层间距e和c_q与c_s在图像中的坐标计算得到：

其中‖·‖₂表示向量的L2范数，

表示向量对应元素相乘。

设位移网络位移网络的参数为θ，其预测结果可以表示为d_qs＝f(θ；x_q,x_s)，该网络预测结果的损失函数L_p为：

在本实施例中，位移网络由两个共享权重的分支组成，每个分支包含一个编码器和N个全连接层组成，其中编码器包含M个卷积块，每个卷几块包含一个卷积单元和一个下采样层。最后一个全连接层输出一个长度为3的向量。位移网络中的第一个分支以x_s作为输入，输出记为p_s,位移网络中的第二个分支以x_q作为输入，输出记为p_q，则d_qs的计算方法方式如下：

d_qs＝f(θ；x_q,x_s)＝r·tanh(p_q-p_s) 公式3

其中r是一个预定义的缩放系数。

步骤3、位移网络的训练

对位移网络针对大尺度和小尺度分别训练一个模型，分别用于粗略定位和精细定位，这两个模型分别记为位移网络-L和位移网络-S。

训练位移网络-L的过程如下：将公式3中的参数r设置成一个较大的数r＝r₀，例如三维图像中任意两个像素间的最远物理距离。从同一幅训练图像中在整个图像范围内随机抽取两个大小为D×H×W的图像块组成一对图像块，设每次迭代过程的一个批次包含随机提取P对图像块，其中第i对的两个图像块分别表示为x_qi和x_si，该批次的损失函数为：

其中L_p的定义如公式2所示。利用公式4中的损失函数迭代训练，直到损失函数收敛。

针对位移网络-S的训练过程与位移网络-L的训练过程类似，不同的是采用局部范围内的图像块进训练：将公式3中的参数r设置成一个较小的数r＝r₁，从同一幅训练图像中在局部范围内随机抽取两个大小为D×H×W的图像块组成一对图像块，具体操作为：先从整个图像范围内随机选择一个D×H×W的图像块作为x_qi，再随机选择一个与x_qi的距离小于r₁的同样大小的图像块作为x_si。在每次迭代过程中的一个批次包含P对这样的图像块，然后利用公式4中的损失函数进行迭代更新，直到损失函数收敛，从而得到训练好的位移网络-S模型。训练后的位移网络-L和位移网络-S的模型参数分别记为θ₀和θ₁。

步骤4、在测试图像上的目标检测

训练完成后，利用步骤1中的参考图像中标记的6个极端点(最左边、最右边、最上面、最下面、最前面、最后面的点)，分别以这6个点作为参考点，利用步骤3中的位移网络位移网络-L和位移网络-S实现新图像中对应的6个关键点的定位，以这6个检测出的点所限定的边界框，作为对应的目标物体的检测结果。具体地，每一个关键点的定位过程如下：

对于参考图像中给定的某个关键点，以该点为中心，取大小为D×H×W的图像块作为参考图像块x′_s。对于一幅新图像，通过位移网络位移网络-L和位移网络-S由粗到细逐渐找到该图像中对应的关键点的位置c_q，流程包括：

a)从当前的待处理图像中选取一个初始位置c₀(例如随机选取)，以c₀为中心取一个大小为D×H×W的图像块x_q0作为查询图像块,将x_q0和x′_s作为粗略位移网络-L的输入，得到其输出位移向量记为d₀＝f(θ₀；x_q0,x′_s),利用c₀和d₀得到一个新的位置c₁＝c₀+d₀。

b)在当前待处理图像中，以c₁为中心取一个大小为D×H×W的图像块x_q1作为查询图像块，仍然以x′_s作为参考图像块，将x_q1和x′_s作为精细位移网络-S的输入，得到其输出位移向量记为d₁＝f(θ₁；x_q1,x′_s),利用c₁和d₁得到一个新的位置c₂＝c₁+d₁。将c₂作为当前图像中关键点的检测结果,即c_q＝c₂。

为获得更稳定的关键点定位结果，对a-c的步骤重复K次,每次以不同的c₀的值进行关键点定位，从而得到K个定位结果c_q1,c_q2,…,c_qK，取其平均值作为最终的关键点定位结果：

图4是本发明方法对一幅CT图像中脑干检测与其他方法的对比。其中封闭实线为目标物体边界框金标准，圆点为极端点金标准，封闭虚线为边界框定位结果。可以看到本发明方法的目标检测的结果和边界框金标准较为接近。其他方法的检测结果与金标准边界框存在较大偏差。

Claims (4)

1.一种医学图像中无监督的关键点定位方法，该方法包括：

步骤1：训练数据和参考图像的收集

收集一批包含该目标的三维医学图像，从这些图像中选择一个或多个作为参考图像；

步骤2：位移网络的搭建

设在训练集中的一幅三维图像中，x_q与x_s表示大小为D×H×W的两块子区域，其中x_q称为查询图像块，x_s称为参考图像块，D,H和W分别表示该三维图像块在z,y和x方向上的大小；设x_q与x_s的中心点分别为c_q和c_s，使用一个位移网络来预测从x_q的中心点c_q到x_s的中心c_s在三维空间中的物理位移；c_q到x_s的真实位移

通过图像的层间距e、c_q与c_s在图像中的坐标计算得到：

其中‖·‖₂表示向量的L2范数，°表示向量对应元素相乘；

设位移网络的参数为θ，其预测结果表示为d_qs＝f(θ；x_q,x_s)，该位移网络预测结果的损失函数L_p为：

步骤3：位移网络的训练

对位移网络针对大尺度和小尺度分别训练一个模型，分别用于粗略定位和精细定位，这两个模型分别记为位移网络-L和位移网络-S；

训练位移网络-L的过程如下：将公式3中的参数r设置成一个大于设定阈值的数r＝r₀，从同一幅训练图像中的整个图像范围内随机抽取两个大小为D×H×W的图像块组成一对图像块，设每次迭代过程的一个批次包含随机提取P对图像块，其中第i对的两个图像块分别表示为x_qi和x_si，该批次的损失函数为：

其中L_p的定义如公式2所示，利用公式4中的损失函数迭代训练，直到损失函数收敛；

针对位移网络-S的训练过程与位移网络-L的训练过程类似，不同的是采用局部范围内的图像块进训练：将公式3中的参数r设置成一个小于设定阈值的数r＝r₁，从同一幅训练图像中的局部范围内随机抽取两个大小为D×H×W的图像块组成一对图像块，具体操作为：先从整个图像范围内随机选择一个D×H×W的图像块作为x_qi，再随机选择一个与x_qi的距离小于r₁的同样大小的图像块作为x_si；在每次迭代过程中的一个批次包含P对这样的图像块，然后利用公式4中的损失函数进行迭代更新，直到损失函数收敛，从而得到训练好的位移网络-S模型；训练后的位移网络-L和位移网络-S的模型参数分别记为θ₀和θ₁；

步骤4：基于位移网络位-L和位移网络-S的关键点定位

对于一幅参考图像中给定的关键点，以该点为中心，取大小为D×H×W的图像块作为参考图像块x′_s；对于一幅新图像，通过位移网络-L和位移网络-S由粗到细逐渐找到该图像中对应的关键点的位置c_q，具体过程如下：

a)从当前的待处理图像中选取一个初始位置c₀，以c₀为中心取一个大小为D×H×W的图像块x_q0作为查询图像块,将x_q0和x′_s作为粗略位移网络位移网络-L的输入，得到其输出位移向量记为d₀＝f(θ₀；x_q0,x′_s),利用c₀和d₀得到一个新的位置c₁＝c₀+d₀；

b)在当前待处理图像中，以c₁为中心取一个大小为D×H×W的图像块x_q1作为查询图像块，仍然以x′_s作为参考图像块，将x_q1和x′_s作为精细位移网络-S的输入，得到其输出位移向量记为d₁＝f(θ₁；x_q1,x′_s),利用c₁和d₁得到一个新的位置c₂＝c₁+d₁；将c₂作为当前图像中关键点的检测结果,即c_q＝c₂。

2.如权利要求1所述的一种医学图像中无监督的关键点定位方法，其特征在于，所述位移网络的结构为以下两种方案中的一种：

方案一：位移网络由两个共享权重的分支组成，每个分支都由一个编码器和N个级联的全连接层组成，其中编码器包含M个级联的卷积块，每个卷积块包含一个卷积单元和一个下采样层，最后一个全连接层输出一个长度为3的向量；位移网络中的第一个分支以x_s作为输入，输出记为p_s,第二个分支以x_q作为输入，输出记为p_q，则d_qs的计算方法方式如下：

d_qs＝f(θ；x_q,x_s)＝r·tanh(p_q-p_s) 公式3

其中r是一个预定义的缩放系数；

方案二：位移网络由包含一个编码器和N个级联的全连接层的主干网络组成，其中编码器包含M个级联的卷积块，每个卷积块包含一个卷积单元和一个下采样层；最后一个全连接层输出一个长度为3的向量；将x_q与x_s拼接成一个双通道的图像，结果记为

位移网络以

作为输入，其输出直接作为d_qs。

3.如权利要求1所述的一种医学图像中无监督的关键点定位方法，其特征在于，所述步骤4中，当三维图像的尺寸和背景区域的均匀度大于设定的对应阈值时，预测结果会受到初始位置c₀的影响，为获得更稳定的关键点定位结果，则对a-c的步骤重复K次,每次以不同的c₀的值进行关键点定位，从而得到K个定位结果c_q1,c_q2,…,c_qK，取其平均值作为最终的关键点定位结果：

当三维图像的尺寸和背景区域的均匀度小于等于设定的对应阈值时，且目标关键点周围的对比度大于设定阈值，仅使用位移网络-L的预测结果就已经比较准确，直接将c₁作为关键点的定位结果,即c_q＝c₁；

当三维图像的尺寸和背景区域的均匀度小于等于设定的对应阈值时，且目标关键点周围的对比度小于等于设定阈值，使用了位移网络-L和位移网络-S这两步联合的预测结果得到的c₂可能仍然不够精确，则再将c₁赋值成c₂，重复一次b中的预测步骤，得到更精细的结果。

4.一种采用权利要求1、或2、或3所述的关键点定位方法的目标检测方法，采用上述关键点定位方法分别定位出目标物体的6个极端点，分别为最左边、最右边、最上面、最下面、最前面、最后面的点，以这6个检测出的点所限定的边界框，作为对应的目标物体的检测结果。

Images