CN117422721A - 一种基于下肢ct影像的智能标注方法 - Google Patents

Abstract

本发明涉及计算机技术应用领域，特别是涉及一种基于下肢CT影像的智能标注方法，方法包括：首先获取下肢图像的目标区域的对称轴，接着基于该对称轴获取指定关键点的对称关键点，并在该目标区域内截取以该指定关键点和对称关键点为中心的图像区域；接着，以指定关键点对应的图像区域为滑动窗口，在以对称关键点为中心的图像区域上滑动做特征匹配，获取特征匹配度最大的图像的中心点作为该指定关键点的目标对称关键点。本发明能够自动对下肢区域的关键点进行标注，能够提高标注效率。

Description

一种基于下肢CT影像的智能标注方法

技术领域

本发明涉及计算机技术应用领域，特别是涉及一种基于下肢CT影像的智能标注方法。

背景技术

在医学图像处理中，医生经常需要测量病人下肢的力线和相关角度，以进行手术规划和决策，例如全膝关节置换手术。医生在进行下肢力线和相关角度的测量时，通常需要手动标注下肢关键点。然而，这个过程非常耗时且依赖于医生的专业水平，给医生增加了额外的工作负担。近年来利用人工智能技术开发了基于X光影像的医学影像处理软件。这些软件能够自动定位下肢关键点并测量下肢的力线和相关角度，减少了医生的手动标注工作。然而，为了训练这些智能算法，需要大量的下肢关键点标注数据。目前的做法是由医生进行手动标注，这不仅耗时，还会受到医生专业水平的影响，这样，标注效率和准确性都不高。因此，迫切需要一种方法来提高下肢关键点标注的效率和准确性。专利文献（CN202310125098.2）提供了一种基于X光影像的关键点标注方法、电子设备及存储介质，该方法能够提高下肢标注效率。然而，还可以期待另一种提高下肢标注效率的解决方案。

发明内容

针对上述技术问题，本发明采用的技术方案为：

本发明实施例提供一种基于下肢CT影像的智能标注方法，所述方法包括如下步骤：

S100，获取当前待标注的下肢图像中的目标区域的对称轴；所述下肢图像为下肢CT影像。

S200，基于所述对称轴，将所述目标区域划分为基于所述对称轴对称的第1区域和第2区域。

S300，响应于检测到在第i区域选择的指定关键点KA，获取该关键点KA的坐标（x_k，y_k），以及获取关键点KA在第i区域的对称区域中的初始对称点KA^s的坐标（x^s _k，y^s _k）；i=1或者2。

S400，分别以KA和KA^s为中心，在所述目标区域截取对应的第一图像I1和第二图像I2，其中，第一图像的面积小于第二图像的面积。

S500，以I1为滑动窗口，将I1按照设定滑动步长△d分别沿I2的x轴方向和y轴方向滑动，得到对应的第一滑动图像集IS1和第二滑动图像集IS2；其中，IS1={IS1₁，IS1₂，……，IS1_r1，……，IS1_n1}，IS2={IS2₁，IS2₂，……，IS2_r2，……，IS2_n2}，IS1_r为IS1中的第r1个滑动图像，IS2_r为IS2中的第r2个滑动图像，r1的取值为1到n1，n1为IS1中的滑动图像的数量，r2的取值为1到n2，n2为IS2中的滑动图像的数量。

S600，获取max（D1，D2）对应的滑动图像作为目标图像，并获取该目标图像的中心作为KA的目标对称关键点；其中，D1为第一特征匹配度集，D1={D1₁，D1₂，……，D1_r1，……，D1_n1}，D2为第二特征匹配度集，D2={D2₁，D2₂，……，D2_r2，……，D2_n2}；D1_r1为I1与IS1_r1之间的特征匹配度，D2_r2为I1与IS2_r2之间的特征匹配度。

本发明至少具有以下有益效果：

本发明实施例提供的一种基于下肢CT影像的智能标注方法，首先获取下肢图像的目标区域的对称轴，接着基于该对称轴获取指定关键点的对称关键点，并在该目标区域内截取以该指定关键点和对称关键点为中心的图像区域；接着，以指定关键点对应的图像区域为滑动窗口，在以对称关键点为中心的图像区域上滑动做特征匹配，获取特征匹配度最大的图像的中心点作为该指定关键点的目标对称关键点。本发明能够自动对下肢区域的关键点进行标注，能够提高标注效率。

应当理解，本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征，也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种基于下肢CT影像的智能标注方法的流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例提供一种基于下肢CT影像的智能标注方法，如图1所示，所述方法可包括如下步骤：

S100，获取当前待标注的下肢图像中的目标区域的对称轴。

在本发明实施例中，当前待标注的下肢图像可为下肢CT图像、自然图像等，优选，为下肢CT图像。当前待标注的下肢图像可存储在预设图像库中，预设图像库中的影像可为M个不同对象的下肢图像，例如X光影像，可来自同一影像提供机构或者不同的影像提供机构。在本发明实施例中，对象可为人。目标区域的获取可基于设定的图像分割算法得到。设定的图像分割算法可为现有的任何图像分割算法，在一个示意性实施例中，例如，可为固定阈值法、自适应阈值法和Otsu算法等分割算法。

在本发明一示意性实施例中，S100可具体包括：

S101，获取目标区域内的像素点集P=（P₁，P₂，…，P_j，…，P_n），其中，第j个像素点P_j=（x_j，y_j），x_j和y_j分别为P_j的横坐标和纵坐标，j的取值为1到n，n为目标区域内的像素点的总数量。

在本发明实施例中，像素点的坐标所在的坐标系可为以图像的左上角为原点o、向下为y轴、向上为x轴构建的坐标系。

本领域技术人员知晓，获取图像中的目标区域内的所有像素点的位置属于本领域的现有技术。

S102，基于P，获取目标区域的对称轴的横坐标x₀=f（x₁，x₂，…，x_j，…，x_n），f（）为设定函数表达式。

在本发明实施例中，f（x₁，x₂，…，x_j，…，x_n）表示为（x₁，x₂，…，x_j，…，x_n）的函数，通过x₁，x₂，…，x_j，…，x_n获取对应的中心坐标可采用现有技术。

在一个示意性实施例中，x₀=（x_mjn+x_max）/2,x_mjn为x₁，x₂，…，x_j，…，x_n中的最小者，x_max为x₁，x₂，…，x_j，…，x_n中的最大者。

在另一个示意性实施例中，x₀=（A1+A2）/（2p），其中，A1=x1₁+x1₂+…+x1_s+…+x1_p，A2=x1_n+x1_n-1+…+x1_（n-s+1）+…+x1_（n-p+1），x1_s为将x₁，x₂，…，x_j，…，x_n按照升序进行排列得到的升序序列中的第s个横坐标，x1_（n-s+1）为升序序列中的第（n-s+1）个横坐标，s的取值为1到p，即A1为升序序列中的前p个横坐标的和，A2为升序序列中的后p个横坐标的和。p为设定的坐标点数量，p＜n，p可基于实际需要进行设置。在一个示例中，p=[n/>a]，a为预设系数，取值为0到1，例如，a=0.1~0.2，[ ]表示取整。

在另一个示意性实施例中，x₀=Avg（x₁，x₂，…，x_j，…，x_n）=（x₁+x₂+…+x_j+…+x_n）/n。

本领域技术人员知晓，任何基于x₁，x₂，…，x_j，…，x_n获取对应的中心坐标均属于本发明实施例保护的范围，而并不局限于前述给出的计算方法。

进一步地，在另一示意性实施例中，S100可具体包括：

S110，获取目标区域内的人体关键点，包括左臀、左膝、右臀、右膝、左脚踝和右脚踝。

在本发明实施例中，人体姿态关键点可基于现有的人体姿态检测方法例如openpose或MediaPipe等。

S120，获取第一直线和第二直线的对称轴作为目标区域的第一对称轴，以及获取第三直线和第四直线的对称轴作为目标区域的第二对称轴；其中，第一直线为通过左臀和左膝的直线，第二直线为通过右臀和右膝的直线，第三直线为通过左膝和左脚踝的直线，第四直线为通过右膝和右脚踝的直线。

本领域技术人员知晓的是，获取两条直线的对称轴可为现有技术。

与前述通过目标区域的像素点的中心求对称轴相比，S110和S120能够避免由于双腿不对称导致的对称轴可能不为垂直x轴的垂线的问题，进而能够提高获取的对称轴的准确性。

本领域技术人员知晓的是，如果第一对称轴和第二对称轴重合，则目标区域只有一条对称轴。

S200，基于所述对称轴，将所述目标区域划分为基于所述对称轴对称的第1区域和第2区域。

本领域技术人员知晓的是，如果目标区域的对称轴为1条，则只有两个对称区域。如果对称轴为2条，则每条对称轴对应两个对称区域，一共4个对称区域。

S300，响应于检测到在第i区域选择的关键点KA，获取该关键点KA的坐标（x_k，y_k），以及获取关键点KA在第i区域的对称区域中的初始对称点KA^s的坐标（x^s _k，y^s _k）；i=1或者2。

在本发明实施例中，指定关键点可由用户指定。用户例如可为医生。指定方式可为用户在目标区域内的对应位置以标注方式例如圈定方式指定。在本发明实施例中，关键点为下肢中能够用于对下肢力线及相关角度进行测量的部位。关键点的具体位置和数量可基于实际需要进行设置，即基于图像的应用目的进行设置。

在本发明实施例中，如果是基于S101和S102确定的目标区域的对称轴，则x^s _k=2×x₀-x_k，y^s _k=y_k。如果是基于S110和S120确定的目标区域的对称轴，则x^s _k=2×x_P-x_k，y^s _k=2×y_P-y_k，x_P和y_P分别为KA在对应对称轴上的投影点的横坐标和纵坐标。本领域技术人员知晓的是，获取KA在对应对称轴上的投影点的横坐标和纵坐标可为现有技术。

本领域技术人员知晓的是，如果是基于S110和S120确定的目标区域的对称轴，可以根据KA的坐标确定KA是属于哪条对称轴对应的哪个区域，例如，如果y_k＜y^L _kn，x_k＜x^R _h，则说明KA位于目标区域以第一对称轴为对称轴的左侧区域内，y^L _kn为左膝的纵坐标，x^R _h为右臀的横坐标。

S400，分别以KA和KA^s为中心，在所述目标区域截取对应的第一图像I1和第二图像I2，其中，第一图像的面积小于第二图像的面积。

在本发明实施例中，在本发明实施例中，I1和I2可为方形，其中，I1的大小为w1×h1，I2的大小为w2×h2，w1和h1分别为I1的宽度和高度，w2和h2分别为I2的宽度和高度。优选，I1和I2可均为正方形。

在一个示意性实施例中，w1和h1满足条件：（W0/c1）<w1＜W0/2,（H0/c2）<h1＜H0，W0为当前待标注的下肢图像的宽度，H0为当前待标注的下肢图像的高度，c1和c2为大于2的整数。

在本发明一实施例中，w1和h1可基于实际需要进行设置，只要能够使得截取后的图像中能够清楚显示对应区域的结构特征即可。在一个示意性实施例中，c1=5，c2=10，即w1的最小值可为W0/5，h1的最小值可为H0/10，但并不局限于此，可根据实际需要设置w1和h1的最小值。

在本发明一示意性实施例中，w2和h2可满足条件：w1＜w2＜W0/2，h1＜h2＜H0/2。

在一个优选实施例中，S2=2×S1，S1为I1的面积，S2为I2的面积。

进一步地，S400还包括：

对I1和I2进行特征提取，得到对应的特征F1={F1₁，F1₂，……，F1_u1，……，F1_p1}，F2={F2₁，F2₂，……，F2_u2，……，F2_p2}，其中，F1_u1为I1中的第u1个像素点的特征值，u1的取值为1到p1，p1为I1中像素点的数量，F2_u2为I2中的第u2个像素点的特征值，u2的取值为1到p2，p2为I2中像素点的数量。

在本发明实施例中，特征可基于实际需要进行设置，例如，可为性状特征、纹理特征和空间关系特征等。

本领域技术人员知晓的是，图像特征的提取可基于现有的图像特征提取方法得到，例如卷积网络提取得到。

S500，以I1为滑动窗口，将I1按照设定滑动步长△d分别沿I2的x轴方向和y轴方向滑动，得到对应的第一滑动图像集IS1和第二滑动图像集IS2；其中，IS1={IS1₁，IS1₂，……，IS1_r1，……，IS1_n1}，IS2={IS2₁，IS2₂，……，IS2_r2，……，IS2_n2}，IS1_r为IS1中的第r1个滑动图像，IS2_r为IS2中的第r2个滑动图像，r1的取值为1到n1，n1为IS1中的滑动图像的数量，r2的取值为1到n2，n2为IS2中的滑动图像的数量。

在本发明实施例中，滑动窗口的起始位置位于I2的左上角位置，即滑动窗口的左上角坐标和I2的左上角坐标相同。在本发明实施例中，△d可基于实际需要进行设置，具体可基于分析精度要求和计算资源确定，一般，分析精度要求越高，△d越小，计算资源越多，△d可适当设置小一些。在一个示意性实施例中，△d=1像素。

S600，获取max（D1，D2）对应的滑动图像作为目标图像，并获取该目标图像的中心作为KA的目标对称关键点；其中，D1为第一特征匹配度集，D1={D1₁，D1₂，……，D1_r1，……，D1_n1}，D2为第二特征匹配度集，D2={D2₁，D2₂，……，D2_r2，……，D2_n2}；D1_r1为I1与IS1_r1之间的特征匹配度，D2_r2为I1与IS2_r2之间的特征匹配度。

在本发明实施例中，特征匹配度可基于现有的特征匹配方法获取得到，例如余弦相似度、结够特征相似度计算方法等。

进一步地，在S600中，I1与任一滑动图像之间的特征匹配度通过对F1进行修正之后得到的修正特征FR1和任一滑动图像的特征得到；其中，FR1={FR1₁，FR1₂，……，FR1_u1，……，FR1_p1}，FR1_u1为F1_u1的修正特征值，FR1_u1=F1_u1×W_u1； W_u1为I1中的第u1个像素点对应的权重。

本领域技术人员知晓的是，由于已经获取I2的特征F2，所以任一滑动图像的特征可基于对应的像素点坐标从F2获取得到。

进一步地，W_u满足如下条件：W_u1=e^D（u1）；D（u1）=-（（x_u1-x₁₀）²+（y_u1-y₁₀）²）/2c；x₁₀和y₁₀分别为I1的中心点的横坐标和纵坐标，x_u1和y_u1分别为第u1个像素点的横坐标和纵坐标，c为预设值，可为经验值，在一个示意性实施例中，c可为1至3像素，优选，c等于3像素。

本发明实施例中，W_u1采用e^D（u1）计算的效果在于，使得位于I1中心位置的像素点的权重较低，远离I1中心位置的像素点的权重较高，目的在于特征匹配时，更强调图像边缘的信息，而对中间位置的信息降低一些权重，这是因为，指定关键点大概率会是存在问题的病例点，I1中除指定关键点之外的部位是健康的，对于病例点，其形状往往是不规则的，由于对侧基本上是健康的区域，因此，在匹配时，将很难在I2中找到匹配的区域，因此，通过弱化I1图像中心的信息，能够去除复杂的噪声，从而能够获取到更加准确的目标对称关键点。

根据本发明的实施例，本发明还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。

示例性实施例中，电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如以上实施例所述的方法。

示例性实施例中，可读存储介质可以是存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行根据以上实施例所述的方法。

示例性实施例中，计算机程序产品包括计算机程序，所述计算机程序在被处理器执行时实现根据以上实施例所述的方法。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发明中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本发明公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。

Claims (8)

1.一种基于下肢CT影像的智能标注方法，其特征在于，所述方法包括如下步骤：

S100，获取当前待标注的下肢图像中的目标区域的对称轴；所述下肢图像为下肢CT影像；

S200，基于所述对称轴，将所述目标区域划分为基于所述对称轴对称的第1区域和第2区域；

S300，响应于检测到在第i区域选择的指定关键点KA，获取该关键点KA的坐标（x_k，y_k），以及获取关键点KA在第i区域的对称区域中的初始对称点KA^s的坐标（x^s _k，y^s _k）；i=1或者2；

S400，分别以KA和KA^s为中心，在所述目标区域截取对应的第一图像I1和第二图像I2，其中，第一图像的面积小于第二图像的面积；

S500，以I1为滑动窗口，将I1按照设定滑动步长△d分别沿I2的x轴方向和y轴方向滑动，得到对应的第一滑动图像集IS1和第二滑动图像集IS2；其中，IS1={IS1₁，IS1₂，……，IS1_r1，……，IS1_n1}，IS2={IS2₁，IS2₂，……，IS2_r2，……，IS2_n2}，IS1_r为IS1中的第r1个滑动图像，IS2_r为IS2中的第r2个滑动图像，r1的取值为1到n1，n1为IS1中的滑动图像的数量，r2的取值为1到n2，n2为IS2中的滑动图像的数量；

S600，获取max（D1，D2）对应的滑动图像作为目标图像，并获取该目标图像的中心作为KA的目标对称关键点；其中，D1为第一特征匹配度集，D1={D1₁，D1₂，……，D1_r1，……，D1_n1}，D2为第二特征匹配度集，D2={D2₁，D2₂，……，D2_r2，……，D2_n2}；D1_r1为I1与IS1_r1之间的特征匹配度，D2_r2为I1与IS2_r2之间的特征匹配度。

2.根据权利要求1所述的方法，其特征在于，S100具体包括：

S101，获取目标区域内的像素点集P=（P₁，P₂，…，P_j，…，P_n），其中，第j个像素点P_j=（x_j，y_j），x_j和y_j分别为P_j的横坐标和纵坐标，j的取值为1到n，n为目标区域内的像素点的总数量；

S102，基于P，获取目标区域的对称轴的横坐标x₀=f（x₁，x₂，…，x_j，…，x_n），f（）为设定函数表达式。

3.根据权利要求1所述的方法，其特征在于，S100具体包括：

S110，获取目标区域内的人体关键点，包括左臀、左膝、右臀、右膝、左脚踝和右脚踝；

S120，获取第一直线和第二直线的对称轴作为目标区域的第一对称轴，以及获取第三直线和第四直线的对称轴作为目标区域的第二对称轴；其中，第一直线为通过左臀和左膝的直线，第二直线为通过右臀和右膝的直线，第三直线为通过左膝和左脚踝的直线，第四直线为通过右膝和右脚踝的直线。

4.根据权利要求1所述的方法，其特征在于，I1和I2均为正方形。

5.根据权利要求1所述的方法，其特征在于，S2=2×S1，S1为I1的面积，S2为I2的面积。

6.根据权利要求1所述的方法，其特征在于，S400还包括：

对I1和I2进行特征提取，得到对应的特征F1={F1₁，F1₂，……，F1_u1，……，F1_p1}，F2={F2₁，F2₂，……，F2_u2，……，F2_p2}，其中，F1_u1为I1中的第u1个像素点的特征值，u1的取值为1到p1，p1为I1中像素点的数量，F2_u2为I2中的第u2个像素点的特征值，u2的取值为1到p2，p2为I2中像素点的数量。

7.根据权利要求1所述的方法，其特征在于，在S600中，I1与任一滑动图像之间的特征匹配度通过对F1进行修正之后得到的修正特征FR1和任一滑动图像的特征得到；其中，FR1={FR1₁，FR1₂，……，FR1_u1，……，FR1_p1}，FR1_u1为F1_u1的修正特征值，FR1_u1=F1_u1×W_u1；W_u1为I1中的第u1个像素点对应的权重。

8.根据权利要求1所述的方法，其特征在于，W_u满足如下条件：W_u1=e^D（u1）；D（u1）=-（（x_u1-x₁₀）²+（y_u1-y₁₀）²）/2c；x₁₀和y₁₀分别为I1的中心点的横坐标和纵坐标，x_u1和y_u1分别为第u1个像素点的横坐标和纵坐标，c为预设值。