CN109785303B - 肋骨标记方法、装置、设备以及图像分割模型的训练方法 - Google Patents

Abstract

本发明公开了一种肋骨标记方法、装置、设备以及图像分割模型的训练方法，其中，肋骨标记方法包括：获取待识别图像；所述待识别图像包括CT图像；将所述待识别图像输入图像分割模型得到分割结果；所述分割结果包括肋骨分割结果和肋骨中心线分割结果；基于所述分割结果进行肋骨排序和标记。本发明能够较好的处理肋骨粘连、断裂的情况，以及快速排序和标记每一根肋骨。

Description

肋骨标记方法、装置、设备以及图像分割模型的训练方法

技术领域

本发明涉及图像处理技术领域，具体涉及一种肋骨标记方法、装置、设备以及图像分割模型的训练方法。

背景技术

在骨分析应用中，由于需要分析的数据大多病变严重。肋骨与肋骨间的间隙天生较短，通常会因为肋骨间的距离较近，在肋骨分割结果上出现粘连。同时当扫描分辨率很低时，现有算法分割出的肋骨看起来是粘连的，无法自动识别出对应的肋骨标签。或因为肋骨骨折或骨癌细胞侵蚀等病变，导致同一根肋骨的分割结果不连续。因此对于肋骨中心线提取及肋骨的标记算法存在一定困难。

现有技术提供的一种方法中，通过肋骨分割结果提取连通域，通过分析肺尖的位置或脊骨的位置定位肋骨种子点，通过匹配肋骨种子点与连通域分析将目标肋骨标签化，顺序标记方法依次将后续肋骨排序。该方法过于依赖人体解剖结构，对于粘连与骨折断裂的情况因为肋骨分割结果不好，算法适应性较差，当出现图片扫描不全的情况以及肋骨病变的情况此种方法将会失败。

现有技术提供的一种方法中，首先分别排序胸腔一侧肋骨，单侧肋骨基于距离关系排序，其次左右两侧的肋骨距离的相关关系进行配对。

现有技术提供的一种方法中，基于模板匹配方法提取中心线及标记，该方法可以适用于骨折断裂的情况，但需要事先设计模板，且算法较为耗时。

现有技术提供的一种方法中，基于神经网络同时分割并标记肋骨中心线。首先，通过全卷积神经网络同时学习出第一对，第十二对与中间肋骨的中心线。以脊柱与上一根肋骨的位置确定中心线起始点，以圆锥形搜索区域追踪肋骨中心线。按照肋骨的上下顺序依次为肋骨中心线排序。此种方法可以标记肋骨中心线，但未能解决肋骨的标记问题。同时本方法搜索区域较大耗时较长，无法适用于肋骨断裂的情况(例如错位性肋骨骨折或因病变而畸形的肋骨)，也无法适应扫描肋骨区域不完整的情况。

发明内容

本发明旨在至少解决现有技术中存在的技术问题之一。为此，本发明第一方面提出一种肋骨标记方法，所述方法包括：

获取待识别图像；

将所述待识别图像输入图像分割模型得到分割结果；所述分割结果包括肋骨分割结果和肋骨中心线分割结果；

基于所述分割结果进行肋骨排序和标记。

本发明第二方面提供了一种肋骨标记装置，所述装置包括：

图像获取模块，用于获取待识别图像；

图像处理模块，用于将所述待识别图像输入图像分割模型得到分割结果；所述分割结果包括肋骨分割结果和肋骨中心线分割结果；

肋骨标记模块，用于基于所述分割结果进行肋骨排序和标记。

本发明第三方面提供了一种设备，所述设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如第一方面所述的肋骨标记方法。

本发明第四方面提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如第一方面所述的肋骨标记方法。

本发明第五方面提供了一种图像分割模型的训练方法，所述方法包括：

获取标注有肋骨标签、肋骨中心线标签的CT样本图像；

基于所述CT样本图像，使用预设深度学习模型进行图像分割训练，在图像分割训练中调整所述预设深度学习模型的模型参数至所述预设深度学习模型输出的肋骨标签、肋骨中心线标签与输入的CT样本图像相匹配；

将当前模型所对应的深度学习模型作为所述图像分割模型。

本发明第六方面提供了一种图像分割模型的训练装置，所述装置包括：

CT样本图像获取模块，用于获取标注有肋骨标签、肋骨中心线标签的CT样本图像；

模型训练模块，用于基于所述CT样本图像，使用预设深度学习模型进行图像分割训练，在图像分割训练中调整所述预设深度学习模型的模型参数至所述预设深度学习模型输出的肋骨标签、肋骨中心线标签与输入的CT样本图像相匹配；将当前模型所对应的深度学习模型作为所述图像分割模型。

本发明第七方面提供了一种设备，所述设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如第五方面所述的图像分割模型的训练方法。

本发明第八方面提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如第五方面所述的图像分割模型的训练方法。

本发明可同时获得肋骨分割结果与肋骨中心线，将CT图像分辨率较低或人体天生畸形引起的粘连的肋骨区分开，有效的避免不同肋骨间的分割结果粘连以及断裂肋骨被遗漏的问题，快速对肋骨进行排序和标记。

本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。

图1是本发明实施例提供的肋骨标记方法的流程图；

图2是本发明实施例提供的灰度模式下的分割结果示意图；

图3是本发明实施例提供的灰度模式下的未标记的肋骨中心线示意图；

图4是本发明实施例提供的灰度模式下的未标记的肋骨中心线示意图，其观察视角与图3不同；

图5是本发明实施例提供的灰度模式下的肋骨标记结果示意图；

图6是本发明实施例提供的灰度模式下的肋骨中心线标记结果示意图，其观察视角与图3相同；

图7是本发明实施例提供的灰度模式下的肋骨中心线标记结果示意图，其观察视角与图4相同；

图8是步骤S130的流程图；

图9是步骤S131的一个流程图；

图10是步骤S131的另一个流程图；

图11是本发明实施例提供的已标记的肋骨中心线与未标记的肋骨中心线线段F_j的位置示意图；

图12是步骤S132的一个流程图；

图13是本发明实施例提供的肋骨分割及标记结果对比示意图；

图14是本发明实施例提供的肋骨标记装置的结构框图；

图15是本发明实施例提供的图像分割模型的训练方法的流程图；

图16是本发明实施例提供的图像分割模型的训练装置的结构框图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。

计算机断层扫描(CT)可用于肋骨疾病的诊断，包括肋骨外伤与肋骨肿瘤。肋骨标记算法对于骨折位置的确定以及人体位置的定位是非常重要的。通过计算机辅助自动标记肋骨将肋骨排序，可以帮助临床医生快速的定位诊断肋骨异常的区域(诸如肋骨骨折，或者肋骨骨肿瘤转移)，也能帮助医生了解肋骨结构方便后续治疗。而肋骨中心线的提取有助于辅助性可视化，帮助医生更好的观察肋骨。

实施例

图1是本发明实施例提供的肋骨标记方法的流程图，请参照图1，本实施例提供的肋骨标记方法包括如下步骤：

S110：获取待识别图像；待识别图像包括CT图像；

S120：将待识别图像输入图像分割模型得到分割结果；图像分割模型基于样本图像以及相应的肋骨标签、肋骨中心线标签进行深度学习训练得到的，能够同时分割肋骨和肋骨中心线，分割结果包括肋骨分割结果和肋骨中心线分割结果。

图2-图4示出了对错位性骨折患者的CT图像进行分割得到的分割结果，请参照图2-图4，图中示出的灰白色细实线均表示肋骨中心线。

图2是本发明实施例提供的灰度模式下的分割结果示意图，示出了错位性骨折患者的肋骨分割结果与肋骨中心线分割结果，其中，肋骨中心线的区域同时属于肋骨掩膜的分割结果。

图3和图4分别示出了从不同的视角观察得到的未标记的肋骨中心线，其中，存在肋骨错位性骨折的肋骨中心线表示为不连续的线段。

S130：基于分割结果进行肋骨排序和标记。

图5-图7示出了对图2-图4示出的分割结果的进行标记得到的标记结果，其中，图5是本发明实施例提供的灰度模式下的肋骨标记结果示意图。在RGB或CMYK模式下，已标记的相邻肋骨的颜色不同，由图5观察可知，在灰度模式下，已标记的相邻肋骨的灰度不同。

图6是本发明实施例提供的灰度模式下的肋骨中心线标记结果示意图，图6的观察视角与图3相同，对比图3和图6可知，已标记的相邻肋骨具有不同的灰度，图3中的部分肋骨中心线存在若干条不连续的线段，而该存在若干条不连续线段的肋骨中心线经过拼接后就可以得到图6示出的连续的肋骨中心线线段。

图7是本发明实施例提供的灰度模式下的肋骨中心线标记结果示意图，图7的观察视角与图4相同，从该观察视角能够清楚地观察到部分肋骨中心线的断裂情况，同样地，图7也是对图4中断裂肋骨拼接后得到的连续的肋骨中心线线段。

在一个实施例中，图像分割模型是基于样本图像以及相应的肋骨标签、肋骨中心线标签进行机器学习得到的。

在一个实施例中，图像分割模型是基于样本图像以及相应的肋骨标签、肋骨中心线标签进行深度学习训练得到的。

图8是步骤S130的流程图，请参照图8，在一个实施例中，肋骨中心线分割结果包括初始肋骨中心线；步骤S130包括：

S131：对初始肋骨中心线进行肋骨标签的标记，得到已标记的肋骨中心线；

S132：基于肋骨分割结果和已标记的肋骨中心线对肋骨进行肋骨标签标记，得到已标记的肋骨。

图9是步骤S131的一个流程图，请参照图9，在一个实施例中，步骤S131包括：

S1311：根据人体解剖结构设置至少一个辅助定位点；

可选地，辅助定位点包括但不限于脊椎中心、椎盘中心以及肺尖与胸腔的定位关系点。

S1312：基于第一端点和辅助定位点构建坐标距离矩阵；第一端点为初始肋骨中心线的靠近辅助定位点一端的端点；

优选地，步骤S1312之前还包括：将分割结果转换为病人坐标系，比较肋骨中心线上点X坐标的均值与多个辅助定位点的X坐标均值，根据比较结果区分左右侧肋骨；在病人坐标系下基于第一端点和辅助定位点构建坐标距离矩阵。

S1313：基于坐标距离矩阵对第一端点与辅助定位点满足第一预设约束条件的概率进行动态规划，得到全局最优的肋骨中心线标记结果；

S1314：根据肋骨中心线标记结果对初始肋骨中心线进行标记，得到已标记的肋骨中心线。

在一个实施例中，以脊椎中心点作为辅助定位点记为T_i，i＝1，…，N。N为肋骨标签的个数。以肋骨单侧为例，选取第i根肋骨中心线靠近脊椎中心的端点记为R_j,j＝1,…M。M为候选肋骨中心线端点的个数。第一端点与辅助定位点满足第一预设约束条件时应同时满足下述约束条件1-3，其中：

约束条件1：第一端点与辅助定位点的距离约束，当T_i到第一端点R_j的距离小于预设距离时，该第一端点被记为候选点。R_ij为第i根肋骨中心线端点(第一端点)属于第j根候选中心线的位置组合，P_ij为两者的概率。

约束条件2：肋骨中心线间的距离的约束，分析第一端点的第j个候选点R_ij到下一根肋骨的第k根候选线段的L_i+1，k的最短距离min|R_ij,L_i+1,k|，可计算概率G_i，i+1。

约束条件3：相邻肋骨的第一端点与脊椎中心点的连线的平行关系，平行关系概率为H_ij＝cos(θ_i,i+1)，θ_i,i+1为

与

的单位向量的夹角。

Q(R_ij，R_i+2，k)-H_ij+G_i，i+2，表示两根相邻肋骨相互位置关系符合模型的概率。通过标记结果计算公式获得肋骨中心线的全局最优的标记结果。

其中，脊椎中心点T_i到第i根肋骨上的第j候选点R_j的距离符合正态分布，经过统计大量数据得到T_i与R_j两者间的平均距离与方差。

其中，肋骨间的距离间隔的范围固定，可通过统计大量数据获得均值与方差。通常情况下，最短距离为R_i到R_i+1的距离，但当肋骨中心线起始端断裂则不一定为两端点的距离最短。

优选地，标记结果计算公式为：

其中，N为肋骨标签的个数；

M为候选点个数的总和；

P_ij为第j根肋骨中心线的第一端点R_j到辅助定位点T_i，i＝1，...，N的距离小于预设距离的概率；

R_ij为第i根肋骨中心线的第一端点属于第j根肋骨中心线的位置组合；

R_t+1，K为第i+1根肋骨中心线的第一端点属于第k根肋骨中心线的位置组合；

H_ij＝cos(θ_i，i+1)为相邻辅助定位线相互平行的概率；辅助定位线为第一端点与辅助定位点的连线；

G_i，i+1为第一端点到下一根肋骨的最短距离为当前肋骨的第一端点到下一根肋骨的第一端点的距离的概率。

通过上述排序算法可得一些较为确定的肋骨中心线的标签，此处记为L_i。当存在骨折或其他情况引起的中心线断裂的情况时，还需要对未被标记的肋骨中心线进行标记。

图10是步骤S131的另一个流程图，请参照图10，在一个实施例中，在步骤S1314中的得到已标记的肋骨中心线之后，还包括：

S1315：在肋骨预设生长范围内搜寻是否存在未标记的肋骨中心线线段，记为F_j；

具体地，未标记的肋骨中心线线段包括断裂的肋骨线段F_j；

具体地，步骤S1315之前还包括：获取已标记的肋骨中心线L_i末梢的斜率，基于斜率确定肋骨或肋骨中心线L_i的预设生长范围；

优选地，搜索过程中搜索半径可变和/或搜索弧度可变；其中，j＝1,…,M。M为未被标记的线段个数。

S1316：若存在，对已标记的肋骨中心线L_i与未标记的肋骨中心线线段F_j满足第二预设约束条件的概率进行动态规划，得到全局最优的匹配结果；

图11是本发明实施例提供的已标记的肋骨中心线与未标记的肋骨中心线线段的位置示意图，请参照图11，在一个实施例中，步骤S1316包括：

计算第i根已标记的肋骨中心线L_i与第j根未标记的肋骨中心线线段F_j为一对待拼接的候选组合的概率P_ij，统计断裂区域的连线的概率范围，估算概率阈值，当概率满足阈值条件，则作为候选拼接线段。其中，P_ij＝(cos(θ₁)+cos(θ₂))/2.(if cos(θ₃)＞0)，第i根已标记的肋骨中心线L_i与第j根未标记的肋骨中心线线段F_j两者之间的连线记为B_ij。θ₁为L_i末端的方向向量与B_ij的单位向量的夹角，θ₂为B_ij与F_j单位方向的夹角，θ₃为L_i至F_j单位方向的夹角。Q(B_i，j，B_i+1，k)为B_i，j与B_i+1，k之间的单位向量夹角的余弦值，该余弦值用于表示平行程度，以确保新的连接之间不存在交叉或跨越的情况。

匹配结果计算公式为：

其中，N为肋骨标签的个数；M为未被标记的肋骨中心线个数。

在一个实施例中，为了减小匹配步骤的计算量，在步骤S1316之前，需要先对与已标记肋骨中心线L_i距离较短的未标记肋骨中心线F_j进行拼接。

具体包括如下步骤：

判断未标记的肋骨中心线线段F_j与已标记的肋骨中心线L_i末梢之间的距离是否小于预设半径；

若小于，在该已标记的肋骨中心线L_i末梢端点以预设半径、在不同方向角度上做线段追踪，分析拼接弧度是否满足正常人肋骨中心线走向；若满足，将未标记的肋骨中心线线段F_j拼接至已标记的肋骨中心线L_i的末梢，延伸肋骨中心线断裂区域以及肋骨中心线的末梢，得到拼接后的肋骨中心线。最终得到一条连续的肋骨中心线，以及肋骨中心线上点的顺序关系。其中，预设半径的大小可根据实际需要设置，且预设半径不大于10mm。

若不小于，则执行步骤S1316。

S1317：根据匹配结果得到拼接后的肋骨中心线newL_i；

根据匹配结果将未标记的肋骨中心线线段F_j拼接到已标记的肋骨中心线L_i末梢，得到拼接后的肋骨中心线newL_i；

在实际应用中，肋骨断裂经常会在同一根肋骨上出现多段骨折的情况，因此，仅根据匹配结果计算公式进行动态规划出的最优组合进行拼接，可能会出现错误拼接的情况，因此有必要执行下述步骤：

S1318：检查拼接后的肋骨中心线是否满足预设的取消连接条件；

具体地，预设的取消连接条件为：未标记的肋骨中心线线段F_j属于已标记的肋骨中心线L_i的概率小于未标记的肋骨中心线线段F_j属于拼接后的肋骨中心线newL_i的概率；

S1319：若满足，取消连接未标记的肋骨中心线线段F_j；

重复执行匹配步骤、拼接步骤、检查步骤和取消步骤，直至不存在未标记肋骨中心线为止。

在一个实施例中，步骤S1312之前还包括：

对肋骨中心线分割结果(即肋骨中心线掩膜)进行骨架化操作，得到初始肋骨中心线；

根据初始肋骨中心线上像素点的坐标和连通关系得到像素点的顺序和方向；

根据像素点的顺序和方向确定第一端点在初始肋骨中心线上的位置。

图12是步骤S132的一个流程图，请参照图12，在一个实施例中，步骤S132基于肋骨分割结果和已标记的肋骨中心线对肋骨进行肋骨标签的标记，包括：

S1321：计算已标记的肋骨中心线在分割结果上的距离场；

S1322：根据距离场计算结果，确定与肋骨分割结果上像素点的距离最近的肋骨中心线为目标肋骨中心线；

S1323：根据目标肋骨中心线对应的肋骨标签标记肋骨分割结果上的像素点。

也就是说，对肋骨进行标记的过程包括：计算不同标签的中心线在分割结果上的距离场，判断肋骨mask上的像素点与不同标签的中心线的距离，当距离某标签的中心线较近时，则被标记为该标签。

在一个实施例中，图像分割模型是基于样本图像以及相应的肋骨标签、肋骨中心线标签进行深度学习训练得到的。

图13是本发明实施例提供的肋骨分割及标记结果对比示意图，示出了金属伪影导致的CT图像中肋骨分割结果粘连的情形，图13的上半部分从左至右依次是肋骨分割结果、传统算法的肋骨标记结果和本实施例的肋骨标记结果，图示的肋骨分割结果中箭头所指的区域存在肋骨粘连，由于采用传统算法标记肋骨时会对肋骨分割结果进行连通域分析，从而将粘连肋骨标记为同一个标签(表现为粘连的若干根肋骨颜色/灰度相同)。为解决这一问题，本实施例根据距离场计算结果，确定与肋骨分割结果上的像素距离最近的肋骨中心线为目标肋骨中心线；根据目标肋骨中心线对应的肋骨标签标记肋骨分割结果上的像素。由图可直观的看出，在本实施例的肋骨标记结果中肋骨粘连区域被标记为若干个不同的标签(表现为粘连的若干根肋骨颜色/灰度不同)，能有效解决肋骨粘连的问题。

图13的下半部分显示在CT图像中横冠矢三个切面肋骨异常情况。对比三个切面肋骨异常情况可明显地看出采用传统算法的肋骨标记结果与采用本实施例的肋骨标记方法的肋骨标记结果，图中箭头指向的位置均为肋骨分割结果粘连的区域。

需要说明的是，对于前述的各方法实施例，为了简便描述，将其都表述为二系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其它顺序或者同时进行。此外，还可对上述实施例进行任意组合，得到其他的实施例。

基于与上述实施例中的肋骨标记方法相同的思想，本发明实施例还提供了一种肋骨标记装置，该装置可用于执行上述肋骨标记方法。为了便于说明，肋骨标记装置实施例的结构示意图中，仅仅示出了与本发明实施例相关的部分，本领域技术人员可以理解，图示结构并不构成对装置的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

图14是本发明实施例提供的肋骨标记装置的结构框图，请参照图14，本实施例提供的肋骨标记装置包括图像获取模块210、图像处理模块220、肋骨标记模块230。可以理解，上述各模块是指计算机程序或者程序段，用于执行某一项或多项特定的功能，此外，上述各模块的区分并不代表实际的程序代码也必须是分开的。各模块详述如下：

图像获取模块210，用于获取待识别图像；待识别图像包括CT图像；

图像处理模块220，用于将待识别图像输入图像分割模型得到分割结果；图像分割模型能够同时分割肋骨和肋骨中心线，分割结果包括肋骨分割结果和肋骨中心线分割结果；其中，图像分割模型是基于样本图像以及相应的肋骨标签、肋骨中心线标签进行机器学习或深度学习训练得到的。

肋骨标记模块230，用于基于分割结果进行肋骨排序和标记。

请继续参照图12，在一个实施例中，肋骨中心线分割结果包括初始肋骨中心线；肋骨标记模块230包括：

肋骨中心线标记模块231，用于对初始肋骨中心线进行肋骨标签的标记，得到已标记的肋骨中心线；

肋骨标记模块232，用于基于肋骨分割结果和已标记的肋骨中心线对肋骨进行肋骨标签标记，得到已标记的肋骨。

在一个实施例中，肋骨中心线标记模块231包括：

辅助定位点设置模块，用于根据人体解剖结构设置至少一个辅助定位点；辅助定位点包括脊椎中心、椎盘中心以及肺尖与胸腔的定位关系点；

矩阵构建模块，用于基于第一端点和辅助定位点构建坐标距离矩阵；第一端点为初始肋骨中心线的靠近辅助定位点一端的端点；

第一计算模块，用于基于坐标距离矩阵对第一端点与辅助定位点满足第一预设约束条件的概率进行动态规划，得到全局最优的肋骨中心线标记结果；

根据肋骨中心线标记结果对初始肋骨中心线进行标记，得到已标记的肋骨中心线。

在一个实施例中，肋骨中心线标记模块231还包括：

坐标转换模块，用于将分割结果转换为病人坐标系；

左右区分模块，用于比较肋骨中心线上点X坐标的均值与多个辅助定位点的X坐标均值，根据比较结果区分左右侧肋骨。

矩阵构建模块，用于在病人坐标系下基于第一端点和辅助定位点构建坐标距离矩阵；

在一个实施例中，肋骨中心线标记模块231还包括：

搜寻模块，用于在肋骨预设生长范围内搜寻是否存在未标记的肋骨中心线线段；

第二计算模块，用于在存在未标记的肋骨中心线线段时，对已标记的肋骨中心线与未标记的肋骨中心线线段满足第二预设约束条件的概率进行动态规划，得到全局最优的匹配结果；

拼接模块，用于根据匹配结果得到拼接后的肋骨中心线；

检查模块，用于检查拼接后的肋骨中心线是否满足预设的取消连接条件；

取消模块，用于在满足预设的取消连接条件时，取消连接未标记的肋骨中心线线段；

迭代模块，用于重复执行匹配步骤、拼接步骤、检查步骤和取消步骤，直至不存在未标记肋骨中心线为止。

在一个实施例中，肋骨中心线标记模块231还包括：

距离获取模块，用于在存在未标记的肋骨中心线线段时，获取未标记的肋骨中心线线段与已标记的肋骨中心线末梢之间的距离；

距离判断模块，用于判断未标记的肋骨中心线线段与已标记的肋骨中心线末梢之间的距离是否小于预设断裂距离；

拼接弧度分析模块，用于在未标记的肋骨中心线线段与已标记的肋骨中心线末梢之间的距离小于预设断裂距离时，分析拼接弧度是否满足正常人肋骨中心线走向；

拼接模块还用于在拼接弧度满足正常人肋骨中心线走向时，将未标记的肋骨中心线线段拼接至已标记的肋骨中心线的末梢，得到拼接后的肋骨中心线；

在一个实施例中，肋骨中心线标记模块231还包括：

肋骨预设生长范围确定模块，用于获取已标记的肋骨中心线末梢的斜率，基于斜率确定肋骨预设生长范围；

在一个实施例中，肋骨标记装置还包括：

细化模块，用于对肋骨中心线分割结果(即肋骨中心线掩膜)进行骨架化操作，得到初始肋骨中心线；

排序模块，用于根据初始肋骨中心线上像素点的坐标和连通关系得到像素点的顺序和方向；

定位模块，用于根据像素点的顺序和方向确定第一端点在初始肋骨中心线上的位置。

在一个实施例中，肋骨标记装置还包括：

追踪模块，用于基于肋骨中心线骨架线在初始肋骨中心线局部以预设半径、在不同方向角度上做线段追踪，延伸肋骨中心线断裂区域以及肋骨中心线的末梢，由此可将得到若干条顺序连通的线段。其中，预设半径的大小可根据实际需要设置，且预设半径不大于10mm。

在一个实施例中，肋骨标记模块232包括：

距离场计算模块，用于计算已标记的肋骨中心线在分割结果上的距离场；

目标肋骨中心线确定模块，用于根据距离场计算结果，确定与肋骨分割结果上像素点的距离最近的肋骨中心线为目标肋骨中心线；

标签设置模块，用于根据目标肋骨中心线对应的肋骨标签标记肋骨分割结果上的像素点。

基于与上述实施例中的肋骨标记方法相同的思想，本发明实施例还提供了一种设备，设备包括处理器和存储器，存储器中存储有至少一条指令、至少一段程序、代码集或指令集，至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行以实现上述的肋骨标记方法。

基于与上述实施例中的肋骨标记方法相同的思想，本发明实施例还提供了一种计算机可读存储介质，存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行以实现上述的肋骨标记方法。

图15是本发明实施例提供的图像分割模型的训练方法的流程图，请参照图15，本实施例还提供了一种图像分割模型的训练方法，该方法包括如下步骤：

S310：获取标注有肋骨标签、肋骨中心线标签的CT样本图像；

S320：基于CT样本图像，使用预设深度学习模型进行图像分割训练，在图像分割训练中调整预设深度学习模型的模型参数至预设深度学习模型输出的肋骨标签、肋骨中心线标签与输入的CT样本图像相匹配；

S330：将当前模型所对应的深度学习模型作为图像分割模型。

在一个实施例中，由医生手工勾画肋骨区域，半自动生成肋骨中心线区域并进行膨胀操作，将肋骨和中心线区域分别保存不同标签，作为金标准。将灰度图像和金标准输入卷积神经网络进行训练，得到肋骨与肋骨中心线同时分割的多分类分割网络。需要指出的是，在肋骨中心线过细时不容易得到分割结果，进行膨胀操作的目的在于避免或降低这一情况发生的可能。

需要指出的是，上述实施例中所用的卷积神经网络包括并不限于V-NET，U-NET，V-GG，ResNet，DenseNet等卷积神经网络。

图16是本发明实施例提供的图像分割模型的训练装置的结构框图，请参照图16，本实施例还提供了一种图像分割模型的训练装置，该装置包括：

样本图像获取模块410，用于获取标注有肋骨标签、肋骨中心线标签的CT样本图像；

模型训练模块420，用于基于CT样本图像，使用预设深度学习模型进行图像分割训练，在图像分割训练中调整预设深度学习模型的模型参数至预设深度学习模型输出的肋骨标签、肋骨中心线标签与输入的CT样本图像相匹配；将当前模型所对应的深度学习模型作为图像分割模型。

本发明实施例还提供了一种设备，设备包括处理器和存储器，存储器中存储有至少一条指令、至少一段程序、代码集或指令集，至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行以实现上述的图像分割模型的训练方法。

本发明实施例还提供了一种计算机可读存储介质，存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行以实现上述的图像分割模型的训练方法。

本实施例可同时获得肋骨分割结果与肋骨中心线，将CT图像分辨率较低或人体天生畸形引起的粘连的肋骨区分开，有效的避免不同肋骨间的分割结果粘连以及断裂肋骨被遗漏的问题，快速对肋骨进行排序和标记。

在上述实施例中，对各实施例的描述都各有侧重，某各实施例中没有详述的部分，可以参见其它实施例的相关描述。

本领域技术人员还可以了解到本发明实施例列出的各种说明性逻辑块(illustrative logical block)，单元，和步骤可以通过电子硬件、电脑软件，或两者的结合进行实现。为清楚展示硬件和软件的可替换性(interchangeability)，上述的各种说明性部件(illustrative components)，单元和步骤已经通用地描述了它们的功能。这样的功能是通过硬件还是软件来实现取决于特定的应用和整个系统的设计要求。本领域技术人员可以对于每种特定的应用，可以使用各种方法实现所述的功能，但这种实现不应被理解为超出本发明实施例保护的范围。

应当指出的是，以上所述仅为本发明的几种具体实施方式，不能理解为对本发明保护范围的限制。凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种肋骨标记方法，其特征在于，包括：

获取待识别图像；

将所述待识别图像输入图像分割模型得到分割结果；所述图像分割模型是基于样本图像以及相应的肋骨标签、肋骨中心线标签进行深度学习训练得到的深度学习模型，所述图像分割模型能够同时分割肋骨和肋骨中心线，所述分割结果包括肋骨分割结果和肋骨中心线分割结果；所述肋骨中心线分割结果包括初始肋骨中心线；

基于所述分割结果进行肋骨排序和标记；所述基于所述分割结果进行肋骨排序和标记，包括：对所述初始肋骨中心线进行肋骨标签的标记，得到已标记的肋骨中心线；基于所述肋骨分割结果和所述已标记的肋骨中心线对肋骨进行肋骨标签标记，得到已标记的肋骨；

所述对所述初始肋骨中心线进行肋骨标签的标记，得到已标记的肋骨中心线，包括：

根据人体解剖结构设置至少一个辅助定位点；

基于第一端点和所述辅助定位点构建坐标距离矩阵；所述第一端点为所述初始肋骨中心线的靠近所述辅助定位点一端的端点；

基于所述坐标距离矩阵对所述第一端点与所述辅助定位点满足第一预设约束条件的概率进行动态规划，得到全局最优的肋骨中心线标记结果；所述第一预设约束条件包括所述辅助定位点与所述第一端点的距离约束、相邻肋骨中心线间的距离约束以及相邻肋骨的所述第一端点与所述辅助定位点连线的平行关系约束；

根据所述肋骨中心线标记结果对所述初始肋骨中心线进行标记，得到所述已标记的肋骨中心线。

2.根据权利要求1所述的方法，其特征在于，所述得到已标记的肋骨中心线之后，还包括：

在肋骨预设生长范围内搜寻是否存在未标记的肋骨中心线线段；

若存在，则对所述已标记的肋骨中心线与所述未标记的肋骨中心线线段满足第二预设约束条件的概率进行动态规划，得到全局最优的匹配结果；

根据所述匹配结果得到拼接后的肋骨中心线。

3.根据权利要求1所述的方法，其特征在于，所述基于第一端点和所述辅助定位点构建坐标距离矩阵之前，还包括：

对所述肋骨中心线分割结果进行骨架化操作，得到所述初始肋骨中心线；

根据所述初始肋骨中心线上像素点的坐标和连通关系得到所述像素点的顺序和方向；

根据所述像素点的顺序和方向确定所述第一端点在所述初始肋骨中心线上的位置。

4.一种肋骨标记方法，其特征在于，包括：

获取待识别图像；

将所述待识别图像输入图像分割模型得到分割结果；所述图像分割模型是基于样本图像以及相应的肋骨标签、肋骨中心线标签进行深度学习训练得到的深度学习模型，所述图像分割模型能够同时分割肋骨和肋骨中心线，所述分割结果包括肋骨分割结果和肋骨中心线分割结果；所述肋骨中心线分割结果包括初始肋骨中心线；

基于所述分割结果进行肋骨排序和标记；所述基于所述分割结果进行肋骨排序和标记，包括：

对所述初始肋骨中心线进行肋骨标签的标记，得到已标记的肋骨中心线；基于所述肋骨分割结果和所述已标记的肋骨中心线对肋骨进行肋骨标签标记，得到已标记的肋骨；

所述基于所述肋骨分割结果和所述已标记的肋骨中心线对肋骨进行肋骨标签标记，包括：

计算所述已标记的肋骨中心线在分割结果上的距离场；

根据距离场计算结果，确定与所述肋骨分割结果上像素点的距离最近的肋骨中心线为目标肋骨中心线；

根据所述目标肋骨中心线对应的所述肋骨标签标记所述肋骨分割结果上的像素点。

5.一种肋骨标记装置，其特征在于，包括：

图像获取模块，用于获取待识别图像；

图像处理模块，用于将所述待识别图像输入图像分割模型得到分割结果；所述图像分割模型是基于样本图像以及相应的肋骨标签、肋骨中心线标签进行机器学习或深度学习训练得到的深度学习模型，所述图像分割模型能够同时分割肋骨和肋骨中心线，所述分割结果包括肋骨分割结果和肋骨中心线分割结果；所述肋骨中心线分割结果包括初始肋骨中心线；

肋骨标记模块，用于基于所述分割结果进行肋骨排序和标记；所述肋骨标记模块包括：

肋骨中心线标记模块，用于对所述初始肋骨中心线进行肋骨标签的标记，得到已标记的肋骨中心线；

肋骨标签标记模块，用于基于所述肋骨分割结果和所述已标记的肋骨中心线对肋骨进行肋骨标签标记，得到已标记的肋骨；

所述肋骨中心线标记模块包括：

辅助定位点设置模块，用于根据人体解剖结构设置至少一个辅助定位点；

矩阵构建模块，用于基于第一端点和所述辅助定位点构建坐标距离矩阵；所述第一端点为所述初始肋骨中心线的靠近所述辅助定位点一端的端点；

第一计算模块，用于基于所述坐标距离矩阵对所述第一端点与所述辅助定位点满足第一预设约束条件的概率进行动态规划，得到全局最优的肋骨中心线标记结果；所述第一预设约束条件包括所述辅助定位点与所述第一端点的距离约束、相邻肋骨中心线间的距离约束以及相邻肋骨的所述第一端点与所述辅助定位点连线的平行关系约束；

初始肋骨中心线标记模块，用于根据所述肋骨中心线标记结果对所述初始肋骨中心线进行标记，得到所述已标记的肋骨中心线。

6.一种肋骨标记装置，其特征在于，包括：

图像获取模块，用于获取待识别图像；

图像处理模块，用于将所述待识别图像输入图像分割模型得到分割结果；所述图像分割模型是基于样本图像以及相应的肋骨标签、肋骨中心线标签进行深度学习训练得到的深度学习模型，所述图像分割模型能够同时分割肋骨和肋骨中心线，所述分割结果包括肋骨分割结果和肋骨中心线分割结果；所述肋骨中心线分割结果包括初始肋骨中心线；

肋骨标记模块，用于基于所述分割结果进行肋骨排序和标记；所述肋骨标记模块包括：

肋骨中心线标记模块，用于对所述初始肋骨中心线进行肋骨标签的标记，得到已标记的肋骨中心线；

肋骨标签标记模块，用于基于所述肋骨分割结果和所述已标记的肋骨中心线对肋骨进行肋骨标签标记，得到已标记的肋骨；

所述肋骨标签标记模块包括：

距离场计算模块，用于计算所述已标记的肋骨中心线在分割结果上的距离场；

目标肋骨中心线确定模块，用于根据距离场计算结果，确定与所述肋骨分割结果上像素点的距离最近的肋骨中心线为目标肋骨中心线；

标签设置模块，用于根据所述目标肋骨中心线对应的所述肋骨标签标记所述肋骨分割结果上的像素点。

7.一种肋骨标记设备，其特征在于，所述设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如权利要求1至3任一项所述的肋骨标记方法或权利要求4所述的肋骨标记方法。

8.一种计算机可读存储介质，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如权利要求1至3任一项所述的肋骨标记方法或权利要求4所述的肋骨标记方法。

Images