CN109859233B

CN109859233B - 图像处理、图像处理模型的训练方法及系统

Info

Publication number: CN109859233B
Application number: CN201811626399.9A
Authority: CN
Inventors: 唐章源; 王誉; 吴迪嘉; 詹翊强
Original assignee: Shanghai United Imaging Intelligent Healthcare Co Ltd
Current assignee: Shanghai United Imaging Intelligent Healthcare Co Ltd
Priority date: 2018-12-28
Filing date: 2018-12-28
Publication date: 2020-12-11
Anticipated expiration: 2038-12-28
Also published as: CN109859233A

Abstract

本发明公开了一种图像处理、图像处理模型的训练方法及系统，其中，所述图像处理方法包括：获取待检测图像；将所述待检测图像输入神经网络模型进行处理，得到骨骼分割结果、骨骼中心线分割结果和骨骼骨折检测结果；其中，所述神经网络模型是基于训练图像进行机器训练学习确定的。本发明采用训练好的深度学习网络同时实现骨骼分割，骨骼中心线分割和骨骼骨折检出功能，可以使总耗时缩短百分之五十，模型节省内存空间百分之四十，同时可以帮助医生减轻读片负担，加快读片时间，降低漏诊概率，降低医患矛盾。

Description

图像处理、图像处理模型的训练方法及系统

技术领域

本发明涉及图像处理技术领域，尤其涉及一种图像处理、图像处理模型的训练方法及系统。

背景技术

随着时代的发展，各种因车祸跌倒等意外事故原因造成的胸部外伤时常发生，骨骼骨折(比如肋骨骨折)是常见现象，X线平片对骨骼骨折显示敏感度较低，且难以清晰显示胸部及胸壁其他病变，故CT是胸部疾病的首选影像检查方式，常作为胸部外伤受访者，尤其是骨骼外伤后责任鉴定的重要手段。骨骼骨折虽然大部分危害不大，但是由于司法鉴定对肋骨骨折个数有不同的量刑，而且部分骨骼骨折表现隐匿，微小骨骼骨折容易漏诊，极易产生纠纷。

由于骨骼，比如肋骨解剖形态独特，对骨骼骨折的评价需要参考多个CT横断层，并进行反复的观察，耗时耗力的过程。另一方面，临床骨折分析需要鉴定骨折出现的骨骼部位，所以需要对骨骼进行分割和标签化。

现有的骨骼分割和骨骼骨折检出都是分开处理，比如可通过用户手动设置合适阈值，确定肋骨的大致范围，之后用区域生长或者分水岭算法的填充空洞和平滑边界的方法，或通过机器学习的方法，或结合肋骨的纹理特征和灰度特征实现骨骼分割，比如可根据用户的医学知识，采用软件逐层的查看肋骨的特征，以此判断是否为骨折或通过机器学习的方法实现骨折检出，现有的这种骨骼分割和骨骼骨折检出分开处理的过程，操作复杂，且耗时较长。

因此，提出一种图像处理、图像处理模型的训练方法及系统，以解决上述问题，显得格外重要。

发明内容

为了解决现有技术中的骨骼分割和骨骼骨折检出分开处理，导致的操作复杂，耗时较长的问题，本发明提供了一种图像处理、图像处理模型的训练方法及系统。

为了解决上述技术问题，第一方面，本发明提供了一种图像处理方法，所述方法包括：

获取待检测图像；

将所述待检测图像输入神经网络模型进行处理，得到骨骼分割结果、骨骼中心线分割结果和骨骼骨折检测结果；

其中，所述神经网络模型是基于训练图像进行机器训练学习确定的。

进一步地，所述将所述待检测图像输入神经网络模型进行处理，得到骨骼分割结果、骨骼中心线分割结果和骨骼骨折检测结果，包括：

将所述待检测图像输入所述神经网络模型进行网络前向传播计算；

在第m次下采样编码之后，插入m次上采样编码，得到所述骨骼骨折检测结果；

继续进行下采样编码，在第n次下采样编码之后，进行n次上采样编码，得到所述骨骼分割结果和所述骨骼中心线分割结果；

其中，m小于n，且m、n为正整数。

进一步地，述将所述待检测图像输入神经网络模型进行处理，得到骨骼分割结果、骨骼中心线分割结果和骨骼骨折检测结果之后，还包括：

根据预设阈值对所述骨骼分割结果、骨骼中心线分割结果和骨骼骨折检测结果分别进行二值化处理：

对二值化处理后的所述骨骼分割结果、骨骼中心线分割结果和骨骼骨折检测结果分别进行连通域标记，得到多标记的图像；

根据预设阈值统计所述多标记图像中每一个标记的像素个数，得到高分辨率下的骨骼分割掩膜、骨骼中心线掩膜和每一处骨折在所述待检测图像中的位置坐标。

第二方面，本发明提供了一种处理图像处理模型的训练方法，所述方法包括：

获取训练图像；

基于所述训练图像训练神经网络模型；

其中，经训练的神经网络模型被配置为能够根据输入的图像同时输出骨骼分割结果、骨骼中心线分割结果和骨骼骨折检测结果。

进一步地，所述基于所述训练图像训练神经网络模型包括：

将所述训练图像输入预设的神经网络进行骨骼分割训练和骨骼中心线分割训练，并固定训练过程中的参数，得到骨骼分割模块和骨骼中心线分割模块；

继续通过所述预设的神经网络对所述训练图像进行骨骼骨折检测训练，并固定训练过程中的参数，得到骨骼骨折检测模块。

第三方面，本发明提供了一种处理图像处理系统，所述系统包括：

待检测图像获取模块，用于获取待检测图像；

待检测图像处理模块，用于将所述待检测图像输入神经网络模型进行处理，得到骨骼分割结果、骨骼中心线分割结果和骨骼骨折检测结果；

进一步地，所述待检测图像处理模块块包括：

第一获取单元，用于将所述待检测图像输入所述神经网络模型进行网络前向传播计算，在第m次下采样编码之后，插入m次上采样编码，得到所述骨骼骨折检测结果；

第二获取单元，用于继续进行下采样编码，在第n次下采样编码之后，进行n次上采样编码，得到所述骨骼分割结果和所述骨骼中心线分割结果；

其中，m小于n，且m、n为正整数。

进一步地，所述系统还包括后处理模块，所述后处理模块用于：

第四方面，本发明提供了一种图像处理模型的训练系统，所述系统包括：

训练图像获取模块，用于获取训练图像；

模型训练模块，用于基于所述训练图像训练神经网络模型；

进一步地，所述模型训练模块包括第一训练单元和第二训练单元，

所述第一训练单元，用于将所述训练图像输入预设的神经网络进行骨骼分割训练和骨骼中心线分割训练，并固定训练过程中的参数，得到骨骼分割模块和骨骼中心线分割模块；

所述第二训练单元，用于继续通过所述预设的神经网络对所述训练图像进行骨骼骨折检测训练，并固定训练过程中的参数，得到骨骼骨折检测模块。

本发明实施例提供的图像处理、图像处理模型的训练方法及系统，具有如下有益效果：

(1)在骨骼分析网络中，骨骼骨折的正反样本比远远大于骨骼的正负样本比。这种情况下，将这两个任务同时进行单一网络训练，会导致损耗函数极难收敛。本发明采用先训练骨骼分割和骨骼中心线分割，在通过迁移学习的方式，固定已经训练好的参数，再训练骨骼骨折检测，可以使损耗函数快速收敛，解决多任务模型下不同任务之间数据极其不平衡的情况；

(2)本发明采用训练好的深度学习网络实现骨骼分割，骨骼中心线分割和骨骼骨折检出功能，与骨骼分割、骨骼中心线分割和骨骼骨折检测三个过程单独进行相比，网络实现三个过程可以使总耗时缩短百分之五十，模型节省内存空间百分之四十；

(3)本发明采用人工智能的方式实现骨骼中心线(比如肋骨中心线)的提取以及骨折检测，骨骼检出率为90％以上，骨骼中心线的分割可以帮助我们进行肋骨标签化以及展开等可视化后处理，帮助医生更容易看清肋骨病灶；

(4)本发明肋骨分割、肋骨中心线和肋骨骨折检出集成在一个深度学习网络，可以帮助医生减轻读片负担，加快读片时间，降低漏诊概率，降低医患矛盾。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的图像处理方法的一种流程示意图；

图2是本发明实施例提供的将待检测图像输入神经网络模型进行处理，得到骨骼分割结果、骨骼中心线分割结果和骨骼骨折检测结果的流程示意图；

图3是本发明实施例提供的神经网络模型结构框图；

图4是本发明实施例提供的图像处理方法的另一种流程示意图；

图5是本发明实施例提供的图像处理的工作原理框图；

图6是本发明实施例提供的待检测图像的横断面、矢状面和冠状面截图；

图7是将图6中的待检测图像进行图像处理的分析结果示意图；

图8是本发明实施例提供的图像处理模型的训练方法的一种流程示意图；

图9是本发明实施例提供的基于训练图像训练神经网络模型的流程示意图；

图10是本发明实施例提供的图像处理模型的训练方法的另一种流程示意图；

图11是本发明实施例提供的图像处理系统的一种结构框图；

图12是本发明实施例提供的图像处理系统的另一种结构框图；

图13是本发明实施例提供的图像处理模型的训练系统的一种结构框图；

图14是本发明实施例提供的图像处理模型的训练系统的另一种结构框图；

图15是本发明实施例提供的图像处理系统的另一种结构框图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本申请所提供的几个实施例中，所描述的系统实施例仅仅是示意性的，例如所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，模块或单元的间接耦合或通信连接，可以是电性或其它的形式。

所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

实施例1

如图1所示，本发明实施例提供了一种图像处理方法，所述方法包括：

S110.获取待检测图像。

本实施例中，在获取待检测图像之后，还包括对所述待检测图像进行预处理的步骤，所述预处理包括；

对所述待检测图像进行重采样处理，将待检测图像将采样为指定分辨率图像；

随机从重采样处理后的图像中取出一个图像块；

对该图像块进行归一化处理，使图像的灰度分布控制在一个指定范围内，如0-1之间。

S120.将所述待检测图像输入神经网络模型进行处理，得到骨骼分割结果、骨骼中心线分割结果和骨骼骨折检测结果；

其中，所述神经网络模型是基于训练图像进行机器训练学习确定的，具体为使基于训练图像以及相应的骨骼标签、骨骼中线线标签、骨骼骨折标签进行机器训练学习确定的。

本实施例中，具体是在待检测图像块中选取图像块，形成待检测图像块，将该待检测图像块输入神经网络模型进行处理。

本实施例中采用改进或优化的神经网络模型进行图像处理，主要通过耦合下采样编码模块和多分支上采样解码模块实现分割与检测功能，如图2所示，

S120具体包括以下步骤：

S1210.将所述待检测图像(具体为待检测图像块)输入所述神经网络模型进行网络前向传播计算；

S1220.在第m次下采样编码之后，插入m次上采样编码，得到所述骨骼骨折检测结果；

S1230.继续进行下采样编码，在第n次下采样编码之后，进行n次上采样编码，得到所述骨骼分割结果和所述骨骼中心线分割结果；

其中，m小于n，且m、n为正整数。

S130.对所述骨骼分割结果、骨骼中心线分割结果和骨骼骨折检测结果进行后处理；

S130具体包括以下步骤：

S1310.根据预设阈值对所述骨骼分割结果、骨骼中心线分割结果和骨骼骨折检测结果分别进行二值化处理；

比如，以结果为概率图为例进行说明，根据预设阈值对概率图进行处理，得到二值化掩膜，设置阈值为0.5，将掩膜中大于或等于预设阈值的概率值置为1，其余置为0，即将二值化掩膜中值为1的概率值保留下来，而掩膜中值为0的位置对应的概率值变为0；

S1320.对二值化处理后的所述骨骼分割结果、骨骼中心线分割结果和骨骼骨折检测结果分别进行连通域标记，得到多标记的图像；

该步骤中，以结果为概率图为例进行说明，二值化处理后的图像中设置有多个连通域，对该连通域进行标记，从而得到多标记的图像；

S1330.根据预设阈值统计所述多标记图像中每一个标记的像素个数，得到高分辨率下的骨骼分割掩膜、骨骼中心线掩膜和每一处骨折在所述待检测图像中的位置坐标；

该步骤中，对标记的连通域中的像素个数进行统计，将像素个数小于预设阈值的标记置为0，大于或等于预设阈值的标记置为1，该步骤中的阈值与S1310中的阈值不相同。

本实施例中，对待检测图像进行图像块操作，采用图像块进行处理而不是整个原图，主要是考虑到图形处理器(GPU)显存的限制，并且以部分图像进行处理可视作一种正则化手段能够提高图像处理的效率和精度。

本实施例中的神经网络，优选为经过改进和优化的V-Net网络，当然并不限于V-Net网络，也可以为其他卷积神经网络等。本实施例中的骨骼，优选为肋骨，也可以为椎骨、四肢骨或骶骨。本实施例中的经神经网络模型输出的分割结果或检测结果，优选为概率图，也可以为坐标图等。

V-Net网络的核心包括图像进行n次下采样编码通道，之后再n次上采样编码通道，最后采用softmax对像素进行分类。图3所示为本实施例中的神经网络模型结构，图3中输入的数据为3D的医学图像，实线箭头为网络路径方向，虚线过程为数据的拼接过程，每一个模块后面的第一个参数是输入通道，第二个是输出通道，模块里面采用的结构为残差网络或者瓶颈网络或者密集网络结构。本实施例对V-Net进行改进和优化，得到优化后的神经网络模型，通过该神经网络模型进行图像处理，即在V-Net第m次(m小于n)下采样之后，插入m次上采和二分类的softmax(归一化指数函数)模块，输出肋骨骨折的检测；在第n次下采样之后，再进行n次上采样，最后采用三分类的softmax模块，输出肋骨分割和肋骨中心线分割。上述改进和优化可以很好的实现分割检测于一个网络。之所以需要m小于n，是因为肋骨分割需要更大的可视野范围确定是否为肋骨，而骨折需要更局部的特征来判断。而共享下采样编码通道参数的原因除了时间更快、内存更小之外，检测与分割的目标有共同的特征可以提取，比如肋骨边缘信息和骨皮质扭曲的信息有共同的特征，这些特征对于肋骨分割和骨折检测都有作用。

实施例2

如图4所示，本发明实施例提供了另一种图像处理方法，所述方法包括：

S210.获取待检测图像。

该步骤与S110相同，在此不再累赘。

S220.将所述待检测图像输入神经网络模型进行处理，得到骨骼分割结果、骨骼中心线分割结果和骨骼骨折检测结果；其中，所述神经网络模型是基于训练图像进行机器训练学习确定的，其包括粗网络模型和细网络模型。

本实施例中神经网络模型具体为使基于训练图像以及相应的骨骼标签、骨骼中线线标签、骨骼骨折标签进行机器训练学习确定的。本实施例中的粗网络模型主要用于对待检测图像进行定位处理，提高后续图像处理的精度。

本实施例中的神经网络，可以为经过改进和优化的V-Net网络，当然并不限于V-Net网络，也可以为其他卷积神经网络等。本实施例中的骨骼，可以为肋骨，也可以为椎骨、四肢骨或骶骨。本实施例中的经神经网络模型输出的分割结果或检测结果，可以为概率图，也可以为坐标图等。

本实施例中的神经网络优选地为改进和优化的V-Net网络，骨折优选地为肋骨，分割结果或检测结果优选地为概率图。

S220进一步包括：

S2210.将所述待检测图像(具体为待检测图像块)输入所述粗网络模型进行网络前向传播计算，得到肋骨分布概率图；

其中，粗网络模型前向过程多个隐藏层，每个隐藏层包含卷积层和激励层，本实施例中的粗网络模型的网络结构采用的积层公式如下：

y^l＝w^l*x^l-1+b^l；

其中l表示第l个层隐藏层，y表示卷积的输出，x表示卷积的输入，w和b为训练好的参数。

激励层采用ReLU，具体的公式如下：

其中z表示激励层的输出，x表示激励层的输入，i表示数据向量的下标。

S2220.对所述肋骨分布概率图进行后处理，得到低分辨率(即较粗分辨率)下的肋骨分割掩膜，对所述低分辨率下的肋骨分割掩膜标记目标边框，得到定位区域；

该步骤具体包括：通过预设阈值对所述肋骨分布概率图进行二值化处理，去除小于预设阈值的连通域，对大于或等于预设阈值的连通域做框选操作，即用一个边框将大于或等于预设阈值的连通域框起来；

S2230.将所述目标边框内图像输入所述细网络模型进行网络前向传播计算，得到肋骨概率图、肋骨中心线概率图和肋骨骨折概率图；

该步骤具体包括：

截取所述目标边框内图像；

对所述目标表框内图像进行预处理，该预处理方法与待检测图像的预处理方法相似，在此不再累赘；

将所述目标边框内图像输入所述细网络模型进行网络前向传播计算；

在第m次下采样编码之后，插入m次上采样编码，得到所述肋骨骨折概率图；

继续进行下采样编码，在第n次下采样编码之后，进行n次上采样编码，得到所述肋骨概率图和所述肋骨中心线概率图，其中，m小于n，且m、n为正整数。

其中，细网络模型进行网络前向传播过程与粗模型的相同，所不同的是数据的分辨率不同(比如，粗模型和细模型的分辨率分别为4mm和1mm)、网络参数不同。

S230.对所述肋骨概率图、肋骨中心线概率图和肋骨骨折概率图进行后处理；

该步骤具体包括：

S2310.根据预设阈值对所述肋骨概率图、所述肋骨中心线概率图和所述肋骨骨折概率图分别进行二值化处理，比如设置阈值为0.5，将概率图中大于或等于预设阈值的概率值置为1，其余置为0：

S2320.对二值化处理后的概率图进行连通域标记，得到多标记的图像，将多标记的图像，统计每一个标记的像素个数；

S2310.根据预设阈值统计对所述多标记图像中每一个标记的像素个数进行处理(比如，将像素个数小于预设阈值的标记置为0，大于或等于预设阈值的标记置为1)，得到高分辨率下的肋骨分割掩膜、肋骨中心线掩膜和每一处骨折在所述待检测图像中的位置坐标。

本实施例中，将神经网络模型分为细网络模型和粗网络模型，粗网络模型用于对待检测图像进行定位，细网络模型用于对待检测图像进行处理，其中，粗网络模型在低分辨率(比如分辨率为4mm)下训练得到的，细网络模型是在高分辨率(比如分辨率为1mm)下训练得到的。本实施例在对待检测图像进行处理之前，加入一个粗模型定位步骤，可以提高后续图像处理的精度。

图5所示为本实施例进行图像处理(以肋骨为例进行说明)的工作原理框图，图6所示为本实施例中的待检测图像的横断面、矢状面和冠状面截图，从图中可以看到有一处骨折(图5中虚线圆圈内)，将该待检测图像按照图5所示的流程进行分析，输出的结果如图7所示，其中白色亮点区域为肋骨中心线分割结果、灰色为肋骨分割结果，白色虚线矩形边框为骨折检测结果框。

实施例3

如图8所示，本实施例公开了一种图像处理模型的训练方法，该训练方法用于训练实施例1中的神经网络模型，该方法包括：

S310.获取训练图像；

对所述训练图像进行降采样处理，将训练图像将采样为指定分辨率图像；

随机从降采样处理后的图像中取出一个图像块；

本实施例中，对图像进行图像块操作，采用图像块训练而不是整个训练图像进行训练，主要是考虑到图形处理器(GPU)显存的限制，并且以图像块训练可视作一种正则化手段，使得模型性能更优。

S320.基于所述训练图像训练神经网络模型，其中，经训练的神经网络模型被配置为能够根据输入的图像同时输出骨骼分割结果、骨骼中心线分割结果和骨骼骨折检测结果；

如图9所示，该步骤具体包括：

S3210.将所述训练图像输入预设的神经网络进行骨骼分割训练和骨骼中心线分割训练，并固定训练过程中的参数，得到骨骼分割模块和骨骼中心线分割模块；

S3220.继续通过所述预设的神经网络对所述训练图像进行骨骼骨折检测训练，并固定训练过程中的参数，得到骨骼骨折检测模块。

本实施例基于训练图像训练神经网络模型，经训练的神经网络模型具备同时输出骨骼分割结果、骨骼中心线分割结果和骨骼骨折检测结果的功能。而在神经网络模型训练过程中，本实施例先进行骨骼分割训练和骨骼中心线分割训练(训练路径为图3中输入模块_1_16、下采样模块_16_32、下采样模块_32_64、下采样模块_64_128、下采样模块_128_256、上采样模块_256_256、上采样模块_256_128、上采样模块_128_64、上采样模块_64_32、输出模块_32_3)，再采用迁移学习，固定分割模块的参数，继续进行骨骼骨折检测训练(图3中上采样模块_64_64、上采样模块_64_32、输出模块_32_2)。本实施例之所以要先训练分割模块再训练检测模块，是因为分割模块的分割信息与周围环境的信息差异较大，训练过程的损耗(Loss)可以更加快的到达较低值；检测模块的部分检测信息与周围环境信息差异不大，比如骨皮质扭曲和轻微性骨折，训练过程的Loss需要更多时间才能到达较低值。而采用先训练较易训练的分割模块再训练较难训练的检测模块，可以加快检测模块的Loss较快到达较低值，因为已经训练好了部分参数，剩下需要训练的参数变少，所以Loss可以更快达到较低值。经过多次迭代，待训练的Loss较低时，保存训练模型文件。

在本实施例中，S3210中预设的神经网络模型优选为经过改进和优化的V-Net网络，当然并不限于V-Net网络，也可以为其他卷积神经网络。优选为V-Net网络本实施例中经训练的神经网络模型被配置为能够根据输入的图像同时输出骨骼分割结果、骨骼中心线分割结果和骨骼骨折检测结果，其中，骨骼，优选为肋骨，也可以为椎骨、四肢骨或骶骨。本实施例中的分割结/检测结果，优选为概率图，也可以为坐标图等。

实施例4

如图10所示，本实施例公开了另一种图像处理模型的训练方法，该训练方法用于训练实施例2中的神经网络模型，该方法包括：

S410.获取训练图像；

该步骤获取训练图像的步骤与实施例3中的相同，在此不再累赘。

S420.基于所述训练图像训练神经网络模型；

其中，经训练的神经网络模型被配置为能够根据输入的图像同时输出骨骼概率图、骨骼中心线概率图和骨骼骨折概率图，且经训练的神经网络模型包括粗网络模型和细网络模型，所述粗网络模型用于所述细网络模型的定位。

该步骤具体包括：

S4210.在低分辨率下，将所述训练图像输入预设的神经网络进行骨骼分割训练和骨骼中心线分割训练，并固定训练过程中的参数，得到粗网络模型；

S4220.在高分辨率下，继续通过所述预设的神经网络对所述训练图像进行骨骼分割训练和骨骼中心线分割训练，并固定训练过程中的参数，接着对所述训练图像进行骨骼骨折检测训练，并固定训练过程中的参数，得到细网络模型。

本实施例在模型训练时，需要训练两个模型，即训练图像输入后，先在低分辨率下训练得到粗网络模型文件，接着再在高分辨率下进行训练得到细网络模型文件。其中，粗网络模型只训练骨骼分割，其仅包括骨骼分割模块，用于后续细网络模型分割和检测的定位，能够提高细网络模型训练的效率和精度，细网络模型需要训练骨骼分割模块、骨骼中心线分割模块和骨骼骨折检测模块这三个模块。

在本实施例中，S4210中预设的神经网络模型优选为经过改进和优化的V-Net网络，当然并不限于V-Net网络，也可以为其他卷积神经网络。本实施例中经训练的神经网络模型被配置为能够根据输入的图像同时输出骨骼分割结果、骨骼中心线分割结果和骨骼骨折检测结果，其中，骨骼，优选为肋骨，也可以为椎骨、四肢骨或骶骨。本实施例中的分割结/检测结果优选为概率图，也可以为坐标图等。

实施例5

如图11所示，本实施例提供了一种图像处理系统，所述系统包括：

待检测图像获取模块510，用于获取待检测图像；

待检测图像处理模块520，用于将所述待检测图像输入神经网络模型进行处理，得到骨骼分割结果、骨骼中心线分割结果和骨骼骨折检测结果；

进一步地，所述待检测图像处理模块520进一步包括：

第一获取单元5210，用于将所述待检测图像输入所述神经网络模型进行网络前向传播计算，在第m次下采样编码之后，插入m次上采样编码，得到所述骨骼骨折检测结果；

第二获取单元5220，用于继续进行下采样编码，在第n次下采样编码之后，进行n次上采样编码，得到所述骨骼分割结果和所述骨骼中心线分割结果；

其中，m小于n，且m、n为正整数。

后处理模块530，用于根据预设阈值对所述骨骼分割结果、骨骼中心线分割结果和骨骼骨折检测结果分别进行二值化处理；对二值化处理后的所述骨骼分割结果、骨骼中心线分割结果和骨骼骨折检测结果分别进行连通域标记，得到多标记的图像；根据预设阈值统计所述多标记图像中每一个标记的像素个数，得到高分辨率下的骨骼分割掩膜、骨骼中心线掩膜和每一处骨折在所述待检测图像中的位置坐标。

需要说明的是，本实施例中的图像处理系统是与实施例1中的图像处理方法相对应的，具体的分析原理和过程，请参考实施例1中的描述。

实施例6

如图12所示，本实施例提供了一种图像处理系统，所述系统包括：

待检测图像获取模块610，用于获取待检测图像；

待检测图像处理模块620，用于将所述待检测图像输入神经网络模型进行处理，得到骨骼分割结果、骨骼中心线分割结果和骨骼骨折检测结果；其中，所述神经网络模型是基于训练图像进行机器训练学习确定的，其包括粗网络模型和细网络模型；

其中待检测图像处理模块620进一步包括：

粗网络模型处理单元6210，用于将所述待检测图像(具体为待检测图像块)输入所述粗网络模型进行网络前向传播计算，得到肋骨分布概率图；

定位区域获取单元6220，用于对所述肋骨分布概率图进行后处理，得到低分辨率(即较粗分辨率)下的肋骨分割掩膜，对所述低分辨率下的肋骨分割掩膜标记目标边框，得到定位区域；

细网络模型处理单元6230，用于将所述目标边框内图像输入所述细网络模型进行网络前向传播计算，得到肋骨概率图、肋骨中心线概率图和肋骨骨折概率图。

后处理模块630，用于根据预设阈值对所述骨骼分割结果、骨骼中心线分割结果和骨骼骨折检测结果分别进行二值化处理；对二值化处理后的所述骨骼分割结果、骨骼中心线分割结果和骨骼骨折检测结果分别进行连通域标记，得到多标记的图像；根据预设阈值统计所述多标记图像中每一个标记的像素个数，得到高分辨率下的骨骼分割掩膜、骨骼中心线掩膜和每一处骨折在所述待检测图像中的位置坐标。需要说明的是，本实施例中的图像处理系统是与实施例2中的图像处理方法相对应的，具体的分析原理和过程，请参考实施例2中的描述。

实施例7

如图13所示，本实施例公开了一种图像处理模型的训练系统，所述系统包括：

训练图像获取模块710，用于获取训练图像；

模型训练模块720，用于基于所述训练图像训练神经网络模型；

其中，经训练的神经网络模型被配置为能够根据输入的图像同时输出骨骼分割结果、骨骼中心线分割结果和骨骼骨折检测结果；

模型训练模块720进一步包括：

所述第一训练单元7210，用于将所述训练图像输入预设的神经网络进行骨骼分割训练和骨骼中心线分割训练，并固定训练过程中的参数，得到骨骼分割模块和骨骼中心线分割模块；

所述第二训练单元7220，用于继续通过所述预设的神经网络对所述训练图像进行骨骼骨折检测训练，并固定训练过程中的参数，得到骨骼骨折检测模块。

需要说明的是，本实施例中的图像处理模型的训练系统是与实施例3中的图像处理模型的训练方法相对应的，具体的分析原理和过程，请参考实施例3中的描述。

实施例8

如图14所示，本实施例提供了另一种图像处理模型的训练系统，所述系统包括：

训练图像获取模块810，用于获取训练图像；

模型训练模块820，用于基于所述训练图像训练神经网络模型；

其中，经训练的神经网络模型被配置为能够根据输入的图像同时输出骨骼概率图、骨骼中心线概率图和骨骼骨折概率图，且经训练的神经网络模型包括粗网络模型和细网络模型，所述粗网络模型用于所述细网络模型的定位；

模型训练模块820进一步包括：

粗网络模型训练单元8210，用于在低分辨率下，将所述训练图像输入预设的神经网络进行骨骼分割训练和骨骼中心线分割训练，并固定训练过程中的参数，得到粗网络模型；

细网络模型训练单元8220，用于在高分辨率下，继续通过所述预设的神经网络对所述训练图像进行骨骼分割训练和骨骼中心线分割训练，并固定训练过程中的参数，接着对所述训练图像进行骨骼骨折检测训练，并固定训练过程中的参数，得到细网络模型。

需要说明的是，本实施例中的图像处理模型的训练系统是与实施例4中的图像处理模型的训练方法相对应的，具体的分析原理和过程，请参考实施例4中的描述。

实施例9

如图15所示，本实施例公开了另一种图像处理系统，该系统包括：

图像获取模块910，用于获取训练图像和待检测图像；

模型训练模块920，基于所述训练图像训练神经网络模型，其中，经训练的神经网络模型被配置为能够根据输入的图像输出多种类型的分析结果；

待检测图像处理模块930，用于将所述待检测图像输入经训练的神经网络模型进行处理，得到骨骼分割结果、骨骼中心线分割结果和骨骼骨折检测结果。

本实施例中将实施例5-8中的图像处理系统和图像处理模型的训练系统结合在一起形成一个整体，具体的工作原理和过程请参考实施例5-8中的描述。

需要说明的是：上述本发明实施例先后顺序仅仅为了描述，不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims

1.一种图像处理方法，其特征在于，所述方法包括：

获取待检测图像；

将所述待检测图像输入神经网络模型进行处理，得到骨骼分割结果、骨骼中心线分割结果和骨骼骨折检测结果；其中，所述神经网络模型是基于训练图像进行机器训练学习确定的；

所述神经网络模型包括粗网络模型和细网络模型，则所述将所述待检测图像输入神经网络模型进行处理，得到骨骼分割结果、骨骼中心线分割结果和骨骼骨折检测结果，包括：

将所述待检测图像输入所述粗网络模型进行骨骼分割和骨骼中心线分割处理，得到骨骼分布结果；

从所述骨骼分布结果中确定出定位区域；

将所述定位区域，输入所述细网络模型进行网络前向传播计算；在第m次下采样编码之后，插入m次上采样编码，基于第一归一化函数得到所述骨骼骨折检测结果；在m次下采样编码的基础上，继续进行下采样编码，在下采样编码的总次数达到n次之后，进行n次上采样编码，基于第二归一化函数得到所述骨骼分割结果和所述骨骼中心线分割结果，其中，m小于n，且m、n为正整数。

2.根据权利要求1所述的方法，其特征在于，所述将所述待检测图像输入神经网络模型进行处理，得到骨骼分割结果、骨骼中心线分割结果和骨骼骨折检测结果之后，还包括：

根据预设阈值统计所述多标记的图像中每一个标记的像素个数，得到高分辨率下的骨骼分割掩膜、骨骼中心线掩膜和每一处骨折在所述待检测图像中的位置坐标。

3.一种图像处理模型的训练方法，其特征在于，所述方法包括：

获取训练图像；

基于所述训练图像训练神经网络模型；其中，经训练的神经网络模型被配置为能够根据输入的图像同时输出骨骼分割结果、骨骼中心线分割结果和骨骼骨折检测结果；

经训练的神经网络模型包括粗网络模型和细网络模型，则所述基于所述训练图像训练神经网络模型包括：

在第一分辨率下，将所述训练图像输入预设的神经网络进行骨骼分割训练和骨骼中心线分割训练，得到用于定位的粗网络模型，所述粗网络模型包括骨骼分割模块；

在第二分辨率下，继续通过所述预设的神经网络对所述训练图像进行骨骼分割训练和骨骼中心线分割训练，并固定骨骼分割训练和骨骼中心线分割训练过程中的网络参数，接着对所述训练图像进行骨骼骨折检测训练，并固定骨骼骨折检测训练过程中的网络参数，得到包括骨骼分割模块、骨骼中心线分割模块和骨骼骨折检测模块的细网络模型，所述细网络模型用于在第一采样编码通道对所述训练图像进行骨骼骨折检测处理，并用于在第二采样编码通道对所述训练图像进行骨骼分割处理和骨骼中心线分割处理，所述第一采样编码通道和所述第二采样编码共享部分下采样编码通道；所述第二分辨率大于所述第一分辨率。

4.一种图像处理系统，其特征在于，所述系统包括：

待检测图像获取模块，用于获取待检测图像；

其中，所述神经网络模型是基于训练图像进行机器训练学习确定的；

所述神经网络模型包括粗网络模型和细网络模型，则所述待检测图像处理模块包括：

粗网络模型处理单元，用于将所述待检测图像输入所述粗网络模型进行骨骼分割和骨骼中心线分割处理，得到骨骼分布结果；

定位区域获取单元，用于从所述骨骼分布结果中确定出定位区域；

细网络模型处理单元，用于将所述定位区域，输入所述细网络模型进行网络前向传播计算；在第m次下采样编码之后，插入m次上采样编码，基于第一归一化函数得到所述骨骼骨折检测结果；在m次下采样编码的基础上，继续进行下采样编码，在下采样编码的总次数达到n次之后，进行n次上采样编码，基于第二归一化函数得到所述骨骼分割结果和所述骨骼中心线分割结果，其中，m小于n，且m、n为正整数。

5.根据权利要求4所述的系统，其特征在于，所述系统还包括后处理模块，所述后处理模块用于：

6.一种图像处理模型的训练系统，其特征在于，所述系统包括：

训练图像获取模块，用于获取训练图像；

模型训练模块，用于基于所述训练图像训练神经网络模型；

经训练的神经网络模型包括粗网络模型和细网络模型，经训练的神经网络模型，则所述模型训练模块包括：

粗网络模型训练单元，用于在第一分辨率下，将所述训练图像输入预设的神经网络进行骨骼分割训练和骨骼中心线分割训练，得到用于定位的粗网络模型，所述粗网络模型包括骨骼分割模块；

细网络模型训练单元，用于在第二分辨率下，继续通过所述预设的神经网络对所述训练图像进行骨骼分割训练和骨骼中心线分割训练，并固定骨骼分割训练和骨骼中心线分割训练过程中的网络参数，接着对所述训练图像进行骨骼骨折检测训练，并固定骨骼骨折检测训练过程中的网络参数，得到包括骨骼分割模块、骨骼中心线分割模块和骨骼骨折检测模块的细网络模型，所述细网络模型用于在第一采样编码通道对所述训练图像进行骨骼骨折检测处理，并用于在第二采样编码通道对所述训练图像进行骨骼分割处理和骨骼中心线分割处理，所述第一采样编码通道和所述第二采样编码共享部分下采样编码通道；

其中，所述第二分辨率大于所述第一分辨率。