CN109767429B - 一种图像筛查方法及装置 - Google Patents

Abstract

本发明公开了一种图像筛查方法及装置，所述方法包括：从胸部X光片中获取骨骼图像；将所述胸部X光片与所述骨骼图像进行融合处理，得到融合图像；将所述融合图像输入图像筛查模型进行测试，得到图像筛查结果；所述图像筛查模型包括基于样本融合图像和所述样本融合图像的异常骨骼标签进行深度学习训练确定的模型。本发明能够在常规的X光胸片上生成类似双能减影技术产生的骨骼图像，从而大大减少了软组织对骨骼的遮挡，提供了更为清晰详细的病灶信息，且实现了对异常骨骼图像的全自动筛查，得到了准确率较高的图像筛查结果。

Description

一种图像筛查方法及装置

技术领域

本发明涉及图像筛查领域，尤其涉及一种图像筛查方法及装置。

背景技术

在过去的几十年中，胸片一直是一种被广泛应用于临床诊断的重要手段。X线摄影以其方便、简捷、经济的特点，成为胸部检查的优先选择。然而胸片中疾病的多样性以及胸片本身2D成像的局限性给医生的诊断带来巨大挑战。

Lodwick提出了一种传统的机器学习方法，他首先从原始的胸片中提取一些量化的特征，然后利用这些特征通过训练特定的分类器来对疾病做出诊断。然而人为的选择特征是一件极为复杂的事情，并且也没有一个确定的标准来判断哪些特征更好。深度学习避免了人为的特征选择，它直接对原始的输入图像进行学习得到最终的决策结果。AndrewY.N提出的CheXNet以densenet为骨干对胸片中的14种疾病进行分类取得了良好的效果。但是，胸片是X光单一方向照射生成的2D图像，器官之间存在较为严重的遮挡，给胸片疾病的诊断带来了极大的困难。

因此，有必要提供一种图像筛查方法及装置。

发明内容

本发明的目的是针对现有技术的不足，提供一种图像筛查方法。

本发明是通过以下技术方案实现的：

一方面，本发明提供了一种图像筛查方法，所述方法包括：

从胸部X光片中获取骨骼图像；

将所述胸部X光片与所述骨骼图像进行融合处理，得到融合图像；

将所述融合图像输入图像筛查模型进行测试，得到图像筛查结果；所述图像筛查模型包括基于样本融合图像和所述样本融合图像的异常骨骼标签进行深度学习训练确定的模型。

进一步地，所述从胸部X光片中获取骨骼图像包括：

对所述胸部X光片进行采样得到至少两种不同分辨率的图像；

将所述至少两种不同分辨率的图像分别输入与之对应的预训练好的卷积神经网络，得到至少两种不同分辨率的输出骨骼图像；

对所述至少两种不同分辨率的输出骨骼图像进行多分辨率合成处理，得到骨骼图像。

进一步地，所述将所述胸部X光片与所述骨骼图像进行融合处理，得到融合图像包括：

将所述胸部X光片分别输入深度学习模型的第一通道、第二通道；

将所述骨骼图像输入深度学习模型的第三通道；

将三个通道中图像进行融合处理，得到融合图像。

进一步地，所述图像筛查模型包括采用下述方法确定：

在深度学习模型中输入样本融合图像；

采用深度学习模型中的分类网络、检测网络或分割网络对所述样本融合图像进行训练并输出；

将输出的样本融合图像与样本图像的金标准进行比较并计算图像损失值，从而反向传播更新深度学习模型的权重；

通过不断迭代得到图像筛查模型。

进一步地，所述将输出的样本融合图像与样本图像的金标准进行比较并计算图像损失值包括：

将所述分类网络输出的样本融合图像的类别概率与金标准进行比较，计算图像损失值，所述金标准为图像的类别信息。

进一步地，所述将输出的样本融合图像与样本图像的金标准进行比较并计算图像损失值包括：

将所述检测网络输出的样本融合图像的目标位置和类别概率与金标准进行比较，计算图像损失值，所述金标准为图像的目标位置和类别信息。

进一步地，所述将输出的样本融合图像与样本图像的金标准进行比较并计算图像损失值包括：

将所述分割网络输出的样本融合图像中像素所属类别的概率与金标准进行比较，计算图像损失值，所述金标准为图像中像素的类别信息。

进一步地，所述通过不断迭代得到图像筛查模型包括：

判断所述图像损失值是否小于预设阈值；

若是，则判断所述图像损失值的波动幅度是否在预设范围内；

若是，则得到图像筛查模型。

另一方面，本发明还提供了一种图像筛查装置，所述装置包括：

骨骼图像获取模块，用于从胸部X光片中获取骨骼图像；

图像融合处理模块，用于将所述胸部X光片与所述骨骼图像进行融合处理，得到融合图像；

图像筛查模块，用于将所述融合图像输入图像筛查模型进行测试，得到图像筛查结果；所述图像筛查模型包括基于样本融合图像和所述样本融合图像的异常骨骼标签进行深度学习训练确定的模型。

进一步地，所述骨骼图像获取模块包括：

分辨率图像获取模块，用于对所述胸部X光片进行采样得到至少两种不同分辨率的图像；

输出骨骼图像获取模块，用于将所述至少两种不同分辨率的图像分别输入与之对应的预训练好的卷积神经网络，得到至少两种不同分辨率的输出骨骼图像；

骨骼图像生成模块，用于对所述至少两种不同分辨率的输出骨骼图像进行多分辨率合成处理，得到骨骼图像。

进一步地，所述图像融合处理模块包括：

第一图像输入模块，用于将所述胸部X光片分别输入深度学习模型的第一通道、第二通道；

第二图像输入模块，用于将所述骨骼图像输入深度学习模型的第三通道；

图像融合模块，用于将三个通道中图像进行融合处理，得到融合图像。

进一步地，还包括：图像筛查模型获取模块，所述图像筛查模型获取模块包括：

样本融合图像输入模块，用于在深度学习模型中输入样本融合图像；

样本融合图像输出模块，用于采用深度学习模型中的分类网络、检测网络或分割网络对所述样本融合图像进行训练并输出；

权重更新模块，用于将输出的样本融合图像与样本图像的金标准进行比较并计算图像损失值，从而反向传播更新深度学习模型的权重；

图像筛查模型生成模块，用于通过不断迭代得到图像筛查模型。

进一步地，所述权重更新模块包括：

第一图像损失计算单元，用于将所述分类网络输出的样本融合图像的类别概率与金标准进行比较，计算图像损失值，所述金标准为图像的类别信息。

进一步地，所述权重更新模块包括：

第二图像损失计算单元，用于将所述检测网络输出的样本融合图像的目标位置和类别概率与金标准进行比较，计算图像损失值，所述金标准为图像的目标位置和类别信息。

进一步地，所述权重更新模块包括：

第三图像损失计算单元，用于将所述分割网络输出的样本融合图像中像素所属类别的概率与金标准进行比较，计算图像损失值，所述金标准为图像中像素的类别信息。

进一步地，所述图像筛查模型生成模块包括：

第一判断单元，用于判断所述图像损失值是否小于预设阈值；

第二判断单元，用于判断所述图像损失值的波动幅度是否在预设范围内；

图像筛查模型获取单元，用于当所述图像损失值小于预设阈值且所述图像损失值的波动幅度在预设范围内时，得到图像筛查模型。

本发明实施例提供的技术方案带来的有益效果是：

(1)本发明能够在常规的X光胸片上生成类似双能减影技术产生的骨骼图像，从而大大减少了软组织对骨骼的遮挡，提供了更为清晰详细的病灶信息。

(2)本发明利用原始图像和产生的骨骼图像，对于不同的异常骨骼图像采用不同的深度学习方法(如分割，检测，分类)进行模型训练，从而充分学习样本特征，实现了对异常骨骼图像的全自动筛查，得到准确率较高的图像筛查结果。

附图说明

为了更清楚地说明本发明的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。

图1是本发明中图像筛查方法的一种流程图；

图2是本发明中从胸部X光片中获取骨骼图像的一种流程图；

图3是本发明中将所述胸部X光片与所述骨骼图像进行融合处理，得到融合图像的一种流程图；

图4是本发明中图像筛查模型的确定方法的一种流程图；

图5是本发明中通过不断迭代得到图像筛查模型的一种流程图；

图6是本发明中图像筛查装置的一种结构示意图；

图7是本发明中骨骼图像获取模块的一种结构示意图；

图8是本发明中图像融合处理模块的一种结构示意图；

图9是本发明中图像筛查模型获取模块的一种结构示意图；

图10是本发明中权重更新模块的一种结构示意图；

图11是本发明中图像筛查模型生成模块的一种结构示意图；

图12是本发明中一种脊柱侧弯的原始图像(a)、骨骼图像(b)和病灶热图(c)；

图13是本发明中第二种脊柱侧弯的原始图像(a)、骨骼图像(b)和病灶热图(c)；

图14是本发明中第三种脊柱侧弯的原始图像(a)、骨骼图像(b)和病灶热图(c)。

具体实施方式

下面将结合本发明中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本发明所提供的几个实施例中，所描述的装置实施例仅仅是示意性的，例如所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或组件可以结合或者可以集成到另一个装置，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，模块或单元的间接耦合或通信连接，可以是电性或其它的形式。

所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

实施例1

如图1所示，本实施例提供了一种图像筛查方法的流程示意图，本说明书提供了如实施例或流程图所述的方法操作步骤，但基于常规或者无创造性的劳动可以包括更多或者更少的操作步骤。实施例中列举的步骤顺序仅仅为众多步骤执行顺序中的一种方式，不代表唯一的执行顺序。具体的如图1所示，所述方法包括：

S101.从胸部X光片中获取骨骼图像；

S102.将所述胸部X光片与所述骨骼图像进行融合处理，得到融合图像；

S103.将所述融合图像输入图像筛查模型进行测试，得到图像筛查结果；所述图像筛查模型包括基于样本融合图像和所述样本融合图像的异常骨骼标签进行深度学习训练确定的模型；

深度学习模型是基于统一的深度学习平台训练完成，标注数据的数量以及质量会影响到模型的准确性。本实施例中数据标注的方法可以为人工标注，也可以由智能化机器标注。

深度学习网络结构包括但不限于分类网络(RESNET，DENSENET)、分割网络(V-NET，LINKNET，FC-DENSENET等)以及检测网络(FASTER-RCNN等)。

深度学习是机器学习中一种基于对数据进行表征学习的方法。观测值(例如一幅图像)可以使用多种方式来表示，如每个像素强度值的向量，或者更抽象地表示成一系列边、特定形状的区域等。而使用某些特定的表示方法更容易从实例中学习任务。深度学习的好处是用非监督式或半监督式的特征学习和分层特征提取高效算法来替代手工获取特征。

深度学习是机器学习研究中的一个新的领域，其动机在于建立、模拟人脑进行分析学习的神经网络，它模仿人脑的机制来解释数据。

进一步地，所述从胸部X光片中获取骨骼图像包括：

对所述胸部X光片进行采样得到至少两种不同分辨率的图像；

将所述至少两种不同分辨率的图像分别输入与之对应的预训练好的卷积神经网络，得到至少两种不同分辨率的输出骨骼图像；

对所述至少两种不同分辨率的输出骨骼图像进行多分辨率合成处理，得到骨骼图像。

在一个具体的实施方式中，如图2所示，从胸部X光片中获取骨骼图像具体包括：

S201.对所述胸部X光片进行采样得到三种不同分辨率的图像，即第一分辨率图像、第二分辨率图像和第三分辨率图像；

S202.将所述第一分辨率图像、第二分辨率图像和第三分辨率图像分别输入对应的三个预训练好的卷积神经网络，得到三种不同分辨率的输出骨骼图像；

卷积神经网络(Convolutional Neural Networks,CNN)是一类包含卷积计算且具有深度结构的前馈神经网络(Feedforward Neural Networks)，是深度学习(deeplearning)的代表算法之一。由于卷积神经网络能够进行平移不变分类(shift-invariantclassification)，因此也被称为“平移不变人工神经网络(Shift-Invariant ArtificialNeural Networks,SIANN)”。

对卷积神经网络的研究始于二十世纪80至90年代，时间延迟网络和LeNet-5是最早出现的卷积神经网络算法；在二十一世纪后，随着深度学习理论的提出和数值计算设备的改进，卷积神经网络得到了快速发展。

卷积神经网络仿造生物的视知觉(visual perception)机制构建，可以进行监督学习和非监督学习，其隐含层内的卷积核参数共享和层间连接的稀疏性使得卷积神经网络能够以较小的计算量对格点化(grid-like topology)特征，例如对像素进行学习、有稳定的效果且对数据没有额外的特征工程(feature engineering)要求。

S203.对所述三种不同分辨率的输出骨骼图像进行多分辨率合成处理，得到骨骼图像。

在一个具体的实施方式中，所述从胸部X光片中获取骨骼图像包括：

对所述胸部X光片进行空间分辨率归一化处理；

获取归一化处理后的图像的梯度图像；

对所述梯度图像进行归一化处理，得到梯度幅值归一化的梯度图像；

将所述梯度幅值归一化的梯度图像输入卷积神经网络，得到预测的梯度图像；

根据所述预测的梯度图像生成骨骼图像。

在一个具体的实施方式中，所述从胸部X光片中获取骨骼图像包括：

对所述胸部X光片进行空间分辨率归一化处理；

对归一化处理后的图像进行小波分解操作，得到小波系数；

基于所述小波系数确定小波系数图像；

对所述小波系数图像进行归一化处理，得到幅值归一化的小波系数图像；

将所述幅值归一化的小波系数图像输入卷积神经网络，得到预测的小波系数图像；

根据所述预测的小波系数图像生成骨骼图像。

实施例2

本实施例以实施例1为基础。如图3所示，所述将所述胸部X光片与所述骨骼图像进行融合处理，得到融合图像包括：

S301.将所述胸部X光片分别输入深度学习模型的第一通道、第二通道；

S302.将所述骨骼图像输入深度学习模型的第三通道；

S303.将三个通道中图像进行融合处理，得到融合图像。

在一个具体的实施方式中，如图4所示，所述图像筛查模型包括采用下述方法确定：

S401.在深度学习模型中输入样本融合图像；

S402.采用深度学习模型中的分类网络、检测网络或分割网络对所述样本融合图像进行训练并输出；例如，对于脊柱侧弯这种异常面积范围较大，并且特征较为明显的异常骨骼图像可以使用分类网络；对于肋骨骨折这样异常面积较小的异常骨骼图像，需要有一定的病灶位置信息来指导网络进行学习，可以使用检测网络或者分割网络；

S403.将输出的样本融合图像与样本图像的金标准进行比较并计算图像损失值，从而反向传播更新深度学习模型的权重；

S404.通过不断迭代得到图像筛查模型。

在确定卷积神经网络的迭代次数达到预设次数或者卷积神经网络的训练损失函数小于预设阈值时，停止对卷积神经网络的训练，从而得到图像筛查模型。

对于分类网络，所述将输出的样本融合图像与样本图像的金标准进行比较并计算图像损失值包括：

将所述分类网络输出的样本融合图像的类别概率与金标准进行比较，计算图像损失值，所述金标准为图像的类别信息。

例如，对脊柱侧弯图像使用分类网络，图像的金标准如下：

无脊柱侧弯(label＝0)，有脊柱侧弯(label＝1)；

输入图像进入分类网络输出无脊柱侧弯的概率和有脊柱侧弯的概率，使用binarycross entropy loss(BCE loss)，计算公式如下：

其中y是金标准的label，y＝0或1。

当y＝0时，p是指无脊柱侧弯的概率；当y＝1时，p是指有脊柱侧弯的概率。

如图12-14所示，图12、13、14分别给出了三种不同脊柱侧弯对应的原始图像(a)、骨骼图像(b)和根据诊断结果得到的病灶热图(c)，诊断结果准确率高。

对于检测网络，所述将输出的样本融合图像与样本图像的金标准进行比较并计算图像损失值包括：

将所述检测网络输出的样本融合图像的目标位置和类别概率与金标准进行比较，计算图像损失值，所述金标准为图像的目标位置和类别信息。

对于分割网络，所述将输出的样本融合图像与样本图像的金标准进行比较并计算图像损失值包括：

将所述分割网络输出的样本融合图像中像素所属类别的概率与金标准进行比较，计算图像损失值，所述金标准为图像中像素的类别信息。

如图5所示，所述通过不断迭代得到图像筛查模型包括：

S501.判断所述图像损失值是否小于预设阈值；该预设阈值可以根据实际情况进行设定，本实施例对该阈值不作具体的限定。

S502.若是，则判断所述图像损失值的波动幅度是否在预设范围内；

S503.若是，则得到图像筛查模型，即当所述图像损失值趋于稳定、未出现大幅度波动时，判断图像筛查模模型已经训练好。

实施例3

如图6所示，本实施例公开了一种图像筛查装置，所述装置包括：

骨骼图像获取模块601，用于从胸部X光片中获取骨骼图像；

图像融合处理模块602，用于将所述胸部X光片与所述骨骼图像进行融合处理，得到融合图像；

图像筛查模块603，用于将所述融合图像输入图像筛查模型进行测试，得到图像筛查结果；所述图像筛查模型包括基于样本融合图像和所述样本融合图像的异常骨骼标签进行深度学习训练确定的模型。

进一步地，如图7所示，所述骨骼图像获取模块601包括：

分辨率图像获取模块6011，用于对所述胸部X光片进行采样得到至少两种不同分辨率的图像；

输出骨骼图像获取模块6012，用于将所述至少两种不同分辨率的图像分别输入与之对应的预训练好的卷积神经网络，得到至少两种不同分辨率的输出骨骼图像；

骨骼图像生成模块6013，用于对所述至少两种不同分辨率的输出骨骼图像进行多分辨率合成处理，得到骨骼图像。

在一个具体的实施方式中，分辨率图像获取模块6011，用于对所述胸部X光片进行采样得到三种不同分辨率的图像，即第一分辨率图像、第二分辨率图像和第三分辨率图像；

输出骨骼图像获取模块6012，用于将所述第一分辨率图像、第二分辨率图像和第三分辨率图像分别输入对应的三个预训练好的卷积神经网络，得到三种不同分辨率的输出骨骼图像；

骨骼图像生成模块6013，用于对所述三种不同分辨率的输出骨骼图像进行多分辨率合成处理，得到骨骼图像。

实施例4

本实施例以实施例3为基础，如图8所示，所述图像融合处理模块602包括：

第一图像输入模块6021，用于将所述胸部X光片分别输入深度学习模型的第一通道、第二通道；

第二图像输入模块6022，用于将所述骨骼图像输入深度学习模型的第三通道；

图像融合模块6023，用于将三个通道中图像进行融合处理，得到融合图像。

如图9所示，所述装置还包括图像筛查模型获取模块604，所述图像筛查模型获取模块604包括：

样本融合图像输入模块6041，用于在深度学习模型中输入样本融合图像；

样本融合图像输出模块6042，用于采用深度学习模型中的分类网络、检测网络或分割网络对所述样本融合图像进行训练并输出；

权重更新模块6043，用于将输出的样本融合图像与样本图像的金标准进行比较并计算图像损失值，从而反向传播更新深度学习模型的权重；

图像筛查模型生成模块6044，用于通过不断迭代得到图像筛查模型。

如图10所示，所述权重更新模块6043包括：

第一图像损失计算单元60431，用于将所述分类网络输出的样本融合图像的类别概率与金标准进行比较，计算图像损失值，所述金标准为图像的类别信息。

第二图像损失计算单元60432，用于将所述检测网络输出的样本融合图像的目标位置和类别概率与金标准进行比较，计算图像损失值，所述金标准为图像的目标位置和类别信息。

第三图像损失计算单元60433，用于将所述分割网络输出的样本融合图像中像素所属类别的概率与金标准进行比较，计算图像损失值，所述金标准为图像中像素的类别信息。

如图11所示，所述图像筛查模型生成模块6044包括：

第一判断单元60441，用于判断所述图像损失值是否小于预设阈值；

第二判断单元60442，用于判断所述图像损失值的波动幅度是否在预设范围内；

图像筛查模型获取单元60443，用于当所述图像损失值小于预设阈值且所述图像损失值的波动幅度在预设范围内时，得到图像筛查模型。

本发明能够在常规的X光胸片上生成类似双能减影技术产生的骨骼图像，从而大大减少了软组织对骨骼的遮挡，提供了更为清晰详细的病灶信息。本发明利用原始图像和产生的骨骼图像，对于不同的异常骨骼图像采用不同的深度学习方法(如分割，检测，分类)进行模型训练，从而充分学习样本特征，实现了对异常骨骼图像的全自动筛查，得到准确率较高的图像筛查结果。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者装置中还存在另外的相同要素。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

以上所述是本发明的优选实施方式，对本发明的技术方案进行了进一步详细说明，并不用于限定本发明的保护范围，应该指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。

Claims (10)

1.一种图像筛查方法，其特征在于，包括：

从胸部X光片中获取骨骼图像；

将所述胸部X光片与所述骨骼图像进行融合处理，得到融合图像；

将所述融合图像输入图像筛查模型进行筛查，得到图像筛查结果；所述图像筛查结果用于筛查图像中骨骼是否异常；所述图像筛查模型通过采用样本融合图像和所述样本融合图像的异常骨骼标签对深度学习模型进行训练确定，其中所述深度学习模型中的网络根据所述样本融合图像对应的骨骼图像的类型确定，所述骨骼图像的类型指示所述骨骼图像中异常面积范围。

2.根据权利要求1所述的方法，其特征在于，所述从胸部X光片中获取骨骼图像包括：

对所述胸部X光片进行采样得到至少两种不同分辨率的图像；

将所述至少两种不同分辨率的图像分别输入与之对应的预训练好的卷积神经网络，得到至少两种不同分辨率的输出骨骼图像；

对所述至少两种不同分辨率的输出骨骼图像进行多分辨率合成处理，得到骨骼图像。

3.根据权利要求1所述的方法，其特征在于，所述图像筛查模型包括采用下述方法确定：

在深度学习模型中输入样本融合图像；所述深度学习模型中的网络包括分类网络、检测网络或分割网络；

将所述深度学习模型的输出与样本图像的金标准进行比较并计算图像损失值，从而反向传播更新深度学习模型的权重；

通过不断迭代得到图像筛查模型。

4.根据权利要求3所述的方法，其特征在于，所述将输出的样本融合图像与样本图像的金标准进行比较并计算图像损失值包括：

对于分类网络，将所述分类网络输出的样本融合图像的类别概率与金标准进行比较，计算图像损失值，所述金标准为图像的类别信息；

对于检测网络，将所述检测网络输出的样本融合图像的目标位置和类别概率与金标准进行比较，计算图像损失值，所述金标准为图像的目标位置和类别信息；

对于分割网络，将所述分割网络输出的样本融合图像中像素所属类别的概率与金标准进行比较，计算图像损失值，所述金标准为图像中像素的类别信息。

5.根据权利要求3所述的方法，其特征在于，所述方法还包括：

当所述样本融合图像对应的骨骼图像的类型为脊柱侧弯时，所述深度学习模型中的网络为分类网络；

当所述样本融合图像对应的骨骼图像的类型为肋骨骨折时，所述深度学习模型中的网络为检测网络或分割网络。

6.一种图像筛查装置，其特征在于，包括：

骨骼图像获取模块，用于从胸部X光片中获取骨骼图像；

图像融合处理模块，用于将所述胸部X光片与所述骨骼图像进行融合处理，得到融合图像；

图像筛查模块，用于将所述融合图像输入图像筛查模型进行筛查，得到图像筛查结果；所述图像筛查结果用于筛查图像中骨骼是否异常；所述图像筛查模型通过采用样本融合图像和所述样本融合图像的异常骨骼标签对深度学习模型进行训练确定，其中所述深度学习模型中的网络根据所述样本融合图像对应的骨骼图像的确定，所述骨骼图像的类型指示所述骨骼图像中异常面积范围。

7.根据权利要求6所述的装置，其特征在于，所述骨骼图像获取模块包括：

分辨率图像获取模块，用于对所述胸部X光片进行采样得到至少两种不同分辨率的图像；

输出骨骼图像获取模块，用于将所述至少两种不同分辨率的图像分别输入与之对应的三个预训练好的卷积神经网络，得到至少两种不同分辨率的输出骨骼图像；

骨骼图像生成模块，用于对所述至少两种不同分辨率的输出骨骼图像进行多分辨率合成处理，得到骨骼图像。

8.根据权利要求6所述的装置，其特征在于，还包括：

图像筛查模型获取模块，所述图像筛查模型获取模块包括：

样本融合图像输入模块，用于在深度学习模型中输入样本融合图像；所述深度学习模型中的网络包括分类网络、检测网络或分割网络；

权重更新模块，用于将所述深度学习模型的输出与样本图像的金标准进行比较并计算图像损失值，从而反向传播更新深度学习模型的权重；

图像筛查模型生成模块，用于通过不断迭代得到图像筛查模型。

9.根据权利要求8所述的装置，其特征在于，所述权重更新模块包括：

第一图像损失计算单元，用于将所述分类网络输出的样本融合图像的类别概率与金标准进行比较，计算图像损失值，所述金标准为图像的类别信息；

第二图像损失计算单元，用于将所述检测网络输出的样本融合图像的目标位置和类别概率与金标准进行比较，计算图像损失值，所述金标准为图像的目标位置和类别信息；

第三图像损失计算单元，用于将所述分割网络输出的样本融合图像中像素所属类别的概率与金标准进行比较，计算图像损失值，所述金标准为图像中像素的类别信息。

10.根据权利要求8所述的装置，其特征在于，所述图像筛查模型生成模块包括：

第一判断单元，用于判断所述图像损失值是否小于预设阈值；

第二判断单元，用于判断所述图像损失值的波动幅度是否在预设范围内；

图像筛查模型获取单元，用于当所述图像损失值小于预设阈值且所述图像损失值的波动幅度在预设范围内时，得到图像筛查模型。

Images