CN110969245B - 医学图像的目标检测模型训练方法和装置 - Google Patents

Abstract

本申请实施例提供了一种医学图像的目标检测模型训练方法和装置，解决了现有医学图像的目标检测方式的准确率低和效率低的问题。该医学图像的目标检测模型训练方法包括：将包括三维空间内的多个层面图像的医学图像样本和与所述医学图像样本对应的标注检测框输入卷积神经网络；基于所述卷积神经网络提取所述多个层面图像的三维特征图；基于所述卷积神经网络根据所述三维特征图获得预测检测框；计算所述预测检测框和所述标注检测框之间损失；以及基于所述损失调整所述卷积神经网络的网络参数。

Description

医学图像的目标检测模型训练方法和装置

技术领域

本申请涉及影像分析技术领域，具体涉及一种医学图像的目标检测模型训练方法、装置、电子设备和计算机可读存储介质。

背景技术

以深度学习技术为核心的计算机辅助诊断技术越来越广泛的应用在临床实践中。目前，针对CT（电子计算机断层扫描）、MRI（磁共振成像）等三维医疗图像的病灶检出问题成为相关研究的热点。和自然图像不同，CT、MRI等模态的医疗图像数据具有多个层面，是对三维空间中人体组织和结构的一种描述。因此，针对此类医疗图像的目标检测任务中，除了要考虑空间信息，还需要借助多个层面的特征进行辅助建模。

当前针对CT等图像的目标检测任务通常有两种，第一种是直接预测三维空间中的三维检测框，表示为（x,y,z,w,h,d），即中心点坐标和长宽高；另一种则是对图像中的每一个层面进行预测，得到相应的二维检测框，表示为（x,y,w,h），即该层面上的中心点坐标和长宽。

在自然图像中，基于深度学习的检测技术通常解决的问题是二维图像中的目标定位问题。随着深度学习技术的发展，现在已经有一系列的方法可以进行精准的目标检测，比如以Faster-RCNN为代表的两阶段检测框架，以Yolo和SSD等为代表的单阶段检测框架，以及近期发展的以corner-net，FCOS等为代表的anchor-free的检测框架。以上述技术为基础，很容易就可以设计一种针对CT图像的二维检测框算法。比如以连续的三层CT图像作为输入，以中心层上的检测框作为学习目标，可以使用上述介绍的自然图像中的检测框架构建目标检测算法。但该算法不能有效利用多个层面的信息，也不能有效利用三维形状和纹理信息，因此用来检测结节、淋巴结等依赖三维形状信息进行描述的目标时，效果并不理想。

发明内容

有鉴于此，本申请实施例提供了一种医学图像的目标检测模型训练方法和装置，解决了现有医学图像的目标检测方式的准确率低和效率低的问题。

根据本申请的一个方面，本申请一实施例提供的一种医学图像的目标检测模型训练方法包括：将包括三维空间内的多个层面图像的医学图像样本和与所述医学图像样本对应的标注检测框输入卷积神经网络；基于所述卷积神经网络提取所述多个层面图像的三维特征图；基于所述卷积神经网络根据所述三维特征图获得预测检测框；计算所述预测检测框和所述标注检测框之间损失；以及基于所述损失调整所述卷积神经网络的网络参数。

在本申请一实施例中，所述标注检测框为与多个层面图像中的待检测图像对应的二维标注检测框；其中，在基于所述卷积神经网络根据所述三维特征图获得预测检测框之前，所述方法进一步包括：将所述三维特征图转换为二维特征图；其中，所述基于所述卷积神经网络根据所述三维特征图获得预测检测框包括：基于所述卷积神经网络根据所述二维特征图获得二维预测检测框；其中，所述计算所述预测检测框和所述标注检测框之间损失包括：计算所述二维预测检测框和所述二维标注检测框之间损失。

在本申请一实施例中，所述卷积神经网络为伪三维卷积神经网络。

在本申请一实施例中，所述多个层面图像在三维空间内的竖向间隔距离相等，所述待检测图像为所述多个层面图像的三维空间中心位置的图像。

在本申请一实施例中，所述基于所述卷积神经网络提取所述多个层面图像的三维特征图包括：对所述多个层面图像进行池化操作时保持竖直方向的分辨率不变；或，对所述多个层面图像进行池化操作时在竖直方向上也降采样，降低分辨率。

在本申请一实施例中，所述基于所述损失调整所述卷积神经网络的网络参数包括：可以选择采用混合精度训练能力方式调整所述卷积神经网络的网络参数。

根据本申请的另一个方面，本申请一实施例提供的一种医学图像的目标检测模型训练装置，包括：输入模块，配置为将将包括三维空间内的多个层面图像的医学图像样本和与所述医学图像样本对应的标注检测框输入卷积神经网络；特征图提取模块，配置为基于所述卷积神经网络提取所述多个层面图像的三维特征图；预测模块，配置为基于所述卷积神经网络根据所述三维特征图获得预测检测框；损失计算模块，配置为计算所述预测检测框和所述标注检测框之间损失；以及调整模块，配置为基于所述损失调整所述卷积神经网络的网络参数。

在本申请一实施例中，所述标注检测框为与多个层面图像中的待检测图像对应的二维标注检测框；其中，所述装置进一步包括：二维转换模块，配置为在基于所述卷积神经网络根据所述三维特征图获得预测检测框之前，将所述三维特征图转换为二维特征图；其中，所述预测模块进一步配置为：基于所述卷积神经网络根据所述二维特征图获得二维预测检测框；其中，所述损失计算模块进一步配置为：计算所述二维预测检测框和所述二维标注检测框之间损失。

在本申请一实施例中，所述卷积神经网络为伪三维卷积神经网络。

在本申请一实施例中，所述多个层面图像在三维空间内的竖向间隔距离相等，所述待检测图像为所述多个层面图像的三维空间中心位置的图像。

在本申请一实施例中，所述特征图提取模块进一步配置为：对所述多个层面图像进行池化操作时保持竖直方向的分辨率不变；或，对所述多个层面图像进行池化操作时在竖直方向也降采样，降低图像分辨率。

在本申请一实施例中，所述调整模块进一步配置为：可以选择采用混合精度训练能力方式调整所述卷积神经网络的网络参数。

根据本申请的另一方面，本申请一实施例提供了一种电子设备，包括：处理器；存储器；以及存储在存储器中的计算机程序指令，计算机程序指令在被处理器运行时使得处理器执行如上述任一项所述的医学图像的目标检测模型训练方法。

根据本申请的另一方面，本申请一实施例提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行如前任一所述的医学图像的目标检测模型训练方法。

根据本申请的另一方面，本申请一实施例提供了一种计算机程序产品，包括计算机程序指令，所述计算机程序指令在被处理器运行时使得处理器执行如上述任一所述的医学图像的目标检测模型训练方法。

本申请实施例提供的一种医学图像的目标检测模型训练方法、装置、电子设备和计算机可读存储介质，可以有效利用三维空间内多个层面图像的信息为目标检出提供更为有效的特征表达，获得更为精准的检测效果，而且相比传统的三维卷积网络具有更高的空间和时间效率。

附图说明

图1所示为本申请一实施例提供的一种医学图像的目标检测模型训练方法的流程示意图。

图2所示为本申请另一实施例提供的一种医学图像的目标检测模型训练方法的流程示意图。

图3所示为本申请一实施例提供的医学图像的目标检测模型训练装置的结构示意图。

图4所示为本申请另一实施例提供的医学图像的目标检测模型训练装置的结构示意图。

图5所示为本申请一实施例提供的电子设备的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

图1所示为本申请一实施例提供的一种医学图像的目标检测模型训练方法的流程示意图。如图1所示，该医学图像的目标检测模型训练方法包括如下步骤：

步骤101：将包括三维空间内的多个层面图像的医学图像样本和与医学图像样本对应的标注检测框输入卷积神经网络。

卷积神经网络的数据输入包括两大部分，第一是医学图像样本输入，第二是标注检测框输入。其中医学图像样本输入可包括三维空间内的多个层面图像，假设输入的层面图像数量为M，则输入层面M>=1。假设输入图像的长宽为H，W，则输入卷积神经网络的医学图像样本为N*C*M*H*W，其中N代表batch size， C代表通道数，默认为1。在本申请一实施例中，可以对CT或者MRI图像进行Z方向上pixel-spacing（像素-间隔）的归一化操作，比如进行z方向（竖直方向）的差值，使得连续两个层面图像之间的pixel-spacing=1mm，这样便可使得多个层面图像在三维空间内的竖向间隔距离相等。在本申请一实施例中，C代表通道数量，默认为1，即每个层面只有一个输入。但是对于CT图像，也可以对每各层面图像截取不同的窗宽窗位，获得C张不同窗宽窗位下的层面图像，作为医学图像样本输入；对于MRI图像，不同模态（T1， T2，T-Flair等）的数据也可以构成不同的通道的输入。

标注检测框输入即将与医学图像样本对应的标注检测框输入，应当理解，标注检测框可以是三维的也可以是二维的，标注检测框的具体形式可根据实际应用场景的需求而调整。在当标注检测框是二维时，标注检测框可为与多个层面图像中的待检测图像对应的二维标注检测框，标注检测框输入即为将该待检测图像对应的二维标注检测框作为学习目标输入给卷积神经网络，用于模型训练。本申请一实施例中，医学图像样本输入可为以待检测层面为三维位置中心的连续多个层面图像，例如M=9，即以待检测图像为中心，选取上面连续4层以及下面连续4层，组成共9个连续层面图像作为医学图像样本输入。

步骤102：基于卷积神经网络提取多个层面图像的三维特征图。

为了对多个层面图像中的三维形状和纹理信息进行建模，可使用基于三维卷积的主干网络进行特征提取。同时，为了获得更快的计算速度和更小的显存消耗，可在主干网络中使用伪三维卷积神经网络（pseudo 三维 conv）来替代常规的三维卷积神经网络（三维conv）。即将原始的3*3*3的三维卷积，拆成1*3*3，和3*1*1的卷积，用以在保证三维建模能力的同时降低显存和计算量消耗，同时使用可分离卷积对CT等数据进行建模还具有处理图像本质存在的各向异性的问题（指xy分辨率高，而z方向分辨率相对较低）。此外，由于相比于xy方向的分辨率，z方向（竖直方向）输入的层面并不多（一般小于27层），因此在网络构建时，可以选择在对多个层面图像进行池化操作时保持竖直方向的分辨率不变；或，对多个层面图像进行池化操作时在竖直方向上也降采样，降低图像分辨率。伪三维卷积神经网络的输入为N*C*M*H*W的医学图像样本，因此其输出特征图为N*C’*M’*H’*W’，如果模型构建中保持z方向分辨率不变，则M=M’。在本申请一实施例中，伪三维卷积神经网络的主干网络的具体网络结构可以使用由ResNet三维-18, ResNet三维-34, ResNet三维-50变化而得到。对于伪三维卷积神经网络而言，除了主干网络之外，还有neck（颈部）和head（头部）部分的网络结构。根据具体使用的检测网络不同，neck部分可以使用FPN结构或者普通的Faster-RCNN结构。在本申请一实施例中，可优选使用FPN的neck。

由此可见，相对于普通基于三维卷积的ResNet主干网络，本专利所使用的的伪三维卷积神经网络具有更小的计算量和参数量，有效解决了ResNet三维网络难于训练和收敛的问题。并且伪三维卷积神经网络通过分离两个维度上的卷积，解决了CT等三维图像在3个维度上各向异性的问题（通常轴位空间分辨率更高，而切片与切片之间分辨率较低）。

步骤103：基于卷积神经网络根据三维特征图获得预测检测框。

根据三维特征图获得的预测检测框可用于后续与标注检测框对比以计算损失函数的值，并基于损失函数的值调整卷积神经网络的网络参数。在本申请一实施例中，卷积神经网络可基于RPN（区域生成网络）和RCNN（循环卷积神经网络）实现该预测检测框的获取。

步骤104：计算预测检测框和标注检测框之间损失。

在本申请一实施例中，根据RPN（区域生成网络）和RCNN（循环卷积神经网络）阶段的网络预测输出（预测检测框）与对应训练目标（标注检测框）之间的差异，可以计算出相应的框回归网络和框分类网络的损失。通过回传损失的梯度，可以对网络进行训练。

步骤105：基于损失调整卷积神经网络的网络参数。

在网络训练的时候可以对网络参数使用混合精度训练（Mixed PrecisionTraining），从而达到降低显存和加快训练速度的目的，为模型快速收敛奠定基础。

由此可见，本申请实施例提供的一种医学图像的目标检测模型训练方法，可以有效利用三维空间内多个层面图像的信息为目标检出提供更为有效的特征表达，获得更为精准的检测效果，而且相比传统的三维卷积网络具有更高的空间和时间效率。

在本申请一实施例中标注检测框为与多个层面图像中的待检测图像对应的二维标注检测框，如图2所示，此时在基于卷积神经网络根据三维特征图获得预测检测框之前，该方法还进一步包括如下步骤：

步骤201：将三维特征图转换为二维特征图。

由于最终的预测目标是二维标注检测框，因此卷积神经网络最终的预测需要基于二维特征图来完成。但卷积神经网络的主干网络提取的特征是三维特征图，因此需要一个转换步骤将主干网络提取出来的三维特征图的信息有效的转换为二维特征图。在特征图转换时需要考虑，转换得来的二维特征图可以有效代表输入的待检测图像的特征。本申请实施例提供三种转换方式，但转换方式的具体实现不仅限于以下三种。第一种，借助depth（深度）*1*1的卷积把三维特征图变为二维特征图。具体的，使用C’’个M’*1*1的卷积，将三维特征图的depth（深度）维度从M’维降到1维，并将获得的N*C’’*1*H’*W’的三维特征图squeeze（压缩）到N*C’’*H’*W’的二维特征图。第二种，使用中心特征图抽取的方式组合成二维特征图，具体的，从三维特征图的每一个channel（通道）中截取其中心特征图得到N*1* H’*W’，合并所有中心特征图得到N*C’*1*H’*W’的三维特征图，之后squeeze到N*C’*H’*W’的二维特征图。第三种，对每个channel（通道）的三维特征图，使用M’*1*1卷积得到二维特征图，然后合并C’个特征图到最后的二维特征图。具体的，对于每个channel的三维特征图N*1*M’*H’*W’，将其看做一个二维特征图N*M’*H’*W’，对该特征图使用一个M’*1*1的二维 1*1卷积可以得到N*1*H’*W’的二维特征图。将所有的C’个N*1*H’*W’二维特征图合并在一起就可以得到N*C’*H’*W’的二维特征图。另外需要注意的是，二维特征图转换过程优选的设计在主干网络中的输出阶段。根据具体设计方案的不同，也可以设计在neck网络或者是head网络中。

步骤202：基于卷积神经网络根据二维特征图获得二维预测检测框。

由于是基于二维特征图进行预测，因此得到的是二维预测检测框，二维预测检测框是于待检测图像对应的。

步骤203：计算二维预测检测框和二维标注检测框之间损失。

通过计算二维预测检测框和二维标注检测框之间损失便可获得损失函数的值，并基于损失函数的值调整卷积神经网络的网络参数。

为了验证本申请实施例所提供的技术方案所训练出的卷积神经网络在目标识别时的准确率和效率，发明人进行了如下验证试验：

在DeepLesion上进行目标检测试验。DeepLesion是一个大规模CT图像数据库，包含32120张人体各个部位的CT扫描，32735个病变标注。对比的模型包括：相关技术1：使用3个slice输入的Faster-RCNN FPN模型，代表不考虑3D上下文的检测模型。

为了更直观的表示本申请实施例所达到的技术效果，评测了本实施例方法与相关技术在几种不同单张图片平均误检个数下的敏感度以及MAP@50的结果。MAP@50（meanaverage precision@IOU=0.5）是目标检测领域的常用精度衡量指标，代表以满足IOU>=0.5为预测和金标准之间的匹配条件下的MAP。结果如下表1所示，从表1对比结果中可以看到本申请实施例所训练的卷积神经网络更优。

表

在不同误检率下的敏感度（%）和MAP@50的效果

FPs per image	0.5	1	2	MAP@50
					相关技术1，3 slices	70.41	79.48	85.95	65.9
本申请实施例，9 slices	79.24	85.26	89.61	75.6

图3所示为本申请一实施例提供的医学图像的目标检测模型训练装置的结构示意图。如图3所示，该医学图像的目标检测模型训练装置30包括：

输入模块301，配置为将将包括三维空间内的多个层面图像的医学图像样本和与医学图像样本对应的标注检测框输入卷积神经网络；

特征图提取模块302，配置为基于卷积神经网络提取多个层面图像的三维特征图；

预测模块303，配置为基于卷积神经网络根据三维特征图获得预测检测框；

损失计算模块304，配置为计算预测检测框和标注检测框之间损失；以及

调整模块305，配置为基于损失调整卷积神经网络的网络参数。

在本申请一实施例中，标注检测框为与多个层面图像中的待检测图像对应的二维标注检测框；其中如图4所示，该医学图像的目标检测模型训练装置30进一步包括：

二维转换模块306，配置为在基于卷积神经网络根据三维特征图获得预测检测框之前，将三维特征图转换为二维特征图；

其中，预测模块303进一步配置为：基于卷积神经网络根据二维特征图获得二维预测检测框；

其中，损失计算模块304进一步配置为：计算二维预测检测框和二维标注检测框之间损失。

在本申请一实施例中，卷积神经网络为伪三维卷积神经网络。

在本申请一实施例中，多个层面图像在三维空间内的竖向间隔距离相等，待检测图像为多个层面图像的三维空间中心位置的图像。

在本申请一实施例中，特征图提取模块302进一步配置为：对多个层面图像进行池化操作时保持竖直方向的分辨率不变；或，对多个层面图像进行池化操作时在竖直方向也降采样，降低图像分辨率。

在本申请一实施例中，调整模块305进一步配置为：采用混合精度训练能力方式调整卷积神经网络的网络参数。

本申请实施例提供的一种医学图像的目标检测模型训练装置30，可以有效利用三维空间内多个层面图像的信息为目标检出提供更为有效的特征表达，获得更为精准的检测效果，而且相比传统的三维卷积网络具有更高的空间和时间效率。

上述医学图像的目标检测模型训练装置30中的各个模块的具体功能和操作已经在上面参考图1到图2描述的医学图像的目标检测模型训练方法中进行了详细介绍。因此，这里将省略其重复描述。

需要说明的是，根据本申请实施例的医学图像的目标检测模型训练装置30可以作为一个软件模块和/或硬件模块而集成到电子设备50中，换言之，该电子设备50可以包括该医学图像的目标检测模型训练装置30。例如，该医学图像的目标检测模型训练装置30可以是该电子设备50的操作系统中的一个软件模块，或者可以是针对于其所开发的一个应用程序；当然，该医学图像的目标检测模型训练装置30同样可以是该电子设备50的众多硬件模块之一。

在本申请另一实施例中，该医学图像的目标检测模型训练装置30与该电子设备50也可以是分立的设备（例如，服务器），并且该医学图像的目标检测模型训练装置30可以通过有线和/或无线网络连接到该电子设备50，并且按照约定的数据格式来传输交互信息。

图5所示为本申请一实施例提供的电子设备的结构示意图。如图5所示，该电子设备50包括：一个或多个处理器501和存储器502；以及存储在存储器502中的计算机程序指令，计算机程序指令在被处理器501运行时使得处理器501执行如上述任一实施例的医学图像的目标检测模型训练方法。

处理器501可以是中央处理单元（CPU）或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备中的其他组件以执行期望的功能。

存储器502可以包括一个或多个计算机程序产品，计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。易失性存储器例如可以包括随机存取存储器（RAM）和/或高速缓冲存储器（cache）等。非易失性存储器例如可以包括只读存储器（ROM）、硬盘、闪存等。在计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器501可以运行程序指令，以实现上文的本申请的各个实施例的医学图像的目标检测模型训练方法中的步骤以及/或者其他期望的功能。在计算机可读存储介质中还可以存储诸如光线强度、补偿光强度、滤光片的位置等信息。

在一个示例中，电子设备50还可以包括：输入装置503和输出装置504，这些组件通过总线系统和/或其他形式的连接机构（图5中未示出）互连。

例如，在该电子设备是如工业生产线上的机器人时，该输入装置503可以是摄像头，用于捕捉待加工零件的位置。在该电子设备是单机设备时，该输入装置503可以是通信网络连接器，用于从外部的可移动设备接收所采集的输入信号。此外，该输入装置503还可以包括例如键盘、鼠标、麦克风等等。

该输出装置504可以向外部输出各种信息，例如可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。

当然，为了简化，图5中仅示出了该电子设备50中与本申请有关的组件中的一些，省略了诸如总线、输入装置/输出接口等组件。除此之外，根据具体应用情况，电子设备50还可以包括任何其他适当的组件。

除了上述方法和设备以外，本申请的实施例还可以是计算机程序产品，包括计算机程序指令，计算机程序指令在被处理器运行时使得处理器执行如上述任一实施例的医学图像的目标检测模型训练方法中的步骤。

计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本申请实施例操作的程序代码，程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。

此外，本申请的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，计算机程序指令在被处理器运行时使得处理器执行本说明书上述“示例性医学图像的目标检测模型训练方法”部分中描述的根据本申请各种实施例的医学图像的目标检测模型训练方法中的步骤。

计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子（非穷举的列表）包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器（（RAM）、只读存储器（ROM）、可擦式可编程只读存储器（EPROM或闪存）、光纤、便携式紧凑盘只读存储器（CD-ROM）、光存储器件、磁存储器件、或者上述的任意合适的组合。

以上结合具体实施例描述了本申请的基本原理，但是，需要指出的是，在本申请中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本申请的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本申请为必须采用上述具体的细节来实现。

本申请中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。

还需要指出的是，在本申请的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本申请的等效方案。

提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本申请。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本申请的范围。因此，本申请不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。

为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本申请的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。

以上所述仅为本申请的较佳实施例而已，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换等，均应包含在本申请的保护范围之内。

Claims (8)

1.一种医学图像的目标检测模型训练方法，其特征在于，包括：

将包括三维空间内的多个层面图像的医学图像样本和与所述医学图像样本对应的标注检测框输入卷积神经网络；

基于所述卷积神经网络提取所述多个层面图像的三维特征图；

基于所述卷积神经网络根据所述三维特征图获得预测检测框；

计算所述预测检测框和所述标注检测框之间损失；以及

基于所述损失调整所述卷积神经网络的网络参数，

其中，所述标注检测框为与多个层面图像中的待检测图像对应的二维标注检测框；

其中，在基于所述卷积神经网络根据所述三维特征图获得预测检测框之前，所述方法进一步包括：

将所述三维特征图转换为二维特征图；

其中，所述基于所述卷积神经网络根据所述三维特征图获得预测检测框包括：基于所述卷积神经网络根据所述二维特征图获得二维预测检测框；

其中，所述计算所述预测检测框和所述标注检测框之间损失包括：计算所述二维预测检测框和所述二维标注检测框之间损失。

2.根据权利要求1所述的方法，其特征在于，所述卷积神经网络为伪三维卷积神经网络。

3.根据权利要求1所述的方法，其特征在于，所述多个层面图像在三维空间内的竖向间隔距离相等，待检测图像为所述多个层面图像的三维空间中心位置的图像。

4.根据权利要求1所述的方法，其特征在于，所述基于所述卷积神经网络提取所述多个层面图像的三维特征图包括：

对所述多个层面图像进行三维池化操作时保持竖直方向的分辨率不变；或，

对所述多个层面图像进行三维池化操作时在竖直方向上也降采样，降低竖直方向的分辨率。

5.根据权利要求1所述的方法，其特征在于，所述基于所述损失调整所述卷积神经网络的网络参数包括：

采用混合精度训练能力方式调整所述卷积神经网络的网络参数。

6.一种医学图像的目标检测模型训练装置，其特征在于，包括：

输入模块，配置为将包括三维空间内的多个层面图像的医学图像样本和与所述医学图像样本对应的标注检测框输入卷积神经网络；

特征图提取模块，配置为基于所述卷积神经网络提取所述多个层面图像的三维特征图；

预测模块，配置为基于所述卷积神经网络根据所述三维特征图获得预测检测框；

损失计算模块，配置为计算所述预测检测框和所述标注检测框之间损失；以及

调整模块，配置为基于所述损失调整所述卷积神经网络的网络参数，

其中，所述标注检测框为与多个层面图像中的待检测图像对应的二维标注检测框；

其中，所述装置进一步包括：

二维转换模块，配置为在基于所述卷积神经网络根据所述三维特征图获得预测检测框之前，将所述三维特征图转换为二维特征图；

其中，所述预测模块进一步配置为：基于所述卷积神经网络根据所述二维特征图获得二维预测检测框；

其中，所述损失计算模块进一步配置为：计算所述二维预测检测框和所述二维标注检测框之间损失。

7.一种电子设备，包括：

处理器；以及

存储器，在所述存储器中存储有计算机程序指令，所述计算机程序指令在被所述处理器运行时使得所述处理器执行如权利要求1至5中任一所述的方法。

8.一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行如权利要求1至5中任一所述的方法。

Images