CN111402191B - 一种目标检测方法、装置、计算设备及介质 - Google Patents

Abstract

本发明公开了一种目标检测方法、装置、计算设备及介质，该方法包括：将待检测的图像输入到目标检测模型，应用目标检测模型对该图像进行目标检测，其中，该图像为三维图像；获取目标检测模型的输出结果，输出结果包括该图像中目标区域的位置信息；其中，目标检测模型包括特征提取层，特征提取层用于对图像中疑似目标区域对应的三维特征图进行处理，以提取出疑似目标区域对应的三维特征图的一个或多个图像特征，图像特征用于确定疑似目标区域是否为目标区域。

Description

一种目标检测方法、装置、计算设备及介质

技术领域

本发明涉及图像处理领域，特别涉及一种目标检测方法、装置、计算设备及介质。

背景技术

无论男性还是女性，肺癌的致死数都是所有癌症中最高的。据统计，2016年美国因肺癌去世的病人占总癌症致死病例的27％。早期筛查是降低死亡率的重要手段，然而由于早期肺癌病人一般缺乏明显临床症状，也无特异的生物标记物，因此目前筛查的主要方法是通过放射影像，一般是CT(Computed Tomography，电子计算机断层扫描)检查肺部是否存在可疑病灶。

这一筛查工作是由影像科专家人工读片完成的。每位被检者的胸腔CT图像至少有100多张，精细级的扫描甚至多达600张。CT检测需要专业的医生花费大量时间精力，而且容易因为疲劳和经验造成漏诊和误诊，人工处理的方法越来越难以胜任此项任务传统的。上述对医学影像中的病灶进行筛查处理，实际上就是一个对图像进行目标区域检测的过程，医学影像即为待检测的图像，病灶即为目标区域，基于这种考虑，可将图像处理技术中的目标区域检测技术应用到病灶筛查中。

近年来，基于深度学习的方法在医学影像中的目标检测上，取得了重大的进步，这些方法一般都分为两步：第一步是利用区域生成的方法找出疑似病灶的区域，第二步是利用深度卷积神经网络对疑似的病灶区域进行进一步的假阳性筛除，从而降低误报。这样两步处理的方法计算成本比较高，同时十分耗时，实时性难以达到要求。此外，这些方法涉及到比较复杂的数据预处理和后处理，使得难以直接应用到生产环境中。

发明内容

为此，本发明提供一种目标检测方案，以力图解决或者至少缓解上面存在的问题。

根据本发明的一个方面，提供一种目标检测方法，该方法包括如下步骤：首先，将待检测的图像输入到目标检测模型，应用目标检测模型对该图像进行目标检测，其中，该图像为三维图像；获取目标检测模型的输出结果，该输出结果包括该图像中目标区域的位置信息；其中，目标检测模型包括特征提取层，特征提取层用于对该图像中疑似目标区域对应的三维特征图进行处理，以提取出疑似目标区域对应的三维特征图的一个或多个图像特征，图像特征用于确定疑似目标区域是否为目标区域。

可选地，在根据本发明的目标检测方法中，目标区域的位置信息包括目标区域的位置坐标和三维轮廓信息。

可选地，在根据本发明的目标检测方法中，目标检测模型包括三维卷积神经网络、区域候选网络、特征提取层、区域筛查网络和掩码预测网络，其中：三维卷积神经网络分别与区域候选网络和特征提取层相连；特征提取层还分别与区域筛查网络和掩码预测网络相连；目标检测模型以三维卷积神经网络为输入端，以区域筛查网络和掩码预测网络为输出端。

可选地，在根据本发明的目标检测方法中，将待检测的图像输入到目标检测模型，应用目标检测模型对图像进行目标检测，包括：将待检测的图像输入到三维卷积神经网络中进行处理，以获取该图像的一个或多个三维特征图；将该图像的三维特征图输入到区域候选网络中进行处理，以确定三维特征图中是否含有疑似目标区域；将含有疑似目标区域的三维特征图输入到特征提取层，以提取出含有疑似目标区域的三维特征图的图像特征；将该图像特征输入到区域筛查网络中进行处理，以确定疑似目标区域是否为目标区域；若疑似目标区域为目标区域，则通过区域筛查网络和掩码预测网络预测该目标区域的位置信息。

可选地，在根据本发明的目标检测方法中，通过区域筛查网络和掩码预测网络预测该目标区域的位置信息，包括：通过区域筛查网络确定该目标区域的位置坐标；通过掩码预测网络预测该目标区域的三维轮廓信息。

可选地，在根据本发明的目标检测方法中，将含有疑似目标区域的三维特征图输入到特征提取层，以提取出含有疑似目标区域的三维特征图的图像特征，包括：将含有疑似目标区域的三维特征图输入到特征提取层，以计算出该疑似目标区域在其对应的三维特征图中的位置；通过三线性插值，将该疑似目标区域形成一个对应的特征张量，将该特征张量作为含有疑似目标区域的三维特征图的图像特征。

可选地，在根据本发明的目标检测方法中，三维卷积神经网络包括多个卷积处理层，卷积处理层包括依次相连的卷积层或转置卷积层、批标准化层和激活层。

可选地，在根据本发明的目标检测方法中，区域筛查网络包括一个或多个卷积层、一个或多个全连接层、分类器和坐标输出层，其中：区域筛查网络以一个卷积层为输入端，以分类器和坐标输出层为输出端；分类器的输出指示输入区域筛查网络的疑似目标区域是否为目标区域；坐标输出层指示在输入区域筛查网络的疑似目标区域为目标区域时，该疑似目标区域的位置坐标。

可选地，在根据本发明的目标检测方法中，目标检测模型基于预先获取的图像数据集合进行模型训练，以便区域筛查网络和掩码预测网络输出输入图像中目标区域的位置信息。

可选地，在根据本发明的目标检测方法中，图像数据集合包括多条图像训练数据，每条图像训练数据包括三维训练图像，以及该三维训练图像包括的目标区域的位置信息，基于预先获取的图像数据集合进行模型训练，包括：将图像训练数据中的三维训练图像作为输入，输入到目标检测模型，以得到目标检测模型输出的该三维训练图像的检测结果；基于三维训练图像包括的目标区域的位置信息和检测结果之间的差异，调整目标检测模型的网络参数。

可选地，在根据本发明的目标检测方法中，调整目标检测模型的网络参数，包括：调整三维卷积神经网络、区域候选网络、特征提取层、区域筛查网络和掩码预测网络中至少一项的网络参数。

可选地，在根据本发明的目标检测方法中，调整目标检测模型的网络参数，包括：使用反向传播算法调整目标检测模型的网络参数。

可选地，在根据本发明的目标检测方法中，将待检测的图像输入到目标检测模型之前，还包括：获取待处理图像，待处理图像为三维图像；将待处理图像进行划分处理，以形成多个图像块；将图像块作为待检测的图像。

可选地，在根据本发明的目标检测方法中，待处理图像为三维CT图像。

根据本发明的又一个方面，提供一种目标检测装置，该装置包括检测单元和获取单元。其中，检测单元适于将待检测的图像输入到目标检测模型，应用目标检测模型对该图像进行目标检测，该图像为三维图像；获取单元适于获取目标检测模型的输出结果，该输出结果包括该图像中目标区域的位置信息。目标检测模型包括特征提取层，特征提取层用于对该图像中疑似目标区域对应的三维特征图进行处理，以提取出疑似目标区域对应的三维特征图的一个或多个图像特征，图像特征用于确定疑似目标区域是否为目标区域。

可选地，在根据本发明的目标检测装置中，目标区域的位置信息包括目标区域的位置坐标和三维轮廓信息。

可选地，在根据本发明的目标检测装置中，目标检测模型包括三维卷积神经网络、区域候选网络、特征提取层、区域筛查网络和掩码预测网络，三维卷积神经网络分别与区域候选网络和特征提取层相连，特征提取层还分别与区域筛查网络和掩码预测网络相连，目标检测模型以三维卷积神经网络为输入端，以区域筛查网络和掩码预测网络为输出端。

可选地，在根据本发明的目标检测装置中，检测单元进一步适于将待检测的图像输入到三维卷积神经网络中进行处理，以获取该图像的一个或多个三维特征图；将该图像的三维特征图输入到区域候选网络中进行处理，以确定三维特征图中是否含有疑似目标区域；将含有疑似目标区域的三维特征图输入到特征提取层，以提取出含有疑似目标区域的三维特征图的图像特征；将该图像特征输入到区域筛查网络中进行处理，以确定疑似目标区域是否为目标区域；当疑似目标区域为目标区域时，通过区域筛查网络和掩码预测网络预测该目标区域的位置信息。

可选地，在根据本发明的目标检测装置中，检测单元进一步适于通过区域筛查网络确定该目标区域的位置坐标，通过掩码预测网络预测该目标区域的三维轮廓信息。

可选地，在根据本发明的目标检测装置中，检测单元进一步适于将含有疑似目标区域的三维特征图输入到特征提取层，以计算出该疑似目标区域在其对应的三维特征图中的位置；通过三线性插值，将该疑似目标区域形成一个对应的特征张量，将该特征张量作为含有疑似目标区域的三维特征图的图像特征。

可选地，在根据本发明的目标检测装置中，三维卷积神经网络包括多个卷积处理层，卷积处理层包括依次相连的卷积层或转置卷积层、批标准化层和激活层。

可选地，在根据本发明的目标检测装置中，区域筛查网络包括一个或多个卷积层、一个或多个全连接层、分类器和坐标输出层，区域筛查网络以一个卷积层为输入端，以分类器和坐标输出层为输出端；分类器的输出指示输入区域筛查网络的疑似目标区域是否为目标区域；坐标输出层指示在输入区域筛查网络的疑似目标区域为目标区域时，该疑似目标区域的位置坐标。

可选地，在根据本发明的目标检测装置中，目标检测模型基于预先获取的图像数据集合进行模型训练，以便区域筛查网络和掩码预测网络输出输入图像中目标区域的位置信息。

可选地，在根据本发明的目标检测装置中，图像数据集合包括多条图像训练数据，每条图像训练数据包括三维训练图像，以及该三维训练图像包括的目标区域的位置信息，检测单元还适于基于预先获取的图像数据集合进行模型训练，进一步适于将图像训练数据中的三维训练图像作为输入，输入到目标检测模型，以得到目标检测模型输出的该三维训练图像的检测结果；基于三维训练图像包括的目标区域的位置信息和检测结果之间的差异，调整目标检测模型的网络参数。

可选地，在根据本发明的目标检测装置中，检测单元进一步适于调整三维卷积神经网络、区域候选网络、特征提取层、区域筛查网络和掩码预测网络中至少一项的网络参数。

可选地，在根据本发明的目标检测装置中，检测单元进一步适于使用反向传播算法调整目标检测模型的网络参数。

可选地，在根据本发明的目标检测装置中，检测单元还适于预先获取待检测的图像，进一步适于获取待处理图像，待处理图像为三维图像；将待处理图像进行划分处理，以形成多个图像块；将图像块作为待检测的图像。

可选地，在根据本发明的目标检测装置中，待处理图像为三维CT图像。

根据本发明的又一个方面，提供一种计算设备，包括一个或多个处理器、存储器以及一个或多个程序，其中一个或多个程序存储在存储器中并被配置为由一个或多个处理器执行，一个或多个程序包括用于执行根据本发明的目标检测方法的指令。

根据本发明的又一个方面，还提供一种存储一个或多个程序的计算机可读存储介质，一个或多个程序包括指令，指令当由计算设备执行时，使得计算设备执行根据本发明的目标检测方法。

根据本发明的目标检测方案，通过目标检测模型对待检测的三维图像进行目标检测，基于目标检测模型的输出，确定该三维图像中目标区域的位置信息。目标检测模型中采用的特征提取层，可提取该三维图像中疑似目标区域对应的三维特征图的一个或多个图像特征，以便后续利用图像特征来确定疑似目标区域是否为目标区域，避免了重复计算带来的开销，极大提升了处理速度。此外，特征提取层还是可导的，则在训练目标检测模型时，网络误差可以经由其反向传播到之前的各个网络模块，有利于模型的训练，防止过拟合。

当上述目标检测方法用于对三维CT图像进行病灶检测时，处理一份CT图像只需要10秒左右的时间，远远好于医生十几分钟，以及其他方法数十秒的计算开销，在检测效果上也有明显的提升，降低了误报率。

附图说明

为了实现上述以及相关目的，本文结合下面的描述和附图来描述某些说明性方面，这些方面指示了可以实践本文所公开的原理的各种方式，并且所有方面及其等效方面旨在落入所要求保护的主题的范围内。通过结合附图阅读下面的详细描述，本公开的上述以及其它目的、特征和优势将变得更加明显。遍及本公开，相同的附图标记通常指代相同的部件或元素。

图1示出了根据本发明的一个实施例的计算设备100的结构框图；

图2示出了根据本发明的一个实施例的目标检测模型的结构示意图；

图3示出了根据本发明的一个实施例的卷积处理层的结构示意图；

图4示出了根据本发明的一个实施例的三维卷积神经网络的结构示意图；

图5示出了根据本发明的一个实施例的区域筛查网络的结构示意图；

图6示出了根据本发明的一个实施例的目标检测方法600的流程图；以及

图7示出了根据本发明的一个实施例的目标检测装置700的示意图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

图1示出了根据本发明一个实施例的计算设备100的结构框图。在基本的配置102中，计算设备100典型地包括系统存储器106和一个或者多个处理器104。存储器总线108可以用于在处理器104和系统存储器106之间的通信。

取决于期望的配置，处理器104可以是任何类型的处理，包括但不限于：微处理器(μP)、微控制器(μC)、数字信息处理器(DSP)或者它们的任何组合。处理器104可以包括诸如一级高速缓存110和二级高速缓存112之类的一个或者多个级别的高速缓存、处理器核心114和寄存器116。示例的处理器核心114可以包括运算逻辑单元(ALU)、浮点数单元(FPU)、数字信号处理核心(DSP核心)或者它们的任何组合。示例的存储器控制器118可以与处理器104一起使用，或者在一些实现中，存储器控制器118可以是处理器104的一个内部部分。

取决于期望的配置，系统存储器106可以是任意类型的存储器，包括但不限于：易失性存储器(诸如RAM)、非易失性存储器(诸如ROM、闪存等)或者它们的任何组合。系统存储器106可以包括操作系统120、一个或者多个程序122以及程序数据124。在一些实施方式中，程序122可以布置为在操作系统上由一个或多个处理器104利用程序数据124执行指令。

计算设备100还可以包括有助于从各种接口设备(例如，输出设备142、外设接口144和通信设备146)到基本配置102经由总线/接口控制器130的通信的接口总线140。示例的输出设备142包括图形处理单元148和音频处理单元150。它们可以被配置为有助于经由一个或者多个A/V端口152与诸如显示器或者扬声器之类的各种外部设备进行通信。示例外设接口144可以包括串行接口控制器154和并行接口控制器156，它们可以被配置为有助于经由一个或者多个I/O端口158和诸如输入设备(例如，键盘、鼠标、笔、语音输入设备、触摸输入设备)或者其他外设(例如打印机、扫描仪等)之类的外部设备进行通信。示例的通信设备146可以包括网络控制器160，其可以被布置为便于经由一个或者多个通信端口164与一个或者多个其他计算设备162通过网络通信链路的通信。

网络通信链路可以是通信介质的一个示例。通信介质通常可以体现为在诸如载波或者其他传输机制之类的调制数据信号中的计算机可读指令、数据结构、程序模块，并且可以包括任何信息递送介质。“调制数据信号”可以这样的信号，它的数据集中的一个或者多个或者它的改变可以在信号中编码信息的方式进行。作为非限制性的示例，通信介质可以包括诸如有线网络或者专线网络之类的有线介质，以及诸如声音、射频(RF)、微波、红外(IR)或者其它无线介质在内的各种无线介质。这里使用的术语计算机可读介质可以包括存储介质和通信介质二者。

计算设备100可以实现为服务器，例如文件服务器、数据库服务器、应用程序服务器和WEB服务器等，也可以实现为小尺寸便携(或者移动)电子设备的一部分，这些电子设备可以是诸如蜂窝电话、个人数字助理(PDA)、个人媒体播放器设备、无线网络浏览设备、个人头戴设备、应用专用设备、或者可以包括上面任何功能的混合设备。计算设备100还可以实现为包括桌面计算机和笔记本计算机配置的个人计算机。

在一些实施例中，计算设备100被配置为执行根据本发明的目标检测方法600。其中，计算设备100的一个或多个程序122包括用于执行根据本发明的目标检测方法600的指令。

在目标检测方法600中，是通过目标检测模型来对待检测的图像进行目标检测，以获取目标检测模型的输出结果，该输出结果包括该图像中目标区域的位置信息。在该实施方式中，目标区域的位置信息包括目标区域的位置坐标和三维轮廓信息。

图2示出了根据本发明的一个实施例的目标检测模型的结构示意图。如图2所示，在目标检测模型中，包括三维卷积神经网络、区域候选网络、特征提取层、区域筛查网络和掩码预测网络，三维卷积神经网络分别与区域候选网络和特征提取层相连，特征提取层还分别与区域筛查网络和掩码预测网络相连，目标检测模型以三维卷积神经网络为输入端，以区域筛查网络和掩码预测网络为输出端。

当待检测的图像输入到三维卷积神经网络中后，三维卷积神经网络对该图像进行处理，输出了该图像的一个或多个三维特征图。随后，将三维特征图输入到区域候选网络中，以确定三维特征图中是否含有疑似目标区域。若三维特征图中含有疑似目标区域，则区域候选网络会将这一确定结果发送给特征提取层(数据流向参见图2中由区域候选网络指向特征提取层之间的虚线箭头)，进而特征提取层可以将含有疑似目标区域的三维特征图作为自身的输入，进行特征提取操作，以提取出含有疑似目标区域的三维特征图的图像特征。接下来，将该图像特征输入到区域筛查网络中进行处理，以确定疑似目标区域是否为目标区域。若疑似目标区域为目标区域，则通过区域筛查网络确定该目标区域的位置坐标，而且区域筛查网络会将疑似目标区域是否为目标区域的结果发送至掩码预测网络(数据流向参见图2中由区域候选网络的是否包括目标区域的输出，指向掩码预测网络的虚线箭头)，以便掩码预测网络在疑似目标区域为目标区域时，预测该目标区域的位置信息。由此可知，目标检测模型的输出包括三项，分别是疑似目标区域是否为目标区域、目标区域的位置坐标和三维轮廓信息。

将上述目标检测方法600应用到肺部结节检测中时，待检测的图像为待处理的肺部三维CT图像经分块处理后的图像块，此时，目标区域为肺结节对应的病灶区域，疑似目标区域即为疑似病灶区域，疑似病灶区域是指的具有病灶可能性，但并不能完全肯定是病灶的区域。

具体来说，先获取待处理的肺部三维CT图像经分块处理后的图像块，将该图像块作为待检测的图像输入到三维卷积神经网络中，得到三维卷积神经网络输出的该图像的一个或多个三维特征图。再将三维特征图输入到区域候选网络中，以确定三维特征图中是否含有疑似病灶区域，若三维特征图中含有疑似病灶区域，则区域候选网络会将这一确定结果发送给特征提取层，进而特征提取层可以将含有疑似病灶区域的三维特征图作为自身的输入，进行特征提取操作，以提取出含有疑似病灶区域的三维特征图的图像特征。然后，将该图像特征输入到区域筛查网络中进行处理，以确定疑似病灶区域是否为病灶区域，这一步处理可称为假阳性筛除，即筛除掉不是病灶区域的疑似病灶区域，只保留确定为病灶区域的疑似病灶区域进行下一步处理。

若疑似病灶区域为病灶区域，则通过区域筛查网络确定该病灶区域的位置坐标，而且区域筛查网络会将疑似病灶区域是否为病灶区域的结果发送至掩码预测网络，以便掩码预测网络在疑似病灶区域为病灶区域时，预测该病灶区域的三维轮廓信息。最终，得到了病灶区域的位置坐标和三维轮廓信息，从而可确定该病灶区域在待检测的图像中的具体位置。在对待处理的肺部三维CT图像中所有图像块进行病灶检测后，根据检测结果确定该肺部三维CT图像中存在的全部肺结节对应的病灶区域。

为了便于理解，以下先对三维卷积神经网络、区域候选网络、特征提取层、区域筛查网络和掩码预测网络进行简要说明。

三维卷积神经网络用于获取待检测图像的一个或多个三维特征图，其包括多个卷积处理层，卷积处理层包括依次相连的卷积层或转置卷积层、批标准化层和激活层。图3示出了根据本发明的一个实施例的卷积处理层的结构示意图。如图3所示，一个卷积处理层中包括一个卷积层或转置卷积层、一个批标准化层和一个激活层，卷积层或转置卷积层的输出为批标准化层的输入，批标准化层的输出为激活层的输入，整个卷积处理层以卷积层或转置卷积层为输入端、以激活层为输出端。其中，转置卷积层是对输入的特征图进行反卷积或是后卷积处理，来使得输出的特征图较输入时尺寸变大。在该实施方式中，卷积层或转置卷积层中的卷积核均为三维卷积核，激活层优选为非线性激活层，如采用ReLU(RectifiedLinear Unit，线性整流函数)等。关于卷积处理层中各层的数量、连接关系等，可根据实际应用场景、网络训练情况、系统配置和性能要求等进行适当调整，这些对于了解本发明方案的技术人员来说是可以容易想到的，并且也在本发明的保护范围之内，此处不予以赘述。

图4示出了根据本发明的一个实施例的三维卷积神经网络的结构示意图。如图4所示，三维卷积神经网络包括多个依次相连的卷积处理层，上一个卷积处理层的输出为下一个卷积处理层的输入，并以一个卷积处理层为输入端、以一个卷积处理层为输出端。在该实施方式中，三维卷积神经网络包括18个卷积处理层，其中，第1～10、12、13、15、16、17和18个卷积处理层所包括的是卷积层、批标准化层和激活层，第11和14个卷积处理层所包括的是转置卷积层、批标准化层和激活层。

实际上，上述卷积层或转置卷积层中执行的是对三维特征图的三维卷积处理，即在三维特征图这样一个特征立方体中运用三维卷积核。应注意的是，三维卷积核只能从特征立方体中提取一种类型的特征，因为在整个特征立方体中，卷积核的权值都是一样的，也就是共享权值，都是同一个卷积核，因此可以采用多种卷积核，以提取多种特征。

关于三维卷积神经网络的结构，即卷积处理层的数量、连接关系等，可根据实际应用场景、网络训练情况、系统配置和性能要求等进行适当调整，这些对于了解本发明方案的技术人员来说是可以容易想到的，并且也在本发明的保护范围之内，此处不予以赘述。

区域候选网络，又称为区域生成网络(RPN，Region Proposal Network)，用于确定三维特征图中是否含有疑似目标区域。具体来说，对输入的三维特征图，通过三维滑窗生成全连接特征，再在这一全连接特征之后产生两个分支的全连接层，分别记为reg-layer和cls-layer。其中，reg-layer用于预测生成的候选区域的中心锚点对应的位置坐标(三维坐标)以及区域大小(包括宽和高)，cls-layer用于判定该候选区域是前景还是背景。这一处理过程，其实就是从三维特征图这样一个特征立方体中确定疑似目标区域的特征立方体，并获取疑似目标区域的特征立方体的中心位置及目标区域大小，以便基于此来确定三维特征图中是否含有疑似目标区域。若进一步应用到肺结节检测中，RPN的处理，可以确定疑似病灶区域中病灶中心位置和病灶大小，进而判断疑似病灶区域的存在可能性。关于区域候选网络的结构，可根据实际应用场景、网络训练情况、系统配置和性能要求等进行适当调整，这些对于了解本发明方案的技术人员来说是可以容易想到的，并且也在本发明的保护范围之内，此处不予以赘述。

特征提取层用于提取出含有疑似目标区域的三维特征图的图像特征，即对含有疑似目标区域的三维特征图，计算出疑似目标区域在其对应的三维特征图中的位置，通过三线性插值，将该疑似目标区域形成一个对应的特征张量，将该特征张量作为含有疑似目标区域的三维特征图的图像特征。在该实施方式中，特征提取层采用ROI Align方式来实现，首先，遍历每一个含有疑似目标区域的三维特征图(即候选区域)，保持浮点数边界不做量化，再将候选区域分割成k×k×k个单元，每个单元的边界也不做量化，在每个单元中计算固定8个坐标位置，用三线性插值的方法计算出这8个位置的值，然后进行最大池化操作。

关于三线性插值，是一种在三维离散采样数据的张量积网格上进行线性插值的方法。这个张量积网格可能在每一维度上都有任意不重叠的网格点，但并不是三角化的有限元分析网格。这种插值方法通过网格上数据点在局部的矩形棱柱上线性地近似计算点(x，y，z)的值，(x，y，z)表示该点的三维坐标，x、y和z分别表示该点在x轴、y轴和z轴的坐标值。三线性插值在一次n＝1、三维D＝3(n表示插值次数，D表示维数)的参数空间中进行运算，这样需要(1+n)^D＝8个与所需插值点相邻的数据点。三线性插值等同于三维张量的一阶B样条插值，运算上是三个线性插值运算的张量积，因此三线性插值的结果与插值计算的顺序没有关系。

通过三线性插值，形成了统一大小的特征张量，一般情况下，当输入的待检测的图像大小为208×208×208voxel时，此处的特征张量大小设置为64×64×64voxel。其中，voxel为体素，是体积元素(volume pixel)的简称，其为三维空间分割上的最小单位。

区域筛查网络用于根据输入的图像特征，确定疑似目标区域是否为目标区域，并在疑似目标区域为目标区域时，计算目标区域的位置坐标。根据本发明的一个实施例，区域筛查网络包括一个或多个卷积层、一个或多个全连接层、分类器和坐标输出层。图5示出了根据本发明的一个实施例的区域筛查网络的结构示意图。

如图5所示，区域筛查网络以一个卷积层为输入端，以分类器和坐标输出层为输出端。其中，分类器的输出指示输入区域筛查网络的疑似目标区域是否为目标区域，坐标输出层指示在输入区域筛查网络的疑似目标区域为目标区域时，该疑似目标区域的位置坐标，位置坐标为一个三维坐标。在该实施方式中，分类器选用softmax分类器，其输出的是疑似目标区域是目标区域的概率，以及疑似目标区域不是目标区域的概率，根据这两个概率的数值大小，可确定疑似目标区域是否为目标区域，适用于二分类。也就是说，softmax分类器用于对疑似目标区域是目标区域、疑似目标区域不是目标区域这两类情况进行分类。

关于区域筛查网络中卷积层和全连接层的数量、连接关系等，可根据实际应用场景、网络训练情况、系统配置和性能要求等进行适当调整，这些对于了解本发明方案的技术人员来说是可以容易想到的，并且也在本发明的保护范围之内，此处不予以赘述。

掩码预测网络用于在确定疑似目标区域为目标区域后，预测该目标区域的三维轮廓信息。根据本发明的一个实施例，三维轮廓信息实际上就是目标区域的图像掩码表示，通常由一个三维矩阵来表示，该三维矩阵的大小同上述特征张量的大小在数值上一致，并可通过1和0对矩阵中各元素进行填充来表明目标区域的三维轮廓。当元素为1时，表明其对应的区域为目标区域，当元素为0时，表明其对应的区域为非目标区域。换言之，三维轮廓信息是通过一个以1和0表示当前位置是否为目标区域的三维矩阵来表征的。

关于掩码预测网络的结构，可根据实际应用场景、网络训练情况、系统配置和性能要求等进行适当调整，这些对于了解本发明方案的技术人员来说是可以容易想到的，并且也在本发明的保护范围之内，此处不予以赘述。需要注意的是，上述构成目标检测模型的各处理单元，都具有三维特性，其所处理的对象也是三维的。

那么，在确定了目标检测模型的结构后，需要对其进行训练以便应用。根据本发明的一个实施例，目标检测模型基于预先获取的图像数据集合进行模型训练，以便区域筛查网络和掩码预测网络输出输入图像中目标区域的位置信息。图像数据集合包括多条图像训练数据，每条图像训练数据包括三维训练图像，以及该三维训练图像包括的目标区域的位置信息。在基于预先获取的图像数据集合进行模型训练时，将图像训练数据中的三维训练图像作为输入，输入到目标检测模型，以得到目标检测模型输出的该三维训练图像的检测结果，基于三维训练图像包括的目标区域的位置信息和检测结果之间的差异，调整目标检测模型的网络参数。

在该实施方式中，三维训练图像的检测结果包括该三维训练图像是否包括目标区域，以及包括目标区域时，该目标区域的预测位置坐标和预测三维轮廓信息。图像训练数据中的三维训练图像包括目标区域的位置信息，该位置信息为该目标区域的实际位置坐标和实际三维轮廓信息。基于该目标区域实际坐标位置和预测坐标位置之间的差异、实际三维轮廓信息和预测三维轮廓信息之间的差异、以及该三维训练图像包括目标区域的概率(若该三维训练图像包括目标区域，则概率为1，若该三维训练图像不包括目标区域，则概率为0，训练时通常采用包括目标区域的三维训练图像，因此这里的概率一般为1)，调整三维卷积神经网络、区域候选网络、特征提取层、区域筛查网络和掩码预测网络中至少一项的网络参数。具体的，使用反向传播算法调整目标检测模型的网络参数。

若目标检测模型需应用到肺结节检测中，则图像数据集合中的图像训练数据应与肺部图像相关，其中，图像训练数据所包括的三维训练图像为原始三维肺部CT图像经分块处理后形成的图像块，原始三维肺部CT图像中存在的肺结节所处区域已由医学专家进行预先标记，图像块中的肺结节对应的病灶区域为目标区域，病灶区域的位置坐标和三维轮廓信息为目标区域的位置信息。

在完成目标检测模型的构建和训练后，即可基于目标检测模型进行目标区域的检测。图6示出了根据本发明的一个实施例的目标检测方法600的流程图。

如图6所示，方法600始于步骤S610。在步骤S610中，将待检测的图像输入到目标检测模型，应用目标检测模型对该图像进行目标检测，该图像为三维图像。其中，目标检测模型包括特征提取层，特征提取层用于对待检测的图像中疑似目标区域对应的三维特征图进行处理，以提取出疑似目标区域对应的三维特征图的一个或多个图像特征，图像特征用于确定疑似目标区域是否为目标区域。

根据本发明的一个实施例，目标检测模型包括三维卷积神经网络、区域候选网络、特征提取层、区域筛查网络和掩码预测网络。其中，三维卷积神经网络分别与区域候选网络和特征提取层相连，特征提取层还分别与区域筛查网络和掩码预测网络相连，目标检测模型以三维卷积神经网络为输入端，以区域筛查网络和掩码预测网络为输出端。

在该实施方式中，三维卷积神经网络包括多个卷积处理层，卷积处理层包括依次相连的卷积层或转置卷积层、批标准化层和激活层。区域筛查网络包括一个或多个卷积层、一个或多个全连接层、分类器和坐标输出层，并以一个卷积层为输入端，以分类器和坐标输出层为输出端。其中，分类器的输出指示输入区域筛查网络的疑似目标区域是否为目标区域，坐标输出层指示在输入区域筛查网络的疑似目标区域为目标区域时，该疑似目标区域的位置坐标。

上述目标检测模型基于预先获取的图像数据集合进行模型训练，以便区域筛查网络和掩码预测网络输出输入图像中目标区域的位置信息。根据本发明的一个实施例，图像数据集合包括多条图像训练数据，每条图像训练数据包括三维训练图像，以及该三维训练图像包括的目标区域的位置信息。在基于预先获取的图像数据集合进行模型训练时，将图像训练数据中的三维训练图像作为输入，输入到目标检测模型，以得到目标检测模型输出的该三维训练图像的检测结果，再基于三维训练图像包括的目标区域的位置信息和检测结果之间的差异，调整目标检测模型的网络参数。在该实施方式中，可通过调整三维卷积神经网络、区域候选网络、特征提取层、区域筛查网络和掩码预测网络中至少一项的网络参数，来完成目标检测模型的网络参数的调整。调整网络参数的算法本发明并不限制，如可选用反向传播算法，只要能完成调整任务即可。

根据本发明的一个实施例，在将待检测的图像输入到预先训练好的目标检测模型中进行处理时，先将待检测的图像输入到三维卷积神经网络中进行处理，以获取该图像的一个或多个三维特征图，再将三维特征图输入到区域候选网络中进行处理，以确定三维特征图中是否含有疑似目标区域，将含有疑似目标区域的三维特征图输入到特征提取层，以提取出含有疑似目标区域的三维特征图的图像特征，将该图像特征输入到区域筛查网络中进行处理，以确定疑似目标区域是否为目标区域，若疑似目标区域为目标区域，则通过区域筛查网络和掩码预测网络预测该目标区域的位置信息。

在该实施方式中，目标区域的位置信息包括目标区域的位置坐标和三维轮廓信息。进而，可通过区域筛查网络确定该目标区域的位置坐标，通过掩码预测网络预测该目标区域的三维轮廓信息。

在提取图像特征时，将含有疑似目标区域的三维特征图输入到特征提取层，以计算出该疑似目标区域在其对应的三维特征图中的位置，通过三线性插值，将该疑似目标区域形成一个对应的特征张量，将该特征张量作为含有疑似目标区域的三维特征图的图像特征。

随后，进入步骤S620，获取目标检测模型的输出结果，该输出结果包括该图像中目标区域的位置信息。根据本发明的一个实施例，目标检测模型中的区域筛查网络输出该图像是否包括目标区域，以及包括目标区域时，该目标区域的位置坐标和三维轮廓信息，该目标区域的位置坐标和三维轮廓信息即为目标区域的位置信息。

根据本发明的一个实施例，待检测的图像需要预先对待处理图像进行分块处理才能获取到，具体可通过如下方式来得到待检测的图像。首先，获取待处理图像，待处理图像为三维图像，再将待处理图像进行划分处理，以形成多个图像块，将图像块作为待检测的图像。在该实施方式中，待处理图像为三维CT图像，该三维CT图像为肺部三维CT图像，目标区域为肺结节对应的病灶区域。此时，获取到的待检测的图像为对肺部三维CT图像进行分块处理后形成的图像，该图像可能包含有肺结节所在病灶区域。

在如上情景下，当向目标检测网络中输入待检测的图像后，三维卷积神经网络对该图像进行处理，输出该图像的一个或多个三维特征图。然后，将三维特征图输入到区域候选网络中，通过区域候选网络确定三维特征图中是否含有疑似病灶区域。当三维特征图中含有疑似病灶区域时，区域候选网络会将这一确定结果发送给特征提取层，以便特征提取层对含有疑似病灶区域的三维特征图进行特征提取，从而提取出含有疑似病灶区域的三维特征图的图像特征。接下来，将该图像特征输入到区域筛查网络中进行假阳性筛除，将保留下来的确定为病灶区域的疑似病灶区域进行后续处理。由于保留的疑似病灶区域实际上就是病灶区域，则通过区域筛查网络确定该病灶区域的位置坐标，并通过掩码预测网络预测该病灶区域的三维轮廓信息。最终，目标检测网络的输出为待检测的图像包括病灶区域、该病灶区域的位置坐标和三维轮廓信息。

当然，若通过区域筛查网络确定待检测的图像中没有病灶区域，则相应的，目标检测网络的输出也没有和病灶区域相关的位置信息。在对肺部三维CT图像中所有图像块进行病灶检测后，根据检测结果确定该肺部三维CT图像中存在的全部肺结节对应的病灶区域。

图7示出了根据本发明的一个实施例的目标检测装置700的示意图。如图7所示，目标检测装置700包括检测单元710和获取单元720。

检测单元710适于将待检测的图像输入到目标检测模型，应用目标检测模型对该图像进行目标检测，其中，该图像为三维图像，目标检测模型包括特征提取层，特征提取层用于对该图像中疑似目标区域对应的三维特征图进行处理，以提取出疑似目标区域对应的三维特征图的一个或多个图像特征，图像特征用于确定疑似目标区域是否为目标区域。

根据本发明的一个实施例，目标检测模型包括三维卷积神经网络、区域候选网络、特征提取层、区域筛查网络和掩码预测网络，三维卷积神经网络分别与区域候选网络和特征提取层相连，特征提取层还分别与区域筛查网络和掩码预测网络相连，目标检测模型以三维卷积神经网络为输入端，以区域筛查网络和掩码预测网络为输出端。

其中，三维卷积神经网络包括多个卷积处理层，卷积处理层包括依次相连的卷积层或转置卷积层、批标准化层和激活层。

区域筛查网络包括一个或多个卷积层、一个或多个全连接层、分类器和坐标输出层，其中，区域筛查网络以一个卷积层为输入端，以分类器和坐标输出层为输出端，分类器的输出指示输入区域筛查网络的疑似目标区域是否为目标区域，坐标输出层指示在输入区域筛查网络的疑似目标区域为目标区域时，该疑似目标区域的位置坐标。

目标检测模型基于预先获取的图像数据集合进行模型训练，以便区域筛查网络和掩码预测网络输出输入图像中目标区域的位置信息。图像数据集合包括多条图像训练数据，每条图像训练数据包括三维训练图像，以及该三维训练图像包括的目标区域的位置信息，检测单元710还适于基于预先获取的图像数据集合进行模型训练，具体的，将图像训练数据中的三维训练图像作为输入，输入到目标检测模型，以得到目标检测模型输出的该三维训练图像的检测结果，基于三维训练图像包括的目标区域的位置信息和检测结果之间的差异，调整目标检测模型的网络参数。在该实施方式中，进行网络参数调整时，可使用反向传播算法调整目标检测模型的网络参数。此外，可调整三维卷积神经网络、区域候选网络、特征提取层、区域筛查网络和掩码预测网络中至少一项的网络参数。

检测单元710进一步适于将待检测的图像输入到三维卷积神经网络中进行处理，以获取该图像的一个或多个三维特征图，将该图像的三维特征图输入到区域候选网络中进行处理，以确定三维特征图中是否含有疑似目标区域，将含有疑似目标区域的三维特征图输入到特征提取层，以提取出含有疑似目标区域的三维特征图的图像特征，将该图像特征输入到区域筛查网络中进行处理，以确定疑似目标区域是否为目标区域，当疑似目标区域为目标区域时，通过区域筛查网络和掩码预测网络预测该目标区域的位置信息。

在该实施方式中，目标区域的位置信息包括目标区域的位置坐标和三维轮廓信息，检测单元710进一步适于通过区域筛查网络确定该目标区域的位置坐标，通过掩码预测网络预测该目标区域的三维轮廓信息。

检测单元710进一步适于将含有疑似目标区域的三维特征图输入到特征提取层，以计算出该疑似目标区域在其对应的三维特征图中的位置，通过三线性插值，将该疑似目标区域形成一个对应的特征张量，将该特征张量作为含有疑似目标区域的三维特征图的图像特征。

此外，检测单元710还适于预先获取待检测的图像，进一步适于获取待处理图像，待处理图像为三维图像，将待处理图像进行划分处理，以形成多个图像块，将图像块作为待检测的图像。在该实施方式中，待处理图像为三维CT图像。

获取单元720适于获取目标检测模型的输出结果，该输出结果包括该图像中目标区域的位置信息。

关于目标检测的具体步骤以及实施例，在基于图2～6的描述中已经详细公开，此处不再赘述。

现有的目标检测方法，特别应用到肺结节的病灶区域筛查时，一般是先利用深度卷积神经网络找出疑似病灶区域，然后再利用深度卷积神经网络提取这些病灶区域的特征进行假阳性筛除。这两步的大多数操作具有冗余，尤其是利用深度神经网络提取特征。根据本发明实施例的目标检测的技术方案，引入了特征提取层，可以直接在第一步三维卷积神经网络提取的整个三维特征图序列中抽取疑似病灶区域的特征，将原先需要先后独立运行的操作整合到一起，实现了共享参数及共享计算，避免重复计算，有效地提高了处理效率，使得处理一份三维CT图像只需要10秒左右的时间，远远好于医生十几分钟，以及其他方法数十秒的计算开销，并确保了检测结果的准确性，能明显减少误报。

在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下被实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

类似地，应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。

本领域那些技术人员应当理解在本文所公开的示例中的设备的模块或单元或组间可以布置在如该实施例中所描述的设备中，或者可替换地可以定位在与该示例中的设备不同的一个或多个设备中。前述示例中的模块可以组合为一个模块或者此外可以分成多个子模块。

本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组间组合成一个模块或单元或组间，以及此外可以把它们分成多个子模块或子单元或子组间。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。

此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

此外，所述实施例中的一些在此被描述成可以由计算机系统的处理器或者由执行所述功能的其它装置实施的方法或方法元素的组合。因此，具有用于实施所述方法或方法元素的必要指令的处理器形成用于实施该方法或方法元素的装置。此外，装置实施例的在此所述的元素是如下装置的例子：该装置用于实施由为了实施该发明的目的的元素所执行的功能。

这里描述的各种技术可结合硬件或软件，或者它们的组合一起实现。从而，本发明的方法和设备，或者本发明的方法和设备的某些方面或部分可采取嵌入有形媒介，例如软盘、CD-ROM、硬盘驱动器或者其它任意机器可读的存储介质中的程序代码(即指令)的形式，其中当程序被载入诸如计算机之类的机器，并被所述机器执行时，所述机器变成实践本发明的设备。

在程序代码在可编程计算机上执行的情况下，计算设备一般包括处理器、处理器可读的存储介质(包括易失性和非易失性存储器和/或存储元件)，至少一个输入装置，和至少一个输出装置。其中，存储器被配置用于存储程序代码；处理器被配置用于根据该存储器中存储的所述程序代码中的指令，执行本发明的目标检测方法。

以示例而非限制的方式，计算机可读介质包括计算机存储介质和通信介质。计算机可读介质包括计算机存储介质和通信介质。计算机存储介质存储诸如计算机可读指令、数据结构、程序模块或其它数据等信息。通信介质一般以诸如载波或其它传输机制等已调制数据信号来体现计算机可读指令、数据结构、程序模块或其它数据，并且包括任何信息传递介质。以上的任一种的组合也包括在计算机可读介质的范围之内。

如在此所使用的那样，除非另行规定，使用序数词“第一”、“第二”、“第三”等等来描述普通对象仅仅表示涉及类似对象的不同实例，并且并不意图暗示这样被描述的对象必须具有时间上、空间上、排序方面或者以任意其它方式的给定顺序。

尽管根据有限数量的实施例描述了本发明，但是受益于上面的描述，本技术领域内的技术人员明白，在由此描述的本发明的范围内，可以设想其它实施例。此外，应当注意，本说明书中使用的语言主要是为了可读性和教导的目的而选择的，而不是为了解释或者限定本发明的主题而选择的。因此，在不偏离所附权利要求书的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。对于本发明的范围，对本发明所做的公开是说明性的，而非限制性的，本发明的范围由所附权利要求书限定。

Claims (16)

1.一种目标检测方法，包括：

将待检测的图像输入到目标检测模型，应用所述目标检测模型对所述图像进行目标检测，其中，所述图像为三维图像；

获取所述目标检测模型的输出结果，所述输出结果包括所述图像中目标区域的位置信息；

其中，所述目标检测模型包括三维卷积神经网络、区域候选网络、特征提取层、区域筛查网络和掩码预测网络，所述将待检测的图像输入到目标检测模型，应用所述目标检测模型对所述图像进行目标检测，包括：

将待检测的图像输入到所述三维卷积神经网络中进行处理，以获取所述图像的一个或多个三维特征图；

将所述图像的三维特征图输入到所述区域候选网络中进行处理，以确定所述三维特征图中是否含有疑似目标区域；

将含有疑似目标区域的三维特征图输入到所述特征提取层，以提取出所述含有疑似目标区域的三维特征图的图像特征；

将所述图像特征输入到所述区域筛查网络中进行处理，以确定所述疑似目标区域是否为目标区域；

若所述疑似目标区域为目标区域，则通过所述区域筛查网络和掩码预测网络预测所述目标区域的位置信息。

2.如权利要求1所述的方法，所述目标区域的位置信息包括所述目标区域的位置坐标和三维轮廓信息。

3.如权利要求1或2所述的方法，其中，所述三维卷积神经网络分别与所述区域候选网络和所述特征提取层相连；

所述特征提取层还分别与所述区域筛查网络和所述掩码预测网络相连；

所述目标检测模型以所述三维卷积神经网络为输入端，以所述区域筛查网络和所述掩码预测网络为输出端。

4.如权利要求1所述的方法，所述通过所述区域筛查网络和掩码预测网络预测所述目标区域的位置信息，包括：

通过所述区域筛查网络确定所述目标区域的位置坐标；

通过所述掩码预测网络预测所述目标区域的三维轮廓信息。

5.如权利要求1所述的方法，其中，所述将含有疑似目标区域的三维特征图输入到所述特征提取层，以提取出所述含有疑似目标区域的三维特征图的图像特征，包括：

将含有疑似目标区域的三维特征图输入到所述特征提取层，以计算出所述疑似目标区域在其对应的三维特征图中的位置；

通过三线性插值，将所述疑似目标区域形成一个对应的特征张量，将所述特征张量作为所述含有疑似目标区域的三维特征图的图像特征。

6.如权利要求3所述的方法，其中，所述三维卷积神经网络包括多个卷积处理层，所述卷积处理层包括依次相连的卷积层或转置卷积层、批标准化层和激活层。

7.如权利要求3所述的方法，所述区域筛查网络包括一个或多个卷积层、一个或多个全连接层、分类器和坐标输出层，其中：

所述区域筛查网络以一个卷积层为输入端，以所述分类器和坐标输出层为输出端；

所述分类器的输出指示输入所述区域筛查网络的疑似目标区域是否为目标区域；

所述坐标输出层指示在输入所述区域筛查网络的疑似目标区域为目标区域时，所述疑似目标区域的位置坐标。

8.如权利要求3所述的方法，其中，所述目标检测模型基于预先获取的图像数据集合进行模型训练，以便所述区域筛查网络和掩码预测网络输出输入图像中目标区域的位置信息。

9.如权利要求8所述的方法，其中，所述图像数据集合包括多条图像训练数据，每条图像训练数据包括三维训练图像，以及所述三维训练图像包括的目标区域的位置信息，所述基于预先获取的图像数据集合进行模型训练，包括：

将所述图像训练数据中的三维训练图像作为输入，输入到所述目标检测模型，以得到所述目标检测模型输出的所述三维训练图像的检测结果；

基于所述三维训练图像包括的目标区域的位置信息和所述检测结果之间的差异，调整所述目标检测模型的网络参数。

10.如权利要求9所述的方法，其中，所述调整所述目标检测模型的网络参数，包括：

调整所述三维卷积神经网络、区域候选网络、特征提取层、区域筛查网络和掩码预测网络中至少一项的网络参数。

11.如权利要求9所述的方法，其中，所述调整所述目标检测模型的网络参数，包括：

使用反向传播算法调整所述目标检测模型的网络参数。

12.如权利要求1所述的方法，其中，将待检测的图像输入到目标检测模型之前，还包括：

获取待处理图像，所述待处理图像为三维图像；

将所述待处理图像进行划分处理，以形成多个图像块；

将所述图像块作为待检测的图像。

13.如权利要求12所述的方法，其中，所述待处理图像为三维CT图像。

14.一种目标检测装置，包括：

检测单元，适于将待检测的图像输入到目标检测模型，应用所述目标检测模型对所述图像进行目标检测，其中，所述图像为三维图像；

获取单元，适于获取所述目标检测模型的输出结果，所述输出结果包括所述图像中目标区域的位置信息；

其中，所述目标检测模型包括三维卷积神经网络、区域候选网络、特征提取层、区域筛查网络和掩码预测网络，所述将待检测的图像输入到目标检测模型，应用所述目标检测模型对所述图像进行目标检测，包括：

将待检测的图像输入到所述三维卷积神经网络中进行处理，以获取所述图像的一个或多个三维特征图；

将所述图像的三维特征图输入到所述区域候选网络中进行处理，以确定所述三维特征图中是否含有疑似目标区域；

将含有疑似目标区域的三维特征图输入到所述特征提取层，以提取出所述含有疑似目标区域的三维特征图的图像特征；

将所述图像特征输入到所述区域筛查网络中进行处理，以确定所述疑似目标区域是否为目标区域；

若所述疑似目标区域为目标区域，则通过所述区域筛查网络和掩码预测网络预测所述目标区域的位置信息。

15.一种计算设备，包括：

一个或多个处理器；

存储器；以及

一个或多个程序，其中所述一个或多个程序存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于执行根据权利要求1-13所述的方法中的任一方法的指令。

16.一种存储一个或多个程序的计算机可读存储介质，所述一个或多个程序包括指令，所述指令当由计算设备执行时，使得所述计算设备执行根据权利要求1-13所述的方法中的任一方法。

Images