CN110533637A - 一种检测对象的方法及装置 - Google Patents

Abstract

本发明实施例提供一种检测对象的方法及装置，其中方法包括：获取预设影像后，使用预设切分平面切分预设影像得到多组待识别影像层，将每组待识别影像层输入第一检测模型，确定预设影像中的第一检测对象，将每组待识别影像层输入第二检测模型，确定预设影像中的第二检测对象，进而根据第一检测对象和第二检测对象，确定预设影像中的目标检测对象。本发明实施例通过第一检测模型检出尺寸较小的检测对象，以及通过第二检测模型检出尺寸较大的检测对象，使得尺寸较大的检测对象和尺寸较小的检测对象均较为准确；且，通过自动检出预设影像中的检测对象，无需依靠人为经验进行判别，从而可以有效地提高检测的效率和准确性。

Description

一种检测对象的方法及装置

技术领域

本发明实施例涉及机器学习技术领域，尤其涉及一种检测对象的方法及装置。

背景技术

在医疗技术领域中，通常涉及到从影像中检测目标检测对象的问题，目标检测对象可以是指器官，比如肺、心脏、脑、淋巴等，或者也可以是指病灶，比如结节、肿瘤等等。一般来说，若从影像中检测的目标检测对象较为精确(比如位置准确、尺寸准确)，则可以便于分析确定治疗方案，而若从影像中检测的目标检测对象精确度不好，则还需要采用其它方式检测目标检测对象，导致操作较为复杂。

现阶段，为了最大可能的缩短中间环节，为患者争取较佳救治时间，拍摄CT影像成为了高效和经济兼顾的最佳检查手段。现有技术中主要由人工查看CT影像的方法从影像中确定出目标检测对象，比如若医生获取到一张肺部影像，则可以根据经验对肺部影像进行分析，从而确定出肺部影像中肺结节所在的位置以及肺结节的大小。然而，采用该种方式，通常需要耗费较长的时间，导致病情被拖延，且经验相差较大的医生确定出的目标检测对象的准确度也相差较大，从而容易由于人为差异导致病情判断不准确。

综上，目前亟需一种检测对象的方法，用以解决现有技术中采用人工查看影像的方式判断病情所导致的精度受人为的主观因素影响大，且效率较低的技术问题。

发明内容

本发明实施例提供一种检测对象的方法及装置，用以解决现有技术中采用人工查看影像的方式判断病情所导致的精度受人为的主观因素影响大，且效率较低的技术问题。

第一方面，本发明实施例提供了一种检测对象的方法，该方法包括：

获取预设影像后，使用预设切分平面切分所述预设影像得到多组待识别影像层，每组待识别影像层包括至少一帧连续的图像；进一步地，将每组待识别影像层输入第一检测模型，确定所述预设影像中的第一检测对象，所述第一检测对象的尺寸小于第一预设阈值；以及，将每组待识别影像层输入第二检测模型，确定所述预设影像中的第二检测对象，所述第二检测对象的尺寸大于或等于所述第一预设阈值，进而根据所述第一检测对象和所述第二检测对象，确定所述预设影像中的目标检测对象。

本发明实施例中，通过使用第一检测模型检出预设影像中尺寸较小的检测对象，并使用第二检测模型检出预设影像中尺寸较大的检测对象，可以使得检出的尺寸较大的检测对象和尺寸较小的检测对象均较为准确；相较于采用人工检出的方式来说，本发明实施例可以自动地检出预设影像中的检测对象，而无需依靠人为经验进行判别，从而可以有效地提高检测的效率和准确性。

在一种可能的设计中，所述将每组待识别影像层输入第一检测模型，确定所述预设影像中的第一检测对象，包括：针对每组待识别影像层，确定出所述待识别影像层中每帧图像的特征图像，并根据所述每帧图像的特征图像在所述每帧图像上标记出检出框；进一步地，根据不同组待识别影像层包括的同一帧图像上的检出框的置信度得到所述同一帧图像上的目标检出框，并根据所述不同组待识别影像层包括的各帧图像上的目标检出框，得到所述预设影像中的各第一初始检测对象，进而将所述预设影像中的各第一初始检测对象中尺寸小于所述第一预设阈值的第一初始检测对象确定为所述预设影像中的第一检测对象。

在上述设计中，通过从每帧图像的特征图像中确定检出框，并基于检出框的置信度对检出框进行筛选，可以避免重复地检测预设影像中的同一个检测对象并输出，从而可以提高检测预设影像中检测对象数量的准确性；且，相比于采用一组待检测影像层执行检测过程来说，通过综合不同待检测影像层的同一帧图像确定同一帧图像上的目标检出框，可以提高目标检出框的准确性，进而提高基于目标检出框得到的检测对象的准确性。

在一种可能的设计中，所述将每组待识别影像层输入第二检测模型，确定所述预设影像中的第二检测对象，包括：针对每组待识别影像层，确定出所述待识别影像层中每帧图像的特征图像，并根据所述每帧图像的特征图像确定出所述每帧图像上各像素点为检测对象的置信度；进一步地，针对于所述预设影像中的任一像素点，从不同组待识别影像层中获取包含所述像素点的至少一帧目标图像，根据所述至少一帧目标图像上所述像素点的置信度得到所述像素点的目标置信度，并根据所述预设影像中各像素点的目标置信度大于预设置信度的目标像素点，得到所述预设影像中的各第二初始检测对象，进而将所述各第二初始检测对象中尺寸大于或等于所述第一预设阈值的第二初始检测对象确定为所述预设影像中的第二检测对象。

在上述设计中，通过从每帧图像的特征图像中确定每个像素点为检测对象的置信度，并基于不同待检测影像层的同一帧图像确定同一帧图像上每个像素点为检测对象的目标置信度，可以避免重复地检测预设影像中的同一个检测对象并输出，从而可以提高检测预设影像中检测对象数量的准确性；且，通过使用阈值切分的方式确定目标像素点，可以提高检测的准确性。

在一种可能的设计中，所述针对每组待识别影像层，确定出所述待识别影像层中每帧图像的特征图像，包括：针对所述每组待识别影像层，将所述待识别影像层作为多通道输入，提取所述待识别影像层的不同尺寸的特征图像。

在上述设计中，通过基于目标图像和目标图像的相邻图像确定目标图像的特征图像，使得确定得到的特征图像蕴含较为丰富的信息，通过将待识别影像层作为多通道输入，并提取待识别影像层的不同尺寸的特征图像，既可以检测到大尺寸的检测对象，也可以检测到小尺寸的检测对象，从而可以提高检测的精度。

在一种可能的设计中，所述使用预设切分平面切分所述预设影像得到一组或多组待识别影像层，包括：使用不同维度的预设切分平面切分所述预设影像得到不同维度分别对应的多组待识别影像层，每个维度对应的每组待识别影像层包括使用所述维度的预设切分平面切分所述预设影像得到的一帧或多帧图像，不同维度的预设切分平面不平行；相应地，所述根据所述不同组待识别影像层包括的各帧图像上的目标检出框，得到所述预设影像中的各第一初始检测对象，包括：针对于任一维度的多组待识别影像层，根据各帧图像上的目标检出框确定各第一初始检测对象，将所述预设影像在不同维度上的各第一初始检测对象中重合的部分作为所述预设影像中的各第一初始检测对象；进一步地，所述根据所述不同组待识别影像层包括的各帧图像中像素点的目标置信度大于预设置信度的目标像素点，得到所述预设影像中的各第二初始检测对象，包括：针对同一像素，根据所述像素点在不同维度的各帧图像中的置信度确定所述像素点的合并置信度，进而根据所述不同组待识别影像层包括的各帧图像中像素点的合并置信度大于所述预设置信度的目标像素点，得到所述预设影像中的各第二初始检测对象。

在上述设计中，通过使用像素点在不同维度的待识别影像层上的置信度得到像素点的合并置信度，可以综合各个维度的置信度信息，从而降低某一维度识别的置信度误差，提高检测的准确性；且，通过基于预设阈值切分的方式对像素点进行筛选，可以快速地删除非检测对象所在的像素点，从而提高检测的效率。

在一种可能的设计中，所述根据所述第一检测对象和所述第二检测对象，确定所述预设影像中的目标检测对象，包括：将所述第一检测对象和所述第二检测对象输入预设分类模型，输出所述第一检测对象和所述第二检测对象属于第一类型的置信度和属于第二类型的置信度，所述第一类型用于标识检测对象为目标检测对象，所述第二类型用于标识检测对象不为目标检测对象；进一步地，从所述第一检测对象和所述第二检测对象中选择第一类型的置信度大于第二类型的置信度的第一检测对象和第二检测对象作为所述目标检测对象。

在上述设计中，通过使用预设分类模型对第一检测模型和第二检测模型检测出的各检测对象进行分类，可以准确确定出各检测对象中的目标检测对象，降低误报的置信度。

第二方面，本发明实施例提供的一种检测对象的装置，包括：

获取模块，用于获取预设影像；

切分模块，用于使用预设切分平面切分所述预设影像得到多组待识别影像层；每组待识别影像层包括至少一帧连续的图像；

确定模块，用于将每组待识别影像层输入第一检测模型，确定所述预设影像中的第一检测对象；所述第一检测对象的尺寸小于第一预设阈值；以及，将每组待识别影像层输入第二检测模型，确定所述预设影像中的各第二检测对象；所述第二检测对象的尺寸大于或等于所述第一预设阈值；以及，根据所述第一检测对象和所述第二检测对象，确定所述预设影像中的目标检测对象。

在一种可能的设计中，所述确定模块具体用于：针对每组待识别影像层，确定出所述待识别影像层中每帧图像的特征图像，从所述每帧图像的特征图像上标记出检出框；进一步地，根据不同组待识别影像层包括的同一帧图像上的检出框的置信度得到所述同一帧图像上的目标检出框，并根据所述不同组待识别影像层包括的各帧图像上的目标检出框，得到所述预设影像中的各第一初始检测对象，进而将所述预设影像中的各第一初始检测对象中尺寸小于所述第一预设阈值的第一初始检测对象确定为所述预设影像中的第一检测对象。

在一种可能的设计中，所述确定模块具体用于：针对每组待识别影像层，确定出所述待识别影像层中每帧图像的特征图像，根据所述每帧图像的特征图像确定所述每帧图像上各像素点为检测对象的置信度；针对于所述预设影像中的任一像素点，从所述不同组待识别影像层中获取包含所述像素点的至少一帧目标图像，根据所述至少一帧目标图像上所述像素点的置信度得到所述像素点的目标置信度；根据所述预设影像中各像素点的目标置信度大于预设置信度的目标像素点，得到所述预设影像中的各第二初始检测对象；将所述各第二初始检测对象中尺寸大于或等于所述第一预设阈值的第二初始检测对象确定为所述预设影像中的第二检测对象。

在一种可能的设计中，所述确定模块具体用于：针对所述每组待识别影像层，将所述待识别影像层作为多通道输入，提取所述待识别影像层的不同尺寸的特征图像。

在一种可能的设计中，所述切分模块具体用于：使用不同维度的预设切分平面切分所述预设影像得到不同维度分别对应的多组待识别影像层；每个维度对应的每组待识别影像层包括使用所述维度的预设切分平面切分所述预设影像得到的一帧或多帧连续的图像，不同维度的预设切分平面不平行；所述确定模块具体用于：针对于任一维度的多组待识别影像层，根据各帧图像上的目标检出框确定各第一初始检测对象；将所述预设影像在不同维度上的各第一初始检测对象中重合的部分作为所述预设影像中的各第一初始检测对象；以及，针对同一像素，根据所述像素点在不同维度的各帧图像中的置信度确定所述像素点的合并置信度；根据所述不同组待识别影像层包括的各帧图像中像素点的合并置信度大于所述预设置信度的目标像素点，得到所述预设影像中的各第二初始检测对象。

在一种可能的设计中，所述确定模块具体用于：将所述第一检测对象和所述第二检测对象输入预设分类模型，输出所述第一检测对象和所述第二检测对象属于第一类型的置信度和属于第二类型的置信度；所述第一类型用于标识检测对象为目标检测对象，所述第二类型用于标识检测对象不为目标检测对象；从所述第一检测对象和所述第二检测对象中选择第一类型的置信度大于第二类型的置信度的第一检测对象和第二检测对象作为所述目标检测对象。

第三方面，本发明实施例提供的一种计算设备，包括至少一个处理单元以及至少一个存储单元，其中，所述存储单元存储有计算机程序，当所述程序被所述处理单元执行时，使得所述处理单元执行上述第一方面任意所述方法的步骤。

第四方面，本发明实施例提供的一种计算机可读存储介质，其存储有可由计算设备执行的计算机程序，当所述程序在所述计算设备上运行时，使得所述计算设备执行上述第一方面任意所述方法的步骤。

本发明的这些方面或其它方面在以下的实施例中会更加清晰明确。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种检测对象的方法对应的流程示意图；

图2为本发明实施例提供的一种预设影像示意图；

图3为本发明实施例提供的一种预设分类模型的结构示意图；

图4为本发明实施例提供的一种卷积模块的结构示意图；

图5为本发明实施例提供的一种第一特征提取模块的结构示意图；

图6为本发明实施例提供的一种在特征图像上标注检出框的方法对应的流程示意图；

图7为本发明实施例提供的一种筛选初始检出框的方法对应的流程示意图；

图8为本发明实施例提供的一种训练第一检测模型的方法对应的流程示意图；

图9为本发明实施例提供的一种第二检出模块的结构示意图；

图10为本发明实施例提供的一种检测对象的装置对应的结构示意图；

图11为本发明实施例提供的一种计算设备的结构示意图。

具体实施方式

为了使本发明的目的、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

图1为本发明实施例提供的一种检测对象的方法对应的流程示意图，该方法可以由检测对象的装置来执行，该方法包括：

步骤101，获取预设影像。

本发明实施例中，预设影像可以是指采用X光拍摄的特定图像，比如计算机体层摄影(Computed Tomography，简称CT)影像、磁共振成像(Magnetic Resonance Imaging，简称MRI)影像等等；以CT影像为例，初始影像可以不限于胸部CT图像、腿部CT图像和脑部CT图像。

预设影像可以是指三维影像，示例性地，预设影像可以如图2所示。

步骤102，使用预设切分平面切分所述预设影像得到多组待识别影像层，每组待识别影像层包括至少一帧连续的图像。

具体实施中，在获取预设影像之后，可以对预设影像进行切分，切分前可以先将预设影像转化为DICOM格式的图像，然后根据DICOM格式图像的DICOM信息选取固定的窗宽窗位切分预设影像；如此，可以切分预设影像以获得多帧图像。在一个示例中，窗宽可以选取为W＝80，窗位可以选取为L＝40。

举例来说，对于预设影像而言，可以预先在预设影像上设置参考坐标系，参考坐标系可以由原点o、x轴、y轴和z轴构成；进一步地，可以以xoy平面(即横断面)为切分平面，或以yoz平面(即冠状面)为切分平面，或以xoz平面(即矢状面)为切分平面，切分预设影像得到一个维度的待识别影像层；或者以xoy平面、yoz平面和xoz平面中的任意多个平面为预设切分平面，切分预设影像得到多个维度的待识别影像层。以xoy平面、yoz平面和xoz平面作为三个预设切分平面为例，可以使用xoy平面切分预设影像得到多帧(比如90帧)第一维度图像、使用yoz平面切分预设影像得到多帧(比如90帧)第二维度图像、使用xoz平面切分预设影像得到多帧(比如90帧)第三维度图像。其中，90帧第一维度图像中的任一第一维度图像可以与xoy平面平行，90帧第二维度图像中的任一第二维度图像可以与yoz平面平行，90帧第三维度图像中的任一第三维度图像可以与xoz平面平行。

需要说明的是，预设切分平面的数量可以由本领域技术人员根据实际需要进行设置，具体不作限定。

进一步地，在切分得到90帧第一维度图像、90帧第二维度图像和90帧第三维度图像后，还可以对这270帧图像进行缩放；在一个示例中，可以将这270帧图像均缩放到固定大小，比如512*512像素。以90帧第一维度图像为例，为了保证后续检测图像的完整性和一致性，在缩放90帧第一维度图像之前，还可以在90帧第一维度图像的四周添加黑边，从而将这90帧第一维度图像的长宽比例均调整为1:1。

在一种可能的实现方式中，可以采用滑窗方式从90帧第一维度图像中确定出多组第一维度的待识别影像层，其中，滑窗方式所采用的预设滑窗帧数可以由本领域技术人员根据经验进行设置，比如可以为1帧，也可以为至少两帧，具体不作限定。比如，若预设滑窗帧数为3帧，则可以从90帧第一维度图像中确定出八十八组第一维度的待识别影像层，其中，第一～第三帧第一维度图像可以组成第一组第一维度的待识别影像层，第二～第四帧第一维度图像可以组成第二组第一维度的待识别影像层、第三～第五帧第一维度图像可以组成第三组第一维度的待识别影像层，……，第八十八～第九十帧第一维度图像可以组成第八十八组第一维度的待识别影像层。

需要说明的是，上述实现方式仅为一种示例性的说明，并不构成对方案的限定。具体实施中，也可以采用其它方式从90帧第一维度图像中确定出多组第一维度的待识别影像层，比如可以将设定数量的连续的图像作为一组待识别影像层，比如若设定数量为3，则可以从90帧第一维度图像中确定出三十组第一维度的待识别影像层，其中，第一～第三帧第一维度图像可以组成第一组第一维度的待识别影像层，第四～第六帧第一维度图像可以组成第二组第一维度的待识别影像层、第七～第九帧第一维度图像可以组成第三组第一维度的待识别影像层，……，第八十八～第九十帧第一维度图像可以组成第三十组第一维度的待识别影像层。

采用上述实现方式，若每组待识别影像层中均包括3帧图像，则可以从预设影像中切分得到八十八组第一维度的待识别影像层、八十八组第二维度的待识别影像层以及八十八组第三维度的待识别影像层，每组第一维度的待识别影像层可以包括3帧第一维度图像，每组第二维度的待识别影像层可以包括3帧第二维度图像，每组第三维度的待识别影像层可以包括3帧第三维度图像。

需要说明的是，本发明实施例并不限定第一维度的待识别影像层的数量、第二维度的待识别影像层的数量以及第三维度的待识别影像层的数量，比如第一维度的待识别影像层的数量、第二维度的待识别影像层的数量以及第三维度的待识别影像层的数量可以相同，或者也可以不同，具体不作限定。

步骤103，将每组待识别影像层输入第一检测模型，确定所述预设影像中的第一检测对象；所述第一检测对象的尺寸小于第一预设阈值。

需要说明的是，若步骤102中仅使用一个维度的预设切分平面切分得到所述维度的待识别影像层，则可以直接将所述维度的待识别影像层输入第一检测模型；如此，第一检测模型可以根据所述维度的待识别影像层检测得到预设影像在所述维度上的第一检测对象。相应地，若步骤102中使用第一至第三维度的预设切分平面切分得到第一至第三维度的待识别影像层，则可以分别将第一至第三维度的待识别影像层输入第一检测模型；如此，第一检测模型可以根据第一维度的待识别影像层检测得到预设影像在第一维度上的第一检测对象，根据第二维度的待识别影像层检测得到预设影像在第二维度上的第一检测对象，根据第三维度的待识别影像层检测得到预设影像在第三维度上的第一检测对象。

下面以确定预设影像在第一维度上的第一检测对象为例描述步骤103的实现过程。

具体实施中，针对于第一维度的任一组待识别影像层，第一检测模型可以对该组待识别影像层包括的多帧图像进行联合检测，若确定某一帧图像上包括检测对象(比如结节、肿瘤)，则可以以检出框的形式将该帧图像上的检测对象标注出来。本发明实施例中，第一维度的各组待识别影像层中可能包含不重叠的图像，也可能包含重叠的图像，比如若图像为预设影像的边缘图像，则该图像可以仅属于一组第一维度的待识别影像层；若图像为预设影像的边缘图像相邻的图像，则该图像可以同时属于两组第一维度的待识别影像层；若图像不为预设影像的边缘图像且不为边缘图像相邻的图像，则该图像可以同时属于三组第一维度的待识别影像层。基于此，本发明实施例可以合并第一维度的各组待识别影像层包括的各帧图像上标注的检出框，得到预设影像在第一维度上的各第一初始检测对象，比如可以先对第一维度的各组待识别影像层包括的相同图像上标注的检出框进行筛选合并(比如删除相同图像的多余检出框)，再将第一维度的各组待识别影像层上保留的目标检出框进行合并；或者也可以直接合并第一维度的各组待识别影像层包括的各帧图像上标注的检出框，再将多余的检出框删除，不作限定。进一步地，可以删除第一维度上各第一初始检测对象中尺寸大于或等于预设尺寸的第一初始检测对象，并可以将保留的各第一初始检测对象作为预设影像在第一维度上的各第一检测对象。

本发明实施例中，可以直接将预设影像在一个维度上的第一检测对象作为第一检测模型确定出的第一检测对象，或者也可以在得到预设影像在各个维度上的第一检测对象后，针对于每个第一检测对象，保留该第一检测对象在各个维度上重叠的部分，从而将保留的各个重叠部分作为第一检测模型确定出的第一检测对象。

根据上述内容可知，由于第一检测模型是基于多个待识别影像层来检测预设影像中的检测对象，从而既可以检测到大尺寸的对象，也可以检测到小尺寸的对象；通过使用预设尺寸筛选检测到的各第一初始检测对象，使得第一检测模型可以检出尺寸较小的第一检测对象，且第一检测对象的检测效果较好，对象检测的精度较高。

步骤104，将每组待识别影像层输入第二检测模型，确定所述预设影像中的第二检测对象；所述第二检测对象的尺寸大于或等于所述第一预设阈值。

以确定预设影像在第一维度上的第二检测对象为例，具体实施中，针对于第一维度的任一组待识别影像层，第二检测模型可以对该组待识别影像层包括的多帧图像进行联合检测，进而确定出该组待识别影像层的置信度分布，该组待识别影像层的置信度分布可以包括该组待识别影像层所包含的每帧图像的置信度分布信息，每帧图像的置信度分布信息可以包括每帧图像上的每个像素点为检测对象的置信度。

本发明实施例中，第一维度的各组待识别影像层中可能包含不重叠的像素点，也可能包含重叠的像素点，比如若像素点为预设影像的边缘像素点，则该像素点可以仅属于一组第一维度的待识别影像层；若像素点为预设影像的边缘像素点相邻的像素点，则该像素点可以同时属于两组第一维度的待识别影像层；若像素点不为预设影像的边缘像素点且不为边缘像素点相邻的像素点，则该像素点可以同时属于三组第一维度的待识别影像层。基于此，可以根据第一维度的各组待识别影像层中每个相同的像素点的置信度计算每个像素点的平均置信度，作为相同像素点的目标置信度，而非相同像素点的置信度作为非相同像素点的目标置信度，进而可以将目标置信度大于预设置信度的像素点作为目标像素点，进而通过合并各组待识别影像层上的目标像素点，确定出预设影像在第一维度上的各第二初始检测对象。进一步地，可以删除各第二初始检测对象中尺寸小于第一预设阈值的第二初始检测对象，并可以将保留的第二初始检测对象确定为预设影像在第一维度上的第二检测对象。

采用上述实现方式，若基于同一维度的各组待识别影像层确定第二检测对象，则可以先从各组待识别影像层中确定出各帧相同的图像，再针对于每一帧相同的图像，根据各组待识别影像层中该帧图像上各个像素点的置信度计算得到该帧图像上各个像素点的平均置信度，进而使用预设置信度筛选得到该帧图像上的目标像素点。比如，在预设滑窗帧数为3帧时，若图像不为预设影像的边缘图像且不为边缘图像的相邻图像，则可以存在3组待识别影像层中包含该图像，因此可以根据这3组待识别影像层的置信度分布中该图像的每一个像素点的平均置信度，作为该图像上的每个像素点的目标置信度，若图像为预设影像的边缘图像，则可以存在1组待识别影像层中包含该图像，因此可以直接将1组待识别影像层的置信度分布中该图像的每一个像素点的置信度，作为该图像上的每个像素点的目标置信度。

相应地，若基于各个维度的各组待识别影像层确定第二检测对象，则可以先从各个维度的各组待识别影像层中确定出各个相同的像素点，再针对于每一个相同的像素点，根据各个维度的各组待识别影像层中该像素点的置信度计算得到该像素点的平均置信度，若平均置信度大于预设置信度，则可以将该像素点作为一个目标像素点。比如采用三个维度的预设切分平面切分预设影像，且预设滑窗帧数为3帧时，若像素点不为预设影像的边缘像素点且不为边缘像素点相邻的像素点，则可以存在9组待识别影像层中包含该像素点，因此可以根据这9组待识别影像层的置信度分布中该像素点的平均置信度，作为该像素点的目标置信度；若像素点为预设影像的边缘像素点，则可以存在3组待识别影像层中包含该像素点，因此可以直接将这3组待识别影像层的置信度分布中该像素点的平均置信度，作为该像素点的目标置信度。

根据上述内容可知，由于第二检测模型是基于多个待识别影像层来检测预设影像中的检测对象，从而既可以检测到大尺寸的对象，也可以检测到小尺寸的对象；通过使用预设尺寸筛选检测到的各第二初始检测对象，使得第二检测模型可以检出尺寸较大的第二检测对象，且第二检测对象的检测效果较好，对象检测的精度较高。

步骤104，根据所述第一检测对象和所述第二检测对象，确定所述预设影像中的目标检测对象。

本发明实施例中，第一检测模型可以输出一个第一检测对象，或者也可以输出多个第一检测对象，或者还可以输出零个第一检测对象；相应地，第二检测模型可以输出一个第二检测对象，或者也可以输出多个第二检测对象，或者还可以输出零个第二检测对象，具体不作限定。

本发明的下列实施例以第一检测模型输出多个第一检测对象和第二检测模型输出多个第二检测对象为例进行描述。

具体实施中，第一检测模型可以输出预设影像中的各第一检测对象的位置信息和尺寸信息，第二检测模型可以输出预设影像中的各第二检测对象的位置信息和尺寸信息；其中，位置信息可以以中心坐标来表示，尺寸信息可以以直径来表示。

在一种可能的实现方式中，可以直接将各第一检测对象和各第二检测对象作为预设影像中的各目标检测对象，并可以输出各目标检测对象的中心坐标和直径，从而便于后续基于各目标检测对象的中心坐标和直径确定各目标检测对象所在的位置和尺寸。

在另一种可能的实现方式中，针对于各第一检测对象和各第二检测对象中的任一检测对象，可以从预设影像中以该检测对象的中心坐标为中点，以预设距离为半径截取包含该检测对象的目标影像，并将目标影像输入预设分类模型，得到该检测对象为第一类别和第二类别的置信度。其中，第一类别可以标识目标影像中包含检测对象，第二类别可以标识目标影像中不包含检测对象，第一类别的置信度与第二类别的置信度的和为1。进一步地，若该检测对象为第一类别的置信度大于该检测对象为第二类别的置信度，则可以将该检测对象作为一个目标检测对象，若该检测对象为第二类别的置信度大于该检测对象为第一类别的置信度，则可以确定该检测对象为误检测对象，从而可以删除该检测对象，降低误报的概率。

需要说明的是，预设距离可以由本领域技术人员根据经验进行设置，比如预设距离可以为检测对象半径的1.25倍，或者也可以为检测对象半径的1.5倍，具体不作限定。本发明实施例中，通过截取包含检测对象的目标影像，可以降低预设分类模型处理的数据量，提高分类的准确性。

图3为本发明实施例提供的一种预设分类模型的结构示意图，如图3所示，预设分类模型可以包括特征提取模块和全连接分类模块。其中，特征提取模块可以包括多个连续的卷积模块，每个卷积模块可以包括一个3维卷积层、一个归一化(Batch Normalization，BN)层、一个激活函数层和一个最大采样(max poling，MP)层；3维卷积层以及MP层均可以为固定尺寸，比如3维卷积层为3*3*3、MP层为2*2*2，如图4所示。

需要说明的是，本发明实施例中的激活函数可以为多种类型的激活函数，比如，可以为线性整流函数(Rectified Linear Unit，ReLU)，具体不做限定。

进一步地，全连接分类模块可以包括第一全连接层和第二全连接层，多个连续的卷积模块的输出结果可以通过第一全连接层合并后，输入第二全连接层；如此，第二全连接层可以输出检测对象属于各个类别的置信度。在一个示例中，为了降低第二全连接层的处理数据量，可以在第一全连接层和第二全连接层之间设置通过率为0.5的dropout层，如此，第一全连接层的输出结果可以通过dropout层进行过滤，进而输出给第二全连接层。

具体实施中，可以将检测对象的目标影像以及目标影像的相关信息作为多通道输入特征提取模块，目标影像的相关信息可以包括目标影像尺寸的掩码值、目标影像上各像素的相对坐标等，目标影像的相关信息可以以255像素的球状影像进行输入。进一步地，特征提取模块可以依次通过多个卷积模块提取目标影像的特征图像，如此，全连接分类模块可以通过第一全连接层拼接多个卷积模块提取的特征图像得到目标特征图像，并可以将目标特征图像输入第二全连接层，通过确定目标影像上是否包括检测对象，以确定检测对象分别为第一类别和第二类别的置信度。若检测对象为第一类别的置信度大于检测对象为第二类别的置信度，则可以将检测对象作为一个目标检测对象输出。

本发明实施例中，预设分类模型可以为使用历史影像训练3维(Dimension，D)卷积神经网络模型得到的，比如可以先获取多个历史影像作为训练样本，再通过人工的方式标记训练样本中的检测对象，最后使用标记了检测对象的训练样本训练3D卷积神经网络，得到预设分类模型。在一个示例中，在训练3D卷积神经网络之前，还可以对训练样本进行增强操作，增强操作可以包括但不限于：随机上下左右平移设定像素(比如0～20像素)、随机旋转设定角度(比如-15～15度)、随机缩放设定倍数(比如0.85～1.15倍)。需要说明的是，人工标记训练样本中的检测对象的过程与训练样本的增强操作过程可以不分先后顺序，比如可以先由人工标记出训练样本中的检测对象，再对标记有检测对象的训练样本进行增强操作，或者也可以先对训练样本进行增强操作，再由人工对增强操作后的训练样本进行标记。

本发明实施例中，通过使用第一检测模型检出预设影像中尺寸较小的检测对象，并使用第二检测模型检出预设影像中尺寸较大的检测对象，可以使得检出的尺寸较大的检测对象和尺寸较小的检测对象均较为准确，从而可以提高检测的准确性；相较于采用人工检出的方式来说，本发明实施例可以自动地检出预设影像中的检测对象，从而可以有效地提高检测的效率。

本发明的下列实施例具体描述确定预设影像在某一维度上的各第一检测对象的过程，可以理解地，若分别得到预设影像在各个维度上的各第一检测对象，则可以通过合并各个维度的各第一检测对象得到预设影像中的各第一检测对象，本发明实施例不对此进行具体描述。

在步骤102中，第一检测模型可以包括第一特征提取模块、第一检出模块和第一筛选模块，第一特征提取模块可以提取出每组待识别影像层中每帧图像的特征图像，如此，第一检出模块可以根据每帧图像的特征图像在每帧图像上标记出检出框，以得到预设影像中的各第一初始检测对象，进而第一筛选模块可以将各第一初始检测对象中尺寸小于第一预设阈值的第一初始检测对象确定为预设影像中的各第一检测对象。

下面分别描述使用第一特征提取模块、第一检出模块和第一筛选模块得到各第一检测对象的具体实现过程。

第一特征提取模块

本发明实施例中，第一特征提取模块可以提取得到每组待识别影像层的不同尺寸的特征图像；其中，不同尺寸的特征图像可以是指不同像素的特征图像，比如500×500的特征图像与1000×1000的特征图像即为不同尺寸的特征图像。举例来说，由于一组待识别影像层可以包括相邻的多帧图像，因此，针对于一组待识别影像层上的每一帧图像，第一特征提取模块可以根据该帧图像和与该帧图像相邻的图像确定该帧图像的特征图像，如此，该帧图像的特征图像可以同时包括该帧图像和相邻图像的特征信息。

在一个示例中，第一特征提取模块可以为特征金字塔网络(Momenta PaperReading，FPN)，具体不作限定。

图5为本发明实施例提供的一种第一特征提取模块的结构示意图，如图5所示，第一特征提取模块可以包括依次设置的至少一个3D下采样卷积块和至少一个3D上样卷积块。其中，每个3D下采样卷积块可以包括一个3D卷积层、一个组连接层、一个前后连接层和一个下采样层，3D卷积层可以包括3D卷积运算层、归一化(batch normalization，BN)层和激活函数层。相应地，每个3D上采样卷积块可以包括一个3D卷积层、一个组连接层、一个前后连接层、一个上采样层以及一个合成连接层；3D卷积层可以包括3D卷积运算层、BN层和激活函数层。

基于图5所示意的第一特征提取模块，具体实施中，在接收到每组待识别影像层后，可以依次通过至少一个3D下采样卷积块提取每组待识别影像层的第一特征图像，每个3D下采样卷积块提取的第一特征图像的尺寸可以不同。相应地，可以将至少一个3D下采样卷积块输出的第一特征图像依次输入至少一个3D上采样卷积块，提取得到每组待识别影像层的第二特征图像；其中，每个3D上采样卷积块提取的第二特征图像的尺寸可以不同。进一步地，可以通过3D上采样卷积块中的合成连接层将尺寸相同的第一特征图像和第二特征图像进行合并，从而确定出每组待识别影像层的不同尺寸的特征图像。需要说明的是，合成连接层可以将第一特征图像和第二特征图像的通道数进行合并，从而使得合并得到的特征图像的尺寸与第一特征图像和第二特征图像的尺寸相同。

第一检出模块

本发明实施例中，针对于每组待识别影像层的不同尺寸的特征图像中的任一特征图像，第一检出模块可以检测该特征图像上是否包括检测对象，若确定包括检测对象，则可以在该特征图像上标注检出框；进一步地，针对于不同组待识别影像层包括的同一帧图像，可以根据该帧图像在不同组待识别影像层的特征图像上的检出框的置信度确定该帧图像上的目标检出框，并根据不同组待识别影像层包括的各帧图像上的目标检出框，得到预设影像中的各第一初始检测对象。

图6为本发明实施例提供的一种在特征图像上标注检出框的方法对应的流程示意图，该方法包括：

步骤601，针对于特征图像中的任一像素点，以所述像素点为中心，向四周扩散预设距离，得到包括所述像素点的第一区域。

步骤602，根据预设规则在所述第一区域中设置多个预设框。

其中，预设规则可以由本领域技术人员根据经验进行设置，比如可以为预设框的中心与第一区域的中心重合，或者也可以为预设框的角与第一区域的角重合，或者还可以为预设框的内点与第一区域的内点重合，等等。

本发明实施例中，预设框可以为二维框，或者也可以为三维框，若预设框为三维框，则可以设置预设框为正方体，或者也可以设置预设框为长方体，或者还可以设置预设框为球体，具体不作限定。

步骤603，针对于任一预设框，预测得到所述预设框与所述第一区域的位置偏差。

步骤604，根据所述多个预设框与所述第一区域的位置偏差，调整所述多个预设框，预测得到各初始检出框以及各初始检出框的置信度；其中，各初始检出框的置信度为各初始检出框所框选的区域包含对象的置信度。

本发明实施例中，通过使用第一检出模块预测预设框与第一区域的位置偏差，然后基于位置偏差调整预设框，从而确定初始检出框，可以使得初始检出框能够更多地框选特征图中的对象，从而提高检测的准确性。

步骤605，根据各初始检出框的置信度对各初始检出框进行阈值切分，删除置信度小于预设阈值的初始检出框。

以预设阈值为0.5为例，具体实施中，若初始检出框的阈值小于0.5，说明初始检出框所框选的区域包含检测对象的置信度较小，因此可以删除特征图像上的该初始检出框；若初始检出框的阈值大于或等于0.5，说明初始检出框所框选的区域包含检测对象的置信度较大，因此可以保留特征图像上的该初始检出框。本发明实施例中，由于从特征图像中确定出的各初始检出框所框选的区域并不一定都包含检测对象，因此通过对各初始检出框进行阈值切分，可以保证保留的初始检出框所框选的区域在较大的置信度下包含了检测对象，提高检测的准确性。

本发明实施例中，第一检出模块在各组待识别影像层的每帧图像上标注初始检出框后，由于各组待识别影像层中可能包含重叠的图像，因此各组待识别影像层上的初始检出框中可能存在多个初始检出框对应一个检测对象；比如，在预设滑窗帧数为3帧时，若某一检测对象位于预设影像的边缘，则可以存在1组待识别影像层包括该检测对象的初始检出框，若某一检测对象不位于预设影像的边缘，则可以同时存在2组或3组待识别影像层包括该检测对象的初始检出框。如此，若直接根据一组或多组待识别影像层中的初始检出框确定预设影像中的检测对象(比如检测对象的数量)，可能会导致检测得到的检测对象的数量存在较大偏差。

为了解决上述问题，图7为本发明实施例提供的一种筛选初始检出框的方法对应的流程示意图，该方法包括：

步骤701，将各尺寸的特征图像转化为同一尺寸的特征图像。

步骤702，从各特征图像的初始检出框中确定出置信度最大的初始检出框。

举例来说，若各特征图像中确定出的初始检出框分别为初始检出框A、初始检出框B、初始检出框C、初始检出框D、初始检出框E、初始检出框F，初始检出框A的置信度为0.7，初始检出框B的置信度为0.65，初始检出框C的置信度为0.9，初始检出框D的置信度为0.8，初始检出框E的置信度为0.85，初始检出框F的置信度为0.75，则置信度最大的初始检出框为初始检出框C。

步骤703，删除各特征图像的初始检出框中与置信度最大的初始检出框的交并比大于第二预设阈值的初始检出框，并将置信度最大的初始检出框作为一个目标检出框。

具体实施中，针对于各特征图像的初始检出框中除置信度最大的初始检出框以外的任一初始检出框，可以计算置信度最大的初始检出框与所述初始检出框的交并比，若确定置信度最大的初始检出框与所述初始检出框的交并比大于或等于第一预设阈值，说明所述初始检出框与置信度最大的初始检出框为同一对象，因此可以将所述初始检出框从各特征图像中删除；相应地，若确定置信度最大的初始检出框与所述初始检出框的交并比小于第一预设阈值，说明所述初始检出框与置信度最大的初始检出框不为同一对象，因此可以保留各特征图像中的所述初始检出框。

举例来说，由于置信度最大的初始检出框为初始检出框C，因此可以分别计算初始检出框C与初始检出框A、初始检出框B、初始检出框D、初始检出框E和初始检出框F之间的交并比IOU。以计算初始检出框C与初始检出框A的交并比IOU为例，在一个示例中，初始检出框C与初始检出框A的交并比IOU可以为：

进一步地，在第二预设阈值为0.5时，若初始检出框C与初始检出框A的交并比为0.75(即大于0.5)，说明初始检出框C与初始检出框A为同一对象，因此可以将各特征图像上的初始检出框A删除；若初始检出框C与初始检出框A的交并比为0.3(即小于0.5)，说明初始检出框C与初始检出框A不为同一对象，因此可以保留各特征图像上的初始检出框A。

基于该种方式，若初始检出框C与初始检出框A、初始检出框B、初始检出框D、初始检出框E、初始检出框F的交并比分别为0.75、0.3、0.6、0.9、0.1，则可以删除特征图像上的初始检出框A、初始检出框D和初始检出框E，保留初始检出框B和初始检出点F，并将初始检出框C作为一个目标检出框；如此，各特征图像中可以包括目标检出框C、初始检出框B和初始检出框F。

步骤704，确定各特征图像中是否存在非目标检出框，若存在非目标检出框，则执行步骤702，若不存在非目标检测框，则执行步骤705。

具体实施中，由于各特征图像中包括初目标检出框C、初始检出框B和初始检出点F，因此可以从初始检出框B和初始检出点F中确定出置信度最大的初始检出框，由于初始检出框B的置信度为0.65，初始检出框F的置信度为0.75，因此置信度最大的初始检出框为初始检出框F。进一步地，可以计算初始检出框F与初始检出框D的交并比，若初始检出框F与初始检出框D的交并比为0.75,(即大于0.5)，说明初始检出框F与初始检出框D为同一对象，因此可以将各特征图像上的初始检出框D删除，并将初始检出框F作为一个目标检出框；如此，各特征图像中可以包括目标检出框C和目标检出框F。

本发明实施例中，通过使用初始检出框的置信度以及初始检出框之间的交并比筛选每个特征图像中的初始检出框，可以避免重复检测预设影像中的同一个检测对象，从而可以提高检测的准确性。

步骤705，合并各目标检出框，得到预设影像中的各第一初始检测对象。

具体实施中，在确定各特征图像上不包含非目标检出框后，可以合并各目标检出框得到一个或多个检出框，每个检出框可以标识预设影像上的一个第一初始检测对象；进一步地，可以根据一个或多个检出框确定一个或多个第一初始检测对象的中心坐标和直径，并输出给第一筛选模块。其中，每个第一初始检测对象的中心坐标可以为标识该第一初始检测对象的检出框的中心坐标，每个第一初始检测对象的直径可以为标识该第一初始检测对象的检出框的中心坐标与其中一个面的距离。

第一筛选模块

本发明实施例中，第一筛选模块在接收到一个或多个第一初始检测对象的中心坐标和直径后，可以根据每个第一初始检测对象的中心坐标和直径估算每个第一初始检测对象的尺寸，进而将一个或多个第一初始检测对象中尺寸大于预设尺寸的第一初始检测对象删除，从而将保留的各第一初始检测对象作为预设影像中的各第一检测对象。其中，预设尺寸可以为预设直径，或者也可以为预设体积，若预设尺寸为预设直径，则第一筛选模块可以直接从一个或多个第一初始检测对象中删除直径大于预设直径的第一初始检测对象；若预设尺寸为预设体积，则第一筛选模块可以先使用预设拟合算法将一个或多个第一初始检测对象与标准对象拟合，进而根据标准检测对象的体积算法确定一个或多个第一初始检测对象的体积，再从一个或多个第一初始检测对象中删除体积大于预设体积的第一初始检测对象。

根据上述内容可知，由于第一检测模型是基于预设影像的不同尺寸的特征图像来检测预设影像中的检测对象，从而既可以检测到大尺寸的检测对象，也可以检测到小尺寸的对检测象；本发明实施例中，由于检出框的方式所检测出的大尺寸检测对象的检出效果不如小尺寸检测对象的检出效果好，因此，通过使用预设尺寸筛选检测到的第一初始检测对象，使得第一检测模型能够输出检测效果较好的小尺寸检测对象，从而可以提高检测的精度；且，通过输出大尺寸检测对象的中心坐标和直径，使得本领域技术人员直接获取到大尺寸检测对象所在的位置和尺寸，从而便于后续制定较好的治疗方案。

本发明实施例中，第一检测模型可以为使用3D卷积神经网络对已标记对象的多个历史影像进行训练确定的，上述过程描述了使用第一检测模型检测大尺寸检测对象的过程，下面描述第一检测模型的训练过程。

图8为本发明实施例提供的一种训练第一检测模型的方法对应的流程示意图，如图8所示，该方法包括：

步骤801，获取训练样本。

本发明实施例中，可以获取历史影像，再将历史影像切分为多组历史影像层，从而将多组历史影像层作为训练样本；或者也可以直接获取多帧历史图像，并组合多帧历史图像得到多组历史影像层，从而将多组历史影像层作为训练样本，具体不作限定。

进一步地，可以将多组历史影像层直接作为训练样本，或者也可以先对多组历史影像层进行增强操作，再将增强操作后的历史影像层作为训练样本，从而扩大训练样本的数据量。其中，增强操作可以包括但不限于：随机上下左右平移设定像素(比如0～20像素)、随机旋转设定角度(比如-15～15度)、随机缩放设定倍数(比如0.85～1.15倍)。在一个示例中，通过执行增强操作，可以将训练样本扩展为原有的10倍。

步骤802，人工标记训练样本中的检测对象。

本发明实施例中，可以通过医生等专业人员对训练样本中的对象进行标记，标记的内容可以包括对象的中心坐标以及对象的直径。具体地，可以先由多名医生对训练样本中的对象进行标注，再通过多人投票合成的方式确定最终的对象以及对象参数(即对象的中心坐标以及对象的直径)，对象及对象的参数可以以掩码图的方式进行存储。

需要说明的是，人工标记训练样本中的对象的过程与训练样本的增强操作过程可以不分先后顺序，比如可以先由人工标记出训练样本中的对象，再对标记有对象的训练样本进行增强操作，或者也可以先对训练样本进行增强操作，再由人工对增强操作后的训练样本进行标记，具体不作限定。

步骤803，使用训练样本训练3D卷积神经网络，得到第一检测模型。

本发明实施例中，卷积神经网络的结构可以包括输入层、3D下采样卷积块、3D上采样卷积块、目标检测网络以及输出层。具体实施中，可以先对训练样本进行预处理，然后把预处理后的训练样本输入3D卷积神经网络，如此，3D卷积神经网络可以预测并输出训练样本中的对象，进一步地，可以对比预测的对象与预先标记的对象的掩码图，确定损失函数，进而可以采用反向传播算法以及随机梯度下降(Stochastic Gradient Descent，SGD)优化算法反复迭代，不断更新卷积神经网络模型的参数。若在某一时刻损失函数小于或等于预设损失函数，则可以根据该时刻的模型参数得到第一检测模型。

本发明的上述实施例描述了确定预设影像中的各第一检测对象的过程，下列实施例具体描述确定预设影像中的各第二检测对象的过程。

在步骤103中，第二检测模型可以包括第二特征提取模块、第二检出模块和第二筛选模块，第二特征提取模块可以提取出每组待识别影像层中每帧图像的特征图像，如此，第二检出模块可以通过根据每帧图像的特征图像确定每帧图像上任一像素点为检测对象的置信度，进而确定预设影像中的各第二初始检测对象，第二筛选模块可以将各第二初始检测对象中尺寸大于或等于第一预设阈值的第二初始检测对象确定为预设影像中的各第二检测对象。

下面分别描述使用第二特征提取模块、第二检出模块和第二筛选模块得到各第二检测对象的具体实现过程。

第二特征提取模块

图9为本发明实施例提供的一种第二特征提取模块的结构示意图，如图9第二特征提取模块可以包括依次设置的特征提取块、多个下采样块和多个上采样块。其中，特征提取块可以包括连续的第一卷积单元和第二卷积单元，第一卷积单元和第二卷积单元均可以包括一个3D卷积层、一个BN层和一个激活函数层；相应地，每个下采样块可以包括一个3D下采样层以及一个卷积特征提取层，每个上采样块可以包括一个3D反卷积上采样层、一个拼接层以及一个卷积特征提取层，3D下采样层与3D反卷积上采样层的尺寸可以均为2*2*2。

需要说明的是，激活函数可以为多种类型的激活函数，比如，可以为ReLU函数，具体不做限定。

具体实施中，第二检出模块可以根据每组待识别影像层的多帧图像计算得到多通道像素数组，进而将每组待识别影像层以多通道像素数组的形式输入至特征提取块；如此，特征提取块可以依次通过第一卷积单元和第二卷积单元对提取每组待识别影像层对应的第三特征图像。其中，第三特征图像可以通过四维向量的形式来表示，比如第三特征图像的尺寸可以为512*512*3*32。进一步地，特征提取块可以将第三特征图像依次传输给多个下采样块(比如第一～第三下采样块)，经由第一～第三下采样块分别从第三特征图像中提取出第四特征图像、第五特征图像和第六特征图像；其中，第四特征图像的尺寸可以为256*256*3*32，第五特征图像的尺寸可以为128*128*3*48，第六特征图像的尺寸可以为64*64*3*64。

进一步地，第一～第三上采样块可以将前一上采样块的输出结果和下采样块的输出结果中与前一上采样块的输出结果尺寸相同的下采样块的输出结果进行合并，作为上采样块的输入。举个例子，第二上采样块可以采集第一上采样块输出的第七特征图像(比如尺寸为64*64*3*64)，并可以从第四图像特征～第六特征图像中选择尺寸为64*64*3*64的第六特征图像，将第六特征图像和第七特征图像合并，作为第二上采样块的输入；相应地，第三上采样块可以采集第二上采样块输出的第八特征图像(比如尺寸为128*128*3*48)，并可以从第四图像特征～第六特征图像中选择尺寸为128*128*3*48的第五特征图像，将第五特征图像和第八特征图像合并，作为第三上采样块的输入；如此，第三上采样块输出第九特征图像(比如尺寸为256*256*3*32)后，可以从第四图像特征～第六特征图像中选择尺寸为256*256*3*32的第四特征图像，将第四特征图像和第九特征图像合并，作为每组待识别影像层的特征图像。

第二检出模块

本发明实施例中，第二检出模块可以对每组待识别影像层的特征图像进行反卷积，得到每组待识别影像层的置信度分布，每组待识别影像层的置信度分布可以包括该组待识别影像层所包括的每帧图像上的任一像素点为检测对象的置信度，比如若待识别影像层包括第一～第三帧第一维度图像，则第二检出模块可以得到第一帧第一维度图像上每个像素点为检测对象的置信度、第二帧第一维度图像上每个像素点为检测对象的置信度以及第三帧第一维度图像上每个像素点为检测对象的置信度。此处，每个像素点为检测对象的置信度的取值范围可以为[0，1]。

针对于预设影像中的任一像素点u，第二检出模块可以从各组待识别影像层中确定包含像素点u的一组或多组待识别影像层，并从一组或多组待识别影像层中获取包含像素点u的目标图像。以各组待识别影像包括第一～第三维度的各组待识别影像层为例，具体实施中，可以分别从第一维度的各组待识别影像层、第二维度的各组待识别影像层和第三维度的各组待识别影像层中选择出包括像素点u的目标第一维度图像、目标第二维图像和目标第三维图像；其中，目标第一维度图像、目标第二维图像和目标第三维图像的数量可以为一帧或者也可以为多帧。举个例子，在预设滑窗帧数为3帧时，若像素点u为预设影像的边缘像素点，则像素点u可以对应有1帧目标第一维度图像、1帧目标第二维图像和1帧目标第三维图像；若像素点u为预设影像的边缘像素点相邻的像素点，则像素点u可以对应有2帧目标第一维度图像、2帧目标第二维图像和2帧目标第三维图像；若像素点u不为预设影像的边缘像素点且不为边缘像素点相邻的像素点，则像素点u可以对应有3帧目标第一维度图像、3帧目标第二维图像和3帧目标第三维图像。

以像素点u不为预设影像的边缘像素点且不为边缘像素点的相邻像素点为例，具体实施中，可以根据3帧目标第一维度图像的置信度分布信息分别确定像素点u为检测对象的第一置信度、第二置信度和第三置信度，根据3帧目标第二维图像的置信度分布信息分别确定出像素点u为检测对象的第四置信度、第五置信度和第六置信度，以及根据3帧目标第三维图像的置信度分布信息分别确定出像素点u为检测对象的第七置信度、第八置信度和第九置信度，进而可以将第一置信度～第九置信度的平均置信度值作为像素点u为检测对象的目标置信度。

进一步地，可以使用置信度切割的方式确定预设影像中的各第二初始检测对象，具体实施中，若确定像素点u为检测对象的目标小于预设置信度，则可以删除预设影像中与像素u对应的像素点，若确定像素点u为检测对象的目标大于或等于预设置信度，则可以保留预设影像中与像素u对应的像素点；如此，在对预设影像上的所有像素点执行阈值切割后，可以合并预设影像中保留的像素点，从而得到预设影像中的各第二初始检测对象对应的目标影像。在一个示例中，还可以对各第二初始检测对象对应的目标影像进行滤波，比如删除目标影像中离散的像素点、连接像素点密集区域周围的像素点等。通过对目标影像进行滤波，可以降低干扰，提高检测得到的各第二初始检测对象的精确度。

本发明实施例中，第二检出模块在检出各第二初始检测对象后，可以根据各第二初始检测对象对应的目标影像确定各第二初始检测对象的中心坐标和直径，并可以输出给第二筛选模块。

第二筛选模块

本发明实施例中，第二筛选模块在接收到各第二初始检测对象的中心坐标和直径后，可以根据每个第二初始检测对象的中心坐标和直径估算每个第二初始检测对象的尺寸，进而将一个或多个第二初始检测对象中尺寸小于或等于预设尺寸的第二初始检测对象删除，从而将保留的第二初始检测对象作为预设影像中的第二检测对象。

根据上述内容可知，通过提取待识别影像层中每帧图像的特征图像，使得第二检测模型既可以检测到大尺寸的检测对象，也可以检测到小尺寸的检测对象，由于使用像素点置信度的方式检测出的小尺寸检测对象的检出效果不如大尺寸检测对象的检出效果好，因此，通过使用预设尺寸筛选检测到的第二初始检测对象，使得第二检测模型能够输出检测效果较好的大尺寸检测对象，从而可以提高检测的精度；且，通过输出大尺寸对象的中心坐标和直径，使得本领域技术人员直接获取到大尺寸对象所在的位置和尺寸，从而便于后续制定较好的治疗方案。

本发明实施例中，第二检测模型可以为使用3D卷积神经网络对已标记对象的多个历史影像进行训练确定的，上述过程描述了使用第二检测模型检测大尺寸对象的过程，下面描述第二检测模型的训练过程。

在一个示例中，3D卷积神经网络可以包括输入层、特征提取模块、下采样块、上采样块、目标检测网络以及输出层，或者也可以包括输入层、下采样块、上采样块、目标检测网络以及输出层，具体不作限定。

具体实施中，可以获取多组历史影像作为训练样本，历史影像可以为预先挑选得到的多张历史图像，也可以为预先挑选得到的单张历史图像，不作限定。本发明实施例中，可以直接将多组历史影像作为训练样本，或者也可以对多组历史影像进行增强操作，再作为训练样本；其中，增强操作包括但不限于：随机上下左右平移设定像素(比如0～20像素)、随机旋转设定角度(比如-20～20度)、随机缩放设定倍数(比如0.8～1.2倍)。进一步地，可以人工标记训练样本中的检测对象，比如可以先通过医生等专业人员对训练样本中的检测对象的中心坐标和直径进行标记，再通过多人投票合成的方式确定检测对象的最终中心坐标和直径，检测对象的最终中心坐标和直径可以以掩码图的方式进行存储。

需要说明的是，人工标记训练样本中检测对象的过程与训练样本的增强操作过程可以不分先后顺序，即可以先人工标记训练样本中的检测对象，然后再对标记有对象的训练样本进行增强操作，或者也可以先对训练样本进行增强操作，然后再人工对增强操作后的训练样本进行标记。

进一步地，可以将训练样本输入3D卷积神经网络，在获取3D卷积神经网络预估的置信度分布后，可以将预估的置信度分布与预先标记的训练样本的掩码图进行损失函数计算，然后可以采用反向传播算法以及SGD优化算法反复迭代，不断更新3D卷积神经网络模型的参数；若在某一时刻损失函数小于或等于预设损失函数，则可以根据该时刻的模型参数确定第二检测模型。

本发明实施例中，在使用第一检测模型得到预设影像中的各第一检测对象的中心坐标和直径后，可以分别根据各第一检测对象的中心坐标和直径截取各第一检测对象对应的目标影像，并将各第一检测对象对应的目标影像输入预设分类模型，对各第一检测对象执行去误报操作；如此，对各第一检测对象进行分类的过程和检出各第二检测对象的过程可以并行执行，从而可以提高检测的效率。相应地，在使用第二检测模型得到预设影像中的各第二检测对象的中心坐标和直径后，可以分别根据各第二检测对象的中心坐标和直径截取各第二检测对象对应的目标影像，并将各第二检测对象对应的目标影像输入预设分类模型，对各第二检测对象执行去误报操作；通过使用预设分类模型对各第一检测对象和各第二检测对象执行去误报操作，可以提高检测的准确性。

本发明的上述实施例中，获取预设影像后，使用预设切分平面切分所述预设影像得到多组待识别影像层，每组待识别影像层包括至少一帧连续的图像；进一步地，将每组待识别影像层输入第一检测模型，确定所述预设影像中的第一检测对象，所述第一检测对象的尺寸小于第一预设阈值；以及，将每组待识别影像层输入第二检测模型，确定所述预设影像中的第二检测对象，所述第二检测对象的尺寸大于或等于所述第一预设阈值，进而根据所述第一检测对象和所述第二检测对象，确定所述预设影像中的目标检测对象。本发明实施例中，通过使用第一检测模型检出预设影像中尺寸较小的检测对象，并使用第二检测模型检出预设影像中尺寸较大的检测对象，可以使得检出的尺寸较大的检测对象和尺寸较小的检测对象均较为准确；相较于采用人工检出的方式来说，本发明实施例可以自动地检出预设影像中的检测对象，而无需依靠人为经验进行判别，从而可以有效地提高检测的效率和准确性。

针对上述方法流程，本发明实施例还提供一种检测对象的装置，该装置的具体内容可以参照上述方法实施。

图10为本发明实施例提供的一种检测对象的装置对应的结构示意图，该装置包括：

获取模块1001，用于获取预设影像；

切分模块1002，用于使用预设切分平面切分所述预设影像得到多组待识别影像层；每组待识别影像层包括至少一帧连续的图像；

确定模块1003，用于将每组待识别影像层输入第一检测模型，确定所述预设影像中的第一检测对象；所述第一检测对象的尺寸小于第一预设阈值；以及，将每组待识别影像层输入第二检测模型，确定所述预设影像中的第二检测对象，所述第二检测对象的尺寸大于或等于所述第一预设阈值；以及，根据所述第一检测对象和所述第二检测对象，确定所述预设影像中的目标检测对象。

可选地，所述确定模块1003具体用于：

针对每组待识别影像层，确定出所述待识别影像层中每帧图像的特征图像，并根据所述每帧图像的特征图像在所述每帧图像上标记出检出框；

根据不同组待识别影像层包括的同一帧图像上的检出框的置信度得到所述同一帧图像上的目标检出框；

根据所述不同组待识别影像层包括的各帧图像上的目标检出框，得到所述预设影像中的各第一初始检测对象；

将所述预设影像中的各第一初始检测对象中尺寸小于所述第一预设阈值的第一初始检测对象确定为所述预设影像中的第一检测对象。

可选地，所述确定模块1003具体用于：

针对每组待识别影像层，确定出所述待识别影像层中每帧图像的特征图像，根据所述每帧图像的特征图像确定所述每帧图像上各像素点为检测对象的置信度；

针对于所述预设影像中的任一像素点，从所述不同组待识别影像层中获取包含所述像素点的至少一帧目标图像，根据所述至少一帧目标图像上所述像素点的置信度得到所述像素点的目标置信度；

根据所述预设影像中各像素点的目标置信度大于预设置信度的目标像素点，得到所述预设影像中的各第二初始检测对象；

将所述各第二初始检测对象中尺寸大于或等于所述第一预设阈值的第二初始检测对象确定为所述预设影像中的第二检测对象。

可选地，所述确定模块1003具体用于：

针对所述多组待识别影像层中的任一组待识别影像层，将所述待识别影像层作为多通道输入，提取所述待识别影像层的不同尺寸的特征图像。

可选地，所述切分模块1002具体用于：

使用不同维度的预设切分平面切分所述预设影像得到不同维度分别对应的多组待识别影像层；每个维度对应的每组待识别影像层包括使用所述维度的预设切分平面切分所述预设影像得到的一帧或多帧连续的图像，不同维度的预设切分平面不平行；

所述确定模块1003具体用于：

针对于任一维度的多组待识别影像层，根据各帧图像上的目标检出框确定各第一初始检测对象；将所述预设影像在不同维度上的各第一初始检测对象中重合的部分作为所述预设影像中的各第一初始检测对象；

针对同一像素，根据所述像素点在不同维度的各帧图像中的置信度确定所述像素点的合并置信度；根据所述不同组待识别影像层包括的各帧图像中像素点的合并置信度大于所述预设置信度的目标像素点，得到所述预设影像中的各第二初始检测对象。

可选地，所述确定模块1003具体用于：

将所述第一检测对象和所述第二检测对象输入预设分类模型，输出所述第一检测对象和所述第二检测对象属于第一类型的置信度和属于第二类型的置信度；所述第一类型用于标识检测对象为目标检测对象，所述第二类型用于标识检测对象不为目标检测对象；

从所述第一检测对象和所述第二检测对象中选择第一类型的置信度大于第二类型的置信度的第一检测对象和第二检测对象作为所述目标检测对象。

从上述内容可以看出：本发明的上述实施例中，获取预设影像后，使用预设切分平面切分所述预设影像得到多组待识别影像层，每组待识别影像层包括至少一帧连续的图像；进一步地，将每组待识别影像层输入第一检测模型，确定所述预设影像中的第一检测对象，所述第一检测对象的尺寸小于第一预设阈值；以及，将每组待识别影像层输入第二检测模型，确定所述预设影像中的第二检测对象，所述第二检测对象的尺寸大于或等于所述第一预设阈值，进而根据所述第一检测对象和所述第二检测对象，确定所述预设影像中的目标检测对象。本发明实施例中，通过使用第一检测模型检出预设影像中尺寸较小的检测对象，并使用第二检测模型检出预设影像中尺寸较大的检测对象，可以使得检出的尺寸较大的检测对象和尺寸较小的检测对象均较为准确；相较于采用人工检出的方式来说，本发明实施例可以自动地检出预设影像中的检测对象，而无需依靠人为经验进行判别，从而可以有效地提高检测的效率和准确性。

本发明实施例提供了一种计算设备，包括至少一个处理单元以及至少一个存储单元，其中，所述存储单元存储有计算机程序，当所述程序被所述处理单元执行时，使得所述处理单元执行检测对象的方法的步骤。如图11所示，为本发明实施例中所述的计算设备的硬件结构示意图，该计算设备具体可以为台式计算机、便携式计算机、智能手机、平板电脑等。具体地，该计算设备可以包括存储器1101、处理器1102及存储在存储器上的计算机程序，所述处理器1102执行所述程序时实现上述实施例中的任一检测对象的方法的步骤。其中，存储器1101可以包括只读存储器(ROM)和随机存取存储器(RAM)，并向处理器1102提供存储器1101中存储的程序指令和数据。

进一步地，本申请实施例中所述的计算设备还可以包括输入装置1103以及输出装置1104等。输入装置1103可以包括键盘、鼠标、触摸屏等；输出装置1104可以包括显示设备，如液晶显示器(Liquid Crystal Display，LCD)、阴极射线管(Cathode Ray Tube，CRT)，触摸屏等。存储器1101，处理器1102、输入装置1103和输出装置1104可以通过总线或者其他方式连接，图11中以通过总线连接为例。处理器1102调用存储器1101存储的程序指令并按照获得的程序指令执行上述实施例提供的检测对象的方法。

本发明实施例还提供了一种计算机可读存储介质，其存储有可由计算设备执行的计算机程序，当所述程序在计算设备上运行时，使得所述计算设备执行检测对象的方法的步骤。

本领域内的技术人员应明白，本发明的实施例可提供为方法、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种检测对象的方法，其特征在于，包括：

获取预设影像；

使用预设切分平面切分所述预设影像得到多组待识别影像层；每组待识别影像层包括至少一帧连续的图像；

将每组待识别影像层输入第一检测模型，确定所述预设影像中的第一检测对象；所述第一检测对象的尺寸小于第一预设阈值；

将每组待识别影像层输入第二检测模型，确定所述预设影像中的第二检测对象；所述第二检测对象的尺寸大于或等于所述第一预设阈值；

根据所述第一检测对象和所述第二检测对象，确定所述预设影像中的目标检测对象。

2.根据权利要求1所述的方法，其特征在于，所述将每组待识别影像层输入第一检测模型，确定所述预设影像中的第一检测对象，包括：

针对每组待识别影像层，确定出所述待识别影像层中每帧图像的特征图像，根据所述每帧图像的特征图像在每帧图像上标记出检出框；

根据不同组待识别影像层包括的同一帧图像上的检出框的置信度得到所述同一帧图像上的目标检出框；

根据所述不同组待识别影像层包括的各帧图像上的目标检出框，得到所述预设影像中的各第一初始检测对象；

将所述预设影像中的各第一初始检测对象中尺寸小于所述第一预设阈值的第一初始检测对象确定为所述预设影像中的第一检测对象。

3.根据权利要求2所述的方法，其特征在于，所述将每组待识别影像层输入第二检测模型，确定所述预设影像中的第二检测对象，包括：

针对每组待识别影像层，确定出所述待识别影像层中每帧图像的特征图像，根据所述每帧图像的特征图像确定所述每帧图像上各像素点为检测对象的置信度；

针对于所述预设影像中的任一像素点，从所述不同组待识别影像层中获取包含所述像素点的至少一帧目标图像，根据所述至少一帧目标图像上所述像素点的置信度得到所述像素点的目标置信度；

根据所述预设影像中各像素点的目标置信度大于预设置信度的目标像素点，得到所述预设影像中的各第二初始检测对象；

将所述各第二初始检测对象中尺寸大于或等于所述第一预设阈值的第二初始检测对象确定为所述预设影像中的第二检测对象。

4.根据权利要求2或3所述的方法，其特征在于，所述针对每组待识别影像层，确定出所述待识别影像层中每帧图像的特征图像，包括：

针对所述每组待识别影像层，将所述待识别影像层作为多通道输入，提取所述待识别影像层的不同尺寸的特征图像。

5.根据权利要求3所述的方法，其特征在于，所述使用预设切分平面切分所述预设影像得到多组待识别影像层，包括：

使用不同维度的预设切分平面切分所述预设影像得到不同维度分别对应的多组待识别影像层；每个维度对应的每组待识别影像层包括使用所述维度的预设切分平面切分所述预设影像得到的一帧或多帧连续的图像，不同维度的预设切分平面不平行；

所述根据所述不同组待识别影像层包括的各帧图像上的目标检出框，得到所述预设影像中的各第一初始检测对象，包括：

针对于任一维度的多组待识别影像层，根据各帧图像上的目标检出框确定各第一初始检测对象；将所述预设影像在不同维度上的各第一初始检测对象中重合的部分作为所述预设影像中的各第一初始检测对象；

所述根据所述不同组待识别影像层包括的各帧图像中像素点的目标置信度大于预设置信度的目标像素点，得到所述预设影像中的各第二初始检测对象，包括：

针对同一像素，根据所述像素点在不同维度的各帧图像中的置信度确定所述像素点的合并置信度；根据所述不同组待识别影像层包括的各帧图像中像素点的合并置信度大于所述预设置信度的目标像素点，得到所述预设影像中的各第二初始检测对象。

6.根据权利要求1至3中任一项所述的方法，其特征在于，所述根据所述第一检测对象和所述第二检测对象，确定所述预设影像中的目标检测对象，包括：

将所述第一检测对象和所述第二检测对象输入预设分类模型，输出所述第一检测对象和所述第二检测对象属于第一类型的置信度和属于第二类型的置信度；所述第一类型用于标识检测对象为目标检测对象，所述第二类型用于标识检测对象不为目标检测对象；

从所述第一检测对象和所述第二检测对象中选择第一类型的置信度大于第二类型的置信度的第一检测对象和第二检测对象作为所述目标检测对象。

7.一种检测对象的装置，其特征在于，包括：

获取模块，用于获取预设影像；

切分模块，用于使用预设切分平面切分所述预设影像得到多组待识别影像层；每组待识别影像层包括至少一帧连续的图像；

确定模块，用于将每组待识别影像层输入第一检测模型，确定所述预设影像中的第一检测对象；所述第一检测对象的尺寸小于第一预设阈值；以及，将每组待识别影像层输入第二检测模型，确定所述预设影像中的第二检测对象；所述第二检测对象的尺寸大于或等于所述第一预设阈值；以及，根据所述第一检测对象和所述第二检测对象，确定所述预设影像中的目标检测对象。

8.根据权利要求7所述的装置，其特征在于，所述确定模块具体用于：

针对每组待识别影像层，确定出所述待识别影像层中每帧图像的特征图像，根据所述每帧图像的特征图像在所述每帧图像上标记出检出框；

根据不同组待识别影像层包括的同一帧图像上的检出框的置信度得到所述同一帧图像上的目标检出框；

根据所述不同组待识别影像层包括的各帧图像上的目标检出框，得到所述预设影像中的各第一初始检测对象；

将所述预设影像中的各第一初始检测对象中尺寸小于所述第一预设阈值的第一初始检测对象确定为所述预设影像中的第一检测对象。

9.一种计算设备，其特征在于，包括至少一个处理单元以及至少一个存储单元，其中，所述存储单元存储有计算机程序，当所述程序被所述处理单元执行时，使得所述处理单元执行权利要求1～6任一权利要求所述方法的步骤。

10.一种计算机可读存储介质，其特征在于，其存储有可由计算设备执行的计算机程序，当所述程序在所述计算设备上运行时，使得所述计算设备执行权利要求1～6任一所述方法的步骤。