CN109816727B - 三维图集的目标识别方法 - Google Patents

Abstract

本发明提供了一种三维图集的目标识别方法，包括以下步骤：S1、对三维图集的每个原始断面图片进行裁剪，得到黑白断面图片；S2、每相邻的三个黑白断面图片层叠组成三通道的检测图组；S3、将所有的检测图组依序输入训练好的目标检测模型中，如果检测图组中中间一个黑白断面图片中包含有目标物，则得到该黑白断面图片中目标物的二维定位框的左上角坐标（

）和右下角坐标（

）；这种三维图集的目标识别方法能够快速准确的检测出立体的目标物在主体中的精确位置，利用目标检测模型降低计算量，加快识别速度；三通道的检测图组作为识别对象包含更多感受野信息，有利于目标物和其它组织结构的区分，提高识别的准确率。

Description

三维图集的目标识别方法

技术领域

本发明涉及图片识别技术领域，尤其涉及一种三维图集的目标识别方法。

背景技术

三维图集，例如通过CT扫描获得机械设备或者生物的若干张连续的CT断面图片。人可以通过对三维图集的观察来找到目标物在主体中的位置，由于图片很多，而且目标物和物体都是立体图形，并不是每张断层图片中都存在目标物，所以需要花费大量的时间和精力来找到目标物，而且通过观察是无法准确掌握目标物在主体中的准确位置的。

有效的计算机自动检测系统(Computer-Aided Detection System，CAD系统)能够帮助人们降低工作量。设计一个有效的具有价值的CAD系统面临的主要难题是：目标物作为一个立体事物不是存在于每个CT断面图片中，如何准确掌握目标物在主体的空间位置，难度很大。而且目标物的形状大小不一致，也提高了检测的难度。

发明内容

本发明要解决的技术问题是：为了解决现有技术中人通过对三维图集的观察来找到目标物在主体中的位置，需要花费大量的时间和精力来找到目标物，而且通过观察是无法准确掌握目标物在主体中的准确位置的问题，本发明提供了一种三维图集的目标识别方法来解决上述问题。

本发明解决其技术问题所采用的技术方案是：一种三维图集的目标识别方法，包括以下步骤：

S1、对三维图集的每个原始断面图片进行裁剪，得到黑白断面图片；

S2、每相邻的三个黑白断面图片层叠组成三通道的检测图组；

S3、将所有的检测图组依序输入训练好的目标检测模型中，如果检测图组中中间一个黑白断面图片中包含有目标物，则得到该黑白断面图片中目标物的二维定位框的左上角坐标(x₁,y₁)和右下角坐标(x₂,y₂)；

S4、计算每两个二维定位框的中心点之间的欧几里得距离|cp(b_i)-cp(b_j)|，i≠j，其中cp(b_i)和cp(b_j)表示两个不同的二维定位框的中心点，当|cp(b_i)-cp(b_j)|≤T，为这两个二维定位框赋予相同的目标物ID，其中T为预设阈值；

S5、通过以下公式计算目标物的三维定位框的左上角坐标(x′₁，y′₁，z′₁)和右下角坐标(x′₂，y′₂，z′₂)：

z′₁＝min({z_i}i＝1,2,…,N)

z′₂＝max({z_i}i＝1,2,…,N)

其中

和

分别为具有同一目标物ID的第i个二维定位框的左上角坐标和右下角坐标，z_i是具有同一目标物ID的第i个二维定位框的z轴坐标位置。

作为优选，所述目标检测模型包括FEN模块、RPN模块和RCN模块，所述FEN模块包括第一卷积层、第二卷积层、第三卷积层、第四卷积层和第五卷积层；

在所述步骤S3中，检测图组在FEN模块中依次经过第一卷积层、第二卷积层、第三卷积层、第四卷积层和第五卷积层进行卷积；

在FEN模块中，第三卷积层输出的第三特征图、第四卷积层输出的第四特征图和第五卷积层输出的第五特征图通过双线性插值使它们的分辨率与第二卷积层输出的第二特征图的分辨率相同，再通过数量相同的1*1的卷积核对第二特征图、第三特征图、第四特征图和第五特征图进行卷积，使它们的通道数相同，最后拼接第二特征图、第三特征图、第四特征图和第五特征图得到最终特征图；

在RPN模块中，对第三特征图进行全连接和二分类，得到大小为16*16～24*24的第一图案，对第四特征图进行全连接和二分类，得到大小为32*32～48*48的第二图案，对第五特征图进行全连接和二分类，得到大小为64*64～96*96的第三图案；

在RCN模块中，利用最终特征图、第一图案、第二图案和第三图案进行分类和定位，得到目标物的二维定位框的左上角坐标(x₁,y₁)和右下角坐标(x₂,y₂)。

本发明的有益效果是，这种三维图集的目标识别方法能够快速准确的检测出立体的目标物在主体中的精确位置，利用目标检测模型降低计算量，加快识别速度；三通道的检测图组作为识别对象包含更多感受野信息，有利于目标物和其它组织结构的区分，提高识别的准确率。

附图说明

下面结合附图和实施例对本发明进一步说明。

图1是本发明的三维图集的目标识别方法的实施例的流程图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。

在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”、“轴向”、“径向”、“周向”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

此外，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。此外，在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。

如图1所示，本发明提供了一种三维图集的目标识别方法的实施例，包括以下步骤：

S1、对三维图集的每个原始断面图片进行裁剪，尽量的将主体之外的冗余区域给去掉，得到黑白断面图片；

S2、对于所有的黑白断面图片，除了第一张和最后一张，其余的每张黑白断面图片和它前后相邻的图片层叠组成三通道的检测图组，中间的黑白断面图片为主图，下面如果识别出检测图组包含目标物，是指主图中包含目标物，得到的二维定位框也是针对主图而言；

S3、所有的检测图组按与三维图集同样的顺序排列和层叠在一起，对层叠在一起的检测图组建立三维坐标系，X轴和Y轴所在平面与黑白断面图片所在平面平行，图片的排列方向为Z轴。将所有的检测图组依序输入训练好的目标检测模型中，如果检测图组的主图中包含有目标物，则得到该主图中目标物的二维定位框的左上角坐标(x₁,y₁)和右下角坐标(x₂,y₂)；

S4、作为立体的目标物，每个目标物肯定具有多个连续的二维定位框，所以要确定目标物的位置则需要整理这些二维定位框，得到包住目标物的三维定位框。计算每两个二维定位框的中心点之间的欧几里得距离|cp(b_i)-cp(b_j)|，i≠j，其中cp(b_i)和cp(b_j)表示两个不同的二维定位框的中心点，当|cp(b_i)-cp(b_j)|≤T，为这两个二维定位框赋予相同的目标物ID，其中T为预设阈值；

S5、通过以下公式计算目标物的三维定位框的左上角坐标(x′₁，y′₁，z′₁)和右下角坐标(x′₂，y′₂，z′₂)：

z′₁＝min({z_i}i＝1,2,…,N)

z′₂＝max({z_i}i＝1,2,…,N)

其中

和

分别为具有同一目标物ID的第i个二维定位框的左上角坐标和右下角坐标，z_i是具有同一目标物ID的第i个二维定位框的z轴坐标位置。

目标检测模型包括FEN模块、RPN模块和RCN模块。

FEN模块采用VGG16网络结构，包括第一卷积层、第二卷积层、第三卷积层、第四卷积层和第五卷积层；

在步骤S3中，三通道检测图组在FEN模块中依次经过第一卷积层、第二卷积层、第三卷积层、第四卷积层和第五卷积层进行卷积，经过第一卷积层的卷积后输出分辨率为112*112、通道数为64的第一特征图，经过第二卷积层的卷积后输出分辨率为56*56、通道数为128的第二特征图，经过第三卷积层的卷积后输出分辨率为28*28、通道数为256的第三特征图，经过第四卷积层的卷积后输出分辨率为14*14、通道数为512的第四特征图，经过第五卷积层的卷积后输出分辨率为7*7、通道数为512的第五特征图。第三特征图、第四特征图和第五特征图通过双线性插值使它们的分辨率与第二特征图的分辨率相同。再通过数量相同的1*1的卷积核对第二特征图、第三特征图、第四特征图和第五特征图进行卷积，使它们的通道数相同，最后拼接第二特征图、第三特征图、第四特征图和第五特征图得到最终特征图；

在RPN模块中，对第三特征图进行全连接和二分类，预测出第一图案的中心锚点的坐标、宽度和高度并根据这些数据把第一图案从主图中截取出来，第一图案的大小为16*16～24*24。对第四特征图进行全连接和二分类，预测出第二图案的中心锚点的坐标、宽度和高度并根据这些数据把第二图案从主图中截取出来，第二图案的大小为32*32～48*48。对第五特征图进行全连接和二分类，预测出第三图案的中心锚点的坐标、宽度和高度并根据这些数据把第三图案从主图中截取出来，第三图案的大小为64*64～96*96。通过第三卷积层、第四卷积层和第五卷积层得到大小不同的三种图案，能够分别检测不同尺寸的目标物，图案(proposal)是指从黑白断面图片中裁剪出来的包含目标物的二维矩形框图。

在RCN模块中，利用最终特征图、第一图案、第二图案和第三图案进行进一步的分类和定位，得到目标物的二维定位框的左上角坐标(x₁,y₁)和右下角坐标(x₂,y₂)。

RCN模块基于更高层次的最终特征图对RPN模块提取到的第一图案、第二图案和第三图案(ROIs)进一步二分类，过滤掉RPN模块识别出包含目标物的主图实际上并没有包含的假阳性识别结果。高层次的最终特征图即保留了第二特征图的高分辨率，同时融合了更深层的强语义特征，因此可以更好的对目标物和非目标物进行区分。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对所述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

以上述依据本发明的理想实施例为启示，通过上述的说明内容，相关工作人员完全可以在不偏离本项发明技术思想的范围内，进行多样的变更以及修改。本项发明的技术性范围并不局限于说明书上的内容，必须要根据权利要求范围来确定其技术性范围。

Claims (2)

1.一种三维图集的目标识别方法，其特征在于，包括以下步骤：

S1、对三维图集的每个原始断面图片进行裁剪，得到黑白断面图片；

S2、每相邻的三个黑白断面图片层叠组成三通道的检测图组；

S3、将所有的检测图组依序输入训练好的目标检测模型中，如果检测图组中中间一个黑白断面图片中包含有目标物，则得到该黑白断面图片中目标物的二维定位框的左上角坐标(x₁,y₁)和右下角坐标(x₂,y₂)；

S4、计算每两个二维定位框的中心点之间的欧几里得距离|cp(b_i)-cp(b_j)|，i≠j，其中cp(b_i)和cp(b_j)表示两个不同的二维定位框的中心点，当|cp(b_i)-cp(b_j)|≤T，为这两个二维定位框赋予相同的目标物ID，其中T为预设阈值；

S5、通过以下公式计算目标物的三维定位框的左上角坐标(x′₁，y′₁，z′₁)和右下角坐标(x′₂，y′₂，z′₂)：

z′₁＝min({z_i}i＝1,2,…,N)

z′₂＝max({z_i}i＝1,2,…,N)

其中

和

分别为具有同一目标物ID的第i个二维定位框的左上角坐标和右下角坐标，z_i是具有同一目标物ID的第i个二维定位框的z轴坐标位置。

2.如权利要求1所述的三维图集的目标识别方法，其特征在于：所述目标检测模型包括FEN模块、RPN模块和RCN模块，所述FEN模块包括第一卷积层、第二卷积层、第三卷积层、第四卷积层和第五卷积层；

在所述步骤S3中，检测图组在FEN模块中依次经过第一卷积层、第二卷积层、第三卷积层、第四卷积层和第五卷积层进行卷积；

在FEN模块中，第三卷积层输出的第三特征图、第四卷积层输出的第四特征图和第五卷积层输出的第五特征图通过双线性插值使它们的分辨率与第二卷积层输出的第二特征图的分辨率相同，再通过数量相同的1*1的卷积核对第二特征图、第三特征图、第四特征图和第五特征图进行卷积，使它们的通道数相同，最后拼接第二特征图、第三特征图、第四特征图和第五特征图得到最终特征图；

在RPN模块中，对第三特征图进行全连接和二分类，得到大小为16*16～24*24的第一图案，对第四特征图进行全连接和二分类，得到大小为32*32～48*48的第二图案，对第五特征图进行全连接和二分类，得到大小为64*64～96*96的第三图案；

在RCN模块中，利用最终特征图、第一图案、第二图案和第三图案进行分类和定位，得到目标物的二维定位框的左上角坐标(x₁,y₁)和右下角坐标(x₂,y₂)。

Images