CN104766088A - 从三维图像中检测物体的系统和方法 - Google Patents

Abstract

本发明提供了一种从三维图像中检测物体的系统和方法。所述系统包括：基于多通道Haar特征的检测单元，从输入的三维图像提取多通道三维Haar特征值，通过利用提取的多通道三维Haar特征值获得目标物体的窗口位置和概率；基于相位特征的检测单元，从输入的三维图像中提取相位特征，并基于相位特征获得具有相位特征的物体的分布概率；多检测合并单元，合并基于多通道Haar特征获得的目标物体的概率和基于相位特征获得的具有相位特征的物体的分布概率，并基于合并得到的概率得到目标物体的位置和大小。

Description

从三维图像中检测物体的系统和方法

技术领域

本发明属于计算机视觉领域，更具体地讲，涉及一种从三维图像中检测物体的系统和方法。

背景技术

物体自动检测是计算机辅助设计(CAD)系统中最初始也是最关键的一个步骤，后续的处理和分析很多都是基于物体检测的结果而进行的。在一些医学影像中，目标物体可能存在边界不明显、形状和纹理多变、与周围背景相似度高等问题，这就致使物体的检测存在极大的困难。另外，对比二维医学影像，三维影像引入了更多的信息，有利于我们对于物体的检测。然而，从另一个角度来看，它同时也引入了更大的噪声，更多的冗余信息。如何善加利用这些信息，是三维物体检测中要考虑的问题之一。除此之外，庞大的数据量更是对算法和系统提出了更高的要求。

近年来相关技术主要是器官中肿瘤或病灶的检测以及器官本身的检测等。按照实现的方式可以分为以下几类：

（1）基于模型的技术：

本类技术对于要检测的物体预先定义一个统一的模型。根据此模型，在输入的数据上寻找最为匹配的目标。这一类方法具有比较强的针对性，往往适用于结构特点鲜明、形状纹理变化不是太大的物体的检测，例如内脏器官的检测。

（2）基于学习的技术：

本类技术利用较高层次的图像特征，例如纹理、小波、圆度等。在训练集上训练出分类器，而后在需要处理的图片上进行检测。其中，一部分技术以像素为单位提取特征进而分类，称为基于像素的技术；另一部分先对图像进行分割，而后在分割的区域上提取特征进而分类，称为基于区域的技术。这一类技术适用范围比较广，没有特定的限制，可以作为大多数物体检测的方法。

然而，现有技术存在以下几种问题：

现有技术中基于模型类的技术只适用于特定物体的检测，对于形状、内部纹理、外观尺寸等有较大变化的对象不适用。

部分基于学习的现有技术只能进行单个物体的检测，对于多个物体共存的数据则无法处理。部分基于学习的现有技术速度慢、系统结构复杂，不能实时运行。

因此需要一种适用性广泛的物体检测方法。

发明内容

为了实现上述目的，提供了一种从三维图像中检测物体的系统，包括：基于多通道Haar特征的检测单元，从输入的三维图像提取多通道三维Haar特征值，并基于提取的多通道三维Haar特征值获得目标物体的窗口位置和概率；基于相位特征的检测单元，从输入的三维图像中提取相位特征，并基于提取的相位特征获得具有相位特征的物体的分布概率；多检测合并单元，合并基于提取的多通道三维Haar特征值获得的目标物体的概率和基于提取的相位特征获得的具有相位特征的物体的分布概率，并基于合并得到的概率得到目标物体的位置和大小。

优选地，所述三维图像可以为单模三维数据，其中，基于多通道Haar特征的检测单元将输入的单模三维数据通过多种基本变换得到多通道图像，并且从得到的多通道图像中提取三维Haar特征值。

优选地，所述三维图像可以为多模三维数据，其中，基于多通道Haar特征的检测单元将输入的多模三维数据使用配准方法进行配准得到多通道图像，并且从得到的多通道图像中提取三维Haar特征值。

优选地，基于多通道Haar特征的检测单元可利用训练好的分类器在多个尺度不同位置下用滑动窗判别多通道图像中的目标物体，得到目标物体的窗口位置和概率。

优选地，多检测合并单元可将基于提取的多通道三维Haar特征值获得的目标物体的概率和基于提取的相位特征获得的具有相位特征的物体的分布概率进行相乘，以得到新的概率。

优选地，所述系统可还包括：验证单元，在得到的目标物体的位置提取物体特征，并基于提取的物体特征来对目标物体进行进一步验证。

优选地，所述分类器可以是通过将多个基于单个Haar特征的弱分类器级联而得到的基于多通道Haar特征的强分类器。

为了实现上述目的，提供了一种从三维图像中检测物体的方法，包括：从输入的三维图像提取多通道三维Haar特征值，并基于提取的多通道三维Haar特征值获得目标物体的窗口位置和概率；从输入的三维图像中提取相位特征，并基于提取的相位特征获得具有相位特征的物体的分布概率；合并基于提取的多通道三维Haar特征值获得的目标物体的概率和基于提取的相位特征获得的具有相位特征的物体的分布概率，并基于合并得到的概率得到目标物体的位置和大小。

优选地，所述三维图像可以为单模三维数据，其中，从输入的三维图像提取多通道三维Haar特征值的步骤包括：将输入的单模三维数据通过多种基本变换得到多通道图像，并且从得到的多通道图像中提取多通道三维Haar特征值。

优选地，所述三维图像可以为多模三维数据，其中，从输入的三维图像提取多通道三维Haar特征值的步骤可包括：将输入的多模三维数据使用配准方法进行配准得到多通道图像，并且从得到的多通道图像中提取三维Haar特征值。

优选地，基于提取的多通道三维Haar特征值获得目标物体的窗口位置和概率的步骤可包括：利用训练好的分类器在多个尺度不同位置下用滑动窗判别多通道图像中的目标物体，得到目标物体的窗口位置和概率。

优选地，合并基于提取的多通道三维Haar特征值获得的目标物体的概率和基于提取的相位特征获得的具有相位特征的物体的分布概率的步骤可包括：将基于提取的多通道三维Haar特征值获得的目标物体的概率和基于提取的相位特征获得的具有相位特征的物体的分布概率进行相乘，以得到新的概率。

优选地，所述方法可还包括：在得到的目标物体的位置提取物体特征，并基于提取的物体特征来对目标物体进行进一步验证。

优选地，所述分类器可以是通过将多个基于单个Haar特征的弱分类器级联而得到的基于多通道Haar特征的强分类器。

附图说明

通过下面结合附图进行的描述，本发明的上述和其他目的和特点将会变得更加清楚，其中：

图1是示出根据本发明实施例的从三维图像中检测物体的系统的结构的框图；

图2是示出多通道图像的示例；

图3显示了本发明实施例所使用的十种三维Haar特征的示图；

图4显示了本发明实施例的基于多通道Haar特征的检测单元的检测结果；

图5是显示了基于相位特征的检测单元的检测结果的示图；

图6是显示了验证单元的检测结果的示图；

图7是示出根据本发明实施例的从三维图像中检测物体的方法的流程图；

图8是示出当输入的三维图像为单模三维数据时获得目标物体的窗口位置和概率的过程的流程图；

图9是示出当输入的三维图像为多模三维数据时获得目标物体的窗口位置和概率的过程的流程图。

具体实施方式

以下，参照附图来详细说明本发明的实施例。

图1是示出根据本发明实施例的从三维图像中检测物体的系统的结构的框图。

如图1所示，根据本发明实施例的从三维图像中检测物体的系统包括基于多通道Haar特征的检测单元10、基于相位特征的检测单元20和多检测合并单元30。

基于多通道Haar特征的检测单元10用于从输入的三维图像提取多通道三维Haar特征值，通过利用提取的多通道三维Haar特征值获得目标物体的窗口位置和概率。

具体的讲，输入的三维图像可以为单模三维数据或者多模三维数据。其中，单模三维数据是指来自单一信号源的三维数据（如同一病人同一部位的超声图像或者CT图像）。多模三维数据是指来自多个信号源的三维数据(如同一病人同一部位的通过多个影像仪器得到的超声图像、CT图像和MRI图像)。

首先，对于单模三维数据，基于多通道Haar特征的检测单元10将输入的单模三维数据通过多种基本变换得到多通道图像。所述多种基本变换可包括：灰度图、梯度幅值、梯度方向、梯度均衡直方图、梯度方向直方图、相位一致性、相位对称性、相位非对称性等。图2是示出多通道图像的示例。在图2中，从左至右从上至下依次为：灰度图、梯度幅值图、梯度均衡直方图和相位非对称性图。

对于多模三维数据，由于坐标系不同，基于多通道Haar特征的检测单元10将输入的多模三维数据使用配准方法进行配准得到多通道图像。

其次，基于多通道Haar特征的检测单元10在多通道图像中提取三维Haar特征值。图3显示了本发明实施例所使用的十种三维Haar特征的示图。

每种Haar特征值为白色方块中的所有像素值加和与黑色方块中的所有像素值加和的差。

例如，在灰度通道上提取的Haar特征值可以表示为：

$f_{\mathrm{haar}}=\underset{(x,y,z)\∈{\mathrm{cube}}_{\mathrm{white}}}{\mathrm{\Σ}}I(x,y,z)-\underset{(x,y,z)\∈{\mathrm{cube}}_{\mathrm{black}}}{\mathrm{\Σ}}I(x,y,z)$

在此公式中，I(x,y,z)表示在一个三维点(x,y,z)上的灰度值。而在梯度通道上提取的Haar特征可以表示为：

$f_{\mathrm{haar}}=\underset{(x,y,z)\∈{\mathrm{cube}}_{\mathrm{white}}}{\mathrm{\Σ}}\mathrm{GM}(x,y,z)-\underset{(x,y,z)\∈{\mathrm{cube}}_{\mathrm{black}}}{\mathrm{\Σ}}\mathrm{GM}(x,y,z)$

在此公式中，GM(x,y,z)表示在一个三维点(x,y,z)上的梯度幅值。其它通道Haar特征的提取方法以此类推。

最后，基于多通道Haar特征的检测单元10利用训练好的分类器在多个尺度不同位置下用滑动窗判别多通道图像中的目标物体，得到目标物体的窗口位置和概率。

这里的训练好的分类器是二类分类器，二类分类器用于将目标物体和背景进行区分。本发明实施例中所采用的分类器是通过将多个基于单个Haar特征的弱分类器级联而得到的基于多通道Haar特征的强分类器。

下面对分类器进行详细解释。

首先，通过下面的公式生成一个弱分类器：

$h_j\left(x\right)=\left\{\begin{array}{cc}1& \mathrm{if}{p}_j{f}_j\left(x\right)<p_j{\mathrm{\&theta;}}_j\\ 0& \mathrm{otherwise}\end{array}\right.$

其中，h_j(x)表示针对任一点x的弱分类器；f_j(x)表示点x的Haar特征值，θ_j表示阈值(该阈值的作用在于区分检测的图像是目标物体还是背景），p_j代表标志位，用于标识正负方向。

根据上述公式，如果标志位为正，当Haar特征值小于阈值时，则判断检测的对象为目标物体，如果标志位为负，当Haar特征值大于阈值时，则判断检测的对象为目标物体。

随后，使用Real-Adaboost技术从上述得到的众多弱分类器中学习一个强分类器。例如，一个基于灰度图像的单通道Haar强分类器可以表示为：

$H\left(x\right)=\mathrm{sign}({\mathrm{\&Sigma;}}_{t=1}^T{\mathrm{\&alpha;}}_t{h}_t\left(x\right)-b)$

其中，α代表alpha系数，通过误差算得；b为通过学习得到的阈值，t是索引(index)，h_t(x)为弱分类器h，从特征池H={h₁,h₂,...,h_N}中选出。因此，上述公式表示强分类器H(x)是1到T个弱分类器的结合。

通过使用多通道Haar特征，上述特征池可以扩展为原来的M倍，M即为通道数量。多通道Haar特征池为：

H={{h₁₁,.…,h_1M},…,{h_N1,…,h_NM}}

基于多通道Haar特征的强分类器则表示为：

$H\left(x\right)=\mathrm{sign}({\mathrm{\&Sigma;}}_{t=1}^T{\mathrm{\&alpha;}}_t{h}_{\mathrm{tc}}\left(x\right)-b)$

其中，α代表alpha系数，t为弱分类器的索引，c为通道的索引。上述公式则表示强分类器就是多个弱分类器的结合。

根据经验或通过学习的方式，还可以为每个通道设置一个权重值ω_c，来表示该通道的重要性或可靠性，这样一个强分类器可以表示为：

$H\left(x\right)=\mathrm{sign}({\mathrm{\&Sigma;}}_{t=1}^T{\mathrm{\&omega;}}_c{\mathrm{\&alpha;}}_t{h}_{\mathrm{tc}}\left(x\right)-b)$

本发明实施例通过使用nested cascade的方式将训练的多个强分类器级连起来得到最终的分类器CH(x)，目的是能在检测前期快速排除掉大多数的非物体区域。

使用这个提前训练好的分类器(即，最终的分类器CH(x)），在多个尺度不同位置下用滑动窗判别多通道图像中的目标物体，得到目标物体的窗口位置和概率。

具体的讲，每个强分类器得到的判断为目标物体的概率为：

${\mathrm{Conf}}_H\left(x\right)=|{\mathrm{\&Sigma;}}_{t=1}^T{\mathrm{\&omega;}}_c{\mathrm{\&alpha;}}_t{h}_{\mathrm{tc}}\left(x\right)-b|$

因此，最终的级联分类器得到的判断为目标物体的概率为：

${\mathrm{Conf}}_{\mathrm{CH}}\left(x\right)={\mathrm{\&Sigma;}}_{i=1}^K{\mathrm{Conf}}_{\mathrm{Hi}}\left(x\right).$

也就是说，最终的级联分类器得到的概率为多个级联的强分类器判断的结果的结合。

图4显示了本发明实施例的基于多通道Haar特征的检测单元10的检测结果。其中，图4中的方框为haar检测结果。

基于相位特征的检测单元20用于从输入的三维图像中提取相位特征，并基于相位特征获得具有相位特征的物体的分布概率。

在本发明实施例中相位特征是指球状或块状特征。下面以球状或块状特征为例来描述基于相位特征的检测单元20获得球状或块状特征物体的分布概率。

具体地讲，对于输入的三维数据I(x),基于相位特征的检测单元20使用多个尺度的对称/非对称小波变换对进行变换得到奇响应部分e_n和偶响应部分o_n，n表示某一尺度，如下等式：

$[e_n\left(x\right),o_n\left(x\right)]=[I\left(x\right)*M_n^e,I\left(x\right)*M_n^o].$

其中，为对图像进行小波变换后的奇响应部分，为对图像进行小波变换后的偶响应部分。

随后，由于在块状或球状的特征上偶响应加和与奇响应加和的差值会比较大，因此基于相位特征的检测单元20计算各个尺度上的奇响应加和与偶响应加和，并且计算奇响应加和与偶响应加和的差值，从而得到基于相位的物体概率分布图Conf_PF(x):

其中，A_n(x)为在尺度n上小波变换的幅值，计算方法为T为阈值，是一个取值非常小的常数，防止分母为零。

概率分布图Conf_PF(x)表示图像中的每一个位置x的相位特征值。即在概率分布图Conf_PF(x)上值越大的点(即x点）说明出现块状或球状物体的可能性越高。

图5是显示了基于相位特征的检测单元20的检测结果的示图。如图5所示，其中的方框为haar检测结果，第一排图中的方框是正确结果，第一排图中的方框是误判结果，另外图5中每对图像左边的为通过基于相位特征的检测单元20得到的图。其中，白色区域表示目标物体的概率大，黑色则表示非目标物体，即背景。

多检测合并单元30用于合并基于多通道Haar特征的检测单元10得到的目标物体的概率和基于相位特征的检测单元20得到的具有相位特征的物体的分布概率。也就是说，多检测合并单元30将基于多通道Haar特征的检测单元10得到的目标物体的概率和基于相位特征的检测单元20得到的具有相位特征的物体的分布概率相乘，以得到新的概率Conf_D：

即，Conf_D=Conf_CH×Conf_PF。其中，Conf_CH为基于多通道Haar特征的检测单元10得到的目标物体的概率，Conf_PF为基于相位特征的检测单元20得到的球状或块状特征物体的分布概率。

通过使用得到的新的概率Conf_D来进一步判断目标物体的位置和大小。

具体的讲，如上所述，基于多通道Haar特征的检测单元10得到目标物体的候选的滑动窗的位置、大小和概率，通过将候选的概率乘以基于相位特征的检测单元20得到的概率并将得到的概率与预定阈值进行比较，如果大于所述预定阈值，则确定对应窗口的物体为目标物体。

此外，根据本发明的从三维图像检测物体的系统还可包括验证单元40。

验证单元40用于在上述通过新概率判断出的目标物体的位置提取物体特征（例如，位置特征、尺度特征、灰度特征、纹理特征和得到的概率特征），随后基于提取的物体特征、利用已经学习好的模型参数，来对判断出的目标物体进一步进行验证。即，在保持较高的检测率的前提下去除尽可能多的误检结果。

SVM分类器可包括在验证单元40中。SVM分类器是一种基于学习的二类分类器。二类分类器指的是只有两类样本，例如目标物体和背景区域。SVM分类器首先需要从一些样本中学习一定的模型参数来学习哪些样本属于目标物体，哪些属于背景。随后在验证过程中利用学习好的模型参数对未知类别的图像进行分类。

因此，根据本发明的实施例，可使用提前训练好的SVM分类器对候选的目标物体区域进行分类，以区别正检结果和误检结果。

如图6所示，图中的A、B、C、D中的方框表示正检结果，E和F中的方框表示误检结果。

图7是示出根据本发明实施例的从三维图像中检测物体的方法的流程图。

如图7所示，在步骤S701，从输入的三维图像提取多通道三维Haar特征值，基于提取的多通道三维Haar特征值获得目标物体的窗口位置和概率。

下面将参照图8和图9对步骤S701的过程进行详细描述。

图8是示出当输入的三维图像为单模三维数据时获得目标物体的窗口位置和概率的过程的流程图。

如图8所示，在步骤S801，将输入的单模三维数据通过多种基本变换得到多通道图像。所述多种基本变换可包括：灰度图、梯度幅值、梯度方向、梯度均衡直方图、梯度方向直方图、相位一致性、相位对称性、相位非对称性等。

在步骤S802，在多通道图像中提取三维Haar特征值。

在步骤S803，利用训练好的分类器在多个尺度不同位置下用滑动窗判别多通道图像中的目标物体，得到目标物体的窗口位置和概率。

在本发明实施例中所采用的分类器是通过将多个基于单个Haar特征的弱分类器级联而得到的基于多通道Haar特征的强分类器。

图9是示出当输入的三维图像为多模三维数据时获得目标物体的窗口位置和概率的过程的流程图。

如图9所示，在步骤S901，将输入的多模三维数据使用配准方法进行配准得到多通道图像。

在步骤S902，在多通道图像中提取三维Haar特征值。

在步骤S903，利用训练好的分类器在多个尺度不同位置下用滑动窗判别多通道图像中的目标物体，得到目标物体的窗口位置和概率。

在本发明实施例中所采用的分类器是通过将多个基于单个Haar特征的弱分类器级联而得到的基于多通道Haar特征的强分类器。

由于在对基于多通道Haar特征的检测单元10的描述已经具体描述了该基于多通道Haar特征的强分类器，因此在此不再赘述。

现在返回图7，在步骤S702，从输入的三维图像中提取相位特征，并基于相位特征获得具有相位特征的物体的分布概率。在本发明实施例中相位特征是指球状或块状特征。

应该理解，执行图7中的步骤S701和S702的顺序不限于这里的描述，换句话说，可以先执行步骤S702，再执行步骤S701。

在步骤S703，合并基于提取的多通道三维Haar特征值获得的目标物体的概率和基于相位特征获得的具有相位特征的物体的分布概率，并基于合并得到的概率得到目标物体的位置和大小。具体地讲，基于多通道Haar特征获得的目标物体的概率和基于相位特征获得的具有相位特征的物体的分布概率进行相乘，以得到新的概率Conf_D。

在步骤S704，在目标物体的位置提取物体特征，并基于提取的物体特征来对目标物体进行进一步验证。

通过根据本发明实施例的从三维图像中检测物体的系统和方法，能够实现三维医学图像中对于目标物体的检测。另外，由于本发明实施例同时使用两种不同类的检测技术，因此能够达到准确快速定位物体的目的。

尽管已经参照本发明实施例具体显示和描述了本发明，但是本领域的技术人员应该理解，在不脱离权利要求所限定的本发明的精神和范围的情况下，可以对其进行形式和细节上的各种改变。

Claims (14)

1.一种从三维图像中检测物体的系统，包括：

基于多通道Haar特征的检测单元，从输入的三维图像提取多通道三维Haar特征值，并基于提取的多通道三维Haar特征值获得目标物体的窗口位置和概率；

基于相位特征的检测单元，从输入的三维图像中提取相位特征，并基于提取的相位特征获得具有相位特征的物体的分布概率；

多检测合并单元，合并基于提取的多通道三维Haar特征值获得的目标物体的概率和基于提取的相位特征获得的具有相位特征的物体的分布概率，并基于合并得到的概率得到目标物体的位置和大小。

2.如权利要求1所述的系统，其中，所述三维图像为单模三维数据，

其中，基于多通道Haar特征的检测单元将输入的单模三维数据通过多种基本变换得到多通道图像，并且从得到的多通道图像中提取三维Haar特征值。

3.如权利要求1所述的系统，其中，所述三维图像为多模三维数据，

其中，基于多通道Haar特征的检测单元将输入的多模三维数据使用配准方法进行配准得到多通道图像，并且从得到的多通道图像中提取三维Haar特征值。

4.如权利要求1所述的系统，其中，基于多通道Haar特征的检测单元利用训练好的分类器在多个尺度不同位置下用滑动窗判别多通道图像中的目标物体，得到目标物体的窗口位置和概率。

5.如权利要求1所述的系统，其中，多检测合并单元将基于提取的多通道三维Haar特征值获得的目标物体的概率和基于提取的相位特征获得的具有相位特征的物体的分布概率进行相乘，以得到新的概率。

6.如权利要求1所述的系统，还包括：验证单元，在得到的目标物体的位置提取物体特征，并基于提取的物体特征来对目标物体进行进一步验证。

7.如权利要求4所述的系统，其中，所述分类器是通过将多个基于单个Haar特征的弱分类器级联而得到的基于多通道Haar特征的强分类器。

8.一种从三维图像中检测物体的方法，包括：

从输入的三维图像提取多通道三维Haar特征值，并基于提取的多通道三维Haar特征值获得目标物体的窗口位置和概率；

从输入的三维图像中提取相位特征，并基于提取的相位特征获得具有相位特征的物体的分布概率；

合并基于提取的多通道三维Haar特征值获得的目标物体的概率和基于提取的相位特征获得的具有相位特征的物体的分布概率，并基于合并得到的概率得到目标物体的位置和大小。

9.如权利要求8所述的方法，其中，所述三维图像为单模三维数据，

其中，从输入的三维图像提取多通道三维Haar特征值的步骤包括：将输入的单模三维数据通过多种基本变换得到多通道图像，并且从得到的多通道图像中提取三维Haar特征值。

10.如权利要求8所述的方法，其中，所述三维图像为多模三维数据，

其中，从输入的三维图像提取多通道三维Haar特征值的步骤包括：将输入的多模三维数据使用配准方法进行配准得到多通道图像，并且从得到的多通道图像中提取三维Haar特征值。

11.如权利要求8所述的方法，其中，基于提取的多通道三维Haar特征值获得目标物体的窗口位置和概率的步骤包括：利用训练好的分类器在多个尺度不同位置下用滑动窗判别多通道图像中的目标物体，得到目标物体的窗口位置和概率。

12.如权利要求8所述的方法，其中，合并基于提取的多通道三维Haar特征值获得的目标物体的概率和基于提取的相位特征获得的具有相位特征的物体的分布概率的步骤包括：将基于提取的多通道三维Haar特征值获得的目标物体的概率和基于提取的相位特征获得的具有相位特征的物体的分布概率进行相乘，以得到新的概率。

13.如权利要求8所述的方法，还包括：

在得到的目标物体的位置提取物体特征，并基于提取的物体特征来对目标物体进行进一步验证。

14.如权利要求11所述的方法，其中，所述分类器是通过将多个基于单个Haar特征的弱分类器级联而得到的基于多通道Haar特征的强分类器。