CN103325249A - 捕获图像处理装置和捕获图像处理方法 - Google Patents

Abstract

提供了一种捕获图像处理装置，用于对捕获图像执行图像处理以从捕获图像中检测要被检测的对象。该捕获图像处理装置包括：缩小图像产生单元，用于以多个不同缩小比例来产生捕获图像的缩小图像；特征值计算单元，用于根据缩小图像的图像尺寸来改变每个缩小图像中的局部区域，并计算所述局部区域的特征值；归一化输入变量确定单元，用于计算不同缩小比例的缩小图像的特征值之间的差值，并将通过计算获得的值设置为归一化输入变量；以及归一化处理单元，用于利用归一化输入变量来执行归一化处理。

Description

捕获图像处理装置和捕获图像处理方法

技术领域

本发明涉及捕获图像处理装置和捕获图像处理方法。

背景技术

提出了一种用于通过利用安装在路旁的成像设备来捕获行驶车辆的图像并处理捕获的图像来检测行驶车辆的位置和速度的系统。这种系统包括：交通计数器，用于对车辆的数目进行计数；以及驾驶安全支持系统，用于防止在能见度差的转弯或路口发生碰撞事故。

根据驾驶安全支持系统，基于根据捕获的图像而确定的车辆位置或速度来估计碰撞之前的剩余时间，并且基于该估计结果，驾驶员做出改变或者车辆损坏得到适当的控制。因此，需要该系统在根据捕获的图像检测车辆的位置和速度时实现高精度。

随着天气状况和道路表面状况的改变，摄像机捕获的图像在对比度方面变化很大。这使得很难以高精度获得车辆的位置和速度。

因此，需要通过进行预处理来调节捕获图像的对比度。这种对比度处理有时称作归一化(normalization)处理。例如，典型的归一化处理方法包括如下方法。

第一种示例方法是以下方法：在该方法中，执行归一化处理，以使整个捕获图像的对比度均匀。在该归一化处理中，使用整个捕获图像的亮度或者捕获图像的局部区域的平均亮度和变化值，使得高对比度的区域影响低对比度的区域以增强低对比度区域的对比度。通过这种方法使车辆的轮廓清楚。

第二种示例方法是以下方法：在该方法中，基于背景差异将捕获的图像分为车辆区域和非车辆区域，仅对车辆区域进行归一化处理。这使得可以仅在所需的区域强调对比度。

日本专利No.4,427,201(专利文献1)公开了一种检测所监视的区域中是否存在车辆的方法。根据该方法，针对所监视的区域中亮度信号的每个亮度值来产生二值图像，获得二值图像的熵以创建针对亮度值的熵分布，基于特定熵的分布宽度来确定所监视的区域内是否存在车辆。根据该方法，针对为二值图像初步设定的每个阈值计算熵，使得根据熵的变化将图像分为车辆区域和非车辆区域。

日本专利申请公开No.H09-062986(专利文献2)公开了一种检测车辆的方法，其中，除了摄像机之外还安装了多个发光设备，使得在亮度较低时的夜晚或下雨期间基于安装有发光设备的区域中是否存在亮度的差异来检测车辆。

然而，根据第一种方法，不仅强调车辆区域周围的对比度，还强调道路表面上对比度的最小差异。这可能具有在道路表面上频繁发生错误检测的问题。

根据第二种方法，在成像环境不同的不同时刻捕获的图像之间亮度显著不同。因此，在非车辆区域中亮度差异值变得更大，这使得无法正确区分车辆区域和非车辆区域。此外，由于成像环境根据时区和天气状况而显著改变，所以必须周期性更新背景图像。此外，这可能具有由于阴影或交通堵塞而无法获得恰当背景图像的问题。

在专利文献1描述的技术中，执行处理以获得二值图像的每个阈值的熵，这导致处理时间增加的问题。

在专利文献2描述的技术中，捕获图像处理装置包括多个传感器，这使得捕获图像处理装置昂贵。

此外，由于捕获的图像很大程度上依赖于环境，所以根据捕获的图像进行测量检测的精度也依赖于成像环境，并且显著受到成像环境的影响。因此，当执行归一化处理作为预处理时，处理时间和车辆检测精度很大程度上依赖于归一化处理。

考虑到现有技术的前述缺点，本发明的原理目的是提供一种捕获图像处理装置和捕获图像处理方法，能够快速自动确定归一化的程度并以高精度检测诸如车辆之类的对象。

发明内容

为了解决上述问题，本发明提供了一种捕获图像处理装置，用于对捕获图像执行图像处理以根据捕获图像来检测要被检测的对象，所述捕获图像处理装置包括：缩小图像产生单元，用于以多个不同缩小比例来产生捕获图像的缩小图像；特征值计算单元，用于根据缩小图像的图像尺寸来改变每个缩小图像中的局部区域，并计算所述局部区域的特征值；归一化输入变量确定单元，用于计算不同缩小比例的缩小图像的特征值之间的差值，并将通过计算获得的值设置为归一化输入变量；以及归一化处理单元，用于利用归一化输入变量来执行归一化处理。

本发明还提供了一种捕获图像处理方法，对捕获图像执行图像处理以根据捕获图像来检测要被检测的对象，所述捕获图像处理方法包括：缩小图像产生步骤，以多个不同缩小比例来产生捕获图像的缩小图像；特征值计算步骤，根据缩小图像的图像尺寸来改变每个缩小图像中的局部区域，以计算所述局部区域的特征值，计算不同缩小比例的缩小图像的特征值之间的差值，并将通过计算获得的值设置为归一化输入变量；归一化输入变量确定步骤，将所述差值设置为归一化输入变量；以及归一化处理步骤，利用归一化输入变量来执行归一化处理。

根据本发明，通过基于缩小图像的特征值之间的差异确定归一化输入变量来执行归一化，从而可以快速自动确定归一化处理的程度，因此可以以高精度检测车辆或其他对象。

附图说明

图1是示出了根据本发明第一实施例的捕获图像处理装置的框图；

图2是示出了根据第一实施例的捕获图像处理的步骤的流程图；

图3是示出了根据第一实施例在包含要检测的对象的区域中灰度级的出现频率的图；

图4是示出了根据第一实施例在不包含要检测的对象的区域中灰度级的出现频率的图；

图5A和5B是示出了根据第一实施例的缩小图像的示例的图，图5A示出了以低缩小比例缩小的图像，图5B示出了以高缩小比例缩小的图像；

图6是示出了根据第一实施例的去噪处理的步骤的流程图；

图7是示出了根据第一实施例的平滑滤波处理的步骤的流程图；

图8是示出了根据第二实施例的捕获图像处理的步骤的流程图；以及

图9是示出了根据第三实施例的捕获图像处理的步骤的流程图。

具体实施方式

将描述本发明的示例优选实施例。根据本发明的捕获图像处理装置被配置为使能通过在关注捕获图像的像素的灰度级的同时改变归一化程度(归一化输入变量)来实现对象的高精度检测。在以下描述中，使用道路上行驶的车辆作为要检测的对象的示例，然而本发明不限于此。例如，本发明还可应用于根据户外安全摄像机捕获的图像来检测入侵者(intruder)等的情况。

第一实施例

图1是示出了根据本发明第一实施例的捕获图像处理装置2的框图。捕获图像处理装置2具有缩小图像产生单元11、特征值计算单元12、归一化输入变量确定单元13和归一化处理单元14，并且对路旁摄像机4捕获的图像执行捕获图像处理。路旁摄像机4是安装在道路上的摄像机，例如用于监视道路。在下文中，使用熵作为特征值。

缩小图像产生单元11根据路旁摄像机4捕获的图像产生具有不同图像尺寸(不同缩小比例)的缩小图像。特征值计算单元12根据缩小图像的图像尺寸来改变缩小图像产生单元11产生的每个缩小图像中的局部区域，并计算局部区域的熵。

归一化输入变量确定单元13根据由特征值计算单元12计算的熵来获得图像之间的熵的差值，并确定归一化输入变量。归一化处理单元14通过使用由归一化输入变量确定单元13计算的归一化输入变量对每个像素执行不同程度的归一化。

接下来将描述由捕获图像处理装置执行的捕获图像处理的步骤。图2是示出了捕获图像处理的步骤的流程图。

在步骤SA1，路旁摄像机4捕获图像以获得捕获的图像。因此，将捕获的图像传输至缩小图像产生单元11。

在步骤SA2和SA3，以预定的缩小比例减小捕获的图像的尺寸。在该实施例中，缩小图像产生单元11产生两个不同缩小比例1/4和1/16的缩小图像。下文中，任何因此而缩小的图像应当被称作缩小图像，当缩小图像与缩小比例一起被提到时，应当例如将其描述为1/4缩小图像。

通过将获得的捕获图像中的像素稀疏化(thin)来执行缩小图像的产生。基于该缩小图像来执行稍后要描述的熵的计算，从而可以缩短计算时间。

在步骤SA4至SA5，特征值计算单元12计算缩小图像中的熵。在熵根据缩小图像尺寸变化的同时，针对在目标像素周围设置的每个局部区域计算熵。

当亮度值i出现在局部区域内的概率由Pi来表示时，通过以下等式1来获得目标像素的熵Hn。

$H_n=-\underset{i=0}{\overset{255}{\mathrm{\Σ}}}(P_i*\log P_i)---\left(1\right)$

当像素集中在特定灰度级(灰度值)时，如图3所示，该熵Hn在该灰度值处表现出高频率，而在其他灰度值处采用低频率。如果针对灰度级不存在特定值，则灰度值通常采用低值，如图4所示。在图3和4中，水平轴表示灰度值(灰度级)，垂直轴表示频率。

可以用一种方法来计算局部区域的熵，所述局部区域是固定的而与缩小图像尺寸无关。此外，可以根据下述等式2来计算能量En作为特征值来取代熵。该能量En也按照与熵相同的方式表现为亮度值Pi。

$E_n=-\underset{i=0}{\overset{255}{\mathrm{\Σ}}}{P}_i---\left(2\right)$

在步骤SA6，在计算熵之后，将缩小图像重新定尺寸为相同图像尺寸。在该示例中，将1/4缩小图像重新定尺寸为1/16缩小图像。

在步骤SA7，针对已经以不同缩小比例缩小的缩小图像的每个像素来计算熵差异。例如，如图5A和5B所示，将讨论在车辆C行驶在道路表面R上时捕获的捕获图像。图5A示出了低缩小比例的缩小图像，而图5B示出了高缩小比例的缩小图像。在这些图中，区域Ra_1和Ra_2仅包含道路表面R，而区域Rb_1和Rb_2包含车辆C。

区域Ra_1和Ra_2不包含诸如其亮度要被改变的车辆等元素。因此，通过对区域Ra_1执行像素稀疏化处理而产生的区域Ra_2的熵与区域Ra_1的熵实质上相同。

然而，由于区域Rb_1和Rb_2中包含车辆，所以区域Rb_1和Rb_2中包含的像素的亮度值在像素之间显著不同。因此，通过对区域Rb_1执行像素稀疏化处理而产生的区域Rb_2的熵与区域Rb_1的熵有很大不同。

该实施例采用这种特性。也就是说，在不同缩小比例的缩小图像之间获得熵的差异，当获得的差值是预定的阈值或更大值时，确定在相关区域中包含车辆。

在步骤SA8，确定当熵的差值非常小时区域或像素中不包含车辆，并且确定熵差异是由噪声引起的。因此，在小熵差值的区域上执行去噪处理，而不执行归一化处理。图6是示出了去噪处理的步骤的流程图。

在步骤SB1和SB2，沿着一个方向扫描图像，以确定熵持续等于或大于阈值的区间(下文中称作积分区间(interval of integration))。扫描方向可以是横向或者纵向。然后，计算所确定的区间中熵的积分值γ。

在步骤SB3和SB4，由于具有低积分值γ的任何区间都有可能是噪声，所以将积分值γ与预设的阈值β相比较。如果积分值γ小于阈值β，则确定区间是噪声。对确定为是噪声的区间不进行归一化处理，因此，将该区间中所有像素的熵设置为“0”(设置为初始值)。前述是去噪处理。

返回图2，将描述捕获图像处理。在步骤SA9，将已经过去噪处理的缩小图像恢复成捕获图像的原始大小。可以通过插入与已经过稀疏化的像素一样多的相邻像素值，或者通过使用内插法等，来执行缩小图像的恢复。

在步骤SA10，为了确定归一化输入变量，归一化输入变量确定单元13将熵差值转换成归一化输入变量。首先通过将差值从0归一化为1来执行转换。在该处理中，当环境是隧道内部等时，图像上部(即，远离摄像机的部分)比图像下部的对比度低。因此，将针对图像上部的输入变量α设置为较大的值。

在步骤SA11，归一化处理单元14根据捕获图像F1产生对比度强调图像F2，并利用输入变量α，根据以下等式3，通过针对每个像素调节归一化处理的程度的同时调节对比度，来产生对比度归一化图像F。

F＝(1-α)×F1+α×F2    (3)

这使得可以仅强调存在车辆的区域的对比度，而不强调道路的图像的对比度。通过这种归一化处理，使车辆的图像清楚，因此可以以高精度检测车辆的位置和速度。

在以上描述中，在差值计算处理(步骤SA7)之后执行去噪处理(步骤SA8)。然而根据本发明，如图7所示，还可以在差值计算处理(步骤SA7)之后执行平滑滤波处理(步骤SC1)，然后再执行去噪处理(步骤SA8)。图7是示出了顺序执行差值计算处理和平滑滤波处理然后再执行去噪处理的过程的一部分的流程图。

通过平滑滤波处理，可以通过相邻像素来抑制对归一化程度加以指示的归一化输入变量的剧烈变化。这使得可以以高精度检测车辆的位置和速度。

第二实施例

将描述本发明的第二实施例。在第二实施例的以下描述中，与第一实施例相似的部分由相同的参考数字来表示，并适当地省略了对这些相似部分的描述。关于产生两个不同的缩小图像(即，1/4缩小图像和1/16缩小图像)的情况描述了第一实施例。然而根据本发明，产生的缩小图像的数目不限于两个，而可以是任何数目，只要其是两个或更多个即可。将关于产生1/4缩小图像、1/16缩小图像和1/64缩小图像的情况来描述该第二实施例。

图8是示出了根据第二实施例的捕获图像处理装置的处理步骤的流程图。步骤SD1至SD5与步骤SA1至步骤SA5相同，步骤SD10至步骤SD14与步骤SA7至步骤SA11相同。因此，将描述与根据第一实施例的处理步骤不同的步骤SD6至SD9。

在步骤SD6，在步骤SD4中计算熵之后，将缩小图像重新定尺寸为1/64缩小图像。具体地，将1/4缩小图像重新定尺寸为1/64缩小图像。在步骤SD7，在步骤SD5中计算熵之后，将缩小图像重新定尺寸为1/64缩小图像。具体地，将1/16缩小图像重新定尺寸为1/64缩小图像。

在步骤SD8至SD9，缩小图像产生单元11产生在步骤SD1获得的捕获图像的1/64缩小图像，并计算熵。

因此，计算1/4缩小图像、1/16缩小图像和1/64缩小图像的熵，并将其图像尺寸统一为1/64缩小图像尺寸。

在步骤SD10，针对每个图像计算熵的差值。具体地，分别计算1/4缩小图像和1/16缩小图像之间以及在1/16缩小图像和1/64缩小图像之间的差值，并且在具有如此获得的两个差值的图像之间进一步计算差值。

这样，可以在缩短处理时间的同时以高精度检测车辆的位置和速度。

第三实施例

接下来将描述本发明的第三实施例。与第一实施例相似的部分将由相同的参考数字来表示，并且适当地省略了对这些相似部分的描述。图9是示出了根据第三实施例由捕获图像处理装置执行的捕获图像处理的步骤的流程图。

在图9所示的捕获图像处理中，步骤SE1至SE7和步骤SE14至步骤SE17与图2所示的捕获图像处理中的步骤SA1至SA7和SA8至SA11相同。图9所示的捕获图像处理与图2所示的捕获图像处理区别在于添加了步骤SE8至SE13。下面将描述添加的步骤SE8至SE13。

在步骤SE8，对步骤SE7计算的熵差值执行平滑滤波处理，然后执行去噪处理(参见图7的步骤SC1)。

在步骤SE9和SE11，计算已经过去噪处理的每个缩小图像的熵，并将缩小图像重新定尺寸。

在步骤SE10和SE12，针对已经过去噪处理的缩小图像产生1/16缩小图像，并计算该1/16缩小图像的熵。在步骤SE10和SE12，根据缩小图像尺寸在要改变的目标像素周围设置局部区域，并计算该局部区域中的熵。

在步骤SE13，计算在已经过平滑滤波处理的缩小图像的熵(参见步骤SE9中计算的熵)与缩小图像的熵(参见步骤SE12中计算的熵)之间的差值。

由于这些处理步骤，尽管在对比度略微改变的道路表面上的区域等中差值变得略微更大，然而通过多次获得熵差值可以减小在这种微小对比度改变的区域中的差异。

如上所述，通过比较缩小图像之间的熵，而已在抑制对道路表面图像的强调的同时强调车辆或其他对象的图像的对比度。

Claims (10)

1.一种捕获图像处理装置，用于对捕获图像执行图像处理以便从捕获图像中检测要被检测的对象，所述捕获图像处理装置包括：

缩小图像产生单元，用于以多个不同缩小比例来产生捕获图像的缩小图像；

特征值计算单元，用于根据缩小图像的图像尺寸来改变每个缩小图像中的局部区域，并计算所述局部区域的特征值；

归一化输入变量确定单元，用于计算不同缩小比例的缩小图像的特征值之间的差值，并将通过计算获得的值设置为归一化输入变量；以及

归一化处理单元，用于利用归一化输入变量来执行归一化处理。

2.根据权利要求1所述的捕获图像处理装置，其中，所述特征值是由以下等式1表示的熵或者由以下等式2表示的能量，其中Pi表示亮度值i出现在局部区域中的概率，Hn表示目标像素n的熵，En表示目标像素n的能量：

$H_n=-\underset{i=0}{\overset{255}{\mathrm{\Σ}}}(P_i*\log P_i)---\left(1\right)$

$E_n=-\underset{i=0}{\overset{255}{\mathrm{\Σ}}}{P}_i---\left(2\right).$

3.一种捕获图像处理方法，对捕获图像执行图像处理以便从捕获图像中检测要被检测的对象，所述捕获图像处理方法包括：

缩小图像产生步骤，以多个不同缩小比例来产生捕获图像的缩小图像；

特征值计算步骤，根据缩小图像的图像尺寸来改变每个缩小图像中的局部区域，以计算所述局部区域的特征值，计算不同缩小比例的缩小图像的特征值之间的差值，并将通过计算获得的值设置为归一化输入变量；

归一化输入变量确定步骤，将所述差值设置为归一化输入变量；以及

归一化处理步骤，利用归一化输入变量来执行归一化处理。

4.根据权利要求3所述的捕获图像处理方法，其中，所述缩小图像是具有不同缩小比例的三个缩小图像。

5.根据权利要求3所述的捕获图像处理方法，其中，所述特征值是由以下等式1表示的熵或者由以下等式2表示的能量，其中Pi表示亮度值i出现在局部区域中的概率，Hn表示目标像素n的熵，En表示目标像素n的能量：

$H_n=-\underset{i=0}{\overset{255}{\mathrm{\Σ}}}(P_i*\log P_i)---\left(1\right)$

$E_n=-\underset{i=0}{\overset{255}{\mathrm{\Σ}}}{P}_i---\left(2\right).$

6.根据权利要求3所述的捕获图像处理方法，其中，所述特征值计算步骤包括：平滑滤波处理步骤，对形成为具有计算出的特征值的图像执行平滑滤波处理，以通过相邻像素来防止归一化输入变量的剧烈变化。

7.根据权利要求6所述的捕获图像处理方法，其中，所述特征值计算步骤包括以下步骤：产生通过平滑滤波处理获得的图像的缩小图像，计算所述图像和所述缩小图像的特征值，并计算特征值之间的差值。

8.根据权利要求3所述的捕获图像处理方法，其中，所述归一化输入变量确定步骤包括以下步骤：对通过特征值计算步骤获得的差值小于预设阈值的区域执行去噪处理，并基于已经过去噪处理的图像来设置归一化输入变量。

9.根据权利要求8所述的捕获图像处理方法，包括：图像恢复步骤，通过线性内插将已经过去噪处理的图像恢复成捕获图像的原始尺寸。

10.根据权利要求8所述的捕获图像处理方法，其中，所述归一化处理步骤包括以下步骤：针对已经过去噪处理的图像的上部和下部，设置不同值的归一化输入变量。

Images