CN1750045A - 图像处理设备和图像处理方法 - Google Patents

Abstract

本发明涉及图像处理设备和图像处理方法，并且具体公开了一种只检测待检目标的图像处理设备，所述图像处理设备通过使用非常简单的处理和参数来排除诸如树摇晃的干扰，从而只检测待检目标。图像处理设备包括：基准图像存储单元，所述基准图像存储单元用于储存视频输入单元拍摄的多个先前图像数据，作为基准图像数据；以及图像运动目标检测单元，所述图像运动目标检测单元用于在视频输入单元拍摄的图像数据与基准图像存储单元储存的多个基准图像数据中的每一个之间检测象素差异或小区域差异，并且基于差异的连续性或出现概率而检测图像数据中的运动目标。

Description

图像处理设备和图像处理方法

相关专利申请的交叉引用

本发明包含与2004年9月13日向日本专利办公室申请的日本专利申请JP 2004-266012以及2005年8月16日向日本专利办公室申请的日本专利申请JP 2005-236033有关的主题，这些专利申请的全部内容在本文引作参考。

技术领域

本发明涉及用于在视频拍摄单元如照相机拍摄的图像中检测运动目标区域的图像处理设备和图像处理方法。

背景技术

到目前为止，为了监视或跟踪在视频拍摄单元如ITV照相机所捕捉视频中的目标如人物、车辆，必需检测视频中的目标。例如，当应用于使用ITV照相机的监视设备时，考虑建立一种系统，在此系统中，通过照相机拍摄希望监视的场所，如禁区，检测视频中目标是否存在，并且在目标进入监视场所时报警。进一步地，还可应用于通过在有许多人进出的场所如百货商店、车站等地方，跟踪移动人员并调查行人流动而控制行人流动、市场调查等。

当目标进入视频时，目标区域的亮度，即图像中目标区域的亮度值改变。从而，通过检测图像中亮度值有差异的区域而检测目标，所述区域称为差异区域。对于检测图像差异区域的技术，有使用帧间差异的差异检测方法和使用背景图像的背景差异方法。在帧间差异方法中，通过计算在当前时间拍摄的图像与在单位时间之前拍摄的图像之间的亮度差而检测差异，并且判断在具有差异的区域中有目标。然而，借助在当前时间拍摄的图像与在单位时间之前拍摄的图像的两个帧之间的差异，也检测到干扰，如树的摇晃、水面的波动或旗帜的摆动等。

另一方面，在背景差异方法中，通过事先记录作为背景图像不移动的目标的图像，并比较当前时间拍摄的图像与背景图像而检测目标区域。

即使在背景差异方法中，也与使用帧间差异的差异检测方法相似，难以处理树的摇晃等。

对于排除除待检目标之外的目标如树摇晃的技术，例如有这样一种技术，其中，此技术分析在先前已经出现除待检目标之外的目标的图像，并且把它保存作为多个概率分布。例如，当有树摇晃时，通过保存树叶部分和枝叶背面部分的两个出现概率作为背景，即使出现树叶部分和枝叶背面部分，它也可作为背景(例如，参照非专利文件1：C.Stuffer，W.E.L.Grimson，“用于实时跟踪的适应性背景混合模型(adaptive background mixture models for real-time tracking)”)。

当在当前时间拍摄的图像与在先前拍摄的图像的差异值通过阈值处理而二进制化时，还提出一种监视设备，其中，所述监视设备通过创建背景图像而处理波动，其中，在背景图像中，先前差异值的累积结果改变为原始阈值(例如，参照专利文件1：日本专利申请特开平出版号2000-156852)。

然而，在上述非专利文件1的技术中，由于有几个参数需要保存作为背景，如概率分布的数量及其更新方法等，因此，必需对于每个场景调整多个参数。

进而，在专利文件1的技术中，当亮度值因树摇晃等的变化较大时，阈值变得过大，并且因而在目标进入时，发生检测遗漏的可能性。

发明内容

从而，考虑到上述常规问题，希望通过使用非常简单的处理和参数排除干扰，如树的摇晃，而只检测待检目标。

本发明的另一目的以及本发明获得的具体优点将从以下描述的本发明实施例中阐明。

在本发明中，通过比较先前图像组的几页，从差异值的连续性排除干扰，如树的摇晃，并且，只检测运动目标区域。

更具体地，根据本发明的图像处理设备包括：基准图像存储单元，所述基准图像存储单元用于储存视频输入单元拍摄的多个先前图像数据，作为基准图像数据；以及图像运动目标检测单元，所述图像运动目标检测单元用于在视频输入单元拍摄的图像数据与基准图像存储单元储存的多个基准图像数据中的每一个之间检测象素差异或小区域差异，并且基于差异的连续性或出现概率而检测图像数据中的运动目标。

例如，根据本发明的图像处理设备进一步包括图像校正单元，所述图像校正单元通过使用图像数据和储存在基准图像存储单元中的基准图像数据而校正图像的模糊和亮度，并且通过使用图像校正单元校正的图像而提取目标区域。

进一步地，在根据本发明的图像处理设备中，例如，图像校正单元检测图像数据与基准图像存储单元储存的多个基准图像数据中的每一个之间的模糊，并且执行模糊校正。

进一步地，在根据本发明的图像处理设备中，例如，图像校正单元在检测图像数据与基准图像存储单元储存的多个基准图像数据中的每一个之间的模糊时，检测在时间上连续的两个基准图像数据之间的模糊，通过累积模糊而设定模糊校正的基准，通过从所设定模糊校正的基准值执行微小部分的模糊检测而检测模糊，由此执行模糊校正。

进一步地，例如，根据本发明的图像处理设备进一步包括：背景图像存储单元，所述背景图像存储单元储存通过事先拍摄相同场景而获得的另一图像，作为背景图像数据；背景差异处理单元，所述背景差异处理单元检测视频输入单元拍摄的图像数据与背景图像存储单元储存的背景图像数据之间的差异；以及背景差异单元，所述背景差异单元比较图像运动目标检测单元检测的运动目标区域与背景图像存储单元储存的背景图像数据，并删除在图像运动目标检测单元检测运动目标时产生的剩余图像。

根据本发明的图像处理方法包括以下步骤：储存视频输入单元拍摄的多个先前图像数据，作为基准图像数据；以及，在视频输入单元拍摄的图像数据与储存的多个基准图像数据中的每一个之间检测象素差异或小区域差异，并且基于差异的连续性或出现概率而检测图像数据中的运动目标。

根据本发明，在通过帧间差异处理进行目标检测中，通过观察当前时间图像与保存的先前数量帧的先前图像组之间的差异值的连续性，通过排除诸如树摇晃和水面波动的干扰，可以只检测进入图像中的目标。在此情况下，通过只给出两个参数，即储存帧的数量和差异值超过阈值的状态所持续的时间，就可进行响应场景的可靠目标检测。

附图说明

图1为示出根据本发明的图像处理设备的结构实例的框图；

图2A、2B和2C通过以横轴表示时间以纵轴表示差异值，示出当图像中坐标内的差异值改变时，当前时间的图像与先前数量帧的先前图像组之间的差异值的计算结果；

图3为示出根据本发明的图像处理设备的另一结构实例的框图；

图4为示出根据本发明的图像处理设备的又一结构实例的框图；以及

图5为示出根据本发明的图像处理设备的还一结构实例的框图。

具体实施方式

以下结合附图描述本发明的实施例。应指出，本发明不局限于以下描述，并且，只要不偏离本发明的精神和范围，就可对本发明进行修改和变更。

在本发明中，通过使用非常简单的处理和参数来排除干扰，如树的摇晃，从而只检测待检目标。

例如，如图1所示，根据本发明的图像处理设备10包括先前图像组保存单元11和图像运动目标检测单元14，其中，先前图像组保存单元11用于储存由视频输入单元如照相机拍摄的多个先前图像数据，作为基准图像数据；图像运动目标检测单元14用于在视频输入单元拍摄的图像数据与先前图像组保存单元11储存的多个基准图像数据中的每一个之间检测象素差异或小区域差异，并且基于差异的连续性或出现概率而检测图像数据中的运动目标。

在图像处理设备10中，视频拍摄单元所拍摄先前数量帧的图像在先前图像组保存单元11中保存，作为先前图像组，图像运动目标检测单元14在当前时间拍摄的图像与先前图像组的亮度差异由差异处理单元12计算，差异值的时间连续性由计数单元13计数，并且，计数值输出作为图像运动目标检测结果。

更具体地，图2通过以横轴表示时间以纵轴表示差异值，当图像中坐标内的差异值改变时，用图形示出当前时间图像与先前数量帧的先前图像组之间的差异值的计算结果。如图2A所示，当在图像中的某些坐标内不存在目标时，差异值连续保持非常小的状态。接着，如图2B所示，当目标进入图像中某些坐标时，差异值改变。当目标在时间t-Δt进入时，其中，t意味着当前时间并且目标在当前时间存在，在时间t-Δt之前，差异值较大，而在t-Δt之后，差异值变小。接着，如图2C所示，如果树叶摆动或波动，差异值随机改变。在这应指出，当目标进入时，差异值较大的状态持续预定的时间周期。接着，对差异值执行阈值处理，并且，当差异值超过阈值的状态持续预定时间时，就确定目标存在。例如，当在过去的1秒钟内，差异值超过阈值0.5秒或更长时间时，就确定目标存在。如果有树叶摆动或波动，差异值超过阈值的状态就不会持续。相应地，确定目标的不存在。通过对图像中的所有象素或部分象素执行此处理，通过检测存在于运动目标中的象素而提取运动目标区域，并且，通过与相邻象素的耦合处理等而对被检测象素执行标记。

进一步地，在图像处理设备10的图像运动目标检测单元14中，差异处理单元12计算的亮度差异的连续性由计数单元13计数，差异值超过阈值的状态的持续时间用作索引，并且，执行目标检测处理。然而，即使目标存在，噪声等的影响可导致差异值瞬间不大于阈值的状态。接着，可使用忽略瞬间差异值下降的方法。对于瞬间差异值下降的对策，例如有采用差异值的时间平均值的方法、或设定允许低于阈值的状态的时间并在许可时间内忽略差异值下降的方法。

接着，用图3描述根据本发明的图像处理设备20。

在图1所示的图像处理设备10中，已经描述通过当前时间图像与保存的先前数量帧的先前图像组之间的差异处理而检测运动目标的方法。然而，当保存先前数量的帧的图像时，最早帧和当前帧之间的时间差异变大。相应地，由于照明改变或天气改变，全部或部分图像的亮度改变。当对此图像执行帧间差异处理时，因光亮度改变而引起的光亮度变化被误检测为运动目标。在象室外那样具有亮度变化等的环境中，必需建立防止此错误检测的单元。

从而，在图3所示的根据本发明的图像处理设备20中，在差异处理单元12之前设置光亮度校正处理单元21，作为用于防止错误检测的单元，并且，图像处理设备20包括图像运动目标检测单元24，其中，图像运动目标检测单元24通过光亮度校正处理单元21校正在当前时间拍摄的图像与先前图像组的光亮度，并接着通过差异处理单元12计算差异，由计数单元13计算连续性，并输出结果。

更具体地，在图像处理设备20中，在图像运动目标检测单元24内设置光亮度校正处理单元21，由此提供以下对因光亮度改变而引起的光亮度变化的对策。

首先，描述在整个图像发生亮度变化时的对策。这里，执行用于除去所述帧之间光亮度因亮度改变而引起的不均匀性的处理。例如，这通过使所述帧之间的光亮度平均值一致而实现。首先，对每个图像计算整个图像的光亮度平均值，并且，执行光亮度转换，从而，在进行帧间差异处理之前，光亮度平均值一致。接着，以当前图像的光亮度平均值作为基准值，计算先前帧的光亮度平均值与基准值之间的差异，并且，把计算的差异增加到先前帧中的每个象素上。因而，执行以上处理，由此使整个或部分图像的光亮度平均值一致，可消除因整个图像亮度的变化而导致的错误检测，其中，所述整个图像亮度的变化是因天气改变或照明改变而引起的。

其次，描述在部分图像中发生亮度变化时的情形。具体地，描述发生亮度变化的部分未知的情形。在该部分已知的情况下，对整个图像发生亮度变化的情形的对策可应用于已知部分。

如果发生亮度变化的部分未知，由于难以在帧间差异处理之前校正亮度，因此，首先执行帧间差异处理。在此情况下，亮度变化的部分被错误检测为运动目标区域。接着，对由帧间差异处理检测的所有运动目标区域执行正态相关处理。正态相关处理由以下公式计算：

$\mathrm{Ni}=\mathrm{\Σ}(\mathrm{Ici}\×\mathrm{Ipi})\÷\{\sqrt{\mathrm{\Σ}(\mathrm{Ici}\×\mathrm{Ici})}\×\sqrt{\mathrm{\Σ}(\mathrm{Ipi}\×\mathrm{Ipi})}\}---\left(1\right)$

在公式(1)中，Ni是由帧间差异处理检测的第i个运动目标区域的正态相关值，Ici是属于当前图像中第i个运动目标区域的象素的光亮度值，Ipi是在与先前图像中第i个运动目标区域相同的位置上的象素的光亮度值。

在正态相关处理中，由于对先前图像中与当前图像中运动目标区域相同的区域执行光亮度值变化量的相关，因此，它不受整个区域亮度变化的影响。从而，当在运动目标区域中真存在目标时，光亮度值变化量的相关就较低。相反，当该区域是运动目标区域中亮度改变的误检区域时，光亮度值变化量的相关就较高。从而，对帧间差异处理所检测的全部区域的正态相关值进行计算，并且，通过阈值处理来判断目标是否真正存在。可以消除在部分图像中发生亮度变化时运动目标区域的错误检测。

接着，用图4描述根据本发明的图像处理设备30。

在图1所示的图像处理设备10中，已经描述通过当前时间图像与保存的先前数量帧的先前图像组之间的差异处理而检测运动目标的技术。然而，当在图像拍摄时拍摄位置因照相机的模糊而移动时，图像各个坐标中的拍摄点变得不同。从而，当在发生模糊的状态下在所拍摄图像之间执行差异处理时，实际上不移动的区域会被错误检测为运动区域。从而，必需在执行帧间差异处理之前校正帧间模糊。

接着，图4所示的根据本发明的图像处理设备30在差异处理单元12之前设置模糊校正处理单元31，并且，图像处理设备30包括图像运动目标检测单元34，其中，图像运动目标检测单元34通过模糊校正处理单元31校正在当前时间拍摄的图像与先前图像组的光亮度，接着通过差异处理单元12计算差异，由计数单元13计算连续性，并输出结果。

更具体地，在图像处理设备30中，在图像运动目标检测单元34内设置模糊校正处理单元31，并且，对因模糊而引起的光亮度变化采取以下对策。

例如，在检测模糊时，通过使用在日本专利申请特开平出版物6-169424(专利文件2)中公开的技术，通过水平加速度传感器和垂直加速度传感器检测水平轴方向和垂直轴方向上的角速度，并进一步通过角度传感器检测与水平轴的旋转方向和垂直轴的旋转方向中的旋转角信息。利用此技术检测的模糊而校正帧间模糊。执行在已校正模糊的帧之间的差异处理，并且，因而，可防止实际上不移动的区域被错误检测为运动区域。

因照相机运动，如摇摄、倾斜或平行移动而引起的图像变化可以说与因照相机模糊而引起的拍摄位置变化相似。从而，可通过使用模糊校正功能来检测在由移动照相机拍摄的图像中的运动目标区域。

接着，用图5描述根据本发明的图像处理设备40。

在图1所示的图像处理设备10中，已经描述通过当前时间图像与保存的先前数量帧的先前图像组之间的差异处理而检测运动目标的技术。然而，帧间差异处理不判断目标的出现与否。也就是说，当在帧间差异处理中有一个移动的目标时，检测目标和剩余图像的两个区域。例如，当在先前图像中的点A存在的目标在当前时间移动到点B时，该目标在先前时间在点B上不存在，并且，该目标在当前时间才存在。相应地，当执行帧间差异处理时，检测运动目标区域。另一方面，在点A上，该目标在先前时间存在，并且，该目标在当前时间不存在。从而，相似地检测运动目标区域。

接着，在图5所示的根据本发明的图像处理设备40中，在图1所示的图像处理设备10中进一步设置背景图像存储设备41、背景差异处理单元42和逻辑积处理单元43，由此删除剩余图像，结合使用更新类型的背景差异处理。

在使用帧间差异处理和背景差异处理的方法中，例如，使用在专利文件1中公开的监视设备中的动态背景更新方法。在此方法中，在当前时间输入的图像中不出现目标的部分被重新登记为背景图像，并且，总是更新背景图像。在图像处理设备40中，通过逻辑积处理单元43计算图像运动目标检测单元14的帧间差异处理所获得的运动区域检测结果与由背景差异处理单元42所获得的背景图像差异产生的运动区域检测结果的逻辑积，因而，可获得没有运动目标剩余图像的检测结果。

顺便提一下，背景图像存储设备41可更新除图像数据中运动目标区域之外的区域，作为新背景，其中，在所述图像数据中以此方式删除剩余图像。

本领域中技术人员应该理解，只要在后附权利要求或其等效物的范围内，根据设计要求和其它因素，可作出各种修改、组合、子组合和替换。

Claims (6)

1.一种图像处理设备，包括：

基准图像存储单元，所述基准图像存储单元用于储存视频输入单元拍摄的多个先前图像数据，作为基准图像数据；以及

图像运动目标检测单元，所述图像运动目标检测单元用于在视频输入单元拍摄的图像数据与基准图像存储单元储存的多个基准图像数据中的每一个之间检测象素差异或小区域差异，并且基于差异的连续性或出现概率而检测图像数据中的运动目标。

2.如权利要求1所述的图像处理设备，进一步包括图像校正单元，所述图像校正单元通过使用图像数据和储存在基准图像存储单元中的基准图像数据而校正图像的模糊和光亮度，并且通过使用图像校正单元校正的图像而提取目标区域。

3.如权利要求1所述的图像处理设备，其中，图像校正单元检测图像数据与基准图像存储单元储存的多个基准图像数据中的每一个之间的模糊，并且执行模糊校正。

4.如权利要求1所述的图像处理设备，其中，图像校正单元在检测图像数据与基准图像存储单元储存的多个基准图像数据中的每一个之间的模糊时，检测在时间上连续的两个基准图像数据之间的模糊，通过累积模糊而设定模糊校正的基准，通过从所设定模糊校正的基准值执行微小部分的模糊检测而检测模糊，由此执行模糊校正。

5.如权利要求1所述的图像处理设备，进一步包括：

背景图像存储单元，所述背景图像存储单元储存通过事先拍摄相同场景而获得的另一图像，作为背景图像数据；

背景差异处理单元，所述背景差异处理单元检测视频输入单元拍摄的图像数据与背景图像存储单元储存的背景图像数据之间的差异；以及

背景差异单元，所述背景差异单元比较图像运动目标检测单元检测的运动目标区域与背景图像存储单元储存的背景图像数据，并删除在图像运动目标检测单元检测运动目标时产生的剩余图像。

6.一种图像处理方法，包括以下步骤：

储存视频输入单元拍摄的多个先前图像数据，作为基准图像数据；以及

在视频输入单元拍摄的图像数据与储存的多个基准图像数据中的每一个之间检测象素差异或小区域差异，并且基于差异的连续性或出现概率而检测图像数据中的运动目标。

Images