CN101035196A - 变动区域检测装置及其方法 - Google Patents

Abstract

本发明提供一种变动区域检测装置及其方法，该变动区域检测装置具有第1变动检测部、第2变动检测部、综合这两个变动检测结果的变动区域综合部，第1变动检测部使用学习图像的各像素与其周边像素的亮度差的亮度差代码以及输入图像的亮度差代码，判定输入图像中的变动，第2变动检测部根据从学习图像的各像素开始位于多个方向上的、与所述各像素具有规定亮度差的参照像素与输入图像的注目像素的亮度差是否保存在规定以内，来检测变动。

Description

变动区域检测装置及其方法

技术领域

本发明涉及一种变动区域检测装置及其方法，通过比较所学习的通常时的图像与现在的输入图像，来抽取产生变动的区域。

背景技术

作为现有的变动区域检测技术，例举以下的技术。

首先有背景差分方法，根据所学习的平均背景图像与输入图像的亮度差，检测变动区域(参照Kentaro Toyama，John Krumm，BarryBrumitt，and Brian Meyrrs.Wallflower：Principles and practice ofbackground maintenance.Proceedings of the 7^th IEEE InternationalConference on Computer Vision(ICCV 1999)，pp.255-261，September1999.)。

还有周边增量代码相关法，根据所学习的背景纹理与输入图像纹理的差，检测变动区域(参照佐藤雄隆、金子俊一、五十岚悟，基于周边增量代码相关图像的鲁棒物体检测和分离，电子信息通信学会论文集，Vol.J84-D-II，No.12，pp.2585-2594，December 2001，下面称为“佐藤文献1”)。

还有BPRRC(Bi-polar radial reach correlation，双极半径可达相关)法，沿8个方向搜索与注目图像的亮度差正负为规定以上的参照像素，根据该亮度差的正负是否也由输入图像保存，来抽取变动区域(参照佐藤雄隆、坂上胜彦，基于Bi-polar radial reach correlation的鲁棒背景差分，信学技报PRMU2004-224，PP.73-78，March 2005，下面称为“佐藤文献2”)。

在背景差分方法中，存在将由于照明变动引起的整体亮度变化误检测为由于人物等引起的变动的问题。

另外，周边增量代码相关法在注目图像与周边的参照像素的亮度差小、亮度差因照明变动或噪声而容易反转的情况下，存在误检测多的问题。

并且，BPRRC法由于仅检测注目图像与参照像素的亮度差反转这样的大的变动，所以存在容易产生漏检测的问题。

发明内容

因此，本发明鉴于上述问题，提供一种变动区域检测装置及其方法，可执行对照明变动或噪声的耐受性强、抑制了过剩检测与漏检测的变动区域抽取。

本发明是一种用于通过比较学习图像与输入图像来检测其变动区域的装置，具备：第1亮度差编码部，存储第1亮度差代码，该第1亮度差代码通过用分别表示比阈值TH1小的情况、为阈值TH1以上阈值TH2以下的情况、以及比阈值TH2大的情况的3值亮度差代码，对所述学习图像中的第1注目像素与其周边的第1周边像素中的每一个的亮度差进行编码而得到；第2亮度差编码部，通过用分别表示比阈值TH1小的情况、为阈值TH1以上阈值TH2以下的情况、以及比阈值TH2大的情况的3值亮度差代码，对所述输入图像中对应于所述第1注目像素的第2注目像素与其周边的第2周边像素中的每一个的亮度差进行编码，生成第2亮度差代码；第1变动判定部，根据所述第1亮度差代码与所述第2亮度差代码之差，判定所述输入图像的所述第2周边像素中的每一个有无变动，由此求出第1变动结果；第1参照像素搜索部，从所述学习图像中的所述第1注目像素开始，向多个方向搜索与所述第1注目像素的亮度差为阈值TH3以下的像素和与所述第1注目像素的亮度差为阈值TH4以上的像素，并作为学习参照像素分别存储；第2变动判定部，根据所述学习图像中的所述第1注目像素与所述学习参照像素的亮度差、和所述输入图像中的所述第2注目像素与所述输入图像中对应于所述学习参照像素的像素、即输入参照像素的亮度差是否有变化，来判定所述输入图像的所述第2周边像素中的每一个有无变动，由此作为第2变动结果求出；和综合部，根据所述第1变动结果与所述第2变动结果，判断所述输入图像中的所述第2周边像素中的每一个有无变动。

根据本发明，可执行对照明变动或噪声的耐受性强、抑制了过剩检测与漏检测的变动区域抽取。

附图说明

图1是表示本发明一个实施方式的变动区域检测装置的框图。

图2是同样学习处理的流程示例。

图3是同样检测处理的流程示例。

图4是注目像素与周边像素。

图5是参照像素的搜索。

图6是说明基于3值编码的稳定化的图。

具体实施方式

下面，参照图1-图6来说明本发明一个实施方式的变动区域检测装置。

(1)变动区域检测装置的构成

图1是表示本实施方式的变动区域检测装置的整体构成的框图。

变动区域检测装置包括第1变动检测部110、第2变动检测部111、综合这两个变动检测结果的变动区域综合部107。

第1变动检测部110包括判定注目像素与周边像素的亮度差并进行编码的注目像素·周边像素亮度差编码部101、存储学习图像中的亮度差代码的亮度差代码存储部102、以及根据学习图像与输入图像中的亮度差代码来判定输入图像中的变动的变动判定部103。

第2变动检测部111包括在学习图像中从注目像素开始搜索多个方向上的具有亮度差的像素的参照像素搜索部104、存储该参照像素的位置的参照像素位置存储部105、以及根据在输入图像中注目像素与所述参照像素的亮度差是否保存在规定以内来检测变动的变动判定部106。

另外，该变动区域检测装置例如也可以通过将通用的计算机装置用作基本硬件来实现。即，第1变动检测部110、第2变动检测部111、变动区域综合部107可以通过使搭载于上述计算机装置上的处理器执行程序来实现。

(2)学习处理

图2是学习处理流程的概要图。下面，根据图2来说明学习处理。在执行该学习处理的情况下，将作为检测对象的输入图像与要比较的学习图像分别从摄像机等图像输入装置输入到第1变动检测部110与第2变动检测部111。作为该学习图像，例如是没有侵入者的状态的房间的背景图像。

首先，在步骤S101中，注目像素·周边像素亮度差编码部101根据学习图像中的注目像素与周边像素的亮度差来进行编码。

当将注目像素的坐标设为(x，y)、将其亮度值设为I(x，y)时，只要周边像素例如如图4所示是从注目像素偏离2个像素的坐标(x+2，y-2)、(x+2，y-1)、...(x+1，y-2)的像素即可。注目像素·周边像素亮度差编码部101对于16个周边像素中的每一个，当与注目像素的亮度差不足TH1时编码为-1，当与注目像素的亮度差为TH1以上、TH2以下时编码为0，当与注目像素的亮度差比TH2大时编码为1，从而成为bi(x，y)(其中，i＝0、...、15)。



然后，在步骤S102中，亮度差代码存储部102存储这些亮度差代码bi(x，y)。在有多张学习图像的情况下，只要存储从各个图像得到的亮度差代码bi(x，y)的平均值即可。这里，对学习图像的全部像素执行对注目像素I(x，y)的步骤S101与S102的处理。

然后，在步骤S103中，参照像素搜索部104与佐藤文献2的方法同样，执行学习图像中的参照像素的搜索。从注目像素I(x，y)开始，对多个方向(例如8个方向)，搜索与注目像素具有阈值TH3以下的亮度差的参照像素ci^-(x，y)(其中，i＝0、...、7)、和具有阈值TH4以上的亮度差的参照像素ci⁺(x，y)(其中，i＝0、...、7)(参照图5)。

接着，在步骤S104中，参照像素位置存储部105存储这些参照像素ci^-(x，y)、ci⁺(x，y)的位置。这里，对学习图像的全部像素执行对注目像素I(x，y)的步骤S103与S104的处理。

(3)检测处理

图3是检测处理流程的概要图。下面，根据图3来说明检测的处理。在执行该检测处理的情况下，将作为检测对象的输入图像从摄像机等图像输入装置分别输入到第1变动检测部110与第2变动检测部111。作为该输入图像，例如是当前状态的房间的图像，作为检测对象，是进入该房间的侵入者。

首先，在步骤S201中，注目像素·周边像素亮度差编码部101根据输入图像中的注目像素与周边像素的亮度差进行编码。编码处理执行与学习处理一样的处理。

接着，在步骤S202中，变动判定部103针对注目像素I(x，y)比较在步骤S201中得到的代码biⁱⁿ(x，y)(其中，i＝0、...、15)、与亮度差代码存储部102存储的学习图像的代码bi^bg(x，y)(其中，i＝0、...、15)。如果这些代码的不一致度B(x，y)的合计为某个阈值THb以上，则注目像素I(x，y)为变动区域。

$B(x,y)=\underset{i=0}{\overset{15}{\mathrm{\Σ}}}|b_i^{\mathrm{in}}(x,y)-b_i^{\mathrm{bg}}(x,y)|$

接着，在步骤S203中，变动判定部106根据参照像素位置存储部105存储的参照像素位置，抽取输入图像中的注目像素与参照像素的亮度差。

接着，在步骤S204中，如果与参照像素ci^-(x，y)(其中，i＝0、...、7)的亮度差为TH5以上、或者与ci⁺(x，y)(其中，i＝0、...、7)的亮度差为TH6以下这样的组的数量C(x，y)为某个阈值THc以上，则注目像素I(x，y)为变动区域(步骤S204)。

$C(x,y)=\underset{i=0}{\overset{7}{\mathrm{\Σ}}}{C}_i^{+}(x,y)+\underset{i=0}{\overset{7}{\mathrm{\Σ}}}{C}_i^{-}(x,y)$

在公式3的第2式中，ci^-(x，y)＝1是在学习图像中ci^-(x，y)-I(x，y)＜＝TH3、而在输入图像中ci^-(x，y)-I(x，y)＝＞TH5的情况，由于亮度差的关系变化大，所以判定为有变动。例如在TH3＝TH5＝0的情况下，利用公式3的第2式对有ci^-(x，y)与I(x，y)的亮度差反转这样的大变动的组进行计数。

接着，在步骤S205中，变动区域综合部107综合在步骤S202中得到的结果Result_b(x，y)与在步骤S204中得到的结果Result_c(x，y)。例如，可以为

(4)两个变动检测部110、111的效果

由于第1变动检测部110根据注目像素与周边像素的亮度差、即纹理(伴随亮度变化的花纹)来检测变动，所以在学习图像或输入图像中的至少一方有纹理的情况下，检测性能高，但在学习图像与输入图像两者纹理都少的情况下，产生很多漏检测。另一方面，由于第2变动检测部111沿8个方向搜索有亮度差的参照像素，所以即使在学习图像与输入图像两者纹理都少的情况下，也可通过与较远的参照像素相比较，来维持检测性能，但由于仅能检测亮度差反转这样的大变动，所以容易产生漏检测。即，在单独使用两种手段的情况下，存在漏检测容易增大的问题。

但是，第1变动检测部110在学习图像或输入图像中的至少一方有纹理的情况下，检测性能高，第2变动检测部111在学习图像与输入图像两者纹理都少的情况下，得到较高的检测性能，所以两种手段的互补性高。即，一方可检测另一方无法检测的区域。另外，由于两种手段的过剩检测(将无变动的区域检测为变动)都少，所以即使组合两者，过剩检测也难以增大。即，通过综合两者，具有的优点是，可在抑制过剩检测的同时，抑制漏检测。

(5)基于3值编码的稳定化的效果

使用图6示出在步骤S101、S201中利用注目像素·周边像素亮度差编码部101进行编码时，不是象现有的周边增量代码相关法(参照佐藤文献1)那样用0/1来实现2值化，而是如本实施方式所示通过3值化，使得对噪声等变动的耐受性强。

在输入图像如图6(a-1)所示的情况下，通过观察中央的注目像素与其周边像素(这里考虑邻接的周边8个像素)的大小关系，在周边增量代码相关中，如(b-1)所示进行0/1编码。

另一方面，在本实施方式的方法中，利用3值编码，如(c-1)所示进行编码。这里，在向图像施加噪声等的微小变动后注目像素的亮度变动、从而形成(a-2)所示的输入的情况下，注目像素与周边像素的大小关系反转，所以在周边增量代码相关中变成如(b-2)所示。

在(b-2)中阴影线所示的区域中代码发生变化，所以判定为本来应该不产生变动的区域产生了变动(由于人物的侵入等，产生变动区域)。另一方面，在本实施方式的方法中，如(c-2)所示，编码结果不产生变动，从而不产生过剩检测。

即，在周边增量代码相关中，如图6所示，在亮度差接近0/1的判定基准(亮度差接近0)的像素之间，由于噪声等的微小变动代码容易反转((b-2)的阴影线区域)，而由于本实施方式的方法稳定分配代码0，所以对变动的耐受性强。

(6)变更例

本发明不限于上述各实施方式，只要不脱离其主旨，可进行各种变更。

例如，在变动区域综合部107中，也可以通过进行规定的加权来合计Result_b(x，y)与Result_c(x，y)。然后，若其合计值超过基准值，则可以判定为有变动。

本实施方式例如可用于在图像监视中检测侵入者的区域，或者为了进行动作捕捉、姿势识别而检测人物的区域。

Claims (9)

1、一种用于通过比较学习图像与输入图像来检测其变动区域的装置，其特征在于，具备：

第1亮度差编码部，存储第1亮度差代码，该第1亮度差代码通过用分别表示比阈值TH1小的情况、为阈值TH1以上阈值TH2以下的情况、以及比阈值TH2大的情况的3值亮度差代码，对所述学习图像中的第1注目像素与其周边的第1周边像素中的每一个的亮度差进行编码而得到；

第2亮度差编码部，通过用分别表示比阈值TH1小的情况、为阈值TH1以上阈值TH2以下的情况、以及比阈值TH2大的情况的3值亮度差代码，对所述输入图像中对应于所述第1注目像素的第2注目像素与其周边的第2周边像素中的每一个的亮度差进行编码，生成第2亮度差代码；

第1变动判定部，根据所述第1亮度差代码与所述第2亮度差代码之差，判定所述输入图像的所述第2周边像素中的每一个有无变动，由此求出第1变动结果；

第1参照像素搜索部，从所述学习图像中的所述第1注目像素开始，向多个方向搜索与所述第1注目像素的亮度差为阈值TH3以下的像素和与所述第1注目像素的亮度差为阈值TH4以上的像素，并作为学习参照像素分别存储；

第2变动判定部，根据所述学习图像中的所述第1注目像素与所述学习参照像素的亮度差、和所述输入图像中的所述第2注目像素与所述输入图像中对应于所述学习参照像素的像素、即输入参照像素的亮度差是否有变化，来判定所述输入图像的所述第2周边像素中的每一个有无变动，由此作为第2变动结果求出；和

综合部，根据所述第1变动结果与所述第2变动结果，判断所述输入图像中的所述第2周边像素中的每一个有无变动。

2、根据权利要求1所述的装置，其特征在于：

所述综合部在所述第1变动结果与所述第2变动结果中的任意一方有变动时，判断为所述周边像素有变动。

3、根据权利要求1所述的装置，其特征在于：

所述综合部通过对所述第1变动结果进行第1加权、对所述第2变动结果进行第2加权，来进行合计，若为规定值以上，则判断为所述周边像素有变动。

4、一种用于通过比较学习图像与输入图像来检测其变动区域的方法，其特征在于：

存储第1亮度差代码，该第1亮度差代码通过用分别表示比阈值TH1小的情况、为阈值TH1以上阈值TH2以下的情况、以及比阈值TH2大的情况的3值亮度差代码，对所述学习图像中的第1注目像素与其周边的第1周边像素中的每一个的亮度差进行编码而得到；

通过用分别表示比阈值TH1小的情况、为阈值TH1以上阈值TH2以下的情况、以及比阈值TH2大的情况的3值亮度差代码，对所述输入图像中对应于所述第1注目像素的第2注目像素与其周边的第2周边像素中的每一个的亮度差进行编码，生成第2亮度差代码；

根据所述第1亮度差代码与所述第2亮度差代码之差，判定所述输入图像的所述第2周边像素中的每一个有无变动，由此求出第1变动结果；

从所述学习图像中的所述第1注目像素开始，向多个方向搜索与所述第1注目像素的亮度差为阈值TH3以下的像素和与所述第1注目像素的亮度差为阈值TH4以上的像素，并作为学习参照像素分别存储；

根据所述学习图像中的所述第1注目像素与所述学习参照像素的亮度差、和所述输入图像中的所述第2注目像素与所述输入图像中对应于所述学习参照像素的像素、即输入参照像素的亮度差是否有变化，来判定所述输入图像的所述第2周边像素中的每一个有无变动，由此作为第2变动结果求出；以及

根据所述第1变动结果与所述第2变动结果，判断所述输入图像中的所述第2周边像素中的每一个有无变动。

5、根据权利要求4所述的方法，其特征在于：

在所述第1变动结果与所述第2变动结果中的任意一方有变动时，判断为所述周边像素有变动。

6、根据权利要求4所述的方法，其特征在于：

通过对所述第1变动结果进行第1加权、对所述第2变动结果进行第2加权，来进行合计，若为规定值以上，则判断为所述周边像素有变动。

7、一种记录媒体，记录了用于使计算机执行通过比较学习图像与输入图像来检测其变动区域的处理的程序，其特征在于，所述程序实现以下功能：

第1亮度差编码功能，存储第1亮度差代码，该第1亮度差代码通过用分别表示比阈值TH1小的情况、为阈值TH1以上阈值TH2以下的情况、以及比阈值TH2大的情况的3值亮度差代码，对所述学习图像中的第1注目像素与其周边的第1周边像素中的每一个的亮度差进行编码而得到；

第2亮度差编码功能，通过用分别表示比阈值TH1小的情况、为阈值TH1以上阈值TH2以下的情况、以及比阈值TH2大的情况的3值亮度差代码，对所述输入图像中对应于所述第1注目像素的第2注目像素与其周边的第2周边像素中的每一个的亮度差进行编码，生成第2亮度差代码；

第1变动判定功能，根据所述第1亮度差代码与所述第2亮度差代码之差，判定所述输入图像的所述第2周边像素中的每一个有无变动，由此求出第1变动结果；

第1参照像素搜索功能，从所述学习图像中的所述第1注目像素开始，向多个方向搜索与所述第1注目像素的亮度差为阈值TH3以下的像素和与所述第1注目像素的亮度差为阈值TH4以上的像素，并作为学习参照像素分别存储；

第2变动判定功能，根据所述学习图像中的所述第1注目像素与所述学习参照像素的亮度差、和所述输入图像中的所述第2注目像素与所述输入图像中对应于所述学习参照像素的像素、即输入参照像素的亮度差是否有变化，来判定所述输入图像的所述第2周边像素中的每一个有无变动，由此作为第2变动结果求出；和

综合功能，根据所述第1变动结果与所述第2变动结果，判断所述输入图像中的所述第2周边像素中的每一个有无变动。

8、根据权利要求7所述的记录媒体，其特征在于：

所述综合功能在所述第1变动结果与所述第2变动结果中的任意一方有变动时，判断为所述周边像素有变动。

9、根据权利要求7所述的记录媒体，其特征在于：

所述综合功能通过对所述第1变动结果进行第1加权、对所述第2变动结果进行第2加权，来进行合计，若为规定值以上，则判断为所述周边像素有变动。

Images