CN101137046A - 图像处理装置、图像处理方法和图像处理程序 - Google Patents

Abstract

公开了一种图像处理装置、图像处理方法和图像处理程序。图像处理装置包括：图像保存部件，被配置用于存储输入图像；图像分割部件，被配置用于将存储在图像保存部件中的输入图像分割成多个具有相同大小和相同形状的图像部分；特征量计算部件，被配置用于计算由图像分割部件生成的每个图像部分的特征量；差值计算部件，被配置用于执行差值计算处理以及判断处理，差值计算处理计算作为由图像分割部件生成的图像部分中的每个单独的图像部分的特征量的由特征量计算部件计算得到的特征量与预先确定的值之间的差值，判断处理基于该差值，产生关于单独的图像部分是否是输入图像的背景的一部分的判断结果。

Description

图像处理装置、图像处理方法和图像处理程序

技术领域

本发明涉及图像处理装置、图像处理方法和图像处理程序。更具体地说，本发明涉及适用于从利用监视相机对预先确定的被监视场所进行拍摄而获得的图像中检测出不明物和/或可疑个体的技术。

背景技术

相关技术中存在一种用于通过利用监视相机对预先确定的对象进行监视的监视系统。在该监视系统中，被监视对象是通过将从利用监视相机的拍摄操作获得的图像可视地辨认为被监视对象的图像而被监视的。

然而，随着要被监视的场所的数量的增加，监视人员使用这样的监视相机连续执行24小时的监视操作是很困难的。另外，为了缩短操作时间，该监视系统还被强制将有限数量的图像存储在被连接到该监视相机的视频记录器中。

因此，有必要提供具有用于从输入图像检测出不明物和/或可疑个体的技术的监视系统。

例如，在银行ATM或类似机器上，如果能够检测出人体的传感器是可用的，则将会相对容易地满足上述需求。

然而，这样的传感器可能不能用于从诸如海滨的远距离景色中检测出不明物和/或可疑个体。

发明内容

在过去的许多情形中，采用了日本专利申请早期公开No.2006-14215中被公开的正如作为在上述情形中将当前图像与紧邻该当前图像的在前图像的进行比较的技术的监视技术。

当物理实体进入被监视的场所时，视频数据中由该物理实体组成的图像部分的亮度(brightness)改变成与该场所的亮度级别不同的亮度级别。因此，通过将图像的其余部分具有辉度(luminance)差异的区域检测为不同区域，可以检测出该物理实体。然而，在例如大海、沙漠、草原或天空等景色的情形下，除了作为被检测的对象的物理实体之外的对象也会移动。除了该物理实体之外的对象的示例是大海的海水、沙漠的沙子、草原的草以及天空中的云。因此，相关技术中的技术存在这样的问题：当前图像与紧邻该当前图像的在前图像的比较结果会导致其它对象被错误的检测为移动的物理实体或类似对象。

作为该问题的解决方法，例如日本专利申请早期公开No.Hei 10-328226的文献公开了相关技术中的另一种技术。

根据在日本专利申请早期公开No.Hei 10-328226中公开的技术，在拍摄操作中拍摄到的当前图像与紧邻该当前图像的在前图像之间的差值被创建，并且通过执行阈值比较过程被转换成二进制数据。同时，为了试图减少由于对背景图像中存在的树的摇动和/或水面的波动的检测而作出的错误检测的数量，随着被作为参考的过去的差值的积累结果而改变阈值的背景图像被生成。

然而，根据该技术，以下情形是非常有可能的：其中，对于一般由树的摇动而引起的较大的辉度改变，域值变成非常大的值。在这样的情形中，担心由侵入者或类似对象作出的作为重要侵入的侵入不利地没有被检测到。

根据本发明的一个实施例，希望提供一种能够从在拍摄操作中通过利用监视相机拍摄到的图像中稳定地检测出由可疑个体或不明物作出的侵入的用于监视如下场所的图像处理装置，上述场所是主要由自然现象引起的波动发生的场所，如在拍摄操作中拍摄到的作为大海的海水、沙漠的沙子、草原的草和和天空中的云的图片的图像的波动。

根据本发明的一个实施例，图像处理装置一旦存储输入图像，就将该图像分割成具有相同大小和相同形状的图像部分。随后，图像处理装置为每个图像部分计算特征量。然后，每个计算得到的特征量与预先确定的值之间的差值被计算出，并且用于产生关于与所计算得到的量相关的图像部分是否是背景的判断结果。之后，以该判断结果为基础，关于存在/不存在不明物或类似对象的信息被输出。

本发明的发明人已经确定：用于在拍摄移动的对象(正如诸如大海等的自然景色的情形)中彼此区分背景和不明物或类似对象，而遵从预先确定的规则的方法是不合适的。该方法基于相关技术中的技术并且用于通过比较当前图像和紧邻该当前图像的在前图像来区分背景和不明物或类似对象。于是，本发明的发明人找寻到一种用于仅利用输入图像来彼此区分背景和不明物或类似对象技术。结果，根据本发明的实施例的图像处理装置将图像分割成具有相同大小和相同形状的图像部分。随后，图像处理装置为每个图像部分计算出特征量。然后，每个计算得到的量和预先确定的值之间的差值被计算出。

例如，假定整个图像都是背景。在这样的情形下，针对作为分割图像的结果而获得的每个图像部分计算得到的特征量从一个区域到另一个区域几乎不变。根据基于该技术思想的图像处理方法，即使图像会由于自然现象(正如大海、天空和类似景色的图像的情形)而波动，不明物或类似对象也可以从具有恒定特征量的背景和诸如大海和天空等的波动的背景中被区分出来。

根据本发明的实施例，提供了一种作为用于监视呈现出恒定的波动的背景(如特别是大海、沙漠、草原或天空的情形)的监视装置的图像处理装置。该图像处理装置能够辨认出背景，而不错误地将诸如大海的波浪以及天空中的云等的自然现象辨认为不明物或类似对象。

每个实施例都展现了从一个自然景色或类似景色中检测出不明物而不用将输入图像分割成多个水平图像部分的高能力。

然而，在从远距离位置处拍摄得到的图像作为前述景色的图像的情形下，一个输入图像不能总保证这样一种结果：该结果可以被说成是对不明物的检测的满意的结果。因此，为了解决该问题，在从远距离位置处拍摄的图像中检测不明物的过程中，在被执行下面要被描述的多种判断处理之前的预处理中，输入图像被分割成多个水平图像部分。然后，每个水平图像部分被用作判断处理执行中的图像。预处理有助于改进从远距离位置处拍摄得到的图像中检测不明物。

附图说明

在参考附图给出对优选实施例的详细描述之后，本发明的这些和其它的特征将变得更为清楚，其中：

图1A是主要示出根据本发明的第一到第五实施例的整个图像处理装置中每种的实际硬件的框图；

图1B是示出图1A中所示的整个图像处理装置的主要功能部件的框图；

图2是示出根据本发明的第一实施例的整个图像处理装置的框图；

图3A是示出利用根据第一实施例的图像处理装置拍摄到的大海、天空和作为不明物的船的图像的典型图像的示图；

图3B是示出图3A中所示的图像的背景的示图；

图3C是作为分割图3A中所示的图像的结果而得到的细致图像部分的示图；

图4是描绘在由根据第一实施例的图像处理装置执行的实际操作之前的预处理的流程图；

图5是描绘由根据第一实施例的图像处理装置执行的实际操作的流程图的第一部分；

图6是描述由根据第一实施例的图像处理装置执行的实际操作的流程图的第二部分；

图7A是示出在作为计算特征量的一种方法而被采用的颜色直方图技术的执行中，包括要从图像中被选择和指定的背景样本的输入静止图像的示图；

图7B是示出选自图7A中所示的输入静止图像的背景样本的示图；

图7C是作为颜色直方图技术的结果而获得的所有颜色分量的矩阵的示图；

图8A是示出作为计算特征量的另一种方法的频率分析技术被应用到其上的输入静止图像的一部分的示图；

图8B是示出被放大的作为图8A中所示的图像部分的背景的波浪的示图；

图8C是示出通过采用频率分析技术产生的作为示出了绘制组成输入静止图像的像素的辉度级别的结果的曲线图的典型曲线图的示图；

图8D是示出通过采用频率分析技术产生的作为描绘辉度级别和频率之间的关系的曲线图的典型曲线图的示图；

图9A是示出作为计算特征量的另一种方法的同时发生概率矩阵技术被应用到其上的输入静止图像的两个任意像素P1和P2的示图；

图9B是示出在相对位置函数δ被表达成δ(1，0°)的情形中作为与像素P1相邻的下一个像素的像素P2的示图；

图9C是示出在相对位置函数δ被表达成δ(1，90°)的情形中作为与像素P1相邻的下一个像素的像素P2的示图；

图10A是示出具有16(＝4×4)个具有4个辉度级别(即，辉度级别0到3)的像素的图像的数据的示图；

图10B示出同时发生概率矩阵，该矩阵是具有16(＝4×4)个具有4个辉度级别的像素的正方形矩阵；

图11是示出根据本发明的第二实施例的整个图像处理装置的框图；

图12A是示出通过利用根据第二实施例的图像处理装置拍摄到的大海和作为不明物的船的图像的典型图像的示图；

图12B示出用于保存由平均值保存部件计算得到的作为特征量S(1)和S(2)的平均值的值的平均值保存部件，所述特征量S(1)和S(2)的每一个是作为图12C中的图像部分中的一个图像部分的特征量而由特征量计算部件找到的。

图12C是示出作为分割图12A中所示的图像的结果而得到的图像部分的示图；

图13示出描绘由根据第二实施例的图像处理装置执行的实际操作的流程图的第一部分；

图14示出描绘由根据第二实施例的图像处理装置执行的实际操作的流程图的第二部分；

图15A是示出根据本发明的第三实施例的整个图像处理装置的框图；

图15B是示出图15A中所示的图像处理装置中采用的聚类(clustering)处理部件的内部配置的框图；

图16A是示出利用根据第三实施例的图像处理装置拍摄到的作为大海和被认为是不明物的船的图像的典型图像的示图；

图16B是在根据第三实施例将两个图像部分放入一个组的过程中所参考的示图；

图16C是在对根据第三实施例将四个图像部分放入一个组的过程的描述中所参考的示图；

图16D是示出在根据第三实施例将多个图像部分放入一个组的过程之后留下的图像部分的示图；

图17是示出描绘由根据本发明的第四实施例的图像处理装置执行的实际操作的流程图；

图18A是示出利用根据第四实施例的图像处理装置拍摄到的作为大海和被认为是不明物的船的图像的典型图像的示图；

图18B是示出作为分割图18A中所示的图像的结果而得到的水平图像部分的示图；

图18C是示出根据本发明的第四实施例的整个图像处理装置的框图；

图19是示出根据本发明的第五实施例的整个图像处理装置的框图；

图20A是示出包括存在于图像中的特定位置处的船的图像的示图；

图20B是示出包括存在于与图像中的特定位置不同的位置处的船的图像的示图；

图21示出描绘由根据本发明的第五实施例的图像处理装置执行的处理的流程图；

图22A是示出利用根据第五实施例的图像处理装置拍摄到的作为大海和被认为是不明物的船的图像的典型图像的示图；

图22B是示出作为分割图22A中所示的图像的结果而得到的水平图像部分的示图；

图23A是主要示出根据本发明的第六到第九实施例的整个图像处理装置的实际硬件的框图；

图23B是图23A中所示的整个图像处理装置的主要功能部件的框图；

图23C示出描绘由图23B中所示的图像处理装置执行的处理的流程图；

图24是在对根据本发明的第六实施例的一种用于指定背景区域的方法的描述中所参考的示图；

图25是示出根据本发明的第六实施例的整个图像处理装置的框图；

图26是大体上示出被存储在第六实施例中采用的RAM中的数据的布局模式的示图；

图27A是大体上示出被存储在第六实施例中采用的RAM中的输入图像位图的示图；

图27B是大体上示出被存储在第六实施例中采用的RAM中的图像标志位图的示图；

图27C是大体上示出图27B中的图像标志位图的一部分被放大的示图；

图28A是大体上示出根据第六实施例的作为具有可变长度的阵列的基于同时发生概率矩阵的阵列的集合域(set field)。

图28B是大体上示出与28A中示出的阵列集合域等价的高斯曲面的示图；

图29是大体上示出被存储在第六实施例中采用的RAM中的多条数据的示图；

图30示出描绘由根据第六实施例的图像处理装置执行的处理的流程图的第一部分；

图31示出描绘由根据第六实施例的图像处理装置执行的处理的流程图的第二部分；

图32是大体上示出图像的像素和根据本发明的第七实施例的图像处理装置中使用的相对位置函数δ(i)之间的关系的示图；

图33是示出描述由根据第七实施例的图像处理装置执行的处理的流程图：

图34是示出由根据本发明的第八实施例的图像处理装置拍摄到的典型静止图像的示图；

图35A是示出根据本发明的第八实施例的整个图像处理装置的框图；

图35B是根据本发明的第九实施例的整个图像处理装置的框图；

图36A是示出实施例中采用的一般的图像拍摄相机的外部视图的示图；以及

图36B是示出图36A中的图像拍摄相机和根据任一实施例的图像处理装置的组合的框图。

具体实施方式

参考图1到图12描述本发明的第一到第五实施例。

1：实施例的概述

图1是基于本发明的各个实施例的共同的思想的图像处理装置的整个框图。更具体地说，图1A是主要示出图像处理装置的实际硬件的框图，图1B是主要示出各个装置的功能部件的框图。

图1A中所示的图像处理装置101从由图像拍摄相机102输出的图像中检测出不明物的存在或不存在，并且生成作为用于报告存在不明物的警报输出的二进制信号，或者生成作为预先确定的处理的结果而获得的图像信号。图像拍摄相机102是一般公知的相机，其通常采用用于生成图像信号的CCD图像拍摄器件。由图像拍摄相机102生成的图像信号被存储到诸如HDD的大容量存储器中，或通过通信线路等被输出到主机装置中。

图像处理装置101基本上是利用了由总线106相互连接的CPU 103、RAM 105和ROM 104的微型计算机。为了生成预先确定的信号等，CPU103、RAM 105和ROM 104对由图像拍摄相机102输出的图像执行预先确定的处理。然后，图像处理装置101通过输出I/F 107输出该信号。

应当注意图1A中所示的配置是稍后要被详细描述的所有实施例共同的配置。

图1B中所示的除了图像保存部件112和预定值保存部件115之外的所有功能部件都是被存储在ROM 104中要由上述微型计算机执行的软件程序。图像保存部件112是由RAM 105实现的，而预定值保存部件115包括RAM 105和ROM 104。

从图像拍摄相机102接收到的图像作为静止图像被存储在图像保存部件112中。

图像分割部件113是用于将被存储在图像保存部件112中的图像分割成具有相同大小和相同形状的图像部分的模块。

特征量计算部件114是用于计算作为由图像分割部件113执行的对被存储在图像保存部件112中的图像进行分割的处理的结果而得到的每个图像部分的特征量的模块。预定值保存部件115是用于为由特征量计算部件114计算得到的每个特征量提供比较值，或提供基于特征量的预定数据的单元。差值计算部件116是用于计算由特征量计算部件114计算得到的每个特征量和由预定值保存部件115提供的比较值或者由预定值保存部件115提供的作为基于特征量的数据的预定数据之间的差值的模块。由差值计算部件116执行的处理的结果是二进制警报或被输出到存储单元或网络的图像。

应当注意图1B中所示的配置是稍后要被详细描述的所有实施例共同的配置。

由特征量计算部件114为图像计算得到的特征量表示图像的图案或纹理(texture)。也就是说，特征量近似表示在普通描绘软件(renderingsoftware)中所谓的纹理。

如果图像是草原的图片，则图像包括大量的具有深绿色或浅绿色的倾斜的抛物线。

如果图像是大海的平静表面的图片，则在表面上存在大量作为基本趋势的具有深蓝色的反射太阳光的细致水平图案，或者大量的诸如波浪等的白色部分。

这些自然风景不能机械地产生诸如人造的砖瓦结构(tiling)等的固定的图案。取而代之的是，每种自然风景被认为是具有随机变量并且创建与类似固定图案的特性的图像。在草原中不会存在波浪，而在平静的大海表面上不会存在深绿色或浅绿色的倾斜抛物线。

随着时间的流逝，这些自然风景会由于自然现象发生改变。因此，仅仅通过比较根据现有技术在不同时间拍摄到的多个静止图像，应当被自然地辨认为背景的背景却由于背景正在移动的事实而被误认为是不明物。

通过捕捉移动的背景的情形中的背景的纹理，各个实施例能够提供用于以高度的一致性辨认背景而不会因沿时间轴出现的变化而出现失误的技术。

通过捕捉背景的纹理或背景的图案，还可以获得外来对象的特性。这样，获得背景的纹理或背景的图案的过程是计算特征量的过程。

如上所述，输入图像被分割成具有相同大小和相同形状的均匀并且细致的图像部分，然后每个图像部分的特征量被计算出来。如果图像部分的计算得到的特征量中的特定的一个特征量示出了与图像的背景的特征量相偏离的值，则该特定的特征量被判断为图像中存在的不明物的特征量。因此，针对每个图像部分计算特征量，并且这些特征量被与为各个图像部分设置的目标特征量相比较，以便确定计算得到的特征量和目标特征量之间的相似程度，或者计算得到的特征量和目标特征量之间的不相似程度。在下面的描述中，目标特征量被称作样本的特征量，该样本是从图像的背景中选出的。这被称作是差值计算过程。最后，计算得到的差值一般被与预先确定的阈值相比较，以便产生关于为针对其已经计算了特征量的图像部分是否是用作样本的背景的一部分的判断结果。上述一系列的处理过程是计算各个像素之间的辉度差别的技术思想的扩展。

上述内容是所有实施例共同的思想。

后面的描述将说明特征量是如何被获得的以及特征量之间差值是如何被计算出的。

2：第一实施例

下面描述第一实施例。首先，描述本实施例的概述。在该实施例中，图像被预先提供，该图像的背景被手动指定为上述样本，并且背景的特征量被保存。然后，当图像处理装置以后被置为实际工作状态时，其中每一个是针对输入图像的一部分而找到的那些特征向量被与所保存的背景的特征量相比较。

图2是示出根据本发明的第一实施例的图像处理装置201的框图。该示图以图1B为基础。

图像保存部件112是用于一次存储由图像拍摄相机102生成的输入静止图像的部件。

图像分割部件113是用于将输入静止图像分割成细致图像部分的部件。

特征量计算部件114是用于计算每个图像部分的特征量的部件。

另一方面，背景特征量保存部件202是用于预先保存作为由操作者执行的操作而被指定为样本的背景的特征量的特征量的部件。

差值计算部件116是用于计算由特征量计算部件114为每个图像部分计算得到的特征量与背景特征量保存部件202中保存的背景特征量之间的差值，以便产生关于图像部分是否是背景部分的判断结果的部件。

如果基于由差值计算部件116计算得到的差值的判断结果不是背景部分，则警报被输出，以便通知操作者在输入静止图像中存在不明物。

背景特征量保存部件116被连接到显示部件203以及输入部件204。

显示部件203是诸如LCD单元的普通公知的显示单元。

输入部件204是诸如鼠标的一般公知的点选设备。

如上所述，背景特征量保存部件202是用于预先保存作为背景的特征量的特征量的部件，该背景是在由操作者执行的操作中从图像保存部件112中所保存的输入静止图像中指定的。更具体地说，在图像处理装置被置为实际工作状态之前，包括背景样本的输入图像被显示在显示部件203上，然后，操作者操作输入部件204，以便在图像中指定一个要被作为背景样本的范围。特征量计算部件114计算被用作样本的背景的特征量并将该特征量存储到背景特征量保存部件202中。

图3A、图3B和图3C是示出在对由根据本发明的第一实施例的图像处理装置执行的操作的概述的描述中所参考的典型图像的示图。

图3A示出大海302、天空303和作为不明物的船304的典型图像301。该图像被存储在图像保存部件112中。

图3B示出从根据操作者的操作被显示在显示部件203上的图像中，在由操作者对输入部件204执行的操作中被指定为样本的背景。特征量计算部件114计算每个背景的特征量，并且将这些背景的特征量作为样本的特征量存储到背景特征量保存部件202中。在图3A所示的图像的情形下，操作者指定了两个背景样本B(1)和B(2)，这两个样本是分别选自天空303和大海302的样本。

图3C示出由图像分割部件113生成的作为分割图像301的结果的细致图像部分。特征量计算部件114计算每个图像部分的特征量。如图3C的典型情况所示，图像分割部件113将图像301分割成图像部分S(1)到S(25)。

差值计算部件116计算每个背景样本B(1)和B(2)的特征量以及每个图像部分S(1)到S(25)的特征量之间的差值。更具体地说，由差值计算部件116顺序计算出的作为背景样本B(1)和B(2)和图像部分S(1)到S(25)之间的差值的特征量的差值被列出如下：

背景样本B(1)和图像部分S(1)的特征量之间的差值；

背景样本B(2)和图像部分S(1)的特征量之间的差值；

背景样本B(1)和图像部分S(2)的特征量之间的差值；

背景样本B(2)和图像部分S(2)的特征量之间的差值；

等等...

最后，

背景样本B(1)和图像部分S(25)的特征量之间的差值；以及

背景样本B(2)和图像部分S(25)的特征量之间的差值；

图4、图5和图6示出描述上述操作的细节的流程图。

图4示出描述由根据第一实施例的图像处理装置201执行的实际操作之前的预处理的流程图。如图所示，流程图从步骤S401开始，在步骤S401中，预处理的执行被启动。然后，在下一步骤S402中，包括将要被操作者指定的样本的输入静止图像被存储在图像保存部件112的RAM中。如下面将被描述的，输入静止图像的背景被操作者指定为样本。

然后，在下一步骤S403中，输入静止图像被显示在显示部件203上。

虽然，可视地确认了显示在显示部件203上的输入静止图像，但是在下一步骤S404中，操作者操作输入部件204，以便输入将要被用作样本的每个背景的地址范围。

在操作者验证了被指定的地址范围之后，在下一步骤S405中，地址范围被存储在RAM中。然后，在下一步骤S406中，每个都作为样本的地址范围中的每个地址范围的像素从输入静止图像中被提取出，并且针对每个地址范围，这些像素的特征量被计算出。然后，特征量被保存在背景特征量保存部件202中。最后，在最后一个步骤S407中，由该流程图描述的预处理的执行结束。

图5和图6示出描述由根据本发明的第一实施例的图像处理装置在工作状态中执行的实际操作的流程图。

如图5所示，流程图以步骤S501开始，在步骤S501中，启动实际操作的执行。然后，在下一步骤S502中，输入静止图像被存储在图像保存部件112的RAM中。

然后，在下一步骤S503中，特征量计算部件114计算由图像分割部件113分割输入静止图像生成的每个图像部分的特征量。

随后，在步骤S503之后的步骤中，每个图像部分的特征量和每个背景样本的特征量之间的差值被计算。

在步骤S504中，变量i被初始化成1。变量i是用于在计算特征量之间的差值的处理中标识作为对象的图像部分的变量。

同样，在步骤S505中，变量j被初始化成1。变量j是用于在计算特征量之间的差值的处理中标识作为对象的背景样本的变量。

然后，在下一步骤S506中，背景样本B(j)的特征量和图像部分S(i)的特征量之间的差值被计算。

随后，在下一步骤S507中，在步骤S506执行的处理中计算得到的差值被与被存储的预先确定的阈值相比较。如果判断结果指示差值至少等于阈值，则流程进行到标志标量f(i)被置位为1的步骤S508。提供了与图像部分一样多的标志标量f(i)。标志变量f(i)可以被置位为1或复位为0。应当注意，另一方面，如果判断结果指示差值小于阈值，则流程进行到标志标量f(i)被复位为0的步骤S509。

然后，在步骤S508之后的步骤S601中，检查变量j是否至少等于样本计数的最大值。在图3A到图3C中所示的典型的输入静止图像的情形下，背景样本(i)的数量是2。因此，检查变量j是否至少等于2。如果判断结果指示变量j至少等于样本计数的最大值，则流程进行到变量i被加1的步骤S611。另一方面，如果判断结果指示变量j小于样本计数的最大值，则流程进行到变量j被加1的步骤S612。这是因为还存在作为步骤S506以及随后的步骤中执行的处理的对象的背景样本(j)。

在步骤S613中，检查变量i是否至少等于图像部分计数的最大值。如果判断结果指示变量i小于图像部分计数的最大值，则流程进行到变量i被加1的步骤S614。之后，因为当前图像部分(i)仍被认为是天空的图像部分，所以该流程图描述的操作的流程返回到步骤S505，而不执行对用作第二背景样本的海洋的处理。

另一方面，如果判断结果指示变量i至少等于图像部分计数的最大值，则该判断结果被解释成这样的判断结果：其指示所有图像部分(i)都已经作为在步骤S505以及随后的步骤中执行的处理的对象而被使用过了。在这样情形下，由该流程图描述的操作的流程进行到步骤S615，在步骤S615中，检查所有的标志变量f(i)以确定是否存在被置位为1的标志变量f(i)。

如果判断结果指示没有被置位为1的标志变量f(i)，则判断结果被解释成这样的判断结果：其指示所有的图像部分(i)都是背景的图像部分或者指示不存在不明物。

如果判断结果指示存在被置位为1的标志变量f(i)，则判断结果被解释成这样的判断结果：其指示具有被置位为1的标志变量f(i)的图像部分不是背景的图像部分，而是不明物的图像部分，或者指示在图像部分(i)上存在不明物。

也就是说，如果不明物的存在被辨认出，则由该流程图描述的操作的流程进行到警报被输出的步骤S616。最后，在最后一个步骤S617中，由该流程图描述的操作的执行结束。

根据该实施例，背景样本预先通过执行手动操作被指定。这样，该实施例具有跟不上背景特征的变化的缺点。更具体地说，例如假定大海被作为背景。在这样的情形下，如果由于天气的原因大海变得波涛汹涌，或者由于图像拍摄相机102的拍摄角度改变而改变了大海与作为另一背景的天空之间的关系，则很可能不希望地执行了对不明物的错误辨认。

然而，如果背景的特征量被充分了解并且在这些特征量的基础上为适当的被监视对象作出适当的设定，则该实施例能够很好的展示出其功能。无论如何，根据该实施例的方法可以被应用到这样的情形中：被监视对象的特征量几乎不改变，在不改变图像拍摄相机102的拍摄角度的情况下拍摄操作被执行，并且如果特征量改变，则背景样本可以被重新指定。

顺便提及，依赖于被监视对象，确定图像部分的大小的方法会有一点改变。例如，在形成复杂图案的背景的情形下，如果设定尺寸非常小的图像部分，则每个图像部分的特征量可能是不能计算的。然而，如果要被检测的不明物的尺寸小并且设定了尺寸非常小的图像部分，则为图像部分计算的特征量的改变是难以观测的，这是不希望的。因此，有必要根据被监视对象而适当地改变图像部分的尺寸。由于此原因，在图像处理装置201的实际操作之前，预先通过在执行试验操作的同时，基于试验和误差来适当地改变尺寸，来确定图像部分的最佳尺寸，这样可能是很好的。

上面给出的描述被概括如下。根据该实施例的图像处理装置的核心部件是通过执行软件来操作的微型计算机。当输入静止图像被提供给图像处理装置201时，该图像被存储到图像保存部件112中，图像保存部件112实际是RAM 105。图像分割部件113将输入静止图像分割成具有均匀形状的图像部分。特征量计算部件114为每个图像部分计算特征量。通过执行手动操作而被指定的背景样本的特征量作为预先确定的值被预先存储在背景特征量保存部件202中。为每个图像部分计算得到的特征量和背景样本的特征量之间差值被找到，并且被与预先确定的阈值相比较。被找到的比阈值小的差值的图像部分被判断为背景的图像部分。在此情形下，为被确定为背景的图像部分的图像部分提供的标志被复位为0。

这样，通过执行上述步骤，可以产生关于图像部分是图像的背景的图像部分还是不明物的判断结果。从上述内容很明显地看出，上述处理包括用于为作为分割静止图像的结果而得到的每个图像部分计算特征量的处理，以及用于计算为每个图像部分计算得到的特征量和背景样本的特征量之间的差值的处理。

2.1：特征量计算方法

下面描述用于计算特征量的方法。

特征量是表示预定范围内的图像的特性的数字。

一个图像具有多种可能的特性。一个图像的特性包括图像的颜色、图像的色度和图像的图案。因此，通常，一个图像的特征量不是单一的标量。取而代之的是，一个图像的特征量是具有大量元素的矩阵。

图7A、图7B和图7C每个是在对颜色直方图的描述中被参考的大体上的说明性示图，颜色直方图是计算特征量的多种方法中的一种，并且是在本说明书中描述的本发明的所有实施例可以共用的方法。

更具体地说，图7A示出包括要从图像中被指定和被选择的背景样本的输入静止图像701。大海702遍布输入静止图像701的所有区域。在大海702上，船703作为不明物。船703是由黑色像素组成的。

图7B示出从图7A所示的输入静止图像701中被提取出的背景样本。在图7B中示出的背景样本是放大的大海702的一部分。如图7B所示，在背景样本的海水705上存在波浪704。海水705由蓝色像素组成，而每个波浪704由白色像素组成。

图7C示出所有颜色分量的矩阵706。存在于图7A中示出的静止图像中的像素的值被逐一累积添加到矩阵706中包括的作为与像素对应的元素的元素上。结果，像素值集中在表示波浪的白色区域707、表示海水的蓝色区域708以及表示作为不明物的船的黑色区域709。也就是说，使读者认为在的白色区域707、蓝色区域708和黑色区域709中的每个区域中形成了类似公知的高斯曲面的曲面，这样可能是很好的。

如上所述，彩色图像的颜色直方图是表示为彩色图像中的每个像素计算的表示颜色表现频率的数据。颜色直方图也被认为是作为离散地展开组成彩色图像的色点并且之后为每个颜色分量收集相同颜色分量的色点的结果而获得的数据。这样，图案概念从所生成的数据中丢失。

图8A、图8B、图8C和图8D中的每个图是在对频率分析的描述中所参考的大体上的说明性示图，频率分析是计算特征量的方法中的一种方法。计算特征量的频率分析方法可以被用作本说明书中描述的本发明的所有实施例共用的方法。

更具体地说，图8A示出输入图像的一部分801。输入图像部分801与图7B中所示的部分一样。也就是说，部分801是大海的一部分。在图8B中示出的作为从输入图像部分801提取的背景样本的背景样本是放大的输入图像部分801的一部分。在图8B中示出的背景样本是波浪。波浪的像素802是明亮的，而海水的像素是阴暗的。

图8C示出作为以从左向右的方向顺序对组成输入图像的像素的亮度进行绘制的结果而获得的典型曲线图。从图中很明显的看出，组成海水的像素的亮度级别是低的，而组成波浪的像素的亮度级别是高的。然后，以此方式获得的曲线图被处理得好像该曲线图是信号的波形。用于寻找特征量的频率分析方法是一种分析信号的频率分量的方法。

图8D示出频率分析方法的典型结果。根据频率分析方法，在图8C中绘出的波形被进行傅立叶分析，并且傅立叶分析的结果由图8D中所示的曲线表示，该曲线表示由水平轴表示的频率和由垂直轴表示的辉度级别之间的关系。最后，由曲线表示的数据被置于矩阵中。矩阵的每个元素是具有表示输入图像的辉度的波形的信号的频率分量。

如上所述，根据用于寻找特征量的频率分析方法，表示从像素到像素的辉度级别的改变的波形被创建，并且该波形经历用于分析波形的频率分量的傅立叶变换。作为傅立叶变换的结果，通过频率分量表示了表现为预先确定的图案的亮度/暗度图案。

图9是在对同时发生概率矩阵的描述中所参考的说明性示图。

更具体地说，图9A示出图像的两个任意像素P1和P2。这两个像素P1和P2的彼此相互分离的情况由距离r和角θ表示。相对位置函数δ是依赖于距离r和角θ的函数。相对位置函数δ被表示成δ＝(r，θ)。

图9B示出用于相对位置函数被表示成δ＝(1，0°)的情形中作为与像素P1相邻的下一个像素的像素P2。

另一方面，图9C示出用于相对位置函数被表示成δ＝(1，90°)的情形中作为像素P1正上方的像素的像素P2。

同时发生概率矩阵是一个正方形矩阵。同时发生概率矩阵的每个元素是作为将以固定的相对位置函数彼此分离的两个像素的辉度级别的组合累积地添加到辉度值中的结果而获得的辉度值。

图10是示出被简化的用于使描述容易理解的图像数据和被简化的用于使描述容易理解的同时发生概率矩阵的说明性示图。

更具体地说，图10A示出具有16(＝4×4)个具有四个辉度级别(即，辉度级别0到3)的像素的图像。

图10B示出同时发生概率矩阵，该矩阵是具有16(＝4×4)个具有四个辉度级别(即，辉度级别0到3)的像素的矩阵。下面的描述说明用于针对相对位置函数δ＝(r，θ)＝(1，0°)，从图10A所示的图像数据中创建图10B中所示的同时发生概率矩阵的步骤。

假定图10A中所示的坐标(0，0)是像素P1的坐标(x，y)。在此情形中，像素P2的坐标(x，y)是(1，0)。如图所示，像素P1的辉度级别i和像素P2的辉度级别j都为0。因此，1被添加到具有坐标(i，j)＝(0，0)的位置处的辉度级别中。另外，因为相互的计数操作被执行，所以，1还被添加到坐标(i，j)＝(0，0)的位置处的辉度级别中。

然后，假定图10A中所示的坐标(1，0)是像素P1的坐标(x，y)。在此情形中，像素P2的坐标(x，y)是(2，0)。如图所示，像素P1的辉度级别i为0，而像素P2的辉度级别j为1。因此，1被添加到具有坐标(i，j)＝(0，1)的位置处的辉度级别中。另外，因为相互的计数操作被执行，所以，1被添加到坐标(i，j)＝(1，0)的位置处的辉度级别中。

对所有像素执行对表示根据上述相对位置函数δ彼此分离的像素的辉度级别的组合的矩阵元素的值进行计数累加的操作。也就是说，作为正方形矩阵的同时发生概率矩阵是如下的计数器矩阵：其每个元素表示两个像素的辉度级别的组合出现的次数。

需要注意，是由监视系统的设计者来对相互计数操作是否要被执行作出决定。

根据同时发生概率矩阵的性质，希望使用多个相对位置函数，以便生成多个同时发生概率矩阵。

通过采用这些用于计算特征量的方法，为每个由分割图像得到的图像部分找到了用具有大量数据的矩阵来表示的特征量。

这些计算得到的特征量中的每个特征量和预先被保存的作为典型背景样本的特征量之间的差值被找到并且被与预先确定的阈值进行比较。在下面的描述中，计算此差值的处理被称作稍后要被描述的特征量差值计算处理。

需要注意，是由监视系统的设计者通过考虑计算得到的特征量的精确度和计算步骤的数量之间的平衡来选择上述作为示例的特征量计算方法中的一种方法。

2.2特征量差值计算方法

根据上面描述的作为示例的特征量计算方法，为作为分割图像的结果而得到的每个图像部分找到特征量。所有特征量中的每个特征量都是用具有大量数据的矩阵来表示的。

这样，通过比较两个矩阵中的数据，差值被找到。差值是如何被找到的呢？差值表示两个矩阵的数据的相似程度。两个矩阵是表示为每个图像部分找到的特征量的矩阵和表示背景样本的特征量的矩阵。

存在多种已知的用于寻找两个矩阵的数据之间的相似程度的方法。下面列出一些方法：

(1)：SAD(Sum ofAbsolute Differences，绝对差和)

对于两个矩阵中的两个相应元素，每对这样矩阵元素的值之间的绝对差值被找到，并且这些绝对差值的和被计算出。

(2)：SSD(Sum ofSquared Differences，差平方和)

对于两个矩阵中的两个相应元素，每对这样的矩阵元素的值之间的差的二次方被找到，并且这些差平方的和被计算出。

(3)：标准化(Normalization)

每个矩阵元素被作为一个矢量的元素而处理，并且两个矩阵的内积被找到。也就是说，两个矩阵中的两个相应元素的乘积被找到，并且这些乘积的和被计算出。

为了最后找到作为单个标量的差值，特征量比较处理被执行。

为了产生关于图像部分是否是背景样本的一部分的判断结果，计算得到的差值然后被与预先被保存的预定阈值相比较。

需要注意，是由监视系统的设计者通过考虑计算得到的特征量的精确度和计算步骤的数量之间的平衡来选择上述作为示例的特征量计算方法中的一种方法。

上述每个特征量计算方法和特征量差值计算方法可被选择并被用作根据本发明的第一实施例的图像处理装置和根据后面描述的第二、第三、第四和第五实施例的图像处理装置共用的方法。也就是说，对于任何实施例，颜色直方图方法、频率分析方法或同时发生概率法都可以被用作特征量计算方法，而SAD、SSD或标准化方法都可以被用作特征量差值计算方法。

3.第二实施例

图11是示出根据本发明的第二实施例的图像处理装置的框图。根据第二实施例的图像处理装置以图1B中所示的配置为基础。应当注意，为了避免描述的重复，在下面的描述中不再说明与前面参考图2描述的第一实施例共用的各个部分。

第二实施例与第一实施例的不同在于，在第二实施例的情形中，第一实施例中采用的背景特征量保存部件202被平均值保存部件1102代替。平均值保存部件1102是用于计算由特征量计算部件114为图像部分计算得到的特征量的平均值并且保存计算得到的平均值的单元。

差值计算部件116计算由平均值保存部件1102保存的平均值和由特征量计算部件114一一计算得到的作为图像部分的特征量的特征量之间的差值。如果由差值计算部件116为图像部分计算得到的差值指示图像部分是不明物的一部分，则警报被输出。

图12A、图12B和图12C是大体上示出作为由根据本发明的第二实施例的图像处理装置执行的操作的结果而获得的输入图像的示图。

更具体地说，图12A示出包括大海1202和作为不明物的船1204的图像1201。

图12B示出用于保存由平均值保存部件1102计算得到的值的平均值保存部件1102，平均值保存部件1102所保存的值是由特征量计算部件114找到的作为图12C中所示的图像部分的特征量的特征量S(1)到S(25)的平均值。也就是说，图12B示出通过将特征量S(1)到S(25)的和除以前述特征量S(1)到S(25)的个数而得到的平均值。在此情形下，前述特征量S(1)到S(25)的个数是25。

如上所述，差值计算部件116计算由平均值保存部件1102保存的平均值B和由特征量计算部件114计算得到的作为图像部分的特征量的特征量之间的差值。差值计算部件116按一个差值接另一个差值的顺序来计算差值。更具体地说，差值计算部件116按顺序计算：

平均值B和特征量S(1)之间的差值；然后，

平均值B和特征量S(2)之间的差值，等等。

最后，差值计算部件116计算：

平均值B和特征量S(25)之间的差值。

图13和图14示出描述由根据第二实施例的图像处理装置执行的操作的流程图。

流程图以步骤S1301开始，在步骤S1301中，开始执行实际操作。然后，在下一步骤S1302中，输入静止图像被存储在图像保存部件112的RAM中。

然后，在下一步骤S1303中，特征量计算部件114计算由图像分割部件113生成的作为分割输入静止图像结果而获得的每个图像部分的特征量。

在步骤S1304中，平均值B被计算。

随后，在步骤S1304之后的步骤中，每个图像部分的特征量和平均值B之间的差值按照下述步骤被计算：

首先，在步骤S1305中，变量i被初始化成1。变量i是用于在计算特征量和平均值之间的差值的处理中标识作为对象的图像部分的变量。

然后，在下一步骤S1306中，平均值B和图像部分(i)的特征量之间的差值被计算。

随后，在下一步骤S1307中，在步骤S1304中执行的处理中被计算得到的差值被与所存储的预先确定的阈值相比较，以便产生关于差值是否至少等于阈值的判断结果。如果判断结果指示差值至少等于阈值，则流程进行到标志变量f(i)被置位为1的步骤S1308。提供了与图像部分(i)一样多的标志变量f(i)。也就是说，标志变量f(i)被提供给图像部分中的每个图像(i)。应当注意，另一方面，如果在步骤S1307中执行的处理中的判断结果指示差值小于阈值，则标志变量f(i)被复位为0，以便指示图像部分(i)是背景的图像部分。

在下一步骤S1409中，检查变量i是否至少等于图像部分计数的最大值。如果判断结果指示变量i小于图像部分计数的最大值，则流程进行到变量i被加1的步骤S1410。然后，流程返回步骤S1306。另一方面，如果判断结果指示变量i至少等于图像部分计数的最大值，则该判断结果被解释成指示所有图像部分(i)都已经被用作在步骤S1306以及随后的步骤中执行的处理中的对象的判断结果。在此情形下，流程进行到步骤S1411，在步骤S1411，所有标志变量f(i)被检查以便产生关于是否存在被置位为1的标志变量f(i)的判断结果。

如果判断结果指示没有被置位为1的标志变量f(i)，则判断结果被解释成指示所有的图像部分(i)都是背景的图像部分的判断结果，或者指示不存在不明物的判断结果。在此情形下，流程进行到由该流程图描述的操作被结束的最后步骤S1413。

如果判断结果指示存在被置位为1的标志变量f(i)，则判断结果被解释成指示被置位为1的图像部分(i)不是背景的图像部分，而是不明物的图像部分的判断结果，或者指示在图像部分(i)中存在不明物的判断结果。也就是说，如果不明物的存在被辨认出，则流程进行到警报被输出的步骤S1412。最后，在步骤S1413中，由该流程图描述的操作的执行结束。

上面给出的描述概括如下。

根据本实施例的图像处理装置的核心部件是通过软件的执行来操作的微型计算机。

当静止图像被提供给图像处理装置1101时，该图像被存储到图像保存部件112中，图像保存部件112实际是RAM 105。图像分割部件113将输入静止图像分割成具有相同大小和相同形状的图像部分。特征量计算部件114为每个图像部分计算特征量。然后，所有图像部分的特征量的平均值被计算并被保存到包括RAM 105的平均值保存部件1102中。为每个图像部分计算得到的特征量与平均值的差值然后被找到，并且被与预先确定的阈值相比较。具有小于阈值的被找到的差值的图像部分被判断成背景的图像部分。在此情形下，为将要被判断成背景的图像部分的图像部分提供的标记被复位为0。

这样，通过执行上述处理，可以产生关于图像部分是图像的背景的图像部分还是不明物的判断结果。从上述内容明显看出，上述处理包括为作为分割静止图像的结果而得到的每个图像部分计算特征量的处理以及计算为每个图像部分计算得到的特征量和平均值之间的差值的处理。

4：第三实施例

图15A和图15B是示出根据本发明的第三实施例的图像处理装置1501的框图。根据第三实施例的图像处理装置以图1B中所示的配置为基础。应当注意，为了避免描述的重复，在下面的描述中不再说明与前面参考图11描述的第二实施例共同的各个部件。

第三实施例与第二实施例的不同在于，在第三实施例的情形中，第三实施例采用ROM 1502、图像部分计数比较部件1504和被配置在特征量计算部件114和比较部件1504之间的聚类处理部件1503。

聚类处理部件1503是用于计算由特征量计算部件114生成的针对整个输入图像中的图像部分而被找到的特征量中的任意两个特征量之间的差值，并且用于以彼此相差小的特征量差值的图像部分置入相似图像组的单元。这是因为，彼此相差小的特征量差值的任意两个图像部分被认为是具有相似图像的图像部分。将彼此相差小的特征量差值的图像部分置入相似图像组的处理被称作聚类处理。因此，聚类处理是将图像部分分类成相似图像组的处理。

比较部件1504对从聚类处理部件1503接收到的被置入单个相似图像组中的图像部分的数量和预先被存储在ROM 1502中的图像部分计数阈值进行比较。如果比较结果指示单个相似图像组不是背景的一部分，则该单个相似图像组被判断为是存在不明物中的组。在此情形下，警报被输出。

图15B是示出在图15A中示出的图像处理装置501中采用的聚类处理部件1503的内部配置的框图。

差值计算对象设定部件1513是这样的单元：其用于判断从特征量计算部件114接收到的特征量1512中的哪些特征量将要经历由差值计算部件1514执行的差值计算处理。

差值计算部件1514是这样的单元：其用于计算由差值计算对象设定部件1513选择和确定的任意两个特征量之间的差值。

比较部件1516是用于对由差值计算部件1514计算得到的差值和阈值1515进行比较的单元。比较结果指示具有两个特征量的两个图像部分是否要彼此接合在一个相似图像组中。

分组处理部件1517是这样的部件：其用于基于由比较部件1516产生的比较结果，将两个图像部分彼此接合在一个相似图像组中，或将两个图像部分维持原状而不将它们彼此接合在相似图像组中。

通过执行上述一系列的处理，图像部分被分类成一些相似图像组。然后，针对相似图像组中的每个单独的相似图像组，比较部件1504将被置入单独的相似图像组中的图像部分的数量和预先被存储在ROM 1502中的预定的图像部分计数阈值相比较。比较的结果指示该单独的相似图像组是否是背景的一部分。

图16A、图16B、图16C和图16D是大体上示出作为由根据第三实施例的图像处理装置执行的结果而获得的输入图像的示图。

图中是具有包括大海和作为不明物的船的图像1601。

如下所述，聚类处理部件1503对由特征量计算部件114输出的作为所有图像部分的特征量的特征量S(1)到S(25)相互比较，以便将图像部分分类到相似图像组中。

首先，差值计算部件1514计算图16A中示出的图像1601中左上部图像部分的特征量S(1)和与该左上部图像部分相邻的图像部分的特征量S(2)之间的差值。然后，比较部件1516对由差值计算部件1514计算得到的作为这两个特征量之间的差值的差值和预先被存储在差值阈值保存部件1515中的差值阈值进行比较，以便产生关于具有这两个特征量的两个图像部分是否彼此相似的判断结果。在图16A中示出的图像1601的情形下，分别具有特征量S(1)和S(2)的两个图像部分都是大海的一部分。这样，分别具有特征量S(1)和S(2)的这两个图像部分彼此相似，从而使得这两个特征量之间的差值是小的。因此，分别具有特征量S(1)和S(2)的这两个图像部分被认为具有相同的图案，从而它们可以彼此接合在一个相似图像组中。更具体地说，分别具有特征量S(1)和S(2)的这两个图像部分被置入显示在图16B中示出的图像的左上角处的相似图像组中。也就是说，将分别具有特征量S(1)和S(2)的这两个图像部分置入相似图像组中的处理基于的是消除彼此相邻的两个图像部分之间的边界的思想。

用于计算两个彼此相邻的两个图像部分的特征量之间的差值和用于将计算得到的差值于被存储在差值保存部件1515中的差值阈值进行比较的处理从图16B中示出的状态继续。也就是说，彼此相似并且相邻的图像之间的其它边界被消除，从而产生了类似图16C中示出的图像。

最后，具有特征量S(12)、S(13)和S(14)的图像部分被维持如图1 6D中所示的状态。这是因为特征量S(12)、S(13)和S(14)中的每个特征量与其相邻的图像部分的特征量都有大的差别。具有特征量S(12)、S(13)和S(14)的图像部分被认为是在其中存在不明物的图像部分。

图17示出描绘由根据第三实施例的图像处理装置执行的操作的流程图。如图所示，流程图以步骤S1701开始。然后，在下一步骤S1702中，输入的静止图像被存储到RAM中。

随后，在下一步骤S1703中，特征量计算部件114针对作为图像分割部件113执行的分割输入静止图像的处理的结果而获得的每个图像部分计算特征量。

然后，在步骤S1704中，基于所有图像部分的特征量，聚类处理被执行。作为聚类处理的结果，具有小的特征量差值的图像部分被置入相似图像组中。

然后，在步骤S1705中，对于每个相似图像组，相似图像组中包括的图像部分的数量被与被保存在ROM 1502中的图像部分计数阈值相比较，以便产生关于在背景或不明物的区域中是否存在相似图像组的判断结果。如果比较结果指示每个相似图像组中包括的图像部分的数量至少等于被保存在ROM 1502中的图像部分计数阈值，则整个输入静止图像被判断为是背景。

另一方面，如果比较结果指示任何特定的相似图像组中包括的图像部分的数量小于被保存在ROM 1502中的图像部分计数阈值，则该特定的相似图像组被判断为是输入的静止图像中存在的不明物的组。

如果特定的相似图像组被判断为输入的静止图像中存在的不明物的组，则在步骤S1706中警报被输出。最后，在最后的步骤S1707中，由该流程图描绘的操作的结束。

上面给出的描述概括如下。根据该本实施例的图像处理装置1501的核心部件是通过软件的执行来操作的微型计算机。

当输入的静止图像被提供给图像处理装置1501时，该图像被存储到图像保存部件112中，图像保存部件112实际是RAM 105。图像分割部件113将输入的静止图像分割成具有相同大小和相同形状的图像部分。特征量计算部件114为整个输入图像中的每个图像部分计算特征量。聚类处理部件1503计算由特征量计算部件114生成的每个都是为图像部分找到的特征量的特征量中的任意两个特征量之间的差值，并且将彼此相差小的特征量差值的图像部分置入一个相似图像组中。这是因为彼此相差小的特征量差值的图像部分被认为是具有相似图像的图像部分。将彼此相差小的特征量差值的图像部分置入相似图像组中的处理被称作聚类处理。因此，聚类处理是将图像部分分类成相似图像组的处理。

然后，针对相似图像组中的每个单独的相似图像组，相似图像组中包括的图像部分的数量被与被保存在ROM 1502中的图像部分计数阈值相比较，以便产生关于该单独的相似图像组是存在于背景中还是存在于不明物的区域中的判断结果。如果比较结果指示该单独的相似图像组中包括的图像部分的数量至少等于被保存在ROM 1502中的图像部分计数阈值，则该单独的相似图像组被判断为是存在于背景中的组。在此情形下，为该单独的相似图像组中包括的图像部分提供的各个标志被设定。

这样，通过执行上述处理，可以产生关于图像部分是图像的背景的图像部分还是不明物的判断结果。从上述内容明显可知，上述处理包括为作为分割输入静止图像的结果而获得的每个图像部分计算特征量的处理以及比较处理。

5：第四实施例

图18A、图18B和图18C是图像示图和总体框图，它们大体上示出作为由根据本发明的第四实施例的图像处理装置1811执行的操作的结果而获得的输入图像以及图像处理装置1811。

更具体的说，图18A示出包括大海1802、天空1803和作为漂在大海1802上的不明物的船1804的输入图像1801。大海1802是景色，在远距离位置处执行的拍摄操作中已经拍摄到该景色的图片。在输入图像1801中的大海1802的较低部分与海天线附近之间的距离是远的。这样，观看者之前的大海1802的表面上的波浪被看到为是大的波浪，而在与海天线接近的位置处的大海1802的表面的波浪被看到为是小的波浪。也就是说，作为拍摄操作的结果而获得的输入图像1801中的大海1802是不均匀的图案。

如果整个输入图像1801被作为评价的对象，则将很难获得精细的结果。

为了解决此问题，输入图像1801被分割成水平图像部分，每个水平图像部分都取向与海天线平行的方向。更具体的说，如图18B所示，输入图像1801被分割成水平图像部分1805、1806、1807、1808、1809和1810。

然后，对于每个水平图像部分，上面已经描述过的特征量计算处理和比较处理被执行。

图18C是示出用于实现上述技术思想的图像处理装置1811的框图。该图像处理装置1811几乎等同于图1B中示出的图像处理装置101。然而，图18C中示出的图像处理装置1811与图1B示出的图像处理装置101的不同在于，在图像处理装置1811的情形中，图像分割部件1813被划分成水平图像分割部件1813a和小图像分割部件1813b。

第四实施例的主要处理是通过对水平图像部分1805、1806、1807、1808、1809和1810执行第一、第二或第三实施例的处理来实现的。

应当注意，通过考虑要被处理的输入图像1801和在处理中要被执行的计算量之间的平衡，由水平图像分割部件1813a产生的水平图像的宽度在设计时或者在图像处理装置的实际操作之前被确定。

可以提供这样的配置：其中如果根据第一、第二和第三实施例执行的处理的结果不好，则可以常识第四实施例。

上面给出的描述概括如下。

根据本实施例的图像处理装置1811的核心部件是通过软件的执行来操作的微型计算机。

当输入的静止图像被提供给图像处理装置1811时，该图像被存储到图像保存部件112中，图像保存部件112实际是RAM 105。然后，在图像分割部件1813中所采用的水平图像分割部件1813a将输入静止图像分割成多个取向与海天线平行的方向的水平图像部分之后，图像分割部件1813中所采用的小图像分割部件1813b将每个水平图像部分分割成具有相同大小和相同形状的小图像部分。随后，对于每个水平输入部分，特征量计算部件114执行特征量计算处理，而差值计算部件116执行特征量差值计算处理。

然后，水平输入部分中的每个单独的部分被检查，以产生关于在该单独的水平输入部分中所包括的小图像部分中的作为评价对象的特定的一个小图像部分是否是背景的图像部分的判断结果，如果判断结果指示在该单独的水平图像部分包括的作为评价对象的特定的小图像部分是背景的图像部分，则为该特定的小图像部分提供的标志被复位为0。

通过执行上述处理，可以将背景的区域与除了背景区域之外的不明物的区域相互区分开。从上述内容明显看出，该处理包括计算每个图像部分的特征量的处理和计算任意两个特征量之间的差值的处理。

6：第五实施例

图19是示出根据本发明的第五实施例的图像处理装置1901的框图。

被采用在图像处理装置1901中的图像部分判断处理部件1902与在图1B中示出的图像处理装置101是等同的。也就是说，图像部分判断处理部件1902具有与第一、第二、第三或第四实施例相同的功能。

作为图像部分判断处理部件1902的输出，差值计算部件116生成一组标志，其中每个标志是为图像部分中的作为由图像分割部件113分割输入图像的结果而生成的每个单独的图像部分提供的，作为指示单独的图像部分中存在/不存在不明物的标志。

定时器1903是用于以预定的时间间隔生成触发器的单元，每个触发器用于使图像部分判断处理部件1902置入工作状态。

图像部分标志保存单元1904是用于存储由图像部分判断处理部件1902输出的多个标志组的RAM。

不明物移动距离/方向计算部件1905是这样的单元：其用于对被存储在图像部分标志保存部件1904中的标志组相互比较，以便产生关于被认为是不明物的区域是否正在移动的判断结果，并且如果这样的区域正在移动，则移动方向被检测并且警报被输出。

图20A和图20B是对由根据本发明的第五实施例的图像处理装置1901执行的大致操作的描述中所参考的图像的示图。更具体地说，图20A和图20B每个都示出了整个标志组的图像。

如上所述，作为图像部分判断处理部件1902的输出，差值计算部件116生成一组标志，其中每个标志是为图像部分中的作为由图像分割部件113分割输入图像的结果而生成的每个单独的图像部分而提供的，作为指示单独的图像部分中存在/不存在不明物的标志。在图20A中的标志组中的标志中，被设定为0的值指示与该标志相关的图像部分不是被确定为不明物的一部分的图像部分。也就是说，在图20A中的标志组中的标志中，被设定为0的值指示与该标志相关的图像部分是被确定为背景的一部分的图像部分。

通常，不明物是移动的，也就是说，静止的不明物很可能不存在。由于该原因，图像部分判断处理部件1902在预定的时间间隔被置为工作状态，并且由图像部分判断处理部件1902以该时间间隔输出的标志组被相互比较，以便产生关于被认为是不明物的区域是否在移动的判断结果。如图20清楚所示，被认为是不明物的区域随着时间的流逝在移动。

也就是说，替代根据现有技术中对特定的原始静止图像与和该特定的原始静止图像分开了一个时间间隔的另一静止的原始静止图像进行比较，在由该实施例提供的技术的基础上，标志被置位或者被复位的标志组被相互比较。

通过基于由前述实施例提供的技术产生关于图像部分是否是背景的一部分的判断结果，可以避免由移动的背景导致的错误辨认。这样，与现有技术相比较，可以以非常高的精确度检测出不明物的移动。

图21示出描述由根据第五实施例的图像处理装置1901执行的处理的流程图。

如图所示，流程图以步骤S2101开始。然后，在下一步骤S2102中，输入静止图像被存储到RAM中。随后，流程进行到步骤S2103，以便按照与第一、第二、第三和第四实施例相同的方式，产生关于每个图像部分是背景的一部分还是不明物的一部分的判断结果。更具体的说，首先，图像分割部件113将输入静止图像分割成多个图像部分。然后，特征量计算部件114计算每个图像部分的特征量。随后，差值计算部件116计算每个特征量和被存储在预定值保存部件115中的预定值之间的差值。最后，针对图像部分计算得到的每个差值被与预先确定的阈值相比较，以便产生关于图像部分是背景的一部分还是不明物的一部分的判断结果。然后，在下一步骤S2104中，表示针对图像部分的判断结果的一组标志被存储到图像部分标志保存部件1904中，图像部分标志保存部件1904是RAM 105。

随后，在下一步骤S2105中，被存储在RAM 105中的数据被研究，以便产生关于紧邻上述一组标志的在前标志组是否已经被存储到图像部分标志保存部件1904中的判断结果。如果判断结果指示紧邻上述一组标志的在前标志组还没有被存储到图像部分标志保存部件1904中，则判断结果被解释成这样的判断结果：其指示至此为止在所描述的步骤S2102、S2103、S2104和S2105中执行的处理是由该流程表示的处理的第一迭代循环。在此情形下，在经过由定时器1903生成的触发信号确定的时间间隔的之后，在步骤S2102、S2103、S2104和S2105中被执行的处理从另一个输入静止图像被从图像拍摄相机102获得的步骤S2102处开始被重复。

另一方面，如果判断结果指示紧邻的在前标志组已经被存储到图像部分标志保存部件1904中，则由该流程图描述的处理的流程进行到步骤S2106，在步骤S2106中，在步骤S2104处被执行的处理中被存储在图像部分标志保存部件S2104中的一组标志被与紧邻的在前标志组进行比较，以便找到在步骤S2104处被执行的处理中的被存储到图像部分标志保存部件1904中的一组标志和该紧邻的在前标志组之间的差值。然后，由该流程图描述的处理的流程进行到步骤S2107，以便通过判断在步骤S2106处被执行的处理中被得到的差值是否至少等于预先确定的值，来产生关于不明物是否存在的判断结果。如果，在步骤S2107处被执行的处理中产生的判断结果指示不明物存在，则由该流程图描述的处理的流程进行到步骤S2108，在步骤S2108中，警报被输出。

上面给出的描述被概括如下。根据本实施例的图像处理装置1901的核心部件是通过软件的执行来操作的微型计算机。利用由定时器1903生成的触发信号确定的定时，图像部分判断处理部件1902将被提供到图像处理装置1901的输入静止图像存储到实际是RAM 105的图像保存部件112中。然后，在图像分割部件1813将输入静止图像分割成多个具有相同大小和相同形状的图像部分之后，特征量计算部件114计算每个水平图像部分的特征量。随后，差值计算部件116计算每个特征量与被存储在预定值保存部件115中的预定值之间的差值。最后，为图像部分计算得到的差值被与预先确定的域值相比较。更具体地说，具有比阈值小的特征量的图像部分被判断成背景的一部分。在此情形下，为此图像部分提供的标志被复位。

每次触发脉冲信号在预定的时间间隔由定时器1903顺序生成时，上述为图像部分提供的一组被置位或复位的标志被存储到图像部分标志保存部件1904中。然后，不明物移动距离/方向计算部件1906对以该时间间隔被存储在图像部分标志保存部件1904中的标志组进行相互比较，以便产生在输入静止图像中是否存在移动的不明物的判断结果。

通过执行上述处理，可以将输入静止图像的背景的区域与除了背景区域之外的不明物的区域相互区分开，并且可以产生在输入静止图像中是否存在移动的不明物的判断结果。从上述内容明显看出，该处理包括计算每个图像部分的特征量的处理和比较处理。

下面所述的每个典型的实现方式可以被认为是用于上述任意实施例的替代。

(1)：微型计算机被PLD(可编程逻辑器件)替代。

(2)：在第一、第二、第三和第四实施例中，可以增加排除处理，以从用于计算特征量的处理中排除图像所包括的容易被误认是不明物的部分的背景部分。

(3)由第一、第二、第三和第四实施例提供的特征可以全部在一个图像处理装置中实现。在此情形下，根据第一到第四实施例而计算得到的针对为输入图像的图像部分提供的标志的值被相互逻辑相乘，或者被经历加法处理，从而产生要被与阈值相比较的结果值，以便产生关于在输入静止图像中是否存在不明物的判断结果。这样，根据第五实施例的特征要被相互比较的每个标志组都是这样的标志组：其中每个标志具有这种结果值。

在上述的实施例中，可以将不明物从输入静止图像的背景中区别开，作为与背景不同的对象。在根据本实施例的处理中所采用的技术，与基于现有技术的用于比较当前图像和紧邻的在前图像的技术的一般公知技术不同。也就是说，在根据本实施例的处理中，仅仅当前输入静止图像被处理，从而产生关于在输入静止图像中是否存在不明物的判断结果。这样，本发明特别适用于如下的监视系统的配置：其中，图像拍摄相机在允许该图像拍摄相机相对水平面按照顺时针和逆时针方向旋转的状态中，被安装在转动装置基座上。

另外，在上述实施例中，为了产生关于在输入静止图像中是否存在不明物的判断结果，图像被分割成多个具有预定大小和预定形状的图像部分，并且针对每个图像部分计算了特征量。然后，每个特征量和预先确定的值之间的差值被计算。这样，即使诸如大海和天空等的背景根据自然现象而改变，具有固定的特征量的背景也可以被预先被辨认出来，从而使得具有与该固定的特征量不同的特征量的不明物被检测出。

结果，与基于现有技术的图像处理装置相比，通过将本发明提出的图像处理装置和图像拍摄相机相结合，可以提供一种即使在大海的波浪由于海浪而移动和/或天空中的云由于自然现象而移动的情形下，也能够很好地将大海和/或天空辨认为背景的极好的图像处理装置。

7：其它实施例的共同思想

图22A和图22B是在对由根据下述其它实施例的图像处理装置执行的操作的概述的描述中所参考的典型图像示图。更具体的说，图22A示出包括大海5102、天空5103和作为漂在大海5102上的不明物的船4014的输入图像5101。大海5102是景色，该景色的图片已经在远距离位置处被执行的拍摄操作中被拍摄到。在输入图像5101中，大海5102的较低部分与海天线附近处之间的距离是远的。这样，观看者之前的大海5102的表面上的波浪被看到为是大的波浪，而在与海天线接近的位置处的大海5102的表面的波浪被看到为是小的波浪。也就是说，作为拍摄操作的结果而获得的输入图像5101中的大海5102不是均匀的图案。

如果整个输入图像5101被作为评价的对象，则将很难获得精细的结果。

为了解决此问题，输入图像5101被分割成多个水平图像部分，每个水平图像部分都取向与海天线平行的方向。更具体的说，如图22B所示，输入图像5101被分割成水平图像部分5105、5106、5107、5108、5109和5110。然后，对于每个水平图像部分5105、5106、5107、5108、5109和5110，上面已经描述过的特征量计算处理和比较处理被执行。

图23A和图23B是示出用于实现上述技术思想的图像处理装置5201的框图。也就是说，图23中的图示出作为基于各个实施例的共同技术思想的配置的整个图像处理装置5201的配置。更具体地说，图23A是示出在图像处理装置5201中采用的硬件的核心部件的框图，图23B是集中于图像处理装置5201的功能的框图。

如图23A所示，图像处理装置5201是用于产生关于在从图像拍摄相机5201接收到的图像中是否存在不明物的判断结果，或者用于输出指示在从图像拍摄相机5202接收到的图像中是否存在不明物的二进制信号的装置。也就是说，当指示在从图像拍摄相机5202接收到的图像中存在不明物的信号时，该二进制信号作为警报被输出。图像拍摄相机5202通常是用于输出图像信号的一般公知的相机。图像拍摄相机5202一般是采用了CCD图像拍摄器件的相机。图像拍摄相机5202通过通信线路等由图像处理装置5201将图像信号输出到诸如HDD等的大容量存储装置或者主机装置。

图像处理装置将微型计算机作为核心部件。微型计算机包括由总线5206相互连接的CPU 5203、ROM 5204和RAM 5205。微型计算机对从图像拍摄相机5202接收到的图像执行预确的处理，并且通过输出I/F 5207将处理后的结果输出到诸如HDD等的大容量存储装置或主机装置。

应当注意，图23A中示出的配置是下面要详细描述的所有实施例共用的配置。

除了实现为RAM 5202的图像保存部件5212之外，图23B中所示的所有功能部件是被存储在ROM 5204中要由上述微型计算机执行的软件程序。

从图像拍摄相机5202接收到的图像作为静止图像被存储在图像保存部件5212中。

水平图像分割部件5213是用于将被存储在图像保存部件5212中的图像分割成取向水平方向的水平图像部分5502的模块。

图像部分判断处理部件5214是用于对作为由水平图像分割部件5213执行的被存储在图像保存部件5212中的图像进行分割的结果而获得的每个图像部分进行处理的模块。更具体地说，图像部分判断处理部件5214产生关于在每个水平图像部分5502中是否存在不明物的判断结果。如果判断结果指示在水平图像部分5502中存在不明物，则图像部分判断处理部件5214辨认该不明物的属性。不明物的属性包括对象的位置、对象的形状以及对象的面积。由图像部分判断处理部件5214执行的处理的结果是通过网络被输出到上述存储装置和前面提到的主机装置中的二进制信号或者图像。

应当注意，图23B中示出的配置是下面要被详细描述的所有实施例共用的配置。

图23C示出描述由图23B中示出的图像处理装置5201执行的处理的流程图。

该流程图以步骤S5221开始。然后，在下一步骤S5222中，水平图像分割部件5213将输入图像5101分割成n个水平图像部分5502，其中，n是至少等于2的整数。实际上，在将输入图像5101分割成n个水平图像部分5502的处理中，用于实现图像分割部件5213的程序仅仅指定了在被用于存储输入图像5101的RAM 5205中的相对地址范围。

然后，在下一步骤S5223中，用于控制循环过程的计数器变量i被初始化为1。随后，在下一步骤S5224中，图像部分判断处理部件5214处理输入图像5101的第i个水平图像部分5502。如前所述，由图像部分判断处理部件5214执行的处理包括用于产生关于在第i个水平图像部分5520中是否存在不明物的判断结果的处理。

在上述处理完成之后，在下一步骤S5225中，计数器变量I被加1。然后，在下一步骤S5226中，计数器变量被与表示组成输入图像5101的水平图像部分的数量的整数n相比较，以便产生关于计算数器变量是否大于整数n的判断结果。如果判断结果指示计数器变量i不大于整数n，则流程返回到步骤S5224，以重复步骤S5224到S5226的处理。事实上，步骤S5224到S5226的处理被执行，直到在步骤S5226中被执行的处理中产生的判断结果指示计数器变量i大于整数n为止。

当组成输入图像5101的所有n个水平图像部分5520都已经被处理过时，流程进行到步骤S5527，在步骤S5527中，由该流程图表示的处理结束。

图24是示出出现在显示部件5303上的屏幕的示图。被显示的屏幕明确示出前述水平图像部分5502。在由操作者执行的指定背景区域的操作中，操作者通过知道水平图像部分5502来设定背景区域设定范围5503，从而使得所希望的水平图像部分5502不从背景区域设定范围5503中被排除。

8：第六实施例

图25是示出根据本发明的第六实施例的整个图像处理装置的框图。

除了被实现为RAM 5205的图像保存部件5212之外，图25中示出的所有功能部件是被存储在ROM 5204中要由上述微型计算机执行的软件程序。

从图像拍摄相机5202接收到的图像被一次存储在图像保存部件5212中作为静止图像。

水平图像分割部件5213将被存储在图像保存部件5212中的图像分割成每个都取向水平方向的水平图像部分。

特征量计算部件52013是用于获得被存储在图像保存部件5212中的图像和由水平图像分割部件5213生成的水平图像部分，以及为每个水平图像部分计算特征量的模块。这样，每个水平图像部分的特征量是图像的相对地址的阵列。阵列被创建在将要在后面被描述的同时发生概率矩阵上。

像素判断部件52014是这样的模块：其用于基于由特征量计算部件52013创建的阵列，创建用于识别存在于静止图像中的不明物的位图。

像素集合判断部件52015是这样的模块：其用于计算被判断为是存在于静止图像中的不明物的图像部分的总面积，并用于基于由像素判断部件52014创建的位图，计算该图像部分的中心坐标。

应当注意，根据本实施例的图像处理装置52001打算作为准备与图像拍摄相机5202一起被安装到海滨的装置。诸如电机的驱动机构驱动图像拍摄相机5202进行往复运动，以便察看到与海滨接近的大海中的广阔区域。然而，图25中未示出驱动机构本身

为了检测远离海滩处的不明物，图像拍摄相机5202应当具有大的放大能力。然而，增加图像拍摄相机5202的放大能力意味着减少图像拍摄相机5202的拍摄角度。由于此原因，为了察看广阔的区域，图像拍摄相机5202应当被驱动做往复运动。

将图像拍摄相机5201驱动做往复运动需要一种技术来将当前静止图像和紧邻该当前静止图像的在前静止图像进行比较，并且将不明物从当前静止图像和紧邻的在前静止图像中检测出，而这样得技术是很难实现的。根据下面要被描述的实施例的发明创造被发明用于解决此问题。

图26是示出被存储在RAM 5205中的数据的布局模型。如图所示，该布局包括三个区域，即，也可以被称为图像保存部件5212的输入图像位图数据区域52102、用于存储同时发生概率矩阵的阵列的同时发生概率矩阵阵列数据区域52103、和图像标志位图数据区域52104。

图27是示出被存储在RAM 5205内部的数据的示图。

更具体地说，图27A示出被存储在输入图像位图数据区域52102中的输入图像位图。被存储在输入图像位图数据区域52102中的输入图像位图是在拍摄操作中由图像拍摄相机5202生成的输入图像的位图。该图像中的每个像素具有在一般从0到255的范围内的辉度级别。图27A中示出的图像包括大海52202、天空52203和漂在大海52202上作为不明物的船52204。

图27B示出被存储在RAM 5205中的图像标志位图数据区域52104中的图像标志位图。在下面要被描述的处理中，不明物被从输入图像位图中检测出。船52204的区域与图27C中所示的图像标志位图中被置位为1的位相对应。

图27C示出部分图像标志位图的放大部分。在图27B中示出作为图像标志位图的被放大的部分的位图中，被置位为1的位与好像是不明物的像素的像素相对应。另一方面，被复位为0的位与好像是背景的像素的像素相对应。

图28A和图28B是示出被存储在RAM 5205中的同时发生概率矩阵阵列数据区域52103中的阵列的模型。实际上，被存储在RAM 5205中央的同时发生概率矩阵阵列数据区域52103中的阵列不具有图中所示的形状。然而，需要读者考虑到软件程序可以理想地构成这样的形状。

更具体地说，图28A示出阵列数据52301，该阵列数据52301是基于同时发生概率矩阵的作为具有可变长度的阵列的阵列的集合域。同时发生概率矩阵是具有256个元素(k，1)的正方形矩阵。符号元素(k，1)表示同时发生概率矩阵中第k行和第1列的交叉部分的矩阵元素。列数k和行数1都是在0到255范围内的表示辉度的整数。每个元素位置处的阵列由被堆叠的立方体表示。被堆叠的立方体包括在被堆叠的立方体位置处的图像像素的相对地址。

在图28A中示出的符号(k，1)[1]表示同时发生概率矩阵中第k行和第1列的交叉部分的矩阵元素处的阵列的第一阵列元素。

以同样的表示法，符号(k，1)[2]表示同时发生概率矩阵中第k行和第1列的交叉部分的矩阵元素处的阵列的第二阵列元素。

一个阵列可以具有多达5个阵列元素。因此，第五阵列元素由(k，1)[5]表示。

以同样的表示法，符号(k，1-1)[1]表示同时发生概率矩阵中第k行和第(1-1)列的交叉部分的矩阵元素处的阵列的第一阵列元素。

类似地，符号(k，1-5)[1]表示同时发生概率矩阵中第k行和第(1-5)列的交叉部分的矩阵元素处的阵列的第一阵列元素。

类似地，符号(k-3，1)[1]表示同时发生概率矩阵中第(k-3)行和第1列的交叉部分的矩阵元素处的阵列的第一阵列元素。

阵列中被堆叠的立方体包括位于被堆叠的立方体位置处的作为被存储在输入图像位图数据区域52102中的图像的像素的图像像素的相对地址。

由于页面空间的限制，图28A只能示出组成一堆被堆叠的立方体的少数阵列，然而，从组成一堆被堆叠的立方体的少数阵列，可以推断出与类似图28B中示出的曲面的公知高斯曲面相接近的形状。

应当注意，后面将要被给出的描述说明了用于创建以同时发生概率矩阵为基础的阵列的详细的方法。

图29是示出RAM 5205和存储在RAM 5205中的数据之间的关系的示图。

被存储在输入图像位图数据区域52102中的作为具有大尺寸区域的背景包括集中于这样的区域中的部分：该区域具有同时发生概率矩阵阵列数据区域52103中的许多组成同时发生概率矩阵的矩阵元素。被存储作为集中部分的阵列元素的图像数据的相对地址是图像标志位图数据区域52104中的整个背景的相对地址中的一些地址。在除了被存储为集中部分的阵列元素的图像数据的相对地址之外的背景相对地址处的标志被复位。

在图29中示出的示例中，在被存储在输入图像位图数据区域52102中的图像中，由虚线包括的区域是天空的一部分，其是被存储在输入图像位图数据区域52102中的图像中的一部分。该天空的一部分与组成同时发生概率矩阵阵列数据区域52103中被堆叠的立方体的阵列相对应。也就是说，表示被堆叠的立方体的阵列的阵列变量包括用作由虚线包括的区域中的元素的像素相对地址。图像标志位图数据区域52104中包括的作为在这样的相对地址处的标志的标志被从1复位为0。

前述参考图9和图10被说明的作为创建同时发生概率矩阵的处理的处理，是从被存储在图29中示出的同时发生概率矩阵阵列数据区域52103中的输入图像位图，来创建在图29中示出的同时发生概率矩阵阵列数据区域52103的阵列的处理。

然而，该实施例中采用了与相关技术中对同时发生概率矩阵的处理不同的方法。

根据相关技术中的技术，同时发生概率矩阵在生产中被用作用于对合格产品和不合格产品进行相互比较的技术，如在诸如日本专利申请早期公开No.Hei.8-297020等文献中所描述的。合格产品的图像在拍摄操作中被拍摄到，并且同时发生概率矩阵被预先创建。然后，新产品的图像沿着生产线被拍摄到，并且同时发生概率矩阵从图像中被创建。随后，新产品的同时发生概率矩阵与合格产品的同时发生概率矩阵相比较，并且，两个产品之间的同时发生概率矩阵的差别被用作用于产生关于在新产品上是否存在诸如损坏或者瑕疵的异常的判断结果。按照这种方式，相关技术中的同时发生概率矩阵被用在产生关于在产品上是否存在异常的判断结果中。

在本实施例中，同时发生概率矩阵的每个矩阵元素被与预先确定的阈值相比较。比阈值大的同时发生概率矩阵元素被判断为是与具有大的区域的图像部分相对应的矩阵元素，即，与图像的背景相对应的矩阵元素。然后，由图像的背景占据的区域被排除。

因此，每个矩阵元素被作为一个阵列而处理，并且必须将图像的每个像素的相对地址存储到阵列的阵列元素中。

在所有处理都完成之后，标志数据中所包括的被置位的标志(作为示出与由图像的背景示出的辉度级别不同的级别的狭窄部分)被判断成为示出了不明物的部分。

关于存在于图像中不明物的判断，使读者考虑到通过在被放置在与xy平面相平行的方向上的作为表示阈值的平面的上，对图28B中示出的高斯曲面进行端点截断(end-on cutting)，从而作出的判断，这可能是很好的。被放置在与xy平面相平行的方向上的作为表示阈值的平面被称为阈值平面。与从在阈值平面上对高斯曲面进行截断得到的每个矩阵元素(即，与阈值平面相接触的每个矩阵元素)相对应的图像数据的相对地址是背景的特定区域的相对地址。

图30和图31示出描绘由根据本实施例的图像处理装置52001执行的处理的流程的流程图。

如图30所示，该流程图以步骤S52501开始。然后，在下一步骤S52502中，相对位置函数δ首先被设定成用于创建同时发生概率矩阵的准则。随后，在下一步骤S52503中，输入图像位图上被观测的对象的地址a被设定为指向输入图像的头部。地址a是在输入图像位图中的相对地址，并且，在该步骤被执行的处理中，处理中的相对地址的初始值被设定。

然后，由该流程图描述的处理的流程进行到步骤S52504，以产生关于在与相对位置a相差了相对位置函数δ的位置处是否存在像素的判断结果。例如，对于相对位置函数δ＝(1，0°)，如果相对地址a是输入图像的右侧尽头处的地址，则相对地址b＝δ(a)不存在。

如果在步骤S52504中执行的处理中的判断结果指示相对地址b＝δ(a)存在，则由该流程图描述的处理的流程进行到步骤S52505，在步骤S52505中，相对地址a处的辉度级别被设定成行数k。然后，相对地址a被添加到阵列数据区域51203中的矩阵元素(k，1)处的阵列中。也就是说，又有一个立方体被堆叠到图28A中示出的阵列上，并且该相对地址a被存储到该立方体中。应当注意，另一方面，如果在步骤S52504中执行的处理中的判断结果指示相对地址b＝δ(a)不存在，由该流程图描述的处理的流程跳过在步骤S52505中执行的处理，直接进行到步骤S52506。这是因为，将相对地址添加到同时发生概率矩阵的矩阵元素中的阵列的处理可以不被执行。

在步骤S52506中，相对地址a被加1，然后，由该流程图描述的处理的流程进行到步骤S52507，以产生关于该相对地址a是否存在的判断结果。如果在步骤S52506被执行的处理中产生的判断结果指示该相对地址a存在，则由该流程图描述的处理的流程返回到步骤S52504，从而重复以该步骤开始的处理。另一方面，如果在步骤S52506被执行的处理中产生的判断结果指示该相对地址a不存在，则判断结果被解释成指示已经达到输入图像的尽头的判断结果。在该情形下，则由该流程图描述的处理的流程进行到以步骤S52508开始的下一阶段处理。

当对于所有的输入图像位图，同时发生概率矩阵的处理被完成时，在步骤S52508中，阈值被从矩阵元素中计算出。存在多种用于计算阈值的可能的方法。例如，预先确定的恒定值或者其中每个矩阵元素都具有至少等于1的阵列元素计数值的所有阵列元素的平均值被用作阈值。

在阈值被计算出后，在步骤S52609中，位于阵列数据区域52103中作为要被评价的矩阵元素的矩阵元素的初始值被置位。也就是说，行数k和列数1都被置位为1。

然后，在下一步骤S52610中，矩阵元素(k，1)处的阵列元素计数值被与阈值比较，以便产生关于矩阵元素(k，1)处的阵列元素计数值是否至少等于阈值的判断结果。如果在步骤S52610被执行的处理中产生的判断结果指示矩阵元素(k，1)处的阵列元素计数值至少等于阈值，则由该流程图描述的处理的流程进行到步骤S52611，在步骤S52611中，图像标志位图数据区域中所包括的如下的标志被复位，所述标志是与存储在和矩阵元素(k，1)处的阵列相关的阵列元素中的相对地址相对应的标志。也就是说，矩阵元素(k，1)被判断成是与背景中的位置相对应的矩阵元素。另一方面，如果在步骤S52610被执行的处理中产生的比较结果指示矩阵元素(k，1)处的阵列元素计数值小于阈值，则由该流程图描述的处理的流程通过跳过步骤S52611的处理而直接进行到步骤S52612。也就是说，矩阵元素(k，1)被确定为是与背景中的位置相对应的矩阵元素。

在步骤S52612中，行数k和列数1被更新，从而得到下一个矩阵元素(k，1)。然后，则由该流程图描述的处理的流程进行到步骤S52613，从而产生关于下一个矩阵元素(k，1)是否存在的判断结果，如果在步骤S52613中被执行的处理中产生的比较结果指示下一个矩阵元素(k，1)存在，则由该流程图描述的处理的流程返回到步骤S52610，以重复该步骤以及其后的步骤的处理。另一方面，如果在步骤S52613中被执行的处理中产生的比较结果指示下一个矩阵元素(k，1)不存在，则因为对于所有的矩阵元素都已经执行了至此所描述的处理，所以由该流程图描述的处理的流程进行到步骤S52614。

在步骤S52614中，图像标志位图数据区域52104中左边的具有被置位的标志的区域的中心坐标被计算出。图像标志位图数据区域52104中左边的具有被置位的标志的区域是不明物的区域。最后，在最后一个步骤S52615中，由该流程图描述的处理的执行结束。

在图30中示出的步骤S52502、S52503、S52504、S52505、S52506和S52507中被执行的处理是由图25中示出的图像处理装置52001中采用的特征量计算部件52013执行的处理。也就是说，这些处理是用于找到同时发生概率矩阵的处理。

在图30中示出的流程图的步骤S52508中被执行的处理以及在图31中示出的流程图的步骤S52609、S52610、S52611、S52612和S52613中被执行的处理是由图25中示出的图像处理装置52001中采用的像素判断部件52014执行的处理。也就是说，这些处理是用于确定不明物的地址的处理。

在图3 1中示出的流程图的步骤S52614被执行的处理是由图25中示出的图像处理装置52001中采用的像素集合判断部件52015执行的处理。也就是说，这些处理是用于找到其中存在不明物的区域的中心坐标的处理。

9：第7实施例

下面，说明本发明的第七实施例。

图32是大体上示出根据第七实施例的图像处理装置中使用的相对位置函数δ的示图。

根据第七实施例的图像处理装置的内部配置与图25中示出的根据第六实施例的图像处理装置的内部配置差别不大。然而，在第七实施例的情形中，多个相对位置函数δ被使用。然后，在相对位置函数δ的基础上，多个同时发生概率矩阵被创建。

通过将相对位置函数δ=(1，0°)作为示例，已经描述了根据第六实施例的图像处理装置。顺便提及，根据现有技术中的技术，在多个相对位置函数δ的基础上，多个同时发生概率矩阵也被创建。该技术仅仅是以高的精确度量子化由固定图案组成的图像的特征量的技术。

如图32清楚所示，在某个像素周围的位置处存在8个像素。用于这些像素的相对位置函数如下所述。

相对位置函数δ1是具有距离1和角度0°的相对位置函数δ1=(1，0°)。相对位置函数δ2是具有距离

和角度45°的相对位置函数δ1=(

，45°)。利用相同的表达方式，相对位置函数δ3是δ3：(1，90°)，相对位置函数δ4是δ4=(

，135°)，相对位置函数δ5是δ5=(1，180°)，相对位置函数δ6是δ6=(

，225°)，相对位置函数δ7是δ7=(1，270°)，相对位置函数δ8是δ8=(

,315°)。

也就是说，八个相对位置函数δ1到δ8可以被创建。通过利用八个相对位置函数δ1到δ8，八个同时发生概率矩阵可以被创建。

图33示出描绘由根据本实施例的图像处理装置执行的处理的流程的流程图。如图所示，该流程图以步骤S52801开始。然后，在下一步骤S52802中，计数器变量i被初始化为O。随后，由该流程图描述的处理的流程进行到步骤S52803，从而产生关于作为用于创建同时发生概率矩阵的规则的相对位置函数δ(i)是否存在的判断结果。

如果在步骤S52803执行的处理中的判断结果指示相对位置函数δ(i)存在，则由该流程图描述的处理的流程进行到步骤S52804，在步骤S52804中，相对位置函数δ(i)被设定。然后，在下一步骤S52805中，在基于该相对位置函数δ(i)的同时发生概率矩阵的基础上，特征量被计算。随后，在下一步骤S52806中，通过利用作为同时发生概率矩阵中阵列的数据而获得的数据，像素判断处理被执行。

在步骤S52805中被执行的处理等同于在图30中示出的流程图中的步骤S52503、S52504、S52505、S52506和S52507中的处理。

另一方面，在步骤S52806执行的处理等同于在步骤S52508中被执行的处理和在图31中示出的流程图中的步骤S52609、S52610、S52611、S52612和S52613中被执行的处理。

在步骤S52503中，输入图像位图上被观测的对象的地址a被设定为指向输入图像的头部。地址a是在输入图像位图中的相对地址，并且，在该步骤被执行的处理中，处理中的相对地址的初始值被设定。

也就是说，在步骤S52805和S52806中被执行的处理等同于在图30中的流程图中单点划线中包括的子例程R52522。在步骤S52805和S52806中被执行的处理中，同时发生概率矩阵中的阵列的数据被创建，并且在由被创建的数据组成的图像标志位图数据区域52104的基础上，不明物的像素被识别出。

当在步骤S52806中被执行的处理被完成时，由该流程图描述的处理的流程进行到步骤S52807，在步骤S52807中，计数器变量i被加1。然后，由该流程图描述的处理的流程返回到步骤S52803，以便产生关于相对位置函数δ(i)是否存在的判断结果。如果在步骤S52803中执行的处理中的判断结果指示相对位置函数δ(i)存在，由该流程图描述的处理的流程进行到相对位置函数δ(i)被设定的步骤S52804。其后，步骤S52805到步骤S52807的处理被执行。另一方面，如果在步骤S52803中执行的处理中的判断结果指示相对位置函数δ(i)不存在，该判断结果被解释成指示针对所有相对位置函数δ(i)的处理都已经完成的判断结果。在此情形下，由该流程图描述的处理的流程进行到步骤S52808。

在步骤S52808中，为相对位置函数δ(i)获得的所有i个图像标志位图被合成。

步骤S52808的处理一般是如下执行的：通过采用所有图像标志位图中的每个位的逻辑乘积，或者通过采用所有图像标志位图中的每个位的总和，并且将每个总和与适当的阈值进行比较，从而给出一个结果标志。通过执行该处理，可以以高的精确度判断出不明物的存在。

然后，在下一步骤S52809中，其中存在不明物的区域的中心坐标被计算。最后，在最后一个步骤S52810中，由该流程图描述的处理的流程的执行结束。

上面给出的描述被概括如下。

根据本实施例的图像处理装置52001的核心部件是通过软件的执行来操作的微型计算机。

当静止图像被提供给图像处理装置52001时，该图像被存储到RAM5205的输入图像位图数据区域52102中。稍后，通过采用基于同时发生概率矩阵的算法，阵列数据在同时发生概率矩阵阵列数据区域52103中被创建。然后，阈值从被创建的阵列数据中被计算出。与具有符合被计算出的阈值的阵列元素计数的矩阵元素相应的图像像素被判断为输入静止图像的背景的像素。随后，与具有符合被计算出的阈值的阵列元素计数的矩阵元素相应的图像像素的相对地址，被从用于矩阵元素的阵列数据中读出，同时，图像标志位图数据区域52104中包括的作为该相对地址处的标志的标志被置位。

通过执行上述步骤，在从输入静止图像生成的同时发生概率矩阵的基础上，可以将图像的背景与除了背景之外的其它部分相互区别开。

10：第八实施例

下面描述本发明的第八实施例。图34是示出由图像拍摄相机5202拍摄到的典型静止图像的示图。

读者需要对该典型静止图像与图27A中示出的图像进行比较。图27A中示出的图像包括作为不明物5304的部分，而在图34中示出的典型静止图像包括海滨52902和被建在海滨52902上的灯塔52903。虽然，海滨52902和灯塔52903中的每一个都很显然不是不明物，但是，通过原样采用根据第六实施例的技术，海滨52902和灯塔52903会处于它们被误认为是不明物的可能性的范围之内。这是因为，与整个图像相比，由海滨52902和灯塔52903占据的区域的尺寸是小的，以致于海滨52902和灯塔52903被认为是背景。为了解决此问题，有必要提前执行这样的处理：从创建同时发生概率矩阵的处理的对象中移除会被误认为是不明物的对象。

图35A是示出根据第八实施例的整个图像处理装置53001的示图。图35A中示出的图像处理装置53001几乎等同于图25中示出的图像处理装置52001。图35A中示出的作为图像处理装置53001的部件的一些部件具有与被采用在图25中的图像处理装置52001中的相似部件相同的功能。具有与相似部件相同功能的部件由与相似部件的标号相同的标号表示，并且，在下面的描述中未对具有与相似部件相同的功能的部件进行详细说明。

在主要处理的执行之前，基于拍摄操作中拍摄到的输入图像的数据，根据该实施例的图像处理装置53001执行提前经历辨认不明物的处理的对象中排除静态图像中的特定区域的处理。为了提前从经历辨认不明物的处理的对象中排除静态图像中的特定区域，通过将处理区域设定部件53002、显示部件53003和输入部件53004新增加到根据图25中示出的第六实施例的图像处理装置52001中，图像处理装置53001被设计出。

显示部件53003是相关技术中的LCD单元，而输入部件是相关技术中的鼠标。

基于由像素判断部件53104输出的处理结果，处理区域设定部件53002在保存在图像保存部件5212中的图像上放置看似不明物的区域，将看似不明物的区域和图像显示到显示部件53003上。然后，用户操作输入部件53004，以便在重叠的静态图像也呈现在显示部件53003上的状态中，指定显示部件53003上显示的区域作为要被排除的区域。

处理区域设定部件53002设定在特征量计算部件53013中要被排除的区域，以使得该区域从由特征量计算部件53013执行的用于计算同时发生概率矩阵的处理中被排除。

在图34示出的典型静止图像的情形下，处理区域设定部件53002在特征量计算部件53013中将海滨50902和灯塔52903的区域设定成要从由特征量计算部件53013执行的用于计算同时发生概率矩阵的处理中被排除的区域。特征量计算部件53013不对与要被排除的区域相应的像素执行计算同时发生概率矩阵的处理。也就是说，特征量计算部件53013被强制地将对要从由特征量计算部件53013执行的用于计算同时发生概率矩阵的处理中被排除的区域作为背景中的区域。

11：第九实施例

下面描述本发明的第九实施例。

图35B是示出根据第九实施例的整个图像处理装置53011的示图。图35B中示出的图像处理装置53011几乎等同于图35A中示出根据第八实施例的图像处理装置53001。图35B中示出的作为图像处理装置的部件的一些部件具有与被采用在图35A中的图像处理装置53001中的相似部件相同的功能。具有与相似部件相同功能的部件由与相似部件的标号相同的标号表示，并且在下面的描述中未对具有与相似部件相同功能的部件进行详细说明。

与图35A中的图像处理装置非常相似，在主要处理的执行之前，基于拍摄操作中拍摄到的输入图像的数据，根据该实施例的图像处理装置53011执行处理以提前从经历辨认不明物的处理的对象中排除输入图像中的特定区域。根据第九实施例的图像处理装置53011与根据第八实施例的图像处理装置53001的不同在于，图像处理装置53011自动设定要从静止图像中被排除的区域，从而操作者不需要指定这样的区域。由于此原因，图像处理装置53011不具有在图35A中显示的根据第八实施例的图像处理装置53001中采用的显示部件53003和输入部件53004。另外，处理区域设定部件53002也被连接到了像素集合判断部件53015上。

处理区域设定部件53002将从像素集合判断部件53015接收到的处理结果认为是要从由特征量计算部件53013执行的用于计算同时发生概率矩阵的处理中被排除的区域，并在特征量计算部件53013中对该区域进行设定。

特征量计算部件53013从特征量计算部件53013执行的用于计算同时发生概率矩阵的处理中排除了该区域。

根据到目前为止的第一、第二、第三、第四、第五、第六、第七、第八和第九实施例的图像处理装置都特别适用于监视具有诸如之前参考图27A和图34描述的大海的单个背景的环境。这样，在许多情形下，图像拍摄相机被旋转，从而能够监视广阔的区域。

图36A是示出了在各个实施例中采用的图像拍摄相机5202的内部视图的图。图36B是示出了图36A中所示的图像拍摄相机5202和图像处理装置5201的组合的框图。

如图36A所示，图像拍摄相机被安装在转动装置53102上，从而使图像拍摄相机5202能够监视广阔的区域。

如图36B所示，电机53103通过穿过被驱动而随着图像拍摄相机5202旋转的角度检测部件53105的轴53104，被连接到图像拍摄相机5202的内部部分上。角度检测部件53105一般是采用光学检测技术、磁学检测技术等的转速计传感器。

由角度检测部件53105生成的作为表示图像拍摄相机5202的旋转角度的检测信号被提供到作为图像处理装置5201的微型计算机中采用的总线5106上。这样，由图像拍摄相机5202生成的静止图像可以被存储到图像处理装置5201采用的RAM中，并且前述处理可以在预先确定的作为图像拍摄相机5202的旋转角度的每个旋转角度处被执行。

在第八和第九实施例的情形中，在上述作为图像拍摄相机的旋转角度的每个旋转角度处，设定了要从由特征量计算部件53103执行的用于计算同时发生概率矩阵的处理中被排除的区域。

下面所述的每个典型的实现方式可以被认为是用于上述任何实施例的替代。

(1)：微型计算机被PLD(可编程逻辑器件)替代。

(2)：在第一、第二和第三实施例中，可以增加排除处理，从而从计算特征量的处理中排除在图像中包括的作为容易被误认成不明物的部分的图像部分。

(3)：由第一、第二、第三、第四、第五、第六、第七、第八和第九实施例提供的特征可以全部在一个图像处理装置中被实现。在此情形下，作为为输入图像的图像部分提供的标志的值的根据第一到第九实施例的特征而计算的标志值被相互逻辑相乘，或者被经历加法处理，从而产生要被与阈值相比较的结果值，以便产生关于在输入的静止图像中是否存在不明物的判断结果。

(4)：由第八实施例的情形中的处理区域设定部件53002、显示部件53003和输入部件53004或者第九实施例的情形中的处理区域设定部件53002选择的要从由特征量计算部件53013执行的用于计算同时发生概率矩阵的处理中被排除的区域被设定在特征量计算部件53013。然而，要被排除的区域也可以在第八实施例的情形中的像素集合判断部件53015中或者第九实施例的情形中的特征量计算部件53013中被设定，从而得出相同的结果。也就是说，要被排除的区域被处理成为背景，并且被存储在图像标志位图数据区域52104中作为该区域的标志因此被复位。

(5)：在图26中示出的作为RAM 5205的布局图的布局图中，图像位图数据区域52102和图像标志位图数据区域52104被相互分开。然而，图像位图数据区域52102和图像标志位图数据区域52104也可以被结合，从而形成单个区域。

例如，对于图像的每个像素，数据结构可以被创建，作为包括辉度级别和像素标志的结构。利用这样的结构，像素的绝对地址可以被直接存储到阵列数据52301中。因此，相对地址计算处理是不需要的。

(6)：存在多种用于使要被存储到同时发生矩阵阵列区域52103中的同时发生概率矩阵结构化的可能的技术。例如，这些技术中的一种技术是通过利用在用于创建关系数据库的技术中或者利用如解释语言处理系统的perl等的技术中实现的关系阵列而实现的。

(7)：基本上，用于判断静止图像的水平图像部分的步骤可以根据图像来被任意选择。然而，理想的是使用于判断静止图像的水平图像部分的步骤自动化。因此，可以采用一种可能的技术，通过此种技术，聚类技术在前述第五实施例的情形中被应用到整个输入静止图像上。然后，随着多个相似的水平区域被辨认出，覆盖相似区域的水平图像部分被判断出。

在该实施例中，通过减小作为聚类技术的结果而获得的覆盖相似区域的水平图像部分的尺寸，我们可以期望可能使水平分割线与海天线一致。这意味着在水平图像部分中的每个被辨认为背景的对象的数量可以被减少。这样，可以预期提高的背景辨认率。

在上述的各个实施例中，与静止图像的背景不同的不明物可以从水平方向是均匀的而在垂直方向上是不均匀的图像中被检测出。这样的图像的一个示例是从远距离处拍摄到的作为自然风景图片的图片。由各个实施例提供的从图像中检测出与静止图像的背景不同的不明物的技术与基于现有技术中对当前图像和紧邻该当前图像的在前图像进行比较的技术不同。根据各个实施例提供的技术，通过利用当前的静止图像，与静止图像的背景不同的不明物可以从图像中被检测出。因此，各个实施例特别适用于图像拍摄相机被安装到允许相机在水平面上按照顺时针和逆时针方向旋转的转动装置基座上的监视配置中。

各个实施例采用了多种辨认存在于水平图像部分中的不明物的方法。利用这些实施例，即使大海、天空等会由于自然现象而移动，大海、天空等也可以被辨认为具有恒定特性的背景。背景的范围包括由于自然现象而移动的背景。

这样，通过利用根据各个实施例的图像处理装置结合图像拍摄相机，可以提供一种监视系统，与相关技术中的技术相比，在这种监视系统中，诸如大海、天空等的背景可以在诸如大海的波浪和天空的云等的自然现象不被错误地辨认为不明物的情况下而被很好地辨认出。

本发明的各个实施例已经被描述。然而，本发明的范围决不限于这些实施例。换句话说，只要其它经修改的描述和其它实现方式不脱离本发明的权利要求章节以及说明书中的描述，其它经修改的描述和其它实现方式也被包括在各个实施例的范围内。

另外，本领域的技术人员应当理解，在所附权利要求和其等同物的范围内，根据设计和其它因素，可以出现多种修改、组合、次组合和替代。

本发明包含于2006年8月31日向日本专利局提交的日本专利申请JP2006-236145以及于2006年9月20日向日本专利局提交的日本专利申请JP 2006-254817的主题，这些申请的全部内容通过引用结合于此。

Claims (20)

1.一种图像处理装置，包括：

图像保存部件，被配置用于存储输入图像；

图像分割部件，被配置用于将存储在所述图像保存部件中的所述输入图像分割成多个具有相同大小和相同形状的图像部分；

特征量计算部件，被配置用于计算由所述图像分割部件生成的每个所述图像部分的特征量；以及

差值计算部件，被配置用于执行差值计算处理以及判断处理，所述差值计算处理计算作为由所述图像分割部件生成的所述图像部分中的每个单独的图像部分的特征量的由所述特征量计算部件计算得到的所述特征量与预先确定的值之间的差值，所述判断处理基于所述差值，产生关于所述单独的图像部分是否是所述输入图像的背景的一部分的判断结果。

2.根据权利要求1所述的图像处理装置，其中，所述预先确定的值是从所述背景选出的样本的特征量。

3.根据权利要求1所述的图像处理装置，其中，所述预先确定的值是组成所述输入图像的所有所述图像部分的所述特征量的平均值。

4.根据权利要求1所述的图像处理装置，其中，

所述图像部分中的任意两个图像部分之间的所述特征量的差值被计算，以便产生关于所述两个图像部分是否彼此相似的判断结果，

对于由所述图像分割部件生成的所述图像部分，基于所述判断结果的分组处理被执行，以便生成每个都是由相似的图像部分组成的组，以及

每个都是由相似的图像部分组成的所述组中的每个单独的组被检查，以便产生关于是所述单独的组是否是构成所述背景的相似的图像部分的组的判断结果。

5.根据权利要求1所述的图像处理装置，

其中，所述图像分割部件包括

水平图像分割部件，被配置用于将所述输入图像分割成多个水平图像部分，以及

小水平图像分割部件，被配置用于将由所述水平图像分割部件生成的每个所述水平图像部分分割成多个具有相同大小和相同形状的小图像部分

其中，所述差值计算部件针对作为包括所述小图像部分的水平图像部分的由所述水平图像分割部分生成的所述水平图像部分中的一个水平图像部分，通过利用所述预先确定的值，对由所述小水平图像分割部件生成的所述小图像部分中的每个单独的小图像部分执行所述差值计算处理和所述判断处理。

6.根据权利要求1所述的图像处理装置，所述图像处理装置还包括：

图像部分标志保存部件，被配置用于存储被重复执行的所述判断处理的结果；以及

不明物移动距离/方向计算部件，被配置用于通过比较作为在不同时间执行的所述判断处理的所述结果的被存储在所述图像部分标志保存部件中的多个结果，来计算不明物的移动的距离和方向。

7.一种图像处理方法，包括以下步骤：

将输入图像分割成多个具有相同大小和相同形状的图像部分；

计算在所述图像分割步骤中生成的每个所述图像部分的特征量；

计算作为在所述图像分割步骤中生成的所述图像部分中的每个单独的图像部分的特征量的在所述特征量计算步骤中计算得到的所述特征量与预先确定的值之间的差值；以及

基于在所述差值计算步骤中计算出的所述差值，判断所述单独的图像部分是否是所述输入图像的背景的一部分。

8.一种图像处理程序，包括：

图像分割功能，被配置用于将输入图像分割成多个具有相同大小和相同形状的图像部分；

特征量计算功能，被配置用于计算通过所述图像分割功能生成的每个所述图像部分的特征量；

差值计算功能，被配置用于计算作为通过所述图像分割功能生成的所述图像部分中的每个单独的图像部分的特征量的通过所述特征量计算功能计算得到的所述特征量与预先确定的值之间的差值；以及

判断功能，被配置用于基于通过所述差值计算功能计算得到的所述差值，产生关于所述单独的图像部分是否是所述输入图像的背景的一部分的判断结果。

9.一种图像处理装置，包括：

图像保存部件，被配置用于存储输入图像；

水平图像分割部件，被配置用于将存储在所述图像保存部件中的所述输入图像分割成多个水平图像部分；以及

图像部分判断部件，被配置用于针对由所述水平图像分割部件生成的每个所述水平图像部分，产生关于不明物是否存在的判断结果。

10.根据权利要求9所述的图像处理装置，其中，所述图像部分判断部件包括：

小图像分割部件，被配置用于将由所述水平图像分割部件生成的每个所述水平图像部分分割成多个具有相同大小和相同形状的小图像部分；

特征量计算部件，被配置用于计算由所述小图像分割部件生成的每个所述小图像部分的特征量；以及

差值计算部件，被配置用于执行差值计算处理以及判断处理，所述差值计算处理计算作为由所述小图像分割部件生成的所述小图像部分中的每个单独的小图像部分的特征量的由所述特征量计算部件计算得到的所述特征量与从所述输入图像的背景选出的样本的特征量之间的差值，所述判断处理基于所述差值，产生关于所述单独的小图像部分是否是所述输入图像的背景的一部分的判断结果。

11.根据权利要求9所述的图像处理装置，其中，所述图像部分判断部件包括：

小图像分割部件，被配置用于将由所述水平图像分割部件生成的每个所述水平图像部分分割成多个具有相同大小和相同形状的小图像部分；

特征量计算部件，被配置用于计算由所述小图像分割部件生成的每个所述小图像部分的特征量；以及

差值计算部件，被配置用于执行差值计算处理以及判断处理，所述差值计算处理计算作为针对由所述水平图像部分生成的所述水平图像部分中的每个单独的水平图像部分而由所述小图像分割部件生成的所述小图像部分中的每个单独的小图像部分的特征量的由所述特征量计算部件计算得到的所述特征量与所述单独的水平图像部分中的所述小图像部分的特征量的平均值之间的差值，所述判断处理基于所述差值，产生关于所述单独的小图像部分是否是所述单独的水平图像部分的背景的一部分的判断结果。

12.根据权利要求9所述的图像处理装置，其中，所述图像部分判断部件包括：

小图像分割部件，被配置用于将由所述水平图像分割部件生成的每个所述水平图像部分分割成多个具有相同大小和相同形状的小图像部分；

特征量计算部件，被配置用于计算由所述小图像分割部件生成的每个所述小图像部分的特征量；以及

聚类处理部件，被配置用于通过下述处理来执行分组处理：

执行差值计算处理，所述差值计算处理计算由所述特征量计算部件计算得到的所述特征量中，作为由所述小图像分割部件生成的所述小图像部分中的每个单独的小图像部分的特征量以及所述小图像部分中与所述单独的小图像部分相邻的小图像部分的特征量的任意两个特征量之间的差值，

执行判断处理，所述判断处理基于所述差值计算处理中计算得到的差值，产生关于所述单独的小图像部分和与所述单独的小图像部分相邻的所述小图像部分是否彼此相似的判断结果，以及

如果在所述判断处理中产生的所述判断结果指示所述单独的小图像部分和与所述单独的小图像部分相邻的所述小图像部分彼此相似，则将所述单独的小图像部分和与所述单独的小图像部分相邻的所述小图像部分置入一个组中。

13.根据权利要求9所述的图像处理装置，其中，所述图像部分判断部件包括：

特征量计算部件，被配置用于计算由水平图像分割部件生成的每个所述水平图像部分的同时发生概率矩阵；

像素判断部件，被配置用于将组成由所述特征量计算部件计算得到的所述同时发生概率矩阵的矩阵元素中的每个单独的矩阵元素的值与预先确定的阈值相比较，以便产生关于与所述单独的矩阵元素相对应的像素是否是背景的像素的判断结果；以及

像素集合判断部件，被配置用于基于由所述像素判断部件产生的所述判断结果，产生关于不明物是否存在的判断结果。

14.根据权利要求13所述的图像处理装置，其中，由所述特征量计算部件为由所述水平图像分割部件生成的所述水平图像部分中的每个单独的水平图像部分计算得到的所述同时发生概率矩阵的每个矩阵元素素是包括组成在所述单独的水平图像部分中的图像数据的像素中的一个像素的地址的阵列。

15.一种图像处理方法，包括以下步骤：

将输入图像分割成多个水平图像部分；以及

针对在所述水平图像分割步骤中生成的每个所述水平图像部分，产生关于不明物是否存在或不存在的判断结果。

16.根据权利要求15所述的图像处理方法，其中，所述图像部分判断步骤包括以下步骤：

将在所述水平图像分割步骤中生成的每个所述水平图像部分分割成多个具有相同大小和相同形状的小图像部分；

计算在所述小图像分割步骤中生成的每个所述小图像部分的特征量；

计算作为在所述小图像分割步骤中生成的所述小图像部分中的每个单独的小图像部分的特征量的在所述特征量计算步骤中计算得到的所述特征量与预先确定的值之间的差值；以及

基于在所述差值计算步骤中计算得到的所述差值，判断所述单独的小图像部分是否是所述输入图像的背景的一部分。

17.根据权利要求15所述的图像处理方法，其中，所述图像部分判断步骤包括以下步骤：

通过利用预先确定的相对位置函数，评价在所述水平图像分割步骤中生成的所述水平图像部分中的每个单独的水平图像部分的每个像素，以便为所述单独的水平图像部分生成同时发生概率矩阵，

将组成在所述水平图像分割步骤中生成的所述水平图像部分中的每个单独的水平图像部分的像素中的每个单独的像素的地址，存储到作为与所述单独的像素相应的矩阵元素的在所述像素评价步骤中针对所述单独的水平图像部分而生成的所述同时发生概率矩阵中所包括的矩阵元素中；

将组成在所述像素评价步骤中生成的所述同时发生概率矩阵的矩阵元素素中的每个单独的矩阵元素的值与预先确定的阈值相比较；以及

基于在所述矩阵元素比较步骤中产生的比较结果，产生关于与所述单独的矩阵元素相对应的像素是否是背景的像素的判断结果。

18.一种图像处理程序，包括：

水平图像分割功能，被配置用于将输入图像分割成多个水平图像部分；以及

图像部分判断功能，被配置用于针对通过所述水平图像分割功能生成的每个所述水平图像部分，产生关于不明物是否存在的判断结果。

19.根据权利要求18所述的图像处理程序，其中，所述图像部分判断功能包括：

小图像分割功能，被配置用于将通过所述水平图像分割功能生成的每个所述水平图像部分分割成多个具有相同大小和相同形状的小图像部分；

特征量计算功能，被配置用于计算通过所述小图像分割功能生成的每个所述小图像部分的特征量；

差值计算功能，被配置用于计算作为通过所述小图像分割功能生成的所述小图像部分中的每个单独的小图像部分的特征量的通过所述特征量计算功能计算得到的所述特征量与预先确定的值之间的差值；

判断功能，被配置用于基于通过所述差值计算功能计算得到的差值，产生关于所述单独的小图像部分是否是所述输入图像的背景的一部分的判断结果。

20.根据权利要求18所述的图像处理程序，其中，所述图像部分判断功能包括：

函数准备功能，被配置用于准备一个或多个相对位置函数；

像素评价功能，被配置用于通过利用通过所述函数准备功能而准备的所述相对位置函数中的至少一个相对位置函数，评价通过所述水平图像分割功能生成的所述水平图像部分中的每个单独的水平图像部分中的每个像素，以便为所述单独的水平图像部分生成同时发生概率矩阵；

地址存储功能，地址存储功能将组成通过所述水平图像分割功能生成的所述水平图像部分中的每个单独的水平图像部分的像素中的每个单独的像素的地址，存储到作为与所述单独的像素相应的矩阵元素的通过所述像素评价功能针对所述单独的水平图像部分而生成的所述同时发生概率矩阵中所包括的矩阵元素中；

矩阵元素素比较功能，被配置用于将组成通过所述像素评价功能生成的所述同时发生概率矩阵的矩阵元素中的每个单独的矩阵元素的值与预先确定的阈值相比较；以及

像素集合判断功能，被配置用于如果所述单独的矩阵元素的所述值达到所述预先确定的阈值，则产生与所述单独的矩阵元素相应的像素是背景的像素的判断结果。

Images