CN1874418A - 图像处理设备、图像处理方法以及图像处理程序 - Google Patents

图像处理设备、图像处理方法以及图像处理程序 Download PDF

Info

Publication number
CN1874418A
CN1874418A CNA2006100877555A CN200610087755A CN1874418A CN 1874418 A CN1874418 A CN 1874418A CN A2006100877555 A CNA2006100877555 A CN A2006100877555A CN 200610087755 A CN200610087755 A CN 200610087755A CN 1874418 A CN1874418 A CN 1874418A
Authority
CN
China
Prior art keywords
brightness
pixels
value
image
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2006100877555A
Other languages
English (en)
Other versions
CN100474891C (zh
Inventor
三轮祥子
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN1874418A publication Critical patent/CN1874418A/zh
Application granted granted Critical
Publication of CN100474891C publication Critical patent/CN100474891C/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance

Abstract

一种图像处理设备，包括：图像捕捉单元，被配置为捕捉时间上连续的图像；计算单元，被配置对多个亮度分布的权重进行计算；分类单元，被配置为将一个或多个像素的亮度随时间变化的状态分为多个类型；类型转变判断单元，被配置为对亮度变化状态随时间的转变进行判断；基准亮度值更新单元，被配置为对所述一个或多个像素的基准亮度值进行更新；亮度变化检测单元，被配置为对所述一个或多个像素的亮度是否已经变化进行检测；以及检测到的变化存储单元，被配置为存储对已经出现变化的图像中的所述一个或多个像素的位置进行识别的信息以及关于出现变化的时刻的信息。

Description

图像处理设备、图像处理方法以及图像处理程序
相关申请的交叉引用
本发明包含与于2005年5月30日在日本专利局提交的日本专利申请JP 2005-157588有关的主题，这里将其全部内容引用为参考。
技术领域
本发明涉及对随着时间的经过出现在图像中并且停留在其中或者从图像中消失的物体(图像部分)进行检测的图像处理设备、图像处理方法以及图像处理程序。
背景技术
传统上，已经提出了通过基于通过摄像机得到的视频数据的图像处理，对已经出现在监视区域中并停留在监视区域中、或者已经从监视区域中消失的物体(以下称为非移动物体)进行检测的图像处理设备。
例如，专利文献1(日本专利No.2913882)提出了对道路上的障碍物或者坠落物进行检测的方法和设备。在这种已知技术中，根据对于在连续更新的基准背景图像与捕捉的图像之间的差异而言的加/减符号的变化，对道路上物体的出现和消失进行判断和检测。
可以利用各种方法对基准背景图像进行更新，其中的一个方法是指数平滑法(exponential smoothing)。在指数平滑法中，按照图17中所示的表达式(1)表示的方式对背景图像Bt进行更新。这里，背景图像Bt在时刻t获得，输入图像为Ct，平滑常数(smoothing constant)为α(0≤(≤1)。
在指数平滑法中，通过使平滑常数(增大，可以降低输入图像的影响。此外，当在输入图像中存在移动物体时，会降低输入图像的影响。但是，如果在输入图像中存在许多移动物体，则输入图像的影响就变得明显了。
为了解决这个问题，可以将正态分布加权混合(weighted mixtureof normal distributions)用于对基准背景图像进行更新。在使用正态分布加权混合的方法中，对每个像素的亮度随时间的变化进行检测。以下对其细节进行描述。
一般情况下，可以由图17中所示的表达式(2)表示当前(时刻t)像素的亮度Xt的概率(probability)P(Xt)。可以由图17中所示的表达式(3)表示表达式(2)中的概率密度函数η。此时，假设由图17中所示的表达式(4)表示协方差矩阵(covariance matrix)∑k，t。
在使用正态分布加权混合的方法中，对每个像素的亮度是否属于k(k为正整数)个正态分布中的任何一个进行判断。例如，当每个像素的亮度数据为8位图像数据时，提供了图18A所示的四个亮度正态分布，并且对每个像素的亮度属于这四个亮度正态分布中的哪个亮度正态分布进行判断。
例如，对像素的亮度Xt是否在亮度正态分布的平均值μk±2σk的范围内进行判断。如果亮度Xt在该范围内，则判定亮度Xt属于该亮度正态分布。否则，判定亮度Xt不属于该亮度正态分布。如果亮度Xt不属于这些亮度正态分布中的任何一个亮度正态分布，则用此时的像素亮度Xt代替在k个亮度正态分布当中的、(以下描述的)权重最小的亮度正态分布的平均值μ。
然后，对于每个像素，对各个亮度正态分布的权重ωk，t进行更新，使得像素亮度Xt所属的亮度正态分布的权重变大，而其它亮度正态分布的权重变小。具体地说，按照图17中所示的表达式(5)，对像素亮度Xt所属的亮度正态分布的权重ωk，t进行更新，而按照图17中所示的表达式(6)，对其它亮度正态分布的权重ωk，t进行更新。在表达式(5)和(6)中，α为对权重进行更新的速度。
根据图17中所示的表达式(7)、(8)和(9)，对各个亮度正态分布的平均值μt和方差σ进行更新。
这样，如图18B所示，对于每个像素，对关于多个亮度正态分布的各个权重ωk，t的信息进行更新。按照这个方法得到的、最大权重的亮度正态分布的平均值基本表示在除了移动物体之外的静止图像部分中的像素亮度。
因此，通过对最大权重的亮度正态分布的平均值的变化进行监控，可以在不受移动物体的影响的情况下，对物体已经移动并且消失的状态以及物体已经出现并且停止的状态进行检测。此外，通过对各个像素的检测结果在位置上进行组合，可以将非移动物体检测为图像部分的一块(block)。
发明内容
在利用正态分布加权混合对背景图像进行更新的上述方法中，如果通过对最大权重的亮度正态分布的平均值的变化进行监控来对非移动物体进行检测，并且，如果亮度频繁变化，例如由风引起的树枝摇动或者水面上的波纹等，则亮度的频繁变化会引起错误检测，在这样的错误检测中，对非移动物体频繁进行检测。
以下参照多个亮度正态分布当中的、具有较大两个权重(uppertwo weight)的两个正态分布的权重的变化，对这个问题进一步进行讨论。
例如，假设汽车进入摄像机监控的区域并且停留在其中。在这种情况下，当沿着时间方向对汽车已经停留的图像区域中的像素亮度进行监控时，像素的亮度从背景的像素亮度变为汽车的像素亮度。在这样的条件下，图19示出了上述的正态分布加权混合的较大两个权重的变化。
在图19中，f1(w1_t，m1_t)代表在时刻t，具有权重w1_t和亮度(亮度正态分布的平均值)m1_t的背景，而f2(w2_t，m2_t)代表在时刻t，具有权重w2_t和亮度(亮度正态分布的平均值)m2_t的汽车。随着时间t流逝，按照表达式(5)、(6)和(7)，对权重和亮度(亮度正态分布的平均值)进行更新。
如图19所示，最初，背景的权重w1_t最大，在汽车已经停止之后，汽车的权重w2_t逐渐增大，背景的权重w1_t随之减小，最终，汽车的权重w2_t变为最大。因此，通过对最大权重的亮度正态分布的平均值(亮度)的变化进行检测，即，通过对图19所示的m1_t与m2_t之间的差异进行检测，能够辨别出目标像素已经从背景变为停止的汽车。
图20示出了在汽车经过监控区域的情况下，具有较大两个权重的亮度正态分布的权重的变化。与图19相同，f1(w1_t，m1_t)代表背景，而f2(w2_t，m2_t)代表汽车。
如图20所示，在汽车经过监控区域时，在目标像素中，汽车的权重增大，而背景的权重减小。但是，在汽车已经通过监控区域并且目标像素已经返回到背景之后，背景的权重立即恢复。在这种情况下，只要汽车的速度不低，则最大权重的分布不变，因而目标像素的亮度不变。
这样，通过对最大权重的亮度正态分布的平均值的变化进行监控(像素的亮度值)，可以在不受移动物体的影响的情况下，在监控区域中，对物体已经移动并消失的状态以及物体已经移动并停止的状态进行检测。
但是，如果亮度按照规则间隔频繁变化，例如，树枝摇动或水面波纹，则较大两个权重的亮度正态分布的权重按照图21所示的方式变化，即，最大权重在这两个权重之间不断变化，这会引起错误检测。
考虑到这些情况，提出了本发明，并且，本发明的目的是提供一种能够在防止上述错误检测的同时、对非移动物体进行检测的图像处理设备和图像处理方法。
根据本发明实施例的图像处理设备包括：图像捕捉单元，被构造为捕捉时间上连续的图像；计算单元，被构造为通过以由所述图像捕捉单元捕捉的图像的一个或多个像素为单位，对所述一个或多个像素的亮度是否属于多个亮度分布中的任何一个进行判断，并且通过使亮度所属的亮度分布的权重逐渐增大并使其它亮度分布的权重逐渐减小，对所述多个亮度分布的权重进行计算；分类单元，被构造为根据由所述计算单元计算出的、亮度分布的权重，将所述一个或多个像素的亮度随时间变化的状态分为多个类型，所述多个类型至少包括：所述一个或多个像素的亮度稳定在预定范围内的稳定类型、难以对所述一个或多个像素的亮度所属的亮度分布进行判断的不稳定类型，以及在所述稳定类型与所述不稳定类型之间的中间类型；类型转变判断单元，被构造为以所述一个或多个像素为单位，对由所述分类单元分类的亮度变化状态随时间的转变进行判断；基准亮度值更新单元，被构造为当所述一个或多个像素的亮度随时间变化的状态属于所述稳定类型时，通过获得具有最大权重的亮度分布的代表亮度值，根据经过的时间，对所述一个或多个像素的基准亮度值进行更新；亮度变化检测单元，被构造为通过在亮度变化检测定时，对所述基准亮度值与多个亮度分布当中的、具有最大权重的亮度分布的代表亮度值进行比较，来检测所述一个或多个像素的亮度是否已经变化，其中，所述亮度变化检测定时是在由所述类型转变判断单元判定的随时间的转变的过程中，类型从不稳定类型经过中间类型变到稳定类型的时间点；以及检测到的变化存储单元，用于当所述亮度变化检测单元检测到亮度变化时，存储对已经出现变化的图像中的所述一个或多个像素的位置进行识别的信息以及关于出现变化的时间的信息。根据存储在所述检测到的变化存储单元中的信息，对随着时间的经过出现在图像中并停留在其中或者从图像中消失的图像部分进行检测。
计算单元以一个或多个像素为单位，对多个亮度分布的权重进行计算。分类单元根据由计算单元计算出的、亮度分布的权重，进行分为多个类型的分类，这些类型至少包括稳定类型、中间类型和不稳定类型。
类型转变判断单元对由分类单元分类的状态随时间的转变进行判断，并且，将类型从不稳定类型经过中间类型变到稳定类型的时间点设置为亮度变化检测定时。
在亮度变化检测定时，亮度变化检测单元将多个亮度分布当中的、具有最大权重的亮度分布的代表亮度值与基准亮度值进行比较，从而对一个或多个像素的亮度是否已经变化进行检测，其中，基准亮度值是当一个或多个像素的亮度随时间变化的状态属于稳定类型时，具有最大权重的亮度分布的代表亮度值。
当亮度变化检测单元检测到亮度变化时，检测到的变化存储单元存储对已经出现变化的图像中的一个或多个像素的位置进行识别的信息以及关于出现变化的时间的信息。根据存储的信息，对随时间经过出现在图像中并停留在其中或者从图像中消失的图像部分进行检测。
根据本发明的实施例，不是简单地将注意力集中在最大权重的亮度分布的平均值的变化上，而是对当类型从不稳定类型经过中间类型变到稳定类型时出现的亮度变化进行检测。因此，当亮度随树枝摇动或水面上波纹不断变化时，不将该变化检测为非移动物体的亮度变化，因而能够防止错误检测。
根据本发明的实施例，能够在当亮度不断变化时，例如树枝摇动或水面上波纹时，在不错误地检测亮度变化的情况下，对图像中的非移动物体进行检测。
附图说明
图1为示出了根据本发明实施例的图像处理设备的功能框图；
图2为示出了使用根据本发明实施例的图像处理设备的监控系统的配置的示例的框图；
图3例示了根据本发明实施例的图像处理方法的主要部分；
图4例示了根据本发明实施例的图像处理方法的主要部分；
图5例示了根据本发明实施例的图像处理方法的主要部分；
图6例示了根据本发明实施例的图像处理方法的主要部分；
图7为例示了根据图像处理方法的图像处理操作的流程图；
图8为例示了根据图像处理方法的图像处理操作的流程图；
图9为例示了根据图像处理方法的图像处理操作的流程图；
图10为例示了根据图像处理方法的图像处理操作的流程图；
图11为例示了根据图像处理方法的图像处理操作的流程图；
图12为例示了根据图像处理方法的图像处理操作的流程图；
图13为例示了根据图像处理方法的图像处理操作的流程图；
图14为例示了根据图像处理方法的图像处理操作的流程图；
图15为例示了根据图像处理方法的图像处理操作的流程图；
图16为例示了根据图像处理方法的图像处理操作的流程图；
图17用于说明在图像处理方法中使用的正态分布加权混合；
图18A和18B用于说明在图像处理方法中使用的正态分布加权混合；
图19用于说明在图像处理方法中使用的正态分布加权混合；
图20用于说明在图像处理方法中使用的正态分布加权混合；并且
图21用于说明在图像处理方法中使用的正态分布加权混合。
具体实施方式
以下将参照附图，对根据本发明实施例的图像处理设备和图像处理方法进行描述。
在根据以下描述的实施例的图像处理设备和图像处理方法中，通过利用上述的正态分布加权混合对背景图像进行更新，从由监控摄像机拍摄的监控区域的图像中检测出非移动物体。因此，在本实施例中，亮度分布的代表亮度值为该分布中的亮度平均值。
图2为示出了包括根据本实施例的图像处理设备的监控摄像机系统的配置的示例的框图。该系统构成了用于对监控区域中的非移动物体进行检测的设备。
在图2中，监控摄像机11被放置在适合于对监控区域进行拍摄的位置。由监控摄像机11拍摄的监控区域的图像的亮度信息Y被提供给A/D转换器12，在此，亮度信息Y被转换为数字图像信号DY，在数字图像信号DY中，每个像素由三原色(RGB)信号的数据组成。数字图像信号DY被提供给与根据本实施例的图像处理设备对应的图像处理单元13。
在本实施例中，图像处理单元13包括一台计算机。具体地说，图像处理单元13包括通过总线101连接到程序ROM(只读存储器)102、用作工作区的RAM(随机存取存储器)103、I/O(输入/输出)端口104和105，以及存储器接口106的CPU(中央处理单元)100。
通过I/O端口104，将来自A/D转换器12的数字图像信号DY输入到系统总线101。从图像处理单元13输出的非移动物体检测结果通过I/O端口105提供给非移动物体检测通知单元14。如果从图像处理单元13输出的结果表示已经检测到非移动物体，则非移动物体检测通知单元14通过输出告警或者在显示单元上显示消息，通知用户已经检测到非移动物体。
存储器接口106连接到图像存储器15。图像存储器15暂时存储在图像处理单元13进行用于检测非移动物体的图像处理(以下描述)期间生成的图像数据。
ROM 102存储用于执行以下描述的、对非移动物体进行检测的图像处理的程序。CPU 100通过将RAM 103用作工作区，执行根据该程序的图像处理。
根据本实施例的、对非移动物体进行检测的图像处理方法基本上与上述的已知方法相同。即，通过计算正态分布加权混合，对背景图像进行更新，对作为最大权重的亮度正态分布的平均值的亮度的变化进行检测，由此检测出非移动物体。但是，在以下方面，根据本实施例的方法与现有技术不同。
在本实施例中，不是每当最大权重的亮度正态分布变化时，都对亮度变化进行检测，而是仅当背景图像的亮度确实要变化时，才对亮度变化进行检测。
在本实施例中，根据由正态分布加权混合计算单元计算出的亮度正态分布的权重，将每个像素的亮度随时间变化的状态分为多种类型，这些类型至少包括：(1)稳定类型，其中，像素的亮度稳定在预定范围内；(2)不稳定类型，其中，难以确定像素亮度属于哪个亮度正态分布；以及(3)中间类型，在稳定类型与不稳定类型之间。在本例中，将亮度随时间变化的状态分至稳定类型、中间类型和不稳定类型中的任意一种。
然后，对类型随时间的转变(temporal transition)进行判断。当类型从不稳定类型通过中间类型变到稳定类型时，将稳定类型中的适当点确定为亮度变化检测定时。按照亮度变化检测定时，将作为在多个亮度正态分布当中的最大权重的亮度正态分布的代表亮度值的平均亮度值，与作为像素亮度的基准亮度值进行比较。由此，对像素亮度是否已经变化进行检测。然后，根据关于亮度变化的检测结果，对非移动物体进行检测。
可以将各种方法用作分类方法，例如，可以根据多个分布的权重之间的关系进行分类。在本实施例中，根据具有较大两个权重的两个亮度正态分布的权重之间的关系，具体地说，根据较大两个权重之间的比值，进行分类。在本实施例中，根据由以下表达式表示的比值“r”的值进行分类：比值r＝wb/ws...表达式(10)，其中，“wb”是较大两个权重中较大的权重，而“ws”是较小的权重。
在这种情况下，当比值r为1或接近1时，难以确定像素亮度属于较大两个亮度正态分布中的哪个亮度正态分布，因此，亮度随时间变化的状态属于不稳定类型。
当比值r为预定值或更大时，在较大两个亮度正态分布的权重之间存在明显差异。因此，能够可靠地判断像素亮度属于哪个亮度正态分布，因而亮度随时间变化情况属于稳定类型。稳定类型与不稳定类型之间的中间状态为中间类型。
通过试验和误差，确定用于对比值r进行每种分类的阈值。在本例中，
不稳定类型：1≤r＜1.1-1.2；
中间类型：1.1-1.2≤r＜1.5；以及
稳定类型：1.5≤r...表达式(11)。
关于在图19所示的、一辆汽车已经进入监控区域并且停留在那里的上述的情况下的较大两个权重的变化，图3示出了三种类型。在本实施例中，当较大的权重在上面的两个权重之间交替时，并且，当亮度随时间变化的状态按照不稳定类型、中间类型以及稳定类型的顺序变化时，稳定类型期间的适当点被称为亮度变化检测定时。
在图3所示的示例中，当在时刻t2(在该时刻，类型从不稳定类型经过中间类型变到稳定类型)之后经过了预定时间段之后到达的时刻t3被当作亮度变化检测定时。时刻t3而不是时刻t2被当作亮度变化检测定时，因此，检测不到亮度在已经变到稳定类型之后不久又返回到中间类型的物体。
然后，在亮度变化检测定时，作为多个亮度正态分布当中的、最大权重的亮度正态分布的代表亮度值的平均亮度值被检测为处在稳定类型中的像素亮度值，即，变化之后的像素亮度值。
然后，将检测的亮度值(以下称为变化后亮度值)与变化之前的亮度值(以下称为基准亮度值)进行比较。如果两个亮度值之间存在明显差异，即，如果变化后亮度值与基准亮度值属于不同的亮度正态分布，则判断像素已经从背景变到另一个物体(非移动物体)。
根据本实施例的、用于检测非移动物体的方法，在如图20所示的树枝摇动或水面上波纹等亮度频繁变化的情况下的、较大两个权重的变化引起在不稳定类型与中间类型之间变化，如图4所示。在这种情况下，不出现亮度变化检测定时，因而能够防止检测错误。
这里，在图3中所示的时刻t3得到的变化后亮度值可以被用作基准亮度值。然而，在这种情况下，如果稳定类型持续很长时间，则基准亮度值变得过时。
如果在时刻t3得到的亮度值一直被用作基准亮度值，则即使是短暂停留(停止)之后又移动的物体也被检测为非移动物体。在与上述的树枝摇动或水面上波纹相似的情况下，应该防止在时刻t3出现亮度变化检测定时。
即，如果基准亮度值被更新为在亮度变化检测定时得到的变化后亮度值，并且，如果物体短暂停留，其亮度随时间变化的状态短时间属于稳定类型，然后变到不稳定类型，如图5所示，则将物体已经消失的背景的亮度与在下一个亮度变化检测定时的物体亮度进行比较，从而物体被检测为非移动物体。换句话说，在图5所示的示例中，时刻t3和时刻t6为亮度变化检测定时。但是，由于在时刻t3和时刻t6的具有最大权重的分布不同，因此在时刻t6检测到非移动物体。
在本实施例中，用于获得变化后亮度值的亮度变化检测定时与用于对基准亮度值进行更新的定时不同。当物体只短时间停留时，不更新基准亮度值。即，不将短时间停留的物体的亮度值反映到基准亮度值上，并且，基准亮度值保持为物体进入之前的、背景的值。因此，短时间停留的物体不会被检测为非移动物体。
此外，在本实施例中，获得亮度即将变化之前的目标像素的亮度值作为基准亮度值，因而可以使用最新的基准亮度值。为此，类型从稳定类型经过中间类型变到不稳定类型的时刻被当作更新定时。在更新定时，获得权重最大的亮度正态分布的平均值，作为基准亮度值，由此对基准亮度值进行更新。在图3所示的示例中，更新定时为时刻t1。
以下对当物体只短时间停留时不对基准亮度值进行更新的方法进行描述。即，从获得变化后亮度值的亮度变化检测定时开始，也就是从像素的亮度值变化的时刻开始，直到经过预定时间段为止，即使下一个亮度更新定时来到，也禁止对基准亮度值进行更新。因此，只短时间停留的物体不被检测为非移动物体。
在图5中，类型从稳定类型经过中间类型变到不稳定类型的时刻t1为用于更新基准亮度值的定时。在该定时，权重最大的亮度正态分布的平均值被设定为基准亮度值。
在图5所示的示例中，在时刻t1之后的亮度变化检测定时的时刻t3，获得权重最大的亮度正态分布的平均值，以便得到变化后亮度值。将变化后亮度值与基准亮度值进行比较，由此对某物体已经进入监控区域的状态进行识别。但是，如以下所述，在某物体已经进入监控区域的情况下，不输出表示已经检测到非移动物体的检测结果，而在该物体在监控区域中已经停留了预定时间段之后，输出表示已经检测到非移动物体的检测结果。
当类型从稳定类型经过中间类型变到不稳定类型时，如果时刻t3到时刻t4的时间段比预定停留时间段短，则在时刻t4不对基准亮度值进行更新。因此，基准亮度值被保持为在时刻t1更新的背景亮度值，而不被更新为已经进入监控区域的物体的亮度值。
在时刻t4之后，在类型从不稳定类型经过中间类型变到稳定类型的亮度变化检测定时的时刻t6，进入监控区域的物体消失，因此获得原始背景的像素亮度值，作为变化后亮度值。此时获得的变化后亮度值为背景亮度值。如上所述，此时的基准亮度值为背景亮度值。因此，变化后亮度值与在时刻t6比较的基准亮度值相同，因而检测不到非移动物体。
图1示出了一个功能框图，该功能框图示出了在执行上述处理的图像处理单元13中进行的、对非移动物体进行检测的处理功能。图1所示的功能与非移动物体检测处理(以下描述)中以像素为单位进行的检测处理对应。
亮度信号捕捉单元111接收并捕捉来自A/D转换器12的、每个像素的数字亮度信号DY，并且，将所捕捉的像素的亮度值发送到正态分布加权混合计算单元112。
正态分布加权混合计算单元112对所捕捉的像素的亮度值属于多个亮度正态分布中的哪个亮度正态分布进行判断，并且，对各个亮度正态分布的权重和平均值进行更新。然后，正态分布加权混合计算单元112将计算结果(至少包括各个分布的权重和平均值(平均亮度值))提供给较大权重(upper weight)提取单元113。
较大权重提取单元113将多个亮度正态分布当中的、具有较大两个权重的亮度正态分布的权重提供给分类单元114，并且将具有最大权重的分布的平均亮度值提供给基准亮度值更新单元115和变化后亮度值检测单元116。
分类单元114利用较大的两个权重，根据上述的表达式(10)和(11)对当前的像素亮度变化状态进行分类，并且将关于分类结果的信息提供给类型转变判断单元117。
类型转变判断单元117对从分类单元114提供的信息随时间的转变进行判断。在本实施例中，类型转变判断单元117根据所判断的类型转变，生成基准亮度值的更新定时信号Sst和亮度变化检测定时信号Sch。
图6示出了在根据较大两个权重之间的比例，将像素的亮度状态分类至稳定类型、中间类型以及不稳定类型这三个类型中的一个类型的情况下的转变状态。
在图6中，为了方便，用A代表稳定类型，用B代表中间类型，用C代表不稳定类型。用STATE_X代表表示转变状态的转变状态值。这里，当类型变到不稳定类型C时，转变状态值STATE_X中的“X”变为C(STATE_C)。在其它时刻，该值表示先前的类型。
具体地说，STATE_A和STATE_B分别为在初始状态为类型A和类型B的情况下的转变状态值。当初始状态为类型C时，转变状态值为STATE_C。STATE_BA为在类型已经从类型A变到类型B或从类型B变到类型A的情况下的转变状态值。STATE_CB为在类型已经从类型B变到类型C或从类型C变到类型B的情况下的转变状态值。STATE_CBA为在类型已经从类型A变到类型B再变到类型C或从类型C变到类型B再变到类型A的情况下的转变状态值。
如果初始状态下的转变状态值为STATE_A，并且，如果类型从稳定经过中间变到不稳定，则转变状态值从STATE_A变到STATE_BA，再变到STATE_C。
例如，STATE_A表示最大权重的分布不变化并且没有发生过变化。STATE_CBA表示权重已经从第二大变到最大的分布。即，STATE_CBA表示物体已经从监控区域消失，或者，表示在监控区域中已经出现静止物体。
因此，在本实施例中，检测非移动物体的定时，即亮度变化检测定时是当转变状态值为STATE_CBA时。为了提高稳定性，类型转变判断单元117不是将亮度变化检测定时设置在转变状态值变为STATE_CBA之后的即刻，而是将亮度变化检测定时设置在STATE_CBA状态已经持续了预定时间段之后，然后，生成并输出亮度变化检测定时信号Sch。
例如，在本实施例中，对亮度变化的检测(检测非移动物体)不是根据来自监控摄像机11的每帧图像信号而是以每四帧图像信号进行。并且，将STATE_CBA状态已经持续了三十次(四秒钟)之后的时间点设置为亮度变化检测定时。在图3所示的示例中，时刻t2是转变状态值变为STATE_CBA的时刻，而亮度变化检测定时为时刻t3。
类型转变判断单元117将基准亮度值更新定时设置为当较大两个权重之间的关系属于不稳定类型并且先前的转变状态值为表示该类型先前为稳定类型的STATE_BA或STATE_CBA的时刻。类型转变判断单元117在该定时生成基准亮度值的更新定时信号Sst，从而对基准亮度值进行更新。在图3所示的示例中，这个更新定时为时刻t1。
注意，如果从先前生成亮度变化检测定时信号Sch的时刻开始，还没有经过预定停留时间段，则类型转变判断单元117不生成基准亮度值的更新定时信号Sst，因此即使在更新定时，也不对基准亮度值进行更新，因此，不将只作短时间停留的物体检测为非移动物体。
在本实施例中，使用了表示是否允许对基准亮度值进行更新的标志(以下称为更新标志)。在初始状态下，更新标志被设置为“假”，因而允许更新。即，在更新定时参照更新标志。当更新标志为“假”时，生成并且输出更新定时信号Sst。
当在更新定时对基准亮度值进行了更新之后，即，在输出了更新定时信号Sst之后，更新标志被设置为“真”，从而禁止更新。当更新标志为“真”时，类型转变判断单元117不输出更新定时信号Sst。
在更新标志为“真”已经持续了大于预定停留时间段(在此期间，要被检测的非移动物体停留)之后，类型转变判断单元117将更新标志设置为“假”，从而允许输出更新定时信号Sst。另选地，当判定像素的亮度保持不变时，类型转变判断单元117可以将更新标志的状态从“真”变为“假”。
按照这样的方式，类型转变判断单元117生成基准亮度信号的更新定时信号Sst，并且将更新定时信号Sst提供给基准亮度值更新单元115。基准亮度值更新单元115通过响应于更新定时信号Sst，获得最大权重的亮度正态分布的平均值作为基准亮度值，对基准亮度值进行更新。
此外，类型转变判断单元117将按照上述方式生成的亮度变化检测定时信号Sch提供给变化后亮度值检测单元116。变化后亮度值检测单元116通过接收亮度变化检测定时信号Sch，获得最大权重的亮度正态分布的平均值作为变化后亮度值。
然后，经基准亮度值更新单元115更新的基准亮度值被提供给比较单元118，由变化后亮度值检测单元116获得的变化后亮度值被提供给比较单元118。此外，来自类型转变判断单元117的亮度变化检测定时信号Sch被作为比较定时信号，提供给比较单元118。
比较单元118将由变化后亮度值检测单元116获得的变化后亮度值与经基准亮度值更新单元115更新的基准亮度值进行比较，并且判断其间是否存在明显差异。判断结果被提供给非移动物体检测判断单元119。
非移动物体检测判断单元119接收来自比较单元118的判断结果。如果判断结果表示在变化后亮度值与基准亮度值之间存在明显差异，则非移动物体检测判断单元119将该时刻，例如帧号，存储为非移动物体检测时刻。如果此后如下状态持续，即，判断结果表示存在明显差异，则在预定时间段之后，从图像处理单元13向非移动物体检测通知单元14输出非移动物体检测结果，因此，非移动物体检测通知单元14输出告警等。
以下将进一步对在图3和图5所示的情况下由图像处理单元13执行的处理进行描述。
例如，在图3中，在初始状态t＝t0中，更新标志被设置为“假”，并且基准亮度值被设置为m1_t0。在图3所示的时刻t1，更新标志为“假”，根据较大两个权重之间的关系，像素的亮度状态属于不稳定类型，并且，先前的转变状态值为STATE_BA。因此，生成更新定时信号，基准亮度值被从m1_t0更新为m1_t1，并且更新标志被设置为“真”。
然后，在时刻t3，生成亮度变化检测定时信号Sch。因此，将基准亮度值m1_t1与变化后亮度值m2_t3进行比较，以便对像素亮度值的变化进行检测。此时，由于在基准亮度值m1_t1与变化后亮度值m2_t3之间存在明显差异，因此图像处理单元13将该时刻，例如帧号，存储为检测时刻。如果此后不发生变化，则在预定时间段之后，图像处理单元13输出告警。
下面，对在图5所示的情况下，即，在曾经停止的物体在预定停留时间经过之前移动的情况下进行的处理进行描述。
参照图5，如上所述，f1(w1_t，m1_t)表示道路的权重的变化，而f2(w2_t，m2_t)表示汽车的权重的变化。在初始状态t0，更新标志被设置为“假”，并且基准亮度值被设置为m1_t0。
在时刻t1，较大两个权重之间的关系为不稳定类型。由于先前的转变状态值为STATE_BA，因此基准亮度值被从m1_t0更新为m1_t1，并且更新标志被设置为“真”。
然后，在时刻t3，为了检测像素亮度的变化，将基准亮度值m1_t1与变化后亮度值m2_t3进行比较。在时刻t4，由于从先前的亮度变化检测定时t3开始还没有经过预定停留时间，因此更新标志不返回到“假”而是保持为“真”。因此，在时刻t4，不对基准亮度值进行更新。
在时刻t6，这是下一个亮度变化检测定时，将基准亮度值m1_t1与时刻t6的变化后亮度值m1-m6进行比较，并且由此检测出像素亮度不变。这样，如果如图5所示的情况，物体停留在监控区域中的时间比预定停留时间段短，并随后从监控区域消失，如图5所示，则不输出表示非移动物体检测结果的告警。
以上对图1所示的功能框图进行了描述。实际上，在本实施例中，通过在图像处理单元13中的软件处理，执行上述的、对非移动物体进行检测的图像处理。以下将参照流程图，对通过软件处理进行的图像处理进行描述。CPU 100根据存储在ROM 102中的处理程序，通过将RAM 103用作工作区，执行以下所述的每个流程图的各个步骤。
图7为示出了在图像处理单元13中执行的整个图像处理的流程图。首先，将表示是否已经完成了初始化的初始化标志设置为“假”，然后，处理开始。
然后，从监控摄像机11捕捉输入数据。输入数据包括关于输入图像的信息和用于测量时间的帧号(步骤S1)。
然后，判断初始化标志是否为“假”(步骤S2)。如果初始化标志为“假”，则进行初始化(步骤S8)。图8所示的流程图中示出了在步骤S8中进行的初始化。
在步骤S8中进行的初始化过程中，对变量和要使用的存储器进行初始化(步骤S21)。在图8中，“n”表示亮度正态分布的平均值和权重的数量(即，亮度正态分布的数量)。例如，n＝4。“k”表示第k个分布的平均值和权重。“i”表示像素号，并且满足0≤i＜M(M＝按照图像尺寸的最大像素数)。
在本实施例中，在存储器中存储以下变量数据以及标志信息。
·分布的平均值：平均值[n][i](0≤i＜M)
·权重：权重[n][i](0≤i＜M)
·从转变状态值变为STATE_CBA开始的持续时间：持续时间计数f_counter[i](0≤i＜M)
·基准亮度值：基准亮度值[i](0≤i＜M)
·检测到亮度变化的时刻：检测时间[i](0≤i＜M)
·表示亮度是否已经变化的标志：检测标志[i](0≤i＜M)
·表示是否可以对基准亮度值进行更新的标志：更新标志[i](0≤i＜M)
·较大两个权重的转变状态值：state[i](0≤i＜M)
·更新基准亮度值的时刻：更新时刻[i](0≤i＜M)
如图8所示，在步骤S21中的初始化过程中，对于所有像素(0≤i＜m)，平均值[0][i]的初始值被设置为输入图像的像素i的亮度值，而权重[0][i]的初始值被设置为最大值weight_max，例如1.0。平均值[k][i](k＝1，2，...，n-1)的初始值被设置为0，权重[k][i](k＝1，2，...，n-1)的初始值被设置为0，持续时间计数f_counter[i]的初始值被设置为0，基准亮度值[i]的初始值被设置为0，检测时间[i]的初始值被设置为0，检测标志[i]的初始值被设置为“假”，更新标志[i]的初始值被设置为“假”，更新时刻[i]的初始值被设置为0。
输入图像可能包括移动物体。因此，权重最大的分布的平均值(平均值[0][i])可以包括在这个阶段的可移动物体。如果在这种状态下开始进行检测非移动物体的处理，则检测到移动物体的像素已经变到背景的像素的情况。因此，进行准备，使得表示权重最大的分布的平均值不是移动物体的值。为此，处理从步骤S21进行到步骤S22，对在准备过程中使用的准备计数器和准备标志进行初始化。具体地说，将准备计数器设置为0，将准备标志设置为“假”。
在步骤S21和S22之后，初始化标志被设置为“真”，这表示初始化已经完成(步骤S23)，然后，图8所示的初始化结束。
在初始化之后，处理进行到图7中的步骤S10。在步骤S10中，输入图像被存储为基准图像，以便对位移进行校正。即使将监控摄像机固定，振动等因素也可能会使监控区域中的图像位移。因此，在本实施例中，对位移进行校正。在步骤S10中，存储用于位移校正的基准图像。这里，输入图像被存储为初始图像。
每当进行检测非移动物体的处理时，都可以对基准图像进行更新。另选地，可以提供用于检测图像位移的位移检测单元，使得每当位移检测单元对位移进行检测时，都对基准图像进行更新。在本实施例中，每当进行检测非移动物体的处理时，具体地说是每四帧，对基准图像进行一次更新(以下进行描述)。在步骤S10之后，处理返回到步骤S1，等待下一个输入图像。
在步骤S2中，如果判定初始化标志为“真”并且已经完成了初始化，则处理进行到步骤S3，对位移进行校正。步骤S3中，为了计算位移量，将当前的输入图像与存储的基准图像进行比较，如果存在位移，则对内部数据进行校正。然后，处理进行到步骤S4，生成分布和权重。
图9和10示出了在步骤S4中进行的、生成分布和权重的处理的流程图。如上所述，“i”表示像素号码。“n”表示正态分布的平均值和权重的数量，“k”表示第k个分布的平均值和权重。在生成分布和权重的处理中，对每个像素进行如下处理。
首先，将输入图像的第一像素指定为要处理的像素[i](步骤S31)。然后，获得当要处理的像素[i]的亮度值与分布的平均值[k][i](0≤k≤n-1)之间的差的绝对值变为最小时的k＝k_min。另外，对于要处理的像素[i]的三原色数据R、G和B中的每一个，获得此时的差的绝对值，作为值subR、subG和subB(步骤S32)。
然后，由于要处理的像素[i]的亮度不属于任何分布，将用于判断这种状态的标志初始化为“假”(表示亮度不属于任何分布)(步骤S33)。然后，通过将k设置为0，指定第一分布(步骤S34)。
然后，判断是否k＝k_min(步骤S35)。如果k不是k_min，则按照上述的表达式(6)使第k个权重减小(步骤S39)。然后，处理进行到图10中的步骤S41，通过将k设置为k+1，指定下一个分布。然后，在步骤S42中判断指定之后的k值是否为n(分布的最大数)。如果k不等于n，则处理返回到步骤S35并重复后续步骤。
如果在步骤S35中判定k＝k_min，则要处理的像素[i]的亮度可能属于第k_min个分布。在这种情况下，判断subR、subG和subB的值是否都等于或小于阈值th(例如，th＝2σ)(步骤S36)。
如果在步骤S36中判定subR、subG和subB的值不是都等于或小于阈值th，则按照上述的表达式(6)使第k_min个权重减小(步骤S40)。然后，处理进行到图10中的步骤S41，并且通过将k设置为k+1，指定下一个分布。然后，在步骤S42中，判断指定之后的k的值是否等于n(分布的最大数)。如果k不等于n，则处理返回到步骤S35并重复后续步骤。
如果在步骤S36中判定subR、subG和subB的值都等于或小于阈值th，则判定要处理的像素[i]属于该分布。然后，按照上述的表达式(5)和(7)对权重和平均值进行更新(步骤S37)，并且将标志设置为“真”(步骤S38)。此时，对于像素数据的三原色数据R、G和B中的每一个，单独对平均值进行更新。如果方差σ被更新，则正态分布变陡，并且阈值的范围变窄。因此，在本实施例中，将方差σ固定(例如8)。
在步骤S38之后，处理进行到图10中的步骤S41，通过将k设置为k+1，指定下一个分布。然后，在步骤S42中，判断指定之后的k的值是否等于n(分布的最大数)。如果k不等于n，则处理返回到步骤S35并重复后续步骤。
如果在步骤S42中判定k＝n，则已经对所有分布进行了处理。然后，对标志的状态进行判断(步骤S43)。如果标志为“假”，则亮度不属于任何分布。如果这样，得到最小权重的k＝k_min2，要处理的像素[i]的亮度值被替换为它的平均值[k_min2][i]，并且权重[k_min2][i]被设定为α(步骤S44)。
如果在步骤S43中判定标志为“真”，或者在步骤S44之后，处理进行到步骤S45，在步骤S45中，将i设置为i+1，并且指定下一个要处理的像素[i]。然后，通过参照所指定像素的像素号码，判断是否已经对所有像素进行了处理(步骤S46)。如果还没有对所有像素进行处理，则处理返回到步骤S32并且重复后续步骤。
如果在步骤S46中判定已经对所有像素进行了处理，则生成分布和权重的处理完成。
参照图7，当在步骤S4中的、生成分布和权重的处理已经完成之后，处理进行到步骤S5，在步骤S5中，通过检查以上参照图8中的步骤S22描述的准备标志，对是否已经完成了准备进行判断。如果在步骤S5中判断准备标志为“假”，则进行准备(步骤S9)。
如上所述，在本实施例中，输入图像的亮度被用作分布的平均值的初始值，因而输入图像可以包括移动物体。因此，如果立即开始对非移动物体进行检测，则会检测到移动物体已经消失的状态。为了防止这种状态，重复生成分布和权重，使得与移动物体对应的像素的最大权重的分布的平均值从移动物体变为背景。
图11示出了表示准备处理的流程图的示例。
首先，响应于在步骤S5中的、对准备标志为“假”的判定，使准备计数器的计数值递增(步骤S51)，在上述的初始化处理的步骤S22中，该计数值被初始化为0。
然后，对准备计数器的计数值是否已经达到阈值Cth，例如300，进行判断(步骤S52)。如果准备计数器的计数值还没有达到阈值Cth，则准备处理结束，并且，处理返回到图7中示出的步骤S10，在步骤S10中，对用于校正位移的基准图像进行更新。然后，处理返回到步骤S1，在步骤S1中，等待下一个输入图像。然后，重复步骤S1以及后续处理，直到准备计数器的计数值变得等于阈值Cth为止。
如果在步骤S52中判定准备计数器的计数值已经变得等于阈值Cth，则执行以下步骤，作为准备的最终处理。
首先，在权重[k][i](0≤k≤n-1)当中，得到与较大两个权重对应的k1和k2(k1≥k2)(步骤S54)。然后，将权重[k1][i]与权重[k2][i]进行比较(步骤S55)，并且，利用比较结果将亮度状态分类至三种类型中的一种(稳定类型、中间类型和不稳定类型)。例如，如果k1/k2≥1.5，则亮度状态属于稳定类型。如果k1/k2＜1.5，并且k1/k2≥1.1，则亮度状态属于中间类型。除此之外，亮度状态属于不稳定类型。
根据权重[k1][i]与权重[k2][i]之间的比较结果，判断亮度状态是否属于稳定类型(步骤S56)。如果判定亮度状态属于稳定类型，则状态转变值state[i]被设置为STATE_A(步骤S57)。如果在步骤S56中判定亮度状态不属于稳定类型，则处理进行到步骤S58，在步骤S58中，根据权重[k1][i]与权重[k2][i]之间的比较结果，判断亮度状态是否属于中间类型。如果在步骤S58中判定亮度状态属于中间类型，则状态转变值state[i]被设置为STATE_B(步骤S59)。如果在步骤S58中判定亮度状态不属于中间类型，则判定亮度状态属于不稳定类型，并且将状态转变值state[i]设置为STATE_C(步骤S60)。
在步骤S57、S59或S60之后，处理进行到步骤S61，将与最大权重对应的k1的分布的平均值：平均值[k1][i]设置为基准亮度值[i]。
然后，判断是否已经对所有像素进行了处理(步骤S62)。如果还存在没有被处理的像素，则指定下一个像素(步骤S63)，并且，处理返回到步骤S54并重复后续步骤。如果在步骤S62中判定已经对所有像素进行了处理，则将准备标志设置为“真”(步骤S64)，并且，完成准备处理。
再次参照图7，当在步骤S9中的准备处理已经完成之后，处理进行到步骤S10，对用于校正位移的基准图像进行更新。然后，等待下一个输入图像。
如果在图7中所示的步骤S5中判定准备已经完成(准备标志为“真”)，则处理进行到步骤S6，对非移动物体进行检测。图12示出了用于例示检测非移动物体的处理的流程图的示例。
如图12所示，在本实施例中的对非移动物体进行检测的处理中，首先以像素为单位进行检测(步骤S71)。图13示出了用于例示以像素为单位进行检测的流程图的示例。
首先，通过将表示像素号码的“i”设置为0，对其进行初始化(步骤S81)，并且，对每个像素进行以下处理。
为了存储先前的状态转变值，将state[i]带入表示先前的状态转变值的pre_state(步骤S82)。然后，在权重[k][i](0≤k≤n-1)当中，得到与较大两个权重对应的k1和k2(k1≥k2)(步骤S83)。然后，将权重[k1][i]与权重[k2][i]进行比较(步骤S84)，并且，利用比较结果将亮度状态分类为三种类型中的一种(稳定类型、中间类型和不稳定类型)。如上所述，如果k1/k2≥1.5，则亮度状态属于稳定类型。如果k1/k2＜1.5并且k1/k2≥1.1，则亮度状态属于中间类型。除此之外，亮度状态属于不稳定类型。
如上所述，在本实施例中，在对基准亮度值进行更新之后，更新标志从“假”变成“真”。当更新标志表示“真”时，不能对基准亮度值进行更新。在本实施例中，为了防止长时间不能对基准亮度值进行更新，采用了以下手段。即，根据基准亮度值被更新的时间以及当前的帧号，确定从基准亮度值被更新的时刻到目前为止经过的时间。如果从先前的更新开始所经过的时间超过了预定停留时间段，例如，超过六十分钟，则允许对基准亮度值进行更新。
即，对更新标志[i]是否为“真”进行判断(步骤S85)。如果更新标志[i]为“真”，则根据更新时刻[i](基准亮度值被更新的时间(以帧号的形式得到的时间))和当前的帧号之间的差，得到duration afterupdate[i]。然后，将duration after update[i]与阈值Tth进行比较，以判断duration after update[i]是否大于或等于阈值Tth(步骤S86)。如果在步骤S86中判断duration after update[i]大于或等于阈值Tth，则将更新标志[i]设置为“假”(步骤S87)。
根据检测时间[i](在像素出现变化之后，得到变化后亮度值的时间(以帧号的形式得到的时间))与当前的帧号之间的差，可以得到更新后的持续时间。如果这样，则获得物体进入监控区域之后并且停留在其中的时间段，作为更新后的持续时间。
如果在步骤S85中判定更新标志为“假”，或者，在步骤S87中已经将更新标志[i]设置为“假”之后，利用在步骤S84中生成的比较结果进行分类。
具体地说，根据权重[k1][i]与权重[k2][i]之间的比较结果，判断亮度状态是否属于稳定类型(步骤S88)。如果判定亮度状态属于稳定类型，则进行稳定类型的处理(步骤S89)。
如果在步骤S88中判断亮度状态不属于稳定类型，则处理进行到步骤S90，在步骤S90中根据权重[k1][i]与权重[k2][i]之间的比较结果，判断亮度状态是否属于中间类型。如果在步骤S90中判定亮度状态属于中间类型，则进行中间类型的处理(步骤S91)。
如果在步骤S90中判定亮度状态不属于中间类型，则判定亮度状态属于不稳定类型，因而进行不稳定类型的处理(步骤S92)。
在步骤S89、S91或S92之后，处理进行到步骤S93，在步骤S93中，判断是否已经对所有像素进行了处理。如果还存在没有被处理过的像素，则指定下一个像素号码(步骤S94)，并且重复步骤S82以及后续步骤。如果在步骤S93中判定已经对所有像素进行了处理，则完成了以像素为单位的检测。
图14为示出了在步骤S89中进行的、稳定类型处理的示例的流程图。在进行稳定类型处理的过程中，得到先前的状态转变值pre_state，然后判断先前的状态转变值pre_state是否是STATE_CB(步骤S101)。
如果在步骤S101中判定先前的状态转变值pre_state是STATE_CB，则将状态转变值state[i]更新为STATE_CBA，这表示类型已经从不稳定类型，经过中间类型，变到稳定类型，将关于像素[i]的、测量状态转变值STATE_CBA的持续时间的持续时间计数值f_counter[i]初始化为0(步骤S104)。这里，为了从检测目标中去除暂时停留并随后从监控区域消失的物体，对状态转变值STATE_CBA的持续时间进行测量。
如果在步骤S101中判定先前的状态转变值pre_state不是STATE_CB，则处理进行到步骤S102，在此，判断先前的状态转变值pre_state是否是STATE_B。如果在步骤S102中判定先前的状态转变值pre_state是STATE_B，则将状态转变值state[i]更新为STATE BA，这表示类型已经从中间类型变到稳定类型(步骤S105)。
如果在步骤S102中判定先前的状态转变值pre_state不是STATE_B，则处理进行到步骤S103，在步骤S103中，判断先前的状态转变值pre_state是否是STATE_CBA。如果在步骤S103中判定先前的状态转变值pre_state是STATE_CBA，则使用于测量像素[i]的、测量状态转变值STATE_CBA的持续时间的持续时间计数值f_counter[i]递增(步骤S106)。
在步骤S104、S105或S106之后，处理进行到步骤S107，在步骤S107中，判断持续时间计数值f_counter[i]是否已经达到阈值th_count，例如，30。
如果在步骤S107中判定持续时间计数值f_counter[i]低于阈值th_count，则稳定类型处理结束，并且处理返回到图13所示的流程图的处理。
如果在步骤S107中判定持续时间计数值f_counter[i]已经变得等于阈值th_count，则处理进行到步骤S108，在步骤S108中，将像素[i]的基准亮度值[i]与对应于最大权重k1的亮度正态分布的平均值平均值[k1][i]进行比较。然后，判断在这两个值之间是否存在明显差异(步骤S109)。
如果在步骤S109中判定存在明显差异，即，如果判定像素[i]的亮度已经变化，则将检测标志[i]设置为“真”，并且将此时的帧号存储为检测时间[i](步骤S110)。
如果在步骤S109中判定不存在明显差异，即，如果判定像素[i]的亮度还没有变化，则将检测标志[i]设置为“假”(步骤S111)。在步骤S110或S111之后，稳定类型处理结束，并且处理返回到图13所示的流程图的处理。
图15为示出了在步骤S91中进行的、中间类型处理的示例的流程图。在进行中间类型处理的过程中，得到先前的状态转变值pre_state，然后判断先前的状态转变值pre_state是否是STATE_C(步骤S121)。
如果在步骤S121中判定先前的状态转变值pre_state是STATE_C，则处理进行到步骤S122，在步骤S122中，将状态转变值state[i]更新为STATE_CB，这表示类型已经从不稳定类型变到中间类型。
如果在步骤S121中判定先前的状态转变值pre_state不是STATE_C，则处理进行到步骤S123，在步骤S123中，判断先前的状态转变值pre_state是否是STATE_A。如果在步骤S123中判定先前的状态转变值pre_state是STATE_A，则处理进行到步骤S124，在步骤S124中，将状态转变值state[i]更新为STATE_BA，这表示类型已经从稳定类型变到中间类型。
在步骤S122或S124之后，中间类型处理完成，并且处理返回到图13所示的流程图的处理。
图16为示出了在图13所示的步骤S92中进行的、不稳定类型的处理的示例的流程图。在进行不稳定类型的处理过程中，将状态转变值state[i]更新为STATE_C(步骤S131)。
然后，得到先前的状态转变值pre_state，并且，判断先前的状态转变值pre_state是否是STATE_CBA或STATE_BA(步骤S132)。
如果在步骤S132中判定先前的状态转变值pre_state是STATE_CBA或STATE_BA，则判断是否应该对基准亮度值[i]进行更新。具体地说，判断更新标志是否为“假”(步骤S133)。如果在步骤S133中判断更新标志为“假”，则可以对基准亮度值[i]进行更新。因此，基准亮度值[i]被更新为与最大权重k1对应的亮度正态分布的平均值，即，平均值[k1][i]。在更新之后，更新标志变为“真”。此外，帧号被存储为更新时刻[i](步骤S134)。
如果在步骤S132中判定先前的状态转变值pre_state不是STATE_CBA或STATE_BA，则处理进行到步骤S135。此外，如果在步骤S133中更新标志为“真”，或者，在步骤S134之后，处理进行到步骤S135。在步骤S135中，检测标志被设置为“假”，并且，将对状态转变值STATE_CBA的持续时间进行测量的持续时间计数值f_counter[i]被初始化为0。
在步骤S135之后，不稳定类型的处理完成，并且，处理返回到图13所示的流程图的处理。
参照图12，在已经完成了上述的、以像素为单位进行的检测之后，为了对以像素为单位所检测的区域进行组织，图像处理单元13根据检测标志进行分块(blocking)(步骤S72)。
在进行分块的过程中，将4个像素宽、4个像素高的范围视为一个块。如果已经检测到块中的一半或多半像素，则判定块中的所有像素已经被检测为非移动物体。相反，如果已经检测到块中少于一半的像素，则判定整个块没有被检测为非移动物体。
可以使块的范围逐像素移动，或者，可以通过跳过四个像素来移动块的范围。
然后，在经分决的、检测到的区域上加标记(步骤S73)，并且得到包括每个检测区域的面积和每个外框正方形的位置在内的标记数据(步骤S74)。
然后，根据在步骤S74中得到的标记数据，将面积、外框正方形的位置或者尺寸小于或大于预定阈值的检测区域作为噪音去除(步骤S75)。
如果利用时间差对区域进行检测，则即使这些区域彼此相邻，这些区域也应该被检测为不同的非移动物体。因此，根据检测时间，沿着时间方向，对剩余的检测到的区域加标记(步骤S76)。例如，如果区域之间的时间差在一分钟以内，则将相同的标记附在这些区域上。
然后，对相同的检测到的物体分配相同的ID号码(识别号码)，使得帧之间的关系变得清楚(步骤S77)。然后，对于已经停留了超过预定停留时间段的非移动物体，将告警与包括位置、检测时间以及停留时间等的数据一起输出(步骤S78)。由此，完成检测非移动物体的处理。
参照图7，在对非移动物体的检测完成之后，对是否已经输出了结束信号进行判断(步骤S7)。如果还没有输出结束信号，则处理返回到步骤S10，在步骤S10中，对用于校正位移的基准图像进行更新。然后，等待下一个输入图像并且重复其后续处理。如果在步骤S7中判定已经输出了结束信号，则处理完成。
<另一实施例>
在上述实施例中，使用一个基准亮度值。按照用于对非移动物体进行检测的另一个方法，可以使用两种类型的基准亮度值。
在实际处理中，在对非移动物体进行长时间检测期间，天气变化会导致对曾经检测到的物体再次进行检测。如果沿着时间方向加标记，并且，如果利用时间差对区域进行检测，那么，即使利用时间差检测的区域彼此相邻，但由于它们是分离的，因此会将一个物体分割开。
为了防止这种状态，在以像素为单位进行检测的过程中，在上述的稳定类型的处理中，当要检测的像素亮度变化时，将两个基准亮度值用于比较：按照更新标志生成的基准亮度值Y1；以及基准亮度值Y2。例如，基准亮度值Y2是不考虑更新标志的不稳定类型中的、权重最大的分布的平均值。
例如，假设以下情况：一辆汽车停在道路上，过一会儿，汽车的亮度变化。具体地说，阴影导致汽车(阳光在其上反射)的亮度变化。
在这种情况下，道路的亮度为I_road，变化前汽车的亮度为I_car1，而变化后汽车的亮度为I_car2。如果将I_road用作基准亮度值来进行处理，则根据I_road与I_car1之间的差，对汽车停止进行检测，然后，根据I_road与I_car2之间的差，再次对变化进行检测，以便对检测时间进行更新。如果这样，当沿着时间方向加标记时，检测到的物体被分为两块。
为了防止这种麻烦，将I_car1设置为基准亮度值Y2，对I_car1与I_car2之间的差进行计算，如果其间没有差，则不对检测时间进行更新。即，在对像素亮度变化进行检测期间，如果亮度与基准亮度值Y1不同，但与基准亮度值Y2相同，则不对检测时间进行更新，因而不会将检测物体分割开。
按照上述实施例，根据正态分布混合(mixture of normaldistributions)的较大两个权重之间的关系，将亮度状态分为多种类型，并且确定类型转变状态。因此，由于以下因素，可以从包括移动物体的图像中检测出长时间稳定停留的非移动物体。
(1)即使移动物体经过要检测的非移动物体前面并且从摄像机中瞬时看不到该非移动物体，这也不会对检测产生影响。
(2)可以减轻树枝摇动或水面上波纹的影响。
(3)可以按照适当的定时，为每个像素更新基准亮度值。
(4)该检测方法适用于环境的缓慢变化。
(5)可以在不使用大量过去图像数据的情况下，长时间对非移动物体进行检测。
<修改>
在上述实施例中，正态分布加权混合被用在检测中，因此所有亮度分布为正态分布。但是，即使亮度分布不是正态分布，也可以按照上述方式，将本发明应用于任何用于对每个分布的权重进行更新的方法。此外，在上述实施例中，每个分布都是正态分布，并且由此每个分布的代表亮度值都是平均值。但是，代表亮度值可以是视分布而定的值。
在上述实施例中，根据每个像素的亮度值，对非移动物体进行检测。另选地，也可以根据每个由多个像素组成的块(例如2个像素宽、2个像素高的块(总共四个像素))的亮度值，进行检测。如果这样，则将四个像素的平均值用作块的亮度值。
在上述实施例中，根据较大两个权重之间的关系(如较大两个权重之间的比例)进行分类。但是，本发明不限于这种方法。例如，可以根据较大两个权重和最大权重的变化进行分类。即，较大两个权重的变更点附近可以是不稳定类型，最大权重很大的情况可以是稳定类型，而不稳定类型与稳定类型之间的中间情况可以是中间类型。
本领域的技术人员应该理解，可以根据设计需要和其它因素，进行各种修改、组合、次组合以及替换，只要它们在所附权利要求及其等价物的范围内即可。

Claims (9)

1.一种图像处理设备，包括：
图像捕捉装置，用于捕捉时间上连续的图像；
计算装置，用于通过以由所述图像捕捉装置捕捉的图像的一个或多个像素为单位，对所述一个或多个像素的亮度是否属于多个亮度分布中的任何一个进行判断，并且通过使亮度所属的亮度分布的权重逐渐增大并使其它亮度分布的权重逐渐减小，对所述多个亮度分布的权重进行计算；
分类装置，用于根据由所述计算装置计算出的亮度分布的权重，将所述一个或多个像素的亮度随时间变化的状态分为多个类型，所述多个类型至少包括：所述一个或多个像素的亮度稳定在预定范围内的稳定类型；难以对所述一个或多个像素的亮度所属的亮度分布进行判断的不稳定类型；以及在所述稳定类型与所述不稳定类型之间的中间类型；
类型转变判断装置，用于以所述一个或多个像素为单位，对由所述分类装置分类的亮度变化状态随时间的转变进行判断；
基准亮度值更新装置，用于当所述一个或多个像素的亮度随时间变化的状态属于所述稳定类型时，通过获得具有最大权重的亮度分布的代表亮度值，根据经过的时间，对所述一个或多个像素的基准亮度值进行更新；
亮度变化检测装置，用于通过在亮度变化检测定时，对所述基准亮度值与多个亮度分布当中的、具有最大权重的亮度分布的代表亮度值进行比较，来检测所述一个或多个像素的亮度是否已经变化，其中，所述亮度变化检测定时是在由所述类型转变判断装置判定的随时间的转变的过程中，类型从不稳定类型经过中间类型变到稳定类型的时间点；以及
检测到的变化存储装置，用于当所述亮度变化检测装置检测到亮度变化时，存储对已经出现变化的图像中的所述一个或多个像素的位置进行识别的信息以及关于出现变化的时间的信息，
其中，根据存储在所述检测到的变化存储装置中的信息，对随着时间的经过出现在图像中并停留在其中或者从图像中消失的图像部分进行检测。
2.如权利要求1所述的图像处理设备，
其中，所述计算装置以所述一个或多个像素为单位，对包括多个关于亮度和权重的正态分布的正态分布加权混合进行计算，并且
其中，所述代表亮度值为正态分布的平均亮度值。
3.如权利要求1所述的图像处理设备，
其中，所述分类装置根据多个分布的权重当中的较大两个权重之间的关系，进行分为所述多种类型的分类。
4.如权利要求3所述的图像处理设备，
其中，所述较大两个权重之间的关系为所述较大两个权重之间的比值。
5.如权利要求1所述的图像处理设备，
其中，当所述类型转变判断装置判定亮度随时间变化的状态的类型已经从稳定类型经过中间类型变到不稳定类型时，所述基准亮度值更新装置对所述基准亮度值进行更新。
6.如权利要求1所述的图像处理设备，
其中，对于从在亮度变化检测定时检测到亮度变化开始的预定时间段，禁止对所述基准亮度值进行更新。
7.一种图像处理方法，包括如下步骤：
捕捉时间上连续的图像；
通过以在所述图像捕捉步骤中捕捉的图像的一个或多个像素为单位，对所述一个或多个像素的亮度是否属于多个亮度分布中的任何一个进行判断，并且通过使亮度所属的亮度分布的权重逐渐增大并使其它亮度分布的权重逐渐减小，对所述多个亮度分布的权重进行计算；
根据在所述计算步骤中计算出的亮度分布的权重，将所述一个或多个像素的亮度随时间变化的状态分为多个类型，所述多个类型至少包括：所述一个或多个像素的亮度稳定在预定范围内的稳定类型；难以对所述一个或多个像素的亮度所属的亮度分布进行判断的不稳定类型；以及在所述稳定类型与所述不稳定类型之间的中间类型；
以所述一个或多个像素为单位，对在所述分类步骤中分类的亮度变化状态随时间的转变进行判断；
当所述一个或多个像素的亮度随时间变化的状态属于所述稳定类型时，通过获得具有最大权重的亮度分布的代表亮度值，根据经过的时间，对所述一个或多个像素的基准亮度值进行更新；
通过在亮度变化检测定时，对所述基准亮度值与多个亮度分布当中的、具有最大权重的亮度分布的代表亮度值进行比较，来检测所述一个或多个像素的亮度是否已经变化，其中，所述亮度变化检测定时是当在所述类型转变判断步骤中判定的随时间的转变的过程中，类型从不稳定类型经过中间类型变到稳定类型的时间点；并且
当所述亮度变化检测步骤检测到亮度变化时，存储对已经出现变化的图像中的所述一个或多个像素的位置进行识别的信息以及关于出现变化的时间的信息，
其中，根据在所述检测到的变化存储步骤中存储的信息，对随着时间的经过出现在图像中并停留在其中或者从图像中消失的图像部分进行检测。
8.一种图像处理程序，使计算机起如下作用：
图像捕捉装置，用于捕捉时间上连续的图像；
计算装置，用于通过以由所述图像捕捉装置捕捉的图像的一个或多个像素为单位，对所述一个或多个像素的亮度是否属于多个亮度分布中的任何一个进行判断，并且通过使亮度所属的亮度分布的权重逐渐增大并使其它亮度分布的权重逐渐减小，对所述多个亮度分布的权重进行计算；
分类装置，用于根据由所述计算装置计算出的亮度分布的权重，将所述一个或多个像素的亮度随时间变化的状态分为多个类型，所述多个类型至少包括：所述一个或多个像素的亮度稳定在预定范围内的稳定类型；难以对所述一个或多个像素的亮度所属的亮度分布进行判断的不稳定类型；以及在所述稳定类型与所述不稳定类型之间的中间类型；
类型转变判断装置，用于以所述一个或多个像素为单位，对由所述分类装置分类的亮度变化状态随时间的转变进行判断；
基准亮度值更新装置，用于当所述一个或多个像素的亮度随时间变化的状态属于所述稳定类型时，通过获得具有最大权重的亮度分布的代表亮度值，根据经过的时间，对所述一个或多个像素的基准亮度值进行更新；
亮度变化检测装置，用于通过在亮度变化检测定时，对所述基准亮度值与多个亮度分布当中的、具有最大权重的亮度分布的代表亮度值进行比较，来检测所述一个或多个像素的亮度是否已经变化，其中，所述亮度变化检测定时是在由所述类型转变判断装置判定的随时间的转变的过程中，类型从不稳定类型经过中间类型变到稳定类型的时间点；
检测到的变化存储装置，用于当所述亮度变化检测装置检测到亮度变化时，存储对已经出现变化的图像中的所述一个或多个像素的位置进行识别的信息以及关于出现变化的时间的信息；以及
输出装置，用于根据存储在所述检测到的变化存储装置中的信息，输出对于随着时间的经过出现在图像中并停留在其中或者从图像中消失的图像部分的检测结果，
从而，对随着时间的经过出现在图像中并停留在其中或者从图像中消失的图像部分进行检测。
9.一种图像处理设备，包括：
图像捕捉单元，被配置用来捕捉时间上连续的图像；
计算单元，被配置用来通过以由所述图像捕捉单元捕捉的图像的一个或多个像素为单位，对所述一个或多个像素的亮度是否属于多个亮度分布中的任何一个进行判断，并且通过使亮度所属的亮度分布的权重逐渐增大并使其它亮度分布的权重逐渐减小，对所述多个亮度分布的权重进行计算；
分类单元，被配置用来根据由所述计算单元计算出的亮度分布的权重，将所述一个或多个像素的亮度随时间变化的状态分为多个类型，所述多个类型至少包括：所述一个或多个像素的亮度稳定在预定范围内的稳定类型；难以对所述一个或多个像素的亮度所属的亮度分布进行判断的不稳定类型；以及在所述稳定类型与所述不稳定类型之间的中间类型；
类型转变判断单元，被配置用来以所述一个或多个像素为单位，对由所述分类单元分类的亮度变化状态随时间的转变进行判断；
基准亮度值更新单元，被构造为当所述一个或多个像素的亮度随时间变化的状态属于所述稳定类型时，通过获得具有最大权重的亮度分布的代表亮度值，根据经过的时间，对所述一个或多个像素的基准亮度值进行更新；
亮度变化检测单元，被配置用来通过在亮度变化检测定时，对所述基准亮度值与多个亮度分布当中的、具有最大权重的亮度分布的代表亮度值进行比较，来检测所述一个或多个像素的亮度是否已经变化，其中，所述亮度变化检测定时是在由所述类型转变判断单元判定的随时间的转变的过程中，类型从不稳定类型经过中间类型变到稳定类型的时间点；以及
检测到的变化存储单元，被配置用来当所述亮度变化检测单元检测到亮度变化时，存储对已经出现变化的图像中的所述一个或多个像素的位置进行识别的信息以及关于出现变化的时间的信息，
其中，根据存储在所述检测到的变化存储单元中的信息，对随着时间的经过出现在图像中并停留在其中或者从图像中消失的图像部分进行检测。
CNB2006100877555A 2005-05-30 2006-05-30 图像处理设备和图像处理方法 Expired - Fee Related CN100474891C (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2005157588 2005-05-30
JP2005157588A JP4412236B2 (ja) 2005-05-30 2005-05-30 画像処理装置、画像処理方法および画像処理プログラム

Publications (2)

Publication Number Publication Date
CN1874418A true CN1874418A (zh) 2006-12-06
CN100474891C CN100474891C (zh) 2009-04-01

Family

ID=36940486

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB2006100877555A Expired - Fee Related CN100474891C (zh) 2005-05-30 2006-05-30 图像处理设备和图像处理方法

Country Status (5)

Country Link
US (1) US7545417B2 (zh)
EP (1) EP1729259B1 (zh)
JP (1) JP4412236B2 (zh)
CN (1) CN100474891C (zh)
TW (1) TWI330988B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100556075C (zh) * 2006-12-31 2009-10-28 华晶科技股份有限公司 去除图像噪声的方法
CN103152512A (zh) * 2011-12-06 2013-06-12 联咏科技股份有限公司 检测产品图案消失的方法与电路
CN107637087A (zh) * 2015-06-04 2018-01-26 佳能株式会社 图像显示设备、图像输出设备及其控制方法
CN109993716A (zh) * 2017-12-29 2019-07-09 微软技术许可有限责任公司 图像融合变换
CN110278384A (zh) * 2018-03-15 2019-09-24 欧姆龙株式会社 图像处理系统、图像处理装置、图像处理程序

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100568926C (zh) * 2006-04-30 2009-12-09 华为技术有限公司 自动曝光控制参数的获得方法及控制方法和成像装置
JP4631806B2 (ja) * 2006-06-05 2011-02-16 日本電気株式会社 物体検出装置、物体検出方法および物体検出プログラム
US8831357B2 (en) * 2007-11-09 2014-09-09 Cognitech, Inc. System and method for image and video search, indexing and object classification
JP5157721B2 (ja) 2008-07-29 2013-03-06 ソニー株式会社 画像データの分布モデル更新装置、画像処理装置、画像データの分布モデル更新方法およびプログラム
JP2011226953A (ja) * 2010-04-21 2011-11-10 Furukawa Electric Co Ltd:The 領域判別装置、領域判別方法及びプログラム
US8655093B2 (en) * 2010-09-02 2014-02-18 Edge 3 Technologies, Inc. Method and apparatus for performing segmentation of an image
JP2013065151A (ja) * 2011-09-16 2013-04-11 Sony Corp 画像処理装置、画像処理方法、および、プログラム
US9672609B1 (en) * 2011-11-11 2017-06-06 Edge 3 Technologies, Inc. Method and apparatus for improved depth-map estimation
US10104241B2 (en) 2013-11-14 2018-10-16 Drs Network & Imaging Systems, Llc Method for integrated optical systems
US9986140B2 (en) * 2013-11-21 2018-05-29 International Business Machines Corporation Utilizing metadata for automated photographic setup
CN110580429B (zh) * 2018-06-11 2023-06-06 北京中科晶上超媒体信息技术有限公司 一种视频背景库的管理方法、装置及其应用
JP7070334B2 (ja) * 2018-10-30 2022-05-18 オムロン株式会社 画像分類装置、画像検査装置、及び画像分類方法
CN114627134B (zh) * 2022-05-18 2022-08-09 深圳元象信息科技有限公司 场景图像生成方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5196929A (en) * 1989-07-05 1993-03-23 Olympus Optical Co., Ltd. Display system of camera having tracking apparatus
JP2913882B2 (ja) 1991-04-12 1999-06-28 トヨタ自動車株式会社 路上物体検出装置
US6088468A (en) * 1995-05-17 2000-07-11 Hitachi Denshi Kabushiki Kaisha Method and apparatus for sensing object located within visual field of imaging device
US6870566B1 (en) * 1995-12-07 2005-03-22 Canon Kabushiki Kaisha Image sensing system for sensing an image and converting the image into image signals with a controlled operating rate
JP3759280B2 (ja) * 1997-04-15 2006-03-22 富士通株式会社 道路監視用事象検知装置
US7345702B2 (en) * 2000-02-07 2008-03-18 Canon Kabushiki Kaisha Image sensing apparatus, control method for illumination device, flash photographing method, and computer program product
EP1220182A3 (en) * 2000-12-25 2005-08-17 Matsushita Electric Industrial Co., Ltd. Image detection apparatus, program, and recording medium
JP3992177B2 (ja) * 2001-11-29 2007-10-17 株式会社リコー 画像処理装置、画像処理方法及びコンピュータ・プログラム
CN1272631C (zh) * 2002-12-09 2006-08-30 北京中星微电子有限公司 运动图像检测方法
JP4639037B2 (ja) * 2003-07-18 2011-02-23 キヤノン株式会社 画像処理方法および装置
CN1294724C (zh) * 2003-09-19 2007-01-10 北京航星网讯技术开发有限公司 被监测对象“动变静”图像传输报警装置
JP2005157588A (ja) 2003-11-21 2005-06-16 Nec Fielding Ltd 移動端末機における情報盗用防止方法及び移動端末機

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100556075C (zh) * 2006-12-31 2009-10-28 华晶科技股份有限公司 去除图像噪声的方法
CN103152512A (zh) * 2011-12-06 2013-06-12 联咏科技股份有限公司 检测产品图案消失的方法与电路
CN103152512B (zh) * 2011-12-06 2016-05-25 联咏科技股份有限公司 检测产品图案消失的方法与电路
CN107637087A (zh) * 2015-06-04 2018-01-26 佳能株式会社 图像显示设备、图像输出设备及其控制方法
US10839758B2 (en) 2015-06-04 2020-11-17 Canon Kabushiki Kaisha Image display apparatus, image output apparatus, and control methods thereof
CN109993716A (zh) * 2017-12-29 2019-07-09 微软技术许可有限责任公司 图像融合变换
CN110278384A (zh) * 2018-03-15 2019-09-24 欧姆龙株式会社 图像处理系统、图像处理装置、图像处理程序
US10896499B2 (en) 2018-03-15 2021-01-19 Omron Corporation Image processing system, image processing device and image processing program
CN110278384B (zh) * 2018-03-15 2021-01-22 欧姆龙株式会社 图像处理系统、图像处理装置、图像处理方法

Also Published As

Publication number Publication date
TWI330988B (en) 2010-09-21
US20060268128A1 (en) 2006-11-30
CN100474891C (zh) 2009-04-01
EP1729259A3 (en) 2010-09-01
EP1729259B1 (en) 2011-11-23
EP1729259A2 (en) 2006-12-06
US7545417B2 (en) 2009-06-09
JP2006331306A (ja) 2006-12-07
JP4412236B2 (ja) 2010-02-10
TW200708123A (en) 2007-02-16

Similar Documents

Publication Publication Date Title
CN1874418A (zh) 图像处理设备、图像处理方法以及图像处理程序
CN1184796C (zh) 图象处理方法和设备以及图象处理系统
CN1110198C (zh) 视频格式转换装置和方法
CN1166177C (zh) 电视电影视频信号检测装置
CN1920539A (zh) 缺陷检测方法与缺陷检测装置
CN1311394C (zh) 用于二进制化图像的设备和方法
CN1897694A (zh) 活动对象跟踪系统、活动对象跟踪控制设备、方法和程序
CN1838737A (zh) 帧速率变换装置、摇摄·倾斜判断装置及视频装置
CN1929561A (zh) 图像捕获设备和图像捕获方法
CN1595958A (zh) 图象质量补正装置和图象质量补正方法
CN1909603A (zh) 图像处理方法和摄像设备
CN1969314A (zh) 图像处理设备和方法、存储介质及其程序
CN101032159A (zh) 图像处理设备及其方法，图像处理程序
CN1885952A (zh) 摄像设备和图像处理方法
CN1592398A (zh) 帧插值方法和使用该方法的图像显示系统
CN1993707A (zh) 图像处理方法和设备、摄像设备以及程序
CN1906924A (zh) 成像设备及成像辅助标记使用控制方法
CN1940994A (zh) 缺陷检测装置、图像传感器器件、图像传感器模块
CN1922883A (zh) 电子水印嵌入方法、电子水印检测方法和装置以及程序
CN1917578A (zh) 数据处理设备、数据处理方法及程序
CN1396775A (zh) 分割像素图像的方法和装置
CN1909670A (zh) 图像表示和分析方法
CN1678021A (zh) 图像处理设备和方法、记录媒体和程序
CN1684503A (zh) 用于防止由于强光的进入导致图像变暗的摄像装置
CN1806449A (zh) 图像处理设备、图像处理方法和计算机程序

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C17 Cessation of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20090401

Termination date: 20120530