JPH0844874A - Image change detector - Google Patents

Image change detector

Info

Publication number
JPH0844874A
JPH0844874A JP6175492A JP17549294A JPH0844874A JP H0844874 A JPH0844874 A JP H0844874A JP 6175492 A JP6175492 A JP 6175492A JP 17549294 A JP17549294 A JP 17549294A JP H0844874 A JPH0844874 A JP H0844874A
Authority
JP
Japan
Prior art keywords
change
feature vector
probability
image
measurement target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP6175492A
Other languages
Japanese (ja)
Other versions
JP3486229B2 (en
Inventor
Hiroaki Nakai
宏章 中井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP17549294A priority Critical patent/JP3486229B2/en
Publication of JPH0844874A publication Critical patent/JPH0844874A/en
Application granted granted Critical
Publication of JP3486229B2 publication Critical patent/JP3486229B2/en
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Landscapes

  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)

Abstract

PURPOSE:To distinguishedly detect only a moving object by calculating the probability of an abnormal change from the occurance probability distribution of a feature vector and the feature vector calculated from a still state and a normal change state from a timewise image sequence. CONSTITUTION:An image sequence providing means 11 provides an image (image sequence) to a feature extracting means 1. The feature extracting means 1 calculates the feature vector for each picture element or previously decided small area in the applied image sequence. A probability distribution calculating means 2 calculates the occurance probability distribution of the feature vector in the time-space area of that picture element or small area. A change probability calculating means 3 calculates the probability of change presence/absence from the feature vector of a change detecting object image and the probability distribution stored in the probability distribution calculating means 2. A change presence/absence discriminating means 4 discriminates the change presence/ absence from the calculated probability value. A result display means 12 displays the result of the change detection by the change discriminating means 4 for a user. Thus, the abnormal change and normal change of the mobile object can be distinguishedly detected.

Description

【発明の詳細な説明】Detailed Description of the Invention

【0001】[0001]

【産業上の利用分野】本発明は、任意の画像において、
移動物体のみを検出するための画像変化検出装置に関す
る。
BACKGROUND OF THE INVENTION The present invention, in any image,
The present invention relates to an image change detecting device for detecting only a moving object.

【0002】[0002]

【従来の技術】TVカメラ等で撮影された映像中の移動
物体だけを検出する方法には、従来から最も簡便な方法
として、連続して撮影された複数の画像間の差分を求め
る方法や、予め作成した背景画像と現時点の画像との差
分を求める方法がある。
2. Description of the Related Art As a method for detecting only a moving object in a video image captured by a TV camera or the like, as a conventional method, a method for obtaining a difference between a plurality of continuously captured images, There is a method of obtaining the difference between the background image created in advance and the current image.

【0003】これらの方法は、例えば、固定されたTV
カメラ等の撮像装置を用いた画像監視装置のように、監
視対象領域への侵入者や侵入物の検出を目的とする装置
等において用いられている。
These methods are, for example, for fixed TVs.
It is used in a device or the like for detecting an intruder or an intruder in a monitoring target area, such as an image monitoring device using an imaging device such as a camera.

【0004】ところが、これらの方法では、撮像装置が
動かないということの他に、侵入物以外に監視対象領域
での環境変化がないことが大前提となっている。したが
って、この前提が崩れると侵入物以外を誤って検出する
という欠点がある。
However, in these methods, it is a major premise that the imaging device does not move and that there is no environmental change in the monitored area other than the intruding object. Therefore, there is a drawback that if this premise is broken, false detection is made for anything other than an intruder.

【0005】例えば、屋外のような変化の大きい環境を
監視対象とした場合、天候の変化による照明強度の変化
によって侵入物を検出できなくなったり、風による樹木
の揺らぎや水面での日光の乱反射等を侵入物と区別して
検出することができず、移動物体の検出精度を上げるこ
とが大変困難であった。
[0005] For example, when an environment such as the outdoors that changes greatly is monitored, intruders cannot be detected due to changes in illumination intensity due to changes in weather, fluctuations of trees due to wind, and irregular reflection of sunlight on the water surface. It was impossible to distinguish the object from the intruding object and it was very difficult to improve the detection accuracy of the moving object.

【0006】このような環境変化による誤検出を避ける
ための方法として、参考文献1(前田、田中、塩、石
井:多次元輝度空間上での分布を利用した物体抽出法、
電子情報通信学会技術研究報告 パターン認識・理解
PRU91-68 pp.67-74 )や参考文献2(特開平6−893
39号 小池、安達:物体検出方法)のようなものが知
られている。
As a method for avoiding erroneous detection due to such environmental changes, reference document 1 (Maeda, Tanaka, Shio, Ishii: Object extraction method using distribution in multidimensional luminance space,
IEICE Technical Research Report Pattern Recognition / Understanding
PRU91-68 pp.67-74) and reference 2 (JP-A-6-893).
No. 39 Koike, Adachi: Object detection method) is known.

【0007】この方法では、画像中の小領域内での様々
な統計的特徴量(参考文献2では輝度の分布幅という)
を求め、これを背景画像または前時点でのそれと比較す
ることによって、環境変化には影響されない物体検出を
実現しようというものである。参考文献1では、画像列
を多次元空間としてとらえて、時系列画像による安定し
た検出方法が示唆されているが、残念ながらその具体的
な方法は記述されていない。
According to this method, various statistical feature amounts in a small area in an image (referred to as a luminance distribution width in Reference Document 2)
Is obtained and compared with the background image or that at the previous time point to realize object detection that is not affected by environmental changes. Reference 1 suggests a stable detection method using a time-series image by considering an image sequence as a multidimensional space, but unfortunately, no specific method is described.

【0008】上記のように空間的な特徴量の違いを見て
検出しようという方法の他に、複数の背景画像から変化
を検出しようという参考文献3(佐藤、間瀬、末永: x
-t時空間画像からのロバストな物体抽出法、1991年電子
情報通信学会秋期全国大会予稿集 D-198 (6-200) )や
参考文献4(KANETA, KANOH, KANEMARU, NAGAI:Image
Processing Method for Intruder Detection around Po
wer Line Towers, proc. of 1992 IAPR Workshop on Ma
chine Vision Applications (MVA'92) pp.353-356 )の
方法が知られている。
In addition to the method of detecting by detecting the difference in spatial feature amount as described above, Reference 3 (Sato, Mase, Suenaga: x) for detecting change from a plurality of background images.
-t Robust object extraction method from spatio-temporal images, Proceedings of the 1991 IEICE Fall National Conference D-198 (6-200)) and Reference 4 (KANETA, KANOH, KANEMARU, NAGAI: Image)
Processing Method for Intruder Detection around Po
wer Line Towers, proc. of 1992 IAPR Workshop on Ma
The method of chine Vision Applications (MVA'92) pp.353-356) is known.

【0009】参考文献3では、各画素で時間方向の輝度
分布を求め、この分布を正規分布に近いものと見倣すこ
とによって分布の中心から外れた画素を移動物体領域と
して検出しようという方法である。また、参考文献4
は、撮影画像と背景画像との差分値の全画面での分布を
求め、これを単峰の分布と見倣すことによって分布の中
心から外れた画素を変化として検出しようというもので
ある。
In Reference Document 3, a luminance distribution in the time direction is obtained for each pixel, and by assuming that this distribution is close to a normal distribution, pixels outside the center of the distribution are detected as moving object areas. is there. Also, reference document 4
Is to obtain the distribution of the difference value between the photographed image and the background image on the entire screen, and to imitate this distribution as a single-peaked distribution so as to detect pixels that are off the center of the distribution as changes.

【0010】以上に挙げた従来方法は、主に照明強度の
変化のように画面内の広い領域で比較的ゆっくりと起こ
る場合や、または、ある真の輝度値を中心としてその近
傍で輝度が変化すると想定されるような環境変化に対し
て、歩行者等の移動物体の検出誤りを少なくしようとい
う方法である。
The above-mentioned conventional methods mainly use the case where the change occurs relatively slowly in a wide area of the screen such as the change of the illumination intensity, or the brightness changes around a certain true brightness value. Then, it is a method of reducing the detection error of a moving object such as a pedestrian in response to an expected environmental change.

【0011】しかし、環境の変化には、照明強度の変化
の他にも、移動物体と紛らわしい樹木や水面の揺らぎと
いった定常的な輝度変化を起こすもの(以下、この変化
を定常的変化という)があり、先に挙げた方法では、移
動物体の変化(以下、この変化を非定常的変化という)
と定常的変化とを区別して検出することはできなかっ
た。
However, in addition to changes in illumination intensity, changes in the environment include those that cause steady changes in brightness such as trees confusing moving objects and fluctuations in the water surface (hereinafter, this change is called steady changes). Yes, in the method mentioned above, the change of the moving object (hereinafter, this change is called non-stationary change)
It was not possible to distinguish between and steady changes.

【0012】[0012]

【発明が解決しようとする課題】このように、従来の侵
入者等の移動物体の検出を目的とする変化検出方法で
は、撮影した映像中に検出対象以外の輝度等の揺らぎが
あった場合に、検出対象の移動物体だけを区別して検出
することができないという問題があった。
As described above, in the conventional change detecting method for detecting a moving object such as an intruder, when there is fluctuation in brightness or the like other than the detection target in a captured image, However, there is a problem that it is not possible to distinguish and detect only a moving object to be detected.

【0013】本発明はこのような事情を考慮してなされ
たもので、その目的とするところは、撮影環境の変化に
よる検出対象と紛らわしい輝度変化がある場合において
も、移動物体の変化である非定常的変化と、樹木や水面
の揺らぎといった定常的変化とを区別して検出すること
ができる画像変化検出装置を提供することにある。
The present invention has been made in consideration of such circumstances, and an object thereof is a change of a moving object even when there is a brightness change confusing with a detection target due to a change of a photographing environment. An object of the present invention is to provide an image change detecting device capable of distinguishing and detecting a steady change and a steady change such as a fluctuation of a tree or a water surface.

【0014】[0014]

【課題を解決するための手段】本発明の画像変化検出装
置は、静止状態及び定常的変化状態より構成される時間
的画像列の領域毎の基準特徴ベクトルを算出すると共
に、測定対象の画像の領域毎の測定対象特徴ベクトルを
算出する特徴抽出手段と、この特徴抽出手段より算出さ
れた領域毎の基準特徴ベクトルの生起確率分布を求める
確率分布算出手段と、前記特徴抽出手段より算出された
測定対象特徴ベクトルと、前記確率分布算出手段より求
められた生起確率分布から非定常的変化の有無の確率値
を算出する変化確率算出手段と、この変化確率算出手段
により算出された確率値から非定常的変化の有無を判別
する変化有無判別手段とを具備したものである。
An image change detecting apparatus of the present invention calculates a reference feature vector for each area of a temporal image sequence composed of a stationary state and a steady changing state, and at the same time, calculates an image of an object to be measured. Feature extraction means for calculating the measurement target feature vector for each area, probability distribution calculation means for obtaining the occurrence probability distribution of the reference feature vector for each area calculated by this feature extraction means, and measurement calculated by the feature extraction means A change probability calculating means for calculating a probability value of the presence or absence of a non-steady change from the target feature vector and the occurrence probability distribution obtained by the probability distribution calculating means, and a non-steady state from the probability value calculated by the change probability calculating means. And a change presence / absence determining means for determining the presence / absence of a dynamic change.

【0015】[0015]

【作 用】上記画像変化検出装置について説明する。[Operation] The image change detection device will be described.

【0016】特徴抽出手段は、静止状態及び定常的変化
状態より構成される時間的画像列の領域毎の基準特徴ベ
クトルを算出すると共に、測定対象の画像の領域毎の測
定対象特徴ベクトルを算出する。
The feature extraction means calculates a reference feature vector for each region of a temporal image sequence composed of a stationary state and a steady change state, and also calculates a measurement target feature vector for each region of the image to be measured. .

【0017】確率分布算出手段は、この特徴抽出手段よ
り算出された領域毎の基準特徴ベクトルの生起確率分布
を求める。
The probability distribution calculating means obtains the occurrence probability distribution of the reference feature vector for each area calculated by the feature extracting means.

【0018】変化確率算出手段は、前記特徴抽出手段よ
り算出された測定対象特徴ベクトルと、前記確率分布算
出手段より求められた生起確率分布から非定常的変化の
有無の確率値を算出する。
The change probability calculating means calculates a probability value of the presence or absence of a non-steady change from the measurement target feature vector calculated by the feature extracting means and the occurrence probability distribution obtained by the probability distribution calculating means.

【0019】変化有無判別手段は、この変化確率算出手
段により算出された確率値から非定常的変化の有無を判
別する。
The change presence / absence determining means determines the presence / absence of an unsteady change from the probability value calculated by the change probability calculating means.

【0020】これにより、映像中に輝度変化等の定常的
変化があっても、移動物体だけの非定常的変化を区別し
て検出することができる。すなわち、撮影された時間的
画像列から静止状態及び定常的変化状態より構成される
特徴ベクトルの生起確率分布を算出し、この生起確率分
布と、観測した画像の特徴ベクトルとから、非定常的変
化の確率を算出することにより、移動物体のみを区別し
て検出することができる。
As a result, even if there is a steady change such as a brightness change in the image, it is possible to distinguish and detect the non-steady change of only the moving object. That is, the occurrence probability distribution of the feature vector composed of the stationary state and the steady change state is calculated from the captured temporal image sequence, and the non-steady change is calculated from the occurrence probability distribution and the observed image feature vector. By calculating the probability of, only moving objects can be distinguished and detected.

【0021】[0021]

【実施例】以下、本発明の一実施例について図面を参照
して説明する。
DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS An embodiment of the present invention will be described below with reference to the drawings.

【0022】第1の実施例 図1は、本発明の画像変化検出装置を適用した移動物体
の検出する移動物体検出装置の概略構成図である。
First Embodiment FIG. 1 is a schematic configuration diagram of a moving object detecting apparatus for detecting a moving object to which the image change detecting apparatus of the present invention is applied.

【0023】移動物体検出装置は、特徴抽出手段1、確
率分布算出手段2、変化確率算出手段3、変化判別手段
4、画像列提供手段11、結果表示手段12とからな
る。
The moving object detecting device comprises a feature extracting means 1, a probability distribution calculating means 2, a change probability calculating means 3, a change determining means 4, an image sequence providing means 11 and a result displaying means 12.

【0024】特徴抽出手段1は、与えられた画像列での
各画素毎または予め定められている小領域毎に特徴ベク
トルを算出する。
The feature extracting means 1 calculates a feature vector for each pixel in a given image sequence or for each predetermined small area.

【0025】確率分布算出手段2は、その画素または小
領域の時空間領域内において特徴ベクトルの生起確率分
布を求める。
The probability distribution calculating means 2 obtains the occurrence probability distribution of the feature vector in the spatiotemporal area of the pixel or the small area.

【0026】変化確率算出手段3は、変化検出対象画像
の特徴ベクトルと確率分布算出手段2に記憶されている
確率分布とから変化有無の確率を算出する。
The change probability calculating means 3 calculates the probability of presence or absence of change from the feature vector of the change detection target image and the probability distribution stored in the probability distribution calculating means 2.

【0027】変化有無判別手段4は、算出された確率値
から変化有無を判別する。
The change presence / absence determining means 4 determines presence / absence of change from the calculated probability value.

【0028】画像列提供手段11は、特徴抽出手段1へ
映像(画像列)を提供する。
The image sequence providing means 11 provides a video (image sequence) to the feature extracting means 1.

【0029】結果表示手段12は、変化判別手段4の変
化検出の結果をユーザーに表示する。
The result display means 12 displays the result of the change detection by the change determination means 4 to the user.

【0030】変化検出方法は、大きく分けて確率算出
処理と変化判別処理の2段階の処理からなる。
The change detection method is roughly divided into a two-step process of a probability calculation process and a change determination process.

【0031】確率算出処理 移動物体による変化を検出する前に、まず、特徴抽出手
段1及び確率分布算出手段2により、特徴ベクトルの確
率分布を求める。図2に処理の流れを示し、下記の実施
例における処理のフローチャートを図3に示す。
Probability Calculation Process Before the change due to a moving object is detected, first, the feature extraction means 1 and the probability distribution calculation means 2 determine the probability distribution of the feature vector. FIG. 2 shows the flow of processing, and FIG. 3 shows a flowchart of processing in the following embodiment.

【0032】変化判別処理 検出処理を行う画像で特徴ベクトルを求め、先の確率分
布と照らし合わせることによって変化確率を変化確率算
出手段3において求め、そして変化有無判別手段4に
て、変化があったかどうかを判別する。図4に処理の流
れを示し、下記の実施例における処理のフローチャート
を図5に示す。
Change Discrimination Processing A change probability is obtained by the change probability calculating means 3 by obtaining a feature vector in the image to be subjected to the detection processing and comparing it with the above probability distribution. To determine. FIG. 4 shows the flow of processing, and FIG. 5 shows a flowchart of processing in the following embodiment.

【0033】特徴抽出手段1にて取り出される基準特徴
ベクトル及び測定対象特徴ベクトルが、各画素の輝度値
Iのみを要素として持つスカラー量(1次元ベクトル)
である場合について説明する。
The reference feature vector and the feature vector to be measured extracted by the feature extracting means 1 are scalar quantities (one-dimensional vector) having only the brightness value I of each pixel as an element.
The case will be described.

【0034】(1)確率算出処理について説明する。(1) The probability calculation process will be described.

【0035】予め撮影された映像の画像列S(全フレー
ム数N,N=1,2,3,……)があるものとする。こ
こで扱う画像列は、図6のような直方体で表される。直
方体の横及び縦方向が画像面での空間的な位置(x,y)
[画素]を表し、奥行き方向が時間(t) [フレーム番
号]を表す。フレームnの位置(i,j) の画素は(i,j;n)
で表されるものとする。また、図7に示すように、各フ
レームの画像中には位置(x,y) に領域Rxy[k×k画素
矩形領域(k=1,2,3,……),k=1のとき1画
素]が定められている。なお、この画像列Sは、静止状
態の場面及び樹木や水面の揺らぎといった定常的変化の
場面から構成されているものとし、移動物体の非定常的
変化の場面は含まないものとする。
It is assumed that there is an image sequence S (the total number of frames N, N = 1, 2, 3, ...) Of a video image photographed in advance. The image sequence handled here is represented by a rectangular parallelepiped as shown in FIG. The horizontal and vertical directions of the rectangular parallelepiped are spatial positions (x, y) on the image plane.
[Pixel], and the depth direction represents time (t) [frame number]. The pixel at position (i, j) in frame n is (i, j; n)
Shall be represented by. Further, as shown in FIG. 7, in the image of each frame, when the region Rxy [k × k pixel rectangular region (k = 1, 2, 3, ...), k = 1 at the position (x, y), 1 pixel] is defined. The image sequence S is assumed to be composed of a stationary scene and a scene of a steady change such as a fluctuation of a tree or a water surface, and does not include a scene of a non-steady change of a moving object.

【0036】画像列提供手段11から提供される画像列
がグレイスケール輝度画像だけの場合には、特徴抽出手
段1では具体的には何もせず、単に前の画像列提供手段
11から後の確率分布算出手段2へ、任意画素の輝度I
を基準特徴ベクトルとして渡すだけである。
When the image sequence provided by the image sequence providing means 11 is only a gray scale luminance image, the feature extracting means 1 does nothing concretely, and the probability after the previous image sequence providing means 11 is simply changed. Intensity I of an arbitrary pixel
Is simply passed as the reference feature vector.

【0037】しかし、画像列がRGB等の色情報を持つ
画像からなる場合には、これらの要素から輝度Iを算出
して基準特徴ベクトルとして確率分布算出手段2へ輝度
値を渡す(図3のステップ101,102)。
However, when the image sequence is composed of images having color information such as RGB, the brightness I is calculated from these elements and the brightness value is passed to the probability distribution calculating means 2 as the reference feature vector (see FIG. 3). Steps 101 and 102).

【0038】次に、確率分布算出手段2において、画像
列Sでの輝度Iの確率分布p(I)を求める。
Next, the probability distribution calculating means 2 obtains the probability distribution p (I) of the brightness I in the image sequence S.

【0039】ここでは、統計的確率としてp(I)を求
める方法に沿って説明を行う。
Here, a method for obtaining p (I) as a statistical probability will be described.

【0040】フレームn(n=1,2,……N)の領域
RxyをRxy(n)とし、Rxy(n)のnについての和集
合(Rxyの画像列)Uxyが
The region Rxy of frame n (n = 1, 2, ... N) is defined as Rxy (n), and the union (image sequence of Rxy) Uxy of n of Rxy (n) is

【数1】 のように表されるものとする(図7参照)。Uxyに含ま
れる全ての画素
[Equation 1] (See FIG. 7). All pixels included in Uxy

【数2】 について、Rxyでの輝度Iの累積ヒストグラムfxy
(I)を求める(図3のステップ103,104)。
[Equation 2] About, the cumulative histogram fxy of the brightness I in Rxy
(I) is obtained (steps 103 and 104 in FIG. 3).

【0041】[0041]

【数3】 つまり、同じ輝度となるUxy中の全ての画素を累積する
ことにより、図8に示すようなヒストグラムとしてfxy
(I)が得られる。このfxy(I)を、Uxyでの全累積
度数Nxyで割ったものを、領域RxyでのIの確率分布p
xy(I)とする(図3のステップ105)。
(Equation 3) That is, by accumulating all the pixels in Uxy having the same brightness, fxy is obtained as a histogram as shown in FIG.
(I) is obtained. This fxy (I) divided by the total cumulative frequency Nxy in Uxy is the probability distribution p of I in the region Rxy.
xy (I) (step 105 in FIG. 3).

【0042】[0042]

【数4】 確率分布算出手段2では、この確率分布pxy(A)を、
x,y について全ての領域Rxyで求め、これを記憶してお
く。
[Equation 4] The probability distribution calculating means 2 calculates this probability distribution pxy (A) as
All regions Rxy are calculated for x and y, and this is stored.

【0043】(2)変化判別処理について説明する。(2) The change determination process will be described.

【0044】予め提供されている画像列Sとは別に、変
化検出の測定対象画像列S′(全フレーム数N′,N′
=1,2,3,……)がある。SとS′は、全く別々の
画像列でもよいし、部分的に重なっていてもよい。な
お、この画像列S′は、静止状態の場面及び樹木や水面
の揺らぎといった定常的変化の場面や検出対象である移
動物体の非定常的変化の場面を含んでいるものとする。
In addition to the image sequence S provided in advance, an image sequence S'to be measured for change detection (total frame numbers N ', N'
= 1, 2, 3, ...). S and S'may be completely different image sequences or may partially overlap each other. It is assumed that the image sequence S'includes a scene in a stationary state, a scene of a steady change such as a fluctuation of a tree or a water surface, and a scene of a non-steady change of a moving object to be detected.

【0045】以降で、S′の領域Rxyでの変化判別方法
について述べる。
Hereinafter, a method of discriminating a change in the region Rxy of S'will be described.

【0046】変化確率算出手段3での変化有無の確率
を算出する方法 変化確率算出手段3での変化有無の確率を算出する方法
を説明する。ここでは、変化有無の確率を事後確率とし
て算出する方法に沿って説明を行う。
Method of calculating probability of presence / absence of change in change probability calculating means 3 A method of calculating probability of presence / absence of change in the change probability calculating means 3 will be described. Here, description will be given along with a method of calculating the probability of change presence or absence as a posterior probability.

【0047】S′のフレームn′の画素(i,j;n')の輝度
I(i,j;n')が測定対象特徴ベクトルとして特徴抽出手段
Iで求められる。この画素が領域Rxy中にあるとき、こ
の輝度I(i,j;n')の生起確率は、先の確率分布算出手段
2で算出され記憶されているSでの確率分布からpxy
(I(i,j;n'))で与えられるものとする。
The brightness I (i, j; n ') of the pixel (i, j; n') of the frame n'of S'is obtained by the feature extraction means I as the feature vector to be measured. When this pixel is in the region Rxy, the occurrence probability of the luminance I (i, j; n ') is pxy from the probability distribution at S calculated and stored by the probability distribution calculation unit 2 described above.
It shall be given by (I (i, j; n ')).

【0048】S′の各画素において、その画素の状態が
静止状態または定常的変化である「変化無」の事象θ0
と、非定常的変化があるという「変化有」の事象θ1 と
いう2つの事象を設定されている。つまり、ある画素で
何らかの輝度変化があったとしても、それが定常的にあ
るのであれば、その画素の状態は静止状態または定常的
変化であって変化がないという事象θ0 となり、そうで
ない場合、すなわち、非定常的変化がある場合には変化
があるという事象θ1 となる。
At each pixel of S ', the "no change" event θ0 in which the state of the pixel is a static state or a steady change
And, there are two events, “changed” event θ1 that there is an unsteady change. In other words, even if there is some brightness change in a pixel, if it is constant, the state of that pixel is a stationary state or a constant change and there is no change θ 0, otherwise, That is, when there is a non-stationary change, the event θ1 is that there is a change.

【0049】画素(i,j;n) の輝度Iを観測する前の、そ
の画素がθ1 であることの事前確率をw(i,j;n')とす
る。事前確率wは0〜1までの任意の実数に設定でき
る。例えば、θ0 とθ1 が同様の確率で起こり得ると予
想される場合、w(i,j;n')=1/2と仮定する。
Let w (i, j; n ') be the prior probability that the pixel is θ1 before observing the brightness I of the pixel (i, j; n). The prior probability w can be set to any real number from 0 to 1. For example, assume that w (i, j; n ') = 1/2 if θ0 and θ1 are expected to occur with similar probabilities.

【0050】この事前確率w(i,j;n')と、観測した輝度
I(i,j;n')(図5のステップ201)の生起確率pxy
(I(i,j;n'))から、観測後のθ1 であることの事後確
率w′(i,j;n')を求める(図5のステップ202)。
This prior probability w (i, j; n ') and the occurrence probability pxy of the observed brightness I (i, j; n') (step 201 in FIG. 5).
From (I (i, j; n ')), the posterior probability w' (i, j; n ') of being θ1 after the observation is obtained (step 202 in FIG. 5).

【0051】事象θ0 での確率分布がpxy(I)で与え
られたのに対して、事象θ1 のもとでのIの確率分布が
qxy(I)で与えられるとしたとき、事後確率w′(i,
j;n')は、ベイズの定理から以下の式によって求められ
る(図5のステップ203)。なお、繁雑なので、以下
の式ではw(i,j;n')を単にwと、I(i,j;n')を単にIと
記述する。
If the probability distribution at the event θ 0 is given by pxy (I), while the probability distribution at I under the event θ 1 is given by qxy (I), the posterior probability w ' (i,
j; n ') is obtained by the following formula from Bayes' theorem (step 203 in FIG. 5). Since it is complicated, w (i, j; n ') is simply referred to as w and I (i, j; n') is simply referred to as I in the following equation.

【0052】[0052]

【数5】 ここでqxy(I)は、θ1 のもとでIの分布が予め分か
っていないとき、どの分布も同じであると仮定するもの
である。したがって、Iの分布の範囲をVとしたとき、
(Equation 5) Here, qxy (I) assumes that all distributions are the same when the distribution of I is unknown under θ1. Therefore, when the range of the distribution of I is V,

【数6】 とおける。(Equation 6) It can be melted.

【0053】例えば、Iが0〜255までの256段階
の整数値として与えられるときは、V=256、つま
り、qxy(I)=1/256となる。このようにして算
出された変化有の事象θ1 の事後確率w′(i,j;n')を、
画素(i,j;n')での変化の起きた確率として用いる。
For example, when I is given as an integer value of 256 levels from 0 to 255, V = 256, that is, qxy (I) = 1/256. The posterior probability w ′ (i, j; n ′) of the event θ 1 with change calculated in this way is
It is used as the probability that a change has occurred at pixel (i, j; n ').

【0054】画像列S′で連続フレームで変化検出を行
う場合には、変化確率算出手段3で求められた事象θ1
の事後確率w′(i,j;n')は、次のフレームでの処理時に
事前確率w(i,j;n'+1)として用いることができる。つま
り、
When the change detection is performed in consecutive frames in the image sequence S ', the event .theta.1 obtained by the change probability calculating means 3 is detected.
The posterior probability w ′ (i, j; n ′) of can be used as the prior probability w (i, j; n ′ + 1) at the time of processing in the next frame. That is,

【数7】 として、フレーム順に前の事後確率を現在の事前確率と
して用いるということである。これに対して、最初に決
めたwの値をそのまま使用し続けてもかまわない。
(Equation 7) , The previous posterior probability is used as the current prior probability in frame order. On the other hand, the value of w initially determined may be used as it is.

【0055】変化有無判別手段4での変化有無の判別
方法 次に、変化有無判別手段4での変化有無の判別方法を説
明する。ここでは、判別誤りの損失を仮定する方法に沿
って説明を行う。
Discrimination Method of Presence or Absence of Change by Means for Discriminating Change 4 Next, a method of discriminating whether or not there is a change in the discrimination means 4 will be described. Here, description will be given along the method of assuming the loss of discrimination error.

【0056】ここで、判別を誤った場合の損失Lを仮定
する。ある画素で、実際には通常通りθ0 なのに変化が
あったθ1 と判別された場合の損失をL0 とし、この逆
のθ1 なのにθ0 と判別された場合の損失をL1 とす
る。このときに、判別後の損失の期待値を最小にする判
別の基準は、
Here, the loss L in the case where the discrimination is erroneous is assumed. Let L0 be the loss when it is discriminated that there is a change in a certain pixel which is actually θ0, but L1 is the loss when it is discriminated as θ0 although it is the opposite θ1. At this time, the criterion for discrimination that minimizes the expected value of loss after discrimination is

【数8】 で与えられる。(Equation 8) Given in.

【0057】つまり、上式の判別基準を用いると、判別
後の失敗による影響を最小にすることができる。ここ
で、各々の損失L0 ,L1 は変化検出方法の能力にあわ
せて任意の値に設定してよく、双方の損失が等しいと仮
定した場合には、
That is, by using the discrimination criterion of the above equation, it is possible to minimize the influence of failure after discrimination. Here, the respective losses L0 and L1 may be set to arbitrary values in accordance with the capability of the change detection method, and if it is assumed that both losses are equal,

【数9】 が判別の基準となる。以上の判別基準を画素(i,j;n')が
満たすとき、その画素には通常外の変化があったとし、
変化領域として検出されることになる(図5のステップ
204)。
[Equation 9] Is the criterion for discrimination. When a pixel (i, j; n ') satisfies the above discrimination criteria, it is determined that the pixel has an abnormal change,
It will be detected as a change area (step 204 in FIG. 5).

【0058】以上のようにして、全ての画素(i,j;n')に
ついて、または全ての小領域Rxyについて、上記の判別
条件を満たすかどうかを調べ、この条件を満たす画素や
小領域を、通常ではない変化があったとして、図9に示
すように、変化領域として検出する。
As described above, it is checked whether all the pixels (i, j; n ') or all the small regions Rxy satisfy the above-mentioned discrimination condition, and the pixels and the small regions satisfying this condition are selected. Assuming that there is an abnormal change, the change region is detected as shown in FIG.

【0059】図9(a)の原画像における樹木や水面と
いった定常的に変化する物体は、従来方法では図9
(b)で示すように走る人と同じように変化として検出
せざるを得なかったが、本装置を用いることによって図
9(c)で示すように定常的変化を除去した非定常的変
化のみの走る人のみ検出することができる。
In the original image shown in FIG. 9A, a constantly changing object such as a tree or a water surface is shown in FIG.
As shown in (b), it was inevitable to detect the change as in the case of a running person, but by using this device, only the non-steady change in which the steady change was removed as shown in FIG. 9 (c). Only people running can be detected.

【0060】第2の実施例 第1の実施例では、特徴抽出手段1は画素の輝度Iを算
出するものとして説明を行ったが、輝度Iの代わりに様
々な特徴ベクトルを用いたり、さらにはこれらを組み合
わせて2次元以上の特徴ベクトルを構成して用いる方法
がある。
Second Embodiment In the first embodiment, the feature extraction means 1 has been described as calculating the brightness I of a pixel, but various feature vectors may be used instead of the brightness I, and further, There is a method of combining two or more of these to construct a feature vector of two or more dimensions and using the feature vector.

【0061】例えば、画像列の各画素についてRGBの
色要素値が得られるときには、これらの要素を単に輝度
Iの代わりに用いても良いし、RGBを3次元ベクトル
として見ることにより、特徴ベクトルをAとしてA[R,
G,B] という3次元の特徴ベクトルを各画素毎に求める
方法が考えられる。または、要素の中から2つだけを用
いて、例えばA[R,G] という2次元のベクトルとして用
いたり、輝度Iを併用してA[R,G,B,I] という4次元ベ
クトルも考えられる。
For example, when RGB color element values can be obtained for each pixel of an image sequence, these elements may be used instead of the brightness I, or RGB can be viewed as a three-dimensional vector to obtain a feature vector. A as A [R,
A method of obtaining a three-dimensional feature vector G, B] for each pixel can be considered. Alternatively, using only two of the elements, for example, as a two-dimensional vector A [R, G], or using a luminance I together, a four-dimensional vector A [R, G, B, I] is also used. Conceivable.

【0062】さらに、単に色要素値をそのまま用いるだ
けではなく、これらから算出することができるマンセル
表色系における色相Hや彩度Sといった要素値も、特徴
ベクトルAの要素として用いることができる。
Furthermore, not only the color element values are used as they are, but also element values such as hue H and saturation S in the Munsell color system which can be calculated from them can be used as elements of the feature vector A.

【0063】以上のRGB表色系やマンセル表色系の他
にも、一般に知られているXYZ、UCS、CMY、Y
IQ、オストワルト、L*u*v*、L*a*b*といった表色系が
規定されており、各表色系の要素値を前述と同様に組合
わせ、任意の次元数の特徴ベクトルを用いることが可能
である。各々の表色系間での変換方法については、例え
ば参考文献5(高木、下田、監修「画像解析ハンドブッ
ク」東京大学出版会ISBN 4-13-061107-0 C3050 )
に記載された方法がある。
In addition to the RGB color system and Munsell color system described above, generally known XYZ, UCS, CMY, Y
The color systems such as IQ, Ostwald, L * u * v *, L * a * b * are specified. The element values of each color system are combined in the same way as described above, and the feature vector of any dimension can be obtained. It can be used. For the conversion method between the respective color systems, refer to Reference 5 (Takaki, Shimoda, supervised "Image Analysis Handbook", University of Tokyo Press ISBN 4-13-061107-0 C3050).
There is a method described in.

【0064】第3の実施例 輝度をはじめとして、特徴ベクトルの各要素について、
空間的または時間的に微分演算や積分演算を行った結果
を、さらに特徴ベクトルの要素として用いることも考え
られる。
Third Embodiment For each element of the feature vector including the luminance,
It is also conceivable to use the result of the differential operation or the integral operation spatially or temporally as an element of the feature vector.

【0065】具体的には、空間的な微分演算として、一
般に良く知られているものに sobel, Roberts, Robinso
n, Prewitt, Kirsch, canny といった微分オペレータ
や、▽^2 G(ラプラシアンガウシアン)やモーメン
トオペレータ等がある。これらのオペレータを作用させ
た結果の画像エッジ強度を特徴ベクトルの要素として用
いる。
Specifically, as a spatial differential operation, generally known ones are sobel, Roberts, Robinso.
There are differential operators such as n, Prewitt, Kirsch, and canny, and ▽ ^ 2G (Laplacian Gaussian) and moment operators. The image edge strength as a result of applying these operators is used as an element of the feature vector.

【0066】また、積分的な平均フィルタやメディアン
フィルタといった雑音除去処理の結果を特徴ベクトルに
用いることも考えられる。
It is also conceivable to use the result of noise removal processing such as an integral averaging filter or median filter for the feature vector.

【0067】以上のオペレータやフィルタについても、
参考文献5で詳しく述べられている。
Regarding the above operators and filters,
See Reference 5 for more details.

【0068】第4の実施例 このような空間的な画素間処理だけでなく、画像列の時
間軸方向で対応する画素間での演算、例えば、連続フレ
ームでの差分(微分)処理や一定時間内で重み付け加算
した積分処理等の結果を、特徴ベクトルの要素として用
いることもできる。
Fourth Embodiment Not only such spatial inter-pixel processing, but also calculation between corresponding pixels in the time axis direction of an image sequence, for example, difference (differential) processing in a continuous frame or fixed time It is also possible to use the result of the integration processing or the like, in which the weighted addition is performed, as an element of the feature vector.

【0069】第5の実施例 以上では、各画素毎に一意に決まる特徴ベクトルについ
て述べたが、画像内で予め決められている微小な領域内
で求めることができる統計量も、特徴ベクトルの要素と
して用いることができる。
Fifth Embodiment In the above, the feature vector uniquely determined for each pixel is described. However, the statistic that can be obtained in a predetermined minute area in the image is also an element of the feature vector. Can be used as

【0070】統計量の例としては、平均値、中央値、最
頻値、範囲、分散、標準偏差、平均偏差等が挙げられ
る。これらの統計量は、先に述べた小領域Rxyで求めて
もよいし、Rxy内にさらに微小な領域rを幾つか決めて
おき、この中で求めることにしてもよい。
Examples of the statistic include average value, median value, mode value, range, variance, standard deviation, average deviation, and the like. These statistic values may be calculated in the small area Rxy described above, or some smaller areas r may be determined in Rxy and then calculated.

【0071】第6の実施例 以上で挙げた特徴ベクトルの要素として用いることので
きる値を、単に一つだけを輝度Iの代りに用いてもよい
し、任意の複数の要素を組み合わせて、多次元の特徴ベ
クトルAとして用いることもできる。
Sixth Embodiment Of the values that can be used as the elements of the feature vector described above, only one value may be used instead of the brightness I, or a plurality of arbitrary elements may be combined to make a large number. It can also be used as the dimensional feature vector A.

【0072】ここで、特徴ベクトルが空間微分値Dと色
相Hの2つの要素からなる2次元ベクトルの場合を例に
とって、本発明の変化検出方法を説明する。
Here, the change detection method of the present invention will be described by taking the case where the feature vector is a two-dimensional vector composed of two elements of the spatial differential value D and the hue H as an example.

【0073】画像列提供手段11からは、1フレームに
ついてRGBの3色の画像が提供されるものとする。特
徴抽出手段1では、HSI変換によってRGB値からH
SI値を求める。このI(輝度値)の画像に対しsobel
オペレータを作用させて、各画素について空間微分値
(エッジ強度)Dと色相Hを得る。HSI変換やsobel
オペレータについては、一般に大変良く知られているの
で、ここで詳細を述べることは省略することにし、具体
的な方法が記述されている参考文献を挙げるだけにとど
める(HSI変換については参考文献5 pp.486-489, s
obelオペレータについても同じく参考文献5 pp.553 参
照)。
It is assumed that the image sequence providing means 11 provides images of three colors of RGB for one frame. In the feature extraction means 1, the HSI conversion converts the RGB value into H.
Calculate the SI value. Sobel for this I (luminance value) image
The operator is operated to obtain the spatial differential value (edge strength) D and the hue H for each pixel. HSI conversion and sobel
Since the operator is generally well known, detailed description thereof will be omitted here, and only a reference document in which a concrete method is described is given (for the HSI conversion, reference document 5 pp. .486-489, s
Also for the obel operator, refer to Reference 5 pp.553).

【0074】先に述べた輝度Iのみの場合と同様に、小
領域Rxyと領域列Uxyが画像列Sにおいて決められてい
るものとし、Uxyに含まれる全画素
As in the case of only the brightness I described above, it is assumed that the small region Rxy and the region row Uxy are determined in the image row S, and all pixels included in Uxy

【数10】 について、特徴ベクトルA(i,j;n) の特徴ベクトル空間
での累積ヒストグラムfxy(A)を、確率分布算出手段
2において求める。
[Equation 10] For the above, the probability distribution calculating means 2 obtains the cumulative histogram fxy (A) of the feature vector A (i, j; n) in the feature vector space.

【0075】[0075]

【数11】 つまり、同じD,Hの値となる全てのA(i,j;n) の数を
累積して、図10に示すようなD−H空間での2次元の
累積ヒストグラムfxy(A)が得られ、最初の実施例と
同様に、このヒストグラムfxy(A)を累積度数Nxyで
割ったものを、確率分布pxy(A)とする。
[Equation 11] That is, the number of all A (i, j; n) having the same D and H values is accumulated to obtain a two-dimensional cumulative histogram fxy (A) in the DH space as shown in FIG. As in the first embodiment, the probability distribution pxy (A) is obtained by dividing the histogram fxy (A) by the cumulative frequency Nxy.

【0076】[0076]

【数12】 さらに、最初の実施例と同様にして、変化確率算出手段
3において、各画素での変化有の事象θ1 の事後確率
w′を求めていく。この例では、θ1 のもとでのAの確
率分布qxy(A)は、第1の実施例の方法に従えば、A
がD−Hの2次元空間で分布することから、VがD−H
空間の面積と等しくなり、Dのとる範囲をVD ,Hのと
る範囲をVH としたとき、qxy(A)は
(Equation 12) Further, in the same manner as in the first embodiment, the change probability calculating means 3 obtains the posterior probability w'of the event θ1 with change in each pixel. In this example, the probability distribution qxy (A) of A under θ1 is A according to the method of the first embodiment.
Is distributed in the two-dimensional space of DH, V is DH
If the range of D is VD and the range of H is VH, qxy (A) becomes

【数13】 となる。例えば、Dが0〜255までの256段階で、
Hが0〜359の360段階で与えられているときに
は、qxy(A)=1/(256×360)=1/921
60となる。事後確率w′の算出式は、最初の実施例の
場合と同じで、θ1 の事前確率をwとして、
(Equation 13) Becomes For example, in 256 steps of D from 0 to 255,
When H is given in 360 steps from 0 to 359, qxy (A) = 1 / (256 × 360) = 1/921
It becomes 60. The formula for calculating the posterior probability w'is the same as in the first embodiment, and the prior probability of θ1 is w,

【数14】 で与えられる。このように、特徴ベクトルAが多次元ベ
クトルとして与えられる場合においても、求めたθ1 の
事後確率w′から、変化有無判別手段4において、最初
の実施例と同様に判別基準を決定し、変化判別が行え
る。
[Equation 14] Given in. As described above, even when the feature vector A is given as a multidimensional vector, the change presence / absence determining means 4 determines the determination criterion in the same manner as in the first embodiment based on the posterior probability w'of θ1 thus obtained, and determines the change. Can be done.

【0077】第7の実施例 以上で説明した実施例においては、θ1 のもとでのAの
確率分布qxy(A)が、Aの分布空間内で均一であると
仮定してきたが、検出したい対象物体での特徴ベクトル
Aの分布を予め調査することができる場合には、均一と
仮定する必要はない。
Seventh Embodiment In the embodiments described above, it is assumed that the probability distribution qxy (A) of A under θ 1 is uniform in the distribution space of A, but it is desired to detect it. If the distribution of the feature vector A on the target object can be investigated in advance, it is not necessary to assume that it is uniform.

【0078】例えば、S′とは別の画像または画像列中
での対象物体の領域を、本発明とは別の方法または1画
素ずつ操作者が指定するといった方法によって取り出す
ことができる場合には、この対象物体領域でのAの確率
分布qxy(A)を求めることができる。つまり、この取
り出された領域内または領域列内において、先のSから
累積ヒストグラムfxy(A)を求めたときと同様の方法
によって、累積ヒストグラムを求め、このヒストグラム
を累積度数で割ることによって、統計的確率としてqxy
(A)を求めることができる。
For example, when the area of the target object in the image or the image sequence different from S'can be taken out by a method different from the present invention or a method in which the operator designates pixel by pixel. , The probability distribution qxy (A) of A in this target object area can be obtained. In other words, in the extracted region or region sequence, a cumulative histogram is obtained by the same method as that when the cumulative histogram fxy (A) is obtained from the previous S, and this histogram is divided by the cumulative frequency to obtain the statistics. Qxy as the target probability
(A) can be obtained.

【0079】さらに、Aの分布する全空間のうちで、操
作者が検出したいと希望する部分空間にあわせて、pxy
(A)やqxy(A)は全く任意の値に設定することもで
きる。
Further, among all the spaces in which A is distributed, pxy is selected according to the subspace desired by the operator to detect.
(A) and qxy (A) can be set to completely arbitrary values.

【0080】第8の実施例 以上で述べた実施例では、変化確率算出手段3において
θ1 の事後確率を求めるものとしていたが、事後確率算
出の部分を省略することもできる。Aのもとでの変化無
θ0 の確率とpxy(A)とが等しいものとして、1−p
xy(A)をθ1の確率として用いる。
Eighth Embodiment In the embodiments described above, the change probability calculating means 3 obtains the posterior probability of θ1, but the posterior probability calculation part may be omitted. Assuming that the probability of no change θ 0 under A and pxy (A) are equal, 1-p
Use xy (A) as the probability of θ1.

【0081】このときの変化有無判別手段4での判別方
法は、判別の基準を1−Cとした場合、
At this time, the discrimination method by the change presence / absence discriminating means 4 is as follows:

【数15】 を満たす場合に、その画素には変化があったものとして
検出する。この場合の基準値Cは、検出能力にあわせ
て、任意の[0..1]の実数値を設定することができ
る。
(Equation 15) When the condition is satisfied, it is detected that the pixel has changed. The reference value C in this case is arbitrary [0. . 1] can be set to a real value.

【0082】第9の実施例 変化有無判別手段4での判別基準は、処理対象画像また
は画像列S′の全画素または全小領域において均一であ
る必要はなく、操作者の希望する検出性能に合わせて変
更することができる。
The determination criterion by the change presence / absence determining means 4 in the ninth embodiment does not need to be uniform in all pixels or all small areas of the image to be processed or the image sequence S ', and the detection performance desired by the operator can be obtained. It can be changed together.

【0083】つまり、微小な変化も正しく検出したいよ
うな画像領域では判別基準値を小さく、これに対してあ
まり検出しないようにしたい領域では判別基準値を大き
くというように、画像中の領域毎に判別基準値を様々な
値に設定できる。
That is, the discrimination reference value is small in the image area where it is desired to correctly detect even a small change, whereas the discrimination reference value is large in the area where it is desired to detect a small change. The judgment reference value can be set to various values.

【0084】[0084]

【発明の効果】本発明の画像変化検出装置によれば、例
えばTVカメラ等の撮像装置を用いて侵入者を発見しよ
うという画像監視装置等のような映像中の移動物体を検
出する場合において、その映像の撮影された環境で様々
な変化があり、それが照明条件の変化だけでなく、検出
対象の移動物体と紛らわしい定常的に変化する物体があ
る場合においても、これらの環境変化を検出目的の移動
物体と誤って検出するといった誤検出を無くすことがで
きる等の効果がある。
According to the image change detecting device of the present invention, when detecting a moving object in a video such as an image monitoring device for detecting an intruder using an image pickup device such as a TV camera, Even if there are various changes in the environment in which the image was captured, and not only the changes in lighting conditions but also the constantly changing object that is confusing with the moving object to be detected, the purpose is to detect these environmental changes. It is possible to eliminate erroneous detection such as erroneously detecting as a moving object.

【図面の簡単な説明】[Brief description of drawings]

【図1】本発明の第1の実施例を示す概略構成図であ
る。
FIG. 1 is a schematic configuration diagram showing a first embodiment of the present invention.

【図2】確率算出処理における処理の流れを示す説明図
である。
FIG. 2 is an explanatory diagram showing a flow of processing in probability calculation processing.

【図3】確率算出処理のフローチャートである。FIG. 3 is a flowchart of a probability calculation process.

【図4】変化判別処理における処理の流れを示す説明図
である。
FIG. 4 is an explanatory diagram showing a flow of processing in change determination processing.

【図5】変化判別処理のフローチャートである。FIG. 5 is a flowchart of change determination processing.

【図6】画像列Sを示す説明図である。6 is an explanatory diagram showing an image sequence S. FIG.

【図7】画像列S中の領域Rxy及びUxyを示す説明図で
ある。
7 is an explanatory diagram showing regions Rxy and Uxy in an image sequence S. FIG.

【図8】特徴ベクトルがスカラー量である場合の確率分
布pxyを示す説明図である。
FIG. 8 is an explanatory diagram showing a probability distribution pxy when the feature vector is a scalar quantity.

【図9】変化検出を行った結果を示す画像図である。 (a)原画像図である。 (b)従来方法で処理した画像図である。 (c)本装置で処理した画像図である。FIG. 9 is an image diagram showing a result of change detection. (A) It is an original image figure. (B) It is an image figure processed by the conventional method. (C) is an image diagram processed by this apparatus.

【図10】特徴ベクトルが2次元ベクトルである場合の
確率分布pxyの例を示す説明図である。
FIG. 10 is an explanatory diagram showing an example of a probability distribution pxy when the feature vector is a two-dimensional vector.

【符号の説明】[Explanation of symbols]

1 特徴抽出手段 2 確率分布算出手段 3 変化確率算出手段 4 変化有無判別手段 11 画像列提供手段 12 結果表示手段 1 Feature Extracting Means 2 Probability Distribution Calculating Means 3 Change Probability Calculating Means 4 Change Existence Discriminating Means 11 Image Sequence Providing Means 12 Result Displaying Means

フロントページの続き (51)Int.Cl.6 識別記号 庁内整理番号 FI 技術表示箇所 H04N 7/18 K 9061−5H G06F 15/70 460 B Continuation of the front page (51) Int.Cl. 6 Identification code Office reference number FI technical display location H04N 7/18 K 9061-5H G06F 15/70 460 B

Claims (10)

【特許請求の範囲】[Claims] 【請求項1】静止状態及び定常的変化状態より構成され
る時間的画像列の領域毎の基準特徴ベクトルを算出する
と共に、測定対象画像の領域毎の測定対象特徴ベクトル
を算出する特徴抽出手段と、 この特徴抽出手段より算出された領域毎の基準特徴ベク
トルの生起確率分布を求める確率分布算出手段と、 前記特徴抽出手段より算出された測定対象特徴ベクトル
と、前記確率分布算出手段より求められた生起確率分布
から前記測定対象画像の非定常的変化の有無の確率値を
算出する変化確率算出手段と、 この変化確率算出手段により算出された確率値から前記
測定対象画像の非定常的変化の有無を判別する変化有無
判別手段とを具備したことを特徴とする画像変化検出装
置。
1. Feature extraction means for calculating a reference feature vector for each region of a temporal image sequence composed of a stationary state and a steady change state, and for calculating a measurement target feature vector for each region of a measurement target image. , A probability distribution calculating means for obtaining the occurrence probability distribution of the reference feature vector for each area calculated by the feature extracting means, a measurement target feature vector calculated by the feature extracting means, and a probability distribution calculating means Change probability calculating means for calculating a probability value of presence / absence of non-steady change of the measurement target image from the occurrence probability distribution, and presence / absence of non-steady change of the measurement target image from the probability value calculated by the change probability calculating means An image change detecting device, comprising: a change presence / absence determining unit for determining the change.
【請求項2】前記特徴抽出手段において算出される基準
特徴ベクトル及び測定対象特徴ベクトルが、 各画素での輝度値のみの要素よりなる1次元ベクトルで
あることを特徴とする請求項1記載の画像変化検出装
置。
2. The image according to claim 1, wherein the reference feature vector and the measurement target feature vector calculated by the feature extracting means are one-dimensional vectors composed of elements having only a luminance value at each pixel. Change detection device.
【請求項3】前記特徴抽出手段において算出される基準
特徴ベクトル及び測定対象特徴ベクトルの要素が、 各画素でのRGB、HSIの任意の表色系の要素値から
なる1次元以上のベクトル、これらから算出される値の
少なくとも一部の組合せからなる1次元以上のベクトル
であることを特徴とする請求項1記載の画像変化検出装
置。
3. Elements of a reference feature vector and a measurement target feature vector calculated by the feature extraction means are one-dimensional or more vectors having element values of an arbitrary color system of RGB and HSI in each pixel. The image change detection apparatus according to claim 1, wherein the image change detection apparatus is a one-dimensional or more-dimensional vector composed of a combination of at least some of the values calculated from
【請求項4】前記特徴抽出手段は、 前記基準特徴ベクトル及び測定対象特徴ベクトルの要素
を算出し、 さらにこれら基準特徴ベクトル及び測定対象特徴ベクト
ルの要素の空間的な微分演算の結果、空間的な積分演算
の結果、時間的な微分演算の結果、または時間的な積分
演算の結果の少なくとも1つを、新たに基準特徴ベクト
ル及び測定対象特徴ベクトルの要素として用いることを
特徴とする請求項2、または請求項3記載の画像変化検
出装置。
4. The feature extracting means calculates the elements of the reference feature vector and the measurement target feature vector, and further calculates the spatial differentiation of the elements of the reference feature vector and the measurement target feature vector as a result of spatial calculation. The at least one of the result of the integral operation, the result of the temporal differential operation, or the result of the temporal integral operation is newly used as an element of the reference feature vector and the measurement target feature vector. Alternatively, the image change detection device according to claim 3.
【請求項5】前記特徴抽出手段は、 画像中の領域内が予め設定され、前記基準特徴ベクトル
及び測定対象特徴ベクトルの要素の前記領域中での統計
量を用いることを特徴とする請求項2または請求項3記
載の画像変化検出装置。
5. The feature extraction means sets a region in an image in advance and uses statistics of elements of the reference feature vector and the measurement target feature vector in the region. Alternatively, the image change detection device according to claim 3.
【請求項6】前記確率分布算出手段は、 前記基準特徴ベクトルの生起確率分布を、与えられた画
像列の時空間領域での基準特徴ベクトルの度数分布から
統計的確率として求めることを特徴とする請求項1記載
の画像変化検出装置。
6. The probability distribution calculating means obtains the occurrence probability distribution of the reference feature vector as a statistical probability from the frequency distribution of the reference feature vector in the spatiotemporal region of a given image sequence. The image change detection device according to claim 1.
【請求項7】前記変化確率算出手段は、 前記確率分布算出手段において求められた基準特徴ベク
トルの生起確率分布と、前記特徴抽出手段より算出され
た測定対象特徴ベクトルとから、特定の画素または画像
中の領域で変化有という事象の事後確率を算出し、この
事後確率を前記測定対象画像の非定常的変化の有無の確
率値とすることを特徴とする請求項1記載の画像変化検
出装置。
7. The change probability calculating means determines a specific pixel or image from the occurrence probability distribution of the reference feature vector obtained by the probability distribution calculating means and the measurement target feature vector calculated by the feature extracting means. 2. The image change detection device according to claim 1, wherein a posterior probability of an event of having a change is calculated in an inner region, and the posterior probability is used as a probability value of whether or not there is a non-stationary change in the measurement target image.
【請求項8】前記変化確率算出手段は、 変化有という事象のもとでの測定対象特徴ベクトルの確
率分布を、予め取り出した変化があるとされている時空
間領域での特徴ベクトルの度数分布から統計的確率とし
て求め、この統計的確率から事後確率を算出することを
特徴とする請求項7記載の画像変化検出装置。
8. The change probability calculating means extracts the probability distribution of the measurement target feature vector under the event of “change” in advance, and the frequency distribution of the feature vector in the spatiotemporal region where there is a change. The image change detecting apparatus according to claim 7, wherein the posterior probability is calculated from the statistical probability, and the posterior probability is calculated from the statistical probability.
【請求項9】前記変化有無判別手段は、 変化有の事象の確率が判別基準値より大きい場合に変化
有と判別することを特徴とする請求項1記載の画像変化
検出装置。
9. The image change detecting apparatus according to claim 1, wherein the change presence / absence determining unit determines that there is a change when the probability of the event having a change is larger than a determination reference value.
【請求項10】前記変化有無判別手段は、 判別誤りによる損失を仮定して判別基準値を決定し、判
別基準値が0〜1の間の任意の実数値であることを特徴
とする請求項9記載の画像変化検出装置。
10. The change presence / absence determining means determines a discrimination reference value on the assumption of a loss due to a discrimination error, and the discrimination reference value is an arbitrary real value between 0 and 1. 9. The image change detection device according to item 9.
JP17549294A 1994-07-27 1994-07-27 Image change detection device Expired - Lifetime JP3486229B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP17549294A JP3486229B2 (en) 1994-07-27 1994-07-27 Image change detection device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP17549294A JP3486229B2 (en) 1994-07-27 1994-07-27 Image change detection device

Publications (2)

Publication Number Publication Date
JPH0844874A true JPH0844874A (en) 1996-02-16
JP3486229B2 JP3486229B2 (en) 2004-01-13

Family

ID=15996995

Family Applications (1)

Application Number Title Priority Date Filing Date
JP17549294A Expired - Lifetime JP3486229B2 (en) 1994-07-27 1994-07-27 Image change detection device

Country Status (1)

Country Link
JP (1) JP3486229B2 (en)

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE3442720A1 (en) * 1984-11-23 1986-06-05 Nippon Thompson Co. Ltd., Tokio/Tokyo Rolling bearing for rectilinear movement
JP2000099690A (en) * 1998-09-18 2000-04-07 Toshiba Corp System for monitoring person
JP2002312792A (en) * 2001-04-13 2002-10-25 Sony Corp Image processor and image processing method and recording medium and its program
JP2002312795A (en) * 2001-04-13 2002-10-25 Sony Corp Image processor and its method and recording medium and its program
JP2002312787A (en) * 2001-04-13 2002-10-25 Sony Corp Image processor, image processing method, recording medium and program
KR100439183B1 (en) * 2001-08-29 2004-07-05 한국전자통신연구원 Stochastic sampling based pel motion estimation method
JP2006155594A (en) * 2004-11-08 2006-06-15 Toshiba Corp Pattern recognition device, pattern recognition method
JP2007293559A (en) * 2006-04-25 2007-11-08 Nippon Telegr & Teleph Corp <Ntt> Device and method for detecting non-stationary image, and program mounted with the method
JP2007299250A (en) * 2006-05-01 2007-11-15 Nippon Telegr & Teleph Corp <Ntt> Sequential learning type nonstationary video image detection system, sequential learning type nonstationary video image detection method and program implementing the same
JP2009217835A (en) * 2001-11-21 2009-09-24 Iomniscient Pty Ltd Non-motion detection
WO2009125569A1 (en) * 2008-04-09 2009-10-15 日本電気株式会社 Object detector
JP2009301088A (en) * 2008-06-10 2009-12-24 Toshiba Corp Image processing device, method thereof, and image processing program
JP2010003177A (en) * 2008-06-20 2010-01-07 Secom Co Ltd Image processor
JP2010058903A (en) * 2008-09-03 2010-03-18 Hitachi Ltd Image recognizing device
JP2010097507A (en) * 2008-10-17 2010-04-30 Nippon Telegr & Teleph Corp <Ntt> Device, method, and program for extracting movement object
JP2011123887A (en) * 2009-12-10 2011-06-23 Mitsubishi Electric Research Laboratories Inc Method and system for extracting pixel from set of image
KR20160136157A (en) * 2015-05-19 2016-11-29 에스케이텔레콤 주식회사 Method and Apparatus for Segmenting Background Motion Region From Image

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE3442720A1 (en) * 1984-11-23 1986-06-05 Nippon Thompson Co. Ltd., Tokio/Tokyo Rolling bearing for rectilinear movement
JP2000099690A (en) * 1998-09-18 2000-04-07 Toshiba Corp System for monitoring person
JP2002312792A (en) * 2001-04-13 2002-10-25 Sony Corp Image processor and image processing method and recording medium and its program
JP2002312795A (en) * 2001-04-13 2002-10-25 Sony Corp Image processor and its method and recording medium and its program
JP2002312787A (en) * 2001-04-13 2002-10-25 Sony Corp Image processor, image processing method, recording medium and program
JP4631199B2 (en) * 2001-04-13 2011-02-16 ソニー株式会社 Image processing apparatus, image processing method, recording medium, and program
KR100439183B1 (en) * 2001-08-29 2004-07-05 한국전자통신연구원 Stochastic sampling based pel motion estimation method
JP2009217835A (en) * 2001-11-21 2009-09-24 Iomniscient Pty Ltd Non-motion detection
JP2006155594A (en) * 2004-11-08 2006-06-15 Toshiba Corp Pattern recognition device, pattern recognition method
JP4572175B2 (en) * 2006-04-25 2010-10-27 日本電信電話株式会社 Unsteady image detection device, unsteady image detection method, and program implementing the method
JP2007293559A (en) * 2006-04-25 2007-11-08 Nippon Telegr & Teleph Corp <Ntt> Device and method for detecting non-stationary image, and program mounted with the method
JP2007299250A (en) * 2006-05-01 2007-11-15 Nippon Telegr & Teleph Corp <Ntt> Sequential learning type nonstationary video image detection system, sequential learning type nonstationary video image detection method and program implementing the same
WO2009125569A1 (en) * 2008-04-09 2009-10-15 日本電気株式会社 Object detector
US8311281B2 (en) 2008-04-09 2012-11-13 Nec Corporation Object detection apparatus
JP5360052B2 (en) * 2008-04-09 2013-12-04 日本電気株式会社 Object detection device
JP2009301088A (en) * 2008-06-10 2009-12-24 Toshiba Corp Image processing device, method thereof, and image processing program
JP2010003177A (en) * 2008-06-20 2010-01-07 Secom Co Ltd Image processor
JP2010058903A (en) * 2008-09-03 2010-03-18 Hitachi Ltd Image recognizing device
JP2010097507A (en) * 2008-10-17 2010-04-30 Nippon Telegr & Teleph Corp <Ntt> Device, method, and program for extracting movement object
JP2011123887A (en) * 2009-12-10 2011-06-23 Mitsubishi Electric Research Laboratories Inc Method and system for extracting pixel from set of image
US8941726B2 (en) 2009-12-10 2015-01-27 Mitsubishi Electric Research Laboratories, Inc. Method and system for segmenting moving objects from images using foreground extraction
KR20160136157A (en) * 2015-05-19 2016-11-29 에스케이텔레콤 주식회사 Method and Apparatus for Segmenting Background Motion Region From Image

Also Published As

Publication number Publication date
JP3486229B2 (en) 2004-01-13

Similar Documents

Publication Publication Date Title
JP3486229B2 (en) Image change detection device
US6754367B1 (en) Method and apparatus for automatically detecting intrusion object into view of image pickup device
KR102021441B1 (en) Method and monitoring camera for detecting intrusion in real time based image using artificial intelligence
US8159537B2 (en) Video surveillance equipment and video surveillance system
EP0932114B1 (en) A method of and apparatus for detecting a face-like region
TWI554099B (en) Method and camera for determining an image adjustment parameter
JP4803376B2 (en) Camera tampering detection method
US8922674B2 (en) Method and system for facilitating color balance synchronization between a plurality of video cameras and for obtaining object tracking between two or more video cameras
US20060221181A1 (en) Video ghost detection by outline
JP5388829B2 (en) Intruder detection device
WO2022142414A1 (en) High-rise littering monitoring method and apparatus, electronic device, and storage medium
US8311345B2 (en) Method and system for detecting flame
JP3377659B2 (en) Object detection device and object detection method
JP3134845B2 (en) Apparatus and method for extracting object in moving image
JP4192719B2 (en) Image processing apparatus and method, and program
JP5710230B2 (en) Monitoring system and monitoring method
JPH0514891A (en) Image monitor device
JP2002027449A (en) Method and apparatus for identifying moving object
JP3625442B2 (en) Object detection method, object detection apparatus, and object detection program
JP3736836B2 (en) Object detection method, object detection apparatus, and program
Chondro et al. Detecting abnormal massive crowd flows: Characterizing fleeing en masse by analyzing the acceleration of object vectors
JPH057363A (en) Picture monitoring device
JP2011061651A (en) Suspicious object detection system
JP3490196B2 (en) Image processing apparatus and method
US20230051823A1 (en) Systems, methods, and computer program products for image analysis

Legal Events

Date Code Title Description
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081024

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081024

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091024

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101024

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111024

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111024

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121024

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131024

Year of fee payment: 10

EXPY Cancellation because of completion of term