JP2001209808A - System and method for extracting object, and storage medium with stored program for object extraction - Google Patents

System and method for extracting object, and storage medium with stored program for object extraction

Info

Publication number
JP2001209808A
JP2001209808A JP2000017072A JP2000017072A JP2001209808A JP 2001209808 A JP2001209808 A JP 2001209808A JP 2000017072 A JP2000017072 A JP 2000017072A JP 2000017072 A JP2000017072 A JP 2000017072A JP 2001209808 A JP2001209808 A JP 2001209808A
Authority
JP
Japan
Prior art keywords
image
foreground object
pixel
mask
pixels
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2000017072A
Other languages
Japanese (ja)
Other versions
JP3480408B2 (en
Inventor
Akihiko Iketani
彰彦 池谷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP2000017072A priority Critical patent/JP3480408B2/en
Publication of JP2001209808A publication Critical patent/JP2001209808A/en
Application granted granted Critical
Publication of JP3480408B2 publication Critical patent/JP3480408B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Image Processing (AREA)
  • Processing Of Color Television Signals (AREA)
  • Image Analysis (AREA)

Abstract

PROBLEM TO BE SOLVED: To generate the image of a foreground object by removing a pixel belonging to a shadow in a background differential mask. SOLUTION: A differential mask generating means 101 generates the differential mask from an image inputted by an image input means 110 and a background image. A shadow candidate extracting means 102 classifies the pixels in the differential mask generated by the differential mask generating means 101 into pixels (shadow candidate pixels) possible to be the shadow and pixels (foreground object pixels) clear to belong to the foreground object. A contour extracting means 103 extracts the contour of the foreground object from the image inputted by the image input means 110 and the background image. A shadow removing means 104 decides whether the shadow candidate pixel extracted by the shadow candidate extracting means 102 is the shadow or not from the position relation of the foreground object pixel extracted by the shadow candidate extracting means 102 and the foreground object contour extracted by the contour extracting means 103. The pixel decided as the shadow is excluded from the differential mask generated by the differential mask generating means 101.

Description

【発明の詳細な説明】DETAILED DESCRIPTION OF THE INVENTION

【0001】[0001]

【発明の属する技術分野】本発明は、画像処理技術に関
し、特に、画像信号から、背景と背景上に落ちた物体の
影を除去するシステム及び方法並びに物体抽出用プログ
ラムを記録した記憶媒体に関する。
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an image processing technique, and more particularly to a system and method for removing a background and a shadow of an object falling on the background from an image signal, and a storage medium storing an object extraction program.

【0002】[0002]

【従来の技術】動画像中の前景物体を抽出するための従
来の手法として、保存されている背景画像と入力された
画像との画素値の差分を二値化し、前景物体のマスク画
像を生成する手法が知られている。
2. Description of the Related Art As a conventional technique for extracting a foreground object from a moving image, a difference between pixel values of a stored background image and an input image is binarized to generate a mask image of the foreground object. There is a known technique.

【0003】しかしながら、この手法では、背景上に、
前景物体の影が落ちていた場合、影により、背景の画素
値が変化するため、得られたマスク画像には、前景物体
以外に、前景物体の影も含まれてしまう。
However, in this method,
If the shadow of the foreground object has fallen, the shadow changes the pixel value of the background, so that the obtained mask image includes the shadow of the foreground object in addition to the foreground object.

【0004】この問題に対して、影などによる明るさの
変化に影響されない特徴を用いて前景物体と影とを分離
する手法が知られている。例えば特開平5−11100
7号公報には、物体の影や反射光の影響等によって静止
領域においても映像信号の変化が生じ、処理画にフリッ
カやちらつき等が現れるという問題の解決を図る装置及
び方法として、画素ブロックにおける映像信号の変化が
画素ブロックが動領域に属しているために生じたもので
あるか、あるいは、画素ブロックは静止領域に属してい
ながら物体の影等の影響によって生じたものであるかを
判定し、注目する画素ブロックを動領域と判定した場合
に画素ブロックにおける信号レベルを記憶更新し、静止
領域と判定した場合には信号レベルを記憶更新しない
で、静止領域におけるフレーム間差分をなくするように
した装置及び方法が開示されており、色信号から選び出
した任意の2種類の信号レベルの比が画素値変化の前後
で保存されている画素を影と判定し、マスク画像から除
いている。
[0004] To solve this problem, there is known a method of separating a foreground object and a shadow by using a feature that is not affected by a change in brightness due to a shadow or the like. For example, JP-A-5-11100
Japanese Patent Application Publication No. 7-107873 discloses an apparatus and method for solving the problem that a video signal changes even in a still area due to the influence of a shadow or reflected light of an object, and flicker or flicker appears in a processed image. It is determined whether the change of the video signal is caused by the pixel block belonging to the moving area or the pixel block is caused by the influence of the shadow of the object while belonging to the still area. When the pixel block of interest is determined to be a moving area, the signal level in the pixel block is stored and updated. When the pixel block of interest is determined to be a still area, the signal level is not updated, and the inter-frame difference in the still area is eliminated. An apparatus and method are disclosed, in which the ratio of any two signal levels selected from the color signals is stored before and after the pixel value change. Was determined to shadows, it is excluded from the mask image.

【0005】また、例えば特開平8−317373号公
報や、特開平9−37259号公報等には、影及び物体
を分離して検出を行う方法、あるいは背景、動き物体、
影を精度良く分離する装置及び方法として、入力画像と
背景画像の局所的な輝度値分布の類似度を求め、類似度
が高い画素を影と判定してマスク画像から除くようにし
た方法、装置構成が開示されている。
[0005] For example, JP-A-8-317373 and JP-A-9-37259 disclose a method of detecting a shadow and an object separately, or a method of detecting a background or a moving object.
Apparatus and method for separating shadows with high accuracy, a method and an apparatus for determining the similarity of a local luminance value distribution between an input image and a background image, determining pixels having a high similarity as shadows, and removing the pixels from the mask image. An arrangement is disclosed.

【0006】[0006]

【発明が解決しようとする課題】しかしながら、上記し
た従来の技術は、前景物体内に背景と類似した色や輝度
値分布をもつ部分が存在する場合、それが影と誤認識さ
れ、前景物体画像から除外されてしまう、という問題点
を有している。その理由は、局所的な類似度しか考慮し
ていない、ためである。
However, according to the above-mentioned prior art, when a portion having a color and a luminance value distribution similar to the background exists in the foreground object, it is erroneously recognized as a shadow, and the foreground object image is not recognized. The problem is that they are excluded from The reason is that only local similarity is considered.

【0007】したがって本発明は、上記問題点に鑑みて
なされたものであって、その目的は、入力画像−背景画
像間の類似度が高い画素が実際に影に属する画素である
のか、偶然に背景と類似した前景物体中の画素であるの
かを判定し、マスク画像から真の影のみを除去する、装
置、方法並びに記録媒体を提供することにある。
SUMMARY OF THE INVENTION Accordingly, the present invention has been made in view of the above problems, and a purpose of the present invention is to determine whether a pixel having a high similarity between an input image and a background image actually belongs to a shadow. It is an object of the present invention to provide an apparatus, a method, and a recording medium which determine whether a pixel is a pixel in a foreground object similar to a background and removes only a true shadow from a mask image.

【0008】[0008]

【課題を解決するための手段】前記目的を達成する本発
明は、入力画像−背景画像間で画素値が変化した画素の
マスクを生成する差分マスク生成手段(図1の101)
と、前記マスク中の画素で、入力画像−背景画像間の類
似度が高いものを影候補画素、それ以外を前景物体画素
と判定する影候補抽出手段(図1の102)と、前景物
体の輪郭を抽出する輪郭抽出手段(図1の103)と、
影候補画素のうち、前景物体の輪郭および前景物体画素
から成る画素集合の外側に位置するものを影として前記
マスクから除去する影除去手段(図1の104)と、入
力画像から前景物体画像を切り出す前景物体画像生成手
段(図1の105)と、を有する。
In order to achieve the above object, the present invention provides a differential mask generating means (101 in FIG. 1) for generating a mask for a pixel whose pixel value has changed between an input image and a background image.
A shadow candidate extracting unit (102 in FIG. 1) for determining pixels in the mask having a high degree of similarity between the input image and the background image as shadow candidate pixels and others as foreground object pixels; A contour extracting means (103 in FIG. 1) for extracting a contour;
A shadow removing unit (104 in FIG. 1) for removing, from the mask, a shadow candidate pixel located outside the pixel set consisting of the contour of the foreground object and the foreground object pixel from the input image. And a foreground object image generating means (105 in FIG. 1) to be cut out.

【0009】本発明においては、入力画像−背景画像間
で類似度の高い画素を影の候補とし、実際に影であるか
どうかの判定を、後段のより高次な判断基準により行う
ことにより、マスク画像から真の影のみを除去するよう
にしたものである。
In the present invention, a pixel having a high degree of similarity between an input image and a background image is set as a shadow candidate, and whether or not the pixel is actually a shadow is determined by a higher-order criterion in a later stage. Only the true shadow is removed from the mask image.

【0010】[0010]

【発明の実施の形態】本発明の実施の形態について説明
する。本発明の装置は、その好ましい一実施の形態にお
いて、図1を参照すると、画像入力手段(画像入力装
置)110と、プログラム制御により動作するコンピュ
ータ(中央処理装置;プロセッサ;データ処理装置)1
00と、画像出力手段(画像出力装置)120と、を備
えている。
Embodiments of the present invention will be described. In a preferred embodiment of the apparatus according to the present invention, referring to FIG. 1, an image input means (image input apparatus) 110 and a computer (central processing unit; processor; data processing apparatus) 1 operated under program control.
00 and an image output means (image output device) 120.

【0011】コンピュータ100は、差分マスク生成手
段101と、影候補抽出手段102と、輪郭抽出手段1
03と、影除去手段104と、前景物体画像生成手段1
05とを含む。これらの手段は、それぞれ概略つぎのよ
うに動作する。
The computer 100 includes a difference mask generating means 101, a shadow candidate extracting means 102, and a contour extracting means 1
03, shadow removing means 104, and foreground object image generating means 1
05. Each of these means operates as follows.

【0012】差分マスク生成手段101は、画像入力手
段110によって入力された画像と背景画像から差分マ
スクを生成する。
The difference mask generation means 101 generates a difference mask from the image input by the image input means 110 and the background image.

【0013】影候補抽出手段102は、差分マスク生成
手段101によって生成された差分マスク中の画素を、
影である可能性がある画素(影候補画素)と前景物体に
属することが明らかな画素(前景物体画素)とに分類す
る。
[0013] The shadow candidate extraction means 102 converts the pixels in the difference mask generated by the difference mask generation means 101 into pixels.
Pixels that may be shadows (shadow candidate pixels) and pixels that clearly belong to the foreground object (foreground object pixels) are classified.

【0014】輪郭抽出手段103は、画像入力手段11
0によって入力された画像と背景画像から前景物体の輪
郭を抽出する。
The contour extracting means 103 includes an image input means 11
0, the contour of the foreground object is extracted from the input image and the background image.

【0015】影除去手段104は、影候補抽出手段10
2で抽出された影候補画素に対して、影候補抽出手段1
02で抽出された前景物体画素および輪郭抽出手段10
3で抽出された前景物体輪郭との位置関係より影である
かの判定を行う。影と判定された画素は差分マスク生成
手段101によって生成された差分マスクから削除され
る。
The shadow removing means 104 includes a shadow candidate extracting means 10.
2 for the shadow candidate pixels extracted in step 2
02 and foreground object pixel extracted at 02
It is determined whether the image is a shadow based on the positional relationship with the foreground object contour extracted in step 3. Pixels determined to be shadows are deleted from the difference mask generated by the difference mask generation unit 101.

【0016】前景物体画像生成手段105は、影除去手
段104で影を除去された差分マスクを用いて、画像入
力手段110によって入力された入力画像にマスク処理
を行い、画像出力手段120に出力する。
The foreground object image generating means 105 performs mask processing on the input image input by the image input means 110 using the difference mask from which the shadow has been removed by the shadow removing means 104, and outputs the result to the image output means 120. .

【0017】次に、本発明の別の実施の形態について説
明する。本発明は、その好ましい実施の形態において、
物体抽出プログラムを記録した記録媒体430を備え
る。この記録媒体430は磁気ディスク、半導体メモ
リ、磁気テープ、CD(compact disk)−ROM、DVD
(digital versatile disk)その他の記録媒体であっ
てもよい。
Next, another embodiment of the present invention will be described. The present invention, in its preferred embodiments,
A recording medium 430 in which an object extraction program is recorded is provided. The recording medium 430 is a magnetic disk, a semiconductor memory, a magnetic tape, a CD (compact disk) -ROM, a DVD
(Digital versatile disk) or other recording media.

【0018】物体抽出プログラムは記録媒体430から
コンピュータ(中央処理装置;プロセッサ;データ処理
装置)400に読み込まれ、あるいは、不図示のサーバ
等から通信媒体を介してダウンロードしてコンピュータ
(中央処理装置;プロセッサ;データ処理装置)400
に読み込まれ、コンピュータ400の主記憶にロードし
て実行することで、コンピュータ400の動作を制御
し、本発明を実施することができる。物体抽出プログラ
ムは、前記第1の実施の形態における差分マスク生成手
段101と、影候補抽出手段102と、輪郭抽出手段1
03と、影除去手段104と、前景物体画像生成手段1
05の処理を、コンピュータ400で実行するためのプ
ログラムからなる。
The object extraction program is read from a recording medium 430 into a computer (central processing unit; processor; data processing unit) 400, or downloaded from a server or the like (not shown) via a communication medium to be downloaded from the computer (central processing unit; Processor; data processing device) 400
The CPU 400 controls the operation of the computer 400 by loading the program into the main memory of the computer 400 and executing the program, thereby implementing the present invention. The object extraction program includes a difference mask generation unit 101, a shadow candidate extraction unit 102, and a contour extraction unit 1 according to the first embodiment.
03, shadow removing means 104, and foreground object image generating means 1
The processing of step 05 is executed by a computer 400.

【0019】[0019]

【実施例】上記した本発明の実施の形態についてさらに
詳細に説明すべく、本発明の実施例について図面を参照
して以下に説明する。図1は、本発明の一実施例の構成
を示す図である。図1を参照すると、本発明の一実施例
は、画像入力手段100、および画像出力手段120と
して、NTSC信号が入出力できるビデオキャプチャボ
ードおよびモニタディスプレイを、コンピュータ100
として、画像処理プロセッサを搭載した画像処理ボード
を用いる。ビデオキャプチャボードおよび画像処理ボー
ドは、汎用のパーソナルコンピュータによって制御され
る。
BRIEF DESCRIPTION OF THE DRAWINGS FIG. 1 is a block diagram showing an embodiment of the present invention; FIG. 1 is a diagram showing the configuration of one embodiment of the present invention. Referring to FIG. 1, in one embodiment of the present invention, as an image input unit 100 and an image output unit 120, a video capture board and a monitor display capable of inputting / outputting an NTSC signal are used.
As an example, an image processing board equipped with an image processing processor is used. The video capture board and the image processing board are controlled by a general-purpose personal computer.

【0020】ビデオキャプチャボードに入力されたビデ
オ信号は、RGB(R:赤、G:緑、B:青)信号に変
換され、画像処理ボード(コンピュータ100)に送ら
れる。また、画像処理ボードの処理結果が転送される
と、それをビデオ信号に変換して、接続された画像出力
手段120をなすモニタディスプレイに表示する。
The video signal input to the video capture board is converted into RGB (R: red, G: green, B: blue) signals and sent to the image processing board (computer 100). Further, when the processing result of the image processing board is transferred, it is converted into a video signal and displayed on a monitor display constituting the connected image output means 120.

【0021】画像処理プロセッサを搭載した画像処理ボ
ードには、差分マスク生成手段101と、影候補抽出手
段102と、輪郭抽出手段103と、影除去手段104
と、前景物体画像生成手段105との各機能手段が具備
される。これらの各機能手段は、画像処理プロセッサで
実行されるプログラム制御によりその処理が実現され
る。
An image processing board equipped with an image processor has a difference mask generating means 101, a shadow candidate extracting means 102, a contour extracting means 103, and a shadow removing means 104.
And foreground object image generation means 105. The processing of each of these functional units is realized by program control executed by the image processing processor.

【0022】はじめに、画像処理ボードは、ビデオキャ
プチャボード(画像入力手段110)から送られてきた
入力画像R、G、Bに対する平滑化画像と、縦エッジ画
像、横エッジ画像を生成する。
First, the image processing board generates a smoothed image, a vertical edge image, and a horizontal edge image for the input images R, G, and B sent from the video capture board (image input means 110).

【0023】入力画像が初期フレームである場合、R、
G、Bそれぞれの平滑化画像は背景画像として、縦エッ
ジ画像、横エッジ画像は背景エッジ画像として保存され
る。ここで、平滑化画像は、入力されたR、G、B画像
それぞれに対して次式(1)の3×3のマトリクスより
なる平滑化オペレータを施すことで生成される。
If the input image is an initial frame, R,
The smoothed images of G and B are stored as background images, and the vertical and horizontal edge images are stored as background edge images. Here, the smoothed image is generated by applying a smoothing operator composed of a 3 × 3 matrix of the following equation (1) to each of the input R, G, and B images.

【0024】 …(1)[0024] … (1)

【0025】また、現在の入力に対する縦エッジ画像I
Xと横エッジ画像Iyを生成する手段のブロック図を、図
5に示す。
The vertical edge image I for the current input
FIG. 5 shows a block diagram of the means for generating X and the horizontal edge image Iy .

【0026】フィルタリング部501では、R、G、B
画像それぞれに対して、それぞれ次式(2)のSobel
(ソーベル)オペレータ(一階差分の線形フィルタ:式
(2)の左側の3×3のマトリクスは縦エッジ用Sobel
オペレータ、右側の3×3のマトリクスは横エッジ用So
belオペレータ)を施す。
In the filtering unit 501, R, G, B
For each image, Sobel of the following formula (2)
(Sobel) operator (linear filter of first-order difference: 3x3 matrix on the left side of equation (2) is Sobel for vertical edge
Operator, 3x3 matrix on the right is So for horizontal edge
bel operator).

【0027】 …(2)[0027] … (2)

【0028】この結果、各画素において3組の縦/横方
向エッジ値 Rx(x,y),Ry(x,y) Gx(x,y),Gy(x,y) Bx(x,y),By(x,y) が得られる。
As a result, in each pixel, three sets of vertical / horizontal direction edge values R x (x, y), R y (x, y) G x (x, y), G y (x, y) B x (x, y), B y (x, y) is obtained.

【0029】エッジ強度計算部502では、各画素にお
いて、R、G、B成分それぞれのエッジ強度を計算す
る。
The edge strength calculator 502 calculates the edge strength of each of the R, G, and B components for each pixel.

【0030】R、G、B成分のエッジ強度をそれぞれma
gR(x,y)、magG(x,y)、magB(x,y)とすると、それぞれ次
式(3)で与えられる。
The edge intensities of the R, G, and B components
Assuming that g R (x, y), mag G (x, y), and mag B (x, y), they are respectively given by the following equation (3).

【0031】 …(3)[0031] … (3)

【0032】エッジ値選択部503では、R、G、B成
分のうち、エッジ強度が最大となる成分を選択し、その
成分の縦/横エッジ値を、その画素における縦/横エッ
ジ値Ix(x,y)、Iy(x,y)として採用する。
The edge value selection unit 503 selects a component having the maximum edge strength from among the R, G, and B components, and determines the vertical / horizontal edge value of the component by the vertical / horizontal edge value I x of the pixel. (x, y) and I y (x, y).

【0033】すなわち、 ・magR(x,y)が最大のとき、 When mag R (x, y) is maximum,

【0034】・magG(x,y)が最大のとき、 When mag G (x, y) is maximum,

【0035】・magB(x,y)が最大のとき、 When mag B (x, y) is maximum,

【0036】以上の処理を全画素で行う。これにより、
縦エッジ画像Ixと、横エッジ画像Iyとを得る。
The above processing is performed for all pixels. This allows
A vertical edge image Ix and a horizontal edge image Iy are obtained.

【0037】次に、平滑化された入力画像と、保存され
ている背景画像との間で色信号の差分を計算し、規定値
で二値化する。ある画素(x,y)における入力画像中の画
素値を、R1(x,y)、G1(x,y)、B1(x,y)、背景画像中の画
素値をR0(x,y)、G0(x,y)、B0(x,y)とすると、差分値は
次式(4)で与えられる。
Next, the difference between the color signals between the smoothed input image and the stored background image is calculated and binarized with a specified value. The pixel value in the input image at a certain pixel (x, y) is represented by R 1 (x, y), G 1 (x, y), B 1 (x, y), and the pixel value in the background image is represented by R 0 ( x, y), G 0 (x, y), and B 0 (x, y), the difference value is given by the following equation (4).

【0038】 …(4)[0038] …(Four)

【0039】差分マスク生成手段101では、得られた
二値画像に対して穴埋め処理を行い、差分マスクを生成
する。
The difference mask generating means 101 performs a filling process on the obtained binary image to generate a difference mask.

【0040】生成された差分マスク中の画素を、影候補
抽出手段102で、影である可能性があるもの(影候補
画素)と、前景物体に属することが明らかな画素(前景
物体画素)とに分類する。
The pixels in the generated difference mask are classified by the shadow candidate extraction means 102 into those that may be shadows (shadow candidate pixels) and those that are clearly belonging to the foreground object (foreground object pixels). Classify into.

【0041】前景物体の影により色が変化した画素で
は、入力画像−背景画像間でR、G、B値の比を保存し
たまま各成分の値が減少する。差分マスク中の画素でこ
のような変化が見られるものを影候補画素とし、それ以
外の画素を前景物体画素として抽出する。
In a pixel whose color has changed due to the shadow of the foreground object, the value of each component decreases while the ratio of R, G, B values between the input image and the background image is preserved. Pixels in the difference mask in which such a change is seen are extracted as shadow candidate pixels, and the other pixels are extracted as foreground object pixels.

【0042】次に、輪郭抽出手段103において、前景
物体の輪郭を抽出する。入力画像のエッジ画像と、保存
されている背景エッジ画像との差分を二値化し、前景物
体の輪郭のマスク304を生成する。
Next, the contour extraction means 103 extracts the contour of the foreground object. The difference between the edge image of the input image and the stored background edge image is binarized to generate a mask 304 for the contour of the foreground object.

【0043】本実施例では、次式(5)で与えられる入
力画像と背景画像それぞれのエッジベクトルの距離を差
分値とした。
In this embodiment, the distance between the edge vectors of the input image and the background image given by the following equation (5) is used as the difference value.

【0044】 …(5)[0044] …(Five)

【0045】上式(5)において、I1x、I1yはそれぞ
れ入力画像の縦、横エッジ画像、I 0x、I0yは、それぞ
れ背景画像の縦、横エッジ画像である。
In the above equation (5), I1x, I1yEach
Vertical and horizontal edge images of the input image, I 0x, I0yEach
The vertical and horizontal edge images of the background image.

【0046】二値化に用いるしきい値は、前景物体の影
の境界部で得られる差分値と同じか、またはそれよりも
高い値に設定しておくとよい。前景物体の影によるエッ
ジを除去できるためである。
The threshold value used for binarization is preferably set to a value equal to or higher than the difference value obtained at the boundary of the shadow of the foreground object. This is because the edge due to the shadow of the foreground object can be removed.

【0047】さらに、生成された輪郭マスク304中の
画素を外側から順に1層ずつ削り取り、輪郭マスクを細
線化する。輪郭マスク中の画素で、次の条件、のい
ずれかを満たすものは輪郭マスクに残され、いずれも満
たさないものは、輪郭マスクより削除される。
Further, the pixels in the generated contour mask 304 are removed one layer at a time from the outside, and the contour mask is thinned. Pixels in the contour mask that satisfy any of the following conditions are left in the contour mask, and pixels that do not satisfy any of the following conditions are deleted from the contour mask.

【0048】エッジ強度がその画素を中心とする8近
傍領域内の極大値である。
The edge strength is the maximum value in the eight neighboring areas centered on the pixel.

【0049】その画素を削除すると、輪郭マスクの連
結性が変化する(連結成分が分断される)。
When the pixel is deleted, the connectivity of the outline mask changes (connected components are cut off).

【0050】中心画素を削除した場合に連結性が変化す
る8近傍パターンを図6に示す。図6において、「#」
は中心画素位置を表し、「1」は輪郭に属する画素、
「0」が輪郭に属さない画素、「・」は任意の画素
(「0」または「1」)を表す。
FIG. 6 shows eight neighboring patterns whose connectivity changes when the center pixel is deleted. In FIG. 6, "#"
Represents the center pixel position, “1” represents a pixel belonging to the contour,
“0” indicates a pixel that does not belong to the contour, and “•” indicates an arbitrary pixel (“0” or “1”).

【0051】これ以上削除できる画素がなくなった時点
で、細線化処理を終了し、細線化された輪郭線を得る。
When there are no more pixels that can be deleted, the thinning process is terminated to obtain a thinned outline.

【0052】以上の処理により得られた影候補画素、前
景物体画素と前景物体の輪郭線を用いて影を、影除去手
段104で除去する。より詳細には、影除去手段104
は、影候補画素を外側にあるものから順に、前景物体の
輪郭線および前景物体画素の近傍まで削る。前景物体画
素と、削除されずに残った影候補画素とから成る集合が
前景物体マスクとなる。
Using the shadow candidate pixels, foreground object pixels, and contours of the foreground object obtained by the above processing, the shadow is removed by the shadow removing means 104. More specifically, the shadow removing means 104
Cuts the shadow candidate pixels in order from the outer one to the contour line of the foreground object and the vicinity of the foreground object pixel. A set composed of foreground object pixels and shadow candidate pixels that remain without being deleted serves as a foreground object mask.

【0053】最後に、前景物体画像生成手段105は、
前景物体マスクで、平滑化前の入力画像をマスキングし
て、前景物体画像を生成し、画像出力手段120を構成
するビデオキャプチャボードに転送する。
Finally, the foreground object image generating means 105
The input image before smoothing is masked by the foreground object mask to generate a foreground object image, which is transferred to a video capture board constituting the image output means 120.

【0054】ビデオキャプチャボードでは、それをNT
SC信号に変換し、画像をモニタに出力する。次の画像
が入力されるのを待ち、以後同じ処理を繰り返す。
On the video capture board, set it to NT
Convert to SC signal and output image to monitor. Wait for the next image to be input, and repeat the same process thereafter.

【0055】次に、本発明の第2の実施例を説明する。
本発明の第2の実施例は、前記第1の実施例とその基本
構成は同様とされているが、ビデオキャプチャボードか
ら画像処理ボードに入力される信号が、モノクロの輝度
値画像である点で、前記第1の実施例と相違している。
Next, a second embodiment of the present invention will be described.
The second embodiment of the present invention has the same basic configuration as the first embodiment, except that the signal input from the video capture board to the image processing board is a monochrome luminance value image. This is different from the first embodiment.

【0056】はじめに、入力画像に対する平滑化画像と
縦、横エッジ画像を計算する。
First, a smoothed image and vertical and horizontal edge images for the input image are calculated.

【0057】平滑化画像は入力画像に対して、上式
(1)のオペレータを施すことにより生成される。ま
た、縦、横エッジ画像は入力画像に対して、上式(2)
のSobelオペレータを施すことにより生成される。
The smoothed image is generated by applying the operator of the above equation (1) to the input image. Further, the vertical and horizontal edge images are obtained by using the above equation (2)
Generated by applying the Sobel operator.

【0058】差分マスク生成手段101は、あらかじめ
記憶されている平滑化済み背景画像との差分を既定値で
二値化し、差分マスクを生成する。差分マスク中の各画
素において、入力画像−背景画像間の類似度を計算す
る。
The difference mask generation means 101 generates a difference mask by binarizing a difference from a smoothed background image stored in advance by a default value. For each pixel in the difference mask, the similarity between the input image and the background image is calculated.

【0059】ある画素(x,y)を中心とする局所領域内に
おける輝度値分布の類似度が高い場合、次式(6)で与
えられる値は小さくなる。
When the similarity of the luminance value distribution in a local area centered on a certain pixel (x, y) is high, the value given by the following equation (6) becomes small.

【0060】 …(6)[0060] … (6)

【0061】上式(6)において、I1(i,j)、I0(i,j)
は、それぞれ前景画像、背景画像中における画素(i,j)
の輝度値を表している。Nxyは、画素(x,y)を中心とする
局所領域を表している。
In the above equation (6), I 1 (i, j) and I 0 (i, j)
Is the pixel (i, j) in the foreground image and the background image, respectively.
Represents the luminance value of. N xy represents a local region centered on the pixel (x, y).

【0062】 は、それぞれ、入力画像、背景画像に対する局所領域N
xy内の平均輝度値である。
[0062] Is the local region N for the input image and the background image, respectively.
This is the average luminance value in xy .

【0063】影候補抽出手段102では、差分マスク中
の画素で、上式(6)の値が小さい、つまり入力画像−
背景画像間の類似度が高い画素を、影候補画素として、
それ以外の画素を前景物体画素として抽出する。
In the shadow candidate extraction means 102, the value of the above equation (6) is small for the pixels in the difference mask, that is, the input image
Pixels having a high degree of similarity between background images are defined as shadow candidate pixels.
Other pixels are extracted as foreground object pixels.

【0064】次に、前景物体の輪郭を、前記第1の実施
例と同様にして、入力画像の縦、横エッジ画像と、あら
かじめ記憶されている背景画像の縦、横エッジ画像との
差分を二値化することで抽出する。また、前記第1の実
施例と同様にして、輪郭抽出手段103で、前景物体の
輪郭を細線化する。
Next, the difference between the vertical and horizontal edge images of the input image and the vertical and horizontal edge images of the background image stored in advance is determined in the same manner as in the first embodiment. Extract by binarization. Further, similarly to the first embodiment, the contour of the foreground object is thinned by the contour extracting means 103.

【0065】以上の処理で、影候補画素、前景物体画素
および前景物体の輪郭を得る。以後、前記第1の実施例
と同様にして、影除去手段104で影を除去し、前景物
体画像生成手段105で前景物体画像を得る。
With the above processing, shadow candidate pixels, foreground object pixels, and the outline of the foreground object are obtained. Thereafter, in the same manner as in the first embodiment, the shadow is removed by the shadow removing means 104, and the foreground object image generating means 105 obtains the foreground object image.

【0066】[0066]

【発明の効果】以上説明したように、本発明によれば、
背景と類似した前景物体中の画素が影と誤認識されるこ
とを防ぎ、画像中の真の影のみを除去できる、という効
果を奏する。
As described above, according to the present invention,
This has the effect of preventing pixels in the foreground object similar to the background from being erroneously recognized as shadows and removing only true shadows in the image.

【0067】その理由は、本発明においては、局所的な
類似度だけで影の判定を行うのではなく、前景物体画素
および前景物体の輪郭との位置関係も考慮して影の判定
を行う、構成としている、ためである。
The reason is that, in the present invention, shadow determination is performed not only based on local similarity but also in consideration of the positional relationship between the foreground object pixel and the contour of the foreground object. This is because it has a configuration.

【図面の簡単な説明】[Brief description of the drawings]

【図1】本発明の一実施例の構成を示す図である。FIG. 1 is a diagram showing a configuration of an embodiment of the present invention.

【図2】本発明の一実施例の動作を示す流れ図である。FIG. 2 is a flowchart showing the operation of one embodiment of the present invention.

【図3】本発明の一実施例の動作の具体例を示す図であ
る。
FIG. 3 is a diagram showing a specific example of the operation of one embodiment of the present invention.

【図4】本発明の他の実施例の構成を示す図である。FIG. 4 is a diagram showing a configuration of another embodiment of the present invention.

【図5】本発明の一実施例を説明するための図である。FIG. 5 is a diagram for explaining one embodiment of the present invention.

【図6】本発明の一実施例を説明するための図である。FIG. 6 is a diagram for explaining one embodiment of the present invention.

【符号の説明】[Explanation of symbols]

100 コンピュータ(中央処理装置;プロセッサ;デ
ータ処理装置) 101 差分マスク生成手段 102 影候補抽出手段 103 輪郭抽出手段 104 影除去手段 105 前景物体画像生成手段 110 画像入力手段(装置) 120 画像出力手段(装置) 301 入力画像 302 背景画像 303 差分マスク 304 前景物体輪郭 305 影領域 306 前景物体マスク 400 コンピュータ(中央処理装置;プロセッサ;デ
ータ処理装置) 410 画像入力手段(装置) 420 画像出力手段(装置) 430 記録媒体
REFERENCE SIGNS LIST 100 computer (central processing unit; processor; data processing unit) 101 difference mask generation unit 102 shadow candidate extraction unit 103 contour extraction unit 104 shadow removal unit 105 foreground object image generation unit 110 image input unit (device) 120 image output unit (device) ) 301 input image 302 background image 303 difference mask 304 foreground object outline 305 shadow area 306 foreground object mask 400 computer (central processing unit; processor; data processing unit) 410 image input unit (unit) 420 image output unit (unit) 430 recording Medium

フロントページの続き Fターム(参考) 5B057 CA01 CA08 CA12 CA16 CC03 CE09 CE12 DA08 DB02 DB06 DB09 DC16 DC34 DC36 5C066 AA11 BA02 CA08 CA11 EC01 ED02 EE02 EF04 EF13 GA01 GA04 HA02 KC02 KC03 KC07 KD02 KD06 KE04 KE05 KE09 KE17 KE19 5L096 AA02 DA01 EA06 EA37 EA43 FA06 FA32 GA08 GA10 JA03 9A001 HH25 HH28 HH31 JJ71 KK54Continued on front page F-term (reference) EA06 EA37 EA43 FA06 FA32 GA08 GA10 JA03 9A001 HH25 HH28 HH31 JJ71 KK54

Claims (7)

【特許請求の範囲】[Claims] 【請求項1】入力画像と背景画像間で画素値が変化した
画素のマスクを生成する差分マスク生成手段と、 前記マスク中の画素で前記入力画像と前記背景画像間の
類似度が高いものを影候補画素とし、それ以外の画素を
前景物体画素と判定する影候補抽出手段と、 前記前景物体の輪郭を抽出する輪郭抽出手段と、 前記影候補画素のうち、前記前景物体の輪郭、および前
記前景物体画素から成る画素集合の外側に位置するもの
を影として、前記マスクから除去する影除去手段と、 前記入力画像から前記前景物体画像を抽出する前景物体
画像生成手段と、 を備えたことを特徴とする物体抽出システム。
1. A difference mask generating means for generating a mask of a pixel whose pixel value has changed between an input image and a background image, and a difference mask generating unit which selects a pixel in the mask having a high similarity between the input image and the background image. Shadow candidate pixels, shadow candidate extraction means for determining other pixels as foreground object pixels, contour extraction means for extracting the outline of the foreground object, of the shadow candidate pixels, the outline of the foreground object, and Shadow removal means for removing, from the mask, those located outside a pixel set made up of foreground object pixels, and foreground object image generation means for extracting the foreground object image from the input image. Object extraction system to be featured.
【請求項2】入力画像と背景画像間で画素値が変化した
画素のマスクを生成するステップと、 前記マスク中の画素で前記入力画像と前記背景画像間の
類似度が高いものを影候補画素とし、それ以外の画素を
前景物体画素と判定するステップと、 前記前景物体の輪郭を抽出するステップと、 前記影候補画素のうち、前記前景物体の輪郭、および前
記前景物体画素から成る画素集合の外側に位置するもの
を影として、前記マスクから除去するステップと、 前記入力画像から前記前景物体画像を抽出して取り出す
ステップと、 を含むことを特徴とする物体抽出方法。
2. A method for generating a mask for a pixel having a pixel value changed between an input image and a background image, and selecting a pixel in the mask having a high similarity between the input image and the background image as a shadow candidate pixel. Determining the other pixels as foreground object pixels; extracting the outline of the foreground object; of the shadow candidate pixels, the outline of the foreground object and a pixel set of the foreground object pixels. An object extraction method, comprising: removing an outer object as a shadow from the mask; and extracting and extracting the foreground object image from the input image.
【請求項3】(a)入力画像と背景画像間で画素値が変
化した画素のマスクを生成する差分マスク生成処理と、 (b)前記マスク中の画素で前記入力画像と前記背景画
像間の類似度が高いものを影候補画素とし、それ以外の
画素を前景物体画素と判定する影候補抽出処理と、 (c)前記前景物体の輪郭を抽出する輪郭抽出処理と、 (d)前記影候補画素のうち、前記前景物体の輪郭、お
よび前記前景物体画素から成る画素集合の外側に位置す
るものを影として、前記マスクから除去する影除去処理
と、 (e)前記入力画像から前記前景物体画像を抽出して取
り出す前景物体画像生成処理と、 の前記(a)乃至(e)の各処理をコンピュータに実行
させるためのプログラムを記録した記録媒体。
3. A difference mask generation process for generating a mask for a pixel whose pixel value has changed between an input image and a background image; and (b) a difference mask between the input image and the background image using pixels in the mask. (C) a contour extraction process for extracting a contour of the foreground object, and (d) a contour extraction process for extracting a contour candidate of the foreground object. Shadow removal processing for removing, from the mask, a pixel located outside the pixel set composed of the contour of the foreground object and the foreground object pixel as a shadow; and (e) the foreground object image from the input image. A recording medium on which is recorded a program for causing a computer to execute each of the processes (a) to (e) described in (a) to (e) above.
【請求項4】画像入力手段から入力された色信号(R、
G、B)よりなる入力画像に対して平滑化画像と得る手
段と、前記入力画像に対して縦エッジ画像及び横エッジ
画像を求める手段とを備え、 初期フレームの平滑化画像を背景画像、縦エッジ画像及
び横エッジ画像を背景エッジ画像として記憶装置に保存
し、 前記入力画像と、前記保存された平滑化済みの背景画像
との間で色信号の差分を求めて二値化し、得られた二値
画像に対して差分マスクを生成する差分マスク生成手段
と、 前記生成された差分マスクにおいて、入力画像と背景画
像間で、色信号(R、G、B)の比を保ったまま各成分
の値が減少するという変化が見られるものを影候補画素
とし、それ以外の画素を前景物体画素として判定する影
候補抽出手段と、 前記入力画像のエッジ画像と、前記保存されている背景
エッジ画像との差分を二値化して前景物体の輪郭マスク
を生成し、生成された輪郭マスクを細線化処理して輪郭
線を得る輪郭抽出手段と、 前記影候補画素のうち、影候補画素を外側にあるものか
ら順に、前記前景物体の輪郭線および前記前景物体画素
の近傍まで削り、前記前景物体画素と、削除されずに残
った前記影候補画素とから成る集合を前景物体マスクと
する影除去手段と、 前記前景物体マスクで平滑化前の前記入力画像をマスキ
ングして前景物体画像を生成し画像出力手段に転送する
前景物体画像生成手段と、 を備えたことを特徴とする物体抽出装置。
4. A color signal (R, R) input from an image input means.
G, B) means for obtaining a smoothed image for the input image, and means for obtaining a vertical edge image and a horizontal edge image for the input image. The edge image and the horizontal edge image are stored in a storage device as a background edge image, and the difference between color signals between the input image and the stored smoothed background image is obtained and binarized. A difference mask generating means for generating a difference mask for the binary image; and, in the generated difference mask, each component of the input image and the background image while maintaining the ratio of the color signals (R, G, B). The shadow candidate extraction means for determining a pixel in which a change in which the value decreases as a shadow candidate pixel and determining the other pixels as foreground object pixels, an edge image of the input image, and the stored background edge image With Contour extracting means for binarizing the difference to generate a contour mask of the foreground object, thinning the generated contour mask to obtain a contour line, wherein the shadow candidate pixels which are outside the shadow candidate pixels In order, from the contour line of the foreground object and the vicinity of the foreground object pixel, shaving, the foreground object pixel, a shadow removal means as a foreground object mask a set consisting of the shadow candidate pixels remaining without being deleted, A foreground object image generating means for generating a foreground object image by masking the input image before smoothing with the foreground object mask and transferring the image to an image output means.
【請求項5】画像入力手段から入力された入力画像の輝
度信号に対して平滑化画像と、縦エッジ画像及び横エッ
ジ画像を求める手段を備え、 初期フレームの平滑化画像を背景画像、縦エッジ画像及
び横エッジ画像を背景エッジ画像として記憶装置に保存
し、 前記入力画像と、前記保存され平滑化済みの背景画像と
間で輝度値の差分を求めて二値化し、得られた二値画像
に対して差分マスクを生成する差分マスク生成手段と、 前記生成された差分マスクにおいて、入力画像と背景画
像間の輝度値の類似度を導出し、ある画素を中心とする
局所的な領域内における輝度値分布の類似度が相対的に
高い画素を影候補画素とし、それ以外の画素を前景物体
画素として判定する影候補抽出手段と、 前記入力画像のエッジ画像と保存されている背景エッジ
画像との差分を二値化して前景物体の輪郭マスクを生成
し、生成された輪郭マスクを細線化処理して輪郭線を得
る輪郭抽出手段と、 前記影候補画素のうち、影候補画素を外側にあるものか
ら順に、前記前景物体の輪郭線および前記前景物体画素
の近傍まで削り、前記前景物体画素と、削除されずに残
った前記影候補画素とから成る集合を前景物体マスクと
する影除去手段と、 前記前景物体マスクで平滑化前の前記入力画像をマスキ
ングして前景物体画像を生成し画像出力手段に転送する
前景物体画像生成手段と、 を備えたことを特徴とする物体抽出装置。
And a means for obtaining a smoothed image, a vertical edge image, and a horizontal edge image for a luminance signal of the input image input from the image input means. An image and a horizontal edge image are stored in a storage device as a background edge image, and a binary image is obtained by calculating a difference in luminance value between the input image and the stored and smoothed background image. A difference mask generating means for generating a difference mask with respect to, and in the generated difference mask, derive the similarity of the luminance value between the input image and the background image, and calculate the similarity in a local region centered on a certain pixel. Shadow candidate extracting means for determining a pixel having a relatively high similarity in the luminance value distribution as a shadow candidate pixel and determining other pixels as foreground object pixels; and a background edge stored with the edge image of the input image. A contour extraction means for binarizing a difference from the image and generating a contour mask of the foreground object, thinning the generated contour mask to obtain a contour line, among the shadow candidate pixels, In order from the outside, the contour of the foreground object and the vicinity of the foreground object pixel are shaved, and a set of the foreground object pixel and the shadow candidate pixel remaining without being deleted is used as a foreground object mask. An object extracting device, comprising: a removing unit; and a foreground object image generating unit that masks the input image before smoothing with the foreground object mask to generate a foreground object image and transfers the image to an image output unit. .
【請求項6】前記影候補抽出手段において、 I1(i,j)、I0(i,j)をそれぞれ前景画像、背景画像中にお
ける画素(i,j)の輝度値とし、Nxyを画素(x,y)を中心と
する局所領域とし、 ̄I1(x,y)、 ̄I0(x,y)をそれぞれ入
力画像、背景画像に対する局所領域Nxy内の平均輝度値
とし、 I1(i,j)/ ̄I1(x,y)から、I0(i,j)/ ̄I0(x,y)を差し引
いた値の絶対値の、画素(i,j)に関する局所領域Nxy内で
の総和を導出し、 前記総和が予め定められた所定値よりも小さい、すなわ
ち前記入力画像と前記背景画像間の類似度が高い、画素
を影候補画素として、それ以外の画素を前景物体画素と
して抽出する、ことを特徴とする請求項5記載の物体抽
出装置。
6. The shadow candidate extracting means, wherein I 1 (i, j) and I 0 (i, j) are the luminance values of the pixel (i, j) in the foreground image and the background image, respectively, and N xy is Pixel (x, y) as a local region,  ̄I 1 (x, y),  ̄I 0 (x, y) as the input image, the average luminance value in the local region N xy for the background image, respectively, The absolute value of the value obtained by subtracting I 0 (i, j) / yI 0 (x, y) from I 1 (i, j) /  ̄I 1 (x, y) for the pixel (i, j) Deriving the sum in the local area Nxy , the sum is smaller than a predetermined value, that is, the similarity between the input image and the background image is high, pixels as shadow candidate pixels, and other The object extracting apparatus according to claim 5, wherein the pixel is extracted as a foreground object pixel.
【請求項7】前記入力画像に対して縦エッジ画像及び横
エッジ画像を求める手段が、 R、G、B画像それぞれに対して、縦エッジ用線形フィ
ルタ、横エッジ用線形フィルタ処理を施し、各画素にお
いて、R、G、B成分の縦/横エッジ値を得るフィルタ
リング部と、 各画素において、R、G、B成分それぞれのエッジ強度
を計算するエッジ強度計算部と、 R、G、B成分のうち、エッジ強度が最大となる成分を
選択し、その成分の縦/横エッジ値を、該画素における
縦/横エッジ値Ix(x,y)、Iy(x,y)とするエッジ値選択部
と、を備え、 前記入力画像の全画素について、縦/横エッジ値Ix(x,
y)、Iy(x,y)を求めることで、縦エッジ画像Ixと、横エ
ッジ画像Iyとを得る、ことを特徴とする請求項4記載の
物体抽出装置。
7. A means for obtaining a vertical edge image and a horizontal edge image from the input image, comprising: performing a vertical edge linear filter and a horizontal edge linear filter process on each of the R, G, and B images; A filtering unit that obtains vertical / horizontal edge values of R, G, and B components in a pixel; an edge intensity calculation unit that calculates edge strengths of R, G, and B components in each pixel; and an R, G, and B component Of the components, the edge having the maximum edge strength is selected, and the vertical / horizontal edge values of the component are set as the vertical / horizontal edge values I x (x, y) and I y (x, y) of the pixel. A vertical / horizontal edge value I x (x,
The object extraction device according to claim 4, wherein a vertical edge image Ix and a horizontal edge image Iy are obtained by obtaining y) and Iy (x, y).
JP2000017072A 2000-01-26 2000-01-26 Object extraction system and method, and storage medium storing object extraction program Expired - Fee Related JP3480408B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2000017072A JP3480408B2 (en) 2000-01-26 2000-01-26 Object extraction system and method, and storage medium storing object extraction program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2000017072A JP3480408B2 (en) 2000-01-26 2000-01-26 Object extraction system and method, and storage medium storing object extraction program

Publications (2)

Publication Number Publication Date
JP2001209808A true JP2001209808A (en) 2001-08-03
JP3480408B2 JP3480408B2 (en) 2003-12-22

Family

ID=18544110

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000017072A Expired - Fee Related JP3480408B2 (en) 2000-01-26 2000-01-26 Object extraction system and method, and storage medium storing object extraction program

Country Status (1)

Country Link
JP (1) JP3480408B2 (en)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007272292A (en) * 2006-03-30 2007-10-18 Denso It Laboratory Inc Shadow recognition method and shadow boundary extraction method
JP2008523454A (en) * 2004-12-15 2008-07-03 ミツビシ・エレクトリック・リサーチ・ラボラトリーズ・インコーポレイテッド How to model background and foreground regions
CN101763635B (en) * 2009-07-28 2011-10-05 北京智安邦科技有限公司 Method and device for judging region of background illumination variation in video image frame sequence
KR101079826B1 (en) * 2009-07-13 2011-11-03 부산대학교 산학협력단 Method for extraction of moving region in video surveillance
KR101297396B1 (en) * 2011-12-28 2013-08-14 충북대학교 산학협력단 Method of shadow removal based on relative similarity
JP2019125057A (en) * 2018-01-12 2019-07-25 キヤノン株式会社 Image processing apparatus, method thereof and program
JP2019125269A (en) * 2018-01-18 2019-07-25 Kddi株式会社 Method and device suitable for foreground/background separation
JP7473186B2 (en) 2020-07-06 2024-04-23 Necソリューションイノベータ株式会社 Image processing device, image processing method, and program

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008523454A (en) * 2004-12-15 2008-07-03 ミツビシ・エレクトリック・リサーチ・ラボラトリーズ・インコーポレイテッド How to model background and foreground regions
JP4708343B2 (en) * 2004-12-15 2011-06-22 ミツビシ・エレクトリック・リサーチ・ラボラトリーズ・インコーポレイテッド How to model background and foreground regions
JP2007272292A (en) * 2006-03-30 2007-10-18 Denso It Laboratory Inc Shadow recognition method and shadow boundary extraction method
JP4674179B2 (en) * 2006-03-30 2011-04-20 株式会社デンソーアイティーラボラトリ Shadow recognition method and shadow boundary extraction method
KR101079826B1 (en) * 2009-07-13 2011-11-03 부산대학교 산학협력단 Method for extraction of moving region in video surveillance
CN101763635B (en) * 2009-07-28 2011-10-05 北京智安邦科技有限公司 Method and device for judging region of background illumination variation in video image frame sequence
KR101297396B1 (en) * 2011-12-28 2013-08-14 충북대학교 산학협력단 Method of shadow removal based on relative similarity
JP2019125057A (en) * 2018-01-12 2019-07-25 キヤノン株式会社 Image processing apparatus, method thereof and program
JP7094702B2 (en) 2018-01-12 2022-07-04 キヤノン株式会社 Image processing device and its method, program
JP2019125269A (en) * 2018-01-18 2019-07-25 Kddi株式会社 Method and device suitable for foreground/background separation
JP7473186B2 (en) 2020-07-06 2024-04-23 Necソリューションイノベータ株式会社 Image processing device, image processing method, and program

Also Published As

Publication number Publication date
JP3480408B2 (en) 2003-12-22

Similar Documents

Publication Publication Date Title
US9569827B2 (en) Image processing apparatus and method, and program
JP4746050B2 (en) Method and system for processing video data
JP3679512B2 (en) Image extraction apparatus and method
US8611728B2 (en) Video matting based on foreground-background constraint propagation
US6803920B2 (en) Method and apparatus for digital image segmentation using an iterative method
JP2006318474A (en) Method and device for tracking object in image sequence
JP2016505186A (en) Image processor with edge preservation and noise suppression functions
JPH0944670A (en) Method and device for extracting specified image area
JP2002503894A (en) Noise removal algorithm based on new edge detection
JP3753357B2 (en) Character extraction method and recording medium
JP2001209808A (en) System and method for extracting object, and storage medium with stored program for object extraction
JPH10149449A (en) Picture division method, picture identification method, picture division device and picture identification device
JP3902887B2 (en) Lip extraction method
JP2000339471A (en) Method and device for extracting picture
JP2003303346A (en) Method, device and program for tracing target, and recording medium recording the program
JP2011076302A (en) Device, contour extraction method program, and contour extraction
JP2002269545A (en) Face image processing method and face image processing device
JPH1125222A (en) Method and device for segmenting character
JP2001043312A (en) Document picture processor
JP2002208013A (en) Device for extracting image area and method for the same
JP2576336B2 (en) Image division method and apparatus
JP7012457B2 (en) Image processing device, image processing method
JP2006078299A (en) Image region dividing method by means of extracting image region
Wang et al. Accurate human silhouette extraction in video data by shadow evaluation
JP2004118718A (en) Method and device for detecting scene changing point, as well as program thereof

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20030909

R150 Certificate of patent or registration of utility model

Ref document number: 3480408

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20071010

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081010

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091010

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091010

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101010

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111010

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121010

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131010

Year of fee payment: 10

LAPS Cancellation because of no payment of annual fees