JP2002373335A - 画像処理装置および方法、記録媒体、並びにプログラム - Google Patents
画像処理装置および方法、記録媒体、並びにプログラムInfo
- Publication number
- JP2002373335A JP2002373335A JP2001181394A JP2001181394A JP2002373335A JP 2002373335 A JP2002373335 A JP 2002373335A JP 2001181394 A JP2001181394 A JP 2001181394A JP 2001181394 A JP2001181394 A JP 2001181394A JP 2002373335 A JP2002373335 A JP 2002373335A
- Authority
- JP
- Japan
- Prior art keywords
- image
- area
- background
- pixel
- foreground
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Closed-Circuit Television Systems (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Picture Signal Circuits (AREA)
- Studio Circuits (AREA)
Abstract
合い対応して画像を処理する。 【解決手段】 領域特定部103は、前景領域、背景領
域、および混合領域を特定し、特定結果に対応する領域
特定情報を出力する。前景背景分離部105は、領域特
定情報に対応して、少なくとも混合領域において、入力
画像データを、前景オブジェクト成分と背景オブジェク
ト成分とに分離する。分離画像処理部106は、前景オ
ブジェクト成分および背景オブジェクト成分を個々に処
理する。
Description
び方法、記録媒体、並びにプログラムに関し、特に、セ
ンサにより検出した信号と現実世界との違いを考慮した
画像処理装置および方法、記録媒体、並びにプログラム
に関する。
生成する処理の1つとして、クラス分類適応処理があ
る。クラス分類適応処理の例として、空間方向に、より
高解像度の画像を生成する処理で使用される係数を予め
生成し、生成した係数を基に、空間方向に、より高解像
度の画像を生成する処理があげられる。
精細度))画像からHD(High Definition(高精細
度))画像を生成するクラス分類適応処理において使用
される係数を生成する、従来の画像処理装置の構成を示
すブロック図である。
画像を、フレーム単位で記憶する。フレームメモリ11
は、記憶しているHD画像を加重平均部12および対応画
素取得部16に供給する。
記憶されているHD画像を4分の1加重平均して、SD画像
を生成し、生成したSD画像をフレームメモリ13に供給
する。
ら供給されたSD画像をフレーム単位で記憶し、記憶して
いるSD画像をクラス分類部14および予測タップ取得部
15に供給する。
21および波形分類部22で構成され、フレームメモリ
13に記憶されているSD画像の、注目している画素であ
る注目画素をクラス分類する。クラスタップ取得部21
は、フレームメモリ13から、注目画素に対応するSD画
像の画素である、所定の数のクラスタップを取得し、取
得したクラスタップを波形分類部22に供給する。
るクラスタップを説明する図である。クラスタップ取得
部21は、図2に示すように、所定の位置の11個のク
ラスタップを取得する。
注目画素を複数のクラスのうちの1つのクラスに分類
し、分類されたクラスに対応するクラス番号を予測タッ
プ取得部15に供給する。波形分類部22は、11個の
クラスタップを基に、注目画素を、2048のクラスの
うちの1つのクラスに分類する。
に、フレームメモリ13から分類されたクラスに対応す
る、SD画像の画素である、所定の数の予測タップを取得
し、取得した予測タップおよびクラス番号を対応画素取
得部16に供給する。
予測タップを説明する図である。予測タップ取得部15
は、図3に示すように、所定の位置の9個の予測タップ
を取得する。
クラス番号を基に、フレームメモリ11から、予測すべ
き画素値に対応するHD画像の画素を取得し、予測タッ
プ、クラス番号、および取得した予測すべき画素値に対
応するHD画像の画素を正規方程式生成部17に供給す
る。
ラス番号、および取得した予測すべき画素値を基に、各
クラスに対応し、予測タップおよび予測すべき画素値の
関係に対応する正規方程式を生成し、各クラスに対応す
る、生成した正規方程式を係数計算部18に供給する。
から供給された正規方程式を解いて、各クラスに対応す
る係数セットを計算し、クラス番号と共に、計算した係
数セットを係数セットメモリ19に供給する。
に、算出された係数セットをクラスに対応させて記憶す
る。
する図である。クラス分類適応処理において、HD画像で
ある教師画像から、4分の1加重平均の処理により、対
応するSD画像を生成する。生成されたSD画像は、生徒画
像と称する。
するSD画像である生徒画像を基に、SD画像からHD画像を
生成するための係数セットが生成される。係数セット
は、線形予測などにより、SD画像からHD画像を生成する
ための係数で構成される。
画像から、線形予測などにより、4倍密画像が生成され
る。係数セットおよび入力画像から、より高密度な画像
などを生成する処理をマッピングとも称する。
画像を基に、SNRの比較、または目視による定性評価が
行われる。
から生成された係数セットは、特定の教師画像、および
対応する生徒画像のセルフの係数セットと称する。セル
フの係数セットを使用したマッピングは、セルフマッピ
ングと称する。複数の他の教師画像、および対応する生
徒画像から生成された係数セットは、クロスの係数セッ
トと称する。
する前景である物体をビデオカメラで撮像して得られる
画像には、物体の移動速度が比較的速い場合、動きボケ
が生じ、背景と前景の混ざり合いが生ずる。
5に示すように、前景、背景、並びに前景および背景の
混ざり合いが生じている部分の全てに対して、以上のよ
うな学習の処理により、1つの係数セットが生成され、
この係数セットを基に、マッピングの処理が実行され
る。
からHD画像を生成する処理において使用される係数を生
成する、従来の学習の処理を説明する。ステップS11
において、画像処理装置は、生徒画像に未処理の画素が
あるか否かを判定し、生徒画像に未処理の画素があると
判定された場合、ステップS12に進み、ラスタースキ
ャン順に、生徒画像から注目画素を取得する。
4のクラスタップ取得部21は、フレームメモリ13に
記憶されている生徒画像から、注目画素に対応するクラ
スタップを取得する。ステップS14において、クラス
分類部14の波形分類部22は、クラスタップを基に、
注目画素をクラス分類する。ステップS15において、
予測タップ取得部15は、分類されたクラスを基に、フ
レームメモリ13に記憶されている生徒画像から、注目
画素に対応する予測タップを取得する。
16は、分類されたクラスを基に、フレームメモリ11
に記憶されている教師画像から、予測すべき画素値に対
応する画素を取得する。
部17は、分類されたクラスを基に、クラス毎の行列
に、予測タップおよび予測すべき画素値に対応する画素
の画素値を足し込み、ステップS11に戻り、画像処理
装置は、未処理の画素があるか否かの判定を繰り返す。
予測タップおよび予測すべき画素値に対応する画素の画
素値を足し込まれるクラス毎の行列は、クラス毎の係数
を計算するための正規方程式に対応する。
理の画素がないと判定された場合、ステップS18に進
み、正規方程式生成部17は、予測タップおよび予測す
べき画素値に対応する画素の画素値が設定された、クラ
ス毎の行列を係数計算部18に供給する。係数計算部1
8は、予測タップおよび予測すべき画素値に対応する画
素の画素値が設定された、クラス毎の行列を解いて、ク
ラス毎の係数セットを計算する。
は、計算されたクラス毎の係数を係数セットメモリ19
に出力する。係数セットメモリ19は、クラス毎に係数
セットを記憶し、処理は終了する。
像からHD画像を生成する従来の画像処理装置の構成を示
すブロック図である。
画像を、フレーム単位で記憶する。フレームメモリ31
は、記憶しているSD画像をマッピング部32に供給す
る。
クラス分類部41および予測タップ取得部42に供給さ
れる。
51および波形分類部52で構成され、フレームメモリ
31に記憶されているSD画像の、注目している画素であ
る、注目画素をクラス分類する。クラスタップ取得部5
1は、フレームメモリ31から注目画素に対応する、所
定の数のクラスタップを取得し、取得したクラスタップ
を波形分類部52に供給する。
所定の数のクラスのうちの、1つのクラスに注目画素を
分類し、分類されたクラスに対応するクラス番号を予測
タップ取得部42に供給する。
に、フレームメモリ31に記憶されている入力画像か
ら、分類されたクラスに対応する、所定の数の予測タッ
プを取得し、取得した予測タップおよびクラス番号を予
測演算部43に供給する。
数セットメモリ33に記憶されている係数セットから、
クラスに対応する係数セットを取得する。予測演算部4
3は、クラスに対応する係数セット、および予測タップ
を基に、線形予測により予測画像の画素値を予測する。
予測演算部43は、予測した画素値をフレームメモリ3
4に供給する。
ら供給された予測された画素値を記憶し、予測された画
素値が設定されたHD画像を出力する。
分類適応処理により生成された出力画像の画素値を示す
図である。図8に示すように、クラス分類適応処理によ
り生成される画像は、SD画像の帯域制限で失われた波形
を含む。その意味で、クラス分類適応処理による、より
高解像度の画像の生成の処理は、解像度を創造している
と言える。
分類適応処理による解像度創造の処理を実行する画像処
理装置による、SD画像からHD画像を生成する、従来の画
像の創造の処理を説明する。
は、入力画像に未処理の画素があるか否かを判定し、入
力画像に未処理の画素があると判定された場合、ステッ
プS32に進み、マッピング部32は、係数セットメモ
リ33に記憶されている係数セットを取得する。ステッ
プS33において、画像処理装置は、ラスタースキャン
順に、入力画像から注目画素を取得する。
1のクラスタップ取得部51は、フレームメモリ31に
記憶されている入力画像から、注目画素に対応するクラ
スタップを取得する。ステップS35において、クラス
分類部41の波形分類部52は、クラスタップを基に、
注目画素を1つのクラスにクラス分類する。
部42は、分類されたクラスを基に、フレームメモリ3
1に記憶されている入力画像から、注目画素に対応する
予測タップを取得する。
は、分類されたクラスに対応する係数セット、および予
測タップを基に、線形予測により、予測画像の画素値を
予測する。
は、予測された画素値をフレームメモリ34に出力す
る。フレームメモリ34は、予測演算部43から供給さ
れた画素値を記憶する。手続きは、ステップS31に戻
り、未処理の画素があるか否かの判定を繰り返す。
理の画素がないと判定された場合、ステップS39に進
み、フレームメモリ34は、予測値が設定された、記憶
している予測画像を出力して、処理は終了する。
画像に変換するため、エッジ強調の処理が利用される。
エッジ強調の処理においても、以上で説明したクラス分
類適応処理と同様に、同一の処理が画面全体に対して実
行される。
で物体が移動するとき、移動する物体の画像自身の混ざ
り合いによる動きボケのみならず、背景の画像と移動す
る物体の画像との混ざり合いが生じる。従来、背景の画
像と移動する物体の画像との混ざり合いに対応して画像
を処理することは、考えられていなかった。
ものであり、背景の画像と移動する物体の画像との混ざ
り合いに対応して画像を処理することができるようにす
ることを目的とする。
は、入力画像データに基づいて、前景オブジェクトを構
成する前景オブジェクト成分、および背景オブジェクト
を構成する背景オブジェクト成分が混合されてなる混合
領域と、前景オブジェクト成分からなる前景領域、およ
び背景オブジェクトを構成する背景オブジェクト成分か
らなる背景領域の一方により構成される非混合領域とを
特定し、特定結果に対応する領域特定情報を出力する領
域特定手段と、領域特定情報に対応して、少なくとも混
合領域において、入力画像データを、前景オブジェクト
成分と背景オブジェクト成分とに分離する分離手段と、
分離結果に対応して、前景オブジェクト成分および背景
オブジェクト成分を個々に処理する処理手段とを含むこ
とを特徴とする。
ド領域およびアンカバードバックグラウンド領域をさら
に特定し、特定結果に対応する領域特定情報を出力し、
分離手段は、カバードバックグラウンド領域およびアン
カバードバックグラウンド領域において、入力画像デー
タを、前景オブジェクト成分と背景オブジェクト成分と
に分離するようにすることができる。
背景オブジェクト成分毎に、クラス分類適応処理におい
て使用される係数を生成するようにすることができる。
背景オブジェクト成分毎に、クラス分類適応処理によ
り、出力画像データを生成するようにすることができ
る。
背景オブジェクト成分毎に、エッジを強調するようにす
ることができる。
に基づいて、前景オブジェクトを構成する前景オブジェ
クト成分、および背景オブジェクトを構成する背景オブ
ジェクト成分が混合されてなる混合領域と、前景オブジ
ェクト成分からなる前景領域、および背景オブジェクト
を構成する背景オブジェクト成分からなる背景領域の一
方により構成される非混合領域とを特定し、特定結果に
対応する領域特定情報を出力する領域特定ステップと、
領域特定情報に対応して、少なくとも混合領域におい
て、入力画像データを、前景オブジェクト成分と背景オ
ブジェクト成分とに分離する分離ステップと、分離結果
に対応して、前景オブジェクト成分および背景オブジェ
クト成分を個々に処理する処理ステップとを含むことを
特徴とする。
クグラウンド領域およびアンカバードバックグラウンド
領域をさらに特定し、特定結果に対応する領域特定情報
を出力し、分離ステップの処理は、カバードバックグラ
ウンド領域およびアンカバードバックグラウンド領域に
おいて、入力画像データを、前景オブジェクト成分と背
景オブジェクト成分とに分離するようにすることができ
る。
成分および背景オブジェクト成分毎に、クラス分類適応
処理において使用される係数を生成するようにすること
ができる。
成分および背景オブジェクト成分毎に、クラス分類適応
処理により、出力画像データを生成するようにすること
ができる。
成分および背景オブジェクト成分毎に、エッジを強調す
るようにすることができる。
像データに基づいて、前景オブジェクトを構成する前景
オブジェクト成分、および背景オブジェクトを構成する
背景オブジェクト成分が混合されてなる混合領域と、前
景オブジェクト成分からなる前景領域、および背景オブ
ジェクトを構成する背景オブジェクト成分からなる背景
領域の一方により構成される非混合領域とを特定し、特
定結果に対応する領域特定情報を出力する領域特定ステ
ップと、領域特定情報に対応して、少なくとも混合領域
において、入力画像データを、前景オブジェクト成分と
背景オブジェクト成分とに分離する分離ステップと、分
離結果に対応して、前景オブジェクト成分および背景オ
ブジェクト成分を個々に処理する処理ステップとを含む
ことを特徴とする。
クグラウンド領域およびアンカバードバックグラウンド
領域をさらに特定し、特定結果に対応する領域特定情報
を出力し、分離ステップの処理は、カバードバックグラ
ウンド領域およびアンカバードバックグラウンド領域に
おいて、入力画像データを、前景オブジェクト成分と背
景オブジェクト成分とに分離するようにすることができ
る。
成分および背景オブジェクト成分毎に、クラス分類適応
処理において使用される係数を生成するようにすること
ができる。
成分および背景オブジェクト成分毎に、クラス分類適応
処理により、出力画像データを生成するようにすること
ができる。
成分および背景オブジェクト成分毎に、エッジを強調す
るようにすることができる。
基づいて、前景オブジェクトを構成する前景オブジェク
ト成分、および背景オブジェクトを構成する背景オブジ
ェクト成分が混合されてなる混合領域と、前景オブジェ
クト成分からなる前景領域、および背景オブジェクトを
構成する背景オブジェクト成分からなる背景領域の一方
により構成される非混合領域とを特定し、特定結果に対
応する領域特定情報を出力する領域特定ステップと、領
域特定情報に対応して、少なくとも混合領域において、
入力画像データを、前景オブジェクト成分と背景オブジ
ェクト成分とに分離する分離ステップと、分離結果に対
応して、前景オブジェクト成分および背景オブジェクト
成分を個々に処理する処理ステップとを含むことを特徴
とする。
クグラウンド領域およびアンカバードバックグラウンド
領域をさらに特定し、特定結果に対応する領域特定情報
を出力し、分離ステップの処理は、カバードバックグラ
ウンド領域およびアンカバードバックグラウンド領域に
おいて、入力画像データを、前景オブジェクト成分と背
景オブジェクト成分とに分離するようにすることができ
る。
成分および背景オブジェクト成分毎に、クラス分類適応
処理において使用される係数を生成するようにすること
ができる。
成分および背景オブジェクト成分毎に、クラス分類適応
処理により、出力画像データを生成するようにすること
ができる。
成分および背景オブジェクト成分毎に、エッジを強調す
るようにすることができる。
体、並びにプロクラムにおいては、入力画像データに基
づいて、前景オブジェクトを構成する前景オブジェクト
成分、および背景オブジェクトを構成する背景オブジェ
クト成分が混合されてなる混合領域と、前景オブジェク
ト成分からなる前景領域、および背景オブジェクトを構
成する背景オブジェクト成分からなる背景領域の一方に
より構成される非混合領域とが特定され、特定結果に対
応する領域特定情報が出力され、領域特定情報に対応し
て、少なくとも混合領域において、入力画像データが、
前景オブジェクト成分と背景オブジェクト成分とに分離
され、分離結果に対応して、前景オブジェクト成分およ
び背景オブジェクト成分が個々に処理される。
装置の一実施の形態の構成を示すブロック図である。CP
U(Central Processing Unit)71は、ROM(Read Only
Memory)72、または記憶部78に記憶されているプ
ログラムに従って各種の処理を実行する。RAM(Random
Access Memory)73には、CPU71が実行するプログラ
ムやデータなどが適宜記憶される。これらのCPU71、R
OM72、およびRAM73は、バス74により相互に接続
されている。
力インタフェース75が接続されている。入出力インタ
フェース75には、キーボード、マウス、マイクロホン
などよりなる入力部76、ディスプレイ、スピーカなど
よりなる出力部77が接続されている。CPU71は、入
力部76から入力される指令に対応して各種の処理を実
行する。そして、CPU71は、処理の結果得られた画像
や音声等を出力部77に出力する。
る記憶部78は、例えばハードディスクなどで構成さ
れ、CPU71が実行するプログラムや各種のデータを記
憶する。通信部79は、インターネット、その他のネッ
トワークを介して外部の装置と通信する。この例の場
合、通信部79はセンサの出力を取り込む取得部として
働く。
得し、記憶部78に記憶してもよい。
るドライブ80は、磁気ディスク91、光ディスク9
2、光磁気ディスク93、または半導体メモリ94など
が装着されたとき、それらを駆動し、そこに記録されて
いるプログラムやデータなどを取得する。取得されたプ
ログラムやデータは、必要に応じて記憶部78に転送さ
れ、記憶される。
すブロック図である。
アで実現するか、ソフトウェアで実現するかは問わな
い。つまり、本明細書の各ブロック図は、ハードウェア
のブロック図と考えても、ソフトウェアによる機能ブロ
ック図と考えても良い。
像には、動きボケが含まれている。動きボケとは、撮像
の対象となる、現実世界におけるオブジェクトの動き
と、センサの撮像の特性とにより生じる、動いているオ
ブジェクトに対応する画像に含まれている歪みをいう。
世界におけるオブジェクトに対応する画像を、画像オブ
ジェクトと称する。
ブジェクト抽出部101、領域特定部103、混合比算
出部104、および前景背景分離部105に供給され
る。
含まれる前景のオブジェクトに対応する画像オブジェク
トを粗く抽出して、抽出した画像オブジェクトを動き検
出部102に供給する。オブジェクト抽出部101は、
例えば、入力画像に含まれる前景のオブジェクトに対応
する画像オブジェクトの輪郭を検出することで、前景の
オブジェクトに対応する画像オブジェクトを粗く抽出す
る。
含まれる背景のオブジェクトに対応する画像オブジェク
トを粗く抽出して、抽出した画像オブジェクトを動き検
出部102に供給する。オブジェクト抽出部101は、
例えば、入力画像と、抽出された前景のオブジェクトに
対応する画像オブジェクトとの差から、背景のオブジェ
クトに対応する画像オブジェクトを粗く抽出する。
は、内部に設けられている背景メモリに記憶されている
背景の画像と、入力画像との差から、前景のオブジェク
トに対応する画像オブジェクト、および背景のオブジェ
クトに対応する画像オブジェクトを粗く抽出するように
してもよい。
ッチング法、勾配法、位相相関法、およびペルリカーシ
ブ法などの手法により、粗く抽出された前景のオブジェ
クトに対応する画像オブジェクトの動きベクトルを算出
して、算出した動きベクトルおよび動きベクトルの位置
情報(動きベクトルに対応する画素の位置を特定する情
報)を領域特定部103に供給する。
には、動き量vに対応する情報が含まれている。
オブジェクトの画素を特定する画素位置情報と共に、画
像オブジェクト毎の動きベクトルを動きボケ調整部10
6に出力するようにしてもよい。
応する画像の位置の変化を画素間隔を単位として表す値
である。例えば、前景に対応するオブジェクトの画像
が、あるフレームを基準として次のフレームにおいて4
画素分離れた位置に表示されるように移動していると
き、前景に対応するオブジェクトの画像の動き量vは、
4とされる。
素のそれぞれを、前景領域、背景領域、またはアンカバ
ードバックグラウンド領域、若しくはカバードバックグ
ラウンド領域からなる混合領域のいずれかに特定し、画
素毎に前景領域、背景領域、またはアンカバードバック
グラウンド領域、若しくはカバードバックグラウンド領
域からなる混合領域のいずれかに属するかを示す情報
(以下、領域情報と称する)を混合比算出部104、お
よび前景背景分離部105に供給する。
ウンド領域、およびカバードバックグラウンド領域の詳
細については、後述する。
領域特定部103から供給された領域情報を基に、混合
領域に含まれる画素に対応する混合比(以下、混合比α
と称する)を算出して、算出した混合比を前景背景分離
部105に供給する。
ように、画素値における、背景のオブジェクトに対応す
る画像の成分(以下、背景の成分とも称する)の割合を
示す値である。
3から供給された領域情報、および混合比算出部104
から供給された混合比αを基に、前景のオブジェクトに
対応する画像の成分(以下、前景の成分とも称する)
と、背景の成分のみから成る背景成分画像とを分離し
て、背景領域の画像、アンカバードバックグラウンド領
域の背景の成分のみからなる画像(以下、アンカバード
バックグラウンド領域の背景成分画像と称する)、アン
カバードバックグラウンド領域の前景の成分のみからな
る画像(以下、アンカバードバックグラウンド領域の前
景成分画像と称する)、カバードバックグラウンド領域
の背景の成分のみからなる画像(以下、カバードバック
グラウンド領域の背景成分画像と称する)、カバードバ
ックグラウンド領域の前景の成分のみからなる画像(以
下、カバードバックグラウンド領域の前景成分画像と称
する)、および前景領域の画像を分離画像処理部106
に供給する。
105から供給された、背景領域の画像、アンカバード
バックグラウンド領域の背景成分画像、アンカバードバ
ックグラウンド領域の前景成分画像、カバードバックグ
ラウンド領域の背景成分画像、カバードバックグラウン
ド領域の前景成分画像、および前景領域の画像をそれぞ
れ処理する。
域の画像、アンカバードバックグラウンド領域の背景成
分画像、アンカバードバックグラウンド領域の前景成分
画像、カバードバックグラウンド領域の背景成分画像、
カバードバックグラウンド領域の前景成分画像、および
前景領域の画像毎に、より高解像度の画像を生成するク
ラス分類適応処理で使用される係数を生成する。
域の画像、アンカバードバックグラウンド領域の背景成
分画像、アンカバードバックグラウンド領域の前景成分
画像、カバードバックグラウンド領域の背景成分画像、
カバードバックグラウンド領域の前景成分画像、および
前景領域の画像毎にクラス分類適応処理を適用して、よ
り高解像度の画像を創造する。
は、背景領域の画像、アンカバードバックグラウンド領
域の背景成分画像、アンカバードバックグラウンド領域
の前景成分画像、カバードバックグラウンド領域の背景
成分画像、カバードバックグラウンド領域の前景成分画
像、および前景領域の画像毎に、それぞれ異なる係数を
使用した、エッジ強調の度合いの異なるエッジ強調の処
理を適用する。
処理装置に供給される入力画像について説明する。
である。センサは、例えば、固体撮像素子であるCCD(C
harge-Coupled Device)エリアセンサを備えたCCDビデ
オカメラなどで構成される。現実世界における、前景に
対応するオブジェクトは、現実世界における、背景に対
応するオブジェクトと、センサとの間を、例えば、図中
の左側から右側に水平に移動する。
を、背景に対応するオブジェクトと共に撮像する。セン
サは、撮像した画像を1フレーム単位で出力する。例え
ば、センサは、1秒間に30フレームから成る画像を出
力する。センサの露光時間は、1/30秒とすることが
できる。露光時間は、センサが入力された光の電荷への
変換を開始してから、入力された光の電荷への変換を終
了するまでの期間である。以下、露光時間をシャッタ時
間とも称する。
る。図13中において、A乃至Iは、個々の画素を示
す。画素は、画像に対応する平面上に配置されている。
1つの画素に対応する1つの検出素子は、センサ上に配
置されている。センサが画像を撮像するとき、1つの検
出素子は、画像を構成する1つの画素に対応する画素値
を出力する。例えば、検出素子のX方向の位置は、画像
上の横方向の位置に対応し、検出素子のY方向の位置
は、画像上の縦方向の位置に対応する。
検出素子は、シャッタ時間に対応する期間、入力された
光を電荷に変換して、変換された電荷を蓄積する。電荷
の量は、入力された光の強さと、光が入力されている時
間にほぼ比例する。検出素子は、シャッタ時間に対応す
る期間において、入力された光から変換された電荷を、
既に蓄積されている電荷に加えていく。すなわち、検出
素子は、シャッタ時間に対応する期間、入力される光を
積分して、積分された光に対応する量の電荷を蓄積す
る。検出素子は、時間に対して、積分効果があるとも言
える。
路により、電圧値に変換され、電圧値は更にデジタルデ
ータなどの画素値に変換されて出力される。従って、セ
ンサから出力される個々の画素値は、前景または背景に
対応するオブジェクトの空間的に広がりを有するある部
分を、シャッタ時間について積分した結果である、1次
元の空間に射影された値を有する。
の動作により、出力信号に埋もれてしまった有意な情
報、例えば、混合比αを抽出する。
ジェクトと、静止している背景に対応するオブジェクト
とを撮像して得られる画像を説明する図である。図15
(A)は、動きを伴う前景に対応するオブジェクトと、
静止している背景に対応するオブジェクトとを撮像して
得られる画像を示している。図15(A)に示す例にお
いて、前景に対応するオブジェクトは、画面に対して水
平に左から右に動いている。
の1つのラインに対応する画素値を時間方向に展開した
モデル図である。図15(B)の横方向は、図15
(A)の空間方向Xに対応している。
ち、背景のオブジェクトに対応する画像の成分のみか
ら、その画素値が構成されている。前景領域の画素は、
前景の成分、すなわち、前景のオブジェクトに対応する
画像の成分のみから、その画素値が構成されている。
景の成分から、その画素値が構成されている。混合領域
は、背景の成分、および前景の成分から、その画素値が
構成されているので、歪み領域ともいえる。混合領域
は、更に、カバードバックグラウンド領域およびアンカ
バードバックグラウンド領域に分類される。
域に対して、前景のオブジェクトの進行方向の前端部に
対応する位置の混合領域であり、時間の経過に対応して
背景成分が前景に覆い隠される領域をいう。
ンド領域は、前景領域に対して、前景のオブジェクトの
進行方向の後端部に対応する位置の混合領域であり、時
間の経過に対応して背景成分が現れる領域をいう。
カバードバックグラウンド領域若しくはアンカバードバ
ックグラウンド領域を含む画像が、領域特定部103、
混合比算出部104、および前景背景分離部105に入
力画像として入力される。
領域、混合領域、カバードバックグラウンド領域、およ
びアンカバードバックグラウンド領域を説明する図であ
る。図15に示す画像に対応する場合、背景領域は、静
止部分であり、前景領域は、動き部分であり、混合領域
のカバードバックグラウンド領域は、背景から前景に変
化する部分であり、混合領域のアンカバードバックグラ
ウンド領域は、前景から背景に変化する部分である。
ブジェクトおよび静止している背景に対応するオブジェ
クトを撮像した画像における、隣接して1列に並んでい
る画素の画素値を時間方向に展開したモデル図である。
例えば、隣接して1列に並んでいる画素として、画面の
1つのライン上に並んでいる画素を選択することができ
る。
している前景のオブジェクトに対応する画素の画素値で
ある。図17に示すB01乃至B04の画素値は、静止してい
る背景のオブジェクトに対応する画素の画素値である。
に向かって時間が経過する。図17中の矩形の上辺の位
置は、センサが入力された光の電荷への変換を開始する
時刻に対応し、図17中の矩形の下辺の位置は、センサ
が入力された光の電荷への変換を終了する時刻に対応す
る。すなわち、図17中の矩形の上辺から下辺までの距
離は、シャッタ時間に対応する。
隔とが同一である場合を例に説明する。
た空間方向Xに対応する。より具体的には、図17に示
す例において、図17中の”F01”と記載された矩形の
左辺から”B04”と記載された矩形の右辺までの距離
は、画素のピッチの8倍、すなわち、連続している8つ
の画素の間隔に対応する。
クトが静止している場合、シャッタ時間に対応する期間
において、センサに入力される光は変化しない。
つ以上の同じ長さの期間に分割する。例えば、仮想分割
数を4とすると、図17に示すモデル図は、図18に示
すモデルとして表すことができる。仮想分割数は、前景
に対応するオブジェクトのシャッタ時間内での動き量v
などに対応して設定される。例えば、4である動き量v
に対応して、仮想分割数は、4とされ、シャッタ時間に
対応する期間は4つに分割される。
初の、分割された期間に対応する。図中の上から2番目
の行は、シャッタが開いて2番目の、分割された期間に
対応する。図中の上から3番目の行は、シャッタが開い
て3番目の、分割された期間に対応する。図中の上から
4番目の行は、シャッタが開いて4番目の、分割された
期間に対応する。
ッタ時間をシャッタ時間/vとも称する。
るとき、センサに入力される光は変化しないので、前景
の成分F01/vは、画素値F01を仮想分割数で除した値に等
しい。同様に、前景に対応するオブジェクトが静止して
いるとき、前景の成分F02/vは、画素値F02を仮想分割数
で除した値に等しく、前景の成分F03/vは、画素値F03を
仮想分割数で除した値に等しく、前景の成分F04/vは、
画素値F04を仮想分割数で除した値に等しい。
るとき、センサに入力される光は変化しないので、背景
の成分B01/vは、画素値B01を仮想分割数で除した値に等
しい。同様に、背景に対応するオブジェクトが静止して
いるとき、背景の成分B02/vは、画素値B02を仮想分割数
で除した値に等しく、B03/vは、画素値B03を仮想分割数
で除した値に等しく、B04/vは、画素値B04を仮想分割数
で除した値に等しい。
静止している場合、シャッタ時間に対応する期間におい
て、センサに入力される前景のオブジェクトに対応する
光が変化しないので、シャッタが開いて最初の、シャッ
タ時間/vに対応する前景の成分F01/vと、シャッタが開
いて2番目の、シャッタ時間/vに対応する前景の成分F0
1/vと、シャッタが開いて3番目の、シャッタ時間/vに
対応する前景の成分F01/vと、シャッタが開いて4番目
の、シャッタ時間/vに対応する前景の成分F01/vとは、
同じ値となる。F02/v乃至F04/vも、F01/vと同様の関係
を有する。
る場合、シャッタ時間に対応する期間において、センサ
に入力される背景のオブジェクトに対応する光は変化し
ないので、シャッタが開いて最初の、シャッタ時間/vに
対応する背景の成分B01/vと、シャッタが開いて2番目
の、シャッタ時間/vに対応する背景の成分B01/vと、シ
ャッタが開いて3番目の、シャッタ時間/vに対応する背
景の成分B01/vと、シャッタが開いて4番目の、シャッ
タ時間/vに対応する背景の成分B01/vとは、同じ値とな
る。B02/v乃至B04/vも、同様の関係を有する。
し、背景に対応するオブジェクトが静止している場合に
ついて説明する。
図中の右側に向かって移動する場合の、カバードバック
グラウンド領域を含む、1つのライン上の画素の画素値
を時間方向に展開したモデル図である。図19におい
て、前景の動き量vは、4である。1フレームは短い時
間なので、前景に対応するオブジェクトが剛体であり、
等速で移動していると仮定することができる。図19に
おいて、前景に対応するオブジェクトの画像は、あるフ
レームを基準として次のフレームにおいて4画素分右側
に表示されるように移動する。
ら4番目の画素は、前景領域に属する。図19におい
て、左から5番目乃至左から7番目の画素は、カバード
バックグラウンド領域である混合領域に属する。図19
において、最も右側の画素は、背景領域に属する。
と共に背景に対応するオブジェクトを覆い隠すように移
動しているので、カバードバックグラウンド領域に属す
る画素の画素値に含まれる成分は、シャッタ時間に対応
する期間のある時点で、背景の成分から、前景の成分に
替わる。
Mは、式(1)で表される。
ャッタ時間/vに対応する背景の成分を含み、3つのシャ
ッタ時間/vに対応する前景の成分を含むので、左から5
番目の画素の混合比αは、1/4である。左から6番目の
画素は、2つのシャッタ時間/vに対応する背景の成分を
含み、2つのシャッタ時間/vに対応する前景の成分を含
むので、左から6番目の画素の混合比αは、1/2であ
る。左から7番目の画素は、3つのシャッタ時間/vに対
応する背景の成分を含み、1つのシャッタ時間/vに対応
する前景の成分を含むので、左から7番目の画素の混合
比αは、3/4である。
り、前景の画像が次のフレームにおいて4画素右側に表
示されるように等速で移動すると仮定できるので、例え
ば、図19中の左から4番目の画素の、シャッタが開い
て最初の、シャッタ時間/vの前景の成分F07/vは、図1
9中の左から5番目の画素の、シャッタが開いて2番目
のシャッタ時間/vに対応する前景の成分に等しい。同様
に、前景の成分F07/vは、図19中の左から6番目の画
素の、シャッタが開いて3番目のシャッタ時間/vに対応
する前景の成分と、図19中の左から7番目の画素の、
シャッタが開いて4番目のシャッタ時間/vに対応する前
景の成分とに、それぞれ等しい。
り、前景の画像が次のフレームにおいて4画素右側に表
示されるように等速で移動すると仮定できるので、例え
ば、図19中の左から3番目の画素の、シャッタが開い
て最初のシャッタ時間/vの前景の成分F06/vは、図19
中の左から4番目の画素の、シャッタが開いて2番目の
シャッタ時間/vに対応する前景の成分に等しい。同様
に、前景の成分F06/vは、図19中の左から5番目の画
素の、シャッタが開いて3番目のシャッタ時間/vに対応
する前景の成分と、図19中の左から6番目の画素の、
シャッタが開いて4番目のシャッタ時間/vに対応する前
景の成分とに、それぞれ等しい。
り、前景の画像が次のフレームにおいて4画素右側に表
示されるように等速で移動すると仮定できるので、例え
ば、図19中の左から2番目の画素の、シャッタが開い
て最初のシャッタ時間/vの前景の成分F05/vは、図19
中の左から3番目の画素の、シャッタが開いて2番目の
シャッタ時間/vのに対応する前景の成分に等しい。同様
に、前景の成分F05/vは、図19中の左から4番目の画
素の、シャッタが開いて3番目のシャッタ時間/vに対応
する前景の成分と、図19中の左から5番目の画素の、
シャッタが開いて4番目のシャッタ時間/vに対応する前
景の成分とに、それぞれ等しい。
り、前景の画像が次のフレームにおいて4画素右側に表
示されるように等速で移動すると仮定できるので、例え
ば、図19中の最も左側の画素の、シャッタが開いて最
初のシャッタ時間/vの前景の成分F04/vは、図19中の
左から2番目の画素の、シャッタが開いて2番目のシャ
ッタ時間/vに対応する前景の成分に等しい。同様に、前
景の成分F04/vは、図19中の左から3番目の画素の、
シャッタが開いて3番目のシャッタ時間/vに対応する前
景の成分と、図19中の左から4番目の画素の、シャッ
タが開いて4番目のシャッタ時間/vに対応する前景の成
分とに、それぞれ等しい。
領域は、このように動きボケを含むので、歪み領域とも
言える。
動する場合の、アンカバードバックグラウンド領域を含
む、1つのライン上の画素の画素値を時間方向に展開し
たモデル図である。図20において、前景の動き量v
は、4である。1フレームは短い時間なので、前景に対
応するオブジェクトが剛体であり、等速で移動している
と仮定することができる。図20において、前景に対応
するオブジェクトの画像は、あるフレームを基準として
次のフレームにおいて4画素分右側に移動する。
ら4番目の画素は、背景領域に属する。図20におい
て、左から5番目乃至左から7番目の画素は、アンカバ
ードバックグラウンドである混合領域に属する。図20
において、最も右側の画素は、前景領域に属する。
前景に対応するオブジェクトが時間の経過と共に背景に
対応するオブジェクトの前から取り除かれるように移動
しているので、アンカバードバックグラウンド領域に属
する画素の画素値に含まれる成分は、シャッタ時間に対
応する期間のある時点で、前景の成分から、背景の成分
に替わる。
M'は、式(2)で表される。
ャッタ時間/vに対応する背景の成分を含み、1つのシャ
ッタ時間/vに対応する前景の成分を含むので、左から5
番目の画素の混合比αは、3/4である。左から6番目の
画素は、2つのシャッタ時間/vに対応する背景の成分を
含み、2つのシャッタ時間/vに対応する前景の成分を含
むので、左から6番目の画素の混合比αは、1/2であ
る。左から7番目の画素は、1つのシャッタ時間/vに対
応する背景の成分を含み、3つのシャッタ時間/vに対応
する前景の成分を含むので、左から7番目の画素の混合
比αは、1/4である。
と、画素値Mは、式(3)で表される。
り、Fi/vは、前景の成分である。
り、等速で動くと仮定でき、かつ、動き量vが4である
ので、例えば、図20中の左から5番目の画素の、シャ
ッタが開いて最初の、シャッタ時間/vの前景の成分F01/
vは、図20中の左から6番目の画素の、シャッタが開
いて2番目のシャッタ時間/vに対応する前景の成分に等
しい。同様に、F01/vは、図20中の左から7番目の画
素の、シャッタが開いて3番目のシャッタ時間/vに対応
する前景の成分と、図20中の左から8番目の画素の、
シャッタが開いて4番目のシャッタ時間/vに対応する前
景の成分とに、それぞれ等しい。
り、等速で動くと仮定でき、かつ、仮想分割数が4であ
るので、例えば、図20中の左から6番目の画素の、シ
ャッタが開いて最初の、シャッタ時間/vの前景の成分F0
2/vは、図20中の左から7番目の画素の、シャッタが
開いて2番目のシャッタ時間/vに対応する前景の成分に
等しい。同様に、前景の成分F02/vは、図20中の左か
ら8番目の画素の、シャッタが開いて3番目のシャッタ
時間/vに対応する前景の成分に等しい。
り、等速で動くと仮定でき、かつ、動き量vが4である
ので、例えば、図20中の左から7番目の画素の、シャ
ッタが開いて最初の、シャッタ時間/vの前景の成分F03/
vは、図20中の左から8番目の画素の、シャッタが開
いて2番目のシャッタ時間/vに対応する前景の成分に等
しい。
割数は、4であるとして説明したが、仮想分割数は、動
き量vに対応する。動き量vは、一般に、前景に対応する
オブジェクトの移動速度に対応する。例えば、前景に対
応するオブジェクトが、あるフレームを基準として次の
フレームにおいて4画素分右側に表示されるように移動
しているとき、動き量vは、4とされる。動き量vに対応
し、仮想分割数は、4とされる。同様に、例えば、前景
に対応するオブジェクトが、あるフレームを基準として
次のフレームにおいて6画素分左側に表示されるように
移動しているとき、動き量vは、6とされ、仮想分割数
は、6とされる。
前景領域、背景領域、カバードバックグラウンド領域若
しくはアンカバードバックグラウンド領域から成る混合
領域と、分割されたシャッタ時間に対応する前景の成分
および背景の成分との関係を示す。
ているオブジェクトに対応する前景を含む画像から、前
景領域、背景領域、および混合領域の画素を抽出した例
を示す。図21に示す例において、前景に対応するオブ
ジェクトは、画面に対して水平に移動している。
ムであり、フレーム#n+2は、フレーム#n+1の次のフレー
ムである。
ら抽出した、前景領域、背景領域、および混合領域の画
素を抽出して、動き量vを4として、抽出された画素の
画素値を時間方向に展開したモデルを図22に示す。
ジェクトが移動するので、シャッタ時間/vの期間に対応
する、4つの異なる前景の成分から構成される。例え
ば、図22に示す前景領域の画素のうち最も左側に位置
する画素は、F01/v,F02/v,F03/v、およびF04/vから構成
される。すなわち、前景領域の画素は、動きボケを含ん
でいる。
るので、シャッタ時間に対応する期間において、センサ
に入力される背景に対応する光は変化しない。この場
合、背景領域の画素値は、動きボケを含まない。
ンカバードバックグラウンド領域から成る混合領域に属
する画素の画素値は、前景の成分と、背景の成分とから
構成される。
ているとき、複数のフレームにおける、隣接して1列に
並んでいる画素であって、フレーム上で同一の位置の画
素の画素値を時間方向に展開したモデルについて説明す
る。例えば、オブジェクトに対応する画像が画面に対し
て水平に動いているとき、隣接して1列に並んでいる画
素として、画面の1つのライン上に並んでいる画素を選
択することができる。
ブジェクトを撮像した画像の3つのフレームの、隣接し
て1列に並んでいる画素であって、フレーム上で同一の
位置の画素の画素値を時間方向に展開したモデル図であ
る。フレーム#nは、フレーム#n-1の次のフレームであ
り、フレーム#n+1は、フレーム#nの次のフレームであ
る。他のフレームも同様に称する。
している背景のオブジェクトに対応する画素の画素値で
ある。背景に対応するオブジェクトが静止しているの
で、フレーム#n-1乃至フレームn+1において、対応する
画素の画素値は、変化しない。例えば、フレーム#n-1に
おけるB05の画素値を有する画素の位置に対応する、フ
レーム#nにおける画素、およびフレーム#n+1における画
素は、それぞれ、B05の画素値を有する。
ブジェクトと共に図中の右側に移動する前景に対応する
オブジェクトを撮像した画像の3つのフレームの、隣接
して1列に並んでいる画素であって、フレーム上で同一
の位置の画素の画素値を時間方向に展開したモデル図で
ある。図24に示すモデルは、カバードバックグラウン
ド領域を含む。
クトが、剛体であり、等速で移動すると仮定でき、前景
の画像が次のフレームにおいて4画素右側に表示される
ように移動するので、前景の動き量vは、4であり、仮
想分割数は、4である。
側の画素の、シャッタが開いて最初のシャッタ時間/vの
前景の成分は、F12/vとなり、図24中の左から2番目
の画素の、シャッタが開いて2番目のシャッタ時間/vの
前景の成分も、F12/vとなる。図24中の左から3番目
の画素の、シャッタが開いて3番目のシャッタ時間/vの
前景の成分、および図24中の左から4番目の画素の、
シャッタが開いて4番目のシャッタ時間/vの前景の成分
は、F12/vとなる。
の、シャッタが開いて2番目のシャッタ時間/vの前景の
成分は、F11/vとなり、図24中の左から2番目の画素
の、シャッタが開いて3番目のシャッタ時間/vの前景の
成分も、F11/vとなる。図24中の左から3番目の画素
の、シャッタが開いて4番目のシャッタ時間/vの前景の
成分は、F11/vとなる。
の、シャッタが開いて3番目のシャッタ時間/vの前景の
成分は、F10/vとなり、図24中の左から2番目の画素
の、シャッタが開いて4番目のシャッタ時間/vの前景の
成分も、F10/vとなる。図24中のフレーム#n-1の最も
左側の画素の、シャッタが開いて4番目のシャッタ時間
/vの前景の成分は、F09/vとなる。
るので、図24中のフレーム#n-1の左から2番目の画素
の、シャッタが開いて最初のシャッタ時間/vの背景の成
分は、B01/vとなる。図24中のフレーム#n-1の左から
3番目の画素の、シャッタが開いて最初および2番目の
シャッタ時間/vの背景の成分は、B02/vとなる。図24
中のフレーム#n-1の左から4番目の画素の、シャッタが
開いて最初乃至3番目のシャッタ時間/vの背景の成分
は、B03/vとなる。
側の画素は、前景領域に属し、左側から2番目乃至4番
目の画素は、カバードバックグラウンド領域である混合
領域に属する。
画素乃至12番目の画素は、背景領域に属し、その画素
値は、それぞれ、B04乃至B11となる。
素乃至5番目の画素は、前景領域に属する。フレーム#n
の前景領域における、シャッタ時間/vの前景の成分は、
F05/v乃至F12/vのいずれかである。
り、等速で移動すると仮定でき、前景の画像が次のフレ
ームにおいて4画素右側に表示されるように移動するの
で、図24中のフレーム#nの左から5番目の画素の、シ
ャッタが開いて最初のシャッタ時間/vの前景の成分は、
F12/vとなり、図24中の左から6番目の画素の、シャ
ッタが開いて2番目のシャッタ時間/vの前景の成分も、
F12/vとなる。図24中の左から7番目の画素の、シャ
ッタが開いて3番目のシャッタ時間/vの前景の成分、お
よび図24中の左から8番目の画素の、シャッタが開い
て4番目のシャッタ時間/vの前景の成分は、F12/vとな
る。
素の、シャッタが開いて2番目のシャッタ時間/vの前景
の成分は、F11/vとなり、図24中の左から6番目の画
素の、シャッタが開いて3番目のシャッタ時間/vの前景
の成分も、F11/vとなる。図24中の左から7番目の画
素の、シャッタが開いて4番目のシャッタ時間/vの前景
の成分は、F11/vとなる。
素の、シャッタが開いて3番目のシャッタ時間/vの前景
の成分は、F10/vとなり、図24中の左から6番目の画
素の、シャッタが開いて4番目のシャッタ時間/vの前景
の成分も、F10/vとなる。図24中のフレーム#nの左か
ら5番目の画素の、シャッタが開いて4番目のシャッタ
時間/vの前景の成分は、F09/vとなる。
るので、図24中のフレーム#nの左から6番目の画素
の、シャッタが開いて最初のシャッタ時間/vの背景の成
分は、B05/vとなる。図24中のフレーム#nの左から7
番目の画素の、シャッタが開いて最初および2番目のシ
ャッタ時間/vの背景の成分は、B06/vとなる。図24中
のフレーム#nの左から8番目の画素の、シャッタが開い
て最初乃至3番目の、シャッタ時間/vの背景の成分は、
B07/vとなる。
6番目乃至8番目の画素は、カバードバックグラウンド
領域である混合領域に属する。
素乃至12番目の画素は、背景領域に属し、画素値は、
それぞれ、B08乃至B11となる。
画素乃至9番目の画素は、前景領域に属する。フレーム
#n+1の前景領域における、シャッタ時間/vの前景の成分
は、F01/v乃至F12/vのいずれかである。
り、等速で移動すると仮定でき、前景の画像が次のフレ
ームにおいて4画素右側に表示されるように移動するの
で、図24中のフレーム#n+1の左から9番目の画素の、
シャッタが開いて最初のシャッタ時間/vの前景の成分
は、F12/vとなり、図24中の左から10番目の画素
の、シャッタが開いて2番目のシャッタ時間/vの前景の
成分も、F12/vとなる。図24中の左から11番目の画
素の、シャッタが開いて3番目のシャッタ時間/vの前景
の成分、および図24中の左から12番目の画素の、シ
ャッタが開いて4番目のシャッタ時間/vの前景の成分
は、F12/vとなる。
画素の、シャッタが開いて2番目のシャッタ時間/vの期
間の前景の成分は、F11/vとなり、図24中の左から1
0番目の画素の、シャッタが開いて3番目のシャッタ時
間/vの前景の成分も、F11/vとなる。図24中の左から
11番目の画素の、シャッタが開いて4番目の、シャッ
タ時間/vの前景の成分は、F11/vとなる。
画素の、シャッタが開いて3番目の、シャッタ時間/vの
前景の成分は、F10/vとなり、図24中の左から10番
目の画素の、シャッタが開いて4番目のシャッタ時間/v
の前景の成分も、F10/vとなる。図24中のフレーム#n+
1の左から9番目の画素の、シャッタが開いて4番目の
シャッタ時間/vの前景の成分は、F09/vとなる。
るので、図24中のフレーム#n+1の左から10番目の画
素の、シャッタが開いて最初のシャッタ時間/vの背景の
成分は、B09/vとなる。図24中のフレーム#n+1の左か
ら11番目の画素の、シャッタが開いて最初および2番
目のシャッタ時間/vの背景の成分は、B10/vとなる。図
24中のフレーム#n+1の左から12番目の画素の、シャ
ッタが開いて最初乃至3番目の、シャッタ時間/vの背景
の成分は、B11/vとなる。
ら10番目乃至12番目の画素は、カバードバックグラ
ウンド領域である混合領域に対応する。
成分を抽出した画像のモデル図である。
右側に移動するオブジェクトに対応する前景を撮像した
画像の3つのフレームの、隣接して1列に並んでいる画
素であって、フレーム上で同一の位置の画素の画素値を
時間方向に展開したモデル図である。図26において、
アンカバードバックグラウンド領域が含まれている。
クトは、剛体であり、かつ等速で移動していると仮定で
きる。前景に対応するオブジェクトが、次のフレームに
おいて4画素分右側に表示されるように移動しているの
で、動き量vは、4である。
側の画素の、シャッタが開いて最初の、シャッタ時間/v
の前景の成分は、F13/vとなり、図26中の左から2番
目の画素の、シャッタが開いて2番目のシャッタ時間/v
の前景の成分も、F13/vとなる。図26中の左から3番
目の画素の、シャッタが開いて3番目のシャッタ時間/v
の前景の成分、および図26中の左から4番目の画素
の、シャッタが開いて4番目のシャッタ時間/vの前景の
成分は、F13/vとなる。
画素の、シャッタが開いて最初のシャッタ時間/vの前景
の成分は、F14/vとなり、図26中の左から3番目の画
素の、シャッタが開いて2番目のシャッタ時間/vの前景
の成分も、F14/vとなる。図26中の左から3番目の画
素の、シャッタが開いて最初の、シャッタ時間/vの前景
の成分は、F15/vとなる。
るので、図26中のフレーム#n-1の最も左側の画素の、
シャッタが開いて2番目乃至4番目の、シャッタ時間/v
の背景の成分は、B25/vとなる。図26中のフレーム#n-
1の左から2番目の画素の、シャッタが開いて3番目お
よび4番目の、シャッタ時間/vの背景の成分は、B26/v
となる。図26中のフレーム#n-1の左から3番目の画素
の、シャッタが開いて4番目のシャッタ時間/vの背景の
成分は、B27/vとなる。
側の画素乃至3番目の画素は、アンカバードバックグラ
ウンド領域である混合領域に属する。
画素乃至12番目の画素は、前景領域に属する。フレー
ムの前景の成分は、F13/v乃至F24/vのいずれかである。
至左から4番目の画素は、背景領域に属し、画素値は、
それぞれ、B25乃至B28となる。
り、等速で移動すると仮定でき、前景の画像が次のフレ
ームにおいて4画素右側に表示されるように移動するの
で、図26中のフレーム#nの左から5番目の画素の、シ
ャッタが開いて最初のシャッタ時間/vの前景の成分は、
F13/vとなり、図26中の左から6番目の画素の、シャ
ッタが開いて2番目のシャッタ時間/vの前景の成分も、
F13/vとなる。図26中の左から7番目の画素の、シャ
ッタが開いて3番目のシャッタ時間/vの前景の成分、お
よび図26中の左から8番目の画素の、シャッタが開い
て4番目のシャッタ時間/vの前景の成分は、F13/vとな
る。
素の、シャッタが開いて最初のシャッタ時間/vの前景の
成分は、F14/vとなり、図26中の左から7番目の画素
の、シャッタが開いて2番目のシャッタ時間/vの前景の
成分も、F14/vとなる。図26中の左から8番目の画素
の、シャッタが開いて最初のシャッタ時間/vの前景の成
分は、F15/vとなる。
るので、図26中のフレーム#nの左から5番目の画素
の、シャッタが開いて2番目乃至4番目のシャッタ時間
/vの背景の成分は、B29/vとなる。図26中のフレーム#
nの左から6番目の画素の、シャッタが開いて3番目お
よび4番目のシャッタ時間/vの背景の成分は、B30/vと
なる。図26中のフレーム#nの左から7番目の画素の、
シャッタが開いて4番目のシャッタ時間/vの背景の成分
は、B31/vとなる。
番目の画素乃至7番目の画素は、アンカバードバックグ
ラウンド領域である混合領域に属する。
素乃至12番目の画素は、前景領域に属する。フレーム
#nの前景領域における、シャッタ時間/vの期間に対応す
る値は、F13/v乃至F20/vのいずれかである。
乃至左から8番目の画素は、背景領域に属し、画素値
は、それぞれ、B25乃至B32となる。
り、等速で移動すると仮定でき、前景の画像が次のフレ
ームにおいて4画素右側に表示されるように移動するの
で、図26中のフレーム#n+1の左から9番目の画素の、
シャッタが開いて最初のシャッタ時間/vの前景の成分
は、F13/vとなり、図26中の左から10番目の画素
の、シャッタが開いて2番目のシャッタ時間/vの前景の
成分も、F13/vとなる。図26中の左から11番目の画
素の、シャッタが開いて3番目のシャッタ時間/vの前景
の成分、および図26中の左から12番目の画素の、シ
ャッタが開いて4番目のシャッタ時間/vの前景の成分
は、F13/vとなる。
の画素の、シャッタが開いて最初のシャッタ時間/vの前
景の成分は、F14/vとなり、図26中の左から11番目
の画素の、シャッタが開いて2番目のシャッタ時間/vの
前景の成分も、F14/vとなる。図26中の左から12番
目の画素の、シャッタが開いて最初のシャッタ時間/vの
前景の成分は、F15/vとなる。
るので、図26中のフレーム#n+1の左から9番目の画素
の、シャッタが開いて2番目乃至4番目の、シャッタ時
間/vの背景の成分は、B33/vとなる。図26中のフレー
ム#n+1の左から10番目の画素の、シャッタが開いて3
番目および4番目のシャッタ時間/vの背景の成分は、B3
4/vとなる。図26中のフレーム#n+1の左から11番目
の画素の、シャッタが開いて4番目のシャッタ時間/vの
背景の成分は、B35/vとなる。
9番目の画素乃至11番目の画素は、アンカバードバッ
クグラウンド領域である混合領域に属する。
の画素は、前景領域に属する。フレーム#n+1の前景領域
における、シャッタ時間/vの前景の成分は、F13/v乃至F
16/vのいずれかである。
成分を抽出した画像のモデル図である。
像、カバードバックグラウンド領域の前景成分画像、カ
バードバックグラウンド領域の背景成分画像、アンカバ
ードバックグラウンド領域の前景成分画像、およびアン
カバードバックグラウンド領域の背景成分画像に分離さ
れた入力画像と、画素の画素値を時間方向に展開したモ
デル図との対応を示す図である。
定部103により、前景領域、背景領域、カバードバッ
クグラウンド領域、およびアンカバードバックグラウン
ド領域を特定される。入力画像は、前景背景分離部10
5により、特定された前景領域、背景領域、カバードバ
ックグラウンド領域、およびアンカバードバックグラウ
ンド領域、および混合比算出部104により検出された
混合比αを基に、前景領域の画像、背景領域の画像、カ
バードバックグラウンド領域の前景成分画像、カバード
バックグラウンド領域の背景成分画像、アンカバードバ
ックグラウンド領域の前景成分画像、およびアンカバー
ドバックグラウンド領域の背景成分画像に分離される。
像、カバードバックグラウンド領域の前景成分画像、カ
バードバックグラウンド領域の背景成分画像、アンカバ
ードバックグラウンド領域の前景成分画像、およびアン
カバードバックグラウンド領域の背景成分画像は、それ
ぞれの画像毎に、処理される。
合領域に分割された画像の例を示す図である。領域特定
部103は、入力画像の、前景領域、背景領域、および
混合領域を特定する。画像処理装置は、前景領域、背景
領域、および混合領域を示す領域情報を基に、入力画像
を、前景領域の画像、背景領域の画像、および混合領域
の画像に分割することができる。
5は、領域特定部103から供給された領域情報、およ
び混合比算出部104から供給された混合比αを基に、
混合領域の画像を、前景成分画像および背景成分画像に
分離する。
像の処理を説明するフローチャートである。
03は、動き検出部102から供給された動きベクトル
およびその位置情報、並びに入力画像を基に、入力画像
の前景領域、背景領域、カバードバックグラウンド領
域、およびアンカバードバックグラウンド領域を特定す
る。領域特定の処理の詳細は、後述する。
104は、領域特定部103から供給された領域情報お
よび入力画像を基に、混合比αを算出する。混合比算出
部104の混合比αを算出する処理の詳細は、後述す
る。
部105は、領域特定部103から供給された領域情
報、および混合比算出部104から供給された混合比α
を基に、入力画像を、前景領域の画像、背景領域の画
像、カバードバックグラウンド領域の前景成分画像、カ
バードバックグラウンド領域の背景成分画像、アンカバ
ードバックグラウンド領域の前景成分画像、およびアン
カバードバックグラウンド領域の背景成分画像に分離す
る。前景背景分離部105の画像の分離の処理の詳細
は、後述する。
部106は、分離された、前景領域の画像、背景領域の
画像、カバードバックグラウンド領域の前景成分画像、
カバードバックグラウンド領域の背景成分画像、アンカ
バードバックグラウンド領域の前景成分画像、およびア
ンカバードバックグラウンド領域の背景成分画像毎に、
画像の処理を実行して、処理は終了する。分離画像処理
部106が実行する画像処理の詳細は、後述する。
は、入力画像を、前景領域の画像、背景領域の画像、カ
バードバックグラウンド領域の前景成分画像、カバード
バックグラウンド領域の背景成分画像、アンカバードバ
ックグラウンド領域の前景成分画像、およびアンカバー
ドバックグラウンド領域の背景成分画像に分離し、分離
された、前景領域の画像、背景領域の画像、カバードバ
ックグラウンド領域の前景成分画像、カバードバックグ
ラウンド領域の背景成分画像、アンカバードバックグラ
ウンド領域の前景成分画像、およびアンカバードバック
グラウンド領域の背景成分画像毎に画像処理を実行す
る。
を示すブロック図である。図32に構成を示す領域特定
部103は、動きベクトルを利用しない。フレームメモ
リ201は、入力された画像をフレーム単位で記憶す
る。フレームメモリ201は、処理の対象がフレーム#n
であるとき、フレーム#nの2つ前のフレームであるフレ
ーム#n-2、フレーム#nの1つ前のフレームであるフレー
ム#n-1、フレーム#n、フレーム#nの1つ後のフレームで
あるフレーム#n+1、およびフレーム#nの2つ後のフレー
ムであるフレーム#n+2を記憶する。
域特定の対象である画素の画像上の位置と同一の位置に
あるフレーム#n+2の画素の画素値、およびフレーム#nの
領域特定の対象である画素の画像上の位置と同一の位置
にあるフレーム#n+1の画素の画素値をフレームメモリ2
01から読み出して、読み出した画素値の差の絶対値を
算出する。静動判定部202−1は、フレーム#n+2の画
素値とフレーム#n+1の画素値との差の絶対値が、予め設
定している閾値Thより大きいか否かを判定し、差の絶対
値が閾値Thより大きいと判定された場合、動きを示す静
動判定を領域判定部203−1に供給する。フレーム#n
+2の画素の画素値とフレーム#n+1の画素の画素値との差
の絶対値が閾値Th以下であると判定された場合、静動判
定部202−1は、静止を示す静動判定を領域判定部2
03−1に供給する。
域特定の対象である画素の画像上の位置と同一の位置に
あるフレーム#n+1の画素の画素値、およびフレーム#nの
対象となる画素の画素値をフレームメモリ201から読
み出して、画素値の差の絶対値を算出する。静動判定部
202−2は、フレーム#n+1の画素値とフレーム#nの画
素値との差の絶対値が、予め設定している閾値Thより大
きいか否かを判定し、画素値の差の絶対値が、閾値Thよ
り大きいと判定された場合、動きを示す静動判定を領域
判定部203−1および領域判定部203−2に供給す
る。フレーム#n+1の画素の画素値とフレーム#nの画素の
画素値との差の絶対値が、閾値Th以下であると判定され
た場合、静動判定部202−2は、静止を示す静動判定
を領域判定部203−1および領域判定部203−2に
供給する。
域特定の対象である画素の画素値、およびフレーム#nの
領域特定の対象である画素の画像上の位置と同一の位置
にあるフレーム#n-1の画素の画素値をフレームメモリ2
01から読み出して、画素値の差の絶対値を算出する。
静動判定部202−3は、フレーム#nの画素値とフレー
ム#n-1の画素値との差の絶対値が、予め設定している閾
値Thより大きいか否かを判定し、画素値の差の絶対値
が、閾値Thより大きいと判定された場合、動きを示す静
動判定を領域判定部203−2および領域判定部203
−3に供給する。フレーム#nの画素の画素値とフレーム
#n-1の画素の画素値との差の絶対値が、閾値Th以下であ
ると判定された場合、静動判定部202−3は、静止を
示す静動判定を領域判定部203−2および領域判定部
203−3に供給する。
域特定の対象である画素の画像上の位置と同一の位置に
あるフレーム#n-1の画素の画素値、およびフレーム#nの
領域特定の対象である画素の画像上の位置と同一の位置
にあるフレーム#n-2の画素の画素値をフレームメモリ2
01から読み出して、画素値の差の絶対値を算出する。
静動判定部202−4は、フレーム#n-1の画素値とフレ
ーム#n-2の画素値との差の絶対値が、予め設定している
閾値Thより大きいか否かを判定し、画素値の差の絶対値
が、閾値Thより大きいと判定された場合、動きを示す静
動判定を領域判定部203−3に供給する。フレーム#n
-1の画素の画素値とフレーム#n-2の画素の画素値との差
の絶対値が、閾値Th以下であると判定された場合、静動
判定部202−4は、静止を示す静動判定を領域判定部
203−3に供給する。
2−1から供給された静動判定が静止を示し、かつ、静
動判定部202−2から供給された静動判定が動きを示
しているとき、フレーム#nにおける領域特定の対象であ
る画素がアンカバードバックグラウンド領域に属すると
判定し、領域の判定される画素に対応するアンカバード
バックグラウンド領域判定フラグに、アンカバードバッ
クグラウンド領域に属することを示す”1”を設定す
る。
2−1から供給された静動判定が動きを示すか、また
は、静動判定部202−2から供給された静動判定が静
止を示しているとき、フレーム#nにおける領域特定の対
象である画素がアンカバードバックグラウンド領域に属
しないと判定し、領域の判定される画素に対応するアン
カバードバックグラウンド領域判定フラグに、アンカバ
ードバックグラウンド領域に属しないことを示す”0”
を設定する。
1”または”0”が設定されたアンカバードバックグラ
ウンド領域判定フラグを判定フラグ格納フレームメモリ
204に供給する。
2−2から供給された静動判定が静止を示し、かつ、静
動判定部202−3から供給された静動判定が静止を示
しているとき、フレーム#nにおける領域特定の対象であ
る画素が静止領域に属すると判定し、領域の判定される
画素に対応する静止領域判定フラグに、静止領域に属す
ることを示す”1”を設定する。
2−2から供給された静動判定が動きを示すか、また
は、静動判定部202−3から供給された静動判定が動
きを示しているとき、フレーム#nにおける領域特定の対
象である画素が静止領域に属しないと判定し、領域の判
定される画素に対応する静止領域判定フラグに、静止領
域に属しないことを示す”0”を設定する。
1”または”0”が設定された静止領域判定フラグを判
定フラグ格納フレームメモリ204に供給する。
2−2から供給された静動判定が動きを示し、かつ、静
動判定部202−3から供給された静動判定が動きを示
しているとき、フレーム#nにおける領域特定の対象であ
る画素が動き領域に属すると判定し、領域の判定される
画素に対応する動き領域判定フラグに、動き領域に属す
ることを示す”1”を設定する。
2−2から供給された静動判定が静止を示すか、また
は、静動判定部202−3から供給された静動判定が静
止を示しているとき、フレーム#nにおける領域特定の対
象である画素が動き領域に属しないと判定し、領域の判
定される画素に対応する動き領域判定フラグに、動き領
域に属しないことを示す”0”を設定する。
1”または”0”が設定された動き領域判定フラグを判
定フラグ格納フレームメモリ204に供給する。
2−3から供給された静動判定が動きを示し、かつ、静
動判定部202−4から供給された静動判定が静止を示
しているとき、フレーム#nにおける領域特定の対象であ
る画素がカバードバックグラウンド領域に属すると判定
し、領域の判定される画素に対応するカバードバックグ
ラウンド領域判定フラグに、カバードバックグラウンド
領域に属することを示す”1”を設定する。
2−3から供給された静動判定が静止を示すか、また
は、静動判定部202−4から供給された静動判定が動
きを示しているとき、フレーム#nにおける領域特定の対
象である画素がカバードバックグラウンド領域に属しな
いと判定し、領域の判定される画素に対応するカバード
バックグラウンド領域判定フラグに、カバードバックグ
ラウンド領域に属しないことを示す”0”を設定する。
1”または”0”が設定されたカバードバックグラウン
ド領域判定フラグを判定フラグ格納フレームメモリ20
4に供給する。
領域判定部203−1から供給されたアンカバードバッ
クグラウンド領域判定フラグ、領域判定部203−2か
ら供給された静止領域判定フラグ、領域判定部203−
2から供給された動き領域判定フラグ、および領域判定
部203−3から供給されたカバードバックグラウンド
領域判定フラグをそれぞれ記憶する。
記憶しているアンカバードバックグラウンド領域判定フ
ラグ、静止領域判定フラグ、動き領域判定フラグ、およ
びカバードバックグラウンド領域判定フラグを合成部2
05に供給する。合成部205は、判定フラグ格納フレ
ームメモリ204から供給された、アンカバードバック
グラウンド領域判定フラグ、静止領域判定フラグ、動き
領域判定フラグ、およびカバードバックグラウンド領域
判定フラグを基に、各画素が、アンカバードバックグラ
ウンド領域、静止領域、動き領域、およびカバードバッ
クグラウンド領域のいずれかに属することを示す領域情
報を生成し、判定フラグ格納フレームメモリ206に供
給する。
合成部205から供給された領域情報を記憶すると共
に、記憶している領域情報を出力する。
3乃至図37を参照して説明する。
るとき、オブジェクトに対応する画像の画面上の位置
は、フレーム毎に変化する。図33に示すように、フレ
ーム#nにおいて、Yn(x,y)で示される位置に位置するオ
ブジェクトに対応する画像は、次のフレームであるフレ
ーム#n+1において、Yn+1(x,y)に位置する。
方向に隣接して1列に並ぶ画素の画素値を時間方向に展
開したモデル図を図34に示す。例えば、前景のオブジ
ェクトに対応する画像の動き方向が画面に対して水平で
あるとき、図34におけるモデル図は、1つのライン上
の隣接する画素の画素値を時間方向に展開したモデルを
示す。
ンは、フレーム#n+1におけるラインと同一である。
乃至13番目の画素に含まれているオブジェクトに対応
する前景の成分は、フレーム#n+1において、左から6番
目乃至17番目の画素に含まれる。
ウンド領域に属する画素は、左から11番目乃至13番
目の画素であり、アンカバードバックグラウンド領域に
属する画素は、左から2番目乃至4番目の画素である。
フレーム#n+1において、カバードバックグラウンド領域
に属する画素は、左から15番目乃至17番目の画素で
あり、アンカバードバックグラウンド領域に属する画素
は、左から6番目乃至8番目の画素である。
まれる前景の成分が、フレーム#n+1において4画素移動
しているので、動き量vは、4である。仮想分割数は、
動き量vに対応し、4である。
る混合領域に属する画素の画素値の変化について説明す
る。
量vが4であるフレーム#nにおいて、カバードバックグ
ラウンド領域に属する画素は、左から15番目乃至17
番目の画素である。動き量vが4であるので、1つ前の
フレーム#n-1において、左から15番目乃至17番目の
画素は、背景の成分のみを含み、背景領域に属する。ま
た、更に1つ前のフレーム#n-2において、左から15番
目乃至17番目の画素は、背景の成分のみを含み、背景
領域に属する。
止しているので、フレーム#n-1の左から15番目の画素
の画素値は、フレーム#n-2の左から15番目の画素の画
素値から変化しない。同様に、フレーム#n-1の左から1
6番目の画素の画素値は、フレーム#n-2の左から16番
目の画素の画素値から変化せず、フレーム#n-1の左から
17番目の画素の画素値は、フレーム#n-2の左から17
番目の画素の画素値から変化しない。
ックグラウンド領域に属する画素に対応する、フレーム
#n-1およびフレーム#n-2の画素は、背景の成分のみから
成り、画素値が変化しないので、その差の絶対値は、ほ
ぼ0の値となる。従って、フレーム#nにおける混合領域
に属する画素に対応する、フレーム#n-1およびフレーム
#n-2の画素に対する静動判定は、静動判定部202−4
により、静止と判定される。
ンド領域に属する画素は、前景の成分を含むので、フレ
ーム#n-1における背景の成分のみから成る場合と、画素
値が異なる。従って、フレーム#nにおける混合領域に属
する画素、および対応するフレーム#n-1の画素に対する
静動判定は、静動判定部202−3により、動きと判定
される。
動判定部202−3から動きを示す静動判定の結果が供
給され、静動判定部202−4から静止を示す静動判定
の結果が供給されたとき、対応する画素がカバードバッ
クグラウンド領域に属すると判定する。
量vが4であるフレーム#nにおいて、アンカバードバッ
クグラウンド領域に含まれる画素は、左から2番目乃至
4番目の画素である。動き量vが4であるので、1つ後
のフレーム#n+1において、左から2番目乃至4番目の画
素は、背景の成分のみを含み、背景領域に属する。ま
た、更に1つ後のフレーム#n+2において、左から2番目
乃至4番目の画素は、背景の成分のみを含み、背景領域
に属する。
止しているので、フレーム#n+2の左から2番目の画素の
画素値は、フレーム#n+1の左から2番目の画素の画素値
から変化しない。同様に、フレーム#n+2の左から3番目
の画素の画素値は、フレーム#n+1の左から3番目の画素
の画素値から変化せず、フレーム#n+2の左から4番目の
画素の画素値は、フレーム#n+1の左から4番目の画素の
画素値から変化しない。
ドバックグラウンド領域に属する画素に対応する、フレ
ーム#n+1およびフレーム#n+2の画素は、背景の成分のみ
から成り、画素値が変化しないので、その差の絶対値
は、ほぼ0の値となる。従って、フレーム#nにおける混
合領域に属する画素に対応する、フレーム#n+1およびフ
レーム#n+2の画素に対する静動判定は、静動判定部20
2−1により、静止と判定される。
ラウンド領域に属する画素は、前景の成分を含むので、
フレーム#n+1における背景の成分のみから成る場合と、
画素値が異なる。従って、フレーム#nにおける混合領域
に属する画素、および対応するフレーム#n+1の画素に対
する静動判定は、静動判定部202−2により、動きと
判定される。
動判定部202−2から動きを示す静動判定の結果が供
給され、静動判定部202−1から静止を示す静動判定
の結果が供給されたとき、対応する画素がアンカバード
バックグラウンド領域に属すると判定する。
103の判定条件を示す図である。フレーム#nの判定の
対象となる画素の画像上の位置と同一の位置にあるフレ
ーム#n-2の画素と、フレーム#nの判定の対象となる画素
の画像上の位置と同一の位置にあるフレーム#n-1の画素
とが静止と判定され、フレーム#nの判定の対象となる画
素の画像上の位置と同一の位置にあるフレーム#n-1の画
素と、フレーム#nの画素とが動きと判定されたとき、領
域特定部103は、フレーム#nの判定の対象となる画素
がカバードバックグラウンド領域に属すると判定する。
上の位置と同一の位置にあるフレーム#n-1の画素と、フ
レーム#nの画素とが静止と判定され、フレーム#nの画素
と、フレーム#nの判定の対象となる画素の画像上の位置
と同一の位置にあるフレーム#n+1の画素とが静止と判定
されたとき、領域特定部103は、フレーム#nの判定の
対象となる画素が静止領域に属すると判定する。
上の位置と同一の位置にあるフレーム#n-1の画素と、フ
レーム#nの画素とが動きと判定され、フレーム#nの画素
と、フレーム#nの判定の対象となる画素の画像上の位置
と同一の位置にあるフレーム#n+1の画素とが動きと判定
されたとき、領域特定部103は、フレーム#nの判定の
対象となる画素が動き領域に属すると判定する。
対象となる画素の画像上の位置と同一の位置にあるフレ
ーム#n+1の画素とが動きと判定され、フレーム#nの判定
の対象となる画素の画像上の位置と同一の位置にあるフ
レーム#n+1の画素と、フレーム#nの判定の対象となる画
素の画像上の位置と同一の位置にあるフレーム#n+2の画
素とが静止と判定されたとき、領域特定部103は、フ
レーム#nの判定の対象となる画素がアンカバードバック
グラウンド領域に属すると判定する。
の結果の例を示す図である。図38(A)において、カ
バードバックグラウンド領域に属すると判定された画素
は、白で表示されている。図38(B)において、アン
カバードバックグラウンド領域に属すると判定された画
素は、白で表示されている。
と判定された画素は、白で表示されている。図38
(D)において、静止領域に属すると判定された画素
は、白で表示されている。
206が出力する領域情報の内、混合領域を示す領域情
報を画像として示す図である。図39において、カバー
ドバックグラウンド領域またはアンカバードバックグラ
ウンド領域に属すると判定された画素、すなわち混合領
域に属すると判定された画素は、白で表示されている。
判定フラグ格納フレームメモリ206が出力する混合領
域を示す領域情報は、混合領域、および前景領域内のテ
クスチャの無い部分に囲まれたテクスチャの有る部分を
示す。
て、領域特定部103の領域特定の処理を説明する。ス
テップS201において、フレームメモリ201は、判
定の対象となるフレーム#nを含むフレーム#n-2乃至フレ
ーム#n+2の画像を取得する。
02−3は、フレーム#n-1の画素とフレーム#nの同一位
置の画素とで、静止か否かを判定し、静止と判定された
場合、ステップS203に進み、静動判定部202−2
は、フレーム#nの画素とフレーム#n+1の同一位置の画素
とで、静止か否かを判定する。
画素とフレーム#n+1の同一位置の画素とで、静止と判定
された場合、ステップS204に進み、領域判定部20
3−2は、領域の判定される画素に対応する静止領域判
定フラグに、静止領域に属することを示す”1”を設定
する。領域判定部203−2は、静止領域判定フラグを
判定フラグ格納フレームメモリ204に供給し、手続き
は、ステップS205に進む。
の画素とフレーム#nの同一位置の画素とで、動きと判定
された場合、または、ステップS203において、フレ
ーム#nの画素とフレーム#n+1の同一位置の画素とで、動
きと判定された場合、フレーム#nの画素が静止領域には
属さないので、ステップS204の処理はスキップさ
れ、手続きは、ステップS205に進む。
02−3は、フレーム#n-1の画素とフレーム#nの同一位
置の画素とで、動きか否かを判定し、動きと判定された
場合、ステップS206に進み、静動判定部202−2
は、フレーム#nの画素とフレーム#n+1の同一位置の画素
とで、動きか否かを判定する。
画素とフレーム#n+1の同一位置の画素とで、動きと判定
された場合、ステップS207に進み、領域判定部20
3−2は、領域の判定される画素に対応する動き領域判
定フラグに、動き領域に属することを示す”1”を設定
する。領域判定部203−2は、動き領域判定フラグを
判定フラグ格納フレームメモリ204に供給し、手続き
は、ステップS208に進む。
の画素とフレーム#nの同一位置の画素とで、静止と判定
された場合、または、ステップS206において、フレ
ーム#nの画素とフレーム#n+1の同一位置の画素とで、静
止と判定された場合、フレーム#nの画素が動き領域には
属さないので、ステップS207の処理はスキップさ
れ、手続きは、ステップS208に進む。
02−4は、フレーム#n-2の画素とフレーム#n-1の同一
位置の画素とで、静止か否かを判定し、静止と判定され
た場合、ステップS209に進み、静動判定部202−
3は、フレーム#n-1の画素とフレーム#nの同一位置の画
素とで、動きか否かを判定する。
の画素とフレーム#nの同一位置の画素とで、動きと判定
された場合、ステップS210に進み、領域判定部20
3−3は、領域の判定される画素に対応するカバードバ
ックグラウンド領域判定フラグに、カバードバックグラ
ウンド領域に属することを示す”1”を設定する。領域
判定部203−3は、カバードバックグラウンド領域判
定フラグを判定フラグ格納フレームメモリ204に供給
し、手続きは、ステップS211に進む。
の画素とフレーム#n-1の同一位置の画素とで、動きと判
定された場合、または、ステップS209において、フ
レーム#n-1の画素とフレーム#nの同一位置の画素とで、
静止と判定された場合、フレーム#nの画素がカバードバ
ックグラウンド領域には属さないので、ステップS21
0の処理はスキップされ、手続きは、ステップS211
に進む。
02−2は、フレーム#nの画素とフレーム#n+1の同一位
置の画素とで、動きか否かを判定し、動きと判定された
場合、ステップS212に進み、静動判定部202−1
は、フレーム#n+1の画素とフレーム#n+2の同一位置の画
素とで、静止か否かを判定する。
の画素とフレーム#n+2の同一位置の画素とで、静止と判
定された場合、ステップS213に進み、領域判定部2
03−1は、領域の判定される画素に対応するアンカバ
ードバックグラウンド領域判定フラグに、アンカバード
バックグラウンド領域に属することを示す”1”を設定
する。領域判定部203−1は、アンカバードバックグ
ラウンド領域判定フラグを判定フラグ格納フレームメモ
リ204に供給し、手続きは、ステップS214に進
む。
画素とフレーム#n+1の同一位置の画素とで、静止と判定
された場合、または、ステップS212において、フレ
ーム#n+1の画素とフレーム#n+2の同一位置の画素とで、
動きと判定された場合、フレーム#nの画素がアンカバー
ドバックグラウンド領域には属さないので、ステップS
213の処理はスキップされ、手続きは、ステップS2
14に進む。
03は、フレーム#nの全ての画素について領域を特定し
たか否かを判定し、フレーム#nの全ての画素について領
域を特定していないと判定された場合、手続きは、ステ
ップS202に戻り、他の画素について、領域特定の処
理を繰り返す。
全ての画素について領域を特定したと判定された場合、
ステップS215に進み、合成部205は、判定フラグ
格納フレームメモリ204に記憶されているアンカバー
ドバックグラウンド領域判定フラグ、およびカバードバ
ックグラウンド領域判定フラグを基に、混合領域を示す
領域情報を生成し、更に、各画素が、アンカバードバッ
クグラウンド領域、静止領域、動き領域、およびカバー
ドバックグラウンド領域のいずれかに属することを示す
領域情報を生成し、生成した領域情報を判定フラグ格納
フレームメモリ206に設定し、処理は終了する。
ムに含まれている画素のそれぞれについて、動き領域、
静止領域、アンカバードバックグラウンド領域、または
カバードバックグラウンド領域に属することを示す領域
情報を生成することができる。
バックグラウンド領域およびカバードバックグラウンド
領域に対応する領域情報に論理和を適用することによ
り、混合領域に対応する領域情報を生成して、フレーム
に含まれている画素のそれぞれについて、動き領域、静
止領域、または混合領域に属することを示すフラグから
成る領域情報を生成するようにしてもよい。
を有す場合、領域特定部103は、より正確に動き領域
を特定することができる。
情報を前景領域を示す領域情報として、また、静止領域
を示す領域情報を背景領域を示す領域情報として出力す
ることができる。
しているとして説明したが、背景領域に対応する画像が
動きを含んでいても上述した領域を特定する処理を適用
することができる。例えば、背景領域に対応する画像が
一様に動いているとき、領域特定部103は、この動き
に対応して画像全体をシフトさせ、背景に対応するオブ
ジェクトが静止している場合と同様に処理する。また、
背景領域に対応する画像が局所毎に異なる動きを含んで
いるとき、領域特定部103は、動きに対応した画素を
選択して、上述の処理を実行する。
例を示すブロック図である。図41に示す領域特定部1
03は、動きベクトルを使用しない。背景画像生成部3
01は、入力画像に対応する背景画像を生成し、生成し
た背景画像を2値オブジェクト画像抽出部302に供給
する。背景画像生成部301は、例えば、入力画像に含
まれる背景のオブジェクトに対応する画像オブジェクト
を抽出して、背景画像を生成する。
方向に隣接して1列に並ぶ画素の画素値を時間方向に展
開したモデル図の例を図42に示す。例えば、前景のオ
ブジェクトに対応する画像の動き方向が画面に対して水
平であるとき、図42におけるモデル図は、1つのライ
ン上の隣接する画素の画素値を時間方向に展開したモデ
ルを示す。
ンは、フレーム#n-1およびフレーム#n+1におけるライン
と同一である。
乃至17番目の画素に含まれているオブジェクトに対応
する前景の成分は、フレーム#n-1において、左から2番
目乃至13番目の画素に含まれ、フレーム#n+1におい
て、左から10番目乃至21番目の画素に含まれる。
ラウンド領域に属する画素は、左から11番目乃至13
番目の画素であり、アンカバードバックグラウンド領域
に属する画素は、左から2番目乃至4番目の画素であ
る。フレーム#nにおいて、カバードバックグラウンド領
域に属する画素は、左から15番目乃至17番目の画素
であり、アンカバードバックグラウンド領域に属する画
素は、左から6番目乃至8番目の画素である。フレーム
#n+1において、カバードバックグラウンド領域に属する
画素は、左から19番目乃至21番目の画素であり、ア
ンカバードバックグラウンド領域に属する画素は、左か
ら10番目乃至12番目の画素である。
画素は、左から1番目の画素、および左から14番目乃
至21番目の画素である。フレーム#nにおいて、背景領
域に属する画素は、左から1番目乃至5番目の画素、お
よび左から18番目乃至21番目の画素である。フレー
ム#n+1において、背景領域に属する画素は、左から1番
目乃至9番目の画素である。
の例に対応する背景画像の例を図43に示す。背景画像
は、背景のオブジェクトに対応する画素から構成され、
前景のオブジェクトに対応する画像の成分を含まない。
景画像および入力画像の相関を基に、2値オブジェクト
画像を生成し、生成した2値オブジェクト画像を時間変
化検出部303に供給する。
02の構成を示すブロック図である。相関値演算部32
1は、背景画像生成部301から供給された背景画像お
よび入力画像の相関を演算し、相関値を生成して、生成
した相関値をしきい値処理部322に供給する。
(A)に示すように、X4を中心とした3×3の背景画
像の中のブロックと、図45(B)に示すように、背景
画像の中のブロックに対応するY4を中心とした3×3
の入力画像の中のブロックに、式(4)を適用して、Y
4に対応する相関値を算出する。
に対応して算出された相関値をしきい値処理部322に
供給する。
46(A)に示すように、X4を中心とした3×3の背
景画像の中のブロックと、図46(B)に示すように、
背景画像の中のブロックに対応するY4を中心とした3
×3の入力画像の中のブロックに、式(7)を適用し
て、Y4に対応する差分絶対値を算出するようにしても
よい。
れた差分絶対値を相関値として、しきい値処理部322
に供給する。
値としきい値th0とを比較して、相関値がしきい値th0以
下である場合、2値オブジェクト画像の画素値に1を設
定し、相関値がしきい値th0より大きい場合、2値オブ
ジェクト画像の画素値に0を設定して、0または1が画素
値に設定された2値オブジェクト画像を出力する。しき
い値処理部322は、しきい値th0を予め記憶するよう
にしてもよく、または、外部から入力されたしきい値th
0を使用するようにしてもよい。
に対応する2値オブジェクト画像の例を示す図である。
2値オブジェクト画像において、背景画像と相関の高い
画素には、画素値に0が設定される。
示すブロック図である。フレームメモリ341は、フレ
ーム#nの画素について領域を判定するとき、2値オブジ
ェクト画像抽出部302から供給された、フレーム#n-
1、フレーム#n、およびフレーム#n+1の2値オブジェク
ト画像を記憶する。
1に記憶されているフレーム#n-1、フレーム#n、および
フレーム#n+1の2値オブジェクト画像を基に、フレーム
#nの各画素について領域を判定して、領域情報を生成
し、生成した領域情報を出力する。
する図である。フレーム#nの2値オブジェクト画像の注
目している画素が0であるとき、領域判定部342は、
フレーム#nの注目している画素が背景領域に属すると判
定する。
している画素が1であり、フレーム#n-1の2値オブジェ
クト画像の対応する画素が1であり、フレーム#n+1の2
値オブジェクト画像の対応する画素が1であるとき、領
域判定部342は、フレーム#nの注目している画素が前
景領域に属すると判定する。
している画素が1であり、フレーム#n-1の2値オブジェ
クト画像の対応する画素が0であるとき、領域判定部3
42は、フレーム#nの注目している画素がカバードバッ
クグラウンド領域に属すると判定する。
している画素が1であり、フレーム#n+1の2値オブジェ
クト画像の対応する画素が0であるとき、領域判定部3
42は、フレーム#nの注目している画素がアンカバード
バックグラウンド領域に属すると判定する。
に対応する2値オブジェクト画像について、時間変化検
出部303の判定した例を示す図である。時間変化検出
部303は、2値オブジェクト画像のフレーム#nの対応
する画素が0なので、フレーム#nの左から1番目乃至5
番目の画素を背景領域に属すると判定する。
ト画像のフレーム#nの画素が1であり、フレーム#n+1の
対応する画素が0なので、左から6番目乃至9番目の画
素をアンカバードバックグラウンド領域に属すると判定
する。
ト画像のフレーム#nの画素が1であり、フレーム#n-1の
対応する画素が1であり、フレーム#n+1の対応する画素
が1なので、左から10番目乃至13番目の画素を前景
領域に属すると判定する。
ト画像のフレーム#nの画素が1であり、フレーム#n-1の
対応する画素が0なので、左から14番目乃至17番目
の画素をカバードバックグラウンド領域に属すると判定
する。
ト画像のフレーム#nの対応する画素が0なので、左から
18番目乃至21番目の画素を背景領域に属すると判定
する。
て、領域判定部103の領域特定の処理を説明する。ス
テップS301において、領域判定部103の背景画像
生成部301は、入力画像を基に、例えば、入力画像に
含まれる背景のオブジェクトに対応する画像オブジェク
トを抽出して背景画像を生成し、生成した背景画像を2
値オブジェクト画像抽出部302に供給する。
クト画像抽出部302は、例えば、図45を参照して説
明した演算により、入力画像と背景画像生成部301か
ら供給された背景画像との相関値を演算する。ステップ
S303において、2値オブジェクト画像抽出部302
は、例えば、相関値としきい値th0とを比較することに
より、相関値およびしきい値th0から2値オブジェクト
画像を演算する。
部303は、領域判定の処理を実行して、処理は終了す
る。
ップS304に対応する領域判定の処理の詳細を説明す
る。ステップS321において、時間変化検出部303
の領域判定部342は、フレームメモリ341に記憶さ
れているフレーム#nにおいて、注目する画素が0である
か否かを判定し、フレーム#nにおいて、注目する画素が
0であると判定された場合、ステップS322に進み、
フレーム#nの注目する画素が背景領域に属すると設定し
て、処理は終了する。
おいて、注目する画素が1であると判定された場合、ス
テップS323に進み、時間変化検出部303の領域判
定部342は、フレームメモリ341に記憶されている
フレーム#nにおいて、注目する画素が1であり、かつ、
フレーム#n-1において、対応する画素が0であるか否か
を判定し、フレーム#nにおいて、注目する画素が1であ
り、かつ、フレーム#n-1において、対応する画素が0で
あると判定された場合、ステップS324に進み、フレ
ーム#nの注目する画素がカバードバックグラウンド領域
に属すると設定して、処理は終了する。
おいて、注目する画素が0であるか、または、フレーム#
n-1において、対応する画素が1であると判定された場
合、ステップS325に進み、時間変化検出部303の
領域判定部342は、フレームメモリ341に記憶され
ているフレーム#nにおいて、注目する画素が1であり、
かつ、フレーム#n+1において、対応する画素が0である
か否かを判定し、フレーム#nにおいて、注目する画素が
1であり、かつ、フレーム#n+1において、対応する画素
が0であると判定された場合、ステップS326に進
み、フレーム#nの注目する画素がアンカバードバックグ
ラウンド領域に属すると設定して、処理は終了する。
おいて、注目する画素が0であるか、または、フレーム#
n+1において、対応する画素が1であると判定された場
合、ステップS327に進み、時間変化検出部303の
領域判定部342は、フレーム#nの注目する画素を前景
領域と設定して、処理は終了する。
れた画像と対応する背景画像との相関値を基に、入力画
像の画素が前景領域、背景領域、カバードバックグラウ
ンド領域、およびアンカバードバックグラウンド領域の
いずれかに属するかを特定して、特定した結果に対応す
る領域情報を生成することができる。
示すブロック図である。図53に示す領域特定部103
は、動き検出部102から供給される動きベクトルとそ
の位置情報を使用する。図41に示す場合と同様の部分
には、同一の番号を付してあり、その説明は省略する。
画像抽出部302から供給された、N個のフレームの2
値オブジェクト画像を基に、ロバスト化された2値オブ
ジェクト画像を生成して、時間変化検出部303に出力
する。
明するブロック図である。動き補償部381は、動き検
出部102から供給された動きベクトルとその位置情報
を基に、N個のフレームの2値オブジェクト画像の動き
を補償して、動きが補償された2値オブジェクト画像を
スイッチ382に出力する。
補償部381の動き補償について説明する。例えば、フ
レーム#nの領域を判定するとき、図55に例を示すフレ
ーム#n-1、フレーム#n、およびフレーム#n+1の2値オブ
ジェクト画像が入力された場合、動き補償部381は、
動き検出部102から供給された動きベクトルを基に、
図56に例を示すように、フレーム#n-1の2値オブジェ
クト画像、およびフレーム#n+1の2値オブジェクト画像
を動き補償して、動き補償された2値オブジェクト画像
をスイッチ382に供給する。
き補償された2値オブジェクト画像をフレームメモリ3
83−1に出力し、2番目のフレームの動き補償された
2値オブジェクト画像をフレームメモリ383−2に出
力する。同様に、スイッチ382は、3番目乃至N−1
番目のフレームの動き補償された2値オブジェクト画像
のそれぞれをフレームメモリ383−3乃至フレームメ
モリ383−(N−1)のいずれかに出力し、N番目の
フレームの動き補償された2値オブジェクト画像をフレ
ームメモリ383−Nに出力する。
レームの動き補償された2値オブジェクト画像を記憶
し、記憶されている2値オブジェクト画像を重み付け部
384−1に出力する。フレームメモリ383−2は、
2番目のフレームの動き補償された2値オブジェクト画
像を記憶し、記憶されている2値オブジェクト画像を重
み付け部384−2に出力する。
レームメモリ383−(N−1)のそれぞれは、3番目
のフレーム乃至N−1番目のフレームの動き補償された
2値オブジェクト画像のいずれかを記憶し、記憶されて
いる2値オブジェクト画像を重み付け部384−3乃至
重み付け部384−(N−1)のいずれかに出力する。
フレームメモリ383−Nは、N番目のフレームの動き
補償された2値オブジェクト画像を記憶し、記憶されて
いる2値オブジェクト画像を重み付け部384−Nに出
力する。
383−1から供給された1番目のフレームの動き補償
された2値オブジェクト画像の画素値に予め定めた重み
w1を乗じて、積算部385に供給する。重み付け部38
4−2は、フレームメモリ383−2から供給された2
番目のフレームの動き補償された2値オブジェクト画像
の画素値に予め定めた重みw2を乗じて、積算部385に
供給する。
け部384−(N−1)のそれぞれは、フレームメモリ
383−3乃至フレームメモリ383−(N−1)のい
ずれかから供給された3番目乃至N−1番目のいずれか
のフレームの動き補償された2値オブジェクト画像の画
素値に予め定めた重みw3乃至重みw(N-1)のいずれかを乗
じて、積算部385に供給する。重み付け部384−N
は、フレームメモリ383−Nから供給されたN番目の
フレームの動き補償された2値オブジェクト画像の画素
値に予め定めた重みwNを乗じて、積算部385に供給す
る。
の動き補償され、それぞれ重みw1乃至wNのいずれかが乗
じられた、2値オブジェクト画像の対応する画素値を積
算して、積算された画素値を予め定めたしきい値th0と
比較することにより2値オブジェクト画像を生成する。
の2値オブジェクト画像からロバスト化された2値オブ
ジェト画像を生成して、時間変化検出部303に供給す
るので、図53に構成を示す領域特定部103は、入力
画像にノイズが含まれていても、図41に示す場合に比
較して、より正確に領域を特定することができる。
3の領域特定の処理について、図57のフローチャート
を参照して説明する。ステップS341乃至ステップS
343の処理は、図51のフローチャートで説明したス
テップS301乃至ステップS303とそれぞれ同様な
のでその説明は省略する。
361は、ロバスト化の処理を実行する。
部303は、領域判定の処理を実行して、処理は終了す
る。ステップS345の処理の詳細は、図52のフロー
チャートを参照して説明した処理と同様なのでその説明
は省略する。
て、図57のステップS344の処理に対応する、ロバ
スト化の処理の詳細について説明する。ステップS36
1において、動き補償部381は、動き検出部102か
ら供給される動きベクトルとその位置情報を基に、入力
された2値オブジェクト画像の動き補償の処理を実行す
る。ステップS362において、フレームメモリ383
−1乃至383−Nのいずれかは、スイッチ382を介
して供給された動き補償された2値オブジェクト画像を
記憶する。
361は、N個の2値オブジェクト画像が記憶されたか
否かを判定し、N個の2値オブジェクト画像が記憶され
ていないと判定された場合、ステップS361に戻り、
2値オブジェクト画像の動き補償の処理および2値オブ
ジェクト画像の記憶の処理を繰り返す。
ブジェクト画像が記憶されたと判定された場合、ステッ
プS364に進み、重み付け部384−1乃至384−
Nのそれぞれは、N個の2値オブジェクト画像のそれぞ
れにw1乃至wNのいずれかの重みを乗じて、重み付けす
る。
は、重み付けされたN個の2値オブジェクト画像を積算
する。
は、例えば、予め定められたしきい値th1との比較など
により、積算された画像から2値オブジェクト画像を生
成して、処理は終了する。
部103は、ロバスト化された2値オブジェクト画像を
基に、領域情報を生成することができる。
ームに含まれている画素のそれぞれについて、動き領
域、静止領域、アンカバードバックグラウンド領域、ま
たはカバードバックグラウンド領域に属することを示す
領域情報を生成することができる。
例を示すブロック図である。推定混合比処理部401
は、入力画像を基に、カバードバックグラウンド領域の
モデルに対応する演算により、画素毎に推定混合比を算
出して、算出した推定混合比を混合比決定部403に供
給する。
に、アンカバードバックグラウンド領域のモデルに対応
する演算により、画素毎に推定混合比を算出して、算出
した推定混合比を混合比決定部403に供給する。
間内に等速で動いていると仮定できるので、混合領域に
属する画素の混合比αは、以下の性質を有する。すなわ
ち、混合比αは、画素の位置の変化に対応して、直線的
に変化する。画素の位置の変化を1次元とすれば、混合
比αの変化は、直線で表現することができ、画素の位置
の変化を2次元とすれば、混合比αの変化は、平面で表
現することができる。
に対応するオブジェクトが剛体であり、等速で移動して
いると仮定が成り立つ。
ッタ時間内での動き量vの逆比となる。
想的な混合比αの混合領域における傾きlは、動き量vの
逆数として表すことができる。
は、背景領域において、1の値を有し、前景領域におい
て、0の値を有し、混合領域において、0を越え1未満
の値を有する。
7番目の画素の画素値C06は、フレーム#n-1の左から7
番目の画素の画素値P06を用いて、式(8)で表すこと
ができる。
の画素の画素値Mと、画素値P06を背景領域の画素の画素
値Bと表現する。すなわち、混合領域の画素の画素値Mお
よび背景領域の画素の画素値Bは、それぞれ、式(9)
および式(10)のように表現することができる。
る。動き量vが4なので、フレーム#nの左から7番目の
画素の混合比αは、0.5となる。
画素値Cを混合領域の画素値と見なし、フレーム#nの前
のフレーム#n-1の画素値Pを背景領域の画素値と見なす
ことで、混合比αを示す式(3)は、式(11)のよう
に書き換えられる。
成分の和ΣiFi/vである。式(11)に含まれる変数
は、混合比αおよび前景の成分の和fの2つである。
域における、動き量vが4であり、時間方向の仮想分割
数が4である、画素値を時間方向に展開したモデルを図
62に示す。
て、上述したカバードバックグラウンド領域における表
現と同様に、注目しているフレーム#nの画素値Cを混合
領域の画素値と見なし、フレーム#nの後のフレーム#n+1
の画素値Nを背景領域の画素値と見なすことで、混合比
αを示す式(3)は、式(12)のように表現すること
ができる。
として説明したが、背景のオブジェクトが動いている場
合においても、背景の動き量vに対応させた位置の画素
の画素値を利用することにより、式(8)乃至式(1
2)を適用することができる。例えば、図61におい
て、背景に対応するオブジェクトの動き量vが2であ
り、仮想分割数が2であるとき、背景に対応するオブジ
ェクトが図中の右側に動いているとき、式(10)にお
ける背景領域の画素の画素値Bは、画素値P04とされる。
2つの変数を含むので、そのままでは混合比αを求める
ことができない。ここで、画像は一般的に空間的に相関
が強いので近接する画素同士でほぼ同じ画素値となる。
ので、前景の成分の和fを前または後のフレームから導
き出せるように式を変形して、混合比αを求める。
の画素値Mcは、式(13)で表すことができる。
る。式(13)の右辺第2項は、後のフレーム#n+1の画
素値を利用して、式(14)のように表すこととする。
て、式(15)が成立するとする。
うに置き換えることができる。
ができる。
域に関係する前景の成分が等しいと仮定すると、混合領
域の全ての画素について、内分比の関係から式(18)
が成立する。
1)は、式(19)に示すように展開することができ
る。
式(12)は、式(20)に示すように展開することが
できる。
C,N、およびPは、既知の画素値なので、式(19)お
よび式(20)に含まれる変数は、混合比αのみであ
る。式(19)および式(20)における、C,N、およ
びPの関係を図64に示す。Cは、混合比αを算出する、
フレーム#nの注目している画素の画素値である。Nは、
注目している画素と空間方向の位置が対応する、フレー
ム#n+1の画素の画素値である。Pは、注目している画素
と空間方向の位置が対応する、フレーム#n-1の画素の画
素値である。
れぞれに1つの変数が含まれることとなるので、3つの
フレームの画素の画素値を利用して、混合比αを算出す
ることができる。式(19)および式(20)を解くこ
とにより、正しい混合比αが算出されるための条件は、
混合領域に関係する前景の成分が等しい、すなわち、前
景のオブジェクトが静止しているとき撮像された前景の
画像オブジェクトにおいて、前景のオブジェクトの動き
の方向に対応する、画像オブジェクトの境界に位置する
画素であって、動き量vの2倍の数の連続している画素
の画素値が、一定であることである。
領域に属する画素の混合比αは、式(21)により算出
され、アンカバードバックグラウンド領域に属する画素
の混合比αは、式(22)により算出される。
を示すブロック図である。フレームメモリ421は、入
力された画像をフレーム単位で記憶し、入力画像として
入力されているフレームから1つ後のフレームをフレー
ムメモリ422および混合比演算部423に供給する。
をフレーム単位で記憶し、フレームメモリ421から供
給されているフレームから1つ後のフレームを混合比演
算部423に供給する。
合比演算部423に入力されているとき、フレームメモ
リ421は、フレーム#nを混合比演算部423に供給
し、フレームメモリ422は、フレーム#n-1を混合比演
算部423に供給する。
演算により、フレーム#nの注目している画素の画素値
C、注目している画素と空間的位置が対応する、フレー
ム#n+1の画素の画素値N、および注目している画素と空
間的位置が対応する、フレーム#n-1の画素の画素値Pを
基に、注目している画素の推定混合比を算出して、算出
した推定混合比を出力する。例えば、背景が静止してい
るとき、混合比演算部423は、フレーム#nの注目して
いる画素の画素値C、注目している画素とフレーム内の
位置が同じ、フレーム#n+1の画素の画素値N、および注
目している画素とフレーム内の位置が同じ、フレーム#n
-1の画素の画素値Pを基に、注目している画素の推定混
合比を算出して、算出した推定混合比を出力する。
入力画像を基に、推定混合比を算出して、混合比決定部
403に供給することができる。
合比処理部401が式(21)に示す演算により、注目
している画素の推定混合比を算出するのに対して、式
(22)に示す演算により、注目している画素の推定混
合比を算出する部分が異なることを除き、推定混合比処
理部401と同様なので、その説明は省略する。
算出された推定混合比の例を示す図である。図66に示
す推定混合比は、等速で動いているオブジェクトに対応
する前景の動き量vが11である場合の結果を、1ライ
ンに対して示すものである。
に示すように、ほぼ直線的に変化していることがわか
る。
域特定部103から供給された、混合比αの算出の対象
となる画素が、前景領域、背景領域、カバードバックグ
ラウンド領域、またはアンカバードバックグラウンド領
域のいずれかに属するかを示す領域情報を基に、混合比
αを設定する。混合比決定部403は、対象となる画素
が前景領域に属する場合、0を混合比αに設定し、対象
となる画素が背景領域に属する場合、1を混合比αに設
定し、対象となる画素がカバードバックグラウンド領域
に属する場合、推定混合比処理部401から供給された
推定混合比を混合比αに設定し、対象となる画素がアン
カバードバックグラウンド領域に属する場合、推定混合
比処理部402から供給された推定混合比を混合比αに
設定する。混合比決定部403は、領域情報を基に設定
した混合比αを出力する。
を示すブロック図である。選択部441は、領域特定部
103から供給された領域情報を基に、カバードバック
グラウンド領域に属する画素および、これに対応する前
および後のフレームの画素を推定混合比処理部442に
供給する。選択部441は、領域特定部103から供給
された領域情報を基に、アンカバードバックグラウンド
領域に属する画素および、これに対応する前および後の
フレームの画素を推定混合比処理部443に供給する。
から入力された画素値を基に、式(21)に示す演算に
より、カバードバックグラウンド領域に属する、注目し
ている画素の推定混合比を算出して、算出した推定混合
比を選択部444に供給する。
から入力された画素値を基に、式(22)に示す演算に
より、アンカバードバックグラウンド領域に属する、注
目している画素の推定混合比を算出して、算出した推定
混合比を選択部444に供給する。
給された領域情報を基に、対象となる画素が前景領域に
属する場合、0である推定混合比を選択して、混合比α
に設定し、対象となる画素が背景領域に属する場合、1
である推定混合比を選択して、混合比αに設定する。選
択部444は、対象となる画素がカバードバックグラウ
ンド領域に属する場合、推定混合比処理部442から供
給された推定混合比を選択して混合比αに設定し、対象
となる画素がアンカバードバックグラウンド領域に属す
る場合、推定混合比処理部443から供給された推定混
合比を選択して混合比αに設定する。選択部444は、
領域情報を基に選択して設定した混合比αを出力する。
る混合比算出部104は、画像の含まれる画素毎に混合
比αを算出して、算出した混合比αを出力することがで
きる。
9に構成を示す混合比算出部104の混合比αの算出の
処理を説明する。ステップS401において、混合比算
出部104は、領域特定部103から供給された領域情
報を取得する。ステップS402において、推定混合比
処理部401は、カバードバックグラウンド領域に対応
するモデルにより推定混合比の演算の処理を実行し、算
出した推定混合比を混合比決定部403に供給する。混
合比推定の演算の処理の詳細は、図69のフローチャー
トを参照して、後述する。
理部402は、アンカバードバックグラウンド領域に対
応するモデルにより推定混合比の演算の処理を実行し、
算出した推定混合比を混合比決定部403に供給する。
104は、フレーム全体について、混合比αを推定した
か否かを判定し、フレーム全体について、混合比αを推
定していないと判定された場合、ステップS402に戻
り、次の画素について混合比αを推定する処理を実行す
る。
について、混合比αを推定したと判定された場合、ステ
ップS405に進み、混合比決定部403は、画素が、
前景領域、背景領域、カバードバックグラウンド領域、
またはアンカバードバックグラウンド領域のいずれかに
属するかを示す、領域特定部103から供給された領域
情報を基に、混合比αを設定する。混合比決定部403
は、対象となる画素が前景領域に属する場合、0を混合
比αに設定し、対象となる画素が背景領域に属する場
合、1を混合比αに設定し、対象となる画素がカバード
バックグラウンド領域に属する場合、推定混合比処理部
401から供給された推定混合比を混合比αに設定し、
対象となる画素がアンカバードバックグラウンド領域に
属する場合、推定混合比処理部402から供給された推
定混合比を混合比αに設定し、処理は終了する。
特定部103から供給された領域情報、および入力画像
を基に、各画素に対応する特徴量である混合比αを算出
することができる。
混合比αの算出の処理は、図68のフローチャートで説
明した処理と同様なので、その説明は省略する。
る、カバードバックグラウンド領域に対応するモデルに
よる混合比推定の処理を図69のフローチャートを参照
して説明する。
423は、フレームメモリ421から、フレーム#nの注
目画素の画素値Cを取得する。
423は、フレームメモリ422から、注目画素に対応
する、フレーム#n-1の画素の画素値Pを取得する。
423は、入力画像に含まれる注目画素に対応する、フ
レーム#n+1の画素の画素値Nを取得する。
423は、フレーム#nの注目画素の画素値C、フレーム#
n-1の画素の画素値P、およびフレーム#n+1の画素の画素
値Nを基に、推定混合比を演算する。
423は、フレーム全体について、推定混合比を演算す
る処理を終了したか否かを判定し、フレーム全体につい
て、推定混合比を演算する処理を終了していないと判定
された場合、ステップS421に戻り、次の画素につい
て推定混合比を算出する処理を繰り返す。
について、推定混合比を演算する処理を終了したと判定
された場合、処理は終了する。
入力画像を基に、推定混合比を演算することができる。
バードバックグラウンド領域に対応するモデルによる混
合比推定の処理は、アンカバードバックグラウンド領域
のモデルに対応する式を利用した、図69のフローチャ
ートに示す処理と同様なので、その説明は省略する。
2および推定混合比処理部443は、図69に示すフロ
ーチャートと同様の処理を実行して推定混合比を演算す
るので、その説明は省略する。
しているとして説明したが、背景領域に対応する画像が
動きを含んでいても上述した混合比αを求める処理を適
用することができる。例えば、背景領域に対応する画像
が一様に動いているとき、推定混合比処理部401は、
背景の動きに対応して画像全体をシフトさせ、背景に対
応するオブジェクトが静止している場合と同様に処理す
る。また、背景領域に対応する画像が局所毎に異なる背
景の動きを含んでいるとき、推定混合比処理部401
は、混合領域に属する画素に対応する画素として、背景
の動きに対応した画素を選択して、上述の処理を実行す
る。
について、カバードバックグラウンド領域に対応するモ
デルによる混合比推定の処理のみを実行して、算出され
た推定混合比を混合比αとして出力するようにしてもよ
い。この場合において、混合比αは、カバードバックグ
ラウンド領域に属する画素について、背景の成分の割合
を示し、アンカバードバックグラウンド領域に属する画
素について、前景の成分の割合を示す。アンカバードバ
ックグラウンド領域に属する画素について、このように
算出された混合比αと1との差分の絶対値を算出して、
算出した絶対値を混合比αに設定すれば、画像処理装置
は、アンカバードバックグラウンド領域に属する画素に
ついて、背景の成分の割合を示す混合比αを求めること
ができる。
ての画素について、アンカバードバックグラウンド領域
に対応するモデルによる混合比推定の処理のみを実行し
て、算出された推定混合比を混合比αとして出力するよ
うにしてもよい。
いて説明する。
オブジェクトが等速で動くことによる、画素の位置の変
化に対応して、混合比αが直線的に変化する性質を利用
して、空間方向に、混合比αと前景の成分の和fとを近
似した式を立てることができる。混合領域に属する画素
の画素値および背景領域に属する画素の画素値の組の複
数を利用して、混合比αと前景の成分の和fとを近似し
た式を解くことにより、混合比αを算出する。
と、混合比αは、式(23)で表される。
0とした空間方向のインデックスである。lは、混合比
αの直線の傾きである。pは、混合比αの直線の切片で
ある共に、注目している画素の混合比αである。式(2
3)において、インデックスiは、既知であるが、傾きl
および切片pは、未知である。
係を図70に示す。
とにより、複数の画素に対して複数の異なる混合比α
は、2つの変数で表現される。図70に示す例におい
て、5つの画素に対する5つの混合比は、2つの変数で
ある傾きlおよび切片pにより表現される。
と、画像の水平方向および垂直方向の2つの方向に対応
する動きvを考慮したとき、式(23)を平面に拡張し
て、混合比αは、式(24)で表される。
0とした水平方向のインデックスであり、kは、垂直方
向のインデックスである。mは、混合比αの面の水平方
向の傾きであり、qは、混合比αの面の垂直方向の傾き
である。pは、混合比αの面の切片である。
て、C05乃至C07について、それぞれ、式(25)乃至式
(27)が成立する。
F01乃至F03が等しいとして、F01乃至F03をFcに置き換え
ると式(28)が成立する。
(28)は、式(29)として表すことができる。
Fc)、および(1-p)・Fcは、式(30)乃至式(32)
に示すように置き換えられている。
画素の位置を0とした水平方向のインデックスであり、
kは、垂直方向のインデックスである。
がシャッタ時間内において等速に移動し、前景に対応す
る成分が近傍において一定であるという仮定が成立する
ので、前景の成分の和は、式(29)で近似される。
景の成分の和は、式(33)で表すことができる。
を、式(24)および式(29)を利用して置き換える
と、画素値Mは、式(34)で表される。
比αの面の水平方向の傾きm、混合比αの面の垂直方向
の傾きq、混合比αの面の切片p、s、t、およびuの6つ
である。
て、式(34)に示す正規方程式に、画素値Mまたは画
素値Bを設定し、画素値Mまたは画素値Bが設定された複
数の正規方程式を最小自乗法で解いて、混合比αを算出
する。
ンデックスjを0とし、垂直方向のインデックスkを0と
し、注目している画素の近傍の3×3の画素について、
式(34)に示す正規方程式に画素値Mまたは画素値Bを
設定すると、式(35)乃至式(43)を得る。 M-1,-1=(-1)・B-1,-1・m+(-1)・B-1,-1・q+B-1,-1・p+(-1)・s+(-1)・t+u (35) M0,-1=(0)・B0,-1・m+(-1)・B0,-1・q+B0,-1・p+(0)・s+(-1)・t+u (36) M+1,-1=(+1)・B+1,-1・m+(-1)・B+1,-1・q+B+1,-1・p+(+1)・s+(-1)・t+u (37) M-1,0=(-1)・B-1,0・m+(0)・B-1,0・q+B-1,0・p+(-1)・s+(0)・t+u (38) M0,0=(0)・B0,0・m+(0)・B0,0・q+B0,0・p+(0)・s+(0)・t+u (39) M+1,0=(+1)・B+1,0・m+(0)・B+1,0・q+B+1,0・p+(+1)・s+(0)・t+u (40) M-1,+1=(-1)・B-1,+1・m+(+1)・B-1,+1・q+B-1,+1・p+(-1)・s+(+1)・t+u (41) M0,+1=(0)・B0,+1・m+(+1)・B0,+1・q+B0,+1・p+(0)・s+(+1)・t+u (42) M+1,+1=(+1)・B+1,+1・m+(+1)・B+1,+1・q+B+1,+1・p+(+1)・s+(+1)・t+u (43)
スjが0であり、垂直方向のインデックスkが0であるの
で、注目している画素の混合比αは、式(24)より、
j=0およびk=0のときの値、すなわち、切片pに等しい。
の式を基に、最小自乗法により、水平方向の傾きm、垂
直方向の傾きq、切片p、s、t、およびuのそれぞれの値
を算出し、切片pを混合比αとして出力すればよい。
出するより具体的な手順を説明する。
のインデックスxで表現すると、インデックスi、インデ
ックスk、およびインデックスxの関係は、式(44)で
表される。
p、s、t、およびuをそれぞれ変数w0,w1,w2,w3,w4、およ
びW5と表現し、jB,kB,B,j,k、および1をそれぞれa0,a1,
a2,a3,a4、およびa5と表現する。誤差exを考慮すると、
式(35)乃至式(43)は、式(45)に書き換える
ことができる。
の値である。
できる。
の自乗和Eを式(47)に示すようにに定義する。
Eに対する、変数Wvの偏微分が0になればよい。ここ
で、vは、0乃至5の整数のいずれかの値である。従っ
て、式(48)を満たすようにwyを求める。
(49)を得る。
か1つを代入して得られる6つの式に、例えば、掃き出
し法(Gauss-Jordanの消去法)などを適用して、wyを算
出する。上述したように、w0は水平方向の傾きmであ
り、w1は垂直方向の傾きqであり、w2は切片pであり、w3
はsであり、w4はtであり、w5はuである。
定した式に、最小自乗法を適用することにより、水平方
向の傾きm、垂直方向の傾きq、切片p、s、t、およびuを
求めることができる。
において、混合領域に含まれる画素の画素値をMとし、
背景領域に含まれる画素の画素値をBとして説明した
が、注目している画素が、カバードバックグラウンド領
域に含まれる場合、またはアンカバードバックグラウン
ド領域に含まれる場合のそれぞれに対して、正規方程式
を立てる必要がある。
ードバックグラウンド領域に含まれる画素の混合比αを
求める場合、フレーム#nの画素のC04乃至C08、およびフ
レーム#n-1の画素の画素値P04乃至P08が、正規方程式に
設定される。
バックグラウンド領域に含まれる画素の混合比αを求め
る場合、フレーム#nの画素のC28乃至C32、およびフレー
ム#n+1の画素の画素値N28乃至N32が、正規方程式に設定
される。
ックグラウンド領域に含まれる画素の混合比αを算出す
るとき、以下の式(50)乃至式(58)が立てられ
る。混合比αを算出する画素の画素値は、Mc5である。 Mc1=(-1)・Bc1・m+(-1)・Bc1・q+Bc1・p+(-1)・s+(-1)・t+u (50) Mc2=(0)・Bc2・m+(-1)・Bc2・q+Bc2・p+(0)・s+(-1)・t+u (51) Mc3=(+1)・Bc3・m+(-1)・Bc3・q+Bc3・p+(+1)・s+(-1)・t+u (52) Mc4=(-1)・Bc4・m+(0)・Bc4・q+Bc4・p+(-1)・s+(0)・t+u (53) Mc5=(0)・Bc5・m+(0)・Bc5・q+Bc5・p+(0)・s+(0)・t+u (54) Mc6=(+1)・Bc6・m+(0)・Bc6・q+Bc6・p+(+1)・s+(0)・t+u (55) Mc7=(-1)・Bc7・m+(+1)・Bc7・q+Bc7・p+(-1)・s+(+1)・t+u (56) Mc8=(0)・Bc8・m+(+1)・Bc8・q+Bc8・p+(0)・s+(+1)・t+u (57) Mc9=(+1)・Bc9・m+(+1)・Bc9・q+Bc9・p+(+1)・s+(+1)・t+u (58)
域に含まれる画素の混合比αを算出するとき、式(5
0)乃至式(58)において、フレーム#nの画素に対応
する、フレーム#n-1の画素の背景領域の画素の画素値Bc
1乃至Bc9が使用される。
ンド領域に含まれる画素の混合比αを算出するとき、以
下の式(59)乃至式(67)が立てられる。混合比α
を算出する画素の画素値は、Mu5である。 Mu1=(-1)・Bu1・m+(-1)・Bu1・q+Bu1・p+(-1)・s+(-1)・t+u (59) Mu2=(0)・Bu2・m+(-1)・Bu2・q+Bu2・p+(0)・s+(-1)・t+u (60) Mu3=(+1)・Bu3・m+(-1)・Bu3・q+Bu3・p+(+1)・s+(-1)・t+u (61) Mu4=(-1)・Bu4・m+(0)・Bu4・q+Bu4・p+(-1)・s+(0)・t+u (62) Mu5=(0)・Bu5・m+(0)・Bu5・q+Bu5・p+(0)・s+(0)・t+u (63) Mu6=(+1)・Bu6・m+(0)・Bu6・q+Bu6・p+(+1)・s+(0)・t+u (64) Mu7=(-1)・Bu7・m+(+1)・Bu7・q+Bu7・p+(-1)・s+(+1)・t+u (65) Mu8=(0)・Bu8・m+(+1)・Bu8・q+Bu8・p+(0)・s+(+1)・t+u (66) Mu9=(+1)・Bu9・m+(+1)・Bu9・q+Bu9・p+(+1)・s+(+1)・t+u (67)
ド領域に含まれる画素の混合比αを算出するとき、式
(59)乃至式(67)において、フレーム#nの画素に
対応する、フレーム#n+1の画素の背景領域の画素の画素
値Bu1乃至Bu9が使用される。
を示すブロック図である。推定混合比処理部401に入
力された画像は、遅延部501および足し込み部502
に供給される。
遅延させ、足し込み部502に供給する。足し込み部5
02に、入力画像としてフレーム#nが入力されていると
き、遅延回路221は、フレーム#n-1を足し込み部50
2に供給する。
画素の近傍の画素の画素値、およびフレーム#n-1の画素
値を、正規方程式に設定する。例えば、足し込み部50
2は、式(50)乃至式(58)に基づいて、正規方程
式に画素値Mc1乃至Mc9および画素値Bc1乃至Bc9を設定す
る。足し込み部502は、画素値が設定された正規方程
式を演算部503に供給する。
給された正規方程式を掃き出し法などにより解いて推定
混合比を求め、求められた推定混合比を出力する。
入力画像を基に、推定混合比を算出して、混合比決定部
403に供給することができる。
合比処理部401と同様の構成を有するので、その説明
は省略する。
算出された推定混合比の例を示す図である。図74に示
す推定混合比は、等速で動いているオブジェクトに対応
する前景の動きvが11であり、7×7画素のブロック
を単位として方程式を生成して算出された結果を、1ラ
インに対して示すものである。
に示すように、ほぼ直線的に変化していることがわか
る。
から供給された、混合比が算出される画素が、前景領
域、背景領域、カバードバックグラウンド領域、または
アンカバードバックグラウンド領域のいずれかに属する
かを示す領域情報を基に、混合比を設定する。混合比決
定部403は、対象となる画素が前景領域に属する場
合、0を混合比に設定し、対象となる画素が背景領域に
属する場合、1を混合比に設定し、対象となる画素がカ
バードバックグラウンド領域に属する場合、推定混合比
処理部401から供給された推定混合比を混合比に設定
し、対象となる画素がアンカバードバックグラウンド領
域に属する場合、推定混合比処理部402から供給され
た推定混合比を混合比に設定する。混合比決定部403
は、領域情報を基に設定した混合比を出力する。
混合比処理部401が図73に示す構成を有する場合に
おける、混合比算出部102の混合比の算出の処理を説
明する。ステップS501において、混合比算出部10
2は、領域特定部101から供給された領域情報を取得
する。ステップS502において、推定混合比処理部4
01は、カバードバックグラウンド領域に対応するモデ
ルによる混合比推定の処理を実行し、推定混合比を混合
比決定部403に供給する。混合比推定の処理の詳細
は、図76のフローチャートを参照して、後述する。
理部402は、アンカバードバックグラウンド領域に対
応するモデルによる混合比推定の処理を実行し、推定混
合比を混合比決定部403に供給する。
102は、フレーム全体について、混合比を推定したか
否かを判定し、フレーム全体について、混合比を推定し
ていないと判定された場合、ステップS502に戻り、
次の画素について混合比を推定する処理を実行する。
について、混合比を推定したと判定された場合、ステッ
プS505に進み、混合比決定部403は、領域特定部
101から供給された、混合比が算出される画素が、前
景領域、背景領域、カバードバックグラウンド領域、ま
たはアンカバードバックグラウンド領域のいずれかに属
するかを示す領域情報を基に、混合比を設定する。混合
比決定部403は、対象となる画素が前景領域に属する
場合、0を混合比に設定し、対象となる画素が背景領域
に属する場合、1を混合比に設定し、対象となる画素が
カバードバックグラウンド領域に属する場合、推定混合
比処理部401から供給された推定混合比を混合比に設
定し、対象となる画素がアンカバードバックグラウンド
領域に属する場合、推定混合比処理部402から供給さ
れた推定混合比を混合比に設定し、処理は終了する。
特定部101から供給された領域情報、および入力画像
を基に、各画素に対応する特徴量である混合比αを算出
することができる。
るオブジェクトに対応する画像に含まれる動きボケの情
報を残したままで、画素値に含まれる前景の成分と背景
の成分とを分離することが可能になる。
ば、実世界を実際に撮影し直したような動いているオブ
ジェクトのスピードに合わせた正しい動きボケを含む画
像を作ることが可能になる。
る、カバードバックグラウンド領域に対応するモデルに
よる混合比推定の処理を図76のフローチャートを参照
して説明する。
02は、入力された画像に含まれる画素値、および遅延
回路221から供給される画像に含まれる画素値を、カ
バードバックグラウンド領域のモデルに対応する正規方
程式に設定する。
理部401は、対象となる画素についての設定が終了し
たか否かを判定し、対象となる画素についての設定が終
了していないと判定された場合、ステップS521に戻
り、正規方程式への画素値の設定の処理を繰り返す。
素についての画素値の設定が終了したと判定された場
合、ステップS523に進み、演算部173は、画素値
が設定された正規方程式を基に、推定混合比を演算し
て、求められた推定混合比を出力する。
入力画像を基に、推定混合比を演算することができる。
バードバックグラウンド領域に対応するモデルによる混
合比推定の処理は、アンカバードバックグラウンド領域
のモデルに対応する正規方程式を利用した、図76のフ
ローチャートに示す処理と同様なので、その説明は省略
する。
しているとして説明したが、背景領域に対応する画像が
動きを含んでいても上述した混合比を求める処理を適用
することができる。例えば、背景領域に対応する画像が
一様に動いているとき、推定混合比処理部401は、こ
の動きに対応して画像全体をシフトさせ、背景に対応す
るオブジェクトが静止している場合と同様に処理する。
また、背景領域に対応する画像が局所毎に異なる動きを
含んでいるとき、推定混合比処理部401は、混合領域
に属する画素に対応する画素として、動きに対応した画
素を選択して、上述の処理を実行する。
する。図77は、前景背景分離部105の構成の一例を
示すブロック図である。前景背景分離部105に供給さ
れた入力画像は、分離部601、スイッチ602、およ
びスイッチ603に供給される。カバードバックグラウ
ンド領域を示す情報、およびアンカバードバックグラウ
ンド領域を示す、領域特定部103から供給された領域
情報は、分離部601に供給される。前景領域を示す領
域情報は、スイッチ602に供給される。背景領域を示
す領域情報は、スイッチ603に供給される。
αは、分離部601に供給される。
ド領域を示す領域情報、および混合比αを基に、入力画
像のカバードバックグラウンド領域から前景の成分を分
離するとともに、背景の成分を分離して、分離された前
景の成分より構成されるカバードバックグラウンド領域
の前景成分画像、および分離された背景の成分より構成
されるカバードバックグラウンド領域の背景成分画像を
出力する。
ウンド領域を示す領域情報、および混合比αを基に、入
力画像のアンカバードバックグラウンド領域から前景の
成分を分離するとともに、背景の成分を分離して、分離
された前景の成分より構成されるアンカバードバックグ
ラウンド領域の前景成分画像、および分離された背景の
成分より構成されるアンカバードバックグラウンド領域
の背景成分画像を出力する。
報を基に、前景領域に対応する画素が入力されたとき、
閉じられ、前景領域の画像を出力する。
報を基に、背景領域に対応する画素が入力されたとき、
閉じられ、背景領域の画像を出力する。
れる入力画像、並びに前景背景分離部105から出力さ
れる前景成分画像および背景成分画像を示す図である。
であり、図78(B)は、図78(A)に対応する前景
領域に属する画素、背景領域に属する画素、および混合
領域に属する画素を含む1ラインの画素を時間方向に展
開したモデル図を示す。
うに、前景背景分離部105から出力される背景領域の
画像は、背景領域に属する画素から構成される。
うに、前景背景分離部105から出力される前景領域の
画像は、前景領域に属する画素から構成される。
の画素値は、前景背景分離部105により、背景の成分
と、前景の成分とに分離される。分離された背景の成分
は、アンカバードバックグラウンド領域の背景成分画像
を構成し、分離された前景の成分は、アンカバードバッ
クグラウンド領域の前景成分画像を構成する。
素値は、前景背景分離部105により、背景の成分と、
前景の成分とに分離される。分離された背景の成分は、
カバードバックグラウンド領域の背景成分画像を構成
し、分離された前景の成分は、カバードバックグラウン
ド領域の前景成分画像を構成する。
に属する画素から前景の成分、および背景の成分を分離
する処理について説明する。
ジェクトに対応する前景を含む、2つのフレームの前景
の成分および背景の成分を示す画像のモデルである。図
79に示す画像のモデルにおいて、前景の動き量vは4
であり、仮想分割数は、4とされている。
び左から14番目乃至18番目の画素は、背景の成分の
みから成り、背景領域に属する。フレーム#nにおいて、
左から2番目乃至4番目の画素は、背景の成分および前
景の成分を含み、アンカバードバックグラウンド領域に
属する。フレーム#nにおいて、左から11番目乃至13
番目の画素は、背景の成分および前景の成分を含み、カ
バードバックグラウンド領域に属する。フレーム#nにお
いて、左から5番目乃至10番目の画素は、前景の成分
のみから成り、前景領域に属する。
5番目の画素、および左から18番目の画素は、背景の
成分のみから成り、背景領域に属する。フレーム#n+1に
おいて、左から6番目乃至8番目の画素は、背景の成分
および前景の成分を含み、アンカバードバックグラウン
ド領域に属する。フレーム#n+1において、左から15番
目乃至17番目の画素は、背景の成分および前景の成分
を含み、カバードバックグラウンド領域に属する。フレ
ーム#n+1において、左から9番目乃至14番目の画素
は、前景の成分のみから成り、前景領域に属する。
に属する画素から前景の成分を分離する処理を説明する
図である。図80において、α1乃至α18は、フレー
ム#nにおける画素のぞれぞれに対応する混合比である。
図80において、左から15番目乃至17番目の画素
は、カバードバックグラウンド領域に属する。
値C15は、式(68)で表される。
混合比である。P15は、フレーム#n-1の左から15番目
の画素の画素値である。
5番目の画素の前景の成分の和f15は、式(69)で表
される。
素の前景の成分の和f16は、式(70)で表され、フレ
ーム#nの左から17番目の画素の前景の成分の和f17
は、式(71)で表される。
域に属する画素の画素値Cに含まれる前景の成分fcは、
式(72)で計算される。
る。
領域に属する画素から前景の成分を分離する処理を説明
する図である。図81において、α1乃至α18は、フ
レーム#nにおける画素のぞれぞれに対応する混合比であ
る。図81において、左から2番目乃至4番目の画素
は、アンカバードバックグラウンド領域に属する。
C02は、式(73)で表される。
番目の画素の前景の成分の和f02は、式(74)で表さ
れる。
の前景の成分の和f03は、式(75)で表され、フレー
ム#nの左から4番目の画素の前景の成分の和f04は、式
(76)で表される。
ド領域に属する画素の画素値Cに含まれる前景の成分fu
は、式(77)で計算される。
る。
含まれる、カバードバックグラウンド領域を示す情報、
およびアンカバードバックグラウンド領域を示す情報、
並びに画素毎の混合比αを基に、混合領域に属する画素
から前景の成分、および背景の成分を分離することがで
きる。
分離部601の構成の一例を示すブロック図である。分
離部601に入力された画像は、フレームメモリ621
に供給され、混合比算出部104から供給されたカバー
ドバックグラウンド領域およびアンカバードバックグラ
ウンド領域を示す領域情報、並びに混合比αは、分離処
理ブロック622に入力される。
をフレーム単位で記憶する。フレームメモリ621は、
処理の対象がフレーム#nであるとき、フレーム#nの1つ
前のフレームであるフレーム#n-1、フレーム#n、および
フレーム#nの1つ後のフレームであるフレーム#n+1を記
憶する。
フレーム#n、およびフレーム#n+1の対応する画素を分離
処理ブロック622に供給する。
クグラウンド領域およびアンカバードバックグラウンド
領域を示す領域情報、並びに混合比αを基に、フレーム
メモリ621から供給されたフレーム#n-1、フレーム#
n、およびフレーム#n+1の対応する画素の画素値に図8
0および図81を参照して説明した演算を適用して、フ
レーム#nの混合領域に属する画素から前景の成分および
背景の成分を分離する。
領域処理部631、およびカバード領域処理部632で
構成されている。
41は、混合比αを、フレームメモリ621から供給さ
れたフレーム#n+1の画素の画素値に乗じて、スイッチ6
42に出力する。スイッチ642は、フレームメモリ6
21から供給されたフレーム#nの画素(フレーム#n+1の
画素に対応する)がアンカバードバックグラウンド領域
であるとき、閉じられ、乗算器641から供給された混
合比αを乗じた画素値を演算器643に供給する。スイ
ッチ642から出力されるフレーム#n+1の画素の画素値
に混合比αを乗じた値は、フレーム#nの対応する画素の
画素値の背景の成分に等しく、アンカバードバックグラ
ウンド領域の背景成分画像として出力される。
ら供給されたフレーム#nの画素の画素値から、スイッチ
642から供給された背景の成分を減じて、前景の成分
を求める。演算器643は、アンカバードバックグラウ
ンド領域に属する、フレーム#nの画素の前景成分画像を
出力する。
は、混合比αを、フレームメモリ621から供給された
フレーム#n-1の画素の画素値に乗じて、スイッチ652
に出力する。スイッチ652は、フレームメモリ621
から供給されたフレーム#nの画素(フレーム#n-1の画素
に対応する)がカバードバックグラウンド領域であると
き、閉じられ、乗算器651から供給された混合比αを
乗じた画素値を演算器653に供給する。スイッチ65
2から出力されるフレーム#n-1の画素の画素値に混合比
αを乗じた値は、フレーム#nの対応する画素の画素値の
背景の成分に等しく、カバードバックグラウンド領域の
背景成分画像として出力される。
ら供給されたフレーム#nの画素の画素値から、スイッチ
652から供給された背景の成分を減じて、前景の成分
を求める。演算器653は、カバードバックグラウンド
領域に属する、フレーム#nの画素の前景成分画像を出力
する。
り、画素値に含まれる前景の成分と背景の成分とを完全
に分離することが可能になる。
して、前景背景分離部105による前景と背景との分離
の処理を説明する。ステップS601において、分離部
601のフレームメモリ621は、入力画像を取得し、
前景と背景との分離の対象となるフレーム#nを、その前
のフレーム#n-1およびその後のフレーム#n+1と共に記憶
する。
の分離処理ブロック622は、混合比算出部104から
供給された領域情報を取得する。ステップS603にお
いて、分離部601の分離処理ブロック622は、混合
比算出部104から供給された混合比αを取得する。
領域処理部631は、領域情報および混合比αを基に、
フレームメモリ621から供給された、アンカバードバ
ックグラウンド領域に属する画素の画素値から、背景の
成分を抽出し、アンカバードバックグラウンド領域の背
景成分画像として出力する。
領域処理部631は、領域情報および混合比αを基に、
フレームメモリ621から供給された、アンカバードバ
ックグラウンド領域に属する画素の画素値から、前景の
成分を抽出し、アンカバードバックグラウンド領域の前
景成分画像として出力する。
処理部632は、領域情報および混合比αを基に、フレ
ームメモリ621から供給された、カバードバックグラ
ウンド領域に属する画素の画素値から、背景の成分を抽
出し、カバードバックグラウンド領域の背景成分画像と
して出力する。
処理部632は、領域情報および混合比αを基に、フレ
ームメモリ621から供給された、カバードバックグラ
ウンド領域に属する画素の画素値から、前景の成分を抽
出し、カバードバックグラウンド領域の前景成分画像と
して出力し、処理は終了する。
域情報および混合比αを基に、入力画像から前景の成分
と、背景の成分とを分離し、前景の成分のみから成る前
景成分画像、および背景の成分のみから成る背景成分画
像を出力することができる。
像を生成するクラス分類適応処理において使用される係
数セットを生成する分離画像処理部106の構成を示す
ブロック図である。例えば、図84に構成を示す分離画
像処理部106は、入力されたHD画像を基に、SD画像か
らHD画像を生成するクラス分類適応処理において使用さ
れる係数セットを生成する。
は、前景背景分離部105から供給された、教師画像の
背景領域の画像を記憶する。背景領域教師画像フレーム
メモリ701は、記憶している教師画像の背景領域の画
像を加重平均部707−1および学習部714−1に供
給する。
分教師画像フレームメモリ702は、前景背景分離部1
05から供給された、教師画像のアンカバードバックグ
ラウンド領域の背景成分画像を記憶する。アンカバード
バックグラウンド領域背景成分教師画像フレームメモリ
702は、記憶している教師画像のアンカバードバック
グラウンド領域の背景成分画像を加重平均部707−2
および学習部714−2に供給する。
分教師画像フレームメモリ703は、前景背景分離部1
05から供給された、教師画像のアンカバードバックグ
ラウンド領域の前景成分画像を記憶する。アンカバード
バックグラウンド領域前景成分教師画像フレームメモリ
703は、記憶している教師画像のアンカバードバック
グラウンド領域の前景成分画像を加重平均部707−3
および学習部714−4に供給する。
師画像フレームメモリ704は、前景背景分離部105
から供給された、教師画像のカバードバックグラウンド
領域の背景成分画像を記憶する。カバードバックグラウ
ンド領域背景成分教師画像フレームメモリ704は、記
憶している教師画像のカバードバックグラウンド領域の
背景成分画像を加重平均部707−4および学習部71
4−4に供給する。
師画像フレームメモリ705は、前景背景分離部105
から供給された、教師画像のカバードバックグラウンド
領域の前景成分画像を記憶する。カバードバックグラウ
ンド領域前景成分教師画像フレームメモリ705は、記
憶している教師画像のカバードバックグラウンド領域の
前景成分画像を加重平均部707−5および学習部71
4−5に供給する。
は、前景背景分離部105から供給された、教師画像の
前景領域の画像を記憶する。前景領域教師画像フレーム
メモリ706は、記憶している教師画像の前景画像を加
重平均部707−6および学習部714−6に供給す
る。
像フレームメモリ701から供給された、例えば、HD画
像である教師画像の背景領域の画像を4分の1加重平均
して、生徒画像であるSD画像を生成し、生成したSD画像
を背景領域生徒画像フレームメモリ708に供給する。
に示すように、教師画像の2×2(横×縦)の4つの画
素(同図において、白丸で示す部分)を1単位とし、各
単位の4つの画素の画素値を加算して、加算された結果
を4で除算する。加重平均部707−1は、このよう
に、4分の1加重平均された結果を、各単位の中心に位
置する生徒画像の画素(同図において、黒丸で示す部
分)に設定する。
は、加重平均部707−1から供給された、教師画像の
背景領域の画像に対応する、生徒画像を記憶する。背景
領域生徒画像フレームメモリ708は、記憶している、
教師画像の背景領域の画像に対応する生徒画像を学習部
714−1に供給する。
ックグラウンド領域背景成分教師画像フレームメモリ7
02から供給された、HD画像である教師画像のアンカバ
ードバックグラウンド領域の背景成分画像を、例えば、
4分の1加重平均して、生徒画像であるSD画像を生成
し、生成したSD画像をアンカバードバックグラウンド領
域背景成分生徒画像フレームメモリ709に供給する。
分生徒画像フレームメモリ709は、加重平均部707
−2から供給された、教師画像のアンカバードバックグ
ラウンド領域の背景成分画像に対応する、SD画像である
生徒画像を記憶する。アンカバードバックグラウンド領
域背景成分生徒画像フレームメモリ709は、記憶して
いる、教師画像のアンカバードバックグラウンド領域の
背景成分画像に対応する生徒画像を学習部714−2に
供給する。
ックグラウンド領域前景成分教師画像フレームメモリ7
03から供給された、HD画像である教師画像のアンカバ
ードバックグラウンド領域の前景成分画像を、例えば、
4分の1加重平均して、生徒画像であるSD画像を生成
し、生成したSD画像をアンカバードバックグラウンド領
域前景成分生徒画像フレームメモリ710に供給する。
分生徒画像フレームメモリ710は、加重平均部707
−3から供給された、教師画像のアンカバードバックグ
ラウンド領域の前景成分画像に対応する、SD画像である
生徒画像を記憶する。アンカバードバックグラウンド領
域前景成分生徒画像フレームメモリ710は、記憶して
いる、教師画像のアンカバードバックグラウンド領域の
前景成分画像に対応する生徒画像を学習部714−3に
供給する。
グラウンド領域背景成分教師画像フレームメモリ704
から供給された、教師画像のカバードバックグラウンド
領域の背景成分画像を、例えば、4分の1加重平均し
て、生徒画像であるSD画像を生成し、生成したSD画像を
カバードバックグラウンド領域背景成分生徒画像フレー
ムメモリ711に供給する。
徒画像フレームメモリ711は、加重平均部707−4
から供給された、教師画像のカバードバックグラウンド
領域の背景成分画像に対応する、SD画像である生徒画像
を記憶する。カバードバックグラウンド領域背景成分生
徒画像フレームメモリ711は、記憶している、教師画
像のカバードバックグラウンド領域の背景成分画像に対
応する生徒画像を学習部714−4に供給する。
グラウンド領域前景成分教師画像フレームメモリ705
から供給された、教師画像のカバードバックグラウンド
領域の前景成分画像を、例えば、4分の1加重平均し
て、生徒画像であるSD画像を生成し、生成したSD画像を
カバードバックグラウンド領域前景成分生徒画像フレー
ムメモリ712に供給する。
徒画像フレームメモリ712は、加重平均部707−5
から供給された、教師画像のカバードバックグラウンド
領域の前景成分画像に対応する、SD画像である生徒画像
を記憶する。カバードバックグラウンド領域前景成分生
徒画像フレームメモリ712は、記憶している、教師画
像のカバードバックグラウンド領域の前景成分画像に対
応する生徒画像を学習部714−5に供給する。
像フレームメモリ706から供給された、例えば、HD画
像である教師画像の前景領域の画像を4分の1加重平均
して、生徒画像であるSD画像を生成し、生成したSD画像
を前景領域生徒画像フレームメモリ713に供給する。
は、加重平均部707−6から供給された、教師画像の
前景領域の画像に対応する、SD画像である生徒画像を記
憶する。前景領域生徒画像フレームメモリ713は、記
憶している、教師画像の前景領域の画像に対応する生徒
画像を学習部714−6に供給する。
レームメモリ701から供給された教師画像の背景領域
の画像、および背景領域生徒画像フレームメモリ708
から供給された、教師画像の背景領域の画像に対応する
生徒画像を基に、背景領域に対応する係数セットを生成
し、生成した係数セットを係数セットメモリ715に供
給する。
グラウンド領域背景成分教師画像フレームメモリ702
から供給された教師画像のアンカバードバックグラウン
ド領域の背景成分画像、およびアンカバードバックグラ
ウンド領域背景成分生徒画像フレームメモリ709から
供給された、教師画像のアンカバードバックグラウンド
領域の背景成分画像に対応する生徒画像を基に、アンカ
バードバックグラウンド領域の背景成分画像に対応する
係数セットを生成し、生成した係数セットを係数セット
メモリ715に供給する。
グラウンド領域前景成分教師画像フレームメモリ703
から供給された教師画像のアンカバードバックグラウン
ド領域の前景成分画像、およびアンカバードバックグラ
ウンド領域前景成分生徒画像フレームメモリ909から
供給された、教師画像のアンカバードバックグラウンド
領域の前景成分画像に対応する生徒画像を基に、アンカ
バードバックグラウンド領域の前景成分画像に対応する
係数セットを生成し、生成した係数セットを係数セット
メモリ715に供給する。
ウンド領域背景成分教師画像フレームメモリ704から
供給された教師画像のカバードバックグラウンド領域の
背景成分画像、およびカバードバックグラウンド領域背
景成分生徒画像フレームメモリ711から供給された、
教師画像のカバードバックグラウンド領域の背景成分画
像に対応する生徒画像を基に、カバードバックグラウン
ド領域の背景成分画像に対応する係数セットを生成し、
生成した係数セットを係数セットメモリ715に供給す
る。
ウンド領域前景成分教師画像フレームメモリ705から
供給された教師画像のカバードバックグラウンド領域の
前景成分画像、およびカバードバックグラウンド領域前
景成分生徒画像フレームメモリ712から供給された、
教師画像のカバードバックグラウンド領域の前景成分画
像に対応する生徒画像を基に、カバードバックグラウン
ド領域の前景成分画像に対応する係数セットを生成し、
生成した係数セットを係数セットメモリ715に供給す
る。
レームメモリ706から供給された教師画像の前景領域
の画像、および前景領域生徒画像フレームメモリ713
から供給された、教師画像の前景領域の画像に対応する
生徒画像を基に、前景領域に対応する係数セットを生成
し、生成した係数セットを係数セットメモリ715に供
給する。
−1から供給された背景領域に対応する係数セット、学
習部714−2から供給されたアンカバードバックグラ
ウンド領域の背景成分画像に対応する係数セット、学習
部714−3から供給されたアンカバードバックグラウ
ンド領域の前景成分画像に対応する係数セット、学習部
714−4から供給されたカバードバックグラウンド領
域の背景成分画像に対応する係数セット、学習部714
−5から供給されたカバードバックグラウンド領域の前
景成分画像に対応する係数セット、および学習部714
−6から供給された前景領域に対応する係数セットを記
憶する。
−6を個々に区別する必要がないとき、単に学習部71
4と称する。
ック図である。
部751および波形分類部752で構成され、入力され
た生徒画像の、注目している画素である、注目画素をク
ラス分類する。クラスタップ取得部751は、注目画素
に対応する、生徒画像の画素である、所定の数のクラス
タップを取得し、取得したクラスタップを波形分類部7
52に供給する。
で、左からj番目の生徒画像の画素(図中、黒丸で示す
部分)をXijと表すとすると、クラスタップ取得部75
1は、注目画素Xijの左上、上、右上、左、右、左下、
下、右下に隣接する8つの画素X(i-1)(j-1),
X(i-1)j,X(i-1)(j+1),Xi(j-1),Xi(j+1),X
(i-1)(j-1),X(i-1)j,X(i+1)(j+1)に、自身を含め、
合計9画素で構成されるクラスタップを取得する。この
クラスタップは、波形分類部752に供給される。
画素でなる正方形状のブロックで構成されることとなる
が、クラス分類用ブロックの形状は、正方形である必要
はなく、その他、例えば、長方形や、十文字形、その他
の任意な形とすることが可能である。また、クラスタッ
プを構成する画素数も、3×3の9画素に限定されるも
のではない。
徴に基づいていくつかのクラスに分類する、クラス分類
処理を実行して、クラスタップを基に、注目画素を1つ
のクラスに分類する。波形分類部752は、例えば、注
目画素を512のクラスのうちの1つのクラスに分類
し、分類されたクラスに対応するクラス番号を予測タッ
プ取得部732に供給する。
明する。
に、ある注目画素と、それに隣接する3つの画素によ
り、2×2画素でなるクラスタップを構成し、また、各
画素は、1ビットで表現される(0または1のうちのい
ずれかのレベルをとる)ものとする。この場合、注目画
素を含む2×2の4画素のブロックは、各画素のレベル
分布により、図87(B)に示すように、16(=(2
1)4)パターンに分類することができる。従って、いま
の場合、注目画素は、16のパターンに分類することが
でき、このようなパターン分けが、クラス分類処理であ
り、クラス分類部731において行われる。
ト程度が割り当てられる。また、本実施の形態において
は、上述したように、クラスタップは、3×3の9画素
で構成される。従って、このようなクラスタップを対象
にクラス分類処理を行ったのでは、(28)9という膨大
な数のクラスに分類されることになる。
類部752において、クラスタップに対して、ADRC
処理が施され、これにより、クラスタップを構成する画
素のビット数を小さくすることで、クラス数を削減す
る。
すように、直線上に並んだ4画素で構成されるクラスタ
ップを考えると、ADRC処理においては、その画素値
の最大値MAXと最小値MINが検出される。そして、
DR=MAX−MINを、クラスタップで構成されるブ
ロックの局所的なダイナミックレンジとし、このダイナ
ミックレンジDRに基づいて、クラスタップのブロック
を構成する画素の画素値がKビットに再量子化される。
MINを減算し、その減算値をDR/2Kで除算する。
そして、その結果得られる除算値に対応するコード(A
DRCコード)に変換される。具体的には、例えば、K
=2とした場合、図88(B)に示すように、除算値
が、ダイナミックレンジDRを4(=22)等分して得
られるいずれの範囲に属するかが判定され、除算値が、
最も下のレベルの範囲、下から2番目のレベルの範囲、
下から3番目のレベルの範囲、または最も上のレベルの
範囲に属する場合には、それぞれ、例えば、00B,0
1B,10B、または11Bなどの2ビットにコード化
される(Bは2進数であることを表す)。そして、復号
側においては、ADRCコード00B,01B,10
B、または11Bは、ダイナミックレンジDRを4等分
して得られる最も下のレベルの範囲の中心値L00、下か
ら2番目のレベルの範囲の中心値L01、下から3番目の
レベルの範囲の中心値L10、または最も上のレベルの範
囲の中心値L11に変換され、その値に、最小値MINが
加算されることで復号が行われる。
ッジマッチングと呼ばれる。
人が先に出願した、例えば、特開平3−53778号公
報などに、その詳細が開示されている。
れているビット数より少ないビット数で再量子化を行う
ADRC処理を施すことにより、上述したように、クラ
ス数を削減することができ、このようなADRC処理
が、波形分類部752において行われる。
2において、ADRCコードに基づいて、クラス分類処
理が行われるが、クラス分類処理は、その他、例えば、
DPCM(予測符号化)や、BTC(Block Truncation
Coding)、VQ(ベクトル量子化)、DCT(離散コ
サイン変換)、アダマール変換などを施したデータを対
象に行うようにすることも可能である。
基に、生徒画像の画素から、クラスに対応し、元の画像
(教師画像)の予測値を計算するための単位である、予
測タップを取得し、取得した予測タップおよびクラス番
号を対応画素取得部733に供給する。
Xij(図中、黒丸で示す部分)を中心とする、元の画像
(教師画像)における2×2の9画素の画素値を、その
最も左から右方向、かつ上から下方向に、Yij(1),
Yij(2),Yij(3),Y ij(4)と表すとすると、
画素Yij(1)乃至Yij(4)の予測値の計算に必要な
係数を算出するために、予測タップ取得部732は、例
えば、生徒画像の画素Xijを中心とする3×3の9画素
X(i-1)(j-1),X(i-1)j,X(i-1)(j+1),Xi( j-1),X
ij,Xi(j+1),X(i+1)(j-1),X(i+1)j,X(i+1)(j+1)
で構成される正方形状の予測タップを取得する。
形で囲む、教師画像における画素Y 33(1)乃至Y
33(4)の4画素の予測値の計算に必要な係数を算出す
るには、画素X22,X23,X24,X32,X33,X34,X
42,X43,X44により、予測タップが構成される(この
場合の注目画素は、X33となる)。
びクラス番号を基に、予測すべき画素値に対応する教師
画像の画素の画素値を取得し、予測タップ、クラス番
号、および取得した予測すべき画素値に対応する教師画
像の画素の画素値を正規方程式生成部734に供給す
る。
像における画素Y33(1)乃至Y33(4)の4画素の予
測値の計算に必要な係数を算出するとき、予測すべき画
素値に対応する教師画像の画素として、画素Y33(1)
乃至Y33(4)の画素値を取得する。
クラス番号、および取得した予測すべき画素値を基に、
予測タップおよび予測すべき画素値の関係に対応する、
適応処理において使用される係数セットを算出するため
の正規方程式を生成し、クラス番号と共に、生成した正
規方程式を係数計算部735に供給する。
34から供給された正規方程式を解いて、分類されたク
ラスに対応する、適応処理において使用される係数セッ
トを計算する。係数計算部735は、クラス番号と共
に、計算した係数セットを係数セットメモリ715に供
給する。
規方程式に対応する行列を生成し、係数計算部735
は、生成された行列を基に、係数セットを計算するよう
にしてもよい。
値E[y]を、その周辺の幾つかの画素の画素値(以
下、適宜、生徒データという)x1,x2,・・・と、所
定の予測係数w1,w2,・・・の線形結合により規定さ
れる線形1次結合モデルにより求めることを考える。こ
の場合、予測値E[y]は、次式で表すことができる。
集合でなる行列W、生徒データの集合でなる行列X、お
よび予測値E[y]の集合でなる行列Y’を、
用して、元の画像の画素値yに近い予測値E[y]を求
めることを考える。この場合、元の画像の画素値(以
下、適宜、教師データという)yの集合でなる行列Y、
および元の画像の画素値yに対する予測値E[y]の残
差eの集合でなる行列Eを、
が成立する。
値E[y]を求めるための予測係数wiは、自乗誤差
微分したものが0になる場合、即ち、次式を満たす予測
係数wiが、元の画像の画素値yに近い予測値E[y]
を求めるため最適値ということになる。
iで微分することにより、次式が成立する。
3)が得られる。
生徒データx、予測係数w、教師データy、および残差
eの関係を考慮すると、式(83)から、次のような正
規方程式を得ることができる。
測係数wの数と同じ数だけたてることができ、従って、
式(84)を解くことで、最適な予測係数wを求めるこ
とができる。なお、式(84)を解くにあたっては、例
えば、掃き出し法(Gauss-Jordanの消去法)などを適用
することが可能である。
測係数wを求め、さらに、その予測係数wを用い、式
(78)により、教師画像の画素値yに近い予測値E
[y]を求めるのが適応処理である。
最適な予測係数wを算出するための正規方程式を生成
し、係数計算部735は、生成された正規方程式を基
に、予測係数wを算出する。
まれていない、元の画像に含まれる成分が再現される点
で、補間処理とは異なる。即ち、適応処理は、式(7
8)だけを見る限りは、いわゆる補間フィルタを用いて
の補間処理と同一であるが、その補間フィルタのタップ
係数に相当する予測係数wが、教師データyを用いて
の、いわば学習により求められるため、元の画像に含ま
れる成分を再現することができる。このことから、適応
処理は、いわば画像の創造作用がある処理ということが
できる。
理部106が生成する係数セットを説明する図である。
入力画像は、領域特定部103により、前景領域、背景
領域、カバードバックグラウンド領域、およびアンカバ
ードバックグラウンド領域が特定される。
り混合比αが検出された入力画像は、前景背景分離部1
05により、前景領域の画像、背景領域の画像、カバー
ドバックグラウンド領域の前景成分画像、カバードバッ
クグラウンド領域の背景成分画像、アンカバードバック
グラウンド領域の前景成分画像、およびアンカバードバ
ックグラウンド領域の背景成分画像に分離される。
領域の画像、背景領域の画像、カバードバックグラウン
ド領域の前景成分画像、カバードバックグラウンド領域
の背景成分画像、アンカバードバックグラウンド領域の
前景成分画像、およびアンカバードバックグラウンド領
域の背景成分画像を基に、前景領域の画像に対応する係
数セット、背景領域の画像に対応する係数セット、カバ
ードバックグラウンド領域の前景成分画像に対応する係
数セット、カバードバックグラウンド領域の背景成分画
像に対応する係数セット、アンカバードバックグラウン
ド領域の前景成分画像に対応する係数セット、およびア
ンカバードバックグラウンド領域の背景成分画像に対応
する係数セットを個々に算出する。
た背景領域の画像を基に、背景領域に対応する係数セッ
トを算出し、学習部714−2は、分離されたアンカバ
ードバックグラウンド領域の背景成分画像を基に、アン
カバードバックグラウンド領域の背景成分画像に対応す
る係数セットを算出し、学習部714−3は、分離され
たアンカバードバックグラウンド領域の前景成分画像を
基に、アンカバードバックグラウンド領域の前景成分画
像に対応する係数セットを算出し、学習部714−4
は、分離されたカバードバックグラウンド領域の背景成
分画像を基に、カバードバックグラウンド領域の背景成
分画像に対応する係数セットを算出し、学習部714−
5は、分離されたカバードバックグラウンド領域の前景
成分画像を基に、カバードバックグラウンド領域の前景
成分画像に対応する係数セットを算出し、学習部714
−6は、分離された前景領域の画像を基に、前景領域に
対応する係数セットを算出する。
を予測するクラス分類適応処理において、背景領域の画
素値の予測に使用される。アンカバードバックグラウン
ド領域の背景成分画像に対応する係数セットは、画素値
を予測するクラス分類適応処理において、アンカバード
バックグラウンド領域の背景成分画像に対応する画素値
の予測に使用される。アンカバードバックグラウンド領
域の前景成分画像に対応する係数セットは、画素値を予
測するクラス分類適応処理において、アンカバードバッ
クグラウンド領域の前景成分画像に対応する画素値の予
測に使用される。
画像に対応する係数セットは、画素値を予測するクラス
分類適応処理において、カバードバックグラウンド領域
の背景成分画像に対応する画素値の予測に使用される。
カバードバックグラウンド領域の前景成分画像に対応す
る係数セットは、画素値を予測するクラス分類適応処理
において、カバードバックグラウンド領域の前景成分画
像に対応する画素値の予測に使用される。
を予測するクラス分類適応処理において、前景領域の画
素値の予測に使用される。
カバードバックグラウンド領域の背景成分画像に対応す
る予測画像、アンカバードバックグラウンド領域の前景
成分画像に対応する予測画像、カバードバックグラウン
ド領域の背景成分画像に対応する予測画像、カバードバ
ックグラウンド領域の前景成分画像に対応する予測画
像、および前景領域の画像に対応する予測画像は、合成
され、1つの予測画像とされる。
4に構成を示す分離画像処理部106による、クラス分
類適応処理による画素値の予測に使用される係数セット
を生成する学習の処理を説明する。
07−1乃至707−6は、背景領域の画像、前景領域
の画像、アンカバードバックグラウンド領域の背景成分
画像、アンカバードバックグラウンド領域の前景成分画
像、カバードバックグラウンド領域の背景成分画像、お
よびカバードバックグラウンド領域の前景成分画像の生
徒画像を生成する。すなわち、加重平均部707−1
は、背景領域教師画像フレームメモリ701に記憶され
ている、教師画像の背景領域の画像を、例えば、4分の
1加重平均して、教師画像の背景領域の画像に対応する
生徒画像を生成する。
ックグラウンド領域背景成分教師画像フレームメモリ7
02に記憶されている、教師画像のアンカバードバック
グラウンド領域の背景成分画像を、例えば、4分の1加
重平均して、教師画像のアンカバードバックグラウンド
領域の背景成分画像に対応する生徒画像を生成する。
ックグラウンド領域前景成分教師画像フレームメモリ7
03に記憶されている、教師画像のアンカバードバック
グラウンド領域の前景成分画像を、例えば、4分の1加
重平均して、教師画像のアンカバードバックグラウンド
領域の前景成分画像に対応する生徒画像を生成する。
グラウンド領域背景成分教師画像フレームメモリ704
に記憶されている、教師画像のカバードバックグラウン
ド領域の背景成分画像を、例えば、4分の1加重平均し
て、教師画像のカバードバックグラウンド領域の背景成
分画像に対応する生徒画像を生成する。
グラウンド領域前景成分教師画像フレームメモリ705
に記憶されている、教師画像のカバードバックグラウン
ド領域の前景成分画像を、例えば、4分の1加重平均し
て、教師画像のカバードバックグラウンド領域の前景成
分画像に対応する生徒画像を生成する。
像フレームメモリ706に記憶されている、教師画像の
前景領域の画像を、例えば、4分の1加重平均して、教
師画像の前景領域の画像に対応する生徒画像を生成す
る。
−1は、背景領域教師画像フレームメモリ701に記憶
されている教師画像の背景領域の画像、および背景領域
生徒画像フレームメモリ708に記憶されている、教師
画像の背景領域の画像に対応する生徒画像を基に、背景
領域に対応する係数セットを生成する。ステップS70
2における係数セットの生成の処理の詳細は、図91の
フローチャートを参照して後述する。
−2は、アンカバードバックグラウンド領域背景成分教
師画像フレームメモリ702に記憶されている、教師画
像のアンカバードバックグラウンド領域の背景成分画
像、およびアンカバードバックグラウンド領域背景成分
生徒画像フレームメモリ709に記憶されている、教師
画像のアンカバードバックグラウンド領域の背景成分画
像に対応する生徒画像を基に、アンカバードバックグラ
ウンド領域の背景成分画像に対応する係数セットを生成
する。
−3は、アンカバードバックグラウンド領域前景成分教
師画像フレームメモリ703に記憶されている、教師画
像のアンカバードバックグラウンド領域の前景成分画
像、およびアンカバードバックグラウンド領域前景成分
生徒画像フレームメモリ710に記憶されている、教師
画像のアンカバードバックグラウンド領域の前景成分画
像に対応する生徒画像を基に、アンカバードバックグラ
ウンド領域の前景成分画像に対応する係数セットを生成
する。
−4は、カバードバックグラウンド領域背景成分教師画
像フレームメモリ704に記憶されている、教師画像の
カバードバックグラウンド領域の背景成分画像、および
カバードバックグラウンド領域背景成分生徒画像フレー
ムメモリ711に記憶されている、教師画像のカバード
バックグラウンド領域の背景成分画像に対応する生徒画
像を基に、カバードバックグラウンド領域の背景成分画
像に対応する係数セットを生成する。
−5は、カバードバックグラウンド領域前景成分教師画
像フレームメモリ705に記憶されている、教師画像の
カバードバックグラウンド領域の前景成分画像、および
カバードバックグラウンド領域前景成分生徒画像フレー
ムメモリ712に記憶されている、教師画像のカバード
バックグラウンド領域の前景成分画像に対応する生徒画
像を基に、カバードバックグラウンド領域の前景成分画
像に対応する係数セットを生成する。
−6は、前景領域教師画像フレームメモリ706に記憶
されている教師画像の前景領域の画像、および前景領域
生徒画像フレームメモリ713に記憶されている、教師
画像の前景領域の画像に対応する生徒画像を基に、前景
領域に対応する係数セットを生成する。
−1乃至712−4は、それぞれ、背景領域に対応する
係数セット、アンカバードバックグラウンド領域の背景
成分画像に対応する係数セット、アンカバードバックグ
ラウンド領域の前景成分画像に対応する係数セット、カ
バードバックグラウンド領域の背景成分画像に対応する
係数セット、カバードバックグラウンド領域の前景成分
画像に対応する係数セット、または前景領域に対応する
係数セットを係数セットメモリ715に出力する。係数
セットメモリ715は、背景領域、前景領域、アンカバ
ードバックグラウンド領域の背景成分画像、アンカバー
ドバックグラウンド領域の前景成分画像、カバードバッ
クグラウンド領域の背景成分画像、またはカバードバッ
クグラウンド領域の前景成分画像のそれぞれに対応する
係数セットを記憶して、処理は終了する。
処理部106は、背景領域の画像に対応する係数セッ
ト、アンカバードバックグラウンド領域の背景成分画像
に対応する係数セット、アンカバードバックグラウンド
領域の前景成分画像に対応する係数セット、カバードバ
ックグラウンド領域の背景成分画像に対応する係数セッ
ト、カバードバックグラウンド領域の前景成分画像に対
応する係数セット、および前景領域の画像に対応する係
数セットを生成することができる。
07の処理を、シリアルに実行しても、パラレルに実行
しても良いことは勿論である。
て、ステップS702の処理に対応する、学習部714
−1が実行する背景領域に対応する係数セットの生成の
処理を説明する。
−1は、背景領域に対応する生徒画像に未処理の画素が
あるか否かを判定し、背景領域に対応する生徒画像に未
処理の画素があると判定された場合、ステップS722
に進み、ラスタースキャン順に、背景領域に対応する生
徒画像から注目画素を取得する。
731のクラスタップ取得部751は、背景領域生徒画
像フレームメモリ708に記憶されている生徒画像か
ら、注目画素に対応するクラスタップを取得する。ステ
ップS724において、クラス分類部731の波形分類
部752は、クラスタップに対して、ADRC処理を適
用し、これにより、クラスタップを構成する画素のビッ
ト数を小さくして、注目画素をクラス分類する。ステッ
プS725において、予測タップ取得部732は、分類
されたクラスを基に、背景領域生徒画像フレームメモリ
708に記憶されている生徒画像から、注目画素に対応
する予測タップを取得する。
部733は、分類されたクラスを基に、背景領域教師画
像フレームメモリ701に記憶されている教師画像の背
景領域の画像から、予測すべき画素値に対応する画素を
取得する。
成部734は、分類されたクラスを基に、クラス毎の行
列に、予測タップおよび予測すべき画素値に対応する画
素の画素値を足し込み、ステップS721に戻り、分離
画像処理部106は、未処理の画素があるか否かの判定
を繰り返す。予測タップおよび予測すべき画素値に対応
する画素の画素値を足し込まれるクラス毎の行列は、ク
ラス毎の係数セットを計算するための正規方程式に対応
している。
処理の画素がないと判定された場合、ステップS728
に進み、正規方程式生成部734は、予測タップおよび
予測すべき画素値に対応する画素の画素値が設定され
た、クラス毎の行列を係数計算部735に供給する。係
数計算部735は、予測タップおよび予測すべき画素値
に対応する画素の画素値が設定された、クラス毎の行列
を解いて、背景領域に対応する、クラス毎の係数セット
を計算する。
り画素値を予測するための係数セットに限らず、非線形
予測により画素値を予測するための係数セットを計算す
るようにしてもよい。
35は、背景領域に対応する、クラス毎の係数セットを
係数セットメモリ715に出力し、処理は終了する。
域に対応する係数セットを生成することができる。
4−2による、アンカバードバックグラウンド領域の背
景成分画像に対応する係数セットの生成の処理は、アン
カバードバックグラウンド領域背景成分教師画像フレー
ムメモリ702に記憶されているアンカバードバックグ
ラウンド領域の背景成分画像、およびアンカバードバッ
クグラウンド領域背景成分生徒画像フレームメモリ70
9に記憶されているアンカバードバックグラウンド領域
の背景成分画像に対応する生徒画像を使用することを除
いて、図91のフローチャートを参照して説明した処理
と同様なので、その説明は省略する。
4−3による、アンカバードバックグラウンド領域の前
景成分画像に対応する係数セットの生成の処理は、アン
カバードバックグラウンド領域前景成分教師画像フレー
ムメモリ703に記憶されているアンカバードバックグ
ラウンド領域の前景成分画像、およびアンカバードバッ
クグラウンド領域前景成分生徒画像フレームメモリ71
0に記憶されているアンカバードバックグラウンド領域
の前景成分画像に対応する生徒画像を使用することを除
いて、図91のフローチャートを参照して説明した処理
と同様なので、その説明は省略する。
4−4による、カバードバックグラウンド領域の背景成
分画像に対応する係数セットの生成の処理は、カバード
バックグラウンド領域背景成分教師画像フレームメモリ
704に記憶されているカバードバックグラウンド領域
の背景成分画像、およびカバードバックグラウンド領域
背景成分生徒画像フレームメモリ711に記憶されてい
るカバードバックグラウンド領域の背景成分画像に対応
する生徒画像を使用することを除いて、図91のフロー
チャートを参照して説明した処理と同様なので、その説
明は省略する。
4−5による、カバードバックグラウンド領域の前景成
分画像に対応する係数セットの生成の処理は、カバード
バックグラウンド領域前景成分教師画像フレームメモリ
705に記憶されているカバードバックグラウンド領域
の前景成分画像、およびカバードバックグラウンド領域
前景成分生徒画像フレームメモリ712に記憶されてい
るカバードバックグラウンド領域の前景成分画像に対応
する生徒画像を使用することを除いて、図91のフロー
チャートを参照して説明した処理と同様なので、その説
明は省略する。
4−6による、前景領域に対応する係数セットの生成の
処理は、前景領域教師画像フレームメモリ706に記憶
されている前景領域の画像、および前景領域生徒画像フ
レームメモリ713に記憶されている前景領域の画像に
対応する生徒画像を使用することを除いて、図91のフ
ローチャートを参照して説明した処理と同様なので、そ
の説明は省略する。
処理部106は、背景領域に対応する係数セット、アン
カバードバックグラウンド領域の背景成分画像に対応す
る係数セット、アンカバードバックグラウンド領域の前
景成分画像に対応する係数セット、カバードバックグラ
ウンド領域の背景成分画像に対応する係数セット、カバ
ードバックグラウンド領域の前景成分画像に対応する係
数セット、および前景領域に対応する係数セットを個々
に生成することができる。
て、空間方向に、より高解像度な画像を生成する分離画
像処理部106の構成を示すブロック図である。例え
ば、図92に構成を示す分離画像処理部106は、SD画
像である入力画像を基に、クラス分類適応処理を実行し
て、HD画像を生成する。
景分離部105から供給された、背景領域に属する画素
からなる背景領域の画像を記憶する。背景領域フレーム
メモリ801は、記憶している背景領域の画像をマッピ
ング部807−1に供給する。
分画像フレームメモリ802は、前景背景分離部105
から供給された、アンカバードバックグラウンド領域の
背景成分画像を記憶する。アンカバードバックグラウン
ド領域背景成分画像フレームメモリ802は、記憶して
いるアンカバードバックグラウンド領域の背景成分画像
をマッピング部807−2に供給する。
分画像フレームメモリ803は、前景背景分離部105
から供給された、アンカバードバックグラウンド領域の
前景成分画像を記憶する。アンカバードバックグラウン
ド領域前景成分画像フレームメモリ803は、記憶して
いるアンカバードバックグラウンド領域の前景成分画像
をマッピング部807−3に供給する。
像フレームメモリ804は、前景背景分離部105から
供給された、カバードバックグラウンド領域の背景成分
画像を記憶する。カバードバックグラウンド領域背景成
分画像フレームメモリ804は、記憶しているカバード
バックグラウンド領域の背景成分画像をマッピング部8
07−4に供給する。
像フレームメモリ805は、前景背景分離部105から
供給された、カバードバックグラウンド領域の前景成分
画像を記憶する。カバードバックグラウンド領域前景成
分画像フレームメモリ805は、記憶しているカバード
バックグラウンド領域の前景成分画像をマッピング部8
07−5に供給する。
景分離部105から供給された、前景領域に属する画素
からなる前景領域の画像を記憶する。前景領域画像フレ
ームメモリ806は、記憶している前景領域の画像をマ
ッピング部807−6に供給する。
モリ808に記憶されている、背景領域に対応する係数
セットを基に、クラス分類適応処理により、背景領域フ
レームメモリ801に記憶されている背景領域の画像に
対応する予測画像を生成する。マッピング部807−1
は、生成した予測画像を合成部809に供給する。
モリ808に記憶されている、アンカバードバックグラ
ウンド領域の背景成分画像に対応する係数セットを基
に、クラス分類適応処理により、アンカバードバックグ
ラウンド領域背景成分画像フレームメモリ802に記憶
されている、アンカバードバックグラウンド領域の背景
成分画像に対応する予測画像を生成する。マッピング部
807−2は、生成した予測画像を合成部809に供給
する。
モリ808に記憶されている、アンカバードバックグラ
ウンド領域の前景成分画像に対応する係数セットを基
に、クラス分類適応処理により、アンカバードバックグ
ラウンド領域前景成分画像フレームメモリ803に記憶
されている、アンカバードバックグラウンド領域の前景
成分画像に対応する予測画像を生成する。マッピング部
807−3は、生成した予測画像を合成部809に供給
する。
モリ808に記憶されている、カバードバックグラウン
ド領域の背景成分画像に対応する係数セットを基に、ク
ラス分類適応処理により、カバードバックグラウンド領
域背景成分画像フレームメモリ804に記憶されてい
る、カバードバックグラウンド領域の背景成分画像に対
応する予測画像を生成する。マッピング部807−4
は、生成した予測画像を合成部809に供給する。
モリ808に記憶されている、カバードバックグラウン
ド領域の前景成分画像に対応する係数セットを基に、ク
ラス分類適応処理により、カバードバックグラウンド領
域前景成分画像フレームメモリ805に記憶されてい
る、カバードバックグラウンド領域の前景成分画像に対
応する予測画像を生成する。マッピング部807−5
は、生成した予測画像を合成部809に供給する。
モリ808に記憶されている、前景領域に対応する係数
セットを基に、クラス分類適応処理により、前景領域フ
レームメモリ806に記憶されている前景領域の画像に
対応する予測画像を生成する。マッピング部807−6
は、生成した予測画像を合成部809に供給する。
から供給された背景領域の画像に対応する予測画像、マ
ッピング部807−2から供給されたアンカバードバッ
クグラウンド領域の背景成分画像に対応する予測画像、
マッピング部807−3から供給されたアンカバードバ
ックグラウンド領域の前景成分画像に対応する予測画
像、マッピング部807−4から供給されたカバードバ
ックグラウンド領域の背景成分画像に対応する予測画
像、マッピング部807−5から供給されたカバードバ
ックグラウンド領域の前景成分画像に対応する予測画
像、およびマッピング部807−6から供給された前景
領域の画像に対応する予測画像を合成し、合成された予
測画像をフレームメモリ810に供給する。
ら供給された予測画像を記憶すると共に、記憶している
画像を出力画像として出力する。
−6を個々に区別する必要がないとき、単にマッピング
部807と称する。
すブロック図である。
理を実行するクラス分類部841、並びに適応処理を実
行する予測タップ取得部842および予測演算部843
で構成されている。
部851および波形分類部852で構成され、背景領域
の画像、アンカバードバックグラウンド領域の背景成分
画像、アンカバードバックグラウンド領域の前景成分画
像、カバードバックグラウンド領域の背景成分画像、カ
バードバックグラウンド領域の前景成分画像、または前
景領域の画像のいずれかである、分離された入力画像
の、注目している画素である、注目画素をクラス分類す
る。
入力画像の注目画素に対応する、所定の数のクラスタッ
プを取得し、取得したクラスタップを波形分類部852
に供給する。例えば、クラスタップ取得部851は、9
個のクラスタップを取得し、取得したクラスタップを波
形分類部852に供給する。
て、ADRC処理を適用し、これにより、クラスタップ
を構成する画素のビット数を小さくして、注目画素を所
定の数のクラスのうちの1つのクラスに分類し、分類さ
れたクラスに対応するクラス番号を予測タップ取得部8
42に供給する。例えば、波形分類部852は、注目画
素を512のクラスのうちの1つのクラスに分類し、分
類されたクラスに対応するクラス番号を予測タップ取得
部842に供給する。
基に、背景領域の画像、アンカバードバックグラウンド
領域の背景成分画像、アンカバードバックグラウンド領
域の前景成分画像、カバードバックグラウンド領域の背
景成分画像、カバードバックグラウンド領域の前景成分
画像、または前景領域の画像のいずれかである、分離さ
れた入力画像から、クラスに対応する、所定の数の予測
タップを取得し、取得した予測タップおよびクラス番号
を予測演算部843に供給する。
係数セットメモリ808に記憶されている背景領域、ア
ンカバードバックグラウンド領域の背景成分画像、アン
カバードバックグラウンド領域の前景成分画像、カバー
ドバックグラウンド領域の背景成分画像、カバードバッ
クグラウンド領域の前景成分画像、および前景領域に対
応する係数セットから、予測しようとする画像に対応
し、クラスに対応する係数セットを取得する。予測演算
部843は、予測しようとする画像に対応し、クラスに
対応する係数セット、および予測タップを基に、線形予
測により予測画像の画素値を予測する。予測演算部43
は、予測した画素値をフレームメモリ832に供給す
る。
より予測画像の画素値を予測するようしてもよい。
部831から供給された、予測された画素値を記憶し、
予測された画素値からなる画像を出力する。
図92に構成を示す分離画像処理部106を有する本発
明の画像処理装置の処理の結果の例を説明する。
発明の画像処理装置のクラス分類適応処理におけるクラ
スの数の総和は、従来のクラス分類適応処理におけるク
ラスの数とほぼ同一である。すなわち、従来のクラス分
類適応処理におけるクラスの数は、2048とし、各領
域の画像に対応する、本発明の画像処理装置のクラス分
類適応処理におけるクラスの数は、512とした。
予測タップの数、および本発明の画像処理装置の各領域
のクラス分類適応処理における予測タップの数は、9個
とし、同一とした。
ックグラウンド領域における予測の結果を説明する。
ける画像の例を示す図である。図94(B)は、教師画
像の混合領域における画像の、空間方向の位置に対応す
る画素値の変化を示す図である。
対応する、従来のクラス分類適応処理により生成され
た、混合領域の画像の例を示す図である。図95(B)
は、図94に示す教師画像に対応する、従来のクラス分
類適応処理により生成された、混合領域における画像
の、空間方向の位置に対応する画素値の変化を示す図で
ある。
対応する、図92に構成を示す分離画像処理部106に
より生成された、混合領域の画像の例を示す図である。
図95(B)は、図94に示す教師画像に対応する、図
92に構成を示す分離画像処理部106により生成され
た、混合領域における画像の、空間方向の位置に対応す
る画素値の変化を示す図である。
た、混合領域における画像の画素値は、教師画像に比較
して、階段状に変化し、生成された実際の画像において
も、段階的に変化していることが、目視により確認でき
る。
像処理部106により生成された、混合領域における画
像の画素値は、従来に比較して、より滑らかに変化し、
教師画像により近い変化を示す。分離画像処理部106
により生成された画像を目視により確認しても、従来に
比較して、滑らかな画像であることが確認できる。
により生成された、混合領域における画像は、入力画像
を前景領域、混合領域、または背景領域に分割して、生
成された画像に比較しても、より滑らかに変化してい
る。
に対して画素値がほぼ直線的に変化している前景領域に
おける予測の結果を説明する。
化している、教師画像の前景領域における画像の例を示
す図である。図97(B)は、画素値がほぼ直線的に変
化している、教師画像の前景領域における画像の、空間
方向の位置に対応する画素値の変化を示す図である。
理により生成された、図97の画像に対応する、前景領
域の画像の例を示す図である。図98(B)は、従来の
クラス分類適応処理により生成された、図97の画像に
対応する、前景領域における画像の、空間方向の位置に
対応する画素値の変化を示す図である。
画像処理部106により生成された、図97の画像に対
応する、前景領域の画像の例を示す図である。図99
(B)は、図92に構成を示す分離画像処理部106に
より生成された、図97の画像に対応する、前景領域に
おける画像の、空間方向の位置に対応する画素値の変化
を示す図である。
た、前景領域における画像の画素値は、混合領域と同様
に、教師画像に比較して、階段状に変化し、実際の画像
においても、段階的に変化していることが、目視により
確認できる。
像処理部106により生成された、前景領域における画
像の画素値は、従来に比較して、より滑らかに変化し、
教師画像に極めて近い値となる。分離画像処理部106
により生成された画像の目視による確認においては、教
師画像との違いが認められなかった。
て、図92に構成を示す分離画像処理部106の画像の
創造の処理を説明する。
807−1は、係数セットメモリ808に記憶されてい
る、背景領域に対応する係数セットを基に、クラス分類
適応処理により、背景領域フレームメモリ801に記憶
されている背景領域の画像に対応する画像を予測する。
背景領域の画像に対応する画像の予測の処理の詳細は、
図101のフローチャートを参照して後述する。
807−2は、係数セットメモリ808に記憶されてい
る、アンカバードバックグラウンド領域の背景成分画像
に対応する係数セットを基に、クラス分類適応処理によ
り、アンカバードバックグラウンド領域背景成分画像フ
レームメモリ802に記憶されている、アンカバードバ
ックグラウンド領域の背景成分画像に対応する画像を予
測する。
807−3は、係数セットメモリ808に記憶されてい
る、アンカバードバックグラウンド領域の前景成分画像
に対応する係数セットを基に、クラス分類適応処理によ
り、アンカバードバックグラウンド領域前景成分画像フ
レームメモリ803に記憶されている、アンカバードバ
ックグラウンド領域の前景成分画像に対応する画像を予
測する。
807−4は、係数セットメモリ808に記憶されてい
る、カバードバックグラウンド領域の背景成分画像に対
応する係数セットを基に、クラス分類適応処理により、
カバードバックグラウンド領域背景成分画像フレームメ
モリ804に記憶されている、カバードバックグラウン
ド領域の背景成分画像に対応する画像を予測する。
807−5は、係数セットメモリ808に記憶されてい
る、カバードバックグラウンド領域の前景成分画像に対
応する係数セットを基に、クラス分類適応処理により、
カバードバックグラウンド領域前景成分画像フレームメ
モリ805に記憶されている、カバードバックグラウン
ド領域の前景成分画像に対応する画像を予測する。
807−6は、係数セットメモリ808に記憶されてい
る、前景領域に対応する係数セットを基に、クラス分類
適応処理により、前景領域フレームメモリ806に記憶
されている前景領域の画像に対応する画像を予測する。
は、背景領域の画像に対応する予測画像、アンカバード
バックグラウンド領域の背景成分画像に対応する予測画
像、アンカバードバックグラウンド領域の前景成分画像
に対応する予測画像、カバードバックグラウンド領域の
背景成分画像に対応する予測画像、カバードバックグラ
ウンド領域の前景成分画像に対応する予測画像、および
前景領域に対応する予測画像を合成する。合成部809
は、合成された画像をフレームメモリ810に供給す
る。フレームメモリ810は、合成部809から供給さ
れた画像を記憶する。
リ810は、記憶している、合成された画像を出力し、
処理は終了する。
処理部106を有する画像処理装置は、分離された、背
景領域の画像、アンカバードバックグラウンド領域の背
景成分画像、アンカバードバックグラウンド領域の前景
成分画像、カバードバックグラウンド領域の背景成分画
像、カバードバックグラウンド領域の前景成分画像、お
よび前景領域の画像毎に、予測画像を生成することがで
きる。
06の処理を、シリアルに実行しても、パラレルに実行
しても良いことは勿論である。
テップS801に対応する、マッピング部807−1に
よる背景領域に対応する画像の予測の処理を説明する。
807−1は、背景領域の画像に未処理の画素があるか
否かを判定し、背景領域の画像に未処理の画素があると
判定された場合、ステップS822に進み、マッピング
処理部831は、係数セットメモリ808に記憶されて
いる、背景領域に対応する係数セットを取得する。ステ
ップS823において、マッピング処理部831は、ラ
スタースキャン順に、背景領域フレームメモリ801に
記憶されている背景領域の画像から注目画素を取得す
る。
841のクラスタップ取得部851は、背景領域フレー
ムメモリ801に記憶されている背景領域の画像から、
注目画素に対応するクラスタップを取得する。ステップ
S825において、クラス分類部841の波形分類部8
52は、クラスタップに対して、ADRC処理を適用
し、これにより、クラスタップを構成する画素のビット
数を小さくして、注目画素をクラス分類する。ステップ
S826において、予測タップ取得部842は、分類さ
れたクラスを基に、背景領域フレームメモリ801に記
憶されている背景領域の画像から、注目画素に対応する
予測タップを取得する。
43は、背景領域および分類されたクラスに対応する係
数セット、および予測タップを基に、線形予測により、
予測画像の画素値を予測する。
らず、非線形予測により予測画像の画素値を予測するよ
うにしてもよい。
43は、予測された画素値をフレームメモリ832に出
力する。フレームメモリ832は、予測演算部843か
ら供給された画素値を記憶する。手続きは、ステップS
821に戻り、未処理の画素があるか否かの判定を繰り
返す。
像に未処理の画素がないと判定された場合、ステップS
829に進み、フレームメモリ832は、記憶されてい
る背景領域の画像に対応する予測画像を出力して、処理
は終了する。
分離された入力画像の背景領域の画像を基に、背景領域
の画像に対応する画像を予測することができる。
部807−2による、アンカバードバックグラウンド領
域の背景成分画像に対応する予測画像の生成の処理は、
アンカバードバックグラウンド領域背景成分画像フレー
ムメモリ802に記憶されているアンカバードバックグ
ラウンド領域の背景成分画像、およびアンカバードバッ
クグラウンド領域の背景成分画像に対応する係数セット
を使用することを除いて、図101のフローチャートを
参照して説明した処理と同様なので、その説明は省略す
る。
部807−3による、アンカバードバックグラウンド領
域の前景成分画像に対応する予測画像の生成の処理は、
アンカバードバックグラウンド領域前景成分画像フレー
ムメモリ803に記憶されているアンカバードバックグ
ラウンド領域の前景成分画像、およびアンカバードバッ
クグラウンド領域の前景成分画像に対応する係数セット
を使用することを除いて、図101のフローチャートを
参照して説明した処理と同様なので、その説明は省略す
る。
部807−4による、カバードバックグラウンド領域の
背景成分画像に対応する予測画像の生成の処理は、カバ
ードバックグラウンド領域背景成分画像フレームメモリ
804に記憶されているカバードバックグラウンド領域
の背景成分画像、およびカバードバックグラウンド領域
の背景成分画像に対応する係数セットを使用することを
除いて、図101のフローチャートを参照して説明した
処理と同様なので、その説明は省略する。
部807−5による、カバードバックグラウンド領域の
前景成分画像に対応する予測画像の生成の処理は、カバ
ードバックグラウンド領域前景成分画像フレームメモリ
805に記憶されているカバードバックグラウンド領域
の前景成分画像、およびカバードバックグラウンド領域
の前景成分画像に対応する係数セットを使用することを
除いて、図101のフローチャートを参照して説明した
処理と同様なので、その説明は省略する。
部807−6による、前景領域の画像に対応する予測画
像の生成の処理は、前景領域フレームメモリ806に記
憶されている前景領域の画像、および前景領域に対応す
る係数セットを使用することを除いて、図101のフロ
ーチャートを参照して説明した処理と同様なので、その
説明は省略する。
処理部106は、背景領域の画像、アンカバードバック
グラウンド領域の背景成分画像、アンカバードバックグ
ラウンド領域の前景成分画像、カバードバックグラウン
ド領域の背景成分画像、カバードバックグラウンド領域
の前景成分画像、または前景領域の画像毎に予測画像を
生成することができる。
ドバックグラウンド領域の背景成分画像、アンカバード
バックグラウンド領域の前景成分画像、カバードバック
グラウンド領域の背景成分画像、カバードバックグラウ
ンド領域の前景成分画像、または前景領域の画像毎に、
異なる効果のエッジ強調処理を適用する分離画像処理部
106の構成を示すブロック図である。
景分離部105から供給された、背景領域に属する画素
からなる背景領域の画像を記憶する。背景領域フレーム
メモリ901は、記憶している背景領域の画像をエッジ
強調部907−1に供給する。
分画像フレームメモリ902は、前景背景分離部105
から供給された、アンカバードバックグラウンド領域の
背景成分画像を記憶する。アンカバードバックグラウン
ド領域背景成分画像フレームメモリ902は、記憶して
いるアンカバードバックグラウンド領域の背景成分画像
をエッジ強調部907−2に供給する。
分画像フレームメモリ903は、前景背景分離部105
から供給された、アンカバードバックグラウンド領域の
前景成分画像を記憶する。アンカバードバックグラウン
ド領域前景成分画像フレームメモリ903は、記憶して
いるアンカバードバックグラウンド領域の前景成分画像
をエッジ強調部907−3に供給する。
像フレームメモリ904は、前景背景分離部105から
供給された、カバードバックグラウンド領域の背景成分
画像を記憶する。カバードバックグラウンド領域背景成
分画像フレームメモリ904は、記憶しているカバード
バックグラウンド領域の背景成分画像をエッジ強調部9
07−4に供給する。
像フレームメモリ905は、前景背景分離部105から
供給された、カバードバックグラウンド領域の前景成分
画像を記憶する。カバードバックグラウンド領域前景成
分画像フレームメモリ905は、記憶しているカバード
バックグラウンド領域の前景成分画像をエッジ強調部9
07−5に供給する。
景分離部105から供給された、前景領域に属する画素
からなる前景領域の画像を記憶する。前景領域フレーム
メモリ906は、記憶している前景領域の画像をエッジ
強調部907−6に供給する。
ームメモリ901に記憶されている背景領域の画像に、
背景領域の画像に適したエッジ強調の処理を適用して、
エッジ強調した背景領域の画像を合成部908に供給す
る。
している画像である背景領域の画像に、前景領域に比較
して、エッジをより強調するエッジ強調の処理を実行す
る。このようにすることで、動いている画像にエッジ強
調の処理を適用したときの不自然な画像の劣化を発生さ
せることなく、背景領域の画像の解像度感をより増加さ
せることができる。
バックグラウンド領域背景成分画像フレームメモリ90
2に記憶されている画像に、アンカバードバックグラウ
ンド領域の背景成分画像に適したエッジ強調の処理を適
用して、エッジ強調した画像を合成部908に供給す
る。
している画像であるアンカバードバックグラウンド領域
の背景成分画像に、前景領域に比較して、エッジをより
強調するエッジ強調の処理を実行する。このようにする
ことで、動いている画像にエッジ強調の処理を適用した
ときの不自然な画像の劣化を発生させることなく、背景
領域の画像の解像度感をより増加させることができる。
バックグラウンド領域前景成分画像フレームメモリ90
3に記憶されている画像に、アンカバードバックグラウ
ンド領域の前景成分画像に適したエッジ強調の処理を適
用して、エッジ強調した画像を合成部908に供給す
る。
ている前景成分からなるカバードバックグラウンド領域
の前景成分画像に、背景領域に比較して、エッジ強調の
度合いの少ないエッジ強調の処理を実行する。このよう
にすることで、カバードバックグラウンド領域の前景成
分画像において、解像度感を向上させつつ、動いている
画像にエッジ強調の処理を適用したときの不自然な画像
の劣化を減少させることができる。
クグラウンド領域背景成分画像フレームメモリ904に
記憶されている画像に、カバードバックグラウンド領域
の背景成分画像に適したエッジ強調の処理を適用して、
エッジ強調した画像を合成部908に供給する。
している画像であるカバードバックグラウンド領域の背
景成分画像に、前景領域に比較して、エッジをより強調
するエッジ強調の処理を実行する。このようにすること
で、動いている画像にエッジ強調の処理を適用したとき
の不自然な画像の劣化を発生させることなく、背景領域
の画像の解像度感をより増加させることができる。
クグラウンド領域前景成分画像フレームメモリ905に
記憶されている画像に、カバードバックグラウンド領域
の前景成分画像に適したエッジ強調の処理を適用して、
エッジ強調した画像を合成部908に供給する。
ている前景成分からなるカバードバックグラウンド領域
の前景成分画像に、背景領域に比較して、エッジ強調の
度合いの少ないエッジ強調の処理を実行する。このよう
にすることで、カバードバックグラウンド領域の前景成
分画像において、解像度感を向上させつつ、動いている
画像にエッジ強調の処理を適用したときの不自然な画像
の劣化を減少させることができる。
ームメモリ906に記憶されている前景領域の画像に、
前景領域の画像に適したエッジ強調の処理を適用して、
エッジ強調した前景領域の画像を合成部908に供給す
る。
ている前景領域の画像に、背景領域に比較して、エッジ
強調の度合いの少ないエッジ強調の処理を実行する。こ
のようにすることで、前景領域の画像において、解像度
感を向上させつつ、動いている画像にエッジ強調の処理
を適用したときの不自然な画像の劣化を減少させること
ができる。
から供給された、エッジ強調された背景領域の画像、エ
ッジ強調部907−2から供給された、エッジ強調され
たアンカバードバックグラウンド領域の背景成分画像、
エッジ強調部907−3から供給された、エッジ強調さ
れたアンカバードバックグラウンド領域の前景成分画
像、エッジ強調部907−4から供給された、エッジ強
調されたカバードバックグラウンド領域の背景成分画
像、エッジ強調部907−5から供給された、エッジ強
調されたカバードバックグラウンド領域の前景成分画
像、およびエッジ強調部907−6から供給された、エ
ッジ強調された前景領域の画像を合成し、合成された画
像をフレームメモリ909に供給する。
ら供給された、合成された画像を記憶すると共に、記憶
している画像を出力画像として出力する。
処理部106は、背景領域、アンカバードバックグラウ
ンド領域、カバードバックグラウンド領域、または前景
領域毎に、それぞれの画像の性質に対応したエッジ強調
処理を適用するので、画像を不自然に劣化させることな
く、画像の解像度感を増すことができる。
−6を個々に区別する必要がないとき、単にエッジ強調
部907と称する。
示すブロック図である。分離された入力画像は、ハイパ
スフィルタ921および加算部923に入力される。
ィルタ係数を基に、入力画像から、画素位置に対して画
素値が急激に変化している、いわゆる画像の周波数の高
い成分を抽出し、画素位置に対して画素値の変化が少な
い、いわゆる画像の周波数の低い成分を除去して、エッ
ジ画像を生成する。
04(A)に示す画像が入力されたとき、図104
(B)に示すエッジ画像を生成する。
ハイパスフィルタ921は、抽出する画像の周波数、除
去する画像の周波数、および抽出する画像のゲインを変
化させる。
タ係数とエッジ画像との関係を説明する。
す図である。図105において、Eは、10の階乗を示
す。例えば、E-04は、10-4を示し、E-02は、10-2を示
す。
画像の、注目している画素である注目画素の画素値、注
目画素を基準として、空間方向Yの所定の方向に1画素
乃至15画素の距離だけ離れている画素の画素値、およ
び注目画素を基準として、空間方向Yの他の方向に1画
素乃至15画素の距離だけ離れている画素の画素値のそ
れぞれに、図105に示すフィルタ係数のうち、対応す
る係数を乗算する。ハイパスフィルタ921は、それぞ
れの画素の画素値に対応する係数を乗算して得られた結
果の総和を算出して、算出された総和を注目画素の画素
値に設定する。
用するとき、ハイパスフィルタ921は、注目画素の画
素値に1.2169396を乗算し、注目画素から画面の上方向
に1画素の距離だけ離れている画素の画素値に-0.52530
356を乗算し、注目画素から画面の上方向に2画素の距
離だけ離れている画素の画素値に-0.22739914を乗算す
る。
き、ハイパスフィルタ921は、同様に、注目画素から
画面の上方向に3画素乃至13画素の距離だけ離れてい
る画素に対応する係数を乗算し、注目画素から画面の上
方向に14画素の距離だけ離れている画素の画素値に-
0.00022540586を乗算し、注目画素から画面の上方向に
15画素の距離だけ離れている画素の画素値に-0.00039
273163を乗算する。
き、ハイパスフィルタ921は、注目画素から画面の下
方向に1画素乃至15画素の距離だけ離れている画素に
同様に対応する係数を乗算する。
素値、注目画素から画面の上方向に1画素乃至15画素
の距離だけ離れている画素の画素値、および注目画素か
ら画面の下方向に1画素乃至15画素の距離だけ離れて
いる画素の画素値のそれぞれに、対応する係数を乗算し
て得られた結果の総和を算出する。ハイパスフィルタ9
21は、算出された総和を注目画素の画素値に設定す
る。
置を空間方向Xに順次移動させて、上述した処理を繰り
返し、画面全体の画素について、画素値を算出する。
ように係数を基に画素値が算出された画像の、注目して
いる画素である注目画素の画素値、注目画素を基準とし
て、空間方向Xの所定の方向に1画素乃至15画素の距
離だけ離れている画素の画素値、および注目画素を基準
として、空間方向Xの他の方向に1画素乃至15画素の
距離だけ離れている画素の画素値のそれぞれに、図10
5に示すフィルタ係数のうち、対応する係数を乗算す
る。ハイパスフィルタ921は、それぞれの画素の画素
値に対応する係数を乗算して得られた結果の総和を算出
して、算出された総和を注目画素の画素値に設定する。
置を空間方向Yに順次移動させて、上述した処理を繰り
返し、画面全体の画素について、画素値を算出する。
ルタ921は、図105に示す係数を使用する、いわゆ
る1次元フィルタである。
きのハイパスフィルタ921の動作を示す図である。図
106に示すように、図105の係数を使用するとき、
ハイパスフィルタ921における、抽出される画像成分
の最大のゲインは、1である。
す図である。
を使用した処理と同様の処理を、図107の係数を使用
して実行したときのハイパスフィルタ921の動作を示
す図である。図108に示すように、図107の係数を
使用するとき、ハイパスフィルタ921における、抽出
される画像成分の最大のゲインは、1.5である。
供給されるフィルタ係数により、抽出する画像成分のゲ
インを変化させる。
ィルタ係数が供給されたとき、ハイパスフィルタ921
は、抽出する画像の周波数、および除去する画像の周波
数を変化させることができる。
は、生成したエッジ画像をゲイン調整部922に供給す
る。
調整係数を基に、ハイパスフィルタ921から供給され
たエッジ画像を増幅するか、または減衰する。入力され
るゲイン調整係数が変化したとき、ゲイン調整部922
は、エッジ画像の増幅率(減衰率)を変化させる。例え
ば、ゲイン調整部922は、1以上の増幅率を指定する
ゲイン調整係数が入力されたとき、エッジ画像を増幅
し、1未満の増幅率を指定するゲイン調整係数が入力さ
れたとき、エッジ画像を減衰する。
たエッジ画像を加算部923に供給する。
ゲイン調整部922から供給された、ゲインが調整され
たエッジ画像とを加算して、加算された画像を出力す
る。
に示す入力画像が入力され、図104(B)に示すエッ
ジ画像がハイパスフィルタ921から供給されたとき、
図104(A)の入力画像と図104(B)のエッジ画
像とを加算して、図104(C)に示す画像を出力す
る。
された画像にエッジ強調の処理を適用する。
部907−1は、図107に示す係数を使用して、エッ
ジ強調の度合いのより強いエッジ強調処理を、背景領域
の画像に適用する。図103に構成を示すエッジ強調部
907−6は、図105に示す係数を使用して、エッジ
強調の度合いの比較的弱いエッジ強調処理を、前景領域
の画像に適用する。
成を示すブロック図である。図109に示す例におい
て、エッジ強調部907は、フィルタ941から構成さ
れている。
数を基に、入力画像の、画素位置に対して画素値が急激
に変化している、いわゆる画像の周波数の高い成分を増
幅して、エッジ強調画像を生成する。
を示す係数が供給されたとき、図110に例を示す係数
を基に、ハイパスフィルタ921で説明した処理と同様
の処理を実行する。
きのフィルタ941の動作を示す図である。図111に
示すように、図110の係数を使用するとき、フィルタ
941は、画像の周波数の高い成分を2倍に増幅し、画
像の周波数の低い成分をそのまま通過させて、エッジ強
調画像を生成する。
941は、図105の係数を利用し、ゲイン調整部92
2のゲインが1であるときの、図103に構成を示すエ
ッジ強調部907の出力画像と同一の出力画像を出力す
る。
フィルタ係数の第2の例を示す図である。
きのフィルタ941の動作を示す図である。図113に
示すように、図112の係数を使用するとき、フィルタ
941は、画像の周波数の高い成分を2.5倍に増幅
し、画像の周波数の低い成分をそのまま通過させて、エ
ッジ強調画像を生成する。
941は、図107の係数を利用し、ゲイン調整部92
2のゲインが1であるときの、図103に構成を示すエ
ッジ強調部907の出力画像と同一の出力画像を出力す
る。
強調部907は、入力されるフィルタ係数により、画像
の高周波成分のゲインを変化させて、画像のエッジの強
調の度合いを変更することができる。
部907−1は、図112に示す係数を使用して、エッ
ジ強調の度合いのより強いエッジ強調処理を、背景領域
の画像に適用する。図109に構成を示すエッジ強調部
907−6は、図110に示す係数を使用して、エッジ
強調の度合いの比較的弱いエッジ強調処理を、前景領域
の画像に適用する。
至907−6は、例えば、異なるフィルタ係数またはゲ
イン調整係数を基に、分割された画像の性質に対応した
エッジ強調の処理を実行する。
像処理部106の処理を説明する図である。
グラウンド領域、カバードバックグラウンド領域、およ
び背景領域は、領域特定部103に特定される。領域が
特定された入力画像は、前景背景分離部105により、
背景領域の画像、アンカバードバックグラウンド領域の
背景成分画像、アンカバードバックグラウンド領域の前
景成分画像、カバードバックグラウンド領域の背景成分
画像、カバードバックグラウンド領域の前景成分画像、
および前景領域の画像に分離される。
ウンド領域の背景成分画像、アンカバードバックグラウ
ンド領域の前景成分画像、カバードバックグラウンド領
域の背景成分画像、カバードバックグラウンド領域の前
景成分画像、および前景領域の画像は、図102に構成
を示す分離画像処理部106により、それぞれの画像の
性質に対応して、それぞれの画像毎にエッジ強調され
る。
画像、アンカバードバックグラウンド領域の背景成分画
像、アンカバードバックグラウンド領域の前景成分画
像、カバードバックグラウンド領域の背景成分画像、カ
バードバックグラウンド領域の前景成分画像、および前
景領域の画像は、合成される。
て、図102に構成を示す分離画像処理部106のエッ
ジ強調の処理を説明する。
907−1は、背景領域の画像の性質に対応したエッジ
強調に処理により、背景領域フレームメモリ901に記
憶されている背景領域の画像をエッジ強調する。
907−2は、アンカバードバックグラウンド領域の背
景成分画像の性質に対応したエッジ強調に処理により、
アンカバードバックグラウンド領域背景成分画像フレー
ムメモリ902に記憶されている、アンカバードバック
グラウンド領域の背景成分画像をエッジ強調する。
907−3は、アンカバードバックグラウンド領域の前
景成分画像の性質に対応したエッジ強調に処理により、
アンカバードバックグラウンド領域前景成分画像フレー
ムメモリ903に記憶されている、アンカバードバック
グラウンド領域の前景成分画像をエッジ強調する。
907−4は、カバードバックグラウンド領域の背景成
分画像の性質に対応したエッジ強調に処理により、カバ
ードバックグラウンド領域背景成分画像フレームメモリ
904に記憶されている、カバードバックグラウンド領
域の背景成分画像をエッジ強調する。
907−5は、カバードバックグラウンド領域の前景成
分画像の性質に対応したエッジ強調に処理により、カバ
ードバックグラウンド領域前景成分画像フレームメモリ
905に記憶されている、カバードバックグラウンド領
域の前景成分画像をエッジ強調する。
907−6は、前景領域の画像の性質に対応したエッジ
強調に処理により、前景領域フレームメモリ906に記
憶されている前景領域の画像をエッジ強調する。
は、それぞれにエッジ強調された、背景領域の画像、ア
ンカバードバックグラウンド領域の背景成分画像、アン
カバードバックグラウンド領域の前景成分画像、カバー
ドバックグラウンド領域の背景成分画像、カバードバッ
クグラウンド領域の前景成分画像、および前景領域の画
像を合成する。合成部908は、合成された画像をフレ
ームメモリ909に供給する。フレームメモリ909
は、合成部908から供給された画像を記憶する。
リ909は、記憶している、合成された画像を出力し、
処理は終了する。
像処理部106は、背景領域の画像、アンカバードバッ
クグラウンド領域の背景成分画像、アンカバードバック
グラウンド領域の前景成分画像、カバードバックグラウ
ンド領域の背景成分画像、カバードバックグラウンド領
域の前景成分画像、および前景領域の画像毎に、それぞ
れの性質に対応してエッジ強調の処理を実行することが
できるので、動いている画像に不自然な歪みを生じさせ
ることなく、解像度感を向上させることができる。
06の処理を、シリアルに実行しても、パラレルに実行
しても良いことは勿論である。
理は、SD画像とHD画像とに対応する係数の生成、または
SD画像からHD画像を生成する処理に限らず、例えば、空
間方向により解像度の高いの画像を生成するための係数
を生成し、空間方向により解像度の高い画像を生成する
ようにしてもよい。さらに、分離画像処理部106は、
時間方向に、より解像度の高い画像を生成する処理を実
行するようにしてもよい。
類適応処理による解像度創造の処理またはエッジ強調処
理に限らず、例えば、所望の大きさへの画像のサイズの
変換、RGBなどの色信号の抽出、ノイズの除去、画像の
圧縮、または符号化など他の処理を特定された領域の画
像毎に実行するようにしてもよい。例えば、分離画像処
理部106に、それぞれの領域の画像に対応する動きベ
クトルを基に、動きベクトルに沿った方向の圧縮率を低
く、動きベクトルに直交する方向の圧縮率を高くして、
各領域毎の画像を圧縮させるようにすれば、従来に比較
して、画像の劣化が少ないまま、圧縮比を高くすること
ができる。
れた画像毎に処理する画像処理装置の機能の他の構成を
示すブロック図である。図11に示す画像処理装置が領
域特定と混合比αの算出を順番に行うのに対して、図1
16に示す画像処理装置は、領域特定と混合比αの算出
を並行して行う。
分には同一の番号を付してあり、その説明は省略する。
領域特定部103、混合比算出部1101、および前景
背景分離部1102に供給される。
に、画素がカバードバックグラウンド領域に属すると仮
定した場合における推定混合比、および画素がアンカバ
ードバックグラウンド領域に属すると仮定した場合にお
ける推定混合比を、入力画像に含まれる画素のそれぞれ
に対して算出し、算出した画素がカバードバックグラウ
ンド領域に属すると仮定した場合における推定混合比、
および画素がアンカバードバックグラウンド領域に属す
ると仮定した場合における推定混合比を前景背景分離部
1102に供給する。
の一例を示すブロック図である。
は、図59に示す推定混合比処理部401と同じであ
る。図117に示す推定混合比処理部402は、図59
に示す推定混合比処理部402と同じである。
に、カバードバックグラウンド領域のモデルに対応する
演算により、画素毎に推定混合比を算出して、算出した
推定混合比を出力する。
に、アンカバードバックグラウンド領域のモデルに対応
する演算により、画素毎に推定混合比を算出して、算出
した推定混合比を出力する。
1101から供給された、画素がカバードバックグラウ
ンド領域に属すると仮定した場合における推定混合比、
および画素がアンカバードバックグラウンド領域に属す
ると仮定した場合における推定混合比、並びに領域特定
部103から供給された領域情報を基に、入力画像を、
背景領域の画像、アンカバードバックグラウンド領域の
背景成分画像、アンカバードバックグラウンド領域の前
景成分画像、カバードバックグラウンド領域の背景成分
画像、カバードバックグラウンド領域の前景成分画像、
および前景領域の画像に分離し、分離された画像を分離
画像処理部106に供給する。
成の一例を示すブロック図である。
の部分には同一の番号を付してあり、その説明は省略す
る。
供給された領域情報を基に、混合比算出部1101から
供給された、画素がカバードバックグラウンド領域に属
すると仮定した場合における推定混合比、および画素が
アンカバードバックグラウンド領域に属すると仮定した
場合における推定混合比のいずれか一方を選択して、選
択した推定混合比を混合比αとして分離部601に供給
する。
された混合比αおよび領域情報を基に、混合領域に属す
る画素の画素値から前景の成分および背景の成分を抽出
し、アンカバードバックグラウンド領域の背景成分画
像、アンカバードバックグラウンド領域の前景成分画
像、カバードバックグラウンド領域の背景成分画像、お
よびカバードバックグラウンド領域の前景成分画像に分
離する。
構成とすることができる。
理装置は、背景領域の画像、アンカバードバックグラウ
ンド領域の背景成分画像、アンカバードバックグラウン
ド領域の前景成分画像、カバードバックグラウンド領域
の背景成分画像、カバードバックグラウンド領域の前景
成分画像、および前景領域の画像毎に、それぞれの性質
に対応して処理を実行することができる。
いては、背景領域の画像、アンカバードバックグラウン
ド領域の背景成分画像、アンカバードバックグラウンド
領域の前景成分画像、カバードバックグラウンド領域の
背景成分画像、カバードバックグラウンド領域の前景成
分画像、および前景領域の画像に入力画像が分離され、
分離された画像に適した処理が実行されるので、例え
ば、解像度のより高い画像が生成される。
向は左から右として説明したが、その方向に限定されな
いことは勿論である。
を有する現実空間の画像をビデオカメラを用いて2次元
空間と時間軸情報を有する時空間への射影を行った場合
を例としたが、本発明は、この例に限らず、より多くの
第1の次元の第1の情報を、より少ない第2の次元の第
2の情報に射影した場合に適応することが可能である。
素子である、例えば、BBD(Bucket Brigade Device)、
CID(Charge Injection Device)、またはCPD(Charge
Priming Device)などのセンサでもよく、また、検出素
子がマトリックス状に配置されているセンサに限らず、
検出素子が1列に並んでいるセンサでもよい。
した記録媒体は、図10に示すように、コンピュータと
は別に、ユーザにプログラムを提供するために配布され
る、プログラムが記録されている磁気ディスク91(フ
ロッピ(登録商標)ディスクを含む)、光ディスク92
(CD-ROM(Compact Disc-Read Only Memory),DVD(Digita
l Versatile Disc)を含む)、光磁気ディスク93(M
D(Mini-Disc)(商標)を含む)、もしくは半導体メ
モリ94などよりなるパッケージメディアにより構成さ
れるだけでなく、コンピュータに予め組み込まれた状態
でユーザに提供される、プログラムが記録されているRO
M72や、記憶部78に含まれるハードディスクなどで
構成される。
されるプログラムを記述するステップは、記載された順
序に沿って時系列的に行われる処理はもちろん、必ずし
も時系列的に処理されなくとも、並列的あるいは個別に
実行される処理をも含むものである。
媒体、並びにプログラムによれば、入力画像データに基
づいて、前景オブジェクトを構成する前景オブジェクト
成分、および背景オブジェクトを構成する背景オブジェ
クト成分が混合されてなる混合領域と、前景オブジェク
ト成分からなる前景領域、および背景オブジェクトを構
成する背景オブジェクト成分からなる背景領域の一方に
より構成される非混合領域とが特定され、特定結果に対
応する領域特定情報が出力され、領域特定情報に対応し
て、少なくとも混合領域において、入力画像データが、
前景オブジェクト成分と背景オブジェクト成分とに分離
され、分離結果に対応して、前景オブジェクト成分およ
び背景オブジェクト成分が個々に処理されるようにした
ので、背景の画像と移動する物体の画像との混ざり合い
対応して画像を処理することができるようになる。
ある。
る。
ある。
ある。
により生成された出力画像の画素値を示す図である。
ートである。
構成を示すブロック図である。
である。
静止している背景に対応するオブジェクトとを撮像して
得られる画像を説明する図である。
ックグラウンド領域、およびアンカバードバックグラウ
ンド領域を説明する図である。
よび静止している背景に対応するオブジェクトを撮像し
た画像における、隣接して1列に並んでいる画素の画素
値を時間方向に展開したモデル図である。
対応する期間を分割したモデル図である。
対応する期間を分割したモデル図である。
対応する期間を分割したモデル図である。
を抽出した例を示す図である。
の対応を示す図である。
対応する期間を分割したモデル図である。
対応する期間を分割したモデル図である。
対応する期間を分割したモデル図である。
対応する期間を分割したモデル図である。
対応する期間を分割したモデル図である。
に展開したモデル図との対応を示す図である。
明するフローチャートである。
ク図である。
ときの画像を説明する図である。
対応する期間を分割したモデル図である。
対応する期間を分割したモデル図である。
対応する期間を分割したモデル図である。
示す図である。
示す図である。
ある。
ロック図である。
対応する期間を分割したモデル図である。
示すブロック図である。
図である。
る。
ある。
るフローチャートである。
ートである。
ロック図である。
ク図である。
ある。
ある。
ある。
ャートである。
ック図である。
対応する期間を分割したモデル図である。
対応する期間を分割したモデル図である。
図である。
ク図である。
ク図である。
トである。
ャートである。
る。
る。
画素の対応を説明する図である。
ロック図である。
トである。
デルによる混合比推定の処理を説明するフローチャート
である。
ロック図である。
像、前景成分画像、および背景成分画像を示す図であ
る。
対応する期間を分割したモデル図である。
対応する期間を分割したモデル図である。
対応する期間を分割したモデル図である。
である。
チャートである。
の構成を示すブロック図である。
ある。
る。
を説明する図である。
生成する学習の処理を説明するフローチャートである。
を説明するフローチャートである。
に、より高解像度な画像を生成する分離画像処理部10
6の構成を示すブロック図である。
である。
図である。
た、混合領域の画像の例を示す図である。
た、混合領域の画像の例を示す図である。
図である。
た、前景領域の画像の例を示す図である。
た、前景領域の画像の例を示す図である。
を説明するフローチャートである。
明するフローチャートである。
適用する分離画像処理部106の構成を示すブロック図
である。
図である。
図である。
図である。
ック図である。
る。
る。
である。
を説明するフローチャートである。
ック図である。
ブロック図である。
すブロック図である。
部, 77 出力部,78 記憶部, 79 通信部,
91 磁気ディスク, 92 光ディスク, 93
光磁気ディスク, 94 半導体メモリ, 101 オ
ブジェクト抽出部, 102 動き検出部, 103
領域特定部, 104 混合比算出部, 105 前景
背景分離部, 106 分離画像処理部, 201 フ
レームメモリ, 202−1乃至202−4 静動判定
部, 203−1乃至203−3 領域判定部, 20
4 判定フラグ格納フレームメモリ, 205 合成
部, 206 判定フラグ格納フレームメモリ, 30
1 背景領域の画像生成部, 302 2値オブジェク
ト画像抽出部, 303 時間変化検出部, 321
相関値演算部, 322 しきい値処理部, 341
フレームメモリ,342 領域判定部, 361 ロバ
スト化部, 381 動き補償部, 382 スイッ
チ, 383−1乃至383−N フレームメモリ、
384−1乃至384−N 重み付け部, 385 積
算部, 401 推定混合比処理部,402 推定混合
比処理部, 403 混合比決定部, 421 フレー
ムメモリ, 422 フレームメモリ, 423 混合
比演算部, 441 選択部, 442 推定混合比処
理部, 443 推定混合比処理部, 444 選択
部, 501 遅延回路, 502 足し込み部, 5
03 演算部, 601分離部, 602 スイッチ,
603 スイッチ, 621 フレームメモリ, 6
22 分離処理ブロック, 631 アンカバード領域
処理部, 632 カバード領域処理部, 701 背
景領域教師画像フレームメモリ, 702 アンカバー
ドバックグラウンド領域背景成分教師画像フレームメモ
リ, 703 アンカバードバックグラウンド領域前景
成分教師画像フレームメモリ,704 カバードバック
グラウンド領域背景成分教師画像フレームメモリ, 7
05 カバードバックグラウンド領域前景成分教師画像
フレームメモリ, 706 前景領域教師画像フレーム
メモリ, 707−1乃至707−6 加重平均部,
708 背景領域生徒画像フレームメモリ, 709
アンカバードバックグラウンド領域背景成分生徒画像フ
レームメモリ, 710 アンカバードバックグラウン
ド領域前景成分生徒画像フレームメモリ, 711 カ
バードバックグラウンド領域背景成分生徒画像フレーム
メモリ, 712 カバードバックグラウンド領域前景
成分生徒画像フレームメモリ, 713 前景領域生徒
画像フレームメモリ, 714−1乃至714−6 学
習部, 715 係数セットメモリ, 731 クラス
分類部, 732 予測タップ取得部, 733 対応
画素取得部, 734 正規方程式生成部, 735
係数計算部, 751クラスタップ取得部, 752
波形分類部, 801 背景領域フレームメモリ, 8
02 アンカバードバックグラウンド領域背景成分画像
フレームメモリ, 803 アンカバードバックグラウ
ンド領域前景成分画像フレームメモリ, 804 カバ
ードバックグラウンド領域背景成分画像フレームメモ
リ, 805 カバードバックグラウンド領域前景成分
画像フレームメモリ, 806前景領域フレームメモ
リ, 807−1乃至807−6 マッピング部, 8
08 係数セットメモリ, 809 合成部, 831
マッピング処理部, 841 クラス分類部, 84
2 予測タップ取得部, 843 予測演算部,851
クラスタップ取得部, 852 波形分類部, 90
1 背景領域フレームメモリ, 902 アンカバード
バックグラウンド領域背景成分画像フレームメモリ,
903 アンカバードバックグラウンド領域前景成分画
像フレームメモリ, 904 カバードバックグラウン
ド領域背景成分画像フレームメモリ, 905 カバー
ドバックグラウンド領域前景成分画像フレームメモリ,
906 前景領域フレームメモリ, 907−1乃至
907−6 エッジ強調部,908 合成部, 921
ハイパスフィルタ, 922 ゲイン調整部,923
加算部, 941 フィルタ
Claims (20)
- 【請求項1】 時間積分効果を有する所定数の画素を有
する撮像素子によって取得された所定数の画素データか
らなる入力画像データを処理する画像処理装置におい
て、 前記入力画像データに基づいて、前景オブジェクトを構
成する前景オブジェクト成分、および背景オブジェクト
を構成する背景オブジェクト成分が混合されてなる混合
領域と、前記前景オブジェクト成分からなる前景領域、
および前記背景オブジェクトを構成する背景オブジェク
ト成分からなる背景領域の一方により構成される非混合
領域とを特定し、特定結果に対応する領域特定情報を出
力する領域特定手段と、 前記領域特定情報に対応して、少なくとも前記混合領域
において、前記入力画像データを、前記前景オブジェク
ト成分と前記背景オブジェクト成分とに分離する分離手
段と、 分離結果に対応して、前記前景オブジェクト成分および
前記背景オブジェクト成分を個々に処理する処理手段と
を含むことを特徴とする画像処理装置。 - 【請求項2】 前記領域特定手段は、カバードバックグ
ラウンド領域およびアンカバードバックグラウンド領域
をさらに特定し、特定結果に対応する前記領域特定情報
を出力し、 前記分離手段は、前記カバードバックグラウンド領域お
よび前記アンカバードバックグラウンド領域において、
前記入力画像データを、前記前景オブジェクト成分と前
記背景オブジェクト成分とに分離することを特徴とする
請求項1に記載の画像処理装置。 - 【請求項3】 前記処理手段は、前記前景オブジェクト
成分および前記背景オブジェクト成分毎に、クラス分類
適応処理において使用される係数を生成することを特徴
とする請求項1に記載の画像処理装置。 - 【請求項4】 前記処理手段は、前記前景オブジェクト
成分および前記背景オブジェクト成分毎に、クラス分類
適応処理により、出力画像データを生成することを特徴
とする請求項1に記載の画像処理装置。 - 【請求項5】 前記処理手段は、前記前景オブジェクト
成分および前記背景オブジェクト成分毎に、エッジを強
調することを特徴とする請求項1に記載の画像処理装
置。 - 【請求項6】 時間積分効果を有する所定数の画素を有
する撮像素子によって取得された所定数の画素データか
らなる入力画像データを処理する画像処理方法におい
て、 前記入力画像データに基づいて、前景オブジェクトを構
成する前景オブジェクト成分、および背景オブジェクト
を構成する背景オブジェクト成分が混合されてなる混合
領域と、前記前景オブジェクト成分からなる前景領域、
および前記背景オブジェクトを構成する背景オブジェク
ト成分からなる背景領域の一方により構成される非混合
領域とを特定し、特定結果に対応する領域特定情報を出
力する領域特定ステップと、 前記領域特定情報に対応して、少なくとも前記混合領域
において、前記入力画像データを、前記前景オブジェク
ト成分と前記背景オブジェクト成分とに分離する分離ス
テップと、 分離結果に対応して、前記前景オブジェクト成分および
前記背景オブジェクト成分を個々に処理する処理ステッ
プとを含むことを特徴とする画像処理方法。 - 【請求項7】 前記領域特定ステップにおいては、カバ
ードバックグラウンド領域およびアンカバードバックグ
ラウンド領域がさらに特定され、特定結果に対応する前
記領域特定情報が出力され、 前記分離ステップにおいては、前記カバードバックグラ
ウンド領域および前記アンカバードバックグラウンド領
域において、前記入力画像データが、前記前景オブジェ
クト成分と前記背景オブジェクト成分とに分離されるこ
とを特徴とする請求項6に記載の画像処理方法。 - 【請求項8】 前記処理ステップにおいては、前記前景
オブジェクト成分および前記背景オブジェクト成分毎
に、クラス分類適応処理において使用される係数が生成
されることを特徴とする請求項6に記載の画像処理方
法。 - 【請求項9】 前記処理ステップにおいては、前記前景
オブジェクト成分および前記背景オブジェクト成分毎
に、クラス分類適応処理により、出力画像データが生成
されることを特徴とする請求項6に記載の画像処理方
法。 - 【請求項10】 前記処理ステップにおいては、前記前
景オブジェクト成分および前記背景オブジェクト成分毎
に、エッジが強調されることを特徴とする請求項6に記
載の画像処理方法。 - 【請求項11】 時間積分効果を有する所定数の画素を
有する撮像素子によって取得された所定数の画素データ
からなる入力画像データを処理する画像処理用のプログ
ラムであって、 前記入力画像データに基づいて、前景オブジェクトを構
成する前景オブジェクト成分、および背景オブジェクト
を構成する背景オブジェクト成分が混合されてなる混合
領域と、前記前景オブジェクト成分からなる前景領域、
および前記背景オブジェクトを構成する背景オブジェク
ト成分からなる背景領域の一方により構成される非混合
領域とを特定し、特定結果に対応する領域特定情報を出
力する領域特定ステップと、 前記領域特定情報に対応して、少なくとも前記混合領域
において、前記入力画像データを、前記前景オブジェク
ト成分と前記背景オブジェクト成分とに分離する分離ス
テップと、 分離結果に対応して、前記前景オブジェクト成分および
前記背景オブジェクト成分を個々に処理する処理ステッ
プとを含むことを特徴とするコンピュータが読み取り可
能なプログラムが記録されている記録媒体。 - 【請求項12】 前記領域特定ステップにおいては、カ
バードバックグラウンド領域およびアンカバードバック
グラウンド領域がさらに特定され、特定結果に対応する
前記領域特定情報が出力され、 前記分離ステップにおいては、前記カバードバックグラ
ウンド領域および前記アンカバードバックグラウンド領
域において、前記入力画像データが、前記前景オブジェ
クト成分と前記背景オブジェクト成分とに分離されるこ
とを特徴とする請求項11に記載の記録媒体。 - 【請求項13】 前記処理ステップにおいては、前記前
景オブジェクト成分および前記背景オブジェクト成分毎
に、クラス分類適応処理において使用される係数が生成
されることを特徴とする請求項11に記載の記録媒体。 - 【請求項14】 前記処理ステップにおいては、前記前
景オブジェクト成分および前記背景オブジェクト成分毎
に、クラス分類適応処理により、出力画像データが生成
されることを特徴とする請求項11に記載の記録媒体。 - 【請求項15】 前記処理ステップにおいては、前記前
景オブジェクト成分および前記背景オブジェクト成分毎
に、エッジが強調されることを特徴とする請求項11に
記載の記録媒体。 - 【請求項16】 時間積分効果を有する所定数の画素を
有する撮像素子によって取得された所定数の画素データ
からなる入力画像データを処理するコンピュータに、 前記入力画像データに基づいて、前景オブジェクトを構
成する前景オブジェクト成分、および背景オブジェクト
を構成する背景オブジェクト成分が混合されてなる混合
領域と、前記前景オブジェクト成分からなる前景領域、
および前記背景オブジェクトを構成する背景オブジェク
ト成分からなる背景領域の一方により構成される非混合
領域とを特定し、特定結果に対応する領域特定情報を出
力する領域特定ステップと、 前記領域特定情報に対応して、少なくとも前記混合領域
において、前記入力画像データを、前記前景オブジェク
ト成分と前記背景オブジェクト成分とに分離する分離ス
テップと、 分離結果に対応して、前記前景オブジェクト成分および
前記背景オブジェクト成分を個々に処理する処理ステッ
プとを実行させるプログラム。 - 【請求項17】 前記領域特定ステップにおいては、カ
バードバックグラウンド領域およびアンカバードバック
グラウンド領域がさらに特定され、特定結果に対応する
前記領域特定情報が出力され、 前記分離ステップにおいては、前記カバードバックグラ
ウンド領域および前記アンカバードバックグラウンド領
域において、前記入力画像データが、前記前景オブジェ
クト成分と前記背景オブジェクト成分とに分離されるこ
とを特徴とする請求項16に記載のプログラム。 - 【請求項18】 前記処理ステップにおいては、前記前
景オブジェクト成分および前記背景オブジェクト成分毎
に、クラス分類適応処理において使用される係数が生成
されることを特徴とする請求項16に記載のプログラ
ム。 - 【請求項19】 前記処理ステップにおいては、前記前
景オブジェクト成分および前記背景オブジェクト成分毎
に、クラス分類適応処理により、出力画像データが生成
されることを特徴とする請求項16に記載のプログラ
ム。 - 【請求項20】 前記処理ステップにおいては、前記前
景オブジェクト成分および前記背景オブジェクト成分毎
に、エッジが強調されることを特徴とする請求項16に
記載のプログラム。
Priority Applications (7)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001181394A JP4596211B2 (ja) | 2001-06-15 | 2001-06-15 | 画像処理装置および方法、記録媒体、並びにプログラム |
US10/344,568 US7715643B2 (en) | 2001-06-15 | 2002-06-13 | Image processing apparatus and method, and image pickup apparatus |
PCT/JP2002/005876 WO2002103636A1 (fr) | 2001-06-15 | 2002-06-13 | Dispositif et procede de traitement d'images et dispositif de saisie d'image |
EP02738673A EP1396819A4 (en) | 2001-06-15 | 2002-06-13 | IMAGE PROCESSING APPARATUS AND METHOD AND IMAGING APPARATUS |
CA002419636A CA2419636A1 (en) | 2001-06-15 | 2002-06-13 | Image processing apparatus and method, and image pickup apparatus |
CNB028028511A CN1248164C (zh) | 2001-06-15 | 2002-06-13 | 图像处理设备和方法、以及图像拍摄设备 |
KR1020037002170A KR100859381B1 (ko) | 2001-06-15 | 2002-06-13 | 화상 처리 장치 및 방법 및 촬상 장치 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001181394A JP4596211B2 (ja) | 2001-06-15 | 2001-06-15 | 画像処理装置および方法、記録媒体、並びにプログラム |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2002373335A true JP2002373335A (ja) | 2002-12-26 |
JP2002373335A5 JP2002373335A5 (ja) | 2008-04-24 |
JP4596211B2 JP4596211B2 (ja) | 2010-12-08 |
Family
ID=19021673
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2001181394A Expired - Fee Related JP4596211B2 (ja) | 2001-06-15 | 2001-06-15 | 画像処理装置および方法、記録媒体、並びにプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4596211B2 (ja) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002366949A (ja) * | 2001-06-05 | 2002-12-20 | Sony Corp | 画像処理装置および方法、記録媒体、並びにプログラム |
JP2003006652A (ja) * | 2001-06-25 | 2003-01-10 | Sony Corp | 画像処理装置および方法、記録媒体、並びにプログラム |
JP2003006651A (ja) * | 2001-06-22 | 2003-01-10 | Sony Corp | 画像処理装置および方法、記録媒体、並びにプログラム |
JP2003006650A (ja) * | 2001-06-20 | 2003-01-10 | Sony Corp | 画像処理装置および方法、記録媒体、並びにプログラム |
JP2003006658A (ja) * | 2001-06-19 | 2003-01-10 | Sony Corp | 画像処理装置および方法、記録媒体、並びにプログラム |
JP2003006656A (ja) * | 2001-06-22 | 2003-01-10 | Sony Corp | 画像処理装置および方法、記録媒体、並びにプログラム |
US8908967B2 (en) | 2012-03-13 | 2014-12-09 | Samsung Techwin Co., Ltd. | Image processing method using foreground probability |
JP2018142061A (ja) * | 2017-02-27 | 2018-09-13 | Kddi株式会社 | 顔検出装置及びプログラム |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07336688A (ja) * | 1994-06-06 | 1995-12-22 | Nippon Hoso Kyokai <Nhk> | アンカバー領域の検出方法 |
JPH10164436A (ja) * | 1996-12-04 | 1998-06-19 | Sony Corp | 輪郭抽出装置、輪郭抽出方法、キー信号生成装置及びキー信号生成方法 |
JP2000030040A (ja) * | 1998-07-14 | 2000-01-28 | Canon Inc | 画像処理装置及びコンピュータ読み取り可能な記憶媒体 |
JP2001181397A (ja) * | 1999-12-23 | 2001-07-03 | Dow Corning Corp | ポリウレタン可撓性成型発泡体の製造に有用なシリコーンポリエーテルコポリマー |
JP2001181398A (ja) * | 1999-12-28 | 2001-07-03 | Dow Corning Toray Silicone Co Ltd | 含ケイ素重合体およびその製造方法 |
JP2001181399A (ja) * | 1999-12-28 | 2001-07-03 | Hitachi Chem Co Ltd | 難燃性熱硬化樹脂組成物、それを用いたプリプレグ及び電気配線板用積層板 |
JP2001181396A (ja) * | 1999-12-24 | 2001-07-03 | Jsr Corp | シロキサン変性重合体粒子およびその製造方法 |
JP2001181395A (ja) * | 1999-12-28 | 2001-07-03 | Chisso Corp | ポリオルガノシロキサンおよびその製造方法 |
JP4491965B2 (ja) * | 1999-12-28 | 2010-06-30 | ソニー株式会社 | 信号処理装置および方法、並びに記録媒体 |
-
2001
- 2001-06-15 JP JP2001181394A patent/JP4596211B2/ja not_active Expired - Fee Related
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07336688A (ja) * | 1994-06-06 | 1995-12-22 | Nippon Hoso Kyokai <Nhk> | アンカバー領域の検出方法 |
JPH10164436A (ja) * | 1996-12-04 | 1998-06-19 | Sony Corp | 輪郭抽出装置、輪郭抽出方法、キー信号生成装置及びキー信号生成方法 |
JP2000030040A (ja) * | 1998-07-14 | 2000-01-28 | Canon Inc | 画像処理装置及びコンピュータ読み取り可能な記憶媒体 |
JP2001181397A (ja) * | 1999-12-23 | 2001-07-03 | Dow Corning Corp | ポリウレタン可撓性成型発泡体の製造に有用なシリコーンポリエーテルコポリマー |
JP2001181396A (ja) * | 1999-12-24 | 2001-07-03 | Jsr Corp | シロキサン変性重合体粒子およびその製造方法 |
JP2001181398A (ja) * | 1999-12-28 | 2001-07-03 | Dow Corning Toray Silicone Co Ltd | 含ケイ素重合体およびその製造方法 |
JP2001181399A (ja) * | 1999-12-28 | 2001-07-03 | Hitachi Chem Co Ltd | 難燃性熱硬化樹脂組成物、それを用いたプリプレグ及び電気配線板用積層板 |
JP2001181395A (ja) * | 1999-12-28 | 2001-07-03 | Chisso Corp | ポリオルガノシロキサンおよびその製造方法 |
JP4491965B2 (ja) * | 1999-12-28 | 2010-06-30 | ソニー株式会社 | 信号処理装置および方法、並びに記録媒体 |
Cited By (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002366949A (ja) * | 2001-06-05 | 2002-12-20 | Sony Corp | 画像処理装置および方法、記録媒体、並びにプログラム |
JP4596209B2 (ja) * | 2001-06-05 | 2010-12-08 | ソニー株式会社 | 画像処理装置および方法、記録媒体、並びにプログラム |
JP4596215B2 (ja) * | 2001-06-19 | 2010-12-08 | ソニー株式会社 | 画像処理装置および方法、記録媒体、並びにプログラム |
JP2003006658A (ja) * | 2001-06-19 | 2003-01-10 | Sony Corp | 画像処理装置および方法、記録媒体、並びにプログラム |
JP2003006650A (ja) * | 2001-06-20 | 2003-01-10 | Sony Corp | 画像処理装置および方法、記録媒体、並びにプログラム |
JP4596216B2 (ja) * | 2001-06-20 | 2010-12-08 | ソニー株式会社 | 画像処理装置および方法、記録媒体、並びにプログラム |
JP4596217B2 (ja) * | 2001-06-22 | 2010-12-08 | ソニー株式会社 | 画像処理装置および方法、記録媒体、並びにプログラム |
JP2003006656A (ja) * | 2001-06-22 | 2003-01-10 | Sony Corp | 画像処理装置および方法、記録媒体、並びにプログラム |
JP4596218B2 (ja) * | 2001-06-22 | 2010-12-08 | ソニー株式会社 | 画像処理装置および方法、記録媒体、並びにプログラム |
JP2003006651A (ja) * | 2001-06-22 | 2003-01-10 | Sony Corp | 画像処理装置および方法、記録媒体、並びにプログラム |
JP4596219B2 (ja) * | 2001-06-25 | 2010-12-08 | ソニー株式会社 | 画像処理装置および方法、記録媒体、並びにプログラム |
JP2003006652A (ja) * | 2001-06-25 | 2003-01-10 | Sony Corp | 画像処理装置および方法、記録媒体、並びにプログラム |
US8908967B2 (en) | 2012-03-13 | 2014-12-09 | Samsung Techwin Co., Ltd. | Image processing method using foreground probability |
JP2018142061A (ja) * | 2017-02-27 | 2018-09-13 | Kddi株式会社 | 顔検出装置及びプログラム |
Also Published As
Publication number | Publication date |
---|---|
JP4596211B2 (ja) | 2010-12-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR100846261B1 (ko) | 화상 처리 장치, 화상 처리 방법, 기록 매체 및 촬상 장치 | |
CA2418810C (en) | Image processing apparatus and method and image pickup apparatus | |
KR100859381B1 (ko) | 화상 처리 장치 및 방법 및 촬상 장치 | |
JP4596220B2 (ja) | 画像処理装置および方法、記録媒体、並びにプログラム | |
JP4596222B2 (ja) | 画像処理装置および方法、記録媒体、並びにプログラム | |
KR100897965B1 (ko) | 화상 처리 장치 및 방법, 및 촬상 장치 | |
JP4596212B2 (ja) | 画像処理装置および方法、記録媒体、並びにプログラム | |
KR100799011B1 (ko) | 화상 처리 장치 | |
JP4596203B2 (ja) | 画像処理装置および方法、記録媒体、並びにプログラム | |
KR100875780B1 (ko) | 화상 처리 장치 및 방법, 및 촬상 장치 | |
JP4596213B2 (ja) | 画像処理装置および方法、記録媒体、並びにプログラム | |
JP4596214B2 (ja) | 画像処理装置および方法、記録媒体、並びにプログラム | |
KR20040014951A (ko) | 화상 처리 장치 및 방법, 및 촬상 장치 | |
JP4660980B2 (ja) | 画像処理装置および方法、記録媒体、並びにプログラム | |
JP4596211B2 (ja) | 画像処理装置および方法、記録媒体、並びにプログラム | |
JP4596215B2 (ja) | 画像処理装置および方法、記録媒体、並びにプログラム | |
JP4660979B2 (ja) | 画像処理装置および方法、記録媒体、並びにプログラム | |
JP2002366949A (ja) | 画像処理装置および方法、記録媒体、並びにプログラム | |
KR100895744B1 (ko) | 화상 처리 장치, 방법 및 기록 매체, 및 촬상 장치 | |
JP4596225B2 (ja) | 画像処理装置および方法、記録媒体、並びにプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080307 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080307 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A132 Effective date: 20100518 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100706 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100826 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100908 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131001 Year of fee payment: 3 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |