JP2001103470A - 領域分割装置及び方法並びに記憶媒体 - Google Patents
領域分割装置及び方法並びに記憶媒体Info
- Publication number
- JP2001103470A JP2001103470A JP27654799A JP27654799A JP2001103470A JP 2001103470 A JP2001103470 A JP 2001103470A JP 27654799 A JP27654799 A JP 27654799A JP 27654799 A JP27654799 A JP 27654799A JP 2001103470 A JP2001103470 A JP 2001103470A
- Authority
- JP
- Japan
- Prior art keywords
- block
- dividing
- motion vector
- region
- circuit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression Of Band Width Or Redundancy In Fax (AREA)
- Image Analysis (AREA)
Abstract
(57)【要約】
【課題】 動きベクトルによる領域分割の精度を高め
る。 【解決手段】 ブロック分割回路２０は、入力画像デー
タをそのフレーム内でブロックに分割し、各ブロックに
ついて、ブロックの中心座標とそのブロック内の画像デ
ータをブロックマッチング回路２２に出力する。回路２
２は、回路２０からのブロックＢｉと参照フレームの画
像データとをマッチングし、動きベクトルの候補ｖ
ｉ，ｊとブロック間一致度ｅｉ，ｊを算出する。初期分
割回路２４は、回路２２の出力から領域分割の初期状態
と各ブロックの動きベクトルの初期値を決定する。確率
計算回路２６は、動きベクトルの候補ｖｉ，ｊと状態値
ｘｉ（ｃ ）の全ての組み合わせの出現確率Ｐを計算す
る。状態値選択回路２８は、ブロックごとに出現確率が
最大となる動きベクトルの候補と状態値の組み合わせを
選択し、ブロックごとの動きベクトルと状態値を更新す
る。分割結果生成回路３０は、回路２８により確定した
ブロックごとの状態値から分割結果（状態値に応じたラ
ベル画像）を生成し出力する。
る。 【解決手段】 ブロック分割回路２０は、入力画像デー
タをそのフレーム内でブロックに分割し、各ブロックに
ついて、ブロックの中心座標とそのブロック内の画像デ
ータをブロックマッチング回路２２に出力する。回路２
２は、回路２０からのブロックＢｉと参照フレームの画
像データとをマッチングし、動きベクトルの候補ｖ
ｉ，ｊとブロック間一致度ｅｉ，ｊを算出する。初期分
割回路２４は、回路２２の出力から領域分割の初期状態
と各ブロックの動きベクトルの初期値を決定する。確率
計算回路２６は、動きベクトルの候補ｖｉ，ｊと状態値
ｘｉ（ｃ ）の全ての組み合わせの出現確率Ｐを計算す
る。状態値選択回路２８は、ブロックごとに出現確率が
最大となる動きベクトルの候補と状態値の組み合わせを
選択し、ブロックごとの動きベクトルと状態値を更新す
る。分割結果生成回路３０は、回路２８により確定した
ブロックごとの状態値から分割結果（状態値に応じたラ
ベル画像）を生成し出力する。
Description
【０００１】
【発明の属する技術分野】本発明は、領域分割装置及び
方法並びに記憶媒体に関し、より具体的には、動画像フ
レームをマルコフ確率場ＭＲＦを用いて分割する装置及
び方法並びに、その方法を実行するプログラムソフトウ
エアを記憶する記憶媒体に関する。
方法並びに記憶媒体に関し、より具体的には、動画像フ
レームをマルコフ確率場ＭＲＦを用いて分割する装置及
び方法並びに、その方法を実行するプログラムソフトウ
エアを記憶する記憶媒体に関する。
【０００２】
【従来の技術】マルチメディア・データを扱う汎用符号
化方式として、ＭＰＥＧ−４が規格化されつつある。Ｍ
ＰＥＧ−４の特徴の１つは、画像をフレーム又はフィー
ルドの単位で処理するのではなく、画像内のオブジェク
ト単位で処理する点にある。但し、ＭＰＥＧ−４のオブ
ジェクト符号化方式は、各オブジェクトのエンコード／
デコード方式には関するものの、オブジェクトの抽出方
式自体は標準化の範囲外である。
化方式として、ＭＰＥＧ−４が規格化されつつある。Ｍ
ＰＥＧ−４の特徴の１つは、画像をフレーム又はフィー
ルドの単位で処理するのではなく、画像内のオブジェク
ト単位で処理する点にある。但し、ＭＰＥＧ−４のオブ
ジェクト符号化方式は、各オブジェクトのエンコード／
デコード方式には関するものの、オブジェクトの抽出方
式自体は標準化の範囲外である。
【０００３】また、動画像からのオブジェクト抽出技術
の応用範囲は、符号化のみならず、広く、オブジェクト
による検索及びオブジェクト単位での動画像の編集など
にも及ぶ。
の応用範囲は、符号化のみならず、広く、オブジェクト
による検索及びオブジェクト単位での動画像の編集など
にも及ぶ。
【０００４】オブジェクト抽出に必要不可欠な技術とし
て、フレームの領域分割が挙げられる。領域分割処理と
は、ある一定の基準に従って画像を分割する処理であ
る。静止画像の領域分割処理では、画素の色、位置及び
空間周波数等に従って領域分割が行われる。
て、フレームの領域分割が挙げられる。領域分割処理と
は、ある一定の基準に従って画像を分割する処理であ
る。静止画像の領域分割処理では、画素の色、位置及び
空間周波数等に従って領域分割が行われる。
【０００５】領域分割で問題となるのは、ノイズの影響
である。例えば、エッジ検出法を用いる場合、ノイズの
影響によりエッジが正常に検出できなくなる場合があ
る。また、リージョン・グローイングによる領域分割処
理では、極解に陥る可能性がある。
である。例えば、エッジ検出法を用いる場合、ノイズの
影響によりエッジが正常に検出できなくなる場合があ
る。また、リージョン・グローイングによる領域分割処
理では、極解に陥る可能性がある。
【０００６】このようなノイズの影響を低減するため
に、ノイズに強いマルコフ確率場ＭＲＦ（Ｍａｒｋｏｖ
Ｒａｎｄｏｍ Ｆｉｅｌｄ）が、領域分割処理にしば
しば利用されている（例えば、越後他「複数のＧＭＲＦ
モデルと併合仮説を用いたカラーテクスチャ画像領域分
割」、電子情報通信学会論文誌Ｄ−ＩＩ Ｖｏｌ．Ｊ８
１−Ｄ−Ｈ， Ｎｏ．４， ｐｐ．６６０−６７０，１
９９８）。ＭＲＦは、ノイズに対する処理をモデルとし
て含むので、ノイズが付加された画像の復元にも応用さ
れている（例えば、Ｇｅｍａｎ他，”Ｓｔｏｃｈａｓｔ
ｉｃ ｒｅｌａｘａｔｉｏｎ， Ｇｉｂｂｓ ｄｉｓｔ
ｒｉｂｕｔｉｏｎｓ， ａｎｄ ｔｈｅＢａｙｅｓｉａ
ｎ ｒｅｓｔｏｒａｔｉｏｎ ｏｆ Ｉｍａｇｅｓ”，
ＩＥＥＥＴｒａｎｓａｃｔｉｏｎ ｏｎ Ｐａｔｔｅｒ
ｎ Ａｎａｌｙｓｉｓ ａｎｄＭａｃｈｉｎｅ Ｉｎｔ
ｅｌｌｉｇｅｎｃｅ， ＰＡＭＩ−６， ｐｐ．７２１
−７４１，１９８４）。
に、ノイズに強いマルコフ確率場ＭＲＦ（Ｍａｒｋｏｖ
Ｒａｎｄｏｍ Ｆｉｅｌｄ）が、領域分割処理にしば
しば利用されている（例えば、越後他「複数のＧＭＲＦ
モデルと併合仮説を用いたカラーテクスチャ画像領域分
割」、電子情報通信学会論文誌Ｄ−ＩＩ Ｖｏｌ．Ｊ８
１−Ｄ−Ｈ， Ｎｏ．４， ｐｐ．６６０−６７０，１
９９８）。ＭＲＦは、ノイズに対する処理をモデルとし
て含むので、ノイズが付加された画像の復元にも応用さ
れている（例えば、Ｇｅｍａｎ他，”Ｓｔｏｃｈａｓｔ
ｉｃ ｒｅｌａｘａｔｉｏｎ， Ｇｉｂｂｓ ｄｉｓｔ
ｒｉｂｕｔｉｏｎｓ， ａｎｄ ｔｈｅＢａｙｅｓｉａ
ｎ ｒｅｓｔｏｒａｔｉｏｎ ｏｆ Ｉｍａｇｅｓ”，
ＩＥＥＥＴｒａｎｓａｃｔｉｏｎ ｏｎ Ｐａｔｔｅｒ
ｎ Ａｎａｌｙｓｉｓ ａｎｄＭａｃｈｉｎｅ Ｉｎｔ
ｅｌｌｉｇｅｎｃｅ， ＰＡＭＩ−６， ｐｐ．７２１
−７４１，１９８４）。
【０００７】動画像の領域分割では、フレーム内のそれ
らの要素に加えて、フレーム間の動きベクトルを用いる
ことが出来る。
らの要素に加えて、フレーム間の動きベクトルを用いる
ことが出来る。
【０００８】
【発明を解決しようとする課題】フレーム間の動きベク
トルを動画像の領域分割に適用する場合、動きベクトル
が実際の動きと正しく対応するよう正確に検出できる必
要がある。従来の動きベクトル算出法は、ブロック内で
一意に動きベクトルを決定しており、その信頼性に対す
る評価尺度は考慮されていなかった。従って、ノイズの
影響などにより、たまたま誤った動きベクトルを求めて
しまった場合、それが領域分割結果に重大な欠陥を引き
起こしていた。
トルを動画像の領域分割に適用する場合、動きベクトル
が実際の動きと正しく対応するよう正確に検出できる必
要がある。従来の動きベクトル算出法は、ブロック内で
一意に動きベクトルを決定しており、その信頼性に対す
る評価尺度は考慮されていなかった。従って、ノイズの
影響などにより、たまたま誤った動きベクトルを求めて
しまった場合、それが領域分割結果に重大な欠陥を引き
起こしていた。
【０００９】本発明は、より簡易且つより正確に動画像
フレームを領域分割する装置及び方法並びに記憶媒体を
提示することを目的とする。
フレームを領域分割する装置及び方法並びに記憶媒体を
提示することを目的とする。
【００１０】
【課題を解決しようとする手段】本発明に係る領域分割
装置は、動きベクトルにより動画像フレームを領域分割
する装置であって、入力フレームをブロックに分割する
ブロック分割手段と、当該ブロック分割手段により得ら
れた各ブロックについて、参照フレームとブロックマッ
チングし、動きベクトルの候補を出力するブロックマッ
チング手段と、当該ブロックマッチング手段の結果に従
い領域分割のための確率を計算する確率計算手段と、当
該確率計算手段の計算結果に従い領域ラベルを決定する
決定手段とを具備することを特徴とする。
装置は、動きベクトルにより動画像フレームを領域分割
する装置であって、入力フレームをブロックに分割する
ブロック分割手段と、当該ブロック分割手段により得ら
れた各ブロックについて、参照フレームとブロックマッ
チングし、動きベクトルの候補を出力するブロックマッ
チング手段と、当該ブロックマッチング手段の結果に従
い領域分割のための確率を計算する確率計算手段と、当
該確率計算手段の計算結果に従い領域ラベルを決定する
決定手段とを具備することを特徴とする。
【００１１】本発明に係る領域分割方法は、動きベクト
ルにより動画像フレームを領域分割する方法であって、
入力フレームをブロックに分割するブロック分割ステッ
プと、当該ブロック分割ステップにより得られた各ブロ
ックについて、参照フレームとブロックマッチングし、
動きベクトルの候補を出力するブロックマッチングステ
ップと、当該ブロックマッチングステップの結果に従い
領域分割のための確率を計算する確率計算ステップと、
当該確率計算ステップの計算結果に従い領域ラベルを決
定する決定ステップとを具備することを特徴とする。
ルにより動画像フレームを領域分割する方法であって、
入力フレームをブロックに分割するブロック分割ステッ
プと、当該ブロック分割ステップにより得られた各ブロ
ックについて、参照フレームとブロックマッチングし、
動きベクトルの候補を出力するブロックマッチングステ
ップと、当該ブロックマッチングステップの結果に従い
領域分割のための確率を計算する確率計算ステップと、
当該確率計算ステップの計算結果に従い領域ラベルを決
定する決定ステップとを具備することを特徴とする。
【００１２】本発明に係る記憶媒体には、上述の領域分
割方法を実行するプログラムソフトウエアが格納され
る。
割方法を実行するプログラムソフトウエアが格納され
る。
【００１３】
【実施例】以下、図面を参照して、本発明の実施例を詳
細に説明する。
細に説明する。
【００１４】図１は、本発明の一実施例の概略構成ブロ
ック図を示す。第１の領域分割回路１０は、入力画像デ
ータを、その色彩と画素の位置によって複数の領域に分
割し、第２の領域分割回路１２は、入力画像データをそ
の空間周波数によって複数の領域に分割し、第３の領域
分割回路１４は、入力画像データを参照画像データと比
較して入力画像データの動きベクトルを算出し、その算
出結果に従って入力画像データを複数の領域に分割す
る。分割結果統合回路１６は、回路１０，１２，１４の
分割結果を統合し、最終的な領域分割結果を出力する。
ック図を示す。第１の領域分割回路１０は、入力画像デ
ータを、その色彩と画素の位置によって複数の領域に分
割し、第２の領域分割回路１２は、入力画像データをそ
の空間周波数によって複数の領域に分割し、第３の領域
分割回路１４は、入力画像データを参照画像データと比
較して入力画像データの動きベクトルを算出し、その算
出結果に従って入力画像データを複数の領域に分割す
る。分割結果統合回路１６は、回路１０，１２，１４の
分割結果を統合し、最終的な領域分割結果を出力する。
【００１５】図２は、回路１４の概略構成ブロック図を
示す。領域分割回路１４は、ブロック分割回路２０、ブ
ロックマッチング回路２２、初期分割回路２４、確率計
算回路２６、状態値選択回路２８及び分割結果生成回路
３０からなる。本実施例の領域分割回路１４は特に、確
率計算回路２６内での処理に特徴がある。本実施例で
は、領域分割の処理単位であるセルは、動きベクトルを
特徴とするブロックである。
示す。領域分割回路１４は、ブロック分割回路２０、ブ
ロックマッチング回路２２、初期分割回路２４、確率計
算回路２６、状態値選択回路２８及び分割結果生成回路
３０からなる。本実施例の領域分割回路１４は特に、確
率計算回路２６内での処理に特徴がある。本実施例で
は、領域分割の処理単位であるセルは、動きベクトルを
特徴とするブロックである。
【００１６】図３を参照して、図２に示す回路１４の動
作を説明する。入力画像データのフレームをＦｋ、参照
画像データのフレームをＦｒとする。ブロック分割回路
２０は、入力画像データ（動画像）をそのフレームＦｋ
内でブロックに分割する。分割後のブロックの形状及び
サイズは、特定のものに限定されないが、本実施例で
は、１フレームをｍ×ｎピクセルのブロックに分割す
る。ブロック分割回路２０は、分割されて生成される全
ブロックについて、ブロックの中心座標とそのブロック
内の画像データをブロックマッチング回路２２に出力す
る。ブロックＢｉの中心座標を（ｓｉ，ｔｉ）とする。
作を説明する。入力画像データのフレームをＦｋ、参照
画像データのフレームをＦｒとする。ブロック分割回路
２０は、入力画像データ（動画像）をそのフレームＦｋ
内でブロックに分割する。分割後のブロックの形状及び
サイズは、特定のものに限定されないが、本実施例で
は、１フレームをｍ×ｎピクセルのブロックに分割す
る。ブロック分割回路２０は、分割されて生成される全
ブロックについて、ブロックの中心座標とそのブロック
内の画像データをブロックマッチング回路２２に出力す
る。ブロックＢｉの中心座標を（ｓｉ，ｔｉ）とする。
【００１７】ブロックマッチング回路２２は、ブロック
分割回路２０からのブロックＢｉと参照フレームＦｒの
画像データとをマッチングする。具体的には、参照フレ
ームＦｒにおける（ｓｉ，ｔｉ）を中心とするＭ×Ｎ画
素の方形ブロック内で入力画像のブロックＢｉを走査
し、各走査位置での一致度を算出する。但し、Ｍ＞ｍ、
Ｎ＞ｎである。参照フレームＦｒ内でＢｉと同じ大きさ
の走査対象ブロックをＢｒｊとすると、動きベクトルの
候補ｖｉ，ｊは、Ｂｉの中心座標からＢｒｊの中心座標
へ向かうベクトルである。各走査位置で、ブロックＢｉ
とブロックＢｒｊの一致度ｅｉ，ｊを算出する。この処
理により、ブロックＢｉに関して、（Ｍ−ｍ）（Ｎ−
ｎ）個の動きベクトルの候補及びブロック間一致度ｅ
ｉ，ｊが算出される。
分割回路２０からのブロックＢｉと参照フレームＦｒの
画像データとをマッチングする。具体的には、参照フレ
ームＦｒにおける（ｓｉ，ｔｉ）を中心とするＭ×Ｎ画
素の方形ブロック内で入力画像のブロックＢｉを走査
し、各走査位置での一致度を算出する。但し、Ｍ＞ｍ、
Ｎ＞ｎである。参照フレームＦｒ内でＢｉと同じ大きさ
の走査対象ブロックをＢｒｊとすると、動きベクトルの
候補ｖｉ，ｊは、Ｂｉの中心座標からＢｒｊの中心座標
へ向かうベクトルである。各走査位置で、ブロックＢｉ
とブロックＢｒｊの一致度ｅｉ，ｊを算出する。この処
理により、ブロックＢｉに関して、（Ｍ−ｍ）（Ｎ−
ｎ）個の動きベクトルの候補及びブロック間一致度ｅ
ｉ，ｊが算出される。
【００１８】ブロック間一致度ｅｉ，ｊの算出方法を説
明する。ブロックＢｉの画素から生成されるブロック特
徴ベクトルをｂｉ、走査対象ブロックＢｒｊの画素から
生成されるブロック特徴ベクトルをｂｒｊとする。ブロ
ック特徴ベクトルは、ブロックに属する画素の平均色ベ
クトル又は空間周波数などを用いて定義することができ
るが、本実施例では、ブロックに属する画素の色ベクト
ルを並べて生成したベクトルであるとする。ｂｉとｂｒ
ｊの差ベクトルのノルムｄｉ，ｊによりｅｉ， ｊを算出
する場合、例えばｅｉ，ｊ＝ｅｘｐ（−ｄｉ，ｊ）とす
る。ｅｉ，ｊをｂｉとｂｒｊの内積により算出する場合
は、例えば、ｂｉ，ｂｒｊの方向ベクトルをそれぞれｈ
ｉ，ｈｒｊであるとすると、ｅｉ，ｊ＝ｈｉ・ｈｒｊと
する。
明する。ブロックＢｉの画素から生成されるブロック特
徴ベクトルをｂｉ、走査対象ブロックＢｒｊの画素から
生成されるブロック特徴ベクトルをｂｒｊとする。ブロ
ック特徴ベクトルは、ブロックに属する画素の平均色ベ
クトル又は空間周波数などを用いて定義することができ
るが、本実施例では、ブロックに属する画素の色ベクト
ルを並べて生成したベクトルであるとする。ｂｉとｂｒ
ｊの差ベクトルのノルムｄｉ，ｊによりｅｉ， ｊを算出
する場合、例えばｅｉ，ｊ＝ｅｘｐ（−ｄｉ，ｊ）とす
る。ｅｉ，ｊをｂｉとｂｒｊの内積により算出する場合
は、例えば、ｂｉ，ｂｒｊの方向ベクトルをそれぞれｈ
ｉ，ｈｒｊであるとすると、ｅｉ，ｊ＝ｈｉ・ｈｒｊと
する。
【００１９】ブロックＢｉを走査する方法として、フル
・サーチ及びステップ・サーチなど、従来からよく知ら
れている方法があるが、任意の走査方法を使用できる。
本実施例では、フル・サーチを使用する。
・サーチ及びステップ・サーチなど、従来からよく知ら
れている方法があるが、任意の走査方法を使用できる。
本実施例では、フル・サーチを使用する。
【００２０】ブロックマッチング回路２２は、このよう
に算出した動きベクトルの候補ｖｉ ｊとブロック間一致
度ｅｉ，ｊを初期分割回路２４及び確率計算回路２６に
出力する。
に算出した動きベクトルの候補ｖｉ ｊとブロック間一致
度ｅｉ，ｊを初期分割回路２４及び確率計算回路２６に
出力する。
【００２１】初期分割回路２４は、領域分割の初期状態
と、各ブロックの動きベクトルの初期値を決定する。Ｍ
ＲＦを用いた領域分割方式としては、ＩＣＭ（Ｉｔｅｒ
ａｔｅｄ Ｃｏｎｄｉｔｉｏｎａｌ Ｍｏｄｅｓ）法及
びメトロポリス法などが知られているが、本実施例で
は、ＩＣＭ法を用いる。
と、各ブロックの動きベクトルの初期値を決定する。Ｍ
ＲＦを用いた領域分割方式としては、ＩＣＭ（Ｉｔｅｒ
ａｔｅｄ Ｃｏｎｄｉｔｉｏｎａｌ Ｍｏｄｅｓ）法及
びメトロポリス法などが知られているが、本実施例で
は、ＩＣＭ法を用いる。
【００２２】図４を参照して、初期分割回路２４におけ
る処理を説明する。初期分割回路２４は、ブロックｉに
対してブロック間一致度ｅｉ，ｊが最大になる走査位置
に対応する動きベクトルの候補ｖｉ，ｊを、ブロックｉ
における動きベクトルｖｉ’の初期値とする。初期分割
回路２４はまた、ブロックｉの、領域分割結果の領域ラ
ベルに相当する状態値ｘｉ（ｃ）の初期値を乱数で決定
する。クリークｃは、状態値を決めるための領域、即ち
ＭＲＦにおけるクリークである。本実施例では、クリー
クは、ブロックＢｉの４近傍のブロックとする。
る処理を説明する。初期分割回路２４は、ブロックｉに
対してブロック間一致度ｅｉ，ｊが最大になる走査位置
に対応する動きベクトルの候補ｖｉ，ｊを、ブロックｉ
における動きベクトルｖｉ’の初期値とする。初期分割
回路２４はまた、ブロックｉの、領域分割結果の領域ラ
ベルに相当する状態値ｘｉ（ｃ）の初期値を乱数で決定
する。クリークｃは、状態値を決めるための領域、即ち
ＭＲＦにおけるクリークである。本実施例では、クリー
クは、ブロックＢｉの４近傍のブロックとする。
【００２３】確率計算回路２６は、動きベクトルの候補
ｖｉ，ｊと状態値ｘｉ（ｃ）の全ての組み合わせの出現
確率Ｐを計算する。状態値は、領域分割結果の領域ラベ
ルに相当する。動きベクトルｖｉ，ｊが状態値ｘ
ｉ（ｃ）となる確率Ｐ（ｘｉ（ｃ）｜ｖｉ，ｊ）は、次
式で与えられる。すなわち、 P(xi(c)|vi,j) = {expD(xi(c))expU(vi,j|xi(c))}/{Z(x
i(c))Z(xi(c), vi ,j) P(vi,j)} 但し、 Z(xi(c)) = Σc expU(xi(c)) Z(xi(c), vi,j) = 2πα／２|σ(xi(c))|1/2 D(x, y) = 1(1/2)(y - μx)T σx (y - μx) x = xi(c) y = vi,j U(xi(c)) = βΣgλg λg = 1 ｘｇ（ｃ）＝ｘｉ（ｃ）のとき λg = -1 ｘｇ（ｃ）≠ｘｉ（ｃ）のとき である。整数ｊは、［１，（Ｍ−ｍ）×（Ｎ−ｎ）］の
範囲の値をとる。αはｂ ｉの次元数、βは任意の実数で
ある。Ｐ（ｖｉ，ｊ）はｅｉ，ｊを［０，１］に正規化
した値とする。また、σｘ（ｃ）は同じ領域ラベルを持
つブロックの動きベクトルの分散共分散行列、μ
ｘ（ｃ）は同じ領域ラベルを持つブロックの動きベクト
ルの平均であるが、これらはｊの値によって変化するの
で、確率計算を行う度に再計算する必要がある。Σ
ｇは、クリークｃに含まれるｇに対する積算を意味す
る。
ｖｉ，ｊと状態値ｘｉ（ｃ）の全ての組み合わせの出現
確率Ｐを計算する。状態値は、領域分割結果の領域ラベ
ルに相当する。動きベクトルｖｉ，ｊが状態値ｘ
ｉ（ｃ）となる確率Ｐ（ｘｉ（ｃ）｜ｖｉ，ｊ）は、次
式で与えられる。すなわち、 P(xi(c)|vi,j) = {expD(xi(c))expU(vi,j|xi(c))}/{Z(x
i(c))Z(xi(c), vi ,j) P(vi,j)} 但し、 Z(xi(c)) = Σc expU(xi(c)) Z(xi(c), vi,j) = 2πα／２|σ(xi(c))|1/2 D(x, y) = 1(1/2)(y - μx)T σx (y - μx) x = xi(c) y = vi,j U(xi(c)) = βΣgλg λg = 1 ｘｇ（ｃ）＝ｘｉ（ｃ）のとき λg = -1 ｘｇ（ｃ）≠ｘｉ（ｃ）のとき である。整数ｊは、［１，（Ｍ−ｍ）×（Ｎ−ｎ）］の
範囲の値をとる。αはｂ ｉの次元数、βは任意の実数で
ある。Ｐ（ｖｉ，ｊ）はｅｉ，ｊを［０，１］に正規化
した値とする。また、σｘ（ｃ）は同じ領域ラベルを持
つブロックの動きベクトルの分散共分散行列、μ
ｘ（ｃ）は同じ領域ラベルを持つブロックの動きベクト
ルの平均であるが、これらはｊの値によって変化するの
で、確率計算を行う度に再計算する必要がある。Σ
ｇは、クリークｃに含まれるｇに対する積算を意味す
る。
【００２４】このように、動きベクトルの候補と状態値
の組み合わせの出現確率を計算した後、状態値選択回路
２８が、各ブロックの状態値を選択する。すなわち、状
態値選択回路２８は、ブロックごとに出現確率が最大と
なる動きベクトルの候補と状態値の組み合わせを選択
し、ブロックごとの動きベクトルと状態値を更新する。
具体的には、先ず、各ブロックについて、出現確率が最
も高くなる動きベクトルの候補と状態値を選択する。選
択された動きベクトルの候補ｖｉ，ｊをブロックｊの動
きベクトルｖｉ’とし、ブロックｉの状態値ｘｉ（ｃ）
を選択された状態値とする。動きベクトルは、他のブロ
ックの確率計算の際の平均値μｘ（ｃ）及び分散共分散
行列σｉ（ｃ）の計算に用いられる。状態値が変化しな
かったブロックの割合を計算し、予め定められた割合を
越えていなければ、確率計算回路２６による確率計算を
再実行する。定められた割合を越えるまで、確率計算を
繰り返すことになる。
の組み合わせの出現確率を計算した後、状態値選択回路
２８が、各ブロックの状態値を選択する。すなわち、状
態値選択回路２８は、ブロックごとに出現確率が最大と
なる動きベクトルの候補と状態値の組み合わせを選択
し、ブロックごとの動きベクトルと状態値を更新する。
具体的には、先ず、各ブロックについて、出現確率が最
も高くなる動きベクトルの候補と状態値を選択する。選
択された動きベクトルの候補ｖｉ，ｊをブロックｊの動
きベクトルｖｉ’とし、ブロックｉの状態値ｘｉ（ｃ）
を選択された状態値とする。動きベクトルは、他のブロ
ックの確率計算の際の平均値μｘ（ｃ）及び分散共分散
行列σｉ（ｃ）の計算に用いられる。状態値が変化しな
かったブロックの割合を計算し、予め定められた割合を
越えていなければ、確率計算回路２６による確率計算を
再実行する。定められた割合を越えるまで、確率計算を
繰り返すことになる。
【００２５】分割結果生成回路３０は、状態値選択回路
２８により確定したブロックごとの状態値から、分割結
果（状態値に応じたラベル画像）を生成し出力する。
２８により確定したブロックごとの状態値から、分割結
果（状態値に応じたラベル画像）を生成し出力する。
【００２６】これら一連の処理によって、動画像を最適
な領域に分割できる。
な領域に分割できる。
【００２７】上記実施例では、全ての動きベクトルの候
補から動きベクトルを決定したが、動きベクトルの候補
をブロック間一致度の大きい順に上位ｎ個に限定して以
後の処理を実行するようにしてもよい。こうすることに
より、領域分割を高速化できる。
補から動きベクトルを決定したが、動きベクトルの候補
をブロック間一致度の大きい順に上位ｎ個に限定して以
後の処理を実行するようにしてもよい。こうすることに
より、領域分割を高速化できる。
【００２８】ブロック間一致度に対して予め閾値を定
め、動きベクトルの候補をその閾値を越えるブロック間
一致度を持つものに限定して、以後の処理を実行するよ
うにしても、領域分割を高速化できる。
め、動きベクトルの候補をその閾値を越えるブロック間
一致度を持つものに限定して、以後の処理を実行するよ
うにしても、領域分割を高速化できる。
【００２９】本発明は、上述の実施例の機能を実現する
ソフトウエアのプログラムコードを記録した記憶媒体
を、システム又は装置に供給し、そのシステム又は装置
のコンピュータ（ＣＰＵ又はＭＰＵ）が記憶媒体に格納
されたプログラムコードを読み出し実行することによっ
ても、達成できる。この場合、記憶媒体から読み出され
たプログラムコード自体が上述した実施例の機能を実現
することになり、そのプログラムコードを記憶した記憶
媒体は、本発明を構成する。
ソフトウエアのプログラムコードを記録した記憶媒体
を、システム又は装置に供給し、そのシステム又は装置
のコンピュータ（ＣＰＵ又はＭＰＵ）が記憶媒体に格納
されたプログラムコードを読み出し実行することによっ
ても、達成できる。この場合、記憶媒体から読み出され
たプログラムコード自体が上述した実施例の機能を実現
することになり、そのプログラムコードを記憶した記憶
媒体は、本発明を構成する。
【００３０】プログラムコードを供給するための記憶媒
体としては、例えば、フロッピーディスク、ハードディ
スク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、Ｃ
Ｄ−Ｒ、磁気テープ、不揮発性のメモリカード及びＲＯ
Ｍ等がある。
体としては、例えば、フロッピーディスク、ハードディ
スク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、Ｃ
Ｄ−Ｒ、磁気テープ、不揮発性のメモリカード及びＲＯ
Ｍ等がある。
【００３１】また、コンピュータが読み出したプログラ
ムコードを実行することにより、上述した実施例の機能
が実現されるだけでなく、そのプログラムコードの指示
に基づき、コンピュータ上で稼動しているオペレーティ
ングシステムなどが実際の処理の一部または全部を行
い、その処理によって上述した実施例の機能が実現され
る場合も含まれる。
ムコードを実行することにより、上述した実施例の機能
が実現されるだけでなく、そのプログラムコードの指示
に基づき、コンピュータ上で稼動しているオペレーティ
ングシステムなどが実際の処理の一部または全部を行
い、その処理によって上述した実施例の機能が実現され
る場合も含まれる。
【００３２】さらに、記憶媒体から読み出されたプログ
ラムコードが、コンピュータに挿入された拡張ボード又
は機能拡張ユニットに備わるメモリに書き込まれた後、
そのプログラムコードの指示に基づき、その機能拡張ボ
ード又は機能拡張ユニットに備わるＣＰＵ等が実際の処
理の一部又は全部を行ない、その処理によって上述した
実施例の機能が実現される場合も、本発明の範囲に含ま
れる。
ラムコードが、コンピュータに挿入された拡張ボード又
は機能拡張ユニットに備わるメモリに書き込まれた後、
そのプログラムコードの指示に基づき、その機能拡張ボ
ード又は機能拡張ユニットに備わるＣＰＵ等が実際の処
理の一部又は全部を行ない、その処理によって上述した
実施例の機能が実現される場合も、本発明の範囲に含ま
れる。
【００３３】
【発明の効果】以上の説明から容易に理解できるよう
に、本発明によれば、各ブロックの動きベクトルを一意
に決定せずに、状況に応じて最適な動きベクトルによっ
て領域分割を行うことが可能になる。ＭＲＦを用いた確
率関数により、ノイズを考慮した領域分割が実現でき
る。
に、本発明によれば、各ブロックの動きベクトルを一意
に決定せずに、状況に応じて最適な動きベクトルによっ
て領域分割を行うことが可能になる。ＭＲＦを用いた確
率関数により、ノイズを考慮した領域分割が実現でき
る。
【図１】 本発明の一実施例の概略構成ブロック図であ
る。
る。
【図２】 領域分割回路１４の概略構成ブロック図であ
る。
る。
【図３】 ブロックマッチングの様子を示す模式図であ
る。
る。
【図４】 動きベクトルの候補ｖｉ，ｊ、動きべクトル
及び状態値ｘｉ（ｃ）の関係を示す模式図である。
及び状態値ｘｉ（ｃ）の関係を示す模式図である。
１０，１２，１４：領域分割回路 １６：分割結果統合回路 ２０：ブロック分割回路 ２２：ブロックマッチング回路 ２４：初期分割回路 ２６：確率計算回路 ２８：状態値選択回路 ３０：分割結果生成回路
フロントページの続き Ｆターム(参考） 5C059 KK00 MA00 MB02 MB04 NN01 NN24 NN28 PP04 UA38 UA39 5C078 BA21 CA00 DA00 DA01 DA21 DB00 5L096 BA20 CA02 GA19 HA04
Claims (15)
- 【請求項１】 動きベクトルにより動画像フレームを領
域分割する装置であって、 入力フレームをブロックに分割するブロック分割手段
と、 当該ブロック分割手段により得られた各ブロックについ
て、参照フレームとブロックマッチングし、動きベクト
ルの候補を出力するブロックマッチング手段と、 当該ブロックマッチング手段の結果に従い領域分割のた
めの確率を計算する確率計算手段と、 当該確率計算手段の計算結果に従い領域ラベルを決定す
る決定手段とを具備することを特徴とする領域分割装
置。 - 【請求項２】 当該確率計算手段及び当該決定手段は、
当該ブロックマッチング手段において算出される動きベ
クトルの候補の尤度並びにそのブロック及び周囲のブロ
ックの領域ラベルを参照して動的に動きベクトルを選択
し、領域分割処理を実行する請求項１に記載の領域分割
装置。 - 【請求項３】 当該確率計算手段及び当該決定手段は、
ＭＲＦを用いて領域分割処理を実行する請求項２に記載
の領域分割装置。 - 【請求項４】 当該ブロックマッチング手段は、各ブロ
ックの特徴量を示すベクトルの内積により算出されるブ
ロック間一致度を出力する請求項１に記載の領域分割装
置。 - 【請求項５】 当該ブロックマッチング手段は、各ブロ
ックの特徴量を示すベクトルの差ベクトルのノルムによ
り算出されるブロック間一致度を出力する請求項１に記
載の領域分割装置。 - 【請求項６】 動きベクトルにより動画像フレームを領
域分割する方法であって、 入力フレームをブロックに分割するブロック分割ステッ
プと、 当該ブロック分割ステップにより得られた各ブロックに
ついて、参照フレームとブロックマッチングし、動きベ
クトルの候補を出力するブロックマッチングステップ
と、 当該ブロックマッチングステップの結果に従い領域分割
のための確率を計算する確率計算ステップと、 当該確率計算ステップの計算結果に従い領域ラベルを決
定する決定ステップとを具備することを特徴とする領域
分割方法。 - 【請求項７】 当該確率計算ステップ及び当該決定ステ
ップは、当該ブロックマッチングステップにより算出さ
れる動きベクトルの候補の尤度並びにそのブロック及び
周囲のブロックの領域ラベルを参照して動的に動きベク
トルを選択し、領域分割処理を実行する請求項６に記載
の領域分割方法。 - 【請求項８】 当該確率計算ステップ及び当該決定ステ
ップは、ＭＲＦを用いて領域分割処理を実行する請求項
７に記載の領域分割方法。 - 【請求項９】 当該ブロックマッチングステップは、各
ブロックの特徴量を示すベクトルの内積により算出され
るブロック間一致度を出力する請求項６に記載の領域分
割方法。 - 【請求項１０】 当該ブロックマッチングステップは、
各ブロックの特徴量を示すベクトルの差ベクトルのノル
ムにより算出されるブロック間一致度を出力する請求項
６に記載の領域分割方法。 - 【請求項１１】 動きベクトルにより動画像フレームを
領域分割する方法を実行するプログラムソフトウエアを
記憶する記憶媒体であって、当該領域分割方法が、 入力フレームをブロックに分割するブロック分割ステッ
プと、 当該ブロック分割ステップにより得られた各ブロックに
ついて、参照フレームとブロックマッチングし、動きベ
クトルの候補を出力するブロックマッチングステップ
と、 当該ブロックマッチングステップの結果に従い領域分割
のための確率を計算する確率計算ステップと、 当該確率計算ステップの計算結果に従い領域ラベルを決
定する決定ステップとを具備することを特徴とする記憶
媒体。 - 【請求項１２】 当該確率計算ステップ及び当該決定ス
テップは、当該ブロックマッチングステップにより算出
される動きベクトルの候補の尤度並びにそのブロック及
び周囲のブロックの領域ラベルを参照して動的に動きベ
クトルを選択し、領域分割処理を実行する請求項１１に
記載の記憶媒体。 - 【請求項１３】 当該確率計算ステップ及び決定ステッ
プは、ＭＲＦを用いて領域分割処理を実行する請求項１
２に記載の記憶媒体。 - 【請求項１４】 当該ブロックマッチングステップは、
各ブロックの特徴量を示すベクトルの内積により算出さ
れるブロック間一致度を出力する請求項１１に記載の記
憶媒体。 - 【請求項１５】 当該ブロックマッチングステップは、
各ブロックの特徴量を示すベクトルの差ベクトルのノル
ムにより算出されるブロック間一致度を出力する請求項
１１に記載の記憶媒体。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP27654799A JP2001103470A (ja) | 1999-09-29 | 1999-09-29 | 領域分割装置及び方法並びに記憶媒体 |
| US09/669,679 US6795578B1 (en) | 1999-09-29 | 2000-09-26 | Image processing apparatus and method, and storage medium |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP27654799A JP2001103470A (ja) | 1999-09-29 | 1999-09-29 | 領域分割装置及び方法並びに記憶媒体 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2001103470A true JP2001103470A (ja) | 2001-04-13 |
Family
ID=17571015
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP27654799A Withdrawn JP2001103470A (ja) | 1999-09-29 | 1999-09-29 | 領域分割装置及び方法並びに記憶媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2001103470A (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2015138550A (ja) * | 2014-01-23 | 2015-07-30 | 三菱電機株式会社 | カメラシステムを用いて自由空間を推定する方法 |
-
1999
- 1999-09-29 JP JP27654799A patent/JP2001103470A/ja not_active Withdrawn
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2015138550A (ja) * | 2014-01-23 | 2015-07-30 | 三菱電機株式会社 | カメラシステムを用いて自由空間を推定する方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8718324B2 (en) | Method, apparatus and computer program product for providing object tracking using template switching and feature adaptation | |
| Deng et al. | Unsupervised segmentation of color-texture regions in images and video | |
| US7046850B2 (en) | Image matching | |
| JP4739355B2 (ja) | 統計的テンプレートマッチングによる高速な物体検出方法 | |
| US4611347A (en) | Video recognition system | |
| US9794588B2 (en) | Image processing system with optical flow recovery mechanism and method of operation thereof | |
| JP6075190B2 (ja) | 画像処理方法及び装置 | |
| JP2008033424A (ja) | 画像処理装置、画像処理方法、プログラム及び記憶媒体 | |
| Safaei et al. | Real-time search-free multiple license plate recognition via likelihood estimation of saliency | |
| JPH09231359A (ja) | 画像処理方法 | |
| US20070025592A1 (en) | Target-region detection apparatus, method and program | |
| CN111052184A (zh) | 动态图像处理装置、显示装置、动态图像处理方法以及控制程序 | |
| Cook et al. | Multiresolution sequential edge linking | |
| US20040062440A1 (en) | Sprite recognition in animated sequences | |
| JP2010165052A (ja) | 画像処理装置及び画像処理方法 | |
| CN113297870A (zh) | 图像处理方法、装置、电子设备及计算机可读存储介质 | |
| US6795578B1 (en) | Image processing apparatus and method, and storage medium | |
| Flores-Mangas et al. | Fast rigid motion segmentation via incrementally-complex local models | |
| JP2014010633A (ja) | 画像認識装置、画像認識方法、及び画像認識プログラム | |
| JP2001103470A (ja) | 領域分割装置及び方法並びに記憶媒体 | |
| Herrmann et al. | A video segmentation algorithm for hierarchical object representations and its implementation | |
| US10872257B2 (en) | Barcode detection method and barcode detection system for increasing detection efficiency | |
| Almohaimeed et al. | A comparative study of different oject tracking methods in a video | |
| JP2002051342A (ja) | 符号化装置及び符号化方法並びに記憶媒体 | |
| JP2011159097A (ja) | オブジェクト検出方法及びオブジェクト検出装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A300 | Withdrawal of application because of no request for examination |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20061205 |