JP2001043380A - 映像分割装置及びその方法 - Google Patents
映像分割装置及びその方法Info
- Publication number
- JP2001043380A JP2001043380A JP2000188851A JP2000188851A JP2001043380A JP 2001043380 A JP2001043380 A JP 2001043380A JP 2000188851 A JP2000188851 A JP 2000188851A JP 2000188851 A JP2000188851 A JP 2000188851A JP 2001043380 A JP2001043380 A JP 2001043380A
- Authority
- JP
- Japan
- Prior art keywords
- area
- region
- adjacent
- regions
- areas
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/162—Segmentation; Edge detection involving graph-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
- Processing Of Color Television Signals (AREA)
Abstract
(57)【要約】
【課題】 映像分割装置及びその方法を提供する。
【解決手段】 入力映像の色信号を所定の色空間に変換
して前記入力映像の色画素が前記色空間で占める位置に
応じて前記入力映像を複数の領域に分割する初期映像分
割部１００と、分割された領域間の水平的な隣接関係及
び垂直的な包含関係に応じて分割された領域を複数のレ
イヤに分け、各レイヤ内において隣接する領域をグルー
ピングして領域グループを形成し各レイヤごとに形成さ
れた領域グループ間の垂直的な包含関係を抽出する領域
構造化部１１０と、各領域間の水平的な隣接関係及び前
記領域グループ間の垂直的な包含関係に応じて各領域間
の結合順位を決定し、決定された結合順位に基づいて隣
接領域間の結合の成否を評価し、評価された領域が実質
的に同一の映像特性を有する領域であると判断されれば
前記領域間を結合する過分割領域結合部１２０とを含ん
で成る。
して前記入力映像の色画素が前記色空間で占める位置に
応じて前記入力映像を複数の領域に分割する初期映像分
割部１００と、分割された領域間の水平的な隣接関係及
び垂直的な包含関係に応じて分割された領域を複数のレ
イヤに分け、各レイヤ内において隣接する領域をグルー
ピングして領域グループを形成し各レイヤごとに形成さ
れた領域グループ間の垂直的な包含関係を抽出する領域
構造化部１１０と、各領域間の水平的な隣接関係及び前
記領域グループ間の垂直的な包含関係に応じて各領域間
の結合順位を決定し、決定された結合順位に基づいて隣
接領域間の結合の成否を評価し、評価された領域が実質
的に同一の映像特性を有する領域であると判断されれば
前記領域間を結合する過分割領域結合部１２０とを含ん
で成る。
Description
【０００１】
【発明の属する技術分野】本発明は映像分割装置及びそ
の方法に係り、特に、カメラセンサーから入力された映
像やビデオ映像において同一色のオブジェクト領域を分
割したり、或いは前記映像から意味のある映像領域を抽
出したりする映像分割装置及びその方法に関する。
の方法に係り、特に、カメラセンサーから入力された映
像やビデオ映像において同一色のオブジェクト領域を分
割したり、或いは前記映像から意味のある映像領域を抽
出したりする映像分割装置及びその方法に関する。
【０００２】
【従来の技術】従来の映像は一般に、赤色（Ｒ）、緑色
（Ｇ）及び青色（Ｂ）の３色信号からなる。「映像分
割」とは、ここでは入力色信号からなる映像から同一色
領域や同一オブジェクト領域を抽出することをいう。こ
のように抽出された映像データは、客体基盤の映像情報
処理のための映像分析、映像圧縮、映像認識、そして自
動化応用などのデジタル映像処理と関わる分野において
有効に使用できる。色信号に基づく映像領域分割方法の
大部分は、通常、入力色信号を他の各種の形態の色空間
に投影してその密集度を抽出したり、映像領域における
各色画素の空間隣接性などを考慮して分割したりする。
なお、入力映像の色信号を所定の方法で色画素に変換し
投影することによってこの入力映像の色画素が占める空
間を、ここでは「色空間」という。
（Ｇ）及び青色（Ｂ）の３色信号からなる。「映像分
割」とは、ここでは入力色信号からなる映像から同一色
領域や同一オブジェクト領域を抽出することをいう。こ
のように抽出された映像データは、客体基盤の映像情報
処理のための映像分析、映像圧縮、映像認識、そして自
動化応用などのデジタル映像処理と関わる分野において
有効に使用できる。色信号に基づく映像領域分割方法の
大部分は、通常、入力色信号を他の各種の形態の色空間
に投影してその密集度を抽出したり、映像領域における
各色画素の空間隣接性などを考慮して分割したりする。
なお、入力映像の色信号を所定の方法で色画素に変換し
投影することによってこの入力映像の色画素が占める空
間を、ここでは「色空間」という。
【０００３】ところが、このような領域分割方法におい
ては、映像の形成に影響する様々な環境及び条件による
複雑性や映像分割方法の限界などによって同一オブジェ
クトや同一色のオブジェクトであっても、カメラなどを
通して入力された映像においては同一の色特性を示さな
いという問題を有する。この色特性上の問題は、映像領
域の分割に際して過大な雑音領域を生じる原因となる。
その結果、映像領域の分割が行われた後の色特性または
輝度特性は、原オブジェクトの色特性とは全く異なる
か、あるいはそれから相当逸脱したもとのなる。
ては、映像の形成に影響する様々な環境及び条件による
複雑性や映像分割方法の限界などによって同一オブジェ
クトや同一色のオブジェクトであっても、カメラなどを
通して入力された映像においては同一の色特性を示さな
いという問題を有する。この色特性上の問題は、映像領
域の分割に際して過大な雑音領域を生じる原因となる。
その結果、映像領域の分割が行われた後の色特性または
輝度特性は、原オブジェクトの色特性とは全く異なる
か、あるいはそれから相当逸脱したもとのなる。
【０００４】かかる問題を解決するために、シェティニ
（Ｒ．Ｓｃｈｅｔｔｉｎｉ，Ｐａｔｔｅｒｎ Ｒｅｃｏ
ｇｎｉｔｉｏｎ Ｌｅｔｔｅｒ １４：１９９３）及び
ベバリッジ（Ｒ．Ｂｅｖｅｒｉｄｇｅ，ＩＪＣＶ ２：
１９８９）によって、初期映像分割後に発生した雑音領
域を各分割領域が有している色情報を使って除去する方
法が提案されている。この方法は、ユークリッド距離ま
たは確率的な距離に基づき、色空間において隣接領域と
の距離を測定し、より小さい色差を有する隣接領域と融
合させる方法である。ところが、この方法は、下記の如
き問題点を有する。
（Ｒ．Ｓｃｈｅｔｔｉｎｉ，Ｐａｔｔｅｒｎ Ｒｅｃｏ
ｇｎｉｔｉｏｎ Ｌｅｔｔｅｒ １４：１９９３）及び
ベバリッジ（Ｒ．Ｂｅｖｅｒｉｄｇｅ，ＩＪＣＶ ２：
１９８９）によって、初期映像分割後に発生した雑音領
域を各分割領域が有している色情報を使って除去する方
法が提案されている。この方法は、ユークリッド距離ま
たは確率的な距離に基づき、色空間において隣接領域と
の距離を測定し、より小さい色差を有する隣接領域と融
合させる方法である。ところが、この方法は、下記の如
き問題点を有する。
【０００５】（１）同一オブジェクトや同一カラーから
分割された相互隣接した両映像領域でさえ、多くの場
合、色情報の類似性が現れず、結合が難しくなる。 （２）隣接領域間の順次的な領域結合の結果は、その結
合される順序の違いによって大きく異なってくる。 （３）全ての隣接領域に対して結合評価をする必要があ
る。 （４）各初期映像分割から得られる各領域の重要度やサ
イズ、映像における各領域間の構造的な包含関係に関す
る情報を使用することが極めて困難である。
分割された相互隣接した両映像領域でさえ、多くの場
合、色情報の類似性が現れず、結合が難しくなる。 （２）隣接領域間の順次的な領域結合の結果は、その結
合される順序の違いによって大きく異なってくる。 （３）全ての隣接領域に対して結合評価をする必要があ
る。 （４）各初期映像分割から得られる各領域の重要度やサ
イズ、映像における各領域間の構造的な包含関係に関す
る情報を使用することが極めて困難である。
【０００６】映像を形成する重要な要素としては、照
明、オブジェクトの形状及びこれらの幾何学的な相互配
置関係、観察者や映像入力装置とオブジェクトとの相互
位置関係などが挙げられる。理想的な映像分割は、この
ような映像形成の各種の条件にも関わらず、人間の認知
に類似した方法によって、背景または他のオブジェクト
から意味のあるオブジェクトまたは同一色領域を効率良
く区別することである。一般に、同一オブジェクトや同
一色を有する背景またはオブジェクトの映像分割を行う
場合には、オブジェクトの相互空間配置及びオブジェク
ト形状そのものの変化に影響されて映像に陰影領域が生
じる。この陰影領域は、映像分割作業を難しくする原因
となる。
明、オブジェクトの形状及びこれらの幾何学的な相互配
置関係、観察者や映像入力装置とオブジェクトとの相互
位置関係などが挙げられる。理想的な映像分割は、この
ような映像形成の各種の条件にも関わらず、人間の認知
に類似した方法によって、背景または他のオブジェクト
から意味のあるオブジェクトまたは同一色領域を効率良
く区別することである。一般に、同一オブジェクトや同
一色を有する背景またはオブジェクトの映像分割を行う
場合には、オブジェクトの相互空間配置及びオブジェク
ト形状そのものの変化に影響されて映像に陰影領域が生
じる。この陰影領域は、映像分割作業を難しくする原因
となる。
【０００７】すなわち、色または輝度分布情報を使って
映像分割を行う際、この陰影領域は独立的な色特性また
は輝度分布を有するため独立領域として抽出されるが、
この抽出された陰影領域が映像分割中から除去される
と、この陰影領域の除去が映像から意味のあるオブジェ
クトの分割に大きな影響を及ぼし、映像分割作業が難し
くなる。
映像分割を行う際、この陰影領域は独立的な色特性また
は輝度分布を有するため独立領域として抽出されるが、
この抽出された陰影領域が映像分割中から除去される
と、この陰影領域の除去が映像から意味のあるオブジェ
クトの分割に大きな影響を及ぼし、映像分割作業が難し
くなる。
【０００８】例えば、色空間において、隣接オブジェク
ト領域間の色情報の類似性に基づいて陰影領域を除去す
ると、色情報の類似性のみに基づいて周辺領域を結合す
ることが難しくなる。その理由として、通常、陰影領域
において、全体的な色強度の低下によって色情報が消滅
したり、映像雑音の影響によって色情報の一貫性が失わ
れたりすることが挙げられる。この場合、領域間のエッ
ジ情報などの幾何学的な情報または相互配置関係、隣接
の度合いなどの位相学的な情報が有用となる。
ト領域間の色情報の類似性に基づいて陰影領域を除去す
ると、色情報の類似性のみに基づいて周辺領域を結合す
ることが難しくなる。その理由として、通常、陰影領域
において、全体的な色強度の低下によって色情報が消滅
したり、映像雑音の影響によって色情報の一貫性が失わ
れたりすることが挙げられる。この場合、領域間のエッ
ジ情報などの幾何学的な情報または相互配置関係、隣接
の度合いなどの位相学的な情報が有用となる。
【０００９】さらに、前記したシェティニ等の指摘のよ
うに、映像の初期領域分割後に、各映像領域間の隣接条
件を表わすグラフ（ＲＡＧ：Ｒｅｇｉｏｎ Ａｄｊａｃ
ｅｎｔ Ｇｒａｐｈ；Ｍａｔａｓ，Ｉｎｔ．Ｃｏｎｆ．
ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ，１９９５）を
使って、後処理することにより領域結合を行う方法があ
る。しかし、このような水平構造の隣接条件では、類似
する特性を有する領域間の結合順序が決め難い。
うに、映像の初期領域分割後に、各映像領域間の隣接条
件を表わすグラフ（ＲＡＧ：Ｒｅｇｉｏｎ Ａｄｊａｃ
ｅｎｔ Ｇｒａｐｈ；Ｍａｔａｓ，Ｉｎｔ．Ｃｏｎｆ．
ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ，１９９５）を
使って、後処理することにより領域結合を行う方法があ
る。しかし、このような水平構造の隣接条件では、類似
する特性を有する領域間の結合順序が決め難い。
【００１０】例えば、初期領域分割後に発生する各領域
間の関係をＲＡＧにて表わすと、各領域を表わすノード
及び相互隣接する領域に対して各ノードを連結する枝か
らなる２進グラフを形成することができる。このように
形成された２進グラフは、各枝の方向性がない水平構造
のグラフとなる。このグラフのある領域がその領域と隣
接する多数個の領域を有していると仮定するとき、その
領域をどの領域と先に結合させるかを決定することが好
ましい。
間の関係をＲＡＧにて表わすと、各領域を表わすノード
及び相互隣接する領域に対して各ノードを連結する枝か
らなる２進グラフを形成することができる。このように
形成された２進グラフは、各枝の方向性がない水平構造
のグラフとなる。このグラフのある領域がその領域と隣
接する多数個の領域を有していると仮定するとき、その
領域をどの領域と先に結合させるかを決定することが好
ましい。
【００１１】例えば、領域Ｒiが領域Ｒjに最も類似する
色特性を有するために領域Ｒiと領域Ｒjとが結合され、
これと同様に、領域Ｒjは領域Ｒkに最も類似する色特性
を有するために領域Ｒjと領域Ｒkとが結合されるとする
場合、領域Ｒiと領域Ｒkとの色特性が必ずしも類似する
とは限らない。相異なる領域間の結合は、結合順序の違
いによって全く異なる分割結果をもたらす。このことは
、領域間の結合が順次効率的に行い難くなる原因とな
る。
色特性を有するために領域Ｒiと領域Ｒjとが結合され、
これと同様に、領域Ｒjは領域Ｒkに最も類似する色特性
を有するために領域Ｒjと領域Ｒkとが結合されるとする
場合、領域Ｒiと領域Ｒkとの色特性が必ずしも類似する
とは限らない。相異なる領域間の結合は、結合順序の違
いによって全く異なる分割結果をもたらす。このことは
、領域間の結合が順次効率的に行い難くなる原因とな
る。
【００１２】前述の問題点を解決するために、ロゼンフ
ェルド（Ｄｉｇｉｔａｌ Ｐｉｃｔｕｒｅ Ｐｒｏｃｅ
ｓｓｉｎｇ，Ａｃａｄｅｍｉｃ Ｐｒｅｓｓ，１９８
２）は、隣接領域のうち最も類似する領域間を結合させ
た上で、ＲＡＧを更新する方法を繰り返すことによっ
て、隣接領域間の結合順序を決定する方法の改善を図っ
たが、この方法によってもなお水平構造を有するグラフ
によって発生する問題を依然として抱えている。さら
に、ＲＡＧに基づく隣接領域間の結合に際し、隣接領域
の重要度に関する情報が極めて少ないため、全ての隣接
領域に対して結合テスト及び評価を同時に行う必要性が
生じるという問題もある。
ェルド（Ｄｉｇｉｔａｌ Ｐｉｃｔｕｒｅ Ｐｒｏｃｅ
ｓｓｉｎｇ，Ａｃａｄｅｍｉｃ Ｐｒｅｓｓ，１９８
２）は、隣接領域のうち最も類似する領域間を結合させ
た上で、ＲＡＧを更新する方法を繰り返すことによっ
て、隣接領域間の結合順序を決定する方法の改善を図っ
たが、この方法によってもなお水平構造を有するグラフ
によって発生する問題を依然として抱えている。さら
に、ＲＡＧに基づく隣接領域間の結合に際し、隣接領域
の重要度に関する情報が極めて少ないため、全ての隣接
領域に対して結合テスト及び評価を同時に行う必要性が
生じるという問題もある。
【００１３】
【発明が解決しようとする課題】本発明は、上記事情に
鑑みて成されたものであり、その目的は、初期映像領域
分割の結果から領域間の階層的な結合構造を得て、この
階層的な結合構造を利用して領域結合の順序を並べ替
え、且つ、階層的な包含関係を抽出して雑音領域を検出
し、該雑音領域を除去する映像分割装置及びその方法を
提供することである。
鑑みて成されたものであり、その目的は、初期映像領域
分割の結果から領域間の階層的な結合構造を得て、この
階層的な結合構造を利用して領域結合の順序を並べ替
え、且つ、階層的な包含関係を抽出して雑音領域を検出
し、該雑音領域を除去する映像分割装置及びその方法を
提供することである。
【００１４】
【課題を解決するための手段】前記目的を達成するため
に、請求項１に係る発明は、入力映像の色信号を所定の
色空間に変換して前記入力映像の色画素が前記色空間で
占める位置に応じて前記入力映像を複数の領域に分割す
る初期映像分割部と、分割された領域間の水平的な隣接
関係及び垂直的な包含関係に応じて分割された領域を複
数のレイヤに分け、各レイヤ内において隣接する領域を
グルーピングして領域グループを形成し、各レイヤごと
に形成された領域グループ間の垂直的な包含関係を抽出
する領域構造化部と、各領域間の水平的な隣接関係及び
前記領域グループ間の垂直的な包含関係に応じて各領域
間の結合順位を決定し、決定された結合順位に基づいて
隣接領域間の結合の成否を評価し、評価された領域が実
質的に同一の映像特性を有する領域であると判断されれ
ば前記領域間を結合する過分割領域結合部とを含む映像
分割装置として構成する。
に、請求項１に係る発明は、入力映像の色信号を所定の
色空間に変換して前記入力映像の色画素が前記色空間で
占める位置に応じて前記入力映像を複数の領域に分割す
る初期映像分割部と、分割された領域間の水平的な隣接
関係及び垂直的な包含関係に応じて分割された領域を複
数のレイヤに分け、各レイヤ内において隣接する領域を
グルーピングして領域グループを形成し、各レイヤごと
に形成された領域グループ間の垂直的な包含関係を抽出
する領域構造化部と、各領域間の水平的な隣接関係及び
前記領域グループ間の垂直的な包含関係に応じて各領域
間の結合順位を決定し、決定された結合順位に基づいて
隣接領域間の結合の成否を評価し、評価された領域が実
質的に同一の映像特性を有する領域であると判断されれ
ば前記領域間を結合する過分割領域結合部とを含む映像
分割装置として構成する。
【００１５】請求項２に係る発明は、請求項１におい
て、前記領域構造化部は、分割された各領域に対して前
記入力映像から連結画素を抽出する連結画素抽出部と、
抽出された連結画素から形成された領域の境界を捜索
し、捜索された境界から連結画素をチェックして垂直的
な構造において前記領域間の水平的な隣接関係を捜索す
る領域境界追跡部と、前記入力映像の境界と接触する領
域である背景領域から始まり順次各領域間の包含関係を
調べ、調べられた包含関係に応じて前記各領域を複数の
レイヤに分けるレイヤ抽出部と、各レイヤを構成する領
域がそのレイヤに属する他の領域と隣接しているかどう
かを調べて、隣接する場合には該当領域をグルーピング
して領域グループを形成し、隣接しない場合には１つの
領域からなる領域グループに形成する領域グループ形成
部と、各レイヤごとに形成された領域グループ間の垂直
的な包含関係を抽出する垂直領域グループ探索部とを具
備する映像分割装置として構成する。
て、前記領域構造化部は、分割された各領域に対して前
記入力映像から連結画素を抽出する連結画素抽出部と、
抽出された連結画素から形成された領域の境界を捜索
し、捜索された境界から連結画素をチェックして垂直的
な構造において前記領域間の水平的な隣接関係を捜索す
る領域境界追跡部と、前記入力映像の境界と接触する領
域である背景領域から始まり順次各領域間の包含関係を
調べ、調べられた包含関係に応じて前記各領域を複数の
レイヤに分けるレイヤ抽出部と、各レイヤを構成する領
域がそのレイヤに属する他の領域と隣接しているかどう
かを調べて、隣接する場合には該当領域をグルーピング
して領域グループを形成し、隣接しない場合には１つの
領域からなる領域グループに形成する領域グループ形成
部と、各レイヤごとに形成された領域グループ間の垂直
的な包含関係を抽出する垂直領域グループ探索部とを具
備する映像分割装置として構成する。
【００１６】請求項３に係る発明は、請求項２におい
て、前記連結画素抽出部は、下記（１）式を満足する画
素からなる連結画素領域σを抽出する手段を具備すると
ともに、前記連結画素の制限条件は、下記（２）式を満
足する映像分割装置として構成する。
て、前記連結画素抽出部は、下記（１）式を満足する画
素からなる連結画素領域σを抽出する手段を具備すると
ともに、前記連結画素の制限条件は、下記（２）式を満
足する映像分割装置として構成する。
【００１７】
【数１】
【００１８】
【数２】
【００１９】請求項４に係る発明は、請求項３におい
て、前記レイヤ抽出部は、前記領域間の包含関係を、領
域σi、領域σjの構造的な包含として包含（σi，σj）
で表わすとき、該包含（σi，σj）は、下記（３）式を
満足するかどうかによって判別する手段を具備する映像
分割装置として構成する。
て、前記レイヤ抽出部は、前記領域間の包含関係を、領
域σi、領域σjの構造的な包含として包含（σi，σj）
で表わすとき、該包含（σi，σj）は、下記（３）式を
満足するかどうかによって判別する手段を具備する映像
分割装置として構成する。
【００２０】
【数３】
【００２１】請求項５に係る発明は、請求項４におい
て、前記領域グループ形成部は、各レイヤに属する領域
が隣接した場合を隣接（σi，σj）とし、各レイヤに属
する領域が隣接しない場合を独立（σi，σj）とすると
き、該隣接（σi，σj）及び独立（σi，σj）は、それ
ぞれ下記（４）式及び（５）式を満足するかどうかによ
って判別する手段を具備する映像分割装置として構成す
る。
て、前記領域グループ形成部は、各レイヤに属する領域
が隣接した場合を隣接（σi，σj）とし、各レイヤに属
する領域が隣接しない場合を独立（σi，σj）とすると
き、該隣接（σi，σj）及び独立（σi，σj）は、それ
ぞれ下記（４）式及び（５）式を満足するかどうかによ
って判別する手段を具備する映像分割装置として構成す
る。
【００２２】
【数４】
【００２３】
【数５】
【００２４】請求項６に係る発明は、請求項１におい
て、前記過分割領域結合部は、垂直的な構造において前
記各領域の水平的な隣接関係及び領域グループ間の垂直
的な包含関係に応じて隣接領域間の結合順位を決定する
結合順位決定部と、決定された結合順位に応じて領域間
の結合の成否を判断する領域境界評価部と、前記領域境
界評価部において領域間結合が妥当であると判断されれ
ば、該当領域間を結合する領域結合部とを具備する映像
分割装置として構成する。
て、前記過分割領域結合部は、垂直的な構造において前
記各領域の水平的な隣接関係及び領域グループ間の垂直
的な包含関係に応じて隣接領域間の結合順位を決定する
結合順位決定部と、決定された結合順位に応じて領域間
の結合の成否を判断する領域境界評価部と、前記領域境
界評価部において領域間結合が妥当であると判断されれ
ば、該当領域間を結合する領域結合部とを具備する映像
分割装置として構成する。
【００２５】また、前記目的を達成するために、請求項
７に係る発明は、入力映像の色信号を所定の色空間に変
換して前記入力映像の画素が前記色空間で占める位置に
応じて前記入力映像を複数の領域に分割する初期映像分
割段階と、分割された領域の水平的な隣接関係及び垂直
的な包含関係に応じて分割された領域を複数のレイヤに
分け、各レイヤ内において隣接した領域をグルーピング
して領域グループに形成し各レイヤごとに形成された領
域グループ間の包含関係を抽出して隣接領域の結合順位
及び結合の成否を判断し、判断対象となる領域が実質的
に同一の映像特性を有する領域であると判断されれば、
前記領域間を結合する後処理段階とを含む映像分割方法
として構成する。
７に係る発明は、入力映像の色信号を所定の色空間に変
換して前記入力映像の画素が前記色空間で占める位置に
応じて前記入力映像を複数の領域に分割する初期映像分
割段階と、分割された領域の水平的な隣接関係及び垂直
的な包含関係に応じて分割された領域を複数のレイヤに
分け、各レイヤ内において隣接した領域をグルーピング
して領域グループに形成し各レイヤごとに形成された領
域グループ間の包含関係を抽出して隣接領域の結合順位
及び結合の成否を判断し、判断対象となる領域が実質的
に同一の映像特性を有する領域であると判断されれば、
前記領域間を結合する後処理段階とを含む映像分割方法
として構成する。
【００２６】請求項８に係る発明は、請求項７におい
て、前記後処理段階の結合順位判断は、判断しようとす
る領域を包囲する領域のうち前記判断しようとする領域
が属するレイヤの領域または一段階上位レイヤに属する
領域に対してなされる映像分割方法として構成する。
て、前記後処理段階の結合順位判断は、判断しようとす
る領域を包囲する領域のうち前記判断しようとする領域
が属するレイヤの領域または一段階上位レイヤに属する
領域に対してなされる映像分割方法として構成する。
【００２７】請求項９に係る発明は、請求項７におい
て、前記後処理段階の結合の成否の決定は、前記隣接領
域間のエッジ強度または境界の幾何学的な均一性を判断
することによってなされる映像分割方法として構成す
る。
て、前記後処理段階の結合の成否の決定は、前記隣接領
域間のエッジ強度または境界の幾何学的な均一性を判断
することによってなされる映像分割方法として構成す
る。
【００２８】
【発明の実施の形態】以下、添付した図面に基づき、本
発明の望ましい実施の形態について詳細に説明する。な
お、本発明は、この実施の形態のみに限定されるもので
はなく、本発明の技術的思想に基づく限りにおいて、適
宜に変形することが可能である。図１は、本発明に係る
映像分割装置のブロック図である。図１を参照すると、
本発明に係る映像分割装置は、初期映像分割部１００、
領域構造化部１１０及び過分割領域結合部１２０を含ん
で構成される。
発明の望ましい実施の形態について詳細に説明する。な
お、本発明は、この実施の形態のみに限定されるもので
はなく、本発明の技術的思想に基づく限りにおいて、適
宜に変形することが可能である。図１は、本発明に係る
映像分割装置のブロック図である。図１を参照すると、
本発明に係る映像分割装置は、初期映像分割部１００、
領域構造化部１１０及び過分割領域結合部１２０を含ん
で構成される。
【００２９】初期領域分割部１００は、カメラやビデオ
から入力される映像を色または領域に応じて分割するも
のである。領域構造化部１１０は、分割された領域情報
から各領域の階層的な領域情報を抽出し、抽出された階
層的な領域情報に基づいて各領域を構造化するものであ
る。そして過分割領域結合部１２０は、構造化された各
領域の情報に基づいて領域間の結合順位を決定し、結合
の対象となる領域境界を結合するものである。
から入力される映像を色または領域に応じて分割するも
のである。領域構造化部１１０は、分割された領域情報
から各領域の階層的な領域情報を抽出し、抽出された階
層的な領域情報に基づいて各領域を構造化するものであ
る。そして過分割領域結合部１２０は、構造化された各
領域の情報に基づいて領域間の結合順位を決定し、結合
の対象となる領域境界を結合するものである。
【００３０】初期領域分割部１００は、色信号変換部１
０１、投影部１０２、モード位置検出部１０３及び色領
域決定部１０４を具備する。領域構造化部１１０は、連
結画素抽出部１１１、領域境界追跡部１１２、レイヤ抽
出部１１３、領域グループ形成部１１４及び垂直領域グ
ループ探索部１１５を具備する。過分割領域結合部１２
０は、領域間結合順位決定部１２１、領域境界評価部１
２２及び領域結合部１２３を具備する。
０１、投影部１０２、モード位置検出部１０３及び色領
域決定部１０４を具備する。領域構造化部１１０は、連
結画素抽出部１１１、領域境界追跡部１１２、レイヤ抽
出部１１３、領域グループ形成部１１４及び垂直領域グ
ループ探索部１１５を具備する。過分割領域結合部１２
０は、領域間結合順位決定部１２１、領域境界評価部１
２２及び領域結合部１２３を具備する。
【００３１】次に、本発明に係る映像分割装置の動作に
ついて説明する。色信号変換部１０１は、入力映像の色
信号である赤色（Ｒ）、緑色（Ｇ）、及び青色（Ｂ）信
号を人間の認知特性に類似の輝度及び色度信号（以下
「Ｌ，ｕ，ｖ信号」という。）に変換する。投影部１０
２は、変換されたＬ，ｕ，ｖ信号を３次元色空間に投影
して、同一色または同一オブジェクト領域に対する場合
には、１つの密集空間を形成する。モード位置検出部１
０３は、例えば、平均値検索アルゴリズムなどの方法を
利用し、色特性に基づいて形成された密集分布データの
平均位置、すなわち、同一色領域の平均Ｌ，ｕ，ｖ信号
の色特性を表わすモード位置を検出する。色領域決定部
１０４は、検出された位置において決定された分布の幅
を決定する。このとき、決定された幅に含まれる色画素
は、同一領域を表わすものと仮定する。
ついて説明する。色信号変換部１０１は、入力映像の色
信号である赤色（Ｒ）、緑色（Ｇ）、及び青色（Ｂ）信
号を人間の認知特性に類似の輝度及び色度信号（以下
「Ｌ，ｕ，ｖ信号」という。）に変換する。投影部１０
２は、変換されたＬ，ｕ，ｖ信号を３次元色空間に投影
して、同一色または同一オブジェクト領域に対する場合
には、１つの密集空間を形成する。モード位置検出部１
０３は、例えば、平均値検索アルゴリズムなどの方法を
利用し、色特性に基づいて形成された密集分布データの
平均位置、すなわち、同一色領域の平均Ｌ，ｕ，ｖ信号
の色特性を表わすモード位置を検出する。色領域決定部
１０４は、検出された位置において決定された分布の幅
を決定する。このとき、決定された幅に含まれる色画素
は、同一領域を表わすものと仮定する。
【００３２】連結画素抽出部１１１は、色領域決定部１
０４で決定されたモード及びそのモード分布に含まれる
画素をさらに映像空間に投影して連結画素を抽出する。
このとき、映像空間において各色画素の幾何学的または
位相学的な相関性のみを別途抽出することは難しい。こ
のような映像データ基盤の接近法に存在する限界点のた
め、必然的に過度に分割された領域が抽出されることと
なる。
０４で決定されたモード及びそのモード分布に含まれる
画素をさらに映像空間に投影して連結画素を抽出する。
このとき、映像空間において各色画素の幾何学的または
位相学的な相関性のみを別途抽出することは難しい。こ
のような映像データ基盤の接近法に存在する限界点のた
め、必然的に過度に分割された領域が抽出されることと
なる。
【００３３】図２（Ａ）及び図２（Ｂ）、図３（Ａ）及
び図３（Ｂ）は、各々前述の過程の一例を示すものであ
る。図２（Ａ）はカラーカメラから出力された原映像を
示し、図２（Ｂ）は図２（Ａ）の原映像を分割した結果
を示す。なお、図２（Ａ）に示す原映像は５〜６個程度
の色領域を有するものである。
び図３（Ｂ）は、各々前述の過程の一例を示すものであ
る。図２（Ａ）はカラーカメラから出力された原映像を
示し、図２（Ｂ）は図２（Ａ）の原映像を分割した結果
を示す。なお、図２（Ａ）に示す原映像は５〜６個程度
の色領域を有するものである。
【００３４】また、図３（Ａ）は図２（Ｂ）で分割され
た領域の境界を示し、図３（Ｂ）は図３（Ａ）の分割さ
れた領域に対して各々番号を付したものである。図３
（Ｂ）によれば、前記したように図２（Ａ）の原映像が
５〜６個程度の色領域を有しているにも関わらず、映像
が過度に分割されていることが分かる。
た領域の境界を示し、図３（Ｂ）は図３（Ａ）の分割さ
れた領域に対して各々番号を付したものである。図３
（Ｂ）によれば、前記したように図２（Ａ）の原映像が
５〜６個程度の色領域を有しているにも関わらず、映像
が過度に分割されていることが分かる。
【００３５】図１に示される領域境界追跡部１１２は、
連結画素からなる領域のＲＡＧを制作する。図４は、図
３（Ｂ）に示された映像からＲＡＧを制作した結果を示
すものである。番号を付した小さな円は連結領域を表わ
すノードであり、相互隣接する領域は該当領域のノード
間を連結する枝を有する。このＲＡＧ特性は、各ノード
及び枝が相互に同一の重要度を以って水平的な連結構造
を有することにある。
連結画素からなる領域のＲＡＧを制作する。図４は、図
３（Ｂ）に示された映像からＲＡＧを制作した結果を示
すものである。番号を付した小さな円は連結領域を表わ
すノードであり、相互隣接する領域は該当領域のノード
間を連結する枝を有する。このＲＡＧ特性は、各ノード
及び枝が相互に同一の重要度を以って水平的な連結構造
を有することにある。
【００３６】また、図１に示されるレイヤ抽出部１１３
は、制作されたＲＡＧの各ノードの構造的な深さを抽出
して各ノードを階層化する。さらに、領域グループ形成
部１１４は、各レイヤに含まれるノードがそのレイヤに
属する他のノードと隣接すれば隣接するノード同士に、
そうでなければ独立的にグルーピングする。そして、垂
直領域グループ探索部１１５は、領域グループ形成部１
１４で各レイヤごとに形成された領域グループ間の垂直
的な包含関係を探索する。
は、制作されたＲＡＧの各ノードの構造的な深さを抽出
して各ノードを階層化する。さらに、領域グループ形成
部１１４は、各レイヤに含まれるノードがそのレイヤに
属する他のノードと隣接すれば隣接するノード同士に、
そうでなければ独立的にグルーピングする。そして、垂
直領域グループ探索部１１５は、領域グループ形成部１
１４で各レイヤごとに形成された領域グループ間の垂直
的な包含関係を探索する。
【００３７】一般に、ＲＡＧを用いて映像分割を行う場
合に、制作されたＲＡＧの各ノードが水平的に接続され
ているため、単純に順序化された連結番号のインデック
スに従って順次に隣接領域間の関係が試験されることに
なる。このとき、各領域間の映像で占める重要度、結合
関係または包含関係は全く考慮されていないため、シェ
ティニまたはベバレッジが指摘したように、試験される
両隣接領域の結合順序の違いによって全く異なる結果が
生じる場合がある。したがって、このような場合には、
得られる色情報に一貫的な結果が保障され難くなる。
合に、制作されたＲＡＧの各ノードが水平的に接続され
ているため、単純に順序化された連結番号のインデック
スに従って順次に隣接領域間の関係が試験されることに
なる。このとき、各領域間の映像で占める重要度、結合
関係または包含関係は全く考慮されていないため、シェ
ティニまたはベバレッジが指摘したように、試験される
両隣接領域の結合順序の違いによって全く異なる結果が
生じる場合がある。したがって、このような場合には、
得られる色情報に一貫的な結果が保障され難くなる。
【００３８】本発明にあっては、まず各レイヤに含まれ
る領域要素の結合関係を優先的に試験し、次に各レイヤ
間に発生する隣接した領域要素を試験することによって
垂直階層化を用いた領域結合を行うので、映像に占める
領域の構成や包含関係の違いに応じて順序化した結合構
造が形成されることになる。このような結合順序は、人
間の認知的な特性に類似した形態によって結合が行われ
るようにし、水平構造のＲＡＧに比較して一貫的な領域
結合関係を与えるようになる。
る領域要素の結合関係を優先的に試験し、次に各レイヤ
間に発生する隣接した領域要素を試験することによって
垂直階層化を用いた領域結合を行うので、映像に占める
領域の構成や包含関係の違いに応じて順序化した結合構
造が形成されることになる。このような結合順序は、人
間の認知的な特性に類似した形態によって結合が行われ
るようにし、水平構造のＲＡＧに比較して一貫的な領域
結合関係を与えるようになる。
【００３９】各領域の階層的な結合関係は、下記式のよ
うに定義される。先ず、連結画素領域σは、下記（１）
式の如き条件を満足する画素の集合からなる。
うに定義される。先ず、連結画素領域σは、下記（１）
式の如き条件を満足する画素の集合からなる。
【００４０】
【数１】
【００４１】前記（１）式中の連結画素の制限条件C
（p,q,f ）が、隣接画素が４または８近傍画素に隣接さ
れている条件を表わすとするとき、これは下記（２）式
のように定義される。
（p,q,f ）が、隣接画素が４または８近傍画素に隣接さ
れている条件を表わすとするとき、これは下記（２）式
のように定義される。
【００４２】
【数２】
【００４３】領域σiが領域σjによって包囲されている
ことを表わす構造的な包含（σi，σj）は、下記（３）
式の如き条件を満足する。
ことを表わす構造的な包含（σi，σj）は、下記（３）
式の如き条件を満足する。
【００４４】
【数３】
【００４５】領域σi及び領域σjが相互に隣接すること
を表わす隣接（σi，σj）は、下記（４）式を満足す
る。
を表わす隣接（σi，σj）は、下記（４）式を満足す
る。
【００４６】
【数４】
【００４７】領域σi及び領域σjが相互に独立的である
場合には、独立（σi，σj）は下記（５）式を満足す
る。
場合には、独立（σi，σj）は下記（５）式を満足す
る。
【００４８】
【数５】
【００４９】そして、ＲＡＧから、前述の数式を満足す
る垂直階層化された領域包含構造が抽出される。図５
は、図４に示されるようなＲＡＧ情報と領域相互間の包
含関係が同時に考慮された垂直的な構造を示すものであ
る。映像における全ての構成領域は０番が最外郭縁によ
って包囲されているので、０番領域が最上位の第１レイ
ヤ４０１となる。次に、０番領域に隣接しつつ、相互水
平的に連結された領域が第２レイヤ４０２となり、この
領域は１つの領域グループを形成することになる。
る垂直階層化された領域包含構造が抽出される。図５
は、図４に示されるようなＲＡＧ情報と領域相互間の包
含関係が同時に考慮された垂直的な構造を示すものであ
る。映像における全ての構成領域は０番が最外郭縁によ
って包囲されているので、０番領域が最上位の第１レイ
ヤ４０１となる。次に、０番領域に隣接しつつ、相互水
平的に連結された領域が第２レイヤ４０２となり、この
領域は１つの領域グループを形成することになる。
【００５０】第２レイヤ４０２は、さらに第３レイヤ４
０３を含む。第３レイヤ４０３は、８、１２及び１３番
の領域からなる領域グループと、２番、９番の各領域か
らなる３つの独立的な領域グループからなる。次に、第
４レイヤ４０４は、さらに第３レイヤ４０３によって包
含関係が成り立つ領域からなる。そして、第５レイヤ４
０５は、最高の深さを有する。図５に示されるように、
各ノード間の枝は水平的な結合関係を表わし、各矢印は
垂直的な包含関係を表わす。
０３を含む。第３レイヤ４０３は、８、１２及び１３番
の領域からなる領域グループと、２番、９番の各領域か
らなる３つの独立的な領域グループからなる。次に、第
４レイヤ４０４は、さらに第３レイヤ４０３によって包
含関係が成り立つ領域からなる。そして、第５レイヤ４
０５は、最高の深さを有する。図５に示されるように、
各ノード間の枝は水平的な結合関係を表わし、各矢印は
垂直的な包含関係を表わす。
【００５１】図１に示される領域間結合順位決定部１２
１は、領域間に発生された水平的なＲＡＧ及び垂直構造
化された領域関係に関する情報に基づいて領域間結合順
位を決定する。前記領域境界評価部１２２は、オブジェ
クトのエッジ強度及び境界の幾何学的な均一性（ｇｅｏ
ｍｅｔｒｉｃ ｕｎｉｆｏｒｍｉｔｙ）を評価して両領
域の結合の成否を決定する。領域結合部１２３は、両領
域を１つの領域に結合する。
１は、領域間に発生された水平的なＲＡＧ及び垂直構造
化された領域関係に関する情報に基づいて領域間結合順
位を決定する。前記領域境界評価部１２２は、オブジェ
クトのエッジ強度及び境界の幾何学的な均一性（ｇｅｏ
ｍｅｔｒｉｃ ｕｎｉｆｏｒｍｉｔｙ）を評価して両領
域の結合の成否を決定する。領域結合部１２３は、両領
域を１つの領域に結合する。
【００５２】前記領域間に発生された水平的なＲＡＧ及
び垂直構造化された領域関係に関する情報に基づいて決
定された領域間結合順位は、例えば、隣接領域間に前記
（４）式を満足する隣接関係が成り立つとしても、レイ
ヤが変わると、結合順位が後になる場合がある。さら
に、同一レイヤに属しつつも、相互隣接条件が満足され
る領域や領域グループは結合順位が優先でき、相異なる
レイヤ間に包含関係が成り立つ領域に対してもその結合
の成否が検証できる。前記領域間結合順位が決定される
と、領域の境界を評価し、且つ、領域を結合する。比較
のために、図３に示されるＲＡＧのみに基づく場合と、
本発明に係る階層的な結合関係に基づく場合との領域境
界評価及び領域結合をそれぞれ説明する。
び垂直構造化された領域関係に関する情報に基づいて決
定された領域間結合順位は、例えば、隣接領域間に前記
（４）式を満足する隣接関係が成り立つとしても、レイ
ヤが変わると、結合順位が後になる場合がある。さら
に、同一レイヤに属しつつも、相互隣接条件が満足され
る領域や領域グループは結合順位が優先でき、相異なる
レイヤ間に包含関係が成り立つ領域に対してもその結合
の成否が検証できる。前記領域間結合順位が決定される
と、領域の境界を評価し、且つ、領域を結合する。比較
のために、図３に示されるＲＡＧのみに基づく場合と、
本発明に係る階層的な結合関係に基づく場合との領域境
界評価及び領域結合をそれぞれ説明する。
【００５３】図４に示される水平構造のＲＡＧから明ら
かなように、１０番及び１番の領域では隣接条件が成り
立つ。このとき、ＲＡＧを基に領域結合順位を決定する
と、１番及び９番の領域が先に評価され、１番及び１０
番、そして９番及び１０番の形に結合が評価される。こ
のとき、１番及び９番、そして９番及び１０番の境界評
価は各領域が結合する形態にて現れ（すなわち、隣接領
域間のエッジ強度が低いか、境界特性が不均一であ
る。）、１番及び１０番は相異なる領域と決定される。
したがって、１番及び９番は同一領域に結合される。
かなように、１０番及び１番の領域では隣接条件が成り
立つ。このとき、ＲＡＧを基に領域結合順位を決定する
と、１番及び９番の領域が先に評価され、１番及び１０
番、そして９番及び１０番の形に結合が評価される。こ
のとき、１番及び９番、そして９番及び１０番の境界評
価は各領域が結合する形態にて現れ（すなわち、隣接領
域間のエッジ強度が低いか、境界特性が不均一であ
る。）、１番及び１０番は相異なる領域と決定される。
したがって、１番及び９番は同一領域に結合される。
【００５４】９番及び１０番が同一領域に結合されると
き、１番及び１０番の境界評価に先立って既に１番及び
９番の結合が発生しているので、９番及び１０番領域の
結合は、隣接する３つの領域が同時に結合された結果と
して発生する。すなわち、順次的な結合評価によって１
番、９番及び１０番の結合条件が決定される。その結果
が、図６（Ａ）に示されている。図６（Ａ）によれば、
底部及び壁部が同一領域に結合されていることが分か
る。
き、１番及び１０番の境界評価に先立って既に１番及び
９番の結合が発生しているので、９番及び１０番領域の
結合は、隣接する３つの領域が同時に結合された結果と
して発生する。すなわち、順次的な結合評価によって１
番、９番及び１０番の結合条件が決定される。その結果
が、図６（Ａ）に示されている。図６（Ａ）によれば、
底部及び壁部が同一領域に結合されていることが分か
る。
【００５５】一方、図５に示される階層的な結合関係に
よれば、９番領域は第３レイヤ４０３に該当し、１番及
び１０番領域は第２レイヤ４０２に属するので、たとえ
９番領域が１番及び１０番領域と隣接条件が発生しては
いるが、初期結合評価から除かれる。前述の形態にて結
合評価から除かれた領域は、各レイヤ内において領域の
結合評価が完了した後に、さらにレイヤ間の包含関係を
評価する際に考慮することができる。すなわち、領域の
階層的な情報は、その領域自身を包囲する他の領域に対
してその領域自身のレイヤに等しいかどうか、または１
段階上位のレイヤに属する領域の関係のみを考慮するこ
とになる。図６（Ｂ）は、階層的な結合関係に応じて結
合された領域を示すものである。
よれば、９番領域は第３レイヤ４０３に該当し、１番及
び１０番領域は第２レイヤ４０２に属するので、たとえ
９番領域が１番及び１０番領域と隣接条件が発生しては
いるが、初期結合評価から除かれる。前述の形態にて結
合評価から除かれた領域は、各レイヤ内において領域の
結合評価が完了した後に、さらにレイヤ間の包含関係を
評価する際に考慮することができる。すなわち、領域の
階層的な情報は、その領域自身を包囲する他の領域に対
してその領域自身のレイヤに等しいかどうか、または１
段階上位のレイヤに属する領域の関係のみを考慮するこ
とになる。図６（Ｂ）は、階層的な結合関係に応じて結
合された領域を示すものである。
【００５６】図７〜図１１は、１枚の試験映像に対する
従来及び本発明による映像分割結果をそれぞれ示すもの
である。図７は原映像であり、図８は初期分割された映
像であり、図９は各オブジェクトのエッジ特性を示すも
のであり、図１０は従来のＲＡＧのみを考慮した場合の
領域分割結果であり、そして図１１は本発明に係る領域
分割の結果である。図１０及び図１１を比較すると、本
発明に係る結果がＲＡＧのみを考慮した場合より領域分
割が正確であることが分かる。
従来及び本発明による映像分割結果をそれぞれ示すもの
である。図７は原映像であり、図８は初期分割された映
像であり、図９は各オブジェクトのエッジ特性を示すも
のであり、図１０は従来のＲＡＧのみを考慮した場合の
領域分割結果であり、そして図１１は本発明に係る領域
分割の結果である。図１０及び図１１を比較すると、本
発明に係る結果がＲＡＧのみを考慮した場合より領域分
割が正確であることが分かる。
【００５７】
【発明の効果】以上述べたように、本発明によれば、映
像分割に際し、ＲＡＧの他に垂直的な階層構造を考慮す
ることによって、一層正確な映像分割が可能となる。す
なわち、領域がＲＡＧにおいてたとえ隣接関係にあると
しても、その階層的な構造によって結合が排除された
り、結合順位が並べ替えられたりして、領域間の構造的
な包含関係を抽出することができる。
像分割に際し、ＲＡＧの他に垂直的な階層構造を考慮す
ることによって、一層正確な映像分割が可能となる。す
なわち、領域がＲＡＧにおいてたとえ隣接関係にあると
しても、その階層的な構造によって結合が排除された
り、結合順位が並べ替えられたりして、領域間の構造的
な包含関係を抽出することができる。
【００５８】したがって、ハイライト領域及びその周辺
領域のように、両領域の色信号が類似しない領域に対す
る包含関係から相互関係が類推できる。さらに、階層関
係の抽出に際して発生する領域間境界情報、領域のエッ
ジ強度、境界の均一性評価のためのデータまたは隣接領
域が接する比率のように、今後、各種の映像分割に活用
可能な情報も抽出することができる。
領域のように、両領域の色信号が類似しない領域に対す
る包含関係から相互関係が類推できる。さらに、階層関
係の抽出に際して発生する領域間境界情報、領域のエッ
ジ強度、境界の均一性評価のためのデータまたは隣接領
域が接する比率のように、今後、各種の映像分割に活用
可能な情報も抽出することができる。
【図１】本発明に係る映像分割装置のブロック図であ
る。
る。
【図２】（Ａ）は、図１の装置に入力される入力映像の
一例を示す図である。（Ｂ）は、図１の初期映像分割部
の動作過程の一つを示す図である。
一例を示す図である。（Ｂ）は、図１の初期映像分割部
の動作過程の一つを示す図である。
【図３】（Ａ）は、図１の初期映像分割部の動作過程の
もう一つを示す図である。（Ｂ）は、図１の初期映像分
割部の動作過程の他の一つを示す図である。
もう一つを示す図である。（Ｂ）は、図１の初期映像分
割部の動作過程の他の一つを示す図である。
【図４】図３（Ｂ）に示された映像からＲＡＧを制作し
た結果を示す図である。
た結果を示す図である。
【図５】図４に示されたようなＲＡＧ情報及び領域相互
間の包含関係が同時に考慮された垂直的な構造を示す図
である。
間の包含関係が同時に考慮された垂直的な構造を示す図
である。
【図６】（Ａ）は、図２（Ａ）の入力映像に対する従来
及び本発明による映像分割結果の一例を示す図である。
（Ｂ）は、図２（Ａ）の入力映像に対する従来及び本発
明による映像分割結果の他の例を示す図である。
及び本発明による映像分割結果の一例を示す図である。
（Ｂ）は、図２（Ａ）の入力映像に対する従来及び本発
明による映像分割結果の他の例を示す図である。
【図７】図２（Ａ）の映像とは異なる試験映像を示す図
である。
である。
【図８】初期分割された映像を示す図である。
【図９】各オブジェクトのエッジ特性を示す図である。
【図１０】従来のＲＡＧのみを考慮した場合の領域分割
結果を示す図である。
結果を示す図である。
【図１１】本発明に係る領域分割結果を示す図である。
０〜１７ 分割された領域に対して付けた番号 １００ 初期映像分割部 １０１ 色信号変換部 １０２ 投影部 １０３ モード位置検出部 １０４ 色領域決定部 １１０ 領域構造化部 １１１ 連結画素抽出部 １１２ 領域境界抽出部 １１３ 階層抽出部 １１４ 領域グループ形成部 １１５ 垂直領域結合順位決定部 １２０ 過分割領域結合部 １２１ 領域間結合順位決定部 １２２ 領域境界評価部 １２３ 領域結合部 ４０１ ０番領域が最上位の第１レイヤ ４０２ ０番領域に隣接しつつ、相互水平的に連結され
た領域である第２レイヤ ４０３ ８、１２及び１３番の領域からなる領域グルー
プと、２番、９番の領域からなる３つの独立的な領域グ
ループからなる第３レイヤ ４０４ 第３レイヤ４０３によって包含関係が成り立つ
領域からなる第４レイヤ ４０５ 最高の深さを有する第５レイヤ
た領域である第２レイヤ ４０３ ８、１２及び１３番の領域からなる領域グルー
プと、２番、９番の領域からなる３つの独立的な領域グ
ループからなる第３レイヤ ４０４ 第３レイヤ４０３によって包含関係が成り立つ
領域からなる第４レイヤ ４０５ 最高の深さを有する第５レイヤ
───────────────────────────────────────────────────── フロントページの続き (72)発明者 金 智 淵 大韓民国 漢城市 松坡区 新川洞 ７番 地 薔薇アパート 17棟 1101号 (72)発明者 金 昌 容 大韓民国 京畿道 儀旺市 旺谷洞 593 番地 栗谷アパート 101棟 1504号 (72)発明者 徐 亮 錫 大韓民国 漢城市 松波区 風納洞 219 番地 美星アパート ３棟 501号
Claims (9)
- 【請求項１】 入力映像の色信号を所定の色空間に変換
して前記入力映像の色画素が前記色空間で占める位置に
応じて前記入力映像を複数の領域に分割する初期映像分
割部と、 分割された領域間の水平的な隣接関係及び垂直的な包含
関係に応じて分割された領域を複数のレイヤに分け、各
レイヤ内において隣接する領域をグルーピングして領域
グループを形成し、各レイヤごとに形成された領域グル
ープ間の垂直的な包含関係を抽出する領域構造化部と、 各領域間の水平的な隣接関係及び前記領域グループ間の
垂直的な包含関係に応じて各領域間の結合順位を決定
し、決定された結合順位に基づいて隣接領域間の結合の
成否を評価し、評価された領域が実質的に同一の映像特
性を有する領域であると判断されれば前記領域間を結合
する過分割領域結合部と、を含むことを特徴とする映像
分割装置。 - 【請求項２】 前記領域構造化部は、分割された各領域
に対して前記入力映像から連結画素を抽出する連結画素
抽出部と、抽出された連結画素から形成された領域の境
界を捜索し、捜索された境界から連結画素をチェックし
て垂直的な構造において前記領域間の水平的な隣接関係
を捜索する領域境界追跡部と、前記入力映像の境界と接
触する領域である背景領域から始まり順次各領域間の包
含関係を調べ、調べられた包含関係に応じて前記各領域
を複数のレイヤに分けるレイヤ抽出部と、各レイヤを構
成する領域がそのレイヤに属する他の領域と隣接してい
るかどうかを調べて、隣接する場合には該当領域をグル
ーピングして領域グループを形成し、隣接しない場合に
は１つの領域からなる領域グループに形成する領域グル
ープ形成部と、各レイヤごとに形成された領域グループ
間の垂直的な包含関係を抽出する垂直領域グループ探索
部と、を具備することを特徴とする請求項１に記載の映
像分割装置。 - 【請求項３】 前記連結画素抽出部は、下記（１）式を
満足する画素からなる連結画素領域σを抽出する手段を
具備するとともに、 前記連結画素の制限条件は、下記（２）式を満足するこ
とを特徴とする請求項２に記載の映像分割装置。 【数１】 【数２】 - 【請求項４】 前記レイヤ抽出部は、前記領域間の包含
関係を、領域σi、領域σjの構造的な包含として包含
（σi，σj）で表わすとき、該包含（σi，σj）は、下
記（３）式を満足するかどうかによって判別する手段を
具備することを特徴とする請求項３に記載の映像分割装
置。 【数３】 - 【請求項５】 前記領域グループ形成部は、各レイヤに
属する領域が隣接した場合を隣接（σi，σj）とし、各
レイヤに属する領域が隣接しない場合を独立（σi，
σj）とするとき、該隣接（σi，σj）及び独立（σi，
σj）は、それぞれ下記（４）式及び（５）式を満足す
るかどうかによって判別する手段を具備することを特徴
とする請求項４に記載の映像分割装置。 【数４】 【数５】 - 【請求項６】 前記過分割領域結合部は、垂直的な構造
において前記各領域の水平的な隣接関係及び領域グルー
プ間の垂直的な包含関係に応じて隣接領域間の結合順位
を決定する結合順位決定部と、決定された結合順位に応
じて領域間の結合の成否を判断する領域境界評価部と、
前記領域境界評価部において領域間結合が妥当であると
判断されれば、該当領域間を結合する領域結合部と、を
具備することを特徴とする請求項１に記載の映像分割装
置。 - 【請求項７】 入力映像の色信号を所定の色空間に変換
して前記入力映像の画素が前記色空間で占める位置に応
じて前記入力映像を複数の領域に分割する初期映像分割
段階と、 分割された領域の水平的な隣接関係及び垂直的な包含関
係に応じて分割された領域を複数のレイヤに分け、各レ
イヤ内において隣接した領域をグルーピングして領域グ
ループに形成し各レイヤごとに形成された領域グループ
間の包含関係を抽出して隣接領域の結合順位及び結合の
成否を判断し、判断対象となる領域が実質的に同一の映
像特性を有する領域であると判断されれば、前記領域間
を結合する後処理段階と、を含むことを特徴とする映像
分割方法。 - 【請求項８】 前記後処理段階の結合順位判断は、判断
しようとする領域を包囲する領域のうち前記判断しよう
とする領域が属するレイヤの領域または一段階上位レイ
ヤに属する領域に対してなされることを特徴とする請求
項７に記載の映像分割方法。 - 【請求項９】 前記後処理段階の結合の成否の決定は、
前記隣接領域間のエッジ強度または境界の幾何学的な均
一性を判断することによってなされることを特徴とする
請求項７に記載の映像分割方法。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR99-23948 | 1999-06-24 | ||
| KR1019990023948A KR100294924B1 (ko) | 1999-06-24 | 1999-06-24 | 영상분할 장치 및 방법 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2001043380A true JP2001043380A (ja) | 2001-02-16 |
Family
ID=19594901
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000188851A Withdrawn JP2001043380A (ja) | 1999-06-24 | 2000-06-23 | 映像分割装置及びその方法 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US6606408B1 (ja) |
| JP (1) | JP2001043380A (ja) |
| KR (1) | KR100294924B1 (ja) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012094126A (ja) * | 2010-09-29 | 2012-05-17 | Nikon Corp | 画像処理装置及び画像処理プログラム |
| US8224089B2 (en) | 2005-06-07 | 2012-07-17 | Sony Corporation | Information processing device and information processing method, image processing device and image processing method, and computer program |
| US8660350B2 (en) | 2011-02-08 | 2014-02-25 | Kyungpook National University Industry-Academic Cooperation Foundation | Image segmentation devices and methods based on sequential frame image of static scene |
Families Citing this family (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2000062243A1 (fr) * | 1999-04-14 | 2000-10-19 | Fujitsu Limited | Procede et dispositif d'extraction de chaines de caracteres utilisant un composant de base d'une image de document |
| EP1265219B1 (en) * | 2000-08-28 | 2005-04-27 | Seiko Epson Corporation | Environment adaptive image display system, image processing method and information storing medium |
| US7184054B2 (en) * | 2003-01-21 | 2007-02-27 | Hewlett-Packard Development Company, L.P. | Correction of a projected image based on a reflected image |
| US7295700B2 (en) * | 2003-10-24 | 2007-11-13 | Adobe Systems Incorporated | Object extraction based on color and visual texture |
| US7536048B2 (en) * | 2004-01-15 | 2009-05-19 | Xerox Corporation | Method and apparatus for automatically determining image foreground color |
| US20050254546A1 (en) * | 2004-05-12 | 2005-11-17 | General Electric Company | System and method for segmenting crowded environments into individual objects |
| US7376272B2 (en) * | 2004-06-14 | 2008-05-20 | Xerox Corporation | Method for image segmentation to identify regions with constant foreground color |
| JP4506409B2 (ja) * | 2004-10-27 | 2010-07-21 | 株式会社デンソー | 領域分割方法及び装置、画像認識処理装置、プログラム、記録媒体 |
| US20060228021A1 (en) * | 2005-04-06 | 2006-10-12 | Marco Leoni | Method and system for producing fabrics with a large number of colors |
| JP4730775B2 (ja) * | 2005-12-14 | 2011-07-20 | 株式会社リコー | 画像処理装置 |
| JP2008059081A (ja) * | 2006-08-29 | 2008-03-13 | Sony Corp | 画像処理装置及び画像処理方法、並びにコンピュータ・プログラム |
| US8374234B2 (en) * | 2006-09-29 | 2013-02-12 | Francis S. J. Munoz | Digital scaling |
| US9299229B2 (en) * | 2008-10-31 | 2016-03-29 | Toshiba Global Commerce Solutions Holdings Corporation | Detecting primitive events at checkout |
| JP5771442B2 (ja) * | 2011-05-09 | 2015-08-26 | オリンパス株式会社 | 画像処理装置、画像処理方法、及び画像処理プログラム |
| KR102238693B1 (ko) * | 2014-06-20 | 2021-04-09 | 삼성전자주식회사 | 포인트 클라우드에서 특징 영역을 추출하는 방법 및 장치 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH08221567A (ja) * | 1995-02-10 | 1996-08-30 | Fuji Photo Film Co Ltd | 色領域分離方法 |
| US5852673A (en) * | 1996-03-27 | 1998-12-22 | Chroma Graphics, Inc. | Method for general image manipulation and composition |
| US6236736B1 (en) * | 1997-02-07 | 2001-05-22 | Ncr Corporation | Method and apparatus for detecting movement patterns at a self-service checkout terminal |
| US6516100B1 (en) * | 1998-10-29 | 2003-02-04 | Sharp Laboratories Of America, Inc. | Method for image characterization using color and texture statistics with embedded spatial information |
-
1999
- 1999-06-24 KR KR1019990023948A patent/KR100294924B1/ko not_active IP Right Cessation
-
2000
- 2000-05-01 US US09/562,029 patent/US6606408B1/en not_active Expired - Fee Related
- 2000-06-23 JP JP2000188851A patent/JP2001043380A/ja not_active Withdrawn
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8224089B2 (en) | 2005-06-07 | 2012-07-17 | Sony Corporation | Information processing device and information processing method, image processing device and image processing method, and computer program |
| JP2012094126A (ja) * | 2010-09-29 | 2012-05-17 | Nikon Corp | 画像処理装置及び画像処理プログラム |
| US8660350B2 (en) | 2011-02-08 | 2014-02-25 | Kyungpook National University Industry-Academic Cooperation Foundation | Image segmentation devices and methods based on sequential frame image of static scene |
Also Published As
| Publication number | Publication date |
|---|---|
| US6606408B1 (en) | 2003-08-12 |
| KR100294924B1 (ko) | 2001-07-12 |
| KR20010003590A (ko) | 2001-01-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2001043380A (ja) | 映像分割装置及びその方法 | |
| JP4194025B2 (ja) | 照明不変の客体追跡方法及びこれを用いた映像編集装置 | |
| US8698899B2 (en) | Motion capture system and method for three-dimensional reconfiguring of characteristic point in motion capture system | |
| Djelouah et al. | Multi-view object segmentation in space and time | |
| US9460513B1 (en) | Method for reconstructing a 3D scene as a 3D model using images acquired by 3D sensors and omnidirectional cameras | |
| KR20110059506A (ko) | 복수의 이미지들로부터 카메라 파라미터를 얻기 위한 시스템과 방법 및 이들의 컴퓨터 프로그램 제품 | |
| JP2005037378A (ja) | 奥行計測方法と奥行計測装置 | |
| EP1308049A2 (en) | Method for segmenting multi-resolution video objects | |
| CN103927785B (zh) | 一种面向近景摄影立体影像数据的特征点匹配方法 | |
| JP2010511215A (ja) | 画像内のオブジェクトを指示する方法 | |
| CN111914913A (zh) | 一种新型立体匹配优化方法 | |
| US9971951B2 (en) | Method and apparatus for generating superpixel clusters | |
| CN109919164B (zh) | 用户界面对象的识别方法及装置 | |
| KR20160085708A (ko) | 멀티뷰 영상들에 대한 슈퍼픽셀들을 생성하기 위한 방법 및 장치 | |
| JP2009236811A (ja) | 画像処理装置および画像処理方法並びにプログラム | |
| KR101990634B1 (ko) | 가상벽을 이용한 3차원 실내공간의 분할 방법 및 장치 | |
| CN117036235A (zh) | 一种继电保护柜端子排线序检测方法 | |
| KR101655036B1 (ko) | 애너글리프 영상 복원 및 깊이 지도 생성 방법 및 시스템 | |
| Choi et al. | Implementation of Real‐Time Post‐Processing for High‐Quality Stereo Vision | |
| JP2018049396A (ja) | 形状推定方法、形状推定装置および形状推定プログラム | |
| JP4698926B2 (ja) | 画像における相対ｚオーダリングを決定する方法、および相対ｚオーダリングの使用方法 | |
| CN117291944B (zh) | 图像处理方法及相关设备 | |
| Turetken et al. | Temporally consistent layer depth ordering via pixel voting for pseudo 3D representation | |
| JPS6336482A (ja) | 画像の領域分割方式 | |
| CN108109150B (zh) | 图像分割方法、终端 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20061101 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20061107 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070329 |
|
| A761 | Written withdrawal of application |
Free format text: JAPANESE INTERMEDIATE CODE: A761 Effective date: 20090518 |