JP2006004032A

JP2006004032A - 対象物検出装置、対象物検出方法およびこの方法のプログラム

Info

Publication number: JP2006004032A
Application number: JP2004177754A
Authority: JP
Inventors: Takaichi Hiraga; ▲高▼市平賀; Kenichi Arakawa; 賢一荒川
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 2004-06-16
Filing date: 2004-06-16
Publication date: 2006-01-05

Abstract

【課題】カメラ画像上の３次元物体の背景や照明環境の変動などにも対象物の未検出および誤検出を大幅に低減する。
【解決手段】画像領域分割手段１は画像の各画素の色情報を基に、画像領域分割ルール１Ａに従って、画像を複数の背反的候補領域に分割する。分割領域合成手段２は背反的画像領域の集合に対して、該各画像領域内の各画素の色情報を基に、分割領域組合せパターン２Ａとの比較によって、該各画像領域の組み合わせた合成をする。合成領域形状評価手段３は合成した各画像領域に対して、対象物領域形状テンプレート３Ａとの比較による形状評価により３次元物体が検出されているか否かを判定、または３次元物体を検出する。
【選択図】図１

Description

本発明は、カメラで撮像された画像の中から所定の３次元物体を検出する対象物検出装置および方法に関する。

カメラで撮像された画像上での所定の３次元物体の検出について、とりわけ、住宅の居室やオフィスなどの通常の室内における、カメラで撮像された手などの対象物の検出については、３次元物体と共に撮像される背景や照明変動などの影響を受け、一般にこれは容易ではない。

例えば、３次元物体は立体であるため、通常の照明環境では陰影が生じ、すなわち画像上での３次元物体の領域は一様な色合・輝度ではないことから、色合・輝度情報空間における固定的な領域をもってその３次元物体の領域を画像内から切り出すことは不可能である。

さらには、カメラ画像には無視できないレベルのノイズが含まれること、照明に変動があること、たとえ純粋白色光源であったとしても、壁や天井からの反射光は微かな色が含まれていること、通常３次元物体の境界近傍においては、輝度が低いことに起因し、相対的に大きなノイズが色合情報に含まれること、および手などの３次元物体は、その姿勢、すなわち撮像される方向により物体自体の色合が変化することなども、色合・輝度情報空間における固定的な領域をもってその３次元物体の領域を画像上で切り出すことが不可能となる典型的な理由である。

このような条件の下において、カメラで撮像された画像上で所定の３次元物体を検出するにあたり、複数の検出ルールにより検出された複数の領域情報を統合し、解析することにより、対象物の確度を高めるものがある（例えば、特許文献１参照）。
特開２００１−１６６０６号公報

しかしながら、前記の特許文献は、時系列画像を必要とすること、物体の識別において重要である色情報に基づいた検出ルールとしては単一のルールしか用いていないことから、スチル画像や対象物の動きが速い画像、もしくは背景や照明環境の変動などにより、画像上の対象物の色合・輝度が大きく変化した場合には、十分に対応できない。

本発明の目的は、カメラ画像上の３次元物体の背景や照明環境の変動などにも対象物の未検出および誤検出を大幅に低減して３次元物体を検出できる対象物検出装置、方法およびこの方法のプログラムを提供することにある。

本発明は、画像の各画素の色情報を基に、画像を複数の背反的候補領域に画像領域分割し、これら複数の背反的候補領域の組み合わせによって領域合成し、これらの合成領域に対して所定の形状判定ルールにより対象物領域の判定を行い、さらに対象物領域の判定には所定の形状に最も近い結果の類似度（最大相関値）を求め、その類似度と所定の閾値との比較結果により３次元物体が検出されているか否かを判定または３次元物体を検出することにより、対象物の未検出および誤検出を大幅に低減できるようにしたもので、以下の装置、方法およびプログラムを特徴とする。

（装置の発明）
（１）カメラで撮像された画像の中から所定形状の３次元物体を検出する装置であって、
前記画像の各画素の色情報を基に、画像領域分割ルールに従って、前記画像を複数の背反的候補領域に分割する画像領域分割手段と、
前記背反的画像領域の集合に対して、該各画像領域内の各画素の色情報を基に、分割領域組合せパターンとの比較によって、該各画像領域の組み合わせた合成をする分割領域合成手段と、
前記合成した各画像領域に対して、対象物領域形状テンプレートとの比較による形状評価により３次元物体が検出されているか否かを判定、または３次元物体を検出する合成領域形状評価手段と、
を備えたことを特徴とする。

（２）前記分割領域合成手段は、画像領域の合成に際して、各画像領域の面積が所定の値以上である画像領域を含む組み合わせパターンを取り除いて合成することを特徴とする。

（３）前記分割領域合成手段は、画像領域の合成に際して、前記各画像領域内の各画素に対して、色情報からスカラー値に変換する所定の変換を適用した後、各画素のスカラー値の和を画素数で除した値が所定の値以下である画像領域を含む組み合わせパターンを取り除いて合成することを特徴とする。

（方法の発明）
（４）カメラで撮像された画像の中から所定形状の３次元物体を検出する方法であって、
前記画像の各画素の色情報を基に、画像領域分割ルールに従って、前記画像を複数の背反的候補領域に分割する画像領域分割過程と、
前記背反的画像領域の集合に対して、該各画像領域内の各画素の色情報を基に、分割領域組合せパターンとの比較によって、該各画像領域の組み合わせた合成をする分割領域合成過程と、
前記合成した各画像領域に対して、対象物領域形状テンプレートとの比較による形状評価により３次元物体が検出されているか否かを判定、または３次元物体を検出する合成領域形状評価過程と、
を有することを特徴とする。

（５）前記分割領域合成過程は、画像領域の合成に際して、各画像領域の面積が所定の値以上である画像領域を含む組み合わせパターンを取り除いて合成することを特徴とする。

（６）前記分割領域合成過程は、画像領域の合成に際して、前記各画像領域内の各画素に対して、色情報からスカラー値に変換する所定の変換を適用した後、各画素のスカラー値の和を画素数で除した値が所定の値以下である画像領域を含む組み合わせパターンを取り除いて合成することを特徴とする。

（プログラムの発明）
（７）前記の（４）〜（６）のいずれか１項に記載の対象物検出方法を、コンピュータプログラムで記載してそれを実行可能にしたことを特徴とする対象物検出方法のプログラム。

以上のとおり、本発明によれば、画像の各画素の色情報を基に、画像を複数の背反的候補領域に画像領域分割し、これら複数の背反的候補領域の組み合わせによって領域合成し、これらの合成領域に対して所定の形状判定ルールにより対象物領域の判定を行い、さらに対象物領域の判定には所定の形状に最も近い結果の類似度（最大相関値）を求め、その類似度と所定の閾値との比較結果により３次元物体が検出されているか否かを判定または３次元物体を検出するようにしたため、色情報を用いた対象物検出において、背景や照明環境の変動などの影響を受けにくくし、未検出および誤検出を大幅に低減することができる。

（実施形態１）
住宅の居室やオフィスなどの通常の室内において、対象物をカメラで撮像した場合、その対象物と共に撮像される背景や照明変動などの影響を受けるため、撮像された画像上での手の色合・輝度は一定ではない。

図３のＡおよびＢは、対象物としての手の撮像画像例を示し、照明の強さおよび方向が変動した場合には、撮像画像は大きな影響を受ける。また、前述のように、３次元物体の境界近傍は、通常、輝度が低いため、撮像画像の境界近傍の画素の色合い情報は、背景色の変動により大きな影響を受ける。

例えば、図３のＡとＢに示される手の画像において、人差し指先端部の色情報の詳細は、図４のＡとＢに示すようになる。ここで、色情報とは、例えば、３次元の場合は（Ｒ，Ｇ，Ｂ）、２次元の場合は色度、１次元の場合はＲ単体もしくは輝度、などのことである。また、説明を簡単にするために、色情報の値のバリエーションをＡ₀，Ｂ₀，Ｃ₀，Ｄ₀の４つ、もしくはＡ₁，Ｂ₁，Ｃ₁，Ｄ₁の４つとした（図５参照）。このような色情報の値のバリエーションは、例えば、「ある画像の色情報ヒストグラム（図６のＡ参照）のうち、極値となる色情報を代表値（図６のＢ参照）として、これらの値以外は最も近い代表値に変更する」という方法により得ることができる。

手などの局面をもつ３次元物体を撮像した場合、その境界近傍は輝度が低いため、色合情報には相対的に大きなノイズが含まれる傾向が強く、わずかな照明環境の変動がある場合に、図４のＡとＢに示されるような画像上の差異は典型的なものである。

さて、このような画像から手の領域を切り出す場合、例えば、図５のＲ₀で示す境界により、図４のＡに示す画像から手の領域を切り出すと、図７のＡ₀に示す結果となり、図４のＢに示す画像から手の領域を切り出すと、図７のＢ₀に示す結果となる。一方、図５のＲ₁で示す境界により、図４のＡに示す画像から手の領域を切り出すと、図７のＡ₁に示す結果となり、図４のＢに示す画像から手の領域を切り出すと、図７のＢ₁に示す結果となる。

以上のことから解るように、色情報空間において固定的な境界をもって、画像上において対象物を正確に切り出すことは非常に困難である。なお図５では、説明を解りやすくするために、図４のＡに示す画像に含まれる色情報と図４のＢに示す画像に含まれる色情報とを同じ図で示してある。

これに対し、本実施形態は以下に示す方法により、画像上において３次元対象物を正確に切り出す。

「色情報の値のバリエーションに対する許容範囲を図５のＲ₂で示す境界内とする」などの所定のルールにより、図４のＡに示す画像に対する有効な色情報の値のバリエーションをＡ₀，Ｂ₀．Ｃ₀，Ｄ₀の４つに、図４のＢに示す画像に対する有効な色情報の値のバリエーションをＡ₁，Ｂ₁．Ｃ₁，Ｄ₁の４つに限定し、これらの色情報の値を有する領域を個別に切り出す（後述の図１における画像領域分割ルールによる切り出す）。これら切り出しにより、図４のＡに示す画像からは、図８のＡ，Ｂ，Ｃ，Ｄに示す結果が得られ、図４のＢに示す画像からは図９のＡ，Ｂ，Ｃ，Ｄに示す結果が得られる。

次に、図１に示す分割領域組合せパターンにより、これらの結果から例えば２つを選び出す全ての組み合わせで、２つの結果を選び出し、ＯＲ（論理和）合成することで、複数の合成画像を生成する。このＯＲ合成には、図８、図９において、黒部が０で、白部が１とする。

例として、図８のＡとＢに示す領域のＯＲ合成領域を図１０のＡに示す。同様に、図８のＢとＣに示す領域のＯＲ合成領域を図１０のＢに、図８のＣとＡに示す領域のＯＲ合成領域を図１０のＣに示す。

この合成画像の全てに対して、予め用意しておく手（検出対象物）の形状テンプレート（図１１および図１の対象物領域形状テンプレートを参照）との相関演算を行い、相関値の最大値を求める。その最大相関値を予め定めてある閾値と比較することで、対象物が検出されているか否かを判定し、この条件に適合した合成画像が対象物の形状であると判定する。

以上までは、切り出された領域を２つ選び出す例を示したが、３つ以上の任意の個数の領域を選び出し、組み合わせるようにしてもよい。

上記までの対象物検出のアルゴリズムを図２に示し、このアルゴリズムを実現するための装置の要部ブロック構成を図１に示す。

図２および図１において、最大相関値の変数Ｖ_max＝０，画像領域分割ルールの最大値Ｎ_iの変数ｉ＝０の初期化を行い（Ｓ１，Ｓ２）、画像領域分割手段１によって、検出対象画像について数Ｎ_iの画像領域分割ルール１Ａの１つのルールに従って画像領域分割を行う（Ｓ２，Ｓ３，Ｓ４）。

この後、分割領域組み合わせパターンの最大値Ｎ_jの変数ｊ＝０の初期化を行い（Ｓ５）、分割領域合成手段２によって、分割された画像領域について数Ｎ_jの分割領域組合せパターン２Ａの１つの組合わせパターンによる領域合成を行い（Ｓ６，Ｓ８）、この合成された画像領域について、合成領域形状評価手段３が、対象物領域形状テンプレート３Ａとの間の相関演算（形状評価ルールによる演算）により相関値Ｖを求める（Ｓ９）。この相関値Ｖの算出に用いる形状評価ルールの例としては、当該形状と図１に示す対象物領域形状テンプレートとの正規化相関演算とすることができる。

このようにして求められる相関値Ｖを前回までの最大相関値Ｖ_maxと大小比較で更新しながら最大相関値Ｖ_maxを更新していく（Ｓ１０，Ｓ１１，Ｓ１２）。

上記の分割領域合成と形状評価は、画像領域分割手段１によって分割された１つの領域分割画像についてなされた後、分割領域組合わせパターン数Ｎ_jまでの繰り返しを終了したときに、次の分割ルールによる画像領域分割を行い（Ｓ７）、この分割画像領域について分割領域合成と形状評価を繰り返す。そして、分割ルールのすべてＮ_iについての分割と分割領域合成と形状評価の繰り返しで処理を終了する（Ｓ３）。

これら処理が全て終了した後、この最大相関値Ｖ_maxと予め定めてある閾値と比較することで、対象物が検出されているか否かを判定、または最大相関値Ｖ_maxをもつ合成画像を対象物として検出する。

（実施形態２）
本実施形態は、図２の処理方法または図１の構成による対象物検出に際して、カメラに対して対象物を想定される最短距離に配置した際の撮像画像における対象物領域の面積を求め、これを閾値としておき、限定された有効な色情報の値のバリエーション（例えば、図４のＡ₀，Ｂ₀，Ｃ₀，Ｄ₀）の個々の値を個別に適用して、元の画像から切り出された複数の領域に対してその面積が前記の閾値を越えるものを評価（相関演算）対象から取り除く。

こうすることで、対象物領域として検出され得ない領域に対してまで評価（相関演算）を行うことがなくなり、計算コストを低減できる。

（実施形態３）
本実施形態では、図２の処理方法または図１の構成による対象物検出に際して、実際に様々な個人の肌色を撮像した結果から得られる色情報の輝度分布から、予め色情報の領域を求めておき、領域合成処理（Ｓ８）を行う際に、その領域に含まれる色情報により切り出し領域のみからなる組み合わせに限り合成を行い、評価（相関演算）をする。

こうすることで、実施形態２と同様、計算コストを低減できる。

例えば、図４のＡに示す画像に関して、図５に示す色情報を全て用いた場合、有効な色情報の値のバリエーションをＡ₀，Ｂ₀，Ｃ₀，Ｄ₀の４つであり、この色情報の値のバリエーションから２つを選び出す組み合わせの総数は６個であるが、図５に示す色情報のうち、領域Ｒ₁に含まれる色情報だけを用いた場合には、有効な色情報の値のバリエーションはＡ₀，Ｂ₀，Ｃ₀の３つとなり、この色情報の値のバリエーションから２つを選び出す組み合わせの総数は３個となり、計算コストを低減できる。

（実施形態４）
実施形態３に示す方法は、分割領域に対して、その領域内の各画素に、その代表値に変更する前の色情報が所定の色情報領域にある場合に評価値１を与え、それ以外の場合には０を与え、その総和をその分割領域の画素数で除した値を算出し、この値が１／２以上である分割領域を含む組み合わせに限り評価（相関演算）することと同値である。

本実施形態では、分割領域内の各画素に、その代表値に変更する前の色情報が所定の色情報領域の中心付近の場合には評価値１を与え、中心付近から遠ざかるにつれて徐々に０に近づく評価値を与え、その総和をその分割領域の画素数で除した値を算出し、この値が１／２以上である分割領域を含む組み合わせに限り評価（相関演算）する。この場合も実施形態３と同様の作用効果を得ることができる。

本実施形態および実施形態３は、概念的には、画像領域の合成に際して、各画像領域内の各画素に対して、色情報からスカラー値に変換する所定の変換を適用した後、各画素のスカラー値の和を画素数で除した値が所定の値以下である画像領域を含む組み合わせパターンを取り除いて合成することになる。

なお、本発明は、図２に示した処理方法の一部又は全部の処理機能をプログラムとして構成してコンピュータに実行させることができる。

本発明の実施形態を示す対象物検出装置の要部ブロック図。本発明の実施形態を示す対象物検出方法のフローチャート。異なる照明環境の下で撮像された手の画像の例。手の領域における色情報の詳細の例。色情報の値のバリエーションの例。色情報の値のバリエーションの個数を減らすための方法の例。色情報空間の異なる境界に基づき切り出された領域の例。個々の色情報の単一の値に基づき切り出された領域の例。個々の色情報の単一の値に基づき切り出された領域の例。個々の色情報の単一の値に基づき切り出された領域からなる合成領域の例。形状判定ルールで用いる形状テンプレートの例。

符号の説明

１画像領域分割手段
１Ａ画像領域分割ルール
２分割領域合成手段
２Ａ分割領域組合せパターン
３合成領域形状評価手段
３Ａ対象物領域形状テンプレート

Claims

カメラで撮像された画像の中から所定形状の３次元物体を検出する装置であって、
前記画像の各画素の色情報を基に、画像領域分割ルールに従って、前記画像を複数の背反的候補領域に分割する画像領域分割手段と、
前記背反的画像領域の集合に対して、該各画像領域内の各画素の色情報を基に、分割領域組合せパターンとの比較によって、該各画像領域の組み合わせた合成をする分割領域合成手段と、
前記合成した各画像領域に対して、対象物領域形状テンプレートとの比較による形状評価により３次元物体が検出されているか否かを判定、または３次元物体を検出する合成領域形状評価手段と、
を備えたことを特徴とする対象物検出装置。
前記分割領域合成手段は、画像領域の合成に際して、各画像領域の面積が所定の値以上である画像領域を含む組み合わせパターンを取り除いて合成することを特徴とする請求項１に記載の対象物検出装置。
前記分割領域合成手段は、画像領域の合成に際して、前記各画像領域内の各画素に対して、色情報からスカラー値に変換する所定の変換を適用した後、各画素のスカラー値の和を画素数で除した値が所定の値以下である画像領域を含む組み合わせパターンを取り除いて合成することを特徴とする請求項１または２に記載の対象物検出装置。
カメラで撮像された画像の中から所定形状の３次元物体を検出する方法であって、
前記画像の各画素の色情報を基に、画像領域分割ルールに従って、前記画像を複数の背反的候補領域に分割する画像領域分割過程と、
前記背反的画像領域の集合に対して、該各画像領域内の各画素の色情報を基に、分割領域組合せパターンとの比較によって、該各画像領域の組み合わせた合成をする分割領域合成過程と、
前記合成した各画像領域に対して、対象物領域形状テンプレートとの比較による形状評価により３次元物体が検出されているか否かを判定、または３次元物体を検出する合成領域形状評価過程と、
を有することを特徴とする対象物検出方法。
前記分割領域合成過程は、画像領域の合成に際して、各画像領域の面積が所定の値以上である画像領域を含む組み合わせパターンを取り除いて合成することを特徴とする請求項１に記載の対象物検出方法。
前記分割領域合成過程は、画像領域の合成に際して、前記各画像領域内の各画素に対して、色情報からスカラー値に変換する所定の変換を適用した後、各画素のスカラー値の和を画素数で除した値が所定の値以下である画像領域を含む組み合わせパターンを取り除いて合成することを特徴とする請求項１または２に記載の対象物検出方法。
請求項４〜６のいずれか１項に記載の対象物検出方法を、コンピュータプログラムで記載してそれを実行可能にしたことを特徴とする対象物検出方法のプログラム。