JP2005309777A

JP2005309777A - 画像処理方法

Info

Publication number: JP2005309777A
Application number: JP2004126035A
Authority: JP
Inventors: Kenichi Kitahama; 謙一北浜
Original assignee: Toyota Motor Corp
Current assignee: Toyota Motor Corp
Priority date: 2004-04-21
Filing date: 2004-04-21
Publication date: 2005-11-04

Abstract

【課題】少ない計算量で対象物の追跡を可能とした画像処理方法を提供する。
【解決手段】対象物の動画像を複数のカメラを用いて撮像し、取得した動画像中でこの対象物の追跡を行う。各カメラで同時に対象物の画像を取得し（ステップＳ１）、これらの画像を対比することで対象物を３次元復元する（ステップＳ３）。画像中において対象物の追跡点の候補となる特徴点を抽出し（ステップＳ４）、特徴点の画像中における高さ位置と、周辺の面との連続性を表す評価関数を用い（ステップＳ５、Ｓ６）、この評価関数の値が所定値以上の点を追跡点として設定する（ステップＳ７）。後続画像中では、こられの追跡点の位置を追跡することにより対象物の追跡を行う（ステップＳ１、Ｓ１１、Ｓ１２）。
【選択図】図２

Description

本発明は動画像中で対象物を追跡する画像処理方法に関し、特に、対象物の特徴点を追跡する技術に関する。

異なる位置に配置したカメラにより対象物の動画像をそれぞれ取得して、対象物の追跡を行うとともに３次元復元を行う技術が知られている（例えば、特許文献１参照）。この技術では、動画像中から対象物を追跡する際に、対象物から選択した面を追跡領域として設定し、この追跡領域画像を基に次時点の追跡領域の画像を推定した変形領域と画像を比較することで対象物の追跡を行うものである。
特開２００１−１０１４１９号公報

この技術では、追跡する領域（面）の変形を予想して追跡を行っているため、物体が複数存在する場合に、追跡中に追跡対象の物体とカメラとの間に他の物体が入り込むような場合に、追跡領域の一部または全部が遮蔽されてしまい、変形領域と合致しなくなって対象を見失ってしまう可能性がある。

特許文献１では、このような場合に、変形領域や追跡領域自体を修正する手法が提案されているが、領域を修正することで対象物を見失う可能性を低下させる一方で、追跡領域の判定精度は低下して誤追跡を起こす可能性がある。一方で、判定精度を重視すると、領域の修正が困難になる。これを防ぐには、遮蔽物を含む対象物の全ての面を同時に追跡する手法が考えられるが、追跡時の計算量が多くなり、リアルタイムでの追跡が難しくなる。

そこで本発明は、少ない計算量で対象物の追跡を可能とした画像処理方法を提供することを課題とする。

上記課題を解決するため、本発明に係る画像処理方法は、対象物の動画像を複数のカメラを用いて撮像し、取得した動画像中で該対象物の追跡を行う画像処理方法において、各カメラで同時に取得した画像を対比することで対象物を３次元復元し、画像中において対象物の追跡点の候補となる特徴点を抽出し、特徴点の画像中における高さ位置と、周辺の面との連続性を表す評価関数を用い、この評価関数の値が所定値以上の点を追跡点として設定し、後続画像中でこれらの追跡点の位置を追跡することにより対象物の追跡を行う、ことを特徴とする。

本発明によれば、対象物を３次元復元して、追跡点候補となる特徴点を抽出し、この特徴点のうち、画像中における高さ位置と、周辺の面との連続性を表す評価関数の値が所定値以上の点を追跡点に設定し、画像中の追跡を実行する。この評価関数は、画像中で高い位置にある特徴点であるほど高い値を有し、また、連続面の中心付近にあるほど高い値をとる。つまり、画像中で高い位置にある点や連続面中の中心付近にある点といった他の物体によって遮蔽されにくい点を追跡点に設定している。

追跡点の追跡結果に基づいてさらに、対象物の３次元空間での位置を求めてもよい。３次元復元結果と追跡点の位置関係を基に、追跡点の空間位置から対象物の空間位置を求めるとよい。

本発明によれば、上述した評価関数を用いることで、対象物上の遮蔽されにくい点を追跡点として設定するので、物体を見失うことなく追跡できる可能性が増す。このため、誤追跡を減らすことができ、計算量も減らすことができる。したがって、計算機資源の限られた処理系においてもリアルタイムでの追跡処理が可能となる。また、複数の追跡点を設定しておけば、ある追跡点を見失った場合でも他の追跡点を基に追跡を行うことが容易であり、追跡点を変更する必要がない。

追跡点を基にして対象物の空間位置を求めるようにすると、対象物全体を追跡することなく、対象物を追跡することができ、計算量を削減することができる。

以下、添付図面を参照して本発明の好適な実施の形態について詳細に説明する。説明の理解を容易にするため、各図面において同一の構成要素に対しては可能な限り同一の参照番号を附し、重複する説明は省略する。

図１は、本発明に係る画像処理方法を実施する物体追跡システムのブロック構成図である。この物体追跡システム１００は、対象物２００を異なる視点から撮像する複数のカメラ１_１〜１_ｎと、カメラの映像信号を受信して画像処理を行う画像処理装置２と、処理結果を表示するモニタ３とからなる。

カメラ１_１〜１_ｎは、例えば、ビデオカメラであって、毎秒３０フレームで画像を画像処理装置２へ転送することができる。このときの映像信号は、１画面が６４０×４８０ドットで構成され、各画素は、ＲＧＢそれぞれ８ビットで表されるデジタル信号である。なお、カメラ１_１〜１_ｎ側でデジタル信号へと変換して画像処理装置２へ転送する形態のほか、カメラ１_１〜１_ｎに、アナログ映像信号（例えば、ＮＴＳＣ形式）を出力するタイプのものを使用し、画像処理装置２内にＡ／Ｄ変換器を設ける構成や、画像処理装置２との間に独立してＡ／Ｄ変換器を設ける構成を採用してもよい。カメラ１_１〜１_ｎは、２台（つまり、ｎ＝２）あれば、対象物の立体視が可能であるが、３台以上としてもよい。さらに、３台以上用いる場合には、全部のカメラの映像を用いるのではなく、任意の２台以上の画像を適宜組み合わせて画像処理を行ってもよい。

画像処理装置２は、ＣＰＵ、ＲＯＭ、ＲＡＭ等によって構成されており、入力された映像信号中の各画像に対して所定の画像処理を施し、処理結果をモニタ３へと出力するものである。この画像処理装置２は、本発明に係る画像処理方法に特化した専用のハードウェアとして構成されていてもよいし、パーソナルコンピュータやワークステーションといった汎用の計算機を用い、これらの計算機上で作動するソフトウェアによって本発明に係る画像処理方法を実現してもよい。

この物体追跡システム１００を用いた、本発明に係る画像処理方法について、以下に具体的に説明する。図２はこの画像処理方法の処理内容を示すフローチャートであり、図３〜図７は、個々の処理を説明する図である。以下、２台のカメラ１_１、１_２を用いて処理を行う例を説明するが、３台以上のカメラ１_１〜１_ｎを用いる場合も同様の処理が行われる。この処理は、追跡処理中所定間隔の画像フレームを対象として繰り返し実行されるものである。この所定間隔は追跡を行う物体の画像中における移動速度や画像処理装置２の処理速度に応じて適宜設定されるものであり、全てのフレームを対象として処理を行うのではなく、数フレームおきに処理を行ってもよい。また、動きに応じてフレーム間隔を可変としてもよい。

まず、各カメラ１_１〜１_ｎから１画像フレーム分の映像信号を取得する（ステップＳ１）。図３は、カメラ１_１、１_２で取得した画像の一例を示している。ここでは、台上に配置された四角柱（空箱）２０１、円柱（空缶）２０２、球（オレンジ）２０３という３つの物体を斜め上方から撮像している。

次に、事前のタイムステップにおいて追跡点を設定済みか否かを判定する（ステップＳ２）。追跡点の設定が行われていない場合には、最初に、追跡点の設定処理を行う。

追跡点の設定処理においては、まず、取得した画像から物体の３次元復元を行う（ステップＳ３）。ここでは、カメラ１_１、１_２で取得したステレオ画像から各点の距離を色で表示した距離画像（図４参照。）を求めることで３次元復元を行っている。この距離画像の生成手法としては、例えば各画像間で輝度や色相を対比することにより生成する手法が知られており、これらの公知の手法を用いることが可能である。

次に、画像中から特徴点を抽出する（ステップＳ４）。この特徴点としては、画像をエッジ抽出処理して、そのエッジの端部やエッジの中央を選択する手法や、テクスチャーを抽出して、テクスチャーの代表点（境界位置あるいは重心位置等）を選択する手法や、前述した距離画像から距離境界または距離差の少ない領域の重心位置をとる手法等を選ぶことができる。図５は、エッジ処理により抽出したエッジの交差点を、特徴点Ｐ_１〜Ｐ_９として抽出した場合の特徴点Ｐ_１〜Ｐ_９を元画像と重ね合わせて示したものである。ここで選択した特徴点Ｐ_１〜Ｐ_９が追跡点の候補となる。

次に、この特徴点（追跡点候補）Ｐ_１〜Ｐ_９中から追跡点を設定する。具体的には、抽出した特徴点Ｐ_１〜Ｐ_９とステップＳ３で得た３次元情報とを対比することで、各特徴点の画像中での高さ情報Ｈと、周辺の面との連続性を表すパラメータとなる連続面の面積Ａを求める（ステップＳ５）。ここで、連続面の面積Ａは、奥行き方向の距離が所定距離内にある面の面積として設定すればよい。このとき、画面上での距離が所定距離以内にある領域内の面積を対象にするとさらに好ましい。また、テクスチャー抽出を行っている場合には、連続しているテクスチャーの面積で代替してもよく、エッジ抽出を行っている場合には、輪郭線内の面積で代替してもよい。そして、各特徴Ｐ_１〜Ｐ_９点について、評価関数Ｆ＝ａ×Ｈ＋ｂ×Ａ（ここで、ａ、ｂは予め設定された定数）の値Ｆを求める（ステップＳ６）。そして、Ｆがしきい値Ｆｔｈ以上の特徴点Ｐ_１〜Ｐ_９を追跡点に設定する（ステップＳ７）。

図６は、距離画像に特徴点を重ね合わせた例であり、ここでは、図中にＰ_１〜Ｐ_５、Ｐ_７、Ｐ_９で示している特徴点が追跡点として設定され、特徴点Ｐ_６、Ｐ_８は、追跡点から除外される特徴点である。これらの追跡点Ｐ_１〜Ｐ_５、Ｐ_７、Ｐ_９のうち、Ｐ_５は、連続した面の中心付近にあることから、評価関数Ｆ中のｂ×Ａが十分に大きな値を有する。残りの追跡点Ｐ_１〜Ｐ_４とＰ_７、Ｐ_９は高さ方向で高い位置にあるため評価関数Ｆ中のａ×Ｈが十分に大きな値を有する。一方、特徴点Ｐ_６、Ｐ_８は、高さ方向で低い位置にあり、連続面の端付近に位置するため、評価関数Ｆの値がしきい値以下となり、追跡点からは除外されることになる。このような評価関数Ｆを利用することによってカメラ又は物体が移動したときに他の物体によって遮蔽されやすい位置にある特徴点を追跡点から除外し、遮蔽されにくい位置にある特徴点を追跡点に設定することで、誤追跡を防止し、計算量を減らすことができる。

追跡点の設定処理は以上で終了し、追跡点の空間位置または対象物の位置情報を出力して（ステップＳ８）、当該タイムステップの処理を終了する。

ステップＳ２で、既に追跡点を検出済みと判定された場合には、ステップＳ１１へと移行して、追跡点の追跡処理を行う。具体的には、前回のタイムステップにおける画像と今回取得した画像とを対比することで、今回取得した画像中における個々の追跡点の位置を求める。

図７（ａ）、図７（ｂ）は、四角柱２０１が円柱２０２の後方に置かれている場合に、カメラ群を右から左に移動させた前後の取得画像を対比して示している。図７（ａ）（ｂ）に示されるように背後に存在する四角柱２０１の床に接触している頂点Ｃや不連続な面（背景）の近くにある点Ｄ、Ｅはカメラの移動に伴い、円柱２０２の影に遮蔽されるため、画像から消失してしまう。本発明によれば、上述した評価関数によってこのように遮蔽されやすい点を追跡点から除外し、遮蔽されにくい点を追跡点に設定して追跡を行っているため、複数の物体が存在している場合でも個々の物体の特徴点を追跡するのが容易になる。この結果、追跡点を見失うことによって生ずる誤追跡を防止して、追跡精度を向上させるとともに、計算量を削減することができるため、計算機資源の限られた処理系においてもリアルタイムでの追跡処理が可能となる。

次に、求めた追跡点の位置情報を基にして対象物の位置情報を復元する（ステップＳ１２）。これは、ステップＳ２で３次元復元を行った際に、特徴点と対象物の相対位置関係を記憶しておき、求めた特徴点の位置からこの相対位置関係を利用して対象物の３次元的位置を算出することにより行えばよい。そして、ステップＳ８へと移行することにより、求めた追跡点または対象物の位置情報を出力して当該タイムステップの処理を終了する。

また、本発明によれば、画像中で対象物そのものを追跡するのではなく、遮蔽されにくい特徴点を追跡するため、計算時間を必要とする対象物の３次元復元処理を毎回行う必要がなく、短時間で複数の対象物を追跡することが可能となる。

ここでは、カメラが移動する場合を例に説明したが、物体が移動する場合についても同様に追跡処理を行うことができる。また、複数のカメラを同時にズームインまたはズームアウトするような場合において、物体像を追跡する場合に適用することもできる。

さらに、所定フレームおきに、あるいは、対象物の移動量に応じて、再度３次元復元を行うことにより、追跡点を再構成するようにしてもよい。例えば、対象物に対して回り込むようにカメラ群を移動させる場合や対象物自体がカメラに対して方角を変えるように移動・回転している場合には、初期に設定した追跡点のほとんどが途中で消失してしまうことがある。このような場合に、途中で追跡点を再設定すれば、消失した追跡点に代えて新たに追跡点を追加することができるため、追跡点を全て見失うことがなく、誤追跡を防止して、追跡精度を向上させることができる。

本発明は、例えば、ロボットの視覚装置や物体の移動状態を認識する装置、あるいは監視カメラ等に適用することができる。

本発明に係る画像処理方法を実施する物体追跡システムのブロック構成図である。本発明に係る画像処理方法の処理内容を示すフローチャートである。カメラ１_１、１_２で取得した画像の一例を示す図である。３次元復元のために用いられる距離画像の一例を示す図である。抽出した特徴点を元画像に重ね合わせて表示した様子を示す図である。距離画像に特徴点を重ね合わせて表示した様子を示す図である。四角柱が円柱の後方に置かれている場合に、カメラ群を右から左に移動させた前後の取得画像を対比して示した図である。

符号の説明

１_１〜１_ｎ…カメラ、２…画像処理装置、３…モニタ、１００…物体追跡システム、２００…対象物、２０１…四角柱、２０２…円柱、２０３…球。

Claims

対象物の動画像を複数のカメラを用いて撮像し、取得した動画像中で該対象物の追跡を行う画像処理方法において、
各カメラで同時に取得した画像を対比することで対象物を３次元復元し、
画像中において対象物の追跡点の候補となる特徴点を抽出し、
特徴点の画像中における高さ位置と、周辺の面との連続性を表す評価関数を用い、該評価関数の値が所定値以上の点を追跡点として設定し、
後続画像中で該追跡点の位置を追跡することにより該対象物の追跡を行う、ことを特徴とする画像処理方法。
追跡点の追跡結果に基づいてさらに、該対象物の３次元空間での位置を求めることを特徴とする請求項１記載の画像処理方法。