JP2005309992A - 画像処理装置および画像処理方法 - Google Patents

Abstract

【課題】 物体の向きが大きく変化した場合であっても、物体の運動の変化を正確に検出し続けることができる画像処理装置および画像処理方法を提供する。
【解決手段】 画像処理装置１は、第一主要特徴点追跡部１１および第二主要特徴点追跡部１３によって、カメラ２，３で撮影した画像から主要特徴点をそれぞれ追跡する。また、第一補助特徴点検出・追跡部１２および第二補助特徴点検出・追跡部１４によって補助特徴点の追跡を行う。通常時は、第一主要特徴点追跡部１１および第二主要特徴点追跡部１３による主要特徴点の追跡結果に基づいて、顔向きの判断を行う。主要特徴点の追跡に失敗したときには、第一補助特徴点検出・追跡部１２および第二補助特徴点検出・追跡部１４による補助特徴点の追跡結果に基づいて、顔向きの判断を行う。その後、主要よく頂点の追跡が回復したときには、補助特徴点を再設定する。
【選択図】 図１

Description

本発明は、画像処理装置および画像処理方法に係り、特に、撮像手段で撮像された画像中における顔などの物体を追跡する画像処理装置および画像処理方法に関する。

画像中における人の顔などの物体を追跡するための画像処理装置として、特開平１１−６３９２７号公報に開示されたものがある。この画像処理装置は、人の顔における眉、目、鼻、口、ほくろなどを特徴点とし、これらの各特徴点を追跡することによって、顔の向きを判断するというものである。
特開平１１−６３９２７号公報

しかし、上記特許文献１に開示された顔画像特徴点抽出装置においては、過去の追跡結果を利用して、将来の追跡を行うものである。このため、特徴点位置に誤差が生じると、その誤差が蓄積してしまい、正確な特徴点位置の把握が困難になるという問題があった。また顔（物体）の向きが大きく変化すると、各特徴点の画像上の見え方が大きく変化してしまい、正確に特徴点の位置を推定するのが困難になり、物体の運動の変化を正確に検出することができなくなるという問題があった。

そこで、本発明の課題は、物体の向きが大きく変化した場合であっても、物体の運動の変化を正確に検出し続けることができる画像処理装置および画像処理方法を提供することにある。

上記課題を解決した本発明に係る画像処理装置は、所定の位置関係にある複数の撮像手段で撮影した画像内における物体の運動を検出する画像処理装置であって、複数の撮像手段により撮影された検出対象物における固有の特徴点を主要特徴点として検出し、主要特徴点を追跡する主要特徴点追跡手段と、検出対象物の撮影画像中における主要特徴点と異なる特徴点を補助特徴点として検出し、補助特徴点を追跡する補助特徴点追跡手段と、主要特徴点および補助特徴点の三次元特徴点を復元する三次元復元手段と、主要特徴点追跡手段による追跡結果に基づいて、検出対象物の運動を推定する第一運動推定手段と、主要特徴点追跡手段による主要特徴点の追跡の成否を判断する追跡正否判断手段と、追跡成否判断手段による主要特徴点の追跡が失敗したと判断したときに、補助特徴点追跡手段による追跡結果に基づいて、検出対象物の運動を推定する第二運動推定手段と、追跡成否判断手段による主要特徴点の追跡が失敗した後、主要特徴点の追跡が回復したときに、補助特徴点の初期位置を再設定する補助特徴点初期位置再設定手段と、を備えるものである。

本発明に係る画像処理装置においては、主要特徴点追跡手段によって検出対象物の運動を推定しているが、たとえば検出対象物の向きが大きく変化して主要特徴点追跡手段による追跡が失敗したときには、補助特徴点追跡手段によって追跡した補助特徴点の位置から検出対象物の運動を推定している。このため、主要特徴点追跡手段による特徴点の追跡が失敗した後も、物体の運動の変化を正確に検出することができる。

また、主要特徴点追跡手段の追跡が回復した後は、補助特徴点の初期位置を再設定するようにしている。このため、追跡対象物の向きが大きく変化して、一旦主要特徴点追跡手段による追跡が失敗した後であっても、補助特徴点が正確な位置となっているので、さらにその後の主要特徴点の追跡も正確に行うことができる。

ここで、主要特徴点追跡手段は、主要特徴点に対応するテンプレートを予め記憶しており、複数の撮像手段で撮影された画像の一部と、テンプレートとを比較して両者の相関を求めることにより、主要特徴点を追跡する態様とすることができる。

このように、主要特徴点追跡手段では、テンプレートを利用した相関を比較する追跡を行うことにより、精度の高める方向に主眼をおいた追跡を行うことができる。

さらに、補助特徴点追跡手段は、ＫＬＴ法によって補助特徴点の追跡を行う態様とすることができる。

このように、補助特徴点追跡手段では、ＫＬＴ法によって補助特徴点の追跡を行うことにより、演算量が少なく、大量の補助特徴点についての追跡に主眼をおいた追跡を行うことができる。

他方、上記課題を解決した本発明に係る画像処理方法は、所定の位置関係にある複数の撮像手段で撮影した画像内における物体の運動を検出する画像処理方法であって、複数の撮像手段により撮影された検出対象物における固有の特徴点を主要特徴点として検出し、主要特徴点を追跡する主要特徴点追跡工程と、検出対象物の撮影画像中における主要特徴点と異なる特徴点を補助特徴点として検出し、補助特徴点を追跡する補助特徴点追跡工程と、主要特徴点および補助特徴点の三次元特徴点を復元する三次元復元工程と、主要特徴点追跡工程における追跡結果に基づいて、検出対象物の運動を推定する第一運動推定工程と、主要特徴点追跡工程における主要特徴点の追跡の成否を判断する追跡正否判断工程と、追跡成否判断工程で主要特徴点の追跡が失敗したと判断したときに、補助特徴点追跡工程における追跡結果に基づいて、検出対象物の運動を推定する第二運動推定工程と、追跡成否判断工程における主要特徴点の追跡が失敗した後、主要特徴点の追跡が回復したときに、補助特徴点の初期位置を再設定する補助特徴点初期位置再設定工程と、を含むことを特徴とする。

本発明に係る画像処理装置および画像処理方法によれば、物体の向きが大きく変化した場合であっても、物体の運動の変化を正確に検出し続けることができる。

以下、図面を参照して、本発明の好適な実施形態について説明する。図１は本発明の実施形態に係る画像処理装置のブロック構成図である。

図１に示すように、本実施形態に係る画像処理装置１は、第一主要特徴点追跡部１１、第一補助特徴点検出・追跡部１２、第二主要特徴点追跡部１３、および第二補助特徴点検出・追跡部１４を備えている。また、画像処理装置１は、本発明の追跡成否判断手段であるリセット部１５、全特徴点三次元位置復元部１６、主要特徴点三次元位置復元部１７、および全特徴点初期三次元位置記憶部１８、および主要特徴点初期三次元位置記憶部１９を備えている。本発明の三次元復元手段は、全特徴点三次元位置復元部１６および主要特徴点三次元位置復元部１７で構成されている
さらに、画像処理装置１は、第一三次元運動推定部２０、第二三次元運動推定部２１を備えている。上記の構成要素のうち、全特徴点三次元位置復元部１６．全特徴点初期三次元位置記憶部１８、および第二三次元運動推定部２１によって、本発明の補助特徴点初期位置再設定手段が形成される。

また、画像処理装置１には、複数の撮像手段である第一カメラ２および第二カメラ３が接続されている。第一カメラ２は、人の顔などを撮影した画像（以下「第一画像」という）を画像処理装置１における第一主要特徴点追跡部１１および第一補助特徴点検出・追跡部１２に出力している。第二カメラ３は、人の顔などを撮影した画像（以下「第二画像」という）を画像処理装置１における第二主要特徴点追跡部１３および第二補助特徴点検出・追跡部１４に出力している。本実施形態では、人の顔を検出対象物体としている。

第一主要特徴点追跡部１１は、第一カメラ２から出力された第一画像における主要特徴点を設定し、設定した主要特徴点の追跡を行う。主要特徴点の追跡を行うため、第一主要特徴点追跡部１１には、検出対象物である人の顔を正面から見た際に、主要特徴点の周囲を含むテンプレートとなる参照画像が記憶されている。第一主要特徴点追跡部１１は、主要特徴点の追跡結果をリセット部１５、全特徴点三次元位置復元部１６、および主要特徴点三次元位置復元部１７に出力する。

第一補助特徴点検出・追跡部１２は、第一カメラ２から出力された第一画像における補助特徴点を検出し、補助特徴点の追跡を行う。第一補助特徴点検出・追跡部１２は、補助特徴点の追跡結果を、第二補助特徴点検出・追跡部１４、リセット部１５、および全特徴点三次元位置推定部１６に出力する。

第二主要特徴点追跡部１３は、第二カメラ３から出力された第二画像における主要特徴点を設定し、設定した主要特徴点の追跡を行う。主要特徴点の追跡を行うため、第二主要特徴点追跡部１３には、第一主要特徴点追跡部１１と同様、検出対象物である人の顔を正面から見た際に、主要特徴点の周囲を含むテンプレートとなる参照画像が記憶されている。第二主要特徴点追跡部１３は、主要特徴点の追跡結果をリセット部１５、全特徴点三次元位置復元部１６、および主要特徴点三次元位置復元部１７に出力する。

第二補助特徴点検出・追跡部１４は、第一主要特徴点追跡部１１から出力された第一画像中の補助特徴点の位置と、第二カメラ３から出力された第二画像とから、第二画像における補助特徴点を検出し、補助特徴点の追跡を行う。第二補助特徴点検出・追跡部１４は、補助特徴点の追跡結果をリセット部１５および全特徴点三次元位置推定部１６に出力する。

リセット部１５は、第一主要特徴点追跡部１１および第二主要特徴点追跡部１３から出力された各追跡結果に基づいて、追跡の成否を判断し、その判断結果から補助特徴点のリセット処理を行うか否かを判断する。その結果、リセット処理を行う際には、第一補助特徴点検出・追跡部１２および第二補助特徴点検出・追跡部１４から出力された補助特徴点の追跡結果から、補助特徴点のリセット処理を行い、補助特徴点を再設定して全特徴点初期三次元位置記憶部１８に出力する。

全特徴点三次元位置復元部１６は、第一主要特徴点追跡部１１および第二主要特徴点追跡部１３から出力された主要特徴点の追跡結果に基づいて、主要特徴点の三次元位置を推定する。また、全特徴点三次元位置復元部１６は、第一補助特徴点検出・追跡部１２および第二補助特徴点検出・追跡部１４から出力された補助特徴点の追跡結果に基づいて、補助特徴点の三次元位置を復元する。全特徴点三次元位置復元部１６では、復元した主要特徴点の三次元位置および補助特徴点の三次元位置を全特徴点初期三次元位置記憶部１８および第二三次元運動推定部２１に出力する。

主要特徴点三次元位置復元部１７は、第一主要特徴点追跡部１１および第一補助特徴点検出・追跡部１２から出力された主要特徴点の追跡結果に基づいて、主要特徴点の三次元位置を復元する。また、主要特徴点三次元位置復元部１７は、復元した主要特徴点の三次元位置を主要特徴点初期三次元位置記憶部１９および第一三次元運動推定部２０に出力する。

全特徴点初期三次元位置記憶部１８は、全特徴点三次元位置復元部１６から出力された所要特徴点および補助特徴点を含む全特徴点の三次元位置に基づいて、全特徴点の初期三次元位置を記憶する。また、全特徴点初期三次元位置記憶部１８は、記憶する全特徴点の初期三次元位置を第二三次元運動推定部２１に出力する。また、全特徴点初期三次元位置記憶部１８にリセット部１５から再設定された補助特徴点が出力され、第一三次元運動推定部２０から初期化後の主要特徴点の運動推定結果が出力される。そして、再設定された補助特徴点と初期化後の主要特徴点の運動推定結果とから、補助特徴点の初期位置を算出する。

主要特徴点初期三次元位置記憶部１９は、主要特徴点三次元位置復元部１７から出力された主要特徴点の三次元位置に基づいて、主要特徴点の初期三次元位置を記憶する。また、記憶した主要特徴点の三次元位置を、第一三次元運動推定部２０に出力する。

第一三次元運動推定部２０には、主要特徴点三次元位置復元部１７から主要特徴点の三次元位置が出力され、主要特徴点初期三次元位置記憶部１９から主要特徴点の初期三次元が出力される。第一三次元運動推定部２０では、出力された主要特徴点の三次元位置および主要特徴点の初期三次元位置に基づいて、顔の三次元運動を推定する。また、補助特徴点の初期化を行う際には、全特徴点初期三次元位置記憶部１８に主要特徴点の運動推定結果を出力する。

第二三次元運動推定部２１には、全特徴点三次元位置復元部１６から全特徴点の三次元位置が出力され、全特徴点初期三次元位置記憶部１８から全特徴点の初期三次元位置が出力される。第二三次元運動推定部２１では、出力された全特徴点の三次元位置および全特徴点の初期三次元位置に基づいて、顔の三次元運動を推定する。

次に、本実施形態に係る画像処理装置における画像処理方法について説明する。本実施形態に係る画像処理方法では、最初に初期フレームの設定を行い、続いて初期フレーム設定以降における特徴点の追跡処理を行う。図２は、本実施形態に係る画像処理方法のうち、初期フレームの設定を行う手順を示すフローチャートである。また、図３は、初期フレーム以降における特徴点の追跡手順を示すフローチャートである。さらに、図４は、初期化待ち状態における処理手順を示すフローチャートである。

初期フレームの設定を行う際には、第一カメラ２で顔などを撮影した第一画像が画像処理装置１における第一主要特徴点追跡部１１および第一補助特徴点検出・追跡部１２に出力される。これと同時に、第二カメラ３で撮影した第二画像が画像処理装置１における第二主要特徴点追跡部１３および第二補助特徴点検出・追跡部１４に出力される。

第一主要特徴点追跡部１１では、テンプレートマッチングを行って、顔の中の主要特徴点を求める。第一主要特徴点追跡部１１では、第一カメラ２から出力された第一画像と、予め記憶している主要特徴点の周囲を含む参照画像との類似度を算出し、第一画像中における特徴点を抽出して主要特徴点を設定する（Ｓ１）。類似度の算出を行う際には、第一画像を参照画像と同じ大きさに切り出した切り出し画像を作成し、切り出し画像と参照画像との類似度を下記（１）式を用いて算出する。

この（１）式の評価を全切り出し画像に対して行う。（１）式による相関度を求めた結果、もっとも相関値が大きくなる切り出し画像が、参照画像との誤差が小さいことになるので、その切り出し画像の中心位置を主要特徴点として設定する。第一主要特徴点追跡部１１は、第一画像上に設定した主要特徴点を、リセット部１５、全特徴点三次元位置復元部１６、および主要特徴点三次元位置復元部１７に出力する。

ここで、参照画像との相関で切り出された切り出し画像としては、たとえば図５（ａ）に示す第一〜第六切り出し画像Ｍ１〜Ｍ６がある。これらの第一〜第六切り出し画像Ｍ１〜Ｍ６の中心位置に、第一〜第六主要特徴点Ｐ１〜Ｐ６が設定される。また、第一，第二主要特徴点Ｐ１，Ｐ２は、口の両側における口元に設定され、第三〜第六主要特徴点Ｐ３〜Ｐ６は、両目のそれぞれにおける両側の目元に設定される。

第二主要特徴点追跡部１３では、第二画像中における特徴点と考えられる部分を抽出し、主要特徴点を設定する（Ｓ２）。主要特徴点の設定は、第一画像と同様、第二画像を参照画像の大きさと同じ大きさに切り出すことができるすべての切り出し画像を作成する。この切り出し画像と参照画像との間で、上記（１）式により求められる相関値がもっとも大きくなる切り出し画像の中心位置を主要特徴点として設定する。第二主要特徴点追跡部１３は、第二画像上に設定した主要特徴点をリセット部１５、全特徴点三次元位置復元部１６、および主要特徴点三次元位置復元部１７に出力する。

ここで、参照画像との相関で切り出された切り出し画像としては、たとえば図５（ｂ）に示す第一〜第六切り出し画像Ｍ１′〜Ｍ６′がある。これらの第一〜第六切り出し画像Ｍ１′〜Ｍ６′の中心位置に、第一〜第六主要特徴点Ｐ１′〜Ｐ６′が設定される。また、第一，第二主要特徴点Ｐ１′，Ｐ２′は、口の両側における口元に設定され、第三〜第六主要特徴点Ｐ３′〜Ｐ６′は、両目のそれぞれにおける両側の目元に設定される。

さらに、第一主要特徴点追跡部１１は、第一画像中で設定した主要特徴点を主要特徴点三次元位置復元部１７に出力し、第二主要特徴点追跡部１３は、第二画像中で設定した主要特徴点を主要特徴点三次元位置復元部１７に出力する。主要特徴点三次元位置復元部１７では、出力された第一画像中の主要特徴点と、第二画像中の主要特徴点とから、三角測量の原理に基づいて、主要特徴点初期三次元位置を復元する（Ｓ３）。

全特徴点三次元位置復元部１６は、復元した主要特徴点の初期三次元位置を全特徴点初期三次元位置記憶部１８に出力する。また、第一主要特徴点追跡部１１および第二主要特徴点追跡部１３からの追跡結果は、全特徴点三次元位置復元部１６にも出力されている。全特徴点三次元位置復元部１６は、これらの追跡結果に基づいて、主要特徴点の三次元位置の復元を行っている。復元された主要特徴点の初期三次元位置を全特徴点初期三次元位置記憶部１８に出力している。

また、第一補助特徴点検出・追跡部１２においては、第一カメラ２から出力された第一画像から、補助特徴点を検出する（Ｓ４）。補助特徴点を検出する際には、第一画像上において、たとえば第一画像の全体をスキャニングし、輝度が周辺の輝度分布に対して特徴的となっている画素を抽出する。具体的に、補助特徴点を検出するに行う特徴的な画素の抽出は、下記（２）式を用いることができる。

上記（２）式において、しきい値ｔｈｒを超えた画素を、補助特徴点として設定する。ここで、しきい値ｔｈｒを超える画素をすべて補助特徴点として、設定することができるが、補助特徴点の数が大きくなりすぎると、演算処理に長時間を要することになるので、補助特徴点は、ある程度の数、たとえば５０個程度とする。第一補助特徴点検出・追跡部１２は、このようにして検出した第一画像上における補助特徴点を第二補助特徴点検出・追跡部１４および全特徴点三次元位置復元部１６に出力する。

第二補助特徴点検出・追跡部１４では、第一主要特徴点追跡部１１から出力された第一画像上の補助特徴点の位置から、第二画像上の補助特徴点を検出する（Ｓ５）。第二画像上の補助特徴点を検出するため、２台のカメラ２，３の位置関係から決まる対応画素の存在可能性のあるエピポーラ直線を算出する。

算出したエピポーラ直線上で、第一画像上での各補助特徴点の近傍を含む画素を切り出して参照画像とし、この参照画像と類似する画像をエピポーラ直線上の画素を中心とする領域から探索する。参照画像とエピポーラ直線上の画素を中心とする領域との類似度は、下記（１）式によって求められる相関値で評価することができる。

上記（１）式において、もっと相関値が大きい領域が、参照画像との誤差が小さいことを意味している。したがって、この領域を切り出しときのエピポーラ直線上にあるこの領域の中心位置を補助特徴点と推定する。ただし、すべての領域について、参照画像との相関値が、予め設定したしきい値よりも小さい場合場合には、対応する補助特徴点がないものと判断する。このようにして、第二画像上における補助特徴点を検出する（Ｓ５）。また、第二補助特徴点検出・追跡部１４は、第二画像上で検出した補助特徴点をリセット部１５および全特徴点三次元位置復元部１６に出力する。

全特徴点三次元位置復元部１６では、第一主要特徴点追跡部１１から出力された第一画像上の補助特徴点と、第二補助特徴点検出・追跡部１４から出力された第二画像上の補助特徴点とから、三角測量の原理に基づいて、補助特徴点の初期三次元位置を復元する（Ｓ６）。全特徴点三次元位置復元部１６は、復元した補助特徴点初期三次元位置を、全特徴点初期三次元位置記憶部１８および第二三次元運動推定部２１に出力する。

このようにして、初期フレーム設定が行われる。

続いて、初期フレーム設定以降における通常時における特徴点の追跡処理の手順について説明する。

図３に示すように、通常時の追跡処理では、初期フレームの場合と同様、第一主要特徴点追跡部１１では、第一画像中における主要特徴点の追跡を行う（Ｓ１１）。第一主要特徴点追跡部１１には、図６（ａ）に示す左側の口元の参照画像Ｍが記憶されており、参照画像Ｍの中心点Ｐが主要特徴点となる。第一主要特徴点追跡部１１では、第一カメラ２から出力される図６（ｂ）に示す第一画像Ｆ１を参照画像Ｍと同じ大きさで切り出すことができるすべての切り出し画像ＦＣを作成し、第一画像Ｆ１をスキャニングしながら切り出し画像ＦＣと参照画像Ｍとの類似度を上記（１）式を用いて算出することによって行われる。

上記（１）式の結果、参照画像Ｍとの類似度がもっとも大きい切り出し画像ＦＣを選択し、この切り出し画像ＦＣにおける中心位置を主要特徴点の追跡位置と判断する。第一主要特徴点追跡部１１は、追跡結果をリセット部１５、全特徴点三次元位置復元部１６、および主要特徴点三次元位置復元部１７に出力する。

第一主要特徴点追跡部１１は、左側の口元の参照画像以外参照画像も記憶しており、それぞれ同様の方法によって参照画像との類似度を算出することによって、各主要特徴点の追跡を行う。そして、追跡結果をリセット部１５、全特徴点三次元位置復元部１６、および主要特徴点三次元位置復元部１７に出力する。

また、第二主要特徴点追跡部１３では、第二画像中における主要特徴点の追跡を行う（Ｓ１２）。特徴点の追跡は、第二カメラ３から出力される第二画像を参照画像と同じ大きさに切り出した切り出し画像を作成し、切り出し画像と参照画像との類似度を上記（１）式を用いて算出することによって行われる。

上記（１）式の結果、参照画像との類似度がもっとも大きい切り出し画像を選択し、この切り出し画像における中心位置を主要特徴点の追跡位置と判断する。第二主要特徴点追跡部１３は、追跡結果をリセット部１５、全特徴点三次元位置復元部１６、および主要特徴点三次元位置復元部１７に出力する。

第二主要特徴点追跡部１３は、左側の口元の参照画像以外参照画像も記憶しており、それぞれ同様の方法によって参照画像との類似度を算出することによって、各主要特徴点の追跡を行う。そして、追跡結果をリセット部１５、全特徴点三次元位置復元部１６、および主要特徴点三次元位置復元部１７に出力する。

さらに、第一補助特徴点検出・追跡部１２では、第一画像中における補助特徴点の追跡を行う（Ｓ１３）。補助特徴点の追跡は、ＫＬＴ（kanade-rucas tracker）法を用いて行われる。ＫＬＴ法による追跡は、初期時刻の画像から各時刻の画像への変換が、各特徴点の近傍だけに着目すると、二次元的なアフィン運動に近似できることを利用して行うことができるものである。

ＫＬＴ法では、複数の補助特徴点を領域端点とする第一画像上の平面閉領域を設定する。この平面領域は、前後のフレーム間では二次元的なアフィン変換とみなすことができるので、各補助特徴点の位置から、前後のフレーム間におけるアフィンパラメータをたとえば最小二乗法で算出する。このアフィンパラメータを利用して、各補助特徴点の追跡を行う。第一補助特徴点検出・追跡部１２は、第一画像上における補助特徴点の追跡結果をリセット部１５および全特徴点三次元位置復元部１６に出力する。

第二補助特徴点検出・追跡部１４では、第一補助特徴点検出・追跡部１２と同様、ＫＬＴ法を用いて第二画像中における補助特徴点の追跡を行う（Ｓ１４）。第二補助特徴点検出・追跡部１４は、第二画像中における補助特徴点の追跡結果をリセット部１５および全特徴点三次元位置復元部１６に出力する。

リセット部１５および主要特徴点三次元位置復元部１７には、第一主要特徴点追跡部１１および第二主要特徴点追跡部１３から、それぞれ第一画像および第二画像の主要特徴点の追跡結果が出力されている。リセット部１５および主要特徴点三次元位置復元部１７では、第一画像および第二画像における追跡結果を求める際に用いた上記（１）式に基づく相関値がともに所定のしきい値ｔｈｒを超えているか否かを判断する（Ｓ１５）。

その結果、リセット部１５において、第一画像および第二画像のいずれかまたは両方における上記（１）式の相関値がしきい値ｔｈｒ以下となっていると判断したときには、顔が正面を向いておらず、主要特徴点が十分に映されていないことを意味する。この場合には、リセット処理を行う前段階の初期化待ち状態に入る（Ｓ１６）。初期化待ち時の処理手順については後に説明する。

また、リセット部１５で第一画像および第二画像のいずれかまたは両方における上記（１）式の相関値がしきい値ｔｈｒを超えていると判断したときには、顔が正面を向いており、主要特徴点が十分に映されていることを意味する。この場合には、リセット部１５における処理は行わない。

一方、主要特徴点三次元位置復元部１７では、第一画像および第二画像のいずれかまたは両方における上記（１）式の相関値がしきい値ｔｈｒを超えていると判断している。このとき、主要特徴点三次元位置復元部１７では、復元可能である両方の特徴点の三次元位置を復元する（Ｓ１７）。続いて、主要特徴点三次元位置復元部１７は、復元した全特徴点の復元結果を第一三次元運動推定部２０に出力する。また、主要特徴点初期三次元位置記憶部１９は、記憶している全主要特徴点の初期位置を第一三次元運動推定部２０に出力する。

第一三次元運動推定部２０では、主要特徴点三次元位置復元部１７から出力された全主要特徴点の三次元位置および主要特徴点初期三次元位置記憶部１９から出力された全主要特徴点の初期位置とを比較することにより、運動による顔の向きの変化を推定する（Ｓ１８）。その後、復元が不可能である主要特徴点の三次元予測位置を第一画像および第二画像に投影し、復元不可能な主要特徴点の二次元位置を推定する（Ｓ１９）。

次に初期化待ち状態の処理手順について図４を参照して説明する。

図３におけるステップＳ１５において、第一画像および第二画像のいずれかまたは両方における上記（１）式の相関値がしきい値ｔｈｒ以下となっている判断は、主要特徴点の少なくとも一部の追跡に失敗していることを意味する。この場合には、主要特徴点による顔向きの判断ができないので、主要特徴点の追跡が回復するまでの間、補助特徴点の追跡結果を利用して、顔向きの判断を行う。

補助特徴点の追跡結果を利用した顔向きの判断を行うにあたり、全特徴点三次元位置復元部１６は、全特徴点の追跡結果を第二三次元運動推定部２１に出力する。また、全特徴点初期三次元位置記憶部１８は、全特徴点の初期三次元位置を第二三次元運動推定部２１に出力する。第二三次元運動推定部２１では、全特徴点の追跡結果および初期三次元位置と比較することにより、運動による顔向きの変化を推定する。

このとき、主要特徴点の追跡が失敗している際には、追跡に失敗した補助特徴点も増えており、このまま追跡を継続すると、顔向きの判断の精度が低下してしまう。このような精度の低下を防止するために、主要特徴点の追跡に失敗したら、補助特徴点についてのリセット処理を行い、補助特徴点を再設定して、補助特徴点の数を増加させる。

図４に示すように、初期化待ち状態に入ったら、通常時における特徴点の追跡処理と同様、第一主要特徴点追跡部１１では、第一画像中における主要特徴点の追跡を行い（Ｓ２１）、第二主要特徴点追跡部１３では、第二画像中における主要特徴点の追跡を行う（Ｓ２２）。また、第一補助特徴点検出・追跡部１２では、第一画像中における補助特徴点の追跡を行い（Ｓ２３）、第二補助特徴点検出・追跡部１４では、第一補助特徴点検出・追跡部１２と同様、第二画像中における補助特徴点の追跡を行う（Ｓ２４）。

これらの全特徴点の追跡を行った後、リセット部１５および主要特徴点三次元位置復元部１７では、第一画像および第二画像における追跡結果を求める際に用いた上記（１）式に基づく相関値がともに所定のしきい値ｔｈｒを超えているか否かを判断する（Ｓ２５）。

その結果、ステップＳ２５において、第一画像および第二画像のいずれかまたは両方における上記（１）式の相関値がしきい値ｔｈｒ以下となっているとリセット部１５で判断したときには、顔が正面を向いておらず、主要特徴点が十分に映し出されていないため、すべての主要特徴点の追跡を十分に行うことができない状態となっている。

この場合には、補助特徴点の再設定を十分に行うことができる状態にはなっていないので、初期化待ち状態が継続される。初期化待ち状態が継続されると、全特徴点三次元位置復元部１６において、全特徴点のうち、復元可能な状態にある復元可能全特徴点三次元位置の復元が行われる（Ｓ２６）。

ここで、初期化待ち状態にあるときには、主要特徴点の一部または全部が、上記（１）式における相関値がしきい値ｔｈｒ以下となっている。このように相関値がしきい値ｔｈｒ以下となっている参照画像から求められる主要特徴点は、復元不能な主要特徴点とする。ここでは、復元可能である主要特徴点について三次元位置の復元を行う。

また、全特徴点三次元位置復元部１６では、各補助特徴点における追跡の成否を判断している。補助特徴点の追跡の成否は、下記（３）式を用いて行うことができ、下記（３）式が成立したときに、追跡が失敗したと判断する。なお、下記（３）式におけるｘは、画像上の一点を表す水平座標と垂直座標との組をベクトル化したものである。

全特徴点三次元位置復元部１６では、第一画像および第二画像の両方において、上記（３）式を満たすことなく、追跡が成功している各補助特徴点について、三次元復元を行う。

全特徴点三次元位置復元部１６は、復元した主要特徴点および補助特徴点を第二三次元運動推定部２１に出力する。また、リセット部１５からリセット処理信号を受けた全特徴点初期三次元位置記憶部１８は、全特徴点の初期位置を第二三次元運動推定部２１に出力する。第二三次元運動推定部２１では、全特徴点三次元位置復元部１６から出力された全特徴点の三次元位置および全特徴点初期三次元位置記憶部１８から出力された全特徴点の初期位置とを比較することにより、運動による顔向きの変化を推定する（Ｓ２７）。

その後、復元が不可能であった各主要特徴点の三次元位置を、第一画像および第二画像上への投影して、復元が不可能であった各主要特徴点の二次元位置の推定を行う（Ｓ２８）。こうして、復元が不可能であった主要特徴点についても、追跡処理を行うことができるようにする。

また、ステップＳ２５において、（１）式に基づく相関値がともに所定のしきい値ｔｈｒを超えていると判断した場合には、顔が正面を向いており、各主要特徴点の追跡を精度よく行うことができ、主要特徴点による追跡が回復した状態となっている。このときに、補助特徴点についてリセット処理を行い、補助特徴点の再設定を行う。

リセット処理を行う前に、第一画像および第二画像における主要特徴点の追跡結果から、主要特徴点三次元位置復元部１７において主要特徴点の三次元位置を復元する（Ｓ２９）。主要特徴点三次元位置復元部１７は、この全主要特徴点の三次元位置を第一三次元運動推定部２０に出力する。

第一三次元運動推定部２０では、主要特徴点三次元位置復元部１７から出力された全主要特徴点の三次元位置および主要特徴点初期三次元位置記憶部１９から出力された全主要特徴点の初期位置に基づいて、全主要特徴点の三次元運動を推定する（Ｓ３０）。

その後、第一三次元運動推定部２０は、主要特徴点の運動推定結果を全特徴点初期三次元位置記憶部１８に出力する。一方、リセット部１５では、第一補助特徴点検出・追跡部１２および第二補助特徴点検出・追跡部１４から出力された補助特徴点の追跡結果から、補助特徴点の三次元位置を初期化し、全特徴点初期三次元位置記憶部１８に出力している。全特徴点初期三次元位置記憶部１８では、主要特徴点の運動推定結果を利用して、リセット部１５によって初期化した補助特徴点の三次元位置推定結果を逆変換する。

この主要特徴点の運動推定結果から、初期化した補助特徴点の三次元位置を求める。そのため、第一補助特徴点検出・追跡部１２では、上記（２）式を用いて第一画像中における補助特徴点を検出し（Ｓ３１）、リセット部１５に出力する。また、第二補助特徴点検出・追跡部１４では、上記（２）式を用いて第二画像中における補助特徴点を検出し（Ｓ３２）、それぞれリセット部１５に出力する。

リセット部１５では、第一補助特徴点検出・追跡部１２および第二補助特徴点検出・追跡部１４から出力された補助特徴点から、三角測量の原理に基づいて、補助特徴点の三次元位置を復元する（Ｓ３３）。それから、補助特徴点の三次元初期時刻位置への射影を行う（Ｓ３４）。

補助特徴点の三次元初期時刻位置への射影を行うにあたり、主要特徴点の三次元運動の推定結果を利用し、リセット部１５で初期化した補助特徴点の三次元位置推定結果を逆変換する。この逆変換により、主要特徴点および補助特徴点の検出処理で自動的に検出した特徴点に関しても、初期時刻での三次元位置を仮想的に求めることができるので、全特徴点について、初期時刻での位置と現在の時刻での位置との比較という枠組みで統一して処理ができるようになる。

そこで、追跡が成功している主要特徴点を利用して、それらの初期時刻での三次元位置と現在時刻の三次元位置からその間の回転・並進運動を推定する。これらの回転・並進運動は、下記（４）式を最小化することによって求めることができる。下記（４）式において、Ｒは、推定したい回転行列、ｔは、推定したい並進ベクトルを表す。また、ｘ_ｉは、各時刻でのｉ番目の追跡成功特徴点の三次元座標、ｘ_ｉ＿０は、それらの特徴点の初期時刻での三次元位置を示す。

こうして、上記（４）式によって回転ベクトルＲおよび並進ベクトルｔを求めたら、リセット部１５で初期化された補助特徴点の三次元座標位置をＸ′とし、下記（５）式によって、初期化補助特徴点三次元座標位置Ｘを算出する。

Ｘ＝Ｒ−１・（Ｘ′−ｔ） ・・・（５）
上記（５）式によって求めた初期化補助特徴点三次元位置を、全特徴点初期三次元位置記憶部１８に記憶し（Ｓ３５）、初期補助特徴点として再設定する。

それから、初期化待ち状態を終了して、通常状態に移行して（Ｓ３６）、初期化待ち処理を終了する。

初期化待ち状態を終了したら、図３に示すステップＳ１７に移行し、復元可能な全特特徴点三次元位置の復元を行い、三次元顔運動の推定を行う（Ｓ１８）。その後、復元が不可能である主要特徴点の三次元予測位置を第一画像および第二画像に投影し、復元不可能な主要特徴点の二次元位置を推定する（Ｓ１９）。

このように、本実施形態に係る画像処理方法においては、主要特徴点の追跡が失敗した後、主要特徴点の追跡が回復した時点で、補助特徴点についての再設定を行っている。このため、顔の向きが大きく変化した場合であっても、物体の運動の変化を正確に検出し続けることができる。

以上、本発明の好適な実施形態について説明したが、本発明は上記実施形態に限定されるものではない。たとえば、上記実施形態において、移動する物体として人の顔を例示しているが、たとえば自動車などの移動体などを移動する物体とすることができる。

本発明に係る画像処理装置のブロック構成図である。 初期フレームの設定を行う手順を示すフローチャートである。 初期フレーム以降における特徴点の追跡手順を示すフローチャートである。 初期化待ち状態における処理手順を示すフローチャートである。 （ａ）は、第一画像における切り出し画像および主要特徴点を示す図、（ｂ）は、第二画像における切り出し画像および主要特徴点を示す図である。 （ａ）は、参照画像を示す図、（ｂ）は、画像をスキャニングしている状態を示す図である。

符号の説明

１…画像処理装置、２…第一カメラ、３…第二カメラ、１１…第一主要特徴点追跡部、１２…第一補助特徴点検出・追跡部、１３…第二主要特徴点追跡部、１４…第二補助特徴点検出・追跡部、１５…リセット部、１６…全特徴点三次元位置復元部、１７…主要特徴点三次元位置復元部、１８…全特徴点初期三次元位置記憶部、１９…主要特徴点初期三次元位置記憶部、２０…第一三次元運動推定部、２１…第二三次元運動推定部。

Claims (4)

1. 所定の位置関係にある複数の撮像手段で撮影した画像内における物体の運動を検出する画像処理装置であって、
   前記複数の撮像手段により撮影された検出対象物における固有の特徴点を主要特徴点として検出し、前記主要特徴点を追跡する主要特徴点追跡手段と、
   前記検出対象物の撮影画像中における前記主要特徴点と異なる特徴点を補助特徴点として検出し、前記補助特徴点を追跡する補助特徴点追跡手段と、
   前記主要特徴点および前記補助特徴点の三次元特徴点を復元する三次元復元手段と、
   前記主要特徴点追跡手段による追跡結果に基づいて、前記検出対象物の運動を推定する第一運動推定手段と、
   前記主要特徴点追跡手段による前記主要特徴点の追跡の成否を判断する追跡正否判断手段と、
   前記追跡成否判断手段による前記主要特徴点の追跡が失敗したと判断したときに、前記補助特徴点追跡手段による追跡結果に基づいて、前記検出対象物の運動を推定する第二運動推定手段と、
   前記追跡成否判断手段による前記主要特徴点の追跡が失敗した後、前記主要特徴点の追跡が回復したときに、前記補助特徴点の初期位置を再設定する補助特徴点初期位置再設定手段と、
   を備えることを特徴とする画像処理装置。
2. 前記主要特徴点追跡手段は、前記主要特徴点に対応するテンプレートを予め記憶しており、
   前記複数の撮像手段で撮影された画像の一部と、前記テンプレートとを比較して両者の相関を求めることにより、前記主要特徴点を追跡する請求項１に記載の画像処理装置。
3. 前記補助特徴点追跡手段は、ＫＬＴ法によって前記補助特徴点の追跡を行う請求項１または請求項２に記載の画像処理装置。
4. 所定の位置関係にある複数の撮像手段で撮影した画像内における物体の運動を検出する画像処理方法であって、
   前記複数の撮像手段により撮影された検出対象物における固有の特徴点を主要特徴点として検出し、前記主要特徴点を追跡する主要特徴点追跡工程と、
   前記検出対象物の撮影画像中における前記主要特徴点と異なる特徴点を補助特徴点として検出し、前記補助特徴点を追跡する補助特徴点追跡工程と、
   前記主要特徴点および前記補助特徴点の三次元特徴点を復元する三次元復元工程と、
   前記主要特徴点追跡工程における追跡結果に基づいて、前記検出対象物の運動を推定する第一運動推定工程と、
   前記主要特徴点追跡工程における前記主要特徴点の追跡の成否を判断する追跡正否判断工程と、
   前記追跡成否判断工程で前記主要特徴点の追跡が失敗したと判断したときに、前記補助特徴点追跡工程における追跡結果に基づいて、前記検出対象物の運動を推定する第二運動推定工程と、
   前記追跡成否判断工程における前記主要特徴点の追跡が失敗した後、前記主要特徴点の追跡が回復したときに、前記補助特徴点の初期位置を再設定する補助特徴点初期位置再設定工程と、
   を含むことを特徴とする画像処理方法。

Images