JP2006209342A

JP2006209342A - 画像処理装置及び画像処理方法

Info

Publication number: JP2006209342A
Application number: JP2005018553A
Authority: JP
Inventors: Masamichi Osugi; 雅道大杉
Original assignee: Toyota Motor Corp
Current assignee: Toyota Motor Corp
Priority date: 2005-01-26
Filing date: 2005-01-26
Publication date: 2006-08-10

Abstract

【課題】撮像画像における対象物体の特徴点の追跡の良否を高精度に判断できる画像処理装置及び画像処理方法を提供することを課題とする。
【解決手段】撮像画像における対象物体の特徴点を追跡する画像処理装置１であって、位置関係が分っている複数の撮像手段２，３と、複数の撮像手段２，３で各々撮像した各撮像画像中の対象物体の特徴点を各々追跡する複数の追跡手段１１，１２と、複数の追跡手段１１，１２で各々追跡した対応する各特徴点に基づいて当該特徴点の三次元位置を推定する推定手段１３と、推定手段１３で推定した特徴点の三次元位置間の三次元距離と対応する特徴点の基準三次元位置間の三次元距離に基づいて特徴点の追跡が異常か否かを判断する判断手段１４とを備えることを特徴とする。
【選択図】図１

Description

本発明は、撮像画像から対象物体の特徴点を追跡する画像処理装置及び画像処理方法に関する。

画像処理には、カメラで顔を撮像し、その撮像画像から顔の向きや並進運動などを推定するものがある。このように顔の運動を推定する手法としては、例えば、目、口などの各端部あるいは輝度の高い箇所などの顔において複数の特徴点を設定し、撮像画像においてそれらの特徴点を追跡していくことにより顔の運動を推定している（特許文献１参照）。
特開平８−７７３３４号公報

しかしながら、従来の特徴点追跡においては、追跡した結果が正しいか否かの判断基準が明確になっていなかった。そのため、追跡中の特徴点には、追跡が成功した特徴点と追跡が失敗した特徴点とが混在している場合があった。その結果、その追跡結果を用いた顔運動の推定などの上位の処理においては、失敗した追跡結果が含まれている場合にはその処理精度が低下してしまう。

そこで、本発明は、撮像画像における対象物体の特徴点の追跡の良否を高精度に判断できる画像処理装置及び画像処理方法を提供することを課題とする。

本発明に係る画像処理装置は、位置関係が分っている複数の撮像手段と、複数の撮像手段で各々撮像した各撮像画像中の対象物体の特徴点を各々追跡する複数の追跡手段と、複数の追跡手段で各々追跡した対応する各特徴点に基づいて当該特徴点の三次元位置を推定する推定手段と、推定手段で推定した特徴点の三次元位置間の三次元距離と対応する特徴点の基準三次元位置間の三次元距離に基づいて特徴点の追跡が異常か否かを判断する判断手段とを備えることを特徴とする。

この画像処理装置は、位置関係の分っている複数の撮像手段を備えており、この各撮像手段により対象物体を異なる位置から各々撮像する。そして、画像処理装置では、複数の追跡手段により、各撮像画像から対象物体の複数の特徴点を各々追跡する。追跡される特徴点は対象物体において複数存在し、複数の特徴点に対して視点の異なる各撮像画像においてそれぞれ追跡を行う。画像処理装置では、推定手段により、その視点の異なる各撮像画像から取得した対応する各特徴点を用いて当該特徴点の三次元位置を推定する。複数の撮像手段はその位置関係が分っているので、その位置関係を用いることにより、視点の異なる各撮像画像における対応する各特徴点からその特徴点の三次元位置を求めることができる。この三次元位置は、複数の特徴点についてそれぞれ求められる。対象物体における特徴点間の三次元上の相対的な位置関係は、対象物体の向きや並進運動が変化した場合でも、変化しない。したがって、特徴点間の三次元距離も変化しないので、追跡した複数の特徴点についてその三次元位置間の距離が明らかに変化した場合にはその追跡していた特徴点間の三次元上の相対的な位置関係が正常な位置関係からずれていると推測できる。そこで、画像処理装置では、判断手段により、追跡によって求めた特徴点の三次元位置間の三次元距離とその対応する特徴点の基準となる三次元位置間の三次元距離に基づいてその特徴点に対する追跡が異常か否かを判断する。このように、画像処理装置では、対象物体における複数の追跡対象の特徴点間の三次元距離を判断基準とすることにより、特徴点の追跡の良否を高精度に判定することができる。その結果、正常と判断された追跡結果を用いることにより、その特徴点の追跡結果を用いる上位の処理も高精度に行うことができる。

なお、複数の撮像手段の位置関係は、位置関係が予め分っていてもよいし、あるいは、画像処理開始時に位置関係を計測することにより分るようにしてもよい。対象物体の特徴点は、撮像画像における対象物体において追跡が可能な箇所であり、他の箇所と画像上の特徴が異なる箇所である。例えば、輝度の高い箇所や低い箇所、あるいは、周辺の部分と輝度や色などの画像情報に相違がある箇所ある。

本発明の上記画像処理装置の判断手段では、推定手段で推定した特徴点の三次元位置間の三次元距離と対応する特徴点の基準三次元位置間の三次元距離との差又は変化率が所定値を超える場合に特徴点の追跡を異常と判断するように構成とすると好適である。

この画像処理装置の判断手段では、追跡によって求めた特徴点の三次元位置間の三次元距離とその対応する特徴点の基準三次元位置間の三次元距離との差又は変化率を求め、その差又は変化率が所定値を超える場合にはその特徴点に対する追跡に異常があると判断する。上記したように、対象物体の運動状態が変化した場合でも特徴点間の三次元距離は変化しないので、追跡中の特徴点間の三次元距離と基準となる三次元距離との差が大きく変化した場合には追跡に異常があったと判断できる。

本発明に係る画像処理方法は、位置関係が分っている複数の撮像手段によって各々撮像する撮像ステップと、撮像ステップで各々撮像した各撮像画像中の対象物体の特徴点を各々追跡する追跡ステップと、追跡ステップで各々追跡した対応する各特徴点に基づいて当該特徴点の三次元位置を推定する推定ステップと、推定ステップで推定した特徴点の三次元位置間の三次元距離と対応する特徴点の基準三次元位置間の三次元距離に基づいて特徴点の追跡が異常か否かを判断する判断ステップとを含むことを特徴とする。

本発明の上記画像処理方法の判断ステップでは、推定ステップで推定した特徴点の三次元位置間の三次元距離と対応する特徴点の基準三次元位置間の三次元距離との差又は変化率が所定値を超える場合に特徴点の追跡を異常と判断するように構成すると好適である。

なお、上記の各画像処理方法は、上記の各画像処理装置と同様の作用効果を有している。

本発明によれば、撮像画像における対象物体において追跡している特徴点間の三次元距離を利用することにより、特徴点の追跡の良否を高精度に判断することができる。

以下、図面を参照して、本発明に係る画像処理装置及び画像処理方法の実施の形態を説明する。

本実施の形態では、本発明を、対象物体を人物の顔とし、顔の運動を推定する画像処理装置に適用する。本実施の形態に係る画像処理装置は、ステレオカメラで撮像した左右の撮像画像から顔の複数の特徴点をそれぞれ追跡し、その追跡結果を利用して顔の運動を推定する。顔の特徴点としては、目の両端部、鼻の孔、口の両端部などの肌との境界となる箇所であり、輝度や色などの画像情報に明らかな差がある箇所、あるいは、輝度が高い箇所（または、低い箇所）などの追跡が容易な箇所とする。

図１〜図８を参照して、画像処理装置１について説明する。図１は、本実施の形態に係る画像処理装置の構成図である。図２は、図１の各カメラによって撮像される画像の一例であり、（ａ）が左撮像画像であり、（ｂ）が右撮像画像である。図３は、図１の各追跡部における特徴点の追跡結果を示す画像の一例であり、（ａ）左撮像画像に対する追跡結果を示す画像であり、（ｂ）が右撮像画像に対する追跡結果を示す画像である。図４は、図１の三次元位置算出部における特徴点の三次元位置の算出結果の一例である。図５は、図１の異常特徴点判定部における特徴点間の三次元距離の一例である。図６は、図１の異常特徴点判定部における判定方法の説明図であり、（ａ）が基準三次元位置保持部に保持されている各特徴点の基準三次元位置及びその三次元距離を示し、（ｂ）が三次元位置算出部で算出された各特徴点の三次元位置及びその三次元距離を示す。図７は、図１の異常特徴点判定部における特徴点間の三次元距離の変化の各判定結果の組み合せを示す表の一例である。図８は、図１の異常特徴点判定部における判定結果の一例である。

画像処理装置１は、顔の運動（向きと並進運動）を推定するために、動画像である左右の撮像画像から顔の特徴点を追跡する。特に、画像処理装置１では、顔の運動の推定精度を向上させるために、追跡が正常に行われた特徴点のみを用いて推定を行う。そのために、画像処理装置１では、特徴点間の三次元距離の変化に基づいて各特徴点の追跡が成功／失敗かを判定する。画像処理装置１は、カメラ２，３及び画像ＥＣＵ[Electronic Control Unit]４を備えており、画像ＥＣＵ４内に基準三次元位置保持部１０、追跡部１１，１２、三次元位置算出部１３、異常特徴点判定部１４、顔運動推定部１５が構成される。

なお、本実施の形態では、カメラ２，３が特許請求の範囲に記載する撮像手段に相当し、追跡部１１，１２が特許請求の範囲に記載する追跡手段に相当し、三次元位置算出部１３が特許請求の範囲に記載する推定手段に相当し、異常特徴点判定部１４が特許請求の範囲に記載する判断手段に相当する。

画像処理装置１における顔の運動の推定結果の出力は、その顔の運動を示す画像をモニタに表示したりあるいは顔の運動状態を音声出力するなどしてもよい。また、このような画像処理装置１を車両に搭載した場合、運転者の顔の運動を推定し、その推定結果を信号として走行制御装置や警報装置などに提供するようにしてもよい。例えば、前車との車間距離などに応じて自動的にブレーキを作動させる装置の場合、運転者の顔の運動の推定結果から前方から視線を外していると推測できるときには通常よりもブレーキを早く作動させるなどの制御を行う。また、警報装置の場合、運転者がよそ見していると推測できるときには警報を出力するなどしてもよい。あるいは、車両以外にも人とコミュニケーションをとるロボットなどに組み込まれる構成としてもよい。

カメラ２，３は、水平に所定の間隔をあけて撮像対象の人物の左右に配置され、人物の顔を撮像するステレオカメラである。カメラ２で撮像された画像は左撮像画像であり（図２（ａ）参照）、カメラ３で撮像された画像は右撮像画像である（図２（ｂ）参照）。カメラ２，３は、ＣＣＤ［Charge coupled device］などの撮像素子を備えるデジタルカメラであり、デジタル画像データからなる撮像画像を画像信号として画像ＥＣＵ４に送信する。この際、カメラ２，３では、撮像対象を時間的に連続して撮像し、時間的に連続した画像（動画像）データを出力する。画像ＥＣＵ４では少なくとも輝度情報が有れば処理を行うことができるので、カメラ２，３はカラーカメラでもあるいは白黒カメラでもよい。なお、間隔などのカメラ２，３の位置関係についての情報やカメラ２，３の内部パラメータ、外部パラメータは、画像ＥＣＵ４に予め保持されている。

画像ＥＣＵ４は、ステレオ画像処理用のＥＣＵであり、ＣＰＵ[Central Processing Unit]、ＲＯＭ[Read Only Memory]、ＲＡＭ[Random Access Memory]などからなる。画像ＥＣＵ４では、画像処理装置１が起動されると、ＲＯＭに記憶されている専用のアプリケーションプログラムをＲＡＭにロードし、ＣＰＵによってそのプログラムに記述された各処理を実行することによって各処理部１１〜１５が構成される。画像ＥＣＵ４では、カメラ２，３から撮像画像（ステレオ画像）を連続的に（例えば、１／３０秒毎）取り入れ、左右の撮像画像から顔の複数個の特徴点をそれぞれ追跡し、正常な追跡結果だけを用いて顔の運動を推定する。画像ＥＣＵ４では、撮像画像を入力する毎に、前処理として左右の撮像画像に対してカメラキャリブレーションを行い、さらに、左右の撮像画像の平行化を行い、その左右の撮像画像をＲＡＭの所定の領域に保存する。

基準三次元位置保持部１０は、ＲＡＭの所定の領域に構築され、顔の全ての特徴点に対する基準三次元位置及びその基準三次元位置から算出された全ての組み合せの２つの特徴点間の三次元距離（基準三次元距離）を保持する。特徴点の基準三次元位置は、顔の各特徴点の基準となる三次元位置であり、顔の運動状態が変化しても他の特徴点との相対的な位置関係は変わらない。基準三次元距離は、２つの特徴点の基準三次元位置間の距離である。保持する時期については、正確に各特徴点の三次元位置を計測可能な状況下（例えば、２つのカメラ２，３で人物の顔を撮像可能な状況）で計測した三次元位置を保持できればよいので、画像処理装置１が構成されるときに予め三次元位置を計測し、予め保持してもよいし、あるいは、顔の運動の推定処理開始時（例えば、テンプレートマッチング用として特徴点付近の画像を参照画像として最初に切り出す時）にその対象の人物の顔を２つのカメラ２，３で撮像した左右の撮像画像から全ての特徴点をそれぞれ抽出し、その左右の対応する特徴点から三次元位置を算出し、保持してもよい。なお、予め保持する場合、カメラ２，３で撮像した左右の撮像画像から三次元位置を求めてもよいが、顔の三次元形状をレンジスキャナなどの他の装置によって取得してもよい。

追跡部１１，１２は、左撮像画像又は右撮像画像に対して同様の処理を行い、各撮像画像から追跡したい対象の全ての特徴点を追跡する。そして、追跡部１１，１２では、追跡結果として、各特徴点の撮像画像上での二次元座標を出力する。例えば、図３（ａ）、（ｂ）に示す＋印が追跡した特徴点（目や口の端部）を示し、図３（ｂ）の右撮像画像からは正常に全ての特徴点が追跡されているが、図３（ａ）の左撮像画像からは口の一方の端部が正常に特徴点として追跡されていない。

追跡方法としては、例えば、テンプレートマッチングがある。テンプレートマッチングを行う場合、予め追跡したい全ての対象（特徴点）付近を含む画像を参照画像（テンプレート）として用意し、各参照画像に類似する位置を撮像画像から探索することによって特徴点を抽出する。参照画像を用意する時期としては、画像処理装置１が構成されるときに用意して、予め保持してもよいし、あるいは、顔の運動の推定処理開始時にカメラ２，３で撮像された各撮像画像から参照画像を切り出してもよい。

類似度の評価は、参照画像と同じサイズの撮像画像から切り出された画像と参照画像との間の輝度パターンの違いを定量化した評価基準を用いる。例えば、評価基準としては、式（１）に示すL1_norm(h)、式（２）に示すL2_norm(h)、式（３）に示すnormalized correlation(h)を用いる。L1_norm(h)、L2_norm(h)は、参照画像との差を示すので、値が小さいほど類似度が高い。normalized correlation(h)は、正規化しているので、値が１に近いほど類似度が高い。

Ｆは撮像画像であり、Ｇは参照画像であり、ｘは画像上の二次元座標であり、ｈは撮像画像上の二次元座標であり、Ｒは参照画像と同じサイズの領域である。

三次元位置算出部１３は、左右の撮像画像においてそれぞれ追跡された対応する特徴点の各二次元座標から、その特徴点の三次元位置（三次元座標）を算出する。この際、カメラ２，３の位置関係の情報や内部パラメータ、外部パラメータを用いて、三角測量の原理により三次元位置を算出する。そして、三次元位置算出部１３では、算出結果として、各特徴点の三次元座標を出力する。例えば、図３（ａ）、（ｂ）の左右の撮像画像から追跡された各特徴点から三次元位置をそれぞれ算出した場合、図４に示す＋印が算出された特徴点の三次元位置（目や口の端部の三次元座標上の位置）である。

異常特徴点判定部１４は、各特徴点の三次元位置を用いて、追跡対象の複数の特徴点の全ての組み合せについて２つの特徴点間の三次元距離を算出する。この際、特徴点の数をｎ個とした場合、_ｎＣ_２個の組み合せの三次元距離が算出される。例えば、図４に示す４個の特徴点の三次元位置から三次元距離を算出した場合、図５に示すように、６つの組み合せについての三次元距離が算出される。ちなみに、顔の特徴点の相対的な位置関係は常に変わらないので、正常に特徴点が追跡されている場合にはこの算出される三次元距離は対応する基準三次元距離と一致するかあるいは近い値となる。

さらに、異常特徴点判定部１４は、算出した特徴点間の三次元距離毎に、基準三次元位置保持部１０に保持している基準三次元距離の中からその三次元距離に対応する基準三次元距離を抽出し、算出した三次元距離と基準三次元距離との比較判定を行う。この場合も、特徴点の数をｎ個とした場合、_ｎＣ_２個の判定結果が得られる。比較判定方法としては、算出した三次元距離の基準三次元距離に対する変化評価値を算出する。この変化評価値としては、例えば、式（４）により基準三次元距離と算出した三次元距離との差を求めるか、あるいは、式（５）により基準三次元距離に対する算出した三次元距離の変化率を求める。さらに、この差又は変化率に対して閾値（ｔｈｒ）を設け、差又は変化率とｔｈｒとの大小判定を行う。ｔｈｒより大きい場合、三次元距離を算出した２つの特徴点の相対的な位置関係がずれているので、その２つの特徴点の追跡が失敗の可能性があると判定する。一方、差又は変化率がｔｈｒ以下の場合、その三次元距離を算出した２つの特徴点の相対的な位置関係が正常なので、その２つの特徴点の追跡が成功と判定する。ｔｈｒは、差又は変化率に対して、算出した三次元距離と基準三次元距離とが明らかに異なっていると判定できる値が設定される。

異常特徴点判定部１４では、特徴点毎に、その特徴点が絡む三次元距離の変化の判定結果からその特徴点の追跡が失敗かあるいは成功かを判定する。そして、異常特徴点判定部１４では、各特徴点について追跡が成功／失敗の判定結果を出力する。特徴点の数をｎ個とした場合、ある特徴点が絡む三次元距離の変化の判定はｎ−１個である。例えば、そのｎ−１個の判定のうちの全ての判定で追跡失敗の可能性があると判定した場合にその特徴点に対する追跡が失敗と判定してもよいし、あるいは、ｎ−１個の判定のうちのｍ個（例えば、ｎ−１個の半数）以上の判定で追跡失敗の可能性があると判定した場合に追跡が失敗と判定してもよい。また、そのｎ−１個の判定のうちの全ての判定で追跡成功と判定した場合にその特徴点に対する追跡が成功と判定してもよいし、あるいは、ｎ−１個の判定のうちのｍ個（例えば、ｎ−１個の半数）以上の判定で追跡成功と判定した場合に追跡が成功と判定してもよい。

例えば、追跡対象の特徴点を４個とし、図６（ａ）に示すように特徴点の基準三次元位置をａ０，ｂ０，ｃ０，ｄ０とし、図６（ｂ）に示すように追跡によって求めた三次元位置をａ，ｂ，ｃ，ｄとする。この場合、ａ０−ｂ０間、ａ０−ｃ０間、ａ０−ｄ０間、ｂ０−ｃ０間、ｂ０−ｄ０間、ｃ０−ｄ０間の６つの基準三次元距離が基準三次元位置保持部１０に保持されており、ａ−ｂ間、ａ−ｃ間、ａ−ｄ間、ｂ−ｃ間、ｂ−ｄ間、ｃ−ｄ間の６つの三次元距離が算出される。この６つの三次元距離についてそれぞれ判定が行われ、図７の表に示すような判定結果の組み合せが得られる。図７では、例えば、（ａ，ｂ）と表記することでａ−ｂ間の三次元距離を表し、（ａ０，ｂ０）と表記することでａ０−ｂ０間の基準三次元距離を表し、ｄ（（ａ，ｂ），（ａ０，ｂ０））と表記することでａ−ｂ間の三次元距離とａ０−ｂ０間の基準三次元距離との差又は変化率を表す。例えば、図６に示すように追跡によって求められる特徴点の三次元位置ｄが基準三次元位置ｄ０から大きくずれている場合、特徴点ｄの絡む三次元距離の判定であるｄ（（ａ，ｄ），（ａ０，ｄ０））、ｄ（（ｂ，ｄ），（ｂ０，ｄ０））、ｄ（（ｃ，ｄ），（ｃ０，ｄ０））がｔｈｒより大きくなり、特徴点ｄに対する追跡が失敗と判定できる。この場合、図８において＋印を○で囲んで示すように、異常特徴点判定部１４では、特徴点ｄに対する追跡は失敗と出力する。また、追跡によって求められる特徴点の三次元位置ａが基準三次元位置ａ０からずれていない場合、特徴点ａの絡む三次元距離の判定であるｄ（（ａ，ｂ），（ａ０，ｂ０））、ｄ（（ａ，ｃ），（ａ０，ｃ０））、ｄ（（ａ，ｄ），（ａ０，ｄ０））がｔｈｒ以下になり、特徴点ａに対する追跡が成功と判定できる。

なお、特徴点の数が増えるほど、三次元距離を求める特徴点の組み合せや三次元距離の変化による判定も増え、処理負荷が増大する。そこで、三次元距離の算出や三次元距離による判定を行うのは、追跡対象の特徴点の全ての組み合せについて行わなくてもよい。例えば、ある特徴点に対してその近傍の数個について三次元距離の算出や三次元距離による判定を行う。近傍の何個について行うかは、信頼性を持って評価できるだけの数とする。

顔運動推定部１５は、異常特徴点判定部１４において追跡成功と判定された特徴点のみを用いて、その特徴点の位置の時間変化から顔の向きと並進運動を算出する。

図１を参照して、画像処理装置１における動作について説明する。特に、画像ＥＣＵ４における処理については、図９のフローチャートに沿って説明する。図９は、図１の画像ＥＣＵにおける処理の流れを示すフローチャートである。

カメラ２，３では、人物の顔を撮像し、その撮像画像のデータを画像ＥＣＵ４に送信する。画像ＥＣＵ４では、その左右の撮像画像を取り入れ、前処理を行った各撮像画像をＲＡＭに保持する（Ｓ１，Ｓ２）。

画像ＥＣＵ４では、左右の撮像画像を取得する毎に、左撮像画像に対して追跡処理により各特徴点の二次元座標を算出するとともに（Ｓ３）、右撮像画像に対して追跡処理により各特徴点の二次元座標を算出する（Ｓ４）。

画像ＥＣＵ４では、特徴点毎に、左撮像画像から求めた二次元座標と右撮像画像から求めた二次元座標によりその特徴点の三次元位置（三次元座標）を算出する（Ｓ５）。ちなみに、顔の向きなどの運動状態が変化した場合、二次元上では特徴点間の相対的な位置関係は変化するが、三次元上では特徴点間の相対的な位置関係は変化しない。

画像ＥＣＵ４では、各特徴点の三次元位置を用いて、２つの特徴点の組み合せ毎にその特徴点間の三次元距離を算出する（Ｓ６）。顔の向きなどの運動状態が変化した場合でも、三次元上では特徴点間の相対的な位置関係は変化しないので、特徴点間の三次元距離も変化しない。しかし、追跡された特徴点の位置が誤っている場合、特徴点間の相対的な位置関係がずれるので、特徴点間の三次元距離が変化する。

画像ＥＣＵ４では、算出した三次元距離毎に、基準三次元位置保持部１０からその算出した三次元距離に対応する基準三次元距離を抽出し、算出した三次元距離と基準三次元距離との変化評価値を算出する（Ｓ７）。さらに、画像ＥＣＵ４では、その算出した各変化評価値と閾値とを大小比較し、三次元距離毎にその三次元距離を算出した２つの特徴点に対する各追跡が失敗の可能性があるか否かの判定を行う（Ｓ８）。追跡が失敗している特徴点がある場合、その特徴点が絡む三次元距離は基準三次元距離と異なる値になるので、変化評価値は閾値よりも大きくなる。

そして、画像ＥＣＵ４では、各特徴点について、その特徴点が関係する判定結果の組み合せに基づいて追跡が失敗かあるいは成功かを判定する（Ｓ８）。ここでは、各特徴点について他の複数の特徴点との三次元距離が対応する各基準三次元距離と明らかに異なった値か否かを判定しているので、その特徴点の三次元位置が基準三次元位置からずれている場合にはその位置ずれを確実に判定することができる。

画像ＥＣＵ４では、追跡が成功の特徴点についての位置の時間変化を用いて、顔の運動を推定する。

この画像処理装置１によれば、各特徴点について他の複数の特徴点との各三次元距離を利用して正常な三次元位置からずれているか否か判定するので、特徴点の追跡の良否を高精度に判定することができる。その結果、正しく追跡された特徴点のみを用いて顔の運動を推定できるので、その推定精度が向上する。

以上、本発明に係る実施の形態について説明したが、本発明は上記実施の形態に限定されることなく様々な形態で実施される。

例えば、本実施の形態では顔の特徴点の追跡結果を利用した顔の運動を推定する画像処理装置に適用したが、対象物体としては動物の顔や顔以外の物体でもよいし、また、特徴点の追跡結果を利用する上位の処理としては顔の表情を推定する処理などの他の処理でもよい。また、特徴点の追跡結果を上位の処理で利用せずに、特徴点を追跡すること自体を目的とし、追跡した特徴点自体をモニタに表示するなどしてもよい。

また、本実施の形態では画像ＥＣＵでアプリケーションプログラム（ソフトウエア）を実行することによって各処理部を構成したが、パーソナルコンピュータなどのコンピュータ上に各処理部を構成してもよいし、あるいは、ハードウエアによって各処理部を構成してもよい。

本実施の形態に係る画像処理装置の構成図である。図１の各カメラによって撮像される画像の一例であり、（ａ）が左撮像画像であり、（ｂ）が右撮像画像である。図１の各追跡部における特徴点の追跡結果を示す画像の一例であり、（ａ）左撮像画像に対する追跡結果を示す画像であり、（ｂ）が右撮像画像に対する追跡結果を示す画像である。図１の三次元位置算出部における特徴点の三次元位置の算出結果の一例である。図１の異常特徴点判定部における特徴点間の三次元距離の一例である。図１の異常特徴点判定部における判定方法の説明図であり、（ａ）が基準三次元位置保持部に保持されている各特徴点の基準三次元位置及びその三次元距離を示し、（ｂ）が三次元位置算出部で算出された各特徴点の三次元位置及びその三次元距離を示す。図１の異常特徴点判定部における特徴点間の三次元距離の変化の各判定結果の組み合せを示す表の一例である。図１の異常特徴点判定部における判定結果の一例である。図１の画像ＥＣＵにおける処理の流れを示すフローチャートである。

符号の説明

１…画像処理装置、２，３…カメラ、４…画像ＥＣＵ、１０…基準三次元位置保持部、１１，１２…追跡部、１３…三次元位置算出部、１４…異常特徴点判定部、１５…顔運動推定部

Claims

位置関係が分っている複数の撮像手段と、
前記複数の撮像手段で各々撮像した各撮像画像中の対象物体の特徴点を各々追跡する複数の追跡手段と、
前記複数の追跡手段で各々追跡した対応する各特徴点に基づいて当該特徴点の三次元位置を推定する推定手段と、
前記推定手段で推定した特徴点の三次元位置間の三次元距離と対応する特徴点の基準三次元位置間の三次元距離に基づいて特徴点の追跡が異常か否かを判断する判断手段と
を備えることを特徴とする画像処理装置。
前記判断手段は、前記推定手段で推定した特徴点の三次元位置間の三次元距離と対応する特徴点の基準三次元位置間の三次元距離との差又は変化率が所定値を超える場合に特徴点の追跡を異常と判断することを特徴とする請求項１に記載する画像処理装置。
位置関係が分っている複数の撮像手段によって各々撮像する撮像ステップと、
前記撮像ステップで各々撮像した各撮像画像中の対象物体の特徴点を各々追跡する追跡ステップと、
前記追跡ステップで各々追跡した対応する各特徴点に基づいて当該特徴点の三次元位置を推定する推定ステップと、
前記推定ステップで推定した特徴点の三次元位置間の三次元距離と対応する特徴点の基準三次元位置間の三次元距離に基づいて特徴点の追跡が異常か否かを判断する判断ステップと
を含むことを特徴とする画像処理方法。
前記判断ステップでは、前記推定ステップで推定した特徴点の三次元位置間の三次元距離と対応する特徴点の基準三次元位置間の三次元距離との差又は変化率が所定値を超える場合に特徴点の追跡を異常と判断することを特徴とする請求項３に記載する画像処理方法。