JP2006215743A - 画像処理装置及び画像処理方法 - Google Patents

Abstract

【課題】 特徴点を抽出するために用いる参照画像を簡単に生成することができる画像処理装置及び画像処理方法を提供することを課題とする。
【解決手段】 撮像画像から対象物体の特徴点を抽出する画像処理装置１であって、三次元形状が特定可能な対象物体の各特徴点について、基準状態のときの対象物体の基準画像に対する生成が必要とされる画像の二次元上の投影位置及び画素特徴の割合を示すテーブルと、基準状態のときの対象物体を撮像した撮像画像をテーブルに基づいて生成が必要とされる画像に変換する変換手段１３とを備え、変換手段１３で変換した画像を参照画像として特徴点を抽出することを特徴とする。
【選択図】 図１

Description

本発明は、撮像画像から対象物体の特徴点を抽出する画像処理装置及び画像処理方法に関する。

画像処理には、カメラで顔を撮像し、その撮像画像から顔の向きや並進運動などを推定するものがある。このように顔の運動を推定する手法としては、例えば、目や口の各端部などの顔における複数の特徴点を設定し、撮像画像からそれらの特徴点を抽出や追跡していくことにより顔の運動を推定している（特許文献１参照）。撮像画像からの特徴点の抽出方法としては、例えば、特徴点付近の参照画像（テンプレート）を用意し、テンプレートマッチングによって参照画像と類似度の高い領域を撮像画像から検出することによって、特徴点の位置を推定する。参照画像は、通常、顔が正面を向いているときに撮像した撮像画像から特徴点付近の画像を切り出すことによって作成される。
特開平８−７７３３４号公報

しかしながら、正面を向いている顔の撮像画像から作成された参照画像によってテンプレートマッチングを行う場合、特徴点の抽出や追跡を行おうとしている撮像画像における顔の向きが正面からずれるほど、推定される特徴点の位置の持つ誤差が大きくなり、マッチング精度が低下する。そのため、そのような特徴点を用いて顔運動の推定などの上位の処理を行うと、その処理精度が低下してしまう。

そこで、顔が様々な方向を向いている各撮像画像から特徴点付近の画像をそれぞれ切り出して参照画像を作成し、一定角度毎に向きを変えた参照画像によってテンプレートマッチングを行うことが考えられる。このように向きを変えた参照画像を作成するのには手間がかかり、特に、個人毎に参照画像を作成した場合には非常に手間を要してしまう。また、ある特定の人物に対してのみ向きを変えた参照画像を作成し、その参照画像によって他の人物の顔の撮像画像に対してテンプレートマッチングを行った場合、肌の色の違い、各特徴点の位置や形状の違いなどによって、特徴点の位置を高精度に推定することはできない。

そこで、本発明は、特徴点を抽出するために用いる参照画像を簡単に生成することができる画像処理装置及び画像処理方法を提供することを課題とする。

本発明に係る画像処理装置は、撮像画像から対象物体の特徴点を抽出する画像処理装置であって、三次元形状が特定可能な対象物体の各特徴点について、基準状態のときの対象物体の基準画像に対する生成が必要とされる画像の二次元上の投影位置及び画素特徴の割合を示すテーブルと、基準状態のときの対象物体を撮像した撮像画像をテーブルに基づいて生成が必要とされる画像に変換する変換手段とを備え、変換手段で変換した画像を参照画像として特徴点を抽出することを特徴とする。

この画像処理装置は、正面を向いているときなどの基準状態の対象物体を撮像した撮像画像から対象物体の様々な運動状態などに対応するための参照画像（二次元画像）を生成するためのテーブルを備えている。このテーブルは、対象物体の各特徴点について、対象物体の向き、位置、各部の変形などに応じて生成が必要とされる画像毎に、三次元形状を有している対象物体の各特徴点を二次元上に投影した場合に基準状態の対象物体の基準画像に対する二次元上に投影位置及び画素特徴の割合を示す情報を有している。つまり、テーブルには、基準状態のときの撮像画像における各特徴点の位置が生成が必要とされる画像上ではどの位置に移るかの情報及びその基準状態のときの撮像画像における各特徴点から移る三次元形状の情報の割合が示されている。画像処理装置では、変換手段により、このテーブルに基づいて基準状態のときの撮像画像から生成が必要とされる画像に変換し、その変換した画像を参照画像とする。そして、画像処理装置では、対象物体の運動状態などに対応した各参照画像を用いて、撮像画像から対象物体の特徴点を抽出する。このように、対象物体個々に、テーブルによって基準状態のときの撮像画像から必要とされる参照画像を簡単に生成することができる。特に、対象物体の三次元形状を反映して参照画像を生成しているので、高精度な参照画像を生成することができる。その結果、対象物体が向きや位置を変えたりあるいは対象物体の各部が変形した場合でも、対象物体の特徴点を高精度に抽出することができる。

なお、三次元形状が特定可能な対象物体は、三次元形状を推定や入手できる物体であり、例えば、ステレオ画像などを用いて三次元形状を推定できたり、あるいは、寸法入力やレンジスキャナによって三次元形状を入手できる物体である。生成が必要とされる画像は、特徴点を抽出するために対象物体の各種運動や対象物体の各部の変形などを考慮して必要とされる参照画像であり、例えば、対象物体の向いている方向が変化する場合にはその向きを変えた参照画像、対象物体が並進運動する場合にはその並進運動をした画像、あるいは、対象物体の各部が変形する場合にはその各部が変形した参照画像である。画素特徴の割合は、三次元形状を有する対象物体の各特徴点が二次元上に投影される場合に、生成が必要される画像毎に基準画像に対する二次元上の各画素（各投影位置）における三次元形状を示す情報の分配割合である。

本発明の上記画像処理装置では、基準状態のときの対象物体を撮像した撮像画像から対象物体の特徴点を抽出する抽出手段と、抽出手段によって抽出した特徴点間の距離に基づいて撮像画像の大きさを正規化する正規化手段とを備え、変換手段は、正規化手段で正規化した画像を変換する構成としてもよい。

この画像処理装置では、抽出手段により、基準状態の対象物体を撮像した撮像画像から対象物体の各特徴点を抽出する。そして、画像処理装置では、正規化手段により、その抽出した特徴点間に距離を利用してテーブルを作成する際に用いた基準画像の大きさに撮像画像の大きさを正規化する。さらに、画像処理装置では、変換手段により、その正規化した画像から参照画像に変換する。このように正規化を行った画像を用いて参照画像を作成することにより、撮像画像のスケールがテーブルを作成する際に用いた基準画像のスケールと異なっている場合でも、高精度な参照画像を作成することができる。

本発明に係る画像処理方法は、撮像画像から対象物体の特徴点を抽出する画像処理方法であって、三次元形状が特定可能な対象物体の各特徴点について、基準状態のときの対象物体の基準画像に対する生成が必要とされる画像の二次元上の投影位置及び画素特徴の割合を示すテーブルを保持し、基準状態のときの対象物体を撮像した撮像画像をテーブルに基づいて生成が必要とされる画像に変換する変換ステップを含み、変換ステップで変換した画像を参照画像として特徴点を抽出することを特徴とする。

本発明の上記画像処理方法では、基準状態のときの対象物体を撮像した撮像画像から対象物体の特徴点を抽出する抽出ステップと、抽出ステップで抽出した特徴点間の距離に基づいて撮像画像の大きさを正規化する正規化ステップとを含み、変換ステップでは、正規化ステップで正規化した画像を変換する構成としてもよい。

なお、上記の各画像処理方法は、上記の各画像処理装置と同様の作用効果を有している。

本発明によれば、特徴点を抽出するために用いる参照画像を簡単に生成することができる。

以下、図面を参照して、本発明に係る画像処理装置及び画像処理方法の実施の形態を説明する。

本実施の形態では、本発明を、対象物体を人物の顔とし、様々な運動状態（向きや並進運動）における顔の各特徴点の参照画像を用いて顔の運動を推定する画像処理装置に適用する。本実施の形態に係る画像処理装置は、画像変換テーブルを予め保持しており、この画像変換テーブルを利用してカメラで撮像した正面向き（基準状態）の顔の撮像画像から様々な運動状態の参照画像を自動生成する。顔の特徴点としては、両目の各目尻、各目頭、口の左右端などの肌との境界となる箇所であり、輝度や色などの画像情報に明らかな差がある箇所とする。

図１〜図１１を参照して、画像処理装置１について説明する。図１は、本実施の形態に係る画像処理装置の構成図である。図２は、図１の画像変換テーブル保持部で保持する画像変換テーブルの作成方法の説明図である。図３は、画像変換テーブルの作成過程における顔の三次元モデルの各点を顔が正面向きのときの二次元画像上に投影した場合の処理結果の一例である。図４は、画像変換テーブルの作成過程における顔の三次元モデルの各点を顔の右１５度向きのときの二次元画像上に投影した場合の処理結果の一例である。図５は、画像変換テーブルの一例である。図６は、図１のカメラで撮像した顔の正面向きの撮像画像の一例である。図７は、図６の撮像画像から顔領域を抽出した画像の一例である。図８は、図７の顔領域から各特徴点を抽出した画像の一例である。図９は、図８の抽出した特徴点付近の領域の正規化方法の説明図である。図１０は、図９の正規化した特徴点付近の領域の画像変換方法の説明図である。図１１は、図１０の画像変換によって生成した特徴点付近の参照画像の一例である。

画像処理装置１は、顔の運動（向きと並進運動）を推定するために、各特報点についての様々の運動状態の参照画像を利用して撮像画像から各特徴点を追跡（抽出）する。特に、画像処理装置１では、顔の運動の推定精度を向上させるとともに参照画像の作成負荷を軽減するために、処理開始時に推定対象の人物の正面向きの顔の撮像画像から、必要とされる運動状態の参照画像を自動生成する。そのために、画像処理装置１では、顔の正面向きの二次元画像（基準画像）から必要とされる様々な運動状態の二次元画像を変換するための画像変換テーブルを保持している。画像処理装置１は、カメラ２及び画像ＥＣＵ[Electronic Control Unit]３を備えており、画像ＥＣＵ３内に画像変換テーブル保持部１０、参照画像保持部１１、顔特徴点抽出部１２、画像変換部１３、顔運動推定部１４が構成される。

なお、本実施の形態では、顔特徴点抽出部１２が特許請求の範囲に記載する抽出手段に相当し、画像変換部１３が特許請求の範囲に記載する正規化手段及び変換手段に相当する。

画像処理装置１における顔の運動の推定結果の出力は、その顔の運動を示す画像をモニタに表示したりあるいは顔の運動状態を音声出力するなどしてもよい。また、このような画像処理装置１を車両に搭載した場合、運転者の顔の運動を推定し、その推定結果を信号として走行制御装置や警報装置などに提供するようにしてもよい。例えば、前車との車間距離などに応じて自動的にブレーキを作動させる装置の場合、運転者の顔の運動の推定結果から前方から視線を外していると推測できるときには通常よりもブレーキを早く作動させるなどの制御を行う。また、警報装置の場合、運転者がよそ見していると推測できるときには警報を出力するなどしてもよい。あるいは、車両以外にも人とコミュニケーションをとるロボットなどに組み込まれる構成としてもよい。

カメラ２は、ＣＣＤ［Charge coupled device］などの撮像素子を備えるデジタルカメラであり、デジタル画像データからなる撮像画像を画像信号として画像ＥＣＵ３に送信する。この際、カメラ２では、撮像対象を時間的に連続して撮像し、時間的に連続した画像（動画像）データを出力する。画像ＥＣＵ３では少なくとも輝度情報が有れば処理を行うことができるので、カメラ２はカラーカメラでもあるいは白黒カメラでもよい。ちなみに、画像処理装置１が車両に搭載される場合、カメラ２は、車室内において、運転席に座っている運転者の顔を真正面から撮像できる位置に配置される。

画像ＥＣＵ３は、画像処理用のＥＣＵであり、ＣＰＵ[Central Processing Unit]、ＲＯＭ[Read Only Memory]、ＲＡＭ[Random Access Memory]などからなる。画像ＥＣＵ３では、画像処理装置１が起動されると、ＲＯＭに記憶されている専用のアプリケーションプログラムをＲＡＭにロードし、ＣＰＵによってそのプログラムに記述された各処理を実行することによって各保持部１０，１１及び各処理部１２〜１４が構成される。画像ＥＣＵ３は、予め作成された画像変換テーブルを保持している。画像ＥＣＵ３では、処理開始時に、カメラ２から正面向き（基準状態）の顔の撮像画像を取り入れ、保持している画像変換テーブルを用いて各特徴点について必要とされる運動状態毎に参照画像を生成する。そして、画像ＥＣＵ３では、カメラ２から撮像画像を連続的に（例えば、１／３０秒毎）取り入れ、その撮像画像から参照画像を用いて各特徴点をそれぞれ追跡し、顔の運動を推定する。

画像変換テーブル保持部１０は、ＲＡＭの所定の領域に構築され、特徴点毎の画像変換テーブル及び基準スケールを保持している。画像変換テーブルは、処理開始前に事前に作成され、画像変換テーブル保持部１０に格納される。画像変換テーブルは、図５に示すように、基準状態のときの顔の二次元画像を必要とされる顔の各運動状態（向きや並進運動）における二次元画像に変換する場合に基準状態のときの二次元画像の各座標が各運動状態のときの二次元画像において移る座標の情報及び顔の三次元モデルの各点を基準状態のときの二次元画像上に投影したときの各座標における三次元モデルの各点の個数（度数）からなる。必要とされる顔の運動状態は、後処理で必要となる運動状態であり、例えば、運転者の顔の運動を推定する場合には運転者が運転席に座っている状態で顔を向ける範囲や顔を移動させる範囲などが考慮されて必要とされる顔の運動状態が設定される。ちなみに、必要とされる運動状態としては、並進運動を考慮しないでよい場合には向きのみでもよいし、向きを考慮しないでよい場合には並進運動のみでもよい。また、画像変換テーブルでは各特徴点付近の領域内の各座標についての情報のみをテーブル化しているが、顔領域全体の各座標についての情報をテーブル化してもよい。基準スケールは、画像変換テーブルを作成したときの基準画像における基準となる長さであり、カメラ２の撮像画像を正規化する際に利用される。

図２〜図５を参照して、画像変換テーブルの作成方法について説明する。まず、レンジスキャナを用いて、ある人物の顔が正面を向いているときの顔の三次元形状（実際には、三次元形状を示す点の集まり）を取得する（図２の符号３ＤＳで示す顔の三次元形状参照）。このレンジスキャナで取得する際の顔は画像処理装置１で顔の向きを推定する対象の人物の顔でなくてもよく、任意の人物でよい。そして、その顔の三次元形状から、目や口の各端部などの特徴点付近の三次元形状を示す点をそれぞれ抽出する。そして、この抽出した特徴点付近の三次元形状を三次元モデルとする。

三次元モデルの各点にそれぞれ異なる識別番号を付与する。そして、式（１）により、三次元モデルにおける全ての点（Ｘ，Ｙ，Ｚ）について、顔が基準状態のときの二次元画像（基準画像）上に投影した場合の二次元座標（ｕ，ｖ）をそれぞれ算出する。この際、推定対象の人物の顔がカメラ２に対して真正面を向きかつ撮像する際のその顔とカメラ２との距離が基準距離であるときの位置（この状態を基準状態とする）から内部パラメータの既知なカメラ２によって撮像したときに投影される二次元画像上の座標として二次元座標を求め、その基準となる二次元画像上に投影される座標（ｕ，ｖ）を算出する。ちなみに、画像処理装置１が車両に搭載されている場合、顔とカメラ２との距離が基準距離であるときの位置とは、運転席に座っている運転者と所定の位置に配置されているカメラ２との距離に相当する位置である。

式（１）において、ｓはスカラーであり、Ａは固定値からなる内部行列であり、Ｒは顔の回転運動を示す回転行列であり、ｔは顔の並進運動を示す並進ベクトルである。内部行列Ａは、カメラ２の内部パラメータをキャリブレーション処理により予め求められる。回転行列Ｒは、顔がカメラに対して正対しているときを基準としてカメラに対する顔の向きによって決まり、顔が正面を向いている場合には単位行列である。並進ベクトルｔは、顔とカメラとの距離が基準距離であるときを基準として顔とカメラとの位置関係によって決まる。

これによって、三次元モデルの各点が、顔が基準状態のときの二次元画像上においてどの座標に投影されるかが決まる。図２に示す例では、三次元モデルのある点ｐ（ｉ）が基準の二次元画像２ＤＰ１上で座標（ｕ１，ｖ１）に投影されている。そして、この二次元画像上の各座標について、投影された三次元モデルの各点の識別番号が記録される。図３に示す例では、基準状態のときの二次元画像（解像度：３２０×２４０）において、座標（０，０）に識別番号が１の三次元モデル点が１つ投影され、座標（１，０）に識別番号が２の三次元モデル点が１つ投影され、座標（０，１）に識別番号が１１、２３の三次元モデル点が２つ投影さている。この場合、座標（０，０）における度数が１であり、座標（１，０）における度数が１であり、座標（０，１）における度数が２である。このように、顔の三次元形状を示す各点を所定の解像度を有する二次元画像上に投影した場合、三次元形状を示す各点のうち近傍の点や投影にされたときに重なる点などが、二次元画像上では同じ座標に入る場合がある。

この際、この基準状態のときの二次元画像における各特徴点の座標を用いて、特徴点である左右の目について目尻と目頭間の水平距離と口の左右端間の水平距離をそれぞれ算出する。この各距離を、基準スケールとする。

また、必要とされる顔の運動状態ｊ（ｊ＝２，３，・・・，ｎ）に応じて、式（１）における回転行列Ｒ（ｊ）と並進ベクトルｔ（ｊ）を設定する。そして、この設定した回転行列Ｒ（ｊ）と並進ベクトル（ｊ）を用いて式（１）により、三次元モデルの全ての点（Ｘ，Ｙ，Ｚ）について、各運動状態ｊのときの二次元画像上に投影した場合の二次元座標（ｕ，ｖ）をそれぞれ算出する。なお、顔の運動状態ｊ＝１のときが、顔が基準状態のときである。

これによって、三次元モデルの各点が、各運動状態のときの二次元画像上においてどの座標に投影されるかが決まる。図２に示す例では、三次元モデルのある点ｐ（ｉ）が、顔の運動状態ｊ＝２（回転行列Ｒ（２），並進ベクトルｔ（２））のときの二次元画像２ＤＰ２上で座標（ｕ２，ｖ２）に投影されている。また、三次元モデルのある点ｐ（ｉ）が、顔の運動状態ｊ＝ｎ（回転行列Ｒ（ｎ），並進ベクトルｔ（ｎ））のときの二次元画像２ＤＰｎ上で座標（ｕｎ，ｖｎ）に投影されている。そして、この二次元画像上の各座標について、投影された三次元モデルの各点の識別番号が記録される。図４に示す例では、正面から（基準状態から）右１５度方向に向いた顔の場合、二次元画像において、座標（０，０）に識別番号が１３、２２の三次元モデル点が２つ投影され、座標（１，０）に識別番号が３２、４の三次元モデル点が２つ投影され、座標（０，１）に識別番号が４１、５３の三次元モデル点が２つ投影さている。この場合、座標（０，０）における度数が２であり、座標（１，０）における度数が２であり、座標（０，１）における度数が２である。ちなみに、基準状態のときの二次元画像上で座標（０，０）に投影されていた識別番号１の点は、右１５度方向に向いたときの二次元画像上では座標（３１９，０）に投影されている。

なお、回転行列Ｒ（ｊ）を顔の向きの何度毎に設定するかや並進ベクトルｔ（ｊ）を顔の位置の何センチ毎に設定するかは、処理負荷、後処理で行う顔の運動の推定精度や実用上にどの程度の精度の顔の運動状態の情報が必要かなどを考慮して設定される。例えば、運転者の顔の運動を推定する場合、実用上においては１度刻みで顔の向きが変わっている情報は必要なく、顔がどの方向を向いているか大まかに（つまり、よそ見しているかなどが）判ればよいので、顔の向きとしては左右に１５度毎や３０度毎に回転行列Ｒ（ｊ）が設定され、顔の位置としては左右に５ｃｍや１０ｃｍ毎に並進ベクトルｔ（ｊ）が設定される。また、運転者の顔の位置は殆ど動かないと想定した場合には並進ベクトルｔ（ｊ）は基準状態のときのまま固定してもよい。

このように、三次元モデルの各点（各識別番号）について基準状態のときの二次元画像上の投影座標及び各運動状態のときの二次元画像上の投影座標が求まると、基準状態のときの各座標の識別番号が各運動状態のときにはどの座標に入っているかをそれぞれ判別する。そして、基準状態のときの各座標と各運動状態での移り先の座標との関係及びその基準状態のときの各座標から移る三次元モデルの点の個数（度数）をテーブル化する。図５には右目の目尻の特徴点付近のテーブルの一例を示しており、変換後（右１５度向きのときの）の各座標に移る変換前（基準状態（正面向き）のときの）の座標及び変換後の座標に移る変換前の各座標の度数を示している。この変換する際の各座標に入っている三次元モデルの点の度数によって画素特徴の割合が判る。図５には記載していないが、テーブルには度数分の識別番号がそれぞれ記述されている。なお、変換前のある座標に複数の三次元モデルの点が入っている場合、その複数の三次元モデルの点は、変換後には１つの座標に全ての点が入る場合もあれば、複数の座標に分かれて入る場合もある。

参照画像保持部１１は、ＲＡＭの所定の領域に構築され、顔の特徴点を追跡する際に用いる参照画像を保持する。参照画像保持部１１には、処理開始時に撮像された顔の基準状態の撮像画像から生成された各特徴点の参照画像が保持されるとともに、画像変換部１３で生成された各運動状態における各特徴点の参照画像が保持される。

処理開始時に、顔特徴点抽出部１２では、画像ＥＣＵ３にカメラ２から基準状態の顔を撮像した撮像画像（二次元画像）ＰＰが取り入れられると（図６参照）、その撮像画像ＰＰを輝度画像に変換する。ちなみに、カメラ２が白黒カメラの場合にはこの輝度画像への変換は行わない。そして、顔特徴点抽出部１２では、その輝度画像から顔領域ＦＡ（二次元画像上の矩形領域の各座標及びその重心座標）を抽出する（図７参照）。顔領域の抽出方法としては、例えば、平均的な顔画像を参照画像（輝度画像）として用意し、その参照画像と輝度パターンの類似する領域を探索するテンプレートマッチングによって顔領域を抽出するか、あるいは、多くの顔画像を学習させたニューラルネットワークなどを利用し、顔領域を抽出してもよい。

さらに、顔特徴点抽出部１２では、検出した顔領域ＦＡ内から顔の特徴点ＣＰ１〜ＣＰ６（二次元画像上の各座標）を抽出する（図８参照）。特徴点の抽出方法としては、顔領域の抽出方法と同様の方法を用いる。図８の例では、テンプレートマッチングを行う場合には両目の各目尻、各目頭、口の左端、右端付近の各領域の画像を参照画像として用意し、各参照画像についてテンプレートマッチングを行う。

画像変換部１３では、抽出した特徴点ＣＰ１〜ＣＰ６の各座標を用いて、目の目尻と目頭間の水平距離や口の左右端間の水平距離を算出する。そして、画像変換部１３では、算出した水平距離と画像変換テーブル保持部１０に保持されている対応する基準スケールとの比率を算出する。さらに、画像変換部１３では、撮像画像ＰＰの輝度画像から各特徴点付近の矩形領域をそれぞれ抽出し、その各矩形領域の画像のサイズを算出した比率を用いてそれぞれ正規化する。画像変換部１３では、この正規化した各特徴点付近の画像を基準状態のときの参照画像として参照画像保持部１１にそれぞれ格納する。なお、水平距離及び比率の算出について左右の各目及び口についてそれぞれ行わなくても、左右の目の一方あるいは口についてだけ行ってもよい。

図９に示す例では、右目の目尻の特徴点ＣＰ１と目頭の特徴点ＣＰ２との水平距離ＨＤと対応する基準スケールＢＳとから比率を求め、その比率によって右目付近の画像が正規化されている。実際には、目全体の画像を正規化するのではなく、特徴点である目尻や目頭付近の画像がそれぞれ正規化される。

画像変換テーブル保持部１０に保持されている画像変換テーブルにより、三次元モデルの各点を基準状態のときの二次元画像上に投影したときの特徴点付近の位置は分っている。また、カメラ２で撮像した基準状態のときの撮像画像（輝度画像）における特徴点付近の位置も分っている。そして、画像変換テーブルにより、三次元モデルの各点が基準状態のときの二次元画像上の各位置から各運動状態のときの二次元画像上のどの位置に移るかも分っている。さらに、その画像変換テーブルを作成した際の基準状態の二次元画像における特徴点付近の画像とカメラ２で撮像した基準状態のときの撮像画像（輝度画像）における特徴点付近の画像とのスケールも一致している。

そこで、画像変換部１３では、画像変換テーブルを用いて、各特徴点について必要とされる運動状態についての参照画像を求める。具体的には、画像変換部１３では、画像変換テーブル保持部１０から各特徴点について画像変換テーブルを取り出す。そして、画像変換部１３では、画像変換テーブルにより、各運動状態ｊ（ｊ＝２，・・・，ｎ）における（変換後の）各座標について、その各座標に移る基準状態のおける（変換前の）座標及び変換前の各座標の度数を全てピックアップする（図１０参照）。そして、画像変換部１３では、正規化した各特徴点付近の輝度画像から、そのピックアップした変換前の各座標についての輝度を抽出する。基準状態のときの二次元画像上におけるある座標に投影された全ての三次元モデルの点の色（輝度）は、正規化した各特徴点付近の輝度画像上の対応する座標の輝度と見なすことができる。そこで、画像変換部１３では、変換後の各座標についてピックアップした変換前の各座標の輝度についてその変換前の各座標の度数を重みとして加重平均し、その加重平均された輝度を変換後の各座標の輝度とする（図１０参照）。その結果、この加重平均が特徴点付近の矩形領域の全ての座標について行われると、ある運動状態におけるある特徴点付近の参照画像ＲＰが生成されることになる（図１１参照）。そして、画像変換部１３では、参照画像を生成する毎に、その参照画像を参照画像保持部１１に格納する。図１０に示す例では各運動状態ｊ（ｊ＝２，・・・，ｎ）について右目の目尻の特徴点付近の各座標の輝度が順次求められ、図１１に示すある運動状態ｊについて右目の目尻の特徴点付近の参照画像ＲＰが生成される。

図５に示す右目の目尻の特徴点付近のテーブルの一例の場合、右１５度向きの運動状態のときの（変換後の）座標（０，０）について、基準状態おける（変換前の）座標（２，３）と度数１、座標（２，４）と度数２、座標（２，５）と度数３、座標（２，６）と度数１がピックアップされる。そして、正規化した右目の目尻付近の輝度画像から、座標（２，３）の輝度、座標（２，４）の輝度、座標（２，５）の輝度、座標（２，６）の輝度が抽出される。そして、式（２）で示すように、この抽出された各座標の輝度について変換前の各座標の度数を重みとして加重平均すると、変換後の座標（０，０）の輝度が求められる。

変換後の全ての座標（０，１）、・・・について、上記と同様の処理を順次行う。これによって、右１５度向きの運動状態についての右目の目尻の特徴点付近の参照画像が生成される。このように、画像変換部１３では、全ての特徴点について、必要とされる全ての運動状態に対しての参照画像を生成し、参照画像保持部１１に格納する。

参照画像を生成すると、顔運動推定部１４では、カメラ２から撮像画像を取り入れる毎に、参照画像保持部１１に保持されている各参照画像を用いて撮像画像から各特徴点を抽出する。抽出方法としては、例えば、テンプレートマッチングによって、撮像画像と各運動状態の参照画像との輝度パターンの類似度をそれぞれ求め、閾値より類似度が高くなる運動状態の参照画像と類似する領域を探索する。そして、顔運動推定部１４では、各特徴点の位置の時間変化（各特徴点に対する追跡）から顔の回転運動（向き）と並進運動を算出する。

図１を参照して、画像処理装置１における動作について説明する。特に、画像ＥＣＵ３における参照画像の自動生成処理については、図１２のフローチャートに沿って説明する。図１２は、図１の画像ＥＣＵにおける参照画像生成処理の流れを示すフローチャートである。

処理を開始する前に、各特徴点について、顔の運動を推定する際に必要な各運動状態に対する画像変換テーブルをそれぞれ作成する。そして、この作成された画像変換テーブルが、画像ＥＣＵ３の画像変換テーブル保持部１０に格納される。

処理が開始すると、まず、カメラ２では、カメラ２に対して正面を向いていてかつカメラ２から基準距離である基準状態の人物（例えば、真正面を向いて運転席に座っている運転者）の顔を撮像し、その撮像画像のデータを画像ＥＣＵ３に送信する。画像ＥＣＵ３では、その撮像画像を取り入れ、撮像画像をＲＡＭに保持する（Ｓ１）。

画像ＥＣＵ３では、撮像画像を輝度画像に変換し、その輝度画像から顔領域を抽出する（Ｓ２）。さらに、画像ＥＣＵ３では、顔領域から各特徴点を抽出する（Ｓ３）。

画像ＥＣＵ３では、抽出した特徴点を用いて、目や口における特徴点間の距離を算出する。そして、画像ＥＣＵ３では、その特徴点間の距離とそれに対応する基準スケールとの比率を算出する。さらに、画像ＥＣＵ３では、特徴点毎に、算出した比率に基づいて、特徴点付近の輝度画像を正規化する（Ｓ４）。この際、画像ＥＣＵ３では、特徴点毎に、この正規化した特徴点付近の輝度画像を基準状態の参照画像として参照画像保持部１１に保持する。

さらに、画像ＥＣＵ３では、特徴点毎に、保持している画像変換テーブルを用いて、正規化した特徴点付近の輝度画像を各運動状態の輝度画像に変換する（Ｓ５）。この際、画像ＥＣＵ３では、特徴点毎に、この変換した輝度画像を各運動状態の参照画像として参照画像保持部１１に保持する。

参照画像を生成すると、カメラ２では、任意の運動状態の人物の顔を撮像し、その撮像画像のデータを画像ＥＣＵ３に送信する。画像ＥＣＵ３では、その撮像画像を取り入れる毎に、保持している各運動状態の参照画像を用いて撮像画像から各特徴点を抽出する。そして、画像ＥＣＵ３では、各特徴点の時間変化から顔の運動状態を推定する。

この画像処理装置１によれば、画像変換テーブルを予め作成し、保持しておくことにより、その画像変換テーブルを利用して、１枚の基準状態の撮像画像から各運動状態の参照画像を簡単に生成することができる。また、画像処理装置１では、顔の運動状態を推定する対象の人物の顔の撮像画像から各運動状態の参照画像を生成するので、その生成した参照画像についてはその人物の肌の色、各特徴点の位置や形状を反映したものとなる。その結果、各運動状態の参照画像を用いて特徴点の抽出や追跡を行うことができるので、抽出される特徴点の位置の持つ誤差が少なく、顔の運動の推定精度が向上する。

特に、画像処理装置１では、画像変換テーブルを作成する際に三次元モデルを利用しているので、運動による顔の凹凸の変化を二次元画像上でも正確に変換できる。その結果、顔の三次元形状を反映した二次元画像を生成でき、各運動状態について高精度な参照画像を生成できる。また、画像処理装置１では、カメラ２と顔との距離が変化した場合でも、画像サイズを正規化しているので、高精度の参照画像を生成できる。

以上、本発明に係る実施の形態について説明したが、本発明は上記実施の形態に限定されることなく様々な形態で実施される。

例えば、本実施の形態では対象物体として顔を適用したが、人の体や車両などの同様の三次元形状を有しており、その三次元形状を特定可能な他の物体に適用可能である。

また、本実施の形態では顔の特徴点の抽出結果を利用した顔の運動を推定する画像処理装置に適用したが、特徴点の抽出結果を利用する上位の処理としては顔の表情を推定する処理などの他の処理でもよいし、あるいは、特徴点の抽出結果を上位の処理で利用せずに、特徴点を追跡すること自体を目的とし、追跡した特徴点自体をモニタに表示するなどしてもよい。

また、本実施の形態では画像ＥＣＵでアプリケーションプログラム（ソフトウエア）を実行することによって各処理部を構成したが、パーソナルコンピュータなどのコンピュータ上に各処理部を構成してもよいし、あるいは、ハードウエアによって各処理部を構成してもよい。

また、本実施の形態では画像処理装置にカメラを備え、カメラで撮像した撮像画像データを画像ＥＣＵで直接取り込む構成としたが、対象物体を撮像した撮像画像データをカメラから直接取り込むのではなく、ネットワークなどによって外部から撮像画像データを取得する構成でもよいし、あるいは、撮像画像データを予め保持しておいてもよい。

また、本実施の形態では顔全体の向きや並進運動に応じて参照画像を作成する構成としたが、顔の表情が変わることによって顔の口や目などが変化した場合（対象物体の各部の変形）に応じて参照画像を作成してもよい。

また、本実施の形態では輝度情報を用いて参照画像の作成やテンプレートマッチングなどを行う構成としたが、彩度、ＲＧＢの色情報などの他の画像情報を用いて行ってもよい。

また、本実施の形態ではカメラで撮像した撮像画像（特徴点付近の輝度画像）を正規化する構成としたが、画像変換テーブルを作成した際の基準画像と画像スケールが同じかあるいは後処理が可能な程度にスケールが近い場合には正規化を行わない構成としてもよい。

また、本実施の形態では基準状態としてカメラに対して顔が正面を向いているときとし、その正面を向いているときの基準状態に対する各運動状態の画像変換テーブルを作成する構成としたが、基準状態としてカメラに対して顔が所定の方向を向いているときとし、その所定の方向を向いているときの基準状態に対する各運動状態の画像変換テーブルを作成する構成としてもよく、この場合には処理開始時にはその所定の方向を向いている顔を撮像し、その撮像画像から各参照画像を生成するようにする。

また、本実施の形態ではレンジスキャナを用いて顔の三次元形状を取得する構成としたが、ステレオカメラなどの他の手段を用いて三次元形状を取得してもよいし、あるいは、対象物体の形状が判っている場合にはその各形状の寸法を入力するなどして三次元形状を取得してもよい。

本実施の形態に係る画像処理装置の構成図である。 図１の画像変換テーブル保持部で保持する画像変換テーブルの作成方法の説明図である。 画像変換テーブルの作成過程における顔の三次元モデルの各点を顔が正面向きのときの二次元画像上に投影した場合の処理結果の一例である。 画像変換テーブルの作成過程における顔の三次元モデルの各点を顔が右１５度向きのときの二次元画像上に投影した場合の処理結果の一例である。 画像変換テーブルの一例である。 図１のカメラで撮像した顔の正面向きの撮像画像の一例である。 図６の撮像画像から顔領域を抽出した画像の一例である。 図７の顔領域から各特徴点を抽出した画像の一例である。 図８の抽出した特徴点付近の領域の正規化方法の説明図である。 図９の正規化した特徴点付近の領域の画像変換方法の説明図である。 図１０の画像変換によって生成した特徴点付近の参照画像の一例である。 図１の画像ＥＣＵにおける参照画像生成処理の流れを示すフローチャートである。

符号の説明

１…画像処理装置、２…カメラ、３…画像ＥＣＵ、１０…画像変換テーブル保持部、１１…参照画像保持部、１２…顔特徴点抽出部、１３…画像変換部、１４…顔運動推定部

Claims (4)

1. 撮像画像から対象物体の特徴点を抽出する画像処理装置であって、
   三次元形状が特定可能な対象物体の各特徴点について、基準状態のときの対象物体の基準画像に対する生成が必要とされる画像の二次元上の投影位置及び画素特徴の割合を示すテーブルと、
   基準状態のときの対象物体を撮像した撮像画像を前記テーブルに基づいて生成が必要とされる画像に変換する変換手段と
   を備え、
   前記変換手段で変換した画像を参照画像として特徴点を抽出することを特徴とする画像処理装置。
2. 基準状態のときの対象物体を撮像した撮像画像から対象物体の特徴点を抽出する抽出手段と、
   前記抽出手段によって抽出した特徴点間の距離に基づいて撮像画像の大きさを正規化する正規化手段と
   を備え、
   前記変換手段は、前記正規化手段で正規化した画像を変換することを特徴とする請求項１に記載する画像処理装置。
3. 撮像画像から対象物体の特徴点を抽出する画像処理方法であって、
   三次元形状が特定可能な対象物体の各特徴点について、基準状態のときの対象物体の基準画像に対する生成が必要とされる画像の二次元上の投影位置及び画素特徴の割合を示すテーブルを保持し、
   基準状態のときの対象物体を撮像した撮像画像を前記テーブルに基づいて生成が必要とされる画像に変換する変換ステップを含み、
   前記変換ステップで変換した画像を参照画像として特徴点を抽出することを特徴とする画像処理方法。
4. 基準状態のときの対象物体を撮像した撮像画像から対象物体の特徴点を抽出する抽出ステップと、
   前記抽出ステップで抽出した特徴点間の距離に基づいて撮像画像の大きさを正規化する正規化ステップと
   を含み、
   前記変換ステップでは、前記正規化ステップで正規化した画像を変換することを特徴とする請求項３に記載する画像処理方法。

Images