JP2006202188A - 画像合成装置およびそのパターン確認方法 - Google Patents

Abstract

【課題】パターン辞書に登録したパターンに基づいて顔画像を解析可能な画像合成装置であって、このパターンを確認できる画像合成装置およびそのパターン確認方法を提供。
【解決手段】画像合成装置10は、パターン確認回路20において、キー入力部28でキーアドレス122により表情IDを指定して、パターン確認情報生成部30が、この表情IDに応じた顔表情パラメータ124をパターン辞書14から読み出し、表情IDを示す文字列、ならびに顔表情パラメータを示す文字列およびその各特徴量を示す数値を配置したパターン確認画像を生成し、パターン確認情報126として出力する。
【選択図】図１

Description

本発明は、パターン辞書に登録したパターンに基づいて顔画像を解析し、この解析結果に応じた合成画像を生成する画像合成装置であって、このパターンを確認できる画像合成装置およびそのパターン確認方法に関するものである。

従来から、画像合成装置は、たとえばビデオカメラなどの撮像装置で撮影した人物の顔画像を画像解析して目や口などの顔の各部の特徴点を検出し、パターン辞書に登録されている表情や顔向きなどの特徴量の組合せである顔表情パラメータと比較して、顔画像における表情を解析し、この表情解析から、顔画像がパターン辞書におけるどの顔表情パラメータに該当するかを判定し、この判定結果に応じて３次元アニメーションの強調表示や、あらかじめ用意してある３次元アニメーションの再生などを行うことができる。これによって、画像合成装置は、視覚的効果の高いコミュニケーションを実現している。

たとえば、特許文献１に記載のアニメーション合成装置10では、利用者の顔表情を含む画像データ、および利用者の音声データを情報入力部12を介して入力してパラメータ解析部14で解析し、この解析結果と、情報入力部12を介して入力するキー情報とをパターン解析部16に供給して、あらかじめ用意したパターンに基づいて利用者の行動パターンを検出し、検出結果に応じてパターン生成部18を制御して入力データごとに強調表示のパラメータなどを生成し、パラメータの優先度に応じてパラメータをパラメータ選択部20で統合し、統合パラメータに基づいたモデル画像の表情を表情合成部22で生成することができる。

このような画像合成装置においてあらかじめ用意するパターンには、たとえば、パターン辞書に表情ID（IDentification）と対応付けて登録される顔表情パラメータなどがあるが、パターン辞書において、表情IDと顔表情パラメータとの組合せは、図３に示すようなフォーマットで表わすことができる。図３において、顔表情パラメータの特徴量には、眉の上下動、口上下の開き、ならびに頭部のx、ｙおよびz軸回転が含まれている。

顔表情パラメータは、ユーザが利用する各装置において、個人向けに設定可能であり、このとき、各表情IDに対する顔表情パラメータを更新することが可能である。このような画像合成装置によれば、人物の顔表情の変化を３次元モデル画像などにより忠実に再現するだけでなく、より楽しいコミュニケーションを図ることが可能となる。

特願2003-274227号

上記の画像合成装置では、パターン辞書に格納した顔表情パラメータを利用者が個人向け設定のために更新しようとする場合、利用者は、パターン辞書に登録されている表情IDにどのような顔表情パラメータが対応付けられているかを確認する必要がある。しかしながら、利用者がパターン辞書の登録内容を確認する方法は、特に適したものが示されることはない。また、この確認方法が不便である場合、利用者に負担がかかることになり、さらに、画像合成装置の普及を妨げる原因を生じさせてしまう。

本発明はこのような従来技術の欠点を解消し、パターン辞書に登録した顔表情パラメータの確認を容易に実現する画像合成装置およびそのパターン確認方法を提供することを目的とする。

本発明は上述の課題を解決するために、顔画像における顔の各特徴点の特徴量を組み合わせて所定の表情に該当する顔表情パラメータとし、１種類以上の表情にそれぞれ該当する１以上の顔表情パラメータをその表情識別情報と対応付けて記録媒体に格納するパラメータ格納手段と、顔画像を含む画像データを入力する画像データ入力手段と、この画像データから顔の各特徴点に対する特徴量を抽出して、この抽出した特徴量の組合せからなる顔表情パラメータが示す第１のパターンを、１以上の顔表情パラメータが示す各第２のパターンを用いて解析する解析手段と、この解析手段の解析結果に基づいて基準画像の各特徴点を変更し、この基準画像にこの画像データの顔画像が示す表情を反映させた合成画像を生成する画像合成手段とを含む画像合成装置は、表情識別情報の指定に応じて、この指定された表情識別情報に対応する顔表情パラメータに該当する表情や特徴量などのパターンを確認できるパターン確認情報を生成するパターン確認手段を含むことを特徴とする。

また、顔画像における顔の各特徴点の特徴量を組み合わせて所定の表情に該当する顔表情パラメータとし、１種類以上の表情にそれぞれ該当する１以上の顔表情パラメータをその表情識別情報と対応付けて第１の記録媒体に格納する画像合成装置であって、顔画像を含む画像データを入力し、この画像データから顔の各特徴点に対する特徴量を抽出して、この抽出した特徴量の組合せからなる顔表情パラメータが示す第１のパターンを、１以上の顔表情パラメータが示す各第２のパターンを用いて解析して、この解析した結果に基づいて基準画像の各特徴点を変更して、この基準画像にこの画像データの顔画像が示す表情を反映させた合成画像を生成する画像合成装置において、第１の記録媒体に格納された顔表情パラメータを確認するパターン確認方法は、パターン確認を所望する表情識別情報を指定する第１の工程と、この指定された表情識別情報に対応する顔表情パラメータに該当する表情や特徴量などのパターンを確認できるパターン確認情報を生成する第２の工程とを含むことを特徴とする。

本発明の画像合成装置によれば、表情IDの指定に応じて、この表情IDに該当する顔表情パラメータをパターン辞書から読み出して、各特徴点の移動量を数値で表示することにより、パターン辞書に登録してある顔表情パラメータの確認を容易に実現することができる。この画像合成装置の利用者は、パターン辞書にどのようなパターンが登録されているかを数値で確認することができ、過去に登録して忘れてしまった顔表情パラメ一タを再利用することが可能となる。

また、本発明の画像合成装置によれば、パターン辞書から読み出した顔表情パラメータの各特徴量を概念的な大きさで定義し、その大きさを示す文字列や矢印を表示することにより、パターン辞書に登録してあるパターンを確認することができる。この画像合成装置の利用者は、パターン辞書にどのようなパターンが登録されているかを概念的に確認することができ、顔表情パラメ一タの再利用につながる。

また、本発明の画像合成装置によれば、顔表情パラメータをパターン辞書に登録する際に、その顔表情パラメータを認識できる顔画像を表情IDと対応付けて登録し、表情IDの指定に応じて、この表情IDに該当する顔画像を表示することにより、パターン辞書に登録してあるパターンを確認することができる。この画像合成装置の利用者は、パターン辞書にどのようなパターンが登録されているかを自身の顔画像により直感的に確認することができ、顔表情パラメ一タの再利用につながる。

また、本発明の画像合成装置によれば、パターン辞書から読み出した顔表情パラメータの各特徴量を基準画像に反映し、３次元アニメーションなどで表示することにより、パターン辞書に登録してあるパターンを確認することができる。この画像合成装置の利用者は、パターン辞書にどのようなパターンが登録されているかをアニメーションなどにより直感的に確認することができ、顔表情パラメ一タの再利用につながる。

次に添付図面を参照して、本発明による画像合成装置の実施例を詳細に説明する。たとえば、本発明の画像合成装置10は、図１に示すように、顔映像を含む画像信号を画像入力部12で入力し、この画像信号およびパターン辞書14から得られるパターンに基づいて動作パラメータ生成部16で動作パラメータを生成し、この動作パラメータに基づいて表情合成部18で合成画像を出力するもので、ユーザがパターン辞書14におけるパターンを確認する際に、パターン確認回路20が、パターン辞書14から得られるパターンに基づいてパターン確認情報を生成するものである。なお、本発明の理解に直接関係のない部分は、図示を省略し、冗長な説明を避ける。

画像入力部12は、顔映像を含む画像信号102を図示しないビデオカメラなどの撮像装置から入力する入力インタフェース回路としての機能を有し、この画像信号102を１フレームごとにキャプチャするものである。また、画像入力部12は、画像信号102がアナログ信号である場合、アナログ・ディジタル変換する機能を有し、画像信号102をディジタル化した画像データ104を動作パラメータ生成部16に出力する。

パターン辞書14は、動作パラメータ生成部16においてパターンマッチング処理する際に用いられるパターンを、表情IDなどの識別情報と対応付けて格納する記録媒体で、あらかじめ複数種類のパターンを格納する。本実施例のパターン辞書14は、パターンとして顔表情パラメータを格納するものでよい。また、パターン辞書14は、動作パラメータ生成部16やパターン確認回路20などによって、格納したパターンを読み出されるが、他方、ユーザがパターンを変更して書き換えることができるように、RAM（Random Access Memory）などのメモリが用いられてよい。

本実施例では、顔表情パラメータの特徴量は、図２に示すように、眉の上移動を＋とし、かつ下移動を−として、また、口の開く方向を＋とし、かつ閉じる方向を−とするものでよい。また、図２に示す顔表情パラメータの特徴量は、頭部の上向きを＋とし、かつ下向きを−として頭部のｘ軸回転を示し、同様に、右向きを＋とし、かつ左向きを−としてｙ軸回転を示し、また、右傾きを＋とし、かつ左傾きを−としてｚ軸回転を示すものでよい。また、顔表情パラメータは、これら以外の様々な特徴量を含んでもよい。

図２に示す顔表情パラメータを組み合わせる場合、様々な表情にかかる特徴量を図３に示すような表で表わすことができる。たとえば、表情ID１は、頭部ｘ軸回転が＋で、かつその他の値が０を示して顔を上向きにすることを表し、表情ID２は、眉上下が＋で、かつその他の値が０を示して眉を上げることを表す。

また、パターン辞書14は、各表情IDに対して、対応する表情をあらかじめ決めて、事前に統計的に算出した顔表情パラメータを記憶するものでよい。たとえば、表情ID１は「上向き」とし、表情ID２は「眉上げ」として、あらかじめ決めておくとよい。

また、パターン辞書14は、利用者によって顔表情パラメータを更新可能であり、利用者自身の表情から顔表情パラメータを算出して記憶してもよく、たとえば、表情ID１を横向きで眉上げとし、表情ID２を下向きで開口として更新することができる。

動作パラメータ生成部16は、画像データ104を解析して顔画像の特徴点を検出する、画像解析部22と、顔画像の特徴点とパターン辞書14におけるパターンとをパターンマッチング処理してこの顔画像に対応する表情IDや画像解析確信度などを含むパターン解析結果データを出力する画像パターン解析部24と、パターン解析結果データに基づいて動作パラメータを選択し、顔画像の特徴点と選択した動作パラメータとを統合して統合動作パラメータを生成する動作パラメータ統合部26とを有するものでよい。

画像解析部22は、画像データ104に含まれる顔画像を解析して顔の各特徴点の変形量を測定し、この変形量から動作パラメータを算出する機能を有する。画像解析部22は、たとえば３次元画像データを変形させるような動作パラメータを算出してよい。画像解析部22は、動作パラメータを含む画像解析データ106を画像パターン解析部24および動作パラメータ統合部26に出力する。

画像パターン解析部24は、画像解析データ106から表情や顔向きなどの特徴量の組合せである顔表情パラメータを検出し、パターン辞書14に記憶されている顔表情パラメータとのマッチング処理を行うもので、この結果として画像解析データ106に対応する顔表情パラメータおよびその表情IDを含む画像パターン解析結果108を動作パラメータ統合部26に出力する。

また、本実施例の画像パターン解析部24は、１枚の画像に対する解析結果のみから顔表情パラメータを検出してもよいが、複数枚の画像を解析して時系列における特徴量の推移から顔表情パラメータを検出してもよい。

動作パラメータ統合部26は、画像パターン解析結果108の表情IDに応じた定型動作パラメータを抽出し、この定型動作パラメータと画像解析データ106に含まれる動作パラメータとを優先度に従って統合して統合動作パラメータ110を生成し、表情合成部18に出力する。また、動作パラメータ統合部26は、あらかじめ複数の定型動作パラメータを保持して、各定型動作パラメータを表情IDと対応付けて保持する。

この定型動作パラメータは、顔の各特徴点の変形量を時系列で格納したもので、たとえば、格納されている変形量をフレームレート間隔で出力することにより一定時間の3Dアニメーションを実現可能とするものである。定型動作パラメータには、たとえば、「まばたき」や「あくび」、「お辞儀」などがあり、背景画像や「星」、「蝶」などの人物モデル以外の画像の動作を含んでもよい。

表情合成部18は、動作パラメータ生成部16からの統合動作パラメータ110に応じて、アニメーションなどの合成画像112を生成して出力するものである。本実施例の表情合成部18は、キャラクタ画像やモデル画像などの基準画像をあらかじめ保持し、統合動作パラメータ110が示す特徴点に基づいて基準画像をレンダリング処理するグラフィック機能を実行して、合成画像112を生成して出力するものでよい。表情合成部18は、ポリゴンによって構成される３次元キャラクタモデルを基準画像として保持してもよい。表情合成部18は、このような合成画像112を図示しないモニタなどに出力する。

本実施例のパターン確認回路20は、図１に示すように、キー入力部28およびパターン確認情報生成部30を含み、ユーザの操作に応じてパターン確認情報126を生成し、図示しないモニタなどに出力して表示することにより、ユーザがパターンを確認することができる。

本実施例において、キー入力部28は、図示しないキーボードと接続して、キーボードの押圧操作に応じたキー情報を含むキー入力信号120を入力するインタフェース回路である。通常、キーボードは、各キーに対応するアドレスをあらかじめ設定して、キーが押下されたときに対応キーアドレスを発行することにより、押下されたキーの種別を特定することができるものである。

キー入力部28は、キー入力信号120に応じてキーアドレス122を判定し、パターン確認情報生成部30に出力するもので、本実施例では、キーアドレス122として表情IDを含む情報を出力する。

パターン確認情報生成部30は、キーアドレス122に応じて確認を所望するパターン確認情報126を出力するもので、キーアドレス122から表情IDを取り出す機能、パターン辞書14からパターン124を取り出す機能、およびパターン124からパターン確認情報126を生成する機能を含む。

本実施例のパターン確認情報生成部30は、表情IDに対応するパターン124をパターン辞書14から取り出す際に、顔の各部の移動量や頭部の回転量などの特徴量を含む顔表情パラメータをパターン124として得ることができる。

また、パターン確認情報生成部30は、パターン確認情報126を生成する際に、たとえば図４に示すように、表情IDを示す文字列、ならびに顔表情パラメータを示す文字列およびその各特徴量を示す数値を配置したパターン確認画像を生成し、パターン確認情報126として出力してよく、各特徴量をそのままパターン確認情報126として出力してもよい。

次に、本実施例における画像合成装置10の動作において、ユーザがパターン確認回路20を操作してパターンを確認する動作を図５のフローチャートを参照しながら説明する。

本実施例の画像合成装置10では、パターンの確認動作が開始すると、まず操作者が図示しないキーボードを操作して、確認を所望するパターンの表情IDを選択する。ここで、選択された表情IDを指定するキー入力信号120がパターン確認回路20に入力する。

パターン確認回路20では、キー入力信号120がキー入力部28に入力し、キー入力部28では、キー入力信号120に応じて、表情IDを指定するキーアドレス122が発行されてパターン確認情報生成部30に供給される。

パターン確認情報生成部30において、キーアドレス122から表情IDが取り出され、この表情IDに対応するパターン124がパターン辞書14から取り出される（S130）。ここでは、パターン124として、眉の移動量や頭部の回転量などの特徴量を含む顔表情パラメータが得られる。

さらに、パターン確認情報生成部30では、得られたパターン124を用いてパターン確認情報126が生成されて出力される（S132）。たとえば、パターン確認情報126は、顔表情パラメータの各特徴量および表情IDを配置して、図４に示すパターン確認画像のように生成されるものでよい。

たとえば、ユーザが、図４に示すパターン確認画像を見ると、表情ID１を発行させるためには、眉を上方向に上げ、口を上下方向に開き、頭部を右に傾ける必要がある、ということが確認できる。

このパターン確認情報126が、図示しないモニタなどに表示されて、パターン確認動作が終了する。

このように、画像合成装置10は、表情IDの指定に応じてパターン確認画像を表示するため、ユーザは容易に登録パターンを確認することができる。

また、他の実施例として、画像合成装置10におけるパターン確認回路20は、図６に示すように、基準データを格納するパターン基準格納部202と、顔表情パラメータの特徴量を基準データに基づいて判定して、顔表情パラメータの各特徴量が、どのような概念的な大きさで表わせるかを検出するパターン確認情報生成部204とを有して構成される。本実施例において、概念的な大きさは、たとえば、「移動なし」、「小さな移動」および「大きな移動」などのような、数値ではない複数段階で示される概念的な大きさを意味する。

パターン基準格納部202は、顔表情パラメータの特徴量を判定するしきい値などの基準データを格納する記録媒体である。

本実施例のパターン確認情報生成部204は、パターン辞書14から読み出したパターン124を、パターン基準格納部202から読み出した基準データ210に基づいて判定し、その判定結果に応じてパターン確認212を生成し、図示しないモニタなどに出力するものである。

たとえば、パターン確認情報生成部204は、パターン124である顔表情パラメータの特徴量を、しきい値である基準データ210と比較して判定し、各特徴量を複数段階、たとえば３段階のレベルのいずれかに評価するものでよい。パターン確認情報生成部204は、顔表情パラメータの特徴量を複数段階のいずれかに該当すると判定することにより、顔表情パラメータの特徴量を概念的な大きさとして判断することができる。

次に、本実施例におけるパターン確認回路20の動作において、ユーザの操作に応じてパターンを確認する動作を図７のフローチャートを参照しながら説明する。

本実施例のパターン確認回路20では、パターン確認動作が開始してから、ステップS130までは、図５に示すフローチャートにおいて上記に説明した動作と同様でよい。

次に、ステップS222では、パターン確認情報生成部204において、パターン基準格納部202から基準データ210が読み出される。このとき、基準データ210は、顔表情パラメータの各特徴量、たとえば眉の移動量や頭部の回転量などに対応して、各対応データを含んでいる。

ここで、パターン124である顔表情パラメータから、比較を実施する特徴量が順次選択される（S224）。

選択された特徴量に対応するしきい値が基準データ210から取り出され、特徴量がしきい値を用いて比較される（S226）。このとき、比較結果に応じて、特徴量の概念的な大きさが判断される。

たとえば、特徴量として眉の上方向の移動量が判断されるとき、基準データ210が、＋２および＋10をしきい値として有する場合には、特徴量の概念的な大きさは、「移動なし」、「小さな移動」および「大きな移動」の３段階に分離される。このとき、パターン解析結果の眉の移動量が＋５である場合、眉の上方向移動量は、概念的な大きさを「小さな移動」と判断される。

次に、顔表情パラメータのうち、まだステップS226の比較を実施していない特徴量があるか否かが判定される（S228）。ここで、未実施の特徴量がある場合、ステップS224に戻ってしきい値比較が繰り返される。

ステップS228において、顔表情パラメータに含まれる特徴量がすべて比較を実施されたと判断できた場合、ステップS230に進み、パターン確認回路20にてパターン確認情報212が生成される。たとえば、パターン確認情報212は、図８や図９に示すようなパターン確認画像として生成されてよい。

図８において、パターン確認画像は、ステップS226で判断された特徴量の概念的な大きさを、その文字列を配置することにより表している。また、図９において、パターン確認画像は、頭部の回転方向を示すｘ、ｙおよびｚ軸と、眉および口などの特徴点が強調された顔画像とを含み、概念的な大きさを回転方向および特徴点の移動方向を示す矢印の大きさで表している。この図９におけるパターン確認画像を生成する場合、たとえば、特徴量の数値を所定の値で正規化し、その結果を概念的な大きさとして矢印で表現することもできる。また、図９のパターン確認画像は、回転方向や移動方向を動画像として示してもよい。

このパターン確認情報212が、図示しないモニタなどに表示されて、ユーザが表情IDおよび各特徴量の概念的な大きさを確認し、どの特徴量をどの程度動かせば所望の表情IDが発行されるかを概念的に確認することができる。このようにして、本実施例のパターン確認動作が終了する。

また、他の実施例として、画像合成装置10におけるパターン確認回路20は、図10に示すように、モデル画像を格納するモデル画像格納部302と、顔表情パラメータの特徴量をモデル画像に反映させて出力するパターン確認情報生成部304を有して構成される。

本実施例のモデル画像格納部302は、２次元もしくは３次元画像のモデルとなるデータを格納するもので、複数種類のモデル画像を格納してよく、RAMなどのメモリが用いられてよい。

また、本実施例のパターン確認情報生成部304は、パターン辞書14からパターン124を読み出し、モデル画像格納部302からモデル画像310を読み出して、このモデル画像310にパターン124における顔表情パラメータを反映させてアニメーション画像を生成し、パターン確認情報312として図示しないモニタなどに出力するものである。

次に、本実施例におけるパターン確認回路20の動作において、ユーザの操作に応じてパターンを確認する動作を図11のフローチャートを参照しながら説明する。

本実施例のパターン確認回路20では、パターン確認動作が開始してから、ステップS130までは、図５に示すフローチャートにおいて上記に説明した動作と同様でよい。

次に、ステップS322では、パターン確認情報生成部304において、モデル画像格納部302からモデル画像310が読み出される。このとき、ユーザは、モデル画像格納部302に格納された複数種類のモデル画像から、所望のモデル画像310を選択して読み出してもよい。

パターン確認情報生成部304において、ステップS322で読み出したモデル画像310は、ステップS130で読み出した顔表情パラメータが反映されてアニメーション画像が生成され、パターン確認画像312として図示しないモニタなどに出力される（S324）。たとえば、パターン確認画像312のアニメーション画像は、図12に示すように、モデル画像が表情を表わすように生成されるもので、静止画でも動画像でもよく、音声を伴う画像でもよい。

このように、ユーザは、パターンを認識できる顔画像をモニタなどで確認し、どのような表情をすれば所望の表情IDが発行されるかを直感的に確認することができる。また、アニメーション画像の表示を確認するため、ユーザが楽しく利用することができる。このようにして、本実施例のパターン確認動作が終了する。

また、他の実施例として、画像合成装置10は、ユーザがパターンをパターン辞書14に設定する際に、このパターンを認識できる顔画像を入力し、このパターンに係る表情IDと顔画像とを対応付けて登録画像格納部404に登録するもので、ユーザがパターンを確認するときに、登録画像格納部404から顔画像を読み出して表示するものである。

本実施例において、画像合成装置10は、図13に示すように、画像入力部12、パターン辞書14、動作パラメータ生成部16、表情合成部18、画像登録部402、登録画像格納部404およびパターン確認回路20を含むものでよい。本実施例の画像合成装置10は、パターン辞書14への格納については、図１に示す実施例について上記に説明したように動作してよい。

本実施例の画像合成装置10では、パターン格納に応じて、たとえば、ユーザがこのパターンを認識できる顔画像を撮影して、画像入力部12を介して画像登録部402に入力する。このとき、画像登録部402には、そのパターンに係る表情IDも入力する。また、画像合成装置10は、あらかじめ複数種類の表情を撮影した顔画像を図示しないメモリなどに記憶しておき、ユーザが記憶された顔画像の中から、格納したパターンを認識できる顔画像を選択して、画像登録部404に入力してもよい。

この画像登録部402は、入力された顔画像を表情IDと対応付けて登録画像格納部404に格納するものでよく、登録画像格納部404は、顔画像および表情IDを書き換え可能に格納するRAMなどのメモリが用いられてよい。

また、本実施例のパターン確認回路20は、図13に示すように、キー入力部28およびパターン確認情報生成部406を含んでいる。

本実施例のパターン確認情報生成部406は、登録画像格納部404と接続するもので、キー入力部28からのキーアドレス122によって確認すべき表情IDを指定されたときに、この表情IDに応じた顔画像410を登録画像格納部404から読み出し、その顔画像410をパターン確認画像として、すなわちパターン確認情報412として図示しないモニタなどに出力するものである。

次に、本実施例における画像合成装置10の動作において、ユーザがパターン確認回路20を操作してパターンを確認する動作を図14のフローチャートを参照しながら説明する。

本実施例の画像合成装置10では、パターン確認動作が開始すると、まず操作者が図示しないキーボードを操作して、確認を所望するパターンの表情IDを選択する。選択された表情IDを指定するキー入力信号120がパターン確認回路20に入力し、ここで、キー入力部28を介してキーアドレス122がパターン確認情報生成部406に供給される。

パターン確認情報生成部406において、キーアドレス122から表情IDが取り出され、この表情IDに対応する顔画像410が登録画像格納部404から読み出される（S422）。このとき、顔画像410は、静止画でも動画像でもよく、音声を伴う画像でもよい。

次に、パターン確認情報生成部406では、読み出した顔画像410がパターン確認情報412として図示しないモニタなどに出力される（S424）。

このように、ユーザは、パターンを認識できる顔画像をモニタなどで確認し、どのような表情をすれば所望の表情IDが発行されるかを直感的に確認することができる。このようにして、本実施例のパターン確認動作が終了する。

このように、本発明によれば、画像合成装置は、パターン確認システムを用いることにより、パターン辞書に登録した顔表情パラメータを容易に確認することができ、利用者にかかる負担を減少して、画像合成装置の普及に繋げることができる。

また、本発明の画像合成装置は、携帯電話やパソコンなどにおける画像送信を伴う通信システムなどに適用することができ、テレビ電話システムなどに有利に適用することができる。

本発明の画像合成装置の一実施例を示すブロック図である。 顔表情パラメータの変化を示す例図である。 顔表情パラメータの特徴量の組み合わせ示す例図である。 図１に示す画像合成装置におけるパターン確認画像の例図である。 図１に示す画像合成装置の動作手順を説明するフローチャートである。 本発明の画像合成装置におけるパターン確認回路の他の実施例を示すブロック図である。 図６に示すパターン確認装置の動作手順を説明するフローチャートである。 図６に示すパターン確認装置におけるパターン確認画像の例図である。 図６に示すパターン確認装置におけるパターン確認画像の例図である。 本発明の画像合成装置におけるパターン確認回路の他の実施例を示すブロック図である。 図１０に示すパターン確認装置の動作手順を説明するフローチャートである。 図１０に示すパターン確認装置におけるパターン確認画像の例図である。 本発明の画像合成装置の他の実施例を示すブロック図である。 図１３に示す画像合成装置の動作手順を説明するフローチャートである。

符号の説明

10 画像合成装置
12 画像入力部
14 パターン辞書
16 動作パラメータ生成部
18 表情合成部
20 パターン確認回路
22 画像解析部
24 画像パターン解析部
26 動作パラメータ統合部
28 キー入力部
30 パターン確認情報生成部

Claims (19)

1. 顔画像における顔の各特徴点の特徴量を組み合わせて所定の表情に該当する顔表情パラメータとし、１種類以上の表情にそれぞれ該当する１以上の顔表情パラメータをその表情識別情報と対応付けて記録媒体に格納するパラメータ格納手段と、
   顔画像を含む画像データを入力する画像データ入力手段と、
   前記画像データから顔の各特徴点に対する特徴量を抽出して、該抽出した特徴量の組合せからなる顔表情パラメータが示す第１のパターンを、前記１以上の顔表情パラメータが示す各第２のパターンを用いて解析する解析手段と、
   該解析手段の解析結果に基づいて基準画像の各特徴点を変更し、前記基準画像に前記画像データの顔画像が示す表情を反映させた合成画像を生成する画像合成手段とを含む画像合成装置において、該装置は、
   表情識別情報の指定に応じて、該指定された表情識別情報に対応する顔表情パラメータに該当する表情や特徴量などのパターンを確認できるパターン確認情報を生成するパターン確認手段を含むことを特徴とする画像合成装置。
2. 請求項１に記載の画像合成装置において、前記パターン確認手段は、前記指定された表情識別情報に対応する顔表情パラメータを前記記録媒体から読み出し、該読み出した顔表情パラメータを用いてパターン確認情報を生成することを特徴とする画像合成装置。
3. 請求項２に記載の画像合成装置において、前記パターン確認手段は、前記指定された表情識別情報、ならびに前記読み出した顔表情パラメータを示す文字列およびその特徴量を示す数値を配置してパターン確認画像を生成し、パターン確認情報とすることを特徴とする画像合成装置。
4. 請求項３に記載の画像合成装置において、前記パターン確認手段は、
   顔表情パラメータの各特徴量を複数のレベルに分割する基準データを格納するパターン基準格納手段を含み、
   該パターン基準格納手段から前記基準データを読み出し、該基準データを閾値として前記読み出した顔表情パラメータを比較して、該顔表情パラメータの各特徴量を前記複数レベルのいずれかに該当することを判定し、該判定結果であるレベルを用いてパターン確認情報を生成することを特徴とする画像合成装置。
5. 請求項４に記載の画像合成装置において、前記パターン確認手段は、前記指定された表情識別情報、ならびに前記読み出した顔表情パラメータを示す文字列およびその特徴量の前記判定結果であるレベルを示す文字列を配置してパターン確認画像を生成し、パターン確認情報とすることを特徴とする画像合成装置。
6. 請求項４に記載の画像合成装置において、前記パターン確認手段は、前記指定された表情識別情報および前記読み出した顔表情パラメータの特徴点を強調する顔画像において、該各特徴点付近にその特徴量の前記判定結果であるレベルの大きさを示す矢印などの図形を示してパターン確認画像を生成し、パターン確認情報とすることを特徴とする画像合成装置。
7. 請求項２ないし６のいずれかに記載の画像合成装置において、該装置は、前記基準画像を格納する基準画像格納手段を含み、
   前記パターン確認手段は、前記基準画像格納手段から前記基準画像を読み出し、前記読み出した顔表情パラメータに基づいて前記基準画像の各特徴点を変更し、前記基準画像に前記読み出した顔表情パラメータが示す表情を反映させたパターン確認画像を生成し、パターン確認情報とすることを特徴とする画像合成装置。
8. 請求項１ないし７のいずれかに記載の画像合成装置において、前記画像合成装置は、顔表情パラメータを認識できる顔画像を表情識別情報と対応付けて格納する登録画像格納部を含み、
   前記パターン確認手段は、表情識別情報の指定に応じて、該指定された表情識別情報に対応する顔画像を前記登録画像格納部から読み出し、パターン確認情報とすることを特徴とする画像合成装置。
9. 請求項１ないし８のいずれかに記載の画像合成装置において、該装置は、公衆回線網やＩＰネットワークのような有線や無線の通信回線を介して音声および画像を配信可能とする情報端末装置に搭載され、
   前記画像データ入力手段は、前記画像データを入力する際に、前記情報端末装置に備わるカメラなどの撮像装置により、被写体を撮像して生成された画像データを入力することを特徴とする画像合成装置。
10. 請求項９に記載の画像合成装置において、該装置は、前記情報端末装置としてPHS（Personal Handy-phone System）や携帯電話などの携帯情報処理端末に搭載されることを特徴とする画像合成装置。
11. 請求項９に記載の画像合成装置において、該装置は、前記情報端末装置として、パーソナルコンピュータなどの情報処理端末に搭載されることを特徴とする画像合成装置。
12. 顔画像における顔の各特徴点の特徴量を組み合わせて所定の表情に該当する顔表情パラメータとし、１種類以上の表情にそれぞれ該当する１以上の顔表情パラメータをその表情識別情報と対応付けて第１の記録媒体に格納する画像合成装置であって、顔画像を含む画像データを入力し、該画像データから顔の各特徴点に対する特徴量を抽出して、該抽出した特徴量の組合せからなる顔表情パラメータが示す第１のパターンを、前記１以上の顔表情パラメータが示す各第２のパターンを用いて解析して、該解析した結果に基づいて基準画像の各特徴点を変更して、前記基準画像に前記画像データの顔画像が示す表情を反映させた合成画像を生成する画像合成装置において、第１の記録媒体に格納された顔表情パラメータを確認するパターン確認方法において、該方法は、
    パターン確認を所望する表情識別情報を指定する第１の工程と、該指定された表情識別情報に対応する顔表情パラメータに該当する表情や特徴量などのパターンを確認できるパターン確認情報を生成する第２の工程とを含むことを特徴とするパターン確認方法。
13. 請求項１２に記載のパターン確認方法において、第２の工程は、前記指定された表情識別情報に対応する顔表情パラメータを第１の記録媒体から読み出す第３の工程を含み、該読み出した顔表情パラメータを用いてパターン確認情報を生成することを特徴とするパターン確認方法。
14. 請求項１３に記載のパターン確認方法において、第２の工程は、前記指定された表情識別情報、ならびに前記読み出した顔表情パラメータを示す文字列およびその特徴量を示す数値を配置してパターン確認画像を生成する第４の工程を含み、該パターン確認画像をパターン確認情報とすることを特徴とするパターン確認方法。
15. 請求項１４に記載のパターン確認方法において、第２の工程は、顔表情パラメータの各特徴量を複数のレベルに分割する基準データを第２の記録媒体から読み出す第５の工程と、前記基準データを閾値として前記読み出した顔表情パラメータを比較して、該顔表情パラメータの各特徴量を前記複数レベルのいずれかに該当することを判定する第６の工程とを含み、該判定結果であるレベルを用いてパターン確認情報を生成することを特徴とするパターン確認方法。
16. 請求項１５に記載のパターン確認方法において、第２の工程は、前記指定された表情識別情報、ならびに前記読み出した顔表情パラメータを示す文字列およびその特徴量の前記判定結果であるレベルを示す文字列を配置してパターン確認画像を生成する第７の工程を含み、該パターン確認画像をパターン確認情報とすることを特徴とするパターン確認方法。
17. 請求項１５に記載のパターン確認方法において、第２の工程は、前記指定された表情識別情報および前記読み出した顔表情パラメータの特徴点を強調する顔画像において、該各特徴点付近にその特徴量の前記判定結果であるレベルの大きさを示す矢印などの図形を示してパターン確認画像を生成する第８の工程を含み、該パターン確認画像をパターン確認情報とすることを特徴とするパターン確認方法。
18. 請求項１３ないし１７のいずれかに記載のパターン確認方法において、該方法は、第３の記録媒体から前記基準画像を読み出す第９の工程と、該読み出した基準画像の各特徴点を前記読み出した顔表情パラメータに基づいて変更して、前記読み出した基準画像に前記読み出した顔表情パラメータが示す表情を反映させたパターン確認画像を生成する第１０の工程とを含み、該パターン確認画像をパターン確認情報とすることを特徴とするパターン確認方法。
19. 請求項１２ないし１８のいずれかに記載のパターン確認方法において、該方法は、顔表情パラメータを認識できる顔画像を表情識別情報と対応付けて第４の記録媒体に格納する第１１の工程を含み、
    第２の工程は、前記指定された表情識別情報に対応する顔画像を第４の記録媒体から読み出す第１１の工程を含み、該読み出した顔画像をパターン確認情報とすることを特徴とするパターン確認方法。
    

Images