JP2005242567A - 動作評価装置及び方法 - Google Patents

Abstract

【課題】容易に動作の評価を行なえるようにし、練習者に対してアドバイスを与えることを可能にする。
【解決手段】無表情の顔画像として選択された第１の被写体画像（４０３）と理想的な笑顔画像として選択された第２の被写体画像（４０２）のそれぞれにおいて特徴点を抽出し、両画像の被写体における特徴点の変化量に基づいて基準データとしての理想笑顔データ（４０４）が作成される。撮像によって得られた被写体画像（４０５）において特徴点を抽出し、第１の被写体画像（４０３）との間における特徴点の変化量に基づいて計測データとしての笑顔データ４０６が作成される。作成された基準データと計測データとに基づいて被写体画像（４０５）における被写体の動きが評価される（４０７）。
【選択図】 図４

Description

本発明は、動作評価装置及び方法に関するものであり、特に、笑顔等の顔表情の評価に好適なものである。

営業スマイルと言われるように、対面販売等、人と人とが対面してコミュニケーションを行なう場において、好印象を与えるには笑顔が重要であり、その好印象が更なる円滑なコミュニケーションを生む土台となる。このように、笑顔の重要性は多くの人に理解され、特に営業職の人に対しては、普段から笑顔を保つことが望まれている。しかしながら、世の中には表情を豊かにして自然な笑顔で接することが苦手な人も存在している。自然な笑顔を練習する訓練装置や方法は、そのような人々にとって有効な手段となるが、容易に笑顔の訓練が可能な訓練装置や方法についての提案はない。

一般に、画像を用いて、手話、ゴルフやスキーといったスポーツ等の練習を行なう方法として、熟練者の手や体の動きをビデオ等に録画し、練習者はモニタに表示したその画像を見ながら、動作を真似ることが行なわれている。また、特許文献１には、練習者の動作を撮像手段で撮像し、その練習者の画像とともに、熟練者の模範画像を表示するシステムが開示されている。さらに、特許文献２には、システムが、練習者が使用しているデータグローブから練習者の手の動きを検出し、その手の動きから手話を認識し、その認識結果を音声や画像、文章で表示する。そして、練習者は自身が意図した手話の意味とシステムが認識した手話の意味が同じになるようまで手話を反復して練習するシステムが開示されている。
特開平０８−２５１５７７号公報 特開平０９−０３４８６３号公報

しかしながら、単にビデオ等に録画された模範画像を見るだけでは、技能習得の効果はあまり期待できない。

また、特許文献１に開示されているように、模範画像と練習者の画像をともに表示したとしても、その動作が正しいのか否かは練習者では判断することは困難である。さらに、特許文献２に開示されているように、練習者の意図した手話の意味とシステムが認識した手話の意味とが合致するか否かを判断することはできる。しかしながら、システムの認識結果と合致しなかった場合にどのように動作を修正すればよいのか、或いは動作を修正してもその修正が正しかった（良い方向に進んでいる）のか間違っていたのか（更に悪い方向に進んでいるのか）を練習者が判断することは困難である。

そこで本発明は、容易に動作の評価を行なえる用にすることを目的とする。また、練習者に対してシステムがアドバイスを与えることを可能にすることを目的とする。

上記の目的を達成するための本発明による動作評価装置は以下の構成を備える。すなわち、
被写体を含む画像を撮像する撮像手段と、
第１の被写体画像と第２の被写体画像のそれぞれにおいて特徴点を抽出し、該第１の被写体画像と該第２の被写体画像との間における特徴点の変化量に基づいて基準データを作成する第１作成手段と、
前記撮像手段で撮像された第３の被写体画像と第４の被写体画像のそれぞれにおいて特徴点を抽出し、該第３の被写体画像と該第４の被写体画像との間における特徴点の変化量に基づいて計測データを作成する第２作成手段と、
前記基準データと前記計測データとに基づいて前記第４の被写体画像における被写体の動きを評価する評価手段とを備える。

また、好ましくは、上記装置において、
前記計測データと前記基準データとに基づいて当該被写体の動きに関するアドバイスを作成するアドバイス作成手段と、
前記第３の被写体画像と前記アドバイス作成手段で作成されたアドバイスを表示する表示手段とをさらに備える。

また、上記の目的を達成するための本発明の他の態様による動作評価方法は、
被写体を含む画像を撮像可能な撮像手段を用いた動作評価方法であって、
第１の被写体画像と第２の被写体画像のそれぞれにおいて特徴点を抽出し、該第１の被写体画像と該第２の被写体画像との間における特徴点の変化量に基づいて基準データを作成する第１作成工程と、
前記撮像手段で撮像された第３の被写体画像と第４の被写体画像のそれぞれにおいて特徴点を抽出し、該第３の被写体画像と該第４の被写体画像との間における特徴点の変化量に基づいて計測データを作成する第２作成工程と、
前記基準データと前記計測データとに基づいて前記第４の被写体画像における被写体の動きを評価する評価工程とを備える。

なお、本明細書において、被写体動作とは身体動作や顔表情を含む。

本発明によれば、容易に動作の評価を行うことができる。また、練習者に対してシステムがアドバイスを与えることが可能になる。

以下、添付の図面を参照して本発明の好適な実施形態について説明する。

＜第１実施形態＞
第１実施形態では、動作評価装置を利用者の笑顔作成を訓練するための装置に適用した場合を説明する。

図１Ａは本実施形態による笑顔訓練装置の構成を示すブロック図である。表示器１は、アプリケーションプログラムによって処理中のデータの情報、各種メッセージメニュー、撮像装置２０により撮影された映像などを表示する。ＶＲＡＭ２は、表示器１の画面に表示されるイメージを展開するビデオＲＡＭ（以下、ＶＲＡＭ）である。なお、表示器１は、ＣＲＴやＬＣＤ等、その種別は問わない。キーボード３及びポインティングデバイス４は、画面上の所定欄に文字などを入力したり、アイコンやＧＵＩにおけるボタンなどを指し示すためなどに用いられる操作入力手段である。ＣＰＵ５は本笑顔訓練装置全体の制御を司る。

ＲＯＭ６は読み出し専用のメモリであり、ＣＰＵ５の動作処理手順（プログラム）を記憶している。なおこのＲＯＭ６に、データ処理に係るアプリケーションプログラムやエラー処理プログラムをはじめ、後述するフローチャートに係るプログラムを記憶するようにしてもよい。ＲＡＭ７は、各種プログラムをＣＰＵ５が実行する時のワークエリア、エラー処理時の一時退避エリアとして用いられる。汎用のコンピュータ装置を本実施形態の笑顔訓練装置に適用する場合、後述する処理を実行するための制御プログラムは、外部記憶媒体よりこのＲＡＭ７へロードされ、ＣＰＵ５によって実行されることになる。

ハードディスクドライブ（以下、ＨＤＤ）９、フロッピー（登録商標）ディスクドライプ（以下、ＦＤＤ）１０は外部記憶媒体を構成し、それぞれのディスクはアプリケーションプログラムやデータ、ライプラリなどの保存及び読み込み用に用いられる。なお、ＦＤＤの替わりに、あるいは追加してＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ等の光（磁気）ディスクドライブや、テープストリーマ、ＤＤＳなどの磁気テープドライブ等を設けてもよい。

カメラインターフェース１０は、本装置を撮像装置２０と接続するためのインターフェースである。バス１１は、アドレスバス、データバスおよび制御バスで構成され、上述した各ユニット間を接続する。

図１Ｂは、上述した笑顔訓練装置による機能構成を示すブロック図である。本実施形態の笑顔訓練装置は、撮像部１００、左右反転部１１０、顔検出部１２０、顔特徴点検出部１３０、理想笑顔データ作成保持部１４０、笑顔データ作成部１５０、笑顔評価部１６０、笑顔アドバイス作成部１６１、表示部１７０、画像選択部１８０を有する。これらの各機能は、ＣＰＵ５が所定の制御プログラムを実行し、各種ハードウエア（表示器１、ＲＡＭ７、ＨＤＤ８、撮像装置２０等）を活用することにより実現される。

図１Ｂに示した各構成要素の機能を説明する。撮像部１００は、レンズやＣＣＤ等のイメージセンサから構成され、画像を撮像する。なお、撮像部１００より本システムへ提供される画像は、連続的な静止画像であってもよいし、動画（ビデオ画像）であってもよい。左右反転部１１０は、撮像部１００で撮像された画像を左右反転する。ただし、左右反転を行なうか否かはユーザが任意に選択できる。顔検出部１２０は、入力された画像より顔の部分を検出する。顔特徴点検出部１３０は、入力された画像中の顔検出部１２０で検出された顔領域から、複数の特徴点を検出する。

理想笑顔データ作成保持部１４０は、被写体の顔に適した理想笑顔データを作成し、これを保持する。笑顔データ作成部１５０は、入力された画像中の顔の笑顔データを作成する。笑顔評価部１６０は、笑顔データ作成部１５０で作成された笑顔データと、理想笑顔データ作成保持部１４０で作成、保持された理想笑顔データを用いて被写体の顔が理想的な笑顔にどの程度近いか評価する。笑顔アドバイス作成部１６１は、この評価結果に基づいて、被写体の笑顔に対するアドバイスを作成する。表示部１７０は、画像及び笑顔アドバイス作成部１６１で作成されたアドバイスを表示する。画像選択部１８０は、撮像部１００で撮像された各画像に対する笑顔評価部１６０の評価結果に基づいて、１枚の画像を選択し保持する。これは、アドバイス作成のための画像であり、この処理については図３（ステップＳ３０６）により後述する。

以上のような構成の笑顔訓練装置の動作について説明する。本実施形態による笑顔訓練装置の動作は、理想笑顔データを作成する際（理想笑顔データ作成時）の動作と笑顔の訓練を行なう際（笑顔訓練時）の動作の大きく２つに分けられる。

まず最初に、理想笑顔データ作成時の動作を、図２のフローチャート及び図４を用いて説明する。

先ずステップＳ２０１において、撮像部１００により被写体の顔を撮像して得られた複数の顔画像（図４の４０１）より、理想の笑顔画像と思われる顔画像（４０２）、及び無表情の顔画像（４０３）をユーザに選択させる。動画の場合はフレーム画像を用いる。ステップＳ２０２では、左右反転部１１０が撮像部１００で撮像された画像の左右を反転する。なお、この反転は、被写体つまり訓練者の好みにより行なっても行なわなくても良い。被写体を撮影した画像を左右反転して表示部１７０により表示すると、鏡に映った顔を見ているような画像が表示される。従って、後述するように、表示部に撮像され左右反転された画像と“口の右端を上げる”という意味のアドバイスが表示された場合に、訓練者はそのようなアドバイスに対応しやすくなる。しかし、実際に他者と対面するときに他者が見る顔は、左右反転されていない画像と同じであるので、そのような左右反転をしていない画像で訓練したいという場合もある。そこで、例えば、訓練の初期は左右反転で訓練し、その後左右反転を行なわないようにするということも考えられる。上記の理由により、ステップＳ２０２では、左右反転処理の選択が可能となっている。

ステップＳ２０３では、ステップＳ２０２において左右反転され、もしくはされなかった画像に対して、顔検出部１２０が顔検出処理を行う。この顔検出処理について、図５、図６を用いて説明する。

図５は、局所特徴を階層的に検出し、その検出結果を統合し、次の階層の局所特徴を検出する、という処理を繰り返して、最終的に被写体である顔を検出する動作を、模式的に示すものである。つまり、最初にプリミティブな特徴である１次特徴を検出し、その１次特徴の検出結果（検出レベルと位置関係）を用いて２次特徴を検出する。そして、２次特徴の検出結果を用いて３次特徴を検出、最後にその３次特徴の検出結果を用いて４次特徴である顔を検出する。

図５に検出すべき１次特徴の例を示す。最初に、縦特徴（１−１）・横特徴（１−２）・右上がり斜め特徴（１−３）・右下がり斜め特徴（１−４）といった特徴を検出する。ここに、縦特徴（１−１）とは縦方向のエッジセグメントを表す（以下同様である）。この検出結果は、各特徴毎に、入力画像と同等の大きさの検出結果画像という形で出力される。つまり、この例であれば４種類の検出結果画像が得られ、各特徴の検出結果画像の各位置の値を見て、入力画像のその位置に各特徴が存在するか否かが判断できる。２次特徴の、右空きＶ字特徴（２−１）・左空きＶ字特徴（２−２）・水平平行線特徴（２−３）・垂直平行線特徴（２−４）は、右空きＶ字特徴は右上がり斜め特徴と右下がり斜め特徴から、左空きＶ字特徴は右下がり斜め特徴と右上がり斜め特徴から、水平平行線特徴は横特徴から、垂直平行線特徴は縦特徴から検出を行なう。また３次特徴の眼特徴（３−１）・口特徴（３−２）は、眼特徴は右空きＶ字特徴と左空きＶ字特徴と水平平行線特徴と垂直平行線特徴とから、口特徴は右空きＶ字特徴と左空きＶ字特徴と水平平行線特徴とから検出を行なう。そして、４次特徴である顔特徴（４−１）は、眼特徴と口特徴とから検出を行なう。

上記示したように、顔検出処理部１０２では、まずプリミティブな局所特徴を検出し、さらにその検出結果を用いることで、階層的に局所特徴を検出し、最終的に被写体である顔を検出する。なお、上記の検出手法を並列階層処理により画像認識を行う神経回路網を用いて実現することも可能であり、この点については、M.Matsugu,K.Mori,et.al,“Convolutional Spiking Neural Network Model for Robust Face Detection”,2002,Internatinal Conference On Neural Information Processing (ICONIP02) に記述されている。

図６を参照して神経回路網の処理内容を説明する。この神経回路網は、入力データ中の局所領域において、対象または幾何学的特徴などの認識(検出)に関与する情報を階層的に扱うものであり、その基本構造はいわゆるConvolutionalネットワーク構造（LeCun, Y. and Bengio, Y., 1995,“Convolutional Networks for Images Speech, and Time Series” in Handbook of Brain Theory and Neural Networks (M. Arbib, Ed.), MIT Press, pp.255-258を参照）である。最終層（最上位層）では検出したい被写体の有無と、存在すればその入力データ上の位置情報が得られる。

データ入力層８０１は、画像データを入力する層である。最初の特徴検出層８０２(１,０)は、データ入力層８０１より入力された画像パターンの局所的な低次の特徴（特定方向成分、特定空間周波数成分などの幾何学的特徴のほか色成分特徴を含んでもよい）を全画面の各位置を中心として局所領域(或いは、全画面にわたる所定のサンプリング点の各点を中心とする局所領域)において同一箇所で複数のスケールレベル又は解像度で複数の特徴カテゴリの数だけ検出する。

特徴統合層８０３(２,０)は、所定の受容野構造(以下、受容野とは直前の層の出力素子との結合範囲を、受容野構造とはその結合荷重の分布を意味する)を有し、特徴検出層８０２(１,０)からの同一受容野内にある複数のニューロン素子出力の統合（局所平均化、最大出力検出等によるサブサンプリングなどの演算）を行う。この統合処理は、特徴検出層８０２（１，０）からの出力を空間的にぼかすことで、位置ずれや変形などを許容する役割を有する。また、特徴統合層内のニューロンの各受容野は同一層内のニューロン間で共通の構造を有している。

後続の層である各特徴検出層８０２（（１,１）、(１,２)、…、(１,M)）及び各特徴統合層８０３（(２,１)、(２,２)、…、(２,M)）は、上述した各層と同様に前者（(１,１)、…）は、各特徴検出モジュールにおいて複数の異なる特徴の検出を行い、後者（(２,１)、…）は、前段の特徴検出層からの複数特徴に関する検出結果の統合を行う。但し、前者の特徴検出層は同一チャネルに属する前段の特徴統合層の細胞素子出力を受けるように結合（配線）されている。特徴統合層で行う処理であるサブサンプリングは、同一特徴カテゴリの特徴検出細胞集団からの局所的な領域（当該特徴統合層ニューロンの局所受容野）からの出力についての平均化などを行うものである。

図５に示した各特徴を検出するためには、図６の各特徴検出層の検出に使用する受容野構造をその特徴を検出するためのものにすることで、各特徴の検出が可能である。また、最終層の顔検出層における顔の検出に使用する受容野構造を、各サイズや各回転量に適したものを用意し、顔特徴の検出において、顔が存在するという結果を得たときにどの受容野構造を用いて検出したかによって、その顔の大きさや向き等の顔データを得ることが出来る。

ステップＳ２０３では、顔検出部１２０が、上述した方式によって顔検出処理を実行する。ただし、この顔検出処理は、上記方式だけに限定されるものではない。上記方式以外にも、例えばEigen Face等を使用して画像中の顔の位置を求めることも可能である。

続いて、ステップＳ２０４において、顔特徴点検出部１３０により、ステップＳ２０３で検出した顔領域の中から複数の特徴点を検出する。検出する特徴点の例を図７に示す。図７において、Ｅ１〜Ｅ４が目の端点を、Ｅ５〜Ｅ８が目の上下の点を、Ｍ１〜Ｍ２が口の端点を示す。これらの特徴点のうち目の端点Ｅ１〜Ｅ４及び口の端点Ｍ１〜Ｍ２は、図５に示した２次特徴の右空きＶ字特徴（２−１）・左空きＶ字特徴（２−２）に相当する。つまり、これら端点の検出は、ステップＳ２０３による顔検出の中間段階で得られている。そのため、新たに、図７に示したような特徴を検出する必要はない。しかしながら、画像中の右空きＶ字特徴（２−１）・左空きＶ字特徴（２−２）は、顔以外にも、背景等、様々な場所に存在する。そのため、顔検出部１０２で得られた中間結果から、検出した顔の、眉の端点、目の端点、口の端点を検出する必要がある。そこで、図９に示すように、顔検出結果を基準にして、眉、目の端点の探索範囲（ＲＥ１，ＲＥ２）と口の端点の探索範囲（ＲＭ）を設定する。そして、右空きＶ字特徴（２−１）・左空きＶ字特徴（２−２）検出結果に対して、その設定した範囲で、目の端点と口の端点を検出する。

目の上下の点（Ｅ５〜Ｅ８）の検出方法は以下の通りである。上記のように検出した左右の目のそれぞれの端点の中点をまず求め、その中点の位置から上下方向にエッジを探索する、もしくは暗から明または明から暗へと明るさが大きく変化している領域を探索する。そのエッジまたは明るさが大きく変化している領域の中心点を目の上下の点（Ｅ５〜Ｅ８）とする。

ステップＳ２０５において、理想笑顔データ作成保持部１４０は、選択された理想の笑顔画像から上記特徴点を探索し、以下に説明するようにして理想笑顔データを作成し、これを保持する。

良い笑顔とは、無表情の顔と比較して、１．口元があがる、２．目が細くなる、という変化が生じると言われている。それ以外にも、笑いジワやエクボが出来る人もいるが、これらは個人によって大きく異なる。よって、本実施形態では、上掲の２つの変化を利用する。より具体的には、口元があがるという変化を、ステップＳ２０４における顔特徴点検出において求めた目の端点と口の端点の距離（Ｅ１−Ｍ１距離、Ｅ４−Ｍ２距離）の変化で、また目が細くなるという変化を、同じくステップＳ２０４で求めた目の上下の点の距離（Ｅ５−Ｅ６距離、Ｅ７−Ｅ８距離）の変化で検出する。つまり、これらの変化の検出に必要な特徴を、ステップＳ２０４における顔特徴点検出処理において求めていたということである。

そして、ステップＳ２０５では、選択された理想笑顔画像について上記ステップＳ２０４で求めた目の端点と口の端点の距離及び目の上下の点の距離の、無表情時の顔画像における各距離に対する変化の割合を理想笑顔データとして求める。つまり、この理想笑顔データは、ステップＳ２０４で求めた目の端点と口の端点の距離及び目の上下の点の距離が、無表情の顔のときのそれぞれの距離と比較してどの程度変化したときが理想的な笑顔であるかを示している。なお、比較に当たっては、それぞれの顔の両目間の距離などを基準として、比較すべき距離を正規化し、その変化量も正規化しておく。

このようにして、本実施形態の場合、理想的笑顔（４０２）と無表情顔（４０１）との間における、目の端点と口の端点の距離の変化の割合が左右に１つずつの計２つ、及び目の上下の点の距離の変化量が左右に１つずつの計２個得られるので、それら４個の変化量を理想笑顔データ（４０４）として保持する。

以上のようにして理想笑顔データが作成されるとして笑顔訓練開始の準備が整う。笑顔訓練時の動作を図３のフローチャートに示す。以下、図３、図４を参照して訓練時の動作を説明する。

先ず、ステップＳ３０１において、撮像部１００により笑顔訓練中に笑顔をしている被写体を撮影することにより、顔画像（４０５）を取得する。ステップＳ３０２において、撮像部１００で撮像された画像を左右方向に反転する。ただし、この反転処理は、理想笑顔データ作成時と同様に、被写体つまり訓練者の好みにより行なっても行なわなくても良い。

次に、ステップＳ３０３では、ステップＳ３０２で左右反転された、もしくはされなかった画像に対して、顔検出処理が行なわれる。そして、ステップＳ３０４において、理想笑顔データ作成時と同様に、目や口の端点、目の上下の点、即ち顔特徴点が検出される。ステップＳ３０５では、理想笑顔データ作成時と同様に、ステップＳ３０４で検出された顔特徴点、即ち顔画像４０５における目と口の端点間距離と、目の上下の点間距離の、無表情の顔（４０３）における各距離からの変化の割合を求め、笑顔データ（図４の４０６）とする。

次に、ステップＳ３０６において、笑顔評価部１６０は、理想笑顔データと笑顔データとを比較する（４０７）。具体的には、左右の目の端点と口の端点の距離の変化、及び左右の眼の上下の点の距離の変化に関して、理想笑顔データと笑顔データとの差分を求め、その差分に基づいて評価値を算出する。このとき、各差分値に所定の係数値を乗じて評価値を算出することが出来る。この係数値は、笑顔における眼の変化と口元の変化の貢献度に依存して設定する。例えば、一般的には、目の変化より口元の変化の方が笑顔と認識される場合にはこの貢献度が大きいため、口元の変化の割合の差に対する係数値は、眼の変化の割合の差に対する係数値よりも高い値にする。そして、この評価値があるしきい値以下になれば、理想的な笑顔と判断される。また、ステップＳ３０６では、当該訓練において算出された評価値がしきい値以下となった画像のうち、最小の値を示した画像をアドバイスを行なう対象となる画像（アドバイス用画像）として保持しておく。アドバイス用画像は、初めてしきい値以下となった時から規定枚数後（例えば１０枚後）の画像としたり、始めてしきい値以下となった時、その後しきい値以上となった時の中間の画像にするなどとしてもよい。

ステップＳ３０７では、本処理を終了するか否かを判定する。この判定は、例えば、評価値がある枚数の画像に渡って単純に減少する、またはしきい値以下の値になるようになったら、終了と判断する。そうでなければ、ステップＳ３０１に戻り、上記の処理を繰り返す。

ステップＳ３０８において、笑顔アドバイス作成部１６１は、ステップＳ３０６で選択した画像を表示するとともに、その時の笑顔データと理想笑顔データとの差異をアドバイスとして表示する。例えば、図８に示すように、ステップＳ３０６で選択、保存した画像における特徴点から、理想笑顔データで求められる口の端点の理想位置、または眼の上下の点の理想位置へ矢印を表示させる。この矢印が訓練者には、この矢印の方向になるように口元や目を変化させれば良いというアドバイスになる。

以上説明したように、本実施形態によれば、被写体に適した理想笑顔データを求め、その理想笑顔データと訓練時の笑顔から得られる笑顔データとを比較し評価する笑顔訓練が可能である。また顔検出、顔特徴点検出が自動的に行われるので、容易に訓練が行なえるという効果がある。また、理想笑顔データと訓練時の笑顔とを比較し、訓練者に対するアドバイスとして、矢印により変化量の過不足を提示することで、訓練者は動作の修正の善し悪しを容易に理解することが出来るという効果がある。

より一般的に表現すれば、被写体に適した理想的な動作と訓練時の動作とを比較し評価するので、当該動作に関して効率的に訓練を行える。また、評価に必要な特徴点の検出が自動的に行われるので、容易に訓練が行なえるという効果がある。また、理想的な動きと、訓練時の動きを比較し、訓練者に対するアドバイスとして変化量の過不足を提示することで、訓練者は動作の修正の善し悪しを容易に理解することが出来るという効果がある。

なお、上記実施形態ではステップＳ２０１で理想笑顔画像をユーザが選択したが、多量の笑顔画像から求めた理想笑顔パラメータを用いて、被写体に適した理想笑顔データを自動的に選択するようにしてもよい。このような理想笑顔パラメータを求めるには、例えば、笑顔の検出に使用する変化（眼の端点と口の端点の距離、目の上下の点の距離の変化）を多人数で求め、例えば各変化の平均を理想笑顔パラメータにするようにしてもよい。また、上記実施形態では、ユーザの無表情画像の取得を、理想笑顔データ作成時に行なったが、笑顔訓練時に取得するようにしても良い。上記実施形態では、理想笑顔データ作成を撮像部１００で撮像したユーザの画像を使用して行なったが、このようにユーザの無表情画像を笑顔訓練時に取得することで、理想笑顔データは、上述したように正規化されているので、別の人物、例えば、理想的な笑顔のモデルの無表情画像と笑顔画像とを使用して、作成することが出来る。つまり、ユーザは、自分が好ましいと思う笑顔の人物の笑顔になるように、訓練することが可能となる。

なお、本実施形態では、アドバイスの提示方法として、矢印を使用したが、他の提示方法として、音の高低や大小を使用しても良い。また本実施形態では、笑顔の訓練について説明したが、この発明は、笑顔の訓練の他にも、悲しみといった他の表情の訓練に使用することも可能である。また、表情の他にも、ゴルフのスイングの軌道やピッチングフォーム等の動作の訓練に使用することも可能である。

＜第２実施形態＞
図５は、第２実施形態による笑顔訓練装置の機能構成を示すブロック図である。なお、ハードウエア構成は図１Ａに示したとおりである。また、図９において、図１Ｂと同様の機能要素には同一の参照番号を付してある。図９に示されるように、第２実施形態の笑顔訓練装置は、撮像部１００、左右反転部１１０、理想笑顔画像作成部９１０、顔検出部１２０、顔特徴点検出部１３０、理想笑顔データ作成保持部９２０、笑顔データ作成部１５０、笑顔評価部１６０、笑顔アドバイス作成部１６１、表示部１７０、画像選択部１８０から構成される。

第１実施形態と比較して異なるところは、理想笑顔画像作成部９１０である。第１実施形態では、理想笑顔データ作成保持部１４０で理想笑顔データを作成する際は、撮影された画像の中から理想笑顔画像をユーザが選択し、その画像から理想笑顔データを求めていた。それに対し第２実施形態では、理想画像作成部９１０が入力（撮影）された画像を使用（変形）して理想笑顔画像を作成する。そして、理想笑顔データ作成保持部９２０は、理想画像作成部９１０で作成した理想画像を用いて、第１実施形態同様の理想笑顔データを作成する。

続いて、図９に示す構成において、理想笑顔データを作成する際（理想笑顔データ作成時）の動作を、図１０のフローチャートに従って説明する。

ステップＳ１００１において、撮像部１００より被写体の無表情の顔（４０３）を撮像する。ステップＳ１００２では、撮像部１００で撮像された画像を左右方向に反転する。ただし、第１実施形態でも説明したように、この反転処理は被写体つまり訓練者の好みにより行なっても行なわなくても良い。ステップＳ１００３では、ステップＳ１００２で左右反転した、もしくはしなかった画像に対して、顔検出処理が行なわれる。そして、ステップＳ１００４では、無表情の顔画像の顔特徴点（目や口の端点、目の上下の点）を検出する。

次に、ステップＳ１００５において、理想画像作成部９１０を用いて、無表情画像を変形することにより、訓練者が好ましいと思う理想的な笑顔画像（４１０）を作成する。例えば、図１１は理想画像作成部９１０により提供されるユーザインターフェースの一例を示す図である。図１１に示されるように、顔全体、目、口元という各領域のそれぞれの変化具合を調整できるようなグラフィカルユーザインターフェース（ＧＵＩ）１１０１〜１１０３とともに、無表情の顔画像１１０４が表示されている。訓練者はこのＧＵＩを使用することで、例えば（１１０３を操作して）顔画像１１０４の口元を変化させることが出来る。このとき、指定可能な変化量の最大値を、第１実施形態で述べたような、多量のデータから求めた笑顔パラメータで決められる値にし、変化量の最小値は変化無し、つまり、無表情の顔画像そのままとするようにしても良い。

なお、ＧＵＩの調整による、理想笑顔画像の作成には、モーフィングの技術を使用することが出来る。例えば、変化量の最大値を、第１実施形態で述べたような、多量のデータから求めた笑顔パラメータで決められる値にした場合、最大に変化した時の画像は、上記笑顔パラメータを使用して作成可能であるので、変化量が中間の値の時は、無表情の顔画像と、変化量最大値の画像を使用して、モーフィング技術を使用して、変化量が中間の顔画像を作成する。

次に、ステップＳ１００６では、ステップＳ１００５で作成した理想笑顔画像に対して顔検出処理を行う。そして、ステップＳ１００７において、ステップＳ１００５で作成した理想笑顔画像よりステップＳ１００６で検出された顔における目や口の端点、目の上下の点を検出する。ステップＳ１００８では、ステップＳ１００４で検出した無表情の顔画像の目や口の端点間距離及び目の上下の点の距離と、ステップＳ１００７で検出された理想笑顔画像の目や口の端点間距離及び目の上下の点の距離との変化量を求め、理想笑顔データとする。

以上のようにして作成された理想笑顔データを用いた笑顔訓練の処理手順は第１実施形態と同様であるので、説明を省略する。

上記説明したように、第２実施形態によれば、理想笑顔画像を撮影によって取得するのではなく、訓練者が作成することによって取得可能となるので、所望の笑顔をつくるための訓練を容易に行うことができる。

＜第３実施形態＞
図１２は第３実施形態の笑顔訓練装置の機能構成を示すブロック図である。第３実施形態の笑顔訓練装置は、撮像部１００、左右反転部１１０、顔検出部１２０、顔特徴点検出部１３０、理想笑顔データ作成保持部１４０、笑顔データ作成部１５０、笑顔評価部１６０、笑顔アドバイス作成部１６１、表示部１７０、画像選択部１８０、顔状態検出部１２１０、理想笑顔状態変化データ保持部１２２０、笑顔変化評価部１２３０とを備えている。なお、ハードウエア構成は図１Ａと同様である。

第１実施形態と比較して異なるのは、顔状態検出部１２１０、理想笑顔状態変化データ保持部１２２０、笑顔変化評価部１２３０が加わっていることである。第１実施形態では、笑顔の評価を、口元があがり、目が細くなるという基準で評価した。それに対し、第３実施形態では、さらに、口元があがるという変化と、目が細くなるという変化の順番、即値、特徴点の変化の時間的要素も評価に入れている。

例えば、笑顔には、うれしい時に出る“快の笑い”と、嘲笑を示す“不快の笑い”、さらに作り笑いといった“社交の笑い”がある。これら全てにおいて、最終的には口元があがり、目が細くなるが、その区別は、口元があがり、目が細くなるタイミングで行なうことが可能であると言われている。例えば、“快の笑い”は口元があがり、それから目が細くなるのに対し、“不快の笑い”は、目が細くなってから口元があがる。また、“社交の笑い”は、口元があがるのと目が細くなるのがほぼ同時である、と言われている。

第３実施形態の顔状態検出部１２１０は口元があがる変化と目が細くなる変化という顔の状態を検出する。また理想笑顔状態変化データ保持部１２２０は理想笑顔状態変化データを保持している。つまり、顔状態検出部１１１０で口元があがる変化と目が細くなる変化という顔の状態を検出し、その変化の順番が、理想笑顔状態変化データ保持部１２２０に保持されている理想笑顔状態変化の順番となっているかについて、笑顔変化評価部１２３０で評価を行なう。そしてその結果を表示部１７０へ表示する。表示の一例を図１３に示す。図１３には、理想笑顔状態変化の時の、口元があがる変化と眼が細くなるタイミングを上段に示し、下段に笑顔状態変化の検出結果を示す。この図より、理想的には、眼が細くなるタイミングは口元が上がる動作が始まり終了する中間ぐらいであるが、実際の笑顔では、ほぼ同時に動作していることが理解できる。このように、訓練者に有益な、各部位の動作のタイミングを、理想的な場合と実際の場合を表示し、例えば図１３の例では、眼を細くするタイミングを遅らせるアドバイスを矢印で表示している。

このような構成により、本実施形態では、笑顔に至る過程も評価することが出来、より心地よい笑顔の訓練が行なえるという効果がある。

なお本実施形態では、笑顔の訓練について説明したが、この発明は、笑顔の訓練の他にも、悲しみといった他の表情の訓練に使用することは可能である。また、表情の他にも、ゴルフのスイングの軌道やピッチングフォーム等の動作の訓練に使用することも可能であり、例えば、肩の開きと手首の移動のタイミングを表示し、理想的なフォームと比較することが可能である。ピッチングフォームを得るには、時間的に一定間隔で撮影された動画像の各画像から手を検出することによって、手の動きを検出すればよい。手の検出は、肌色の検出（顔は別方式で検出可能であるので、顔との区別が可能）を行なったり、グローブの色を検出することで可能である。また、ゴルフのスイングを見るには、クラブのヘッドに特定の色のマーカをつける等して、ヘッドを検出して、スイングの軌道を求めることも可能である。一般的に、動画像を複数の静止画に分解し、各画像で必要な特徴を検出し、その検出された特徴が各画像中で存在する座標が、複数の静止画間でどのように変化するかを調べることで、２次元的な軌道を求めることは可能であり、更に２台以上のカメラを使用すれば、３次元的な軌道を求めることもできる。

以上説明したように、上記各実施形態によれば、被写体に適した理想笑顔データと訓練時の笑顔とを比較し評価する笑顔訓練が可能であり、また顔検出、顔特徴点検出が自動的に行われるので、容易に訓練が行なえるという効果がある。また、理想笑顔データと訓練時の笑顔とを比較し、訓練者に対するアドバイスとして変化量の過不足を提示することで、訓練者は動作の修正の善し悪しを容易に理解することが出来るという効果がある。

なお、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読出し実行することによっても、達成されることは言うまでもない。

この場合、記憶媒体から読出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。

プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク，ハードディスク，光ディスク，光磁気ディスク，ＣＤ−ＲＯＭ，ＣＤ−Ｒ，磁気テープ，不揮発性のメモリカード，ＲＯＭなどを用いることができる。

また、コンピュータが読出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているＯＳ（オペレーティングシステム）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

さらに、記憶媒体から読出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

第１実施形態による、笑顔訓練装置のハードウエア構成を示すブロック図である。 第１実施形態による、笑顔訓練装置の機能構成を示すブロック図である。 第１実施形態における理想笑顔データ作成処理のフローチャートである。 第１実施形態の笑顔訓練時の処理を示すフローチャートである。 第１及び第２実施形態による笑顔訓練の動作概要を示す図である。 階層的被写体検出を示す図である。 階層的神経回路網を示す図である。 顔特徴点を説明する図である。 第１実施形態による笑顔訓練のアドバイス表示例を示す図である。 第２実施形態による 笑顔訓練装置の機能構成を示すブロック図である。 第２実施形態の理想笑顔データ作成処理のフローチャートである。 理想笑顔画像の作成のツールを説明する図である。 第３実施形態による 笑顔訓練装置の機能構成を示すブロック図である。 第３実施形態による笑顔変化の評価の表示例を示す図である。

Claims (16)

1. 被写体を含む画像を撮像する撮像手段と、
   第１の被写体画像と第２の被写体画像のそれぞれにおいて特徴点を抽出し、該第１の被写体画像と該第２の被写体画像との間における特徴点の変化量に基づいて基準データを作成する第１作成手段と、
   前記撮像手段で撮像された第３の被写体画像と第４の被写体画像のそれぞれにおいて特徴点を抽出し、該第３の被写体画像と該第４の被写体画像との間における特徴点の変化量に基づいて計測データを作成する第２作成手段と、
   前記基準データと前記計測データとに基づいて前記第４の被写体画像における被写体の動きを評価する評価手段とを備えることを特徴とする動作評価装置。
2. 前記第１及び第２作成手段では、前記第１乃至第４の被写体画像中の顔部分を抽出し、該顔部分より特徴点を抽出し、
   前記評価手段は、前記被写体の顔の動きを評価することを特徴とする請求項１に記載の動作評価装置。
3. 前記撮像手段で得られた複数の被写体画像より、前記第２の被写体画像として使用する画像を選択する選択手段をさらに備えることを特徴とする請求項１に記載の動作評価装置。
4. 前記撮像手段で得られた複数の被写体画像の各々について複数の特徴点を抽出し、該複数の特徴点の位置関係が所定の位置関係にあるか或いは最も近い被写体画像を前記第２の被写体画像として取得する取得手段をさらに備えることを特徴とする請求項１に記載の動作評価装置。
5. 前記撮像手段で得られた被写体画像を変形することにより前記第２の被写体画像を生成する生成手段をさらに備えることを特徴とする請求項１に記載の動作評価装置。
6. 更に、前記撮像手段で撮像された被写体画像を左右反転する反転手段を有することを特徴とする請求項１に記載の動作評価装置。
7. 前記計測データと前記基準データとに基づいて当該被写体の動きに関するアドバイスを作成するアドバイス作成手段と、
   前記第４の被写体画像と前記アドバイス作成手段で作成されたアドバイスを表示する表示手段とをさらに備えることを特徴とする請求項１に記載の動作評価装置。
8. 前記撮影手段により連続的に得られる被写体画像群のそれぞれを順次前記第４の被写体画像として前記評価手段による評価を実行し、
   最も良好な評価を得た被写体画像を用いて前記アドバイス作成手段と前記表示手段とを機能させることを特徴とする請求項７に記載の動作評価装置。
9. 前記撮影手段により連続的に得られる被写体画像群のそれぞれより複数の特徴点を抽出し、該被写体画像群における複数の特徴点のそれぞれの動きを検出する検出手段をさらに備え、
   前記評価手段は、さらに、前記検出手段で検出した複数の特徴点の動きのタイミングに基づいて前記被写体動作の評価を行うことを特徴とする請求項１に記載の動作評価装置。
10. 前記複数の特徴点の動きのタイミングについて基準のタイミングを表すデータを保持する保持手段をさらに備え、
    前記評価手段は、前記保持手段に保持された前記基準のタイミングを表すデータと、前記検出手段で検出した複数の特徴点の動きのタイミングとを比較することにより、前記被写体動作の評価を行うことを特徴とする請求項９に記載の動作評価装置。
11. 前記基準のタイミングと前記検出手段で検出したタイミングを比較可能に表示する表示手段をさらに備えることを特徴とする請求項１０に記載の動作評価装置。
12. 前記第１の被写体画像として前記第３の被写体画像を用いることを特徴とする請求項１に記載の動作評価装置。
13. 前記第１及び第２の被写体画像として、前記第３及び第４の被写体画像とは異なる人物の画像を用いることを特徴とする請求項１に記載の動作評価装置。
14. 被写体を含む画像を撮像可能な撮像手段を用いた動作評価方法であって、
    第１の被写体画像と第２の被写体画像のそれぞれにおいて特徴点を抽出し、該第１の被写体画像と該第２の被写体画像との間における特徴点の変化量に基づいて基準データを作成する第１作成工程と、
    前記撮像手段で撮像された第３の被写体画像と第４の被写体画像のそれぞれにおいて特徴点を抽出し、該第３の被写体画像と該第４の被写体画像との間における特徴点の変化量に基づいて計測データを作成する第２作成工程と、
    前記基準データと前記計測データとに基づいて前記第４の被写体画像における被写体の動きを評価する評価工程とを備えることを特徴とする動作評価方法。
15. 請求項１４に記載の方法をコンピュータによって実行させるための制御プログラム。
16. 請求項１４に記載の方法をコンピュータによって実行させるための制御プログラムを格納した記憶媒体。

Images