JP2006043780A

JP2006043780A - 曲面顔画像表示を用いたコミュニケーションロボット

Info

Publication number: JP2006043780A
Application number: JP2004223910A
Authority: JP
Inventors: Minoru Hashimoto; 稔橋本; Daisuke Morooka; 大介師岡
Original assignee: Shinshu University NUC
Current assignee: Shinshu University NUC
Priority date: 2004-07-30
Filing date: 2004-07-30
Publication date: 2006-02-16

Abstract

【課題】豊かで親和性の高い表情を表出するためのロボットを提供する。
【解決手段】顔に相当する部位において感情状態に基づいて生成された表情を曲面ディスプレイ上に画像として表示させる表情表示手段と、表情の一部として首の運動も含めるために画像表示機と運動機構を一体化した機構と、その手段・機構における表情画像作成手段、また表情を自動的に生成する手段から成る。
【選択図】図４

Description

本発明は、人間とのコミュニケーションを目的としたロボットの顔表情の表現手法
に関するものである。

近年、AIBO（登録商標）、QRIO(登録商標)など人間とのコミュニケーションを目的としたロボットが研究開発され、社会の期待を集めている。これらのロボットは、人間を和ませ、楽しみを与えることを目的としている。AIBOは犬型、QRIOは人間型であり音声や行動に反応する事で生命を感じさせている。

しかし顔表情は考慮されておらず、されていてもLEDで簡素なものを提示する程度にとどまっている。私たちの日常のコミュニケーション、つまり感情・情緒のやりとりにおいて顔表情が大きな役割を持っていることは周知の事実である。今後、高齢化社会などで人間社会にロボットを進出させていくにあたり、ロボットを社会になじませるためには人間との情緒のやりとりにおける豊かさ・親和性が重要であり、とりわけ顔表情は最重要になると考えられる。

これまで顔表情を表出するロボットはいくつか開発されている。大別すると、リアルさを追及したものと、デフォルメを取り入れたものである。前者は筋肉の収縮によって皮膚が変形し、それによって表情が作られるという実際の人間の表情生成を模倣したものである。後者は皮膚の変化は考慮せず、特徴的な見た目の変化（目、眉、唇など）を再現するものである。両者とも機構で構成されているため、生成できる表情が制限されてしまう。

また、AIBO、BN-1（登録商標）などは顔の部分にマークを表示することで感情を表現しているが、LEDで構成されているため、特定のパターンの表示にとどまっている。

このような従来技術では機械的な表示のため表現が限定されてしまい、豊かな表情生成に至らない。また、電子表示部を搭載していたとしてもマークによる表現ではルールを知らないと意味が分からず、やはり表現に限界がある。

一方、ゲーム機器やパソコン上で顔表情を表示する方法がいくつか挙げられている。画像であれば表現に限界はないが、ロボットの頭部として使用するためには、平面画像では立体である身体に対する整合性がとれず、不自然さが残ってしまう。

また、ロボットの顔表情において画像を使用する方法は、特許文献１に記載されている。しかし、ここでは顔画像表示機はロボットの胴体に固定されており、顔画像表示機を独立に運動させることはできない。

また、この先行技術では顔画像を平面ディスプレイ上に表示する方法が主に提案されている。凹凸スクリーンへの背面照射のアイデアが示されているが、良好な画像を生成するためのピント合わせや凹凸スクリーンのための顔画像作成法などについては一切触れられておらず、その実現可能性については問題がある。
特開2001‐215940号公報

本発明は前記の課題を解決するためになされたもので、豊かで親和性の高い表情を表出するためのロボットを提供することを目的とする。

この発明の他の目的は、曲面上に画像を表示することにより、平面画像では得られなかった観察方向依存性を獲得し、存在感のある鮮明な表情表出部を提供することにある。

また、本発明の他の目的は、画像表示部を人の頭部のように運動させ、観察方向依存性を利用した自然な表情表出を可能とする方法を提供することにある。

さらに、曲面上に表示する画像を作成する方法として、実際に表示しながら作成する方法の他に、パソコン上で仮想的にプレビューしながら作成することで表示時の印象を予測しながら表情作成手段を提供することにある。

前記の目的を達成するための特許請求の範囲の請求項１に記載された発明は、顔に相当する部位において表情を曲面ディスプレイ上に画像として表示させる表情表示手段と、表情の一部として首の運動も含めるために画像表示機と運動機構を一体化した機構と、その手段・機構における表情画像作成手段、また表情を自動的に生成する手段を備えた表情を有するロボットである。

同じく請求項２に記載された発明は、前記画像表示機は状況により生成される感情状態に適応した表情を表示することを特徴とした請求項１に記載の表情を有するロボットである。

請求項３に記載された発明は、前記首運動機構は電子的制御技術により制御され、顔表情に応じた運動を生成することを特徴とした請求項１に記載の表情を有するロボットである。

本発明によれば、画像として自由に顔全体の表情が変えられるので、豊かで個性的な表情を作り出すことができる。実際の人間同様のリアルな表情をロボットが持つと、人間は不快感を抱く可能性があり良好な親和性を得にくいが、キャラクター的な表情をロボットが持つことにより親和性のあるコミュニケーションが可能となる。

また、曲面であることにより、画像でありながら見る方向によって顔の見え方が違うといった観察方向依存性を得ることができ、現実空間における存在感も得ることができる。

コミュニケーションにおいて頭部の動作によって顔表情の印象は異なることから、表示機構と運動機構を一体化し、表情と頭部の運動を協調することにより、印象深い顔表情の表出が可能となる。

以下、本発明の実施例を詳細に説明するが、本発明の範囲はこれらの実施例に限定されるものではない。

図１は本発明が適用されるロボットの一実施形態の外観的構成を示す概略図である。大きく分けてロボットの外観は画像提示部１７と動作提示部１８で構成される。

１は乳白半透明色板のアクリルドームでロボットの頭部の顔に相当する部位となる。乳白半透明板のため後方から投影された画像が透過し、前方から見ることができる。２は頭部中心付近に配置される魚眼レンズで、プロジェクタ３により生成される画像をアクリルドーム１に投影する。プロジェクタ３からの投射光を魚眼レンズ２に通すことにより近距離で球面に投影することが可能となる。

また、プロジェクタ３はデジタルライトプロセッシング(Digital Light
Processing :DLP)方式を用いているため、他方式に比べ小型で軽量にすることができる。アクリルドーム１、魚眼レンズ２、プロジェクタ３の位置関係は板金による固定具４により固定されている。

図２は本発明が適用されるロボットの一実施形態の投影機構（頭部機構）を示す概略図である。

デジタルライトプロセッシング(単板)方式での画像の投影のため、まず光源からの光はレンズ７を通じて収束されてカラーフィルター８を通る。その後レンズ７を通り次にデジタルマイクロミラー素子(Digital Micro-mirror Device :DMD)６に照射される。デジタルマイクロミラー素子６とは相補型金属酸化膜半導体(Complementary Metal Oxide Semiconductor :CMOS)上に独立して動く鏡が敷き詰められたものであり、その一つの鏡が画像の一画素に対応している。そしてデジタルマイクロミラー素子６で反射された光は投影レンズ５、魚眼レンズ２を通してアクリルドーム１に投影される。

また、今回は市販のデジタルライトプロセッシング方式プロジェクタを用いているため、上で説明した光源９から投影レンズ５までがプロジェクタ３内で位置を固定され投影されている。

この頭部機構の下部には頭部機構を動作させるための首部が設けられており、図３のような構造を有する。

首機構の動作は４つのモータ１０で構成される。１１はタイミングベルトであり、モータを直列に配列する場合に比べて首機構全体としての高さを抑えることができる。また、首機構の最下部はパラレルリンク機構１４とした。パラレルリンク機構の各節点には球面軸受け(ボールジョイント)１２、上下左右の動作を可能にするために回転中心としてユニバーサルジョイント１３を図のように設置している。

この機構では、二つのモータが同方向に回転する(図３の実線の矢印)場合は１３を中心として前後に頭部は傾き、反対方向に回転する(図３の点線の矢印)場合は１３を中心として左右に頭部が傾く。二つのモータ１０を連動させるため、頭部機構駆動するための負担を軽減することができる。

この頭部機構と首機構によって、本発明の一実施形態のロボットは構成されている。

図４はこの実施形態のロボットの感情を表現するための処理過程の概略ブロック図である。１５は感情の変化を表現するパラメータの発生回路である。感情を喜び、悲しみ、怒り、恐れ、驚き、嫌悪の６つで構成するため、感情状態は６つの各感情のパラメータにより表現される。

画像提示部１７で提示されるロボットとしての顔表情は、顔モデルを変形させることによって生成するため、表情生成部１６ではこの感情状態からモデルを変化させるためのパラメータを算出する。各感情状態における顔モデルの状態はあらかじめ設定しておく。感情状態の現在値からモデルの目標状態を算出し、感情状態の変化速度からモデルの変化速度を算出する。

算出したパラメータを元に画像提示部１７ではモデルの変形を行い、表示する。また、同時に表情生成部１６では感情状態に応じた首の運動状態も決定する。首の運動状態についてはあらかじめ数種類用意しておき、そこから選択する。選択された運動状態を元に動作提示部１８では首機構を制御し、運動させる。

例えば喜びを表す場合、１５では通常の状態から「喜び」のパラメータが増加し、そして関連する「驚き」も少し増加し、他の４つのパラメータは減少する。ここで１６では特にパラメータ値の大きい「喜び」に重点をおき、あらかじめ設定しておいた「喜び」の顔モデルを元に感情状態のパラメータから目標とする顔モデルの状態パラメータを決定する。また、その状態への顔モデルの変形速度を、「喜び」のパラメータの増加速度から決定する。

さらに首の運動状態として、「喜び」に応じた運動状態として「頭をリズミカルに揺らす」を選択し、「喜び」パラメータの度合いによって運動の大きさ、速度を決定する。このように１６で決定された情報を元に１７では顔表情、１８では頭部を動作させることで「喜び」を表現する。悲しみ、怒り、恐れ、驚き、嫌悪についても同様に実施できる。

さらにこの実施形態によれば、パラメータを利用することで感情間の微妙な表現も可能であり、時間変化、首の運動を含めて生成するために、表情としての表現が幅広い。また、あらかじめモデルによって自分の好きな顔立ちを生成することができるので、個人の好みに合わせることができる。

各部は、図５に示す内部構成により有機的に結合される。

提示部ではパソコン上で常に作動しているプログラムにより、表情生成部から得られたパラメータを元にモデルを変形する。曲面ディスプレイはパソコンと直接つながっているので生成される顔モデルの変化は随時ディスプレイ上に表示される。

また、運動部では表情生成部から得られる信号を元に逆運動学により各モータの目標角度に変換し、デジタル/アナログ変換ボード、カウンタボードを利用してモータを制御する。

図６に「喜び」の感情状態における顔モデルの例を示す。顔をデフォルメして、線画により顔表情を生成している。

この実施形態では提示する顔表情を数値で制御できるような顔モデルを用いる。図7にその一例を示す。モデルは線画であり、直線は2点、ベジェ曲線は4点の座標、また円は中心座標と半径を指定することで作成する。

つまり、本実施例において顔モデルは直線、ベジェ曲線、円で構成されており、モデルの状態は座標値によって指定されている。例えば図７のように眉毛は一つのベジェ曲線で作成されており、４つの座標値によって指定されている。

また、標準状態の顔モデルの座標値を基準として、モデルの状態は座標値の変化分で表現される。そのため図４で説明した、表情生成部１６で生成される顔モデルの目標状態としてのパラメータはこの座標値の変化分であり、あらかじめ設定しておく各感情状態における顔モデルの状態も同様に表現される。

画像を平面に表示した場合と曲面に表示した場合では印象が異なる。それは曲面では平面では得られない観察方向依存性が存在するためである。そのため画像作成時には異なる方向から見た印象を確認しながら作成することが望ましい。絵を描く際に私たちは平面で描く事に慣れているため、パソコンの平面ディスプレイ上で顔平面画像を作成し、同時に3次元コンピュータグラフィクスで立体表示した画像をプレビューする事で印象を予測することができる。

図８に頭部機構における表情表出の様子を示す。右側面からの観察方向の画像が示されている。また、今回は球面のスクリーンを用いているが、楕円体や卵型などのスクリーンを用いることにより、違った個性を持たせることができる。今回は人の顔立ちを参考にしてデフォルメした表情で説明したが、猫や犬などの動物、あるいは漫画やアニメのキャラクターの顔立ちを利用することもできる。

現在はおもちゃや企業のマスコットキャラクターとして社会でも認識され始めたロボットであるが、ロボット産業は21世紀の日本のリーディング産業として期待されている。

今後ロボットが普及されていくにあたり、まず普及されるとされているロボットのタイプはコミュニケーション型であり、人間接触型、遠隔操作型、汎用型と続く。実際AIBOなど家庭用エンターテイメント目的のロボットが現在普及しているが、販売は低調である。これは実用性が低い事が原因として挙げられる。

しかし、実用性のある、今後普及していくロボットも人間の周りで作業するためコミュニケーションは不可欠である。そしてコミュニケーションをさらに高度にするには顔表情を取り入れる事が一つの要素として挙げられる。本発明はその表情表出方法の一つとして今後の多くのロボットに搭載される可能性がある。

本発明を適用するロボットの外観の全体構成を示す図である。本発明を適用するロボットの頭部機構を示す図である。本発明を適用するロボットの首機構を示す図である。本発明を適用するロボットの構成を示す図である。本発明を適用するロボットの内部構成を示す図である。本発明を適用するロボットの表情における顔モデルの例を示す図である。本発明を適用するロボットの顔モデルの生成方法を示す図である。本発明を適用するロボットの頭部機構における表情表出の様子を示す図である。

符号の説明

１はアクリルドーム（乳白半透明色）、２は魚眼レンズ、３はプロジェクタ、４は板金による固定具、５は投影レンズ、６はデジタルマイクロミラー素子(Digital Micro-mirror Device：DMD)、７は集光レンズ、８はカラーフィルター、９はランプ、１０はモータ、１１はタイミングベルト、１２はボールジョイント、１３はユニバーサルジョイント、１４はパラレルリンク機構、１５は感情生成部、１６は表情生成部、１７は画像提示部、１８は動作提示部である。

Claims

顔に相当する部位において表情を曲面ディスプレイ上に画像として表示させる表情表示手段と、表情の一部として首の運動も含めるために画像表示機と運動機構を一体化した機構と、その手段・機構における表情画像作成手段、また表情を自動的に生成する手段を備えた表情を有するロボット。
前記画像表示機は状況により生成される感情状態に適応した表情を表示することを特徴とした請求項１に記載の表情を有するロボット。
前記首運動機構は電子的制御技術により制御され、顔表情に応じた運動を生成することを特徴とした請求項１に記載の表情を有するロボット。