JP2013511087A - 仮想表情の創成方法 - Google Patents

Abstract

この方法は、仮想顔を使用するためのものである。仮想顔（１０）は、カーソル（８）を有するコンピュータシステム（１１）に接続されたスクリーン（９）に表示される。ユーザは、カーソル（８）を用いて仮想顔（１０）を操作し、表情を表す。コンピュータシステム（１１）は、表情の座標（５３）を判定する。コンピュータシステム（１１）は、データベース（５２）から、その座標（５３）に適合する表情の座標（５４）を検索する。特定された表情の座標（５４）に関連する単語または文章（５６）が特定される。スクリーン（９）は単語（５６）をユーザに対して表示する。ユーザは、コンピュータシステムに単語送り、この単語に関連する表情を表示させることもできる。

Description

本発明は、仮想表情の使用方法に関する。

表情および他の体の動作は、人のコミュニケーションに不可欠な要素である。表情は、驚き、怒り、悲しみ、喜び、恐れ、嫌気のような感情や、この種の他の感情を表現するために用いられる。一部の人たちは、これらの表情を、より上手く理解し、また、判断するために、訓練を受ける必要がある。例えば、セールスマンや警察官などにとって、表情をより上手く読み取り、理解することができるようになることは有益であろう。現在、顔や体の表現を知覚する能力を訓練し、または調べるために利用できる有効な方法やツールはない。また、心理学的な調査および医学的な調査においては、感情についての、特定の予め定められた身体表現に対する、被験者の心理的、生理的な反応を測定する必要がある。逆にいえば、特定の、名づけられた感情表現を、外部媒体に生成する装置を、被験者に提供する必要がある。

本発明の方法は、上で概説した課題の解決策を提供する。より詳しくは、本発明の方法は、仮想顔を使用する方法である。仮想顔は、カーソルを有するコンピュータシステムに接続されたスクリーンに表示される。ユーザは、カーソルを用いて仮想顔を操作して表情を表すことができる。コンピュータシステムは、その表情の座標を判定することができる。コンピュータシステムは、データベースから、その座標に適合する表情の座標を検索する。特定された表情の座標に関連する単語または文章が特定される。スクリーンは、その単語をユーザに向けて表示する。また、ユーザがコンピュータシステムに単語または文章を入力し、コンピュータシステムが、データベースから、その単語およびそれに関連する表情を検索することも可能である。コンピュータシステムは、それから、スクリーンに信号を送り、その単語に関連する表情を表示することができる。

本発明のシステムの概略図である。 本発明の喜びの表情を示す仮想表情の正面図である。 本発明の驚きの表情を示す仮想表情の正面図である。 本発明の嫌悪の表情を示す仮想表情の正面図である。 本発明の悲しみの表情を示す仮想表面の正面図である。 本発明の怒りの表情を示す仮想表面の正面図である。 本発明の情報フローの概略図である。

図１を参照し、デジタル顔または仮想顔１０は、コンピュータシステム１１に接続されたスクリーン９に表示される。コンピュータシステム１１は、ユーザ７が当該コンピュータシステム１１を通じて動かすことのできる可動マウスカーソル８を有する。顔１０は、２つの目１２，１４、眉１６，１８、鼻２０、上唇２２および下唇２４などの構成要素を有することができる。この仮想顔１０は、本発明の原理を示すための、典型的な具体例として用いられる。同様の原理を、他の体の可動部位に適用することもできる。ユーザは、これらの構成要素を変化させ、または動かすことにより、顔１０の表情を操作して表情を作ることができる。例えば、ユーザ７は、コンピュータシステム１１を用いて眉１８の上にカーソル８を置き、矢印１９または２１で示されるように、それを上方または下方にドラッグする（引く）ことにより、それぞれ眉位置２３または眉位置２５として示される、目１４からより離れた新たな位置または目１４により近い新たな位置に、眉１８を動かすことができる。眉１６，１８が動かされるのにつれて、顔１０の目１２，１４や他の構成要素も同時に変化するように、仮想顔１０を設定することができる。同様に、ユーザは、カーソル８を用いて、上下の唇２２，２４の外側端または内側部分を、上方または下方へ動かすことができる。ユーザは、例えば、上唇２２を下唇２４から離間させて口を開けさせることにより、顔１０の表情全体を変化させることもできる。

それぞれの表情の座標５４は、データベース５２に格納された１つまたは複数の単語５６に関連する。１つまたは複数の単語５６は、喜び、驚き、嫌悪、悲しみ、怒りのような表情や、その他のいかなる表情によって例示される感情を記述する。図２は、仮想顔１０の構成要素を動かして作ることができる、喜びの表情６０の例を示す。図３は、驚きの表情６２の例を示す。図４は、嫌悪の表情６４を示す。図５は、悲しみの表情６６を示し、図６は、怒りの表情６８の例を示す。

ユーザ７が、眉のような構成要素の操作、移動または変更を完了すると、コンピュータシステム１１は、顔の各種の構成要素の座標５３（すなわち、スクリーン９上の構成要素の正確な位置）を読み取り、その表情が何かを判定する。このように、それぞれの構成要素の座標を組み合わせて、全体の表情を形成することができる。各構成要素の表情の座標５４の各組み合わせは、データベース５２に予め記憶させ、かつ、単語または文章５６と関連付けておくことができる。顔１０は、ユーザが、表情によって表現される例えば喜びのような特定の感情を認知または識別することができるのに必要となる、表情の明瞭さを判定するために用いることもできる。ユーザへの露出時間、および、仮想顔１０により表現された感情をユーザが識別することができるのに必要な顔の構成要素の数または種類は、様々に変更することができる。

上記に示されるように、コンピュータシステム１１は、ユーザ７によりシステム１１に送られた単語を認識することができる。システム１１に単語５６が送られると、システムは、単語についてデータベース５２を検索し、データベース５２中から関連する表情の座標５４を見つけるのが好ましい。システム１１に対する単語５６の送信は、口頭、視覚的、テキストまたは他のいかなる適当な送信手段で行なうことができる。換言すれば、データベース５２は相当な数の単語を備えることができ、また、それぞれの単語は、それに関連する、仮想顔１０の可動な構成要素の座標の位置を基礎としたパンフレットとして予め記憶された表情を有している。システム１１が、データベース５２中から、単語とそれに関連する表情とを検出した後には、システムは、顔１０の様々な構成要素を変更または動かすための信号を、スクリーン９に送り、その単語に関連した表情を表示する。単語５６が「喜び」であり、この単語がデータベース５２に予め記憶されている場合には、システムから仮想顔１０に座標が送られ、図２に示される喜びの表情のような、「喜び」に関連する表情が表示される。このような方法で、ユーザは、コンピュータシステム１１の仮想顔１０と対話することができる。また、より多くの表情とこれに関連する単語とを予め記憶させることにより、多様な表情の発達に貢献することができる。

ユーザが表情を作り、システム１１が、ユーザ７により作られたその表情に関連する単語５６について、データベース５２を検索するというように、情報フローを逆転させることもできる。このような方法により、ユーザが顔１０の構成要素の移動を完了して所望の表情を作った後には、システム１１は単語を表示することができる。ユーザは、これにより、どんな単語が特定の表情と関連しているかについて学ぶことができる。

例えばウェブ・カメラを用いることにより、ユーザが異なる表情を見るときの、ユーザの目の動きを読み取り、調べることもできる。表情に対するユーザの反応は、例えば、特定の感情的な反応を識別するのに必要とした時間として測定される。表情を、時間とともに動的に表示することで、仮想顔が、ある表情から異なる表情へ、どのように徐々に変化していくかを示すこともできる。これは、例えば、喜びの感情表現から悲しみの感情表現への表情の変化に、いつユーザが気づくのかを判定するのに用いることができる。それぞれの表情の座標は、喜びの表現と悲しみの表現との間のどこかにあるそれらの表現をも含むために、その後、データベースに記憶することができる。ユーザが表情により表現された感情を判定するときに、どの構成要素が最も重要なのかを判定するために、１つの構成要素の座標だけを変えることもできる。表情のニュアンスは、このように、本発明の仮想顔１０を用いて判定することができる。換言すれば、眉、口などの全ての構成要素の座標は、互いに協働して、全体の表情を形成する。例えば、目は悲しむが口は微笑んだ顔のような、より複雑または混合された表情を、ユーザに対して表示することにより、混合された表情を認識または識別できるようにユーザを訓練することができる。

本発明のデジタル表情を用いることにより、メッセージ中の単語に基づいた表情を用いて、ＳＭＳや電子メールのようなデジタルメッセージを強化することができる。ユーザ自身が自分の表情を含ませて、メッセージを強化することさえもできる。ユーザは、このようにユーザ自身の顔のデジタル画像を用い、この顔に変更を加えて、メッセージに添付した表情で感情を表すことができる。例えば、この方法は、電子メッセージに表情を追加するステップを含むことができ、その結果、表情は、電子メッセージ中の、感情を記述した単語を特定し、仮想顔とともにその感情を表示することができる。

本発明の仮想顔を用いて、文化的な違いを調べることができる。例えば、中国人は、ブラジル人とは、表情の解釈が異なるであろう。ユーザは、また、ユーザ自身の表情を用い、それを仮想顔１０の表情と比較し、それから、ユーザ自身の表情を変えて、仮想顔１０によって表現された感情と同じ感情を表現することができる。

図７は、本発明の仮想顔１０の使用の実施例９８を示す。表示ステップ１００では、コンピュータシステム１１に接続されたスクリーン９上に仮想顔１０が表示される。操作ステップ１０２では、ユーザ７は、カーソル８で、眉、目、鼻および口のような、顔の構成要素を動かすことにより、仮想顔１０を操作し、喜びの表情や悲しみの表情のような表情を表す。判定ステップ１０４では、コンピュータシステム１１は、ユーザにより作り出された表情の座標５３を判定する。検索ステップ１０６では、コンピュータシステム１１は、座標５３に適合する表情の座標５４をデータベース５２から検索する。特定ステップ１０８では、コンピュータシステム１１は、特定された表情の座標５４に関連する単語５６を特定する。本発明は、１つの単語を特定するだけに限らず、文章のような他の表現を特定することをも含む。表示ステップ１１０では、コンピュータシステム１１は、特定された単語５６をユーザ７に向けて表示する。

本発明は、好適な構成および好適な実施例に従って記載されるが、以下の請求項の趣旨および範囲から逸脱することなく、それに対して特定の置換および変更を成すことができる。

本発明は、仮想表情の創成方法に関する。

本発明の方法は、上で概説した課題の解決策を提供する。より詳しくは、本発明の方法は、仮想顔を創成する方法である。仮想顔は、カーソルを有するコンピュータシステムに接続されたスクリーンに表示される。ユーザは、カーソルを用いて仮想顔を操作して表情を表すことができる。コンピュータシステムは、その表情の座標を判定することができる。コンピュータシステムは、データベースから、その座標に適合する表情の座標を検索する。特定された表情の座標に関連する単語または文章が特定される。スクリーンは、その単語をユーザに向けて表示する。また、ユーザがコンピュータシステムに単語または文章を入力し、コンピュータシステムが、データベースから、その単語およびそれに関連する表情を検索することも可能である。コンピュータシステムは、それから、スクリーンに信号を送り、その単語に関連する表情を表示することができる。

図７は、本発明の仮想顔１０の創成の実施例９８を示す。表示ステップ１００では、コンピュータシステム１１に接続されたスクリーン９上に仮想顔１０が表示される。操作ステップ１０２では、ユーザ７は、カーソル８で、眉、目、鼻および口のような、顔の構成要素を動かすことにより、仮想顔１０を操作し、喜びの表情や悲しみの表情のような表情を表す。判定ステップ１０４では、コンピュータシステム１１は、ユーザにより作り出された表情の座標５３を判定する。検索ステップ１０６では、コンピュータシステム１１は、座標５３に適合する表情の座標５４をデータベース５２から検索する。特定ステップ１０８では、コンピュータシステム１１は、特定された表情の座標５４に関連する単語５６を特定する。本発明は、１つの単語を特定するだけに限らず、文章のような他の表現を特定することをも含む。表示ステップ１１０では、コンピュータシステム１１は、特定された単語５６をユーザ７に向けて表示する。

Claims (7)

1. 仮想顔を使用する方法であって、
   カーソル（８）を有するコンピュータシステム（１１）に接続されたコンピュータスクリーン（９）に、仮想顔（１０）を表示し、
   前記カーソル（８）を用いて前記仮想顔（１０）を操作して表情を表し、
   前記コンピュータシステム（１１）が、前記表情の座標（５３）を判定し、
   前記コンピュータが、データベース（５２）から、前記座標（５３）に適合する表情の座標（５４）を検索し、
   特定された前記表情の座標（５４）に関連する単語（５６）を特定し、
   前記単語（５６）をユーザに向けて表示すること含むことを特徴とする方法。
2. 前記データベース（５２）に、表情が記述される単語（５６）を、予め記憶させるステップをさらに含む請求項１記載の方法。
3. 表情の表情座標（５４）のパンフレットを前記データベース（５２）に記憶させ、それぞれの表情を、予め記憶された前記単語（５６）に関連付けるステップをさらに含む請求項２記載の方法。
4. 前記コンピュータシステム（１１）に前記単語（５６）を入力し、前記コンピュータシステム（１１）が、前記データベース（５２）中で前記単語（５６）を特定し、前記データベース（５２）中の単語（５６）に関連する表情に、前記単語（５６）を関連付けるステップをさらに含む請求項１記載の方法。
5. 前記スクリーン（９）が、前記単語（５６）に関連する表情を表示するステップをさらに含む請求項４記載の方法。
6. ユーザに、表情を識別する訓練を行うステップをさらに含む請求項１記載の方法。
7. 電子メッセージに表情を加え、前記表情が前記電子メッセージ中の感情を記述した単語を特定し、前記仮想顔とともにその感情を表示するステップをさらに含む請求項１記載の方法。

Images