JP2016126500A - ウェアラブル端末装置およびプログラム - Google Patents

ウェアラブル端末装置およびプログラム Download PDF

Info

Publication number
JP2016126500A
JP2016126500A JP2014266450A JP2014266450A JP2016126500A JP 2016126500 A JP2016126500 A JP 2016126500A JP 2014266450 A JP2014266450 A JP 2014266450A JP 2014266450 A JP2014266450 A JP 2014266450A JP 2016126500 A JP2016126500 A JP 2016126500A
Authority
JP
Japan
Prior art keywords
facial expression
terminal device
wearable terminal
sensor
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2014266450A
Other languages
English (en)
Other versions
JP6391465B2 (ja
Inventor
大作 若松
Daisaku Wakamatsu
大作 若松
啓一郎 帆足
Keiichiro Hoashi
啓一郎 帆足
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
KDDI Corp
Original Assignee
KDDI Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by KDDI Corp filed Critical KDDI Corp
Priority to JP2014266450A priority Critical patent/JP6391465B2/ja
Publication of JP2016126500A publication Critical patent/JP2016126500A/ja
Application granted granted Critical
Publication of JP6391465B2 publication Critical patent/JP6391465B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Eye Examination Apparatus (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

【課題】ユーザの表情をほぼリアルタイムでアバターに反映し、感情豊かで生命感のあるアバターを表示することにより、豊かで生命感のある非言語コミュニケーションを行なう。
【解決手段】人体の頭部の複数個所の電位を検出する皮膚電位センサ、または少なくとも人体の頭部の加速度若しくは角速度を検出する慣性センサの少なくとも一方を有するセンサ部１０１と、表情を推定するために必要な複数の表情要素のうち、センサ部の検出結果に基づいて少なくとも一つの表情要素を特定し、特定した表情要素によって頭部の動きおよび／または顔の表情を推定する表情推定部１０３と、推定された表情を頭部の動きと併せてアバターに付与してディスプレイに表示する表示部１０５と、を備えることを特徴とする。
【選択図】図１

Description

本発明は、人体の頭部に装着されるディスプレイを有し、ユーザの表情を推定し、推定したユーザの表情をアバターに付与してディスプレイに表示するウェアラブル端末装置およびプログラムに関する。
従来から、ヒトとヒトとの間のコミュニケーションには、発声による言語コミュニケーションの他、表情、顔色、身振り、手振り、姿勢といった非言語コミュニケーションがある。非言語コミュニケーションを行なうことで、ヒトとヒトとの間で音声のみのコミュニケーションよりも、より豊かなコミュニケーションを行なうことができる。
この非言語コミュニケーションを実現できる手段として、相手の表情を見ながら通信できるビデオ通話サービスがある。また、その時の利用者の主に感情を表わす画像を使用した「ＬＩＮＥ」などのインスタントメッセージというサービスも存在する。
しかしながら、例えば、自分自身の顔をスマートホンのインカメラで映し続けることは、腕が疲れるなど利便性が高くなく、更に、撮像された映像に自分自身の顔をそのまま映すことや背景に部屋の様子が映り込んでしまうことは、プライバシー面での課題がある。
特許文献１では、顔の表情筋の筋電信号や眼球運動の眼電信号を専用のヘッドセットで測定し、その測定に追従する遠隔ロボットを用いてノンバーバルなコミュニケーションを伝達する技術が開示されている。
また、特許文献２では、ユーザの片眼を含む領域を撮像する撮像部と撮像して得られた撮像画像に含まれるユーザの片眼を含む領域の画像に基づいて、ユーザの表情を判別する技術が開示されている。
また、特許文献３では、ユーザの状態を表すパラメータ情報を生成し、生成したパラメータ情報をもとにユーザの状態を反映した画像を生成することが可能な通信相手の情報処理装置に、ネットワークを通じて送信する技術が開示されている。
また、特許文献４では、人が表出する非言語反応の強さを示す計測値の時間的な変動の特徴に基づいて、感情表現が人の感情の自然な表れである可能性の高さを示す情動度を評価する。また、センサ部から取得した観測データから、前記人物が刺激媒体から刺激を受けた際に生成された非言語情報に含まれる少なくとも一つの非言語反応の強さを示す計測値の変動の大きさに基づいて、人物の刺激媒体に対する関心の高さを示す同調度を評価する技術が開示されている。
また、マイクロソフト社Ｋｉｎｅｃｔ（登録商標）の人体モーションセンシング技術や同ＦａｃｅＴｒａｃｋｅｒによる表情認識も知られている。
また、Ｐａｕｌ Ｅｋｍａｎらが開発したＦＡＣＳ（Facial Action Cording System）という表現の記述法がある。表情をＡＵ（Action Unit）という顔の動きの要素に細分化して、これらのＡＵを組み合わせることにより、ひとつの表情を記述できる技術がある。
特許第４７２２５７３号明細書 特開２０１４−０２１７０７号公報 特開２０１３−００９０７３号公報 特開２０１３−０９９３７３号公報
しかしながら、特許文献１では、眼球運動および笑顔を推定するための電極および音声を検出するマイク、脳波を検出する電極から得られる各種データに忠実に遠隔ロボットやアバターが動作することを想定しているが、センシングした情報に忠実に再現するのみであり、再現された表現がユーザの意図しない表現になり、コミュニケーション上の誤解を生む原因になる可能性がある。
また、特許文献２では、カメラで撮像分析した結果の表情のみを伝えるため、背景の映り込みの課題は払拭されるが、カメラが顔の前に存在し、大げさな装置となっている他、ユーザの視界の妨げにもなっている。そして、ユーザ自身にアバター表示のフィードバックがないため、ユーザの意図しない表情表現になり、コミュニケーション上の誤解を生む原因になる可能性がある。
また、特許文献３では、ビデオ通信での通信トラフィックが膨大になるのを防ぐため、カメラで撮像されたユーザの顔画像をもとに、表情や感情状態等に関するパラメータ情報が生成され分析した情報のみを伝える。その結果、背景の映り込みの課題は払拭される一方、ユーザの意図しない表情表現を変更するためには、タッチパネルによる操作が必要になり、コミュニケーションの自然さがなくなる。また、操作中はカメラへの映り込み等で撮像による表情判定が難しくなる可能性がある。
また、特許文献４では、ヒトが表出する非言語反応を観測取得するために、ぬいぐるみロボットに搭載されたカメラと接触センサによって観測データを取得しているため、背景の映り込みの課題がある。
また、ＬＩＮＥに使われるスタンプは、自身の感情を表せるコミュニケーション手段として利用されているが、作成された表情や動作を表す画像の中から選択するのみで、瞬きなどのユーザ自身のリアルな動きを反映していないため、画像に生命感がなかった。
また、マイクロソフト社のＫｉｎｅｃｔ（登録商標）による方式では、赤外線カメラに顔を映す必要があり、その場所でカメラに顔を向けている時のみしか表情を認識することができなかった。
また、ＦＡＣＳでは、ＡＵという表情を構成する顔の動きの要素を説明しており、表情認識技術やＣＧアニメーション作成技術等の様々な分野で有用であるが、意図したい表現を相手に伝える技術の実現方法については、具体的に触れられていなかった。
本発明は、このような事情に鑑みてなされたものであり、センサを用いて人体の顔の表情や頭部の動きを検出し、センサから得る信号に混入するノイズの影響で誤推定することが低い頭部の動きや、瞬き、噛み締め等の表情要素をユーザが故意に組み合わせて行なうことで、ユーザが表現したい喜怒哀楽等の表情を推定し、頷き、首傾け等の頭部の動きをアバターで表現する。そして、推定した表情や顔色をアバターに付与して表示させることにより、また更には、全身の身振り、手振り、体の姿勢もアバターとして表示させることにより、豊かな感情を表現し生命感のあるアバターを表現することを可能とするウェアラブル端末装置およびプログラムを提供することを目的とする。
（１）上記の目的を達成するために、本発明は、以下のような手段を講じた。すなわち、本発明のウェアラブル端末装置は、人体の顔面に装着されるディスプレイを有し、ユーザの表情を推定し、前記推定したユーザの頭部の動きと顔の表情をアバターに付与して前記ディスプレイに表示するウェアラブル端末装置であって、人体の頭部の複数個所の電位を検出する皮膚電位センサ、または少なくとも人体の頭部の加速度若しくは角速度を検出する慣性センサの少なくとも一方を有するセンサ部と、表情を推定するために必要な複数の表情要素のうち、前記センサ部の検出結果に基づいて少なくとも一つの表情要素を特定し、前記特定した表情要素によってユーザの表情を推定する表情推定部と、前記推定されたユーザの表情である表情推定結果をアバターに付与して前記ディスプレイに表示する表示部と、を備えることを特徴とする。
このように、皮膚電位センサを用いて人体の頭部の複数個所の電位を検出し、または慣性センサを用いて人体の頭部の加速度若しくは角速度を検出し、それらの検出結果に基づいて少なくとも一つの表情要素を特定し、特定した表情要素によって推定されるユーザの表情を推定し、推定したユーザの表情である表情推定結果をアバターに付与してディスプレイに表示するので、皮膚電位を用いることで人の各種表情を推定し、慣性センサを用いることで頭部の動きを推定することができるため、ユーザの表情と頷きや首傾け等の頭部の動きをほぼリアルタイムでアバターに反映することが可能となる。そして、このような非言語コミュニケーションを用いることにより、感情豊かで生命感のあるアバターを表示することが可能となる。
（２）また、本発明のウェアラブル端末装置において、前記表情推定部は、予め定められた複数の表情要素および一つまたは二つ以上の前記表情要素に対応するように予め定められた複数の表情推定結果を保持し、前記センサ部の検出結果に基づいて、少なくとも一つの前記表情要素を特定し、前記特定した表情要素に対応するいずれか一つの表情推定結果を選択することを特徴とする。
このように、予め定められた複数の表情要素および一つまたは二つ以上の表情要素に対応するように予め定められた複数の表情推定結果を保持し、センサ部の検出結果に基づいて、少なくとも一つの表情要素を特定し、特定した表情要素に対応するいずれか一つの表情結果を選択するので、各種センサの検出結果の組み合わせにより、多種多様な表情を表現することができ、表現したい表情を表示することが可能となる。
（３）また、本発明のウェアラブル端末装置において、前記ディスプレイおよび前記センサ部を支持する弾性のある骨格部を備え、前記ディスプレイは、半鏡性を有し、プロジェクタの光線を網膜に投影するために光学的に光路設計された曲面状に形成され、前記皮膚電位センサは、人体の額を含む頭部に対応する複数の位置に設けられ、前記慣性センサは、人体の耳介に対応する位置に設けられ、前記骨格部が少なくとも人体の鼻と耳に載せられることで前記ディスプレイが人体の頭部に装着されることを特徴とする。
このように、ウェアラブル端末装置は、ディスプレイおよびセンサ部を支持する弾性のある骨格部を備え、装着する人体の前頭部の大きさに合わせて曲面の曲率が弾性変化し、ディスプレイは、半鏡性を有し、プロジェクタの光線を網膜に投影する光学的に設計された曲面状に形成され、皮膚電位センサは、人体の額を含む頭部に対応する複数の位置に設けられ、慣性センサは、人体の耳介に対応する位置に設けられ、骨格部が少なくとも人体の鼻と耳に載せられることでディスプレイが人体の頭部に装着されることにより、ユーザが自装置を装着した際に、ウェアラブル端末装置の重量を分散され、装着による疲れがなくなる。そして、人体の頭部および頭部に設けられたセンサにより、電位、加速度・角速度を検出することができる。さらに、ディスプレイは曲面状の半鏡グラスによって、自装置を装着しても、外の風景を見ることができる。
（４）また、本発明のウェアラブル端末装置において、前記センサ部は、音声を検出するマイクロフォンを有し、前記表情推定部は、前記検出された音声に基づいて、人体から発声された母音を推定し、前記推定した母音に対応する人体の口の形と大きさを特定し、前記表示部は、前記特定された人体の口の形と大きさをアバターに付与することを特徴とする。
このように、センサ部で音声を検出し、音声に基づいて人体の口の形と大きさを特定し、アバターの口として表示することにより、音声に合わせて口の動きを表現することができるので、自然で生命感のあるアバターを表現可能となる。
（５）また、本発明のウェアラブル端末装置において、前記表情推定部は、前記センサ部で検出された両耳介位置の皮膚電位変化に基づいて、前記表情要素の一つである「瞬き」に対応する表情推定結果を特定することを特徴とする。
このように、耳介部のセンサから両耳介の位置の皮膚電位を検出し、検出結果から表情要素の一つである「瞬き」に対応する表情推定結果を特定することにより、人体の眼の表情を表示することが可能となり、自然で生命感のあるアバターを表現可能となる。
（６）また、本発明のウェアラブル端末装置において、前記表情推定部は、前記センサ部で検出された額の位置の皮膚電位変化に基づいて、前記表情要素の一つである「眉上げ」に対応する表情推定結果を特定することを特徴とする。
このように、額の位置の皮膚電位変化を検出し、検出結果から表情要素の一つである「眉上げ」に対応する表情推定結果を特定することにより、興味や驚きを示す表情を表示することが可能となる。
（７）また、本発明のウェアラブル端末装置において、前記表情推定部は、前記センサ部で検出された耳介の位置の皮膚および額の位置の皮膚電位変化に基づいて、「左右片目のウィンク」に対応する表情を特定し、前記特定された「左右片目のウィンク」をアバターに付与することを特徴とする。
このように、耳介の脳波の電位および額を含む頭部の電位変化を検出し、検出結果から「右ウィンク」または「左ウィンク」などのように、より豊かな表情を表示することが可能となる。
（８）また、本発明のウェアラブル端末装置において、前記表情推定部は、前記センサ部で検出された両耳介位置の皮膚電位変化に基づいて、前記表情要素の一つである「噛み締め」に対応する表情推定結果を特定することを特徴とする。
このように、両耳介位置の皮膚電位変化を検出し、検出結果から表情要素の一つである「噛み締め」に対応する表情推定結果を特定することにより、「噛み締め」の表情を表示することが可能となる。
（９）また、本発明のウェアラブル端末装置において、前記表情推定部は、前記センサ部で検出された耳介および額の位置の皮膚電位変化および／または周波数成分の変化に基づいて、前記表情要素である「眼球運動」に対応する表情推定結果を特定することを特徴とする。
このように、耳介および額の位置の皮膚電位の変化および／または周波数成分の変化を検出し、検出結果から表情要素の一つである「眼球運動」に対応する表情推定結果を特定することにより、目玉がグルグルしている状態や視線移動している表情を表示することが可能となる。
（１０）また、本発明のウェアラブル端末装置において、前記表情推定部は、前記センサ部で検出された耳介および額を含む頭部の皮膚電位の周波数成分の変化に基づいて複数の表情要素を選択し、前記選択した表情要素に対応する「覚醒度」、「眠さ度」を表わす表情推定結果を特定することを特徴とする。
このように、耳介および額を含む頭部の皮膚電位の周波数成分の変化を検出し、検出結果から複数の表情要素の組み合わせに対応する表情推定結果を特定することにより、利用者が集中している状態か、眠気や疲労などで集中してない状態かを推定し、集中度の度合いや眠さ度の度合いを表情に表示することが可能となる。
（１１）また、本発明のウェアラブル端末装置において、前記センサ部は、人体の頬部に対応する位置に設けられた皮膚電位を検出する皮膚電位計測センサを有し、前記皮膚電位計測センサ部で検出された電位変化に基づいて、表情要素に対応する「笑い」を選択し、前記選択した表情要素に対応する表情推定結果を特定することを特徴とする。
このように、頬部の皮膚電位を検出し、検出結果からユーザの笑顔の度合いを推定し、表情推定結果を特定することにより、ユーザが表情要素を組み合わせて表情推定結果の笑いを選択しなくても、笑いの表情を表示することが可能となる。
（１２）また、本発明のウェアラブル端末装置は、前記アバターに付与された表情を構成する表情要素のデータを記録する表情記録機能と、前記記録されたデータに基づいて、表情を再現する表情再生機能と、を更に備えることを特徴とする。
このように、アバターに付与された表情を構成する表情要素のデータを記録し、記録されたデータに基づいて、表情を再現することにより、インスタントメッセージまたは掲示板などのリアルタイムではないコミュニケーションシステムに用いることが可能となる。
（１３）また、本発明のウェアラブル端末装置において、他のウェアラブル端末装置との間で、ネットワークを介して前記表情推定結果を送受信する第１の通信部を更に備え、前記表示部は、前記他のウェアラブル端末装置から取得した画像を前記ディスプレイに表示することを特徴とする。
このように、同機能を持つ他のウェアラブル端末装置との間で、ネットワークを介して表情推定結果を送受信することにより、通信相手と非言語コミュニケーションを用いて、より豊かな表情をアバターで表現可能になることで楽しみながらコミュニケーションを行なうことが可能となる。
（１４）また、本発明のウェアラブル端末装置は、前記他のウェアラブル端末装置との通話中に表示された複数のアバター表情のうち１つを選択し、選択したアバター表情、通信時刻および通信相手の情報を記録する会話記録機能と、前記記録した情報に対し、前記選択したアバターを表示する通話履歴機能と、を更に備えることを特徴とする。
このように、他のウェアラブル端末装置との通話中に表示された複数のアバターのうち１つを選択し、選択したアバター、通信時刻および通信相手の情報を記録し、記録した情報に対し、選択したアバターを表示することにより、通話時の気持ちを容易に思い出すことが可能となる。
（１５）また、本発明のウェアラブル端末装置において、自装置から離れた場所に設けられたセンサから、ユーザの全身を表わすスケルトン情報を受信する第２の通信部を更に備え、前記表示部は、前記スケルトン情報および前記表情推定結果をアバターに付与して前記ディスプレイに表示することを特徴とする。
このように、自装置から離れた場所に設けられたセンサからユーザの全身を表わすスケルトン情報を受信し、各表情要素から推定された表情推定結果と併せて全身を表示することにより、表情の他、身振りや手振りも表示することが可能となる。
（１６）また、本発明のウェアラブル端末装置において、人体の複数の位置に装着され、その位置の加速度、角速度および地磁気方向を検出するセンサ部、前記センサ部で検出した検出データを用いて、全身を表わすスケルトン情報を生成し、前記検出データまたは前記スケルトン情報を出力するモーションキャプチャ機能部、および前記スケルトン情報を前記ウェアラブル端末装置に送信する第２の通信部を有するウェアラブルモーションキャプチャ装置と、前記ウェアラブルモーションキャプチャ装置から、前記検出データまたは前記スケルトン情報を受信する第２の通信部と、を備え、前記表情推定部は、前記検出データを受信した場合は、前記検出データを用いて、全身を表わすスケルトン情報を生成し、前記表示部は、前記生成したスケルトン情報または前記ウェアラブルモーションキャプチャ装置から受信したスケルトン情報および前記表情推定結果をアバターに付与して前記ディスプレイに表示することを特徴とする。
このように、人体の複数の位置に設けられたウェアラブルセンサ装置を使用し、ウェアラブルセンサ装置の情報を集約分析し、スケルトン情報を出力するウェアラブルモーションキャプチャ装置を使用して、ウェラブル端末装置はウェアラブルモーションキャプチャ装置からスケルトン情報を受信し、各表情要素から推定された表情推定結果と併せて全身を表示することにより、表情の他、カメラセンサを使用することなく、全身の身振りや手振りも表示することが可能となる。
（１７）また、本発明のプログラムは、人体の顔面に装着されるディスプレイを有し、ユーザの表情を推定し、前記推定したユーザの表情をアバターに付与して前記ディスプレイに表示するウェアラブル装置のプログラムであって、センサ部において、人体の顔の複数個所の電位を検出する、または少なくとも人体の頭部の加速度若しくは角速度を検出する処理と、表情推定部において、表情を推定するために必要な複数の表情要素のうち、前記センサ部の検出結果に基づいて少なくとも一つの表情要素を特定し、前記特定した表情要素によってユーザの表情を推定する処理と、表示部において、前記推定されたユーザの表情である表情推定結果をアバターに付与して前記ディスプレイに表示する処理と、を含む一連の処理をコンピュータに実行させることを特徴とする。
このように、皮膚電位センサを用いて人体の頭部の複数個所の皮膚電位を検出し、または慣性センサを用いて人体の頭部の加速度若しくは角速度を検出し、それらの検出結果に基づいて少なくとも一つの表情要素を特定し、特定した表情要素によってユーザの表情を推定し、推定したユーザの表情である表情推定結果をアバターに付与してディスプレイに表示することにより、皮膚電位を用いることで人の各種表情や感情を推定し、慣性センサを用いることで頭部の動きを推定することができるため、ユーザの表情をほぼリアルタイムでアバターに反映することが可能となる。そして、このような非言語コミュニケーションを用いることにより、感情豊かで生命感のあるアバターを表示することが可能となる。
本発明によれば、皮膚電位を用いることで人の各種表情や感情を推定し、慣性センサを用いることで頭部の動きを推定することができるため、ユーザの表情をほぼリアルタイムでアバターに反映することが可能となる。そして、このような非言語コミュニケーションを用いることにより、感情豊かで生命感のあるアバターを表示することが可能となる。
本発明の全体の構成を示すブロック図である。 本発明を装着した場合の斜視図である。 本発明を装着した場合の正面図である。 本発明を装着した場合の側面図である。 本発明の上面図である。 頭部の皮膚電位測定位置を示した図である。 本実施形態においてディスプレイに表示される画像のイメージ図である。 本実施形態の主な動作を示すフローチャートである。 ディスプレイに表示するアバターの一例を示した図である。 モーションキャプチャ装置の概略構成を示すブロック図である。 モーションキャプチャ装置を使用した場合のイメージ図である。 モーションキャプチャ装置において検出したスケルトン情報のイメージ図である。 全身アバターの一例を示した図である。 ウェアラブルモーションキャプチャ装置の概略構成を示すブロック図である。 ウェアラブルモーションキャプチャ装置を使用した場合のイメージ図である。
（第１の実施形態）
本発明者らは、人の表情や動作をセンサや音声から検出した各種データを用いて再現する場合、センサ計測結果に忠実に再現するのみにとどまり、ユーザ自身が無意識で行なってしまう表情や、或いはセンサ信号にノイズが混入するなどによってユーザの意図しない表情や感情が表現されてしまったり、予め作成された表情や動作の画像を用いて表情や感情を表示する場合、画像に生命感がなかったりする不都合に着目し、人体に装着したセンサで取得した情報から表情や感情を特定し、特定された表情や動作をアバターに付与して表示することで、ユーザの表情や動作をほぼリアルタイムでアバター表現することができ、さらに、センサを用いることでユーザ自身の顔や背景が撮像されることがなくなり、プライバシーが確保されることを見出し、本発明をするに至った。
すなわち、本発明は、人体の顔面に装着されるディスプレイを有し、ユーザの表情を推定し、前記推定したユーザの表情をアバターに付与して前記ディスプレイに表示するウェアラブル端末装置であって、人体の頭部の複数個所の電位を検出する皮膚電位センサ、または少なくとも人体の頭部の加速度若しくは角速度を検出する慣性センサの少なくとも一方を有するセンサ部と、表情を推定するために必要な複数の表情要素のうち、前記センサ部の検出結果に基づいて少なくとも一つの表情要素を特定し、前記特定した表情要素によって表情を推定する表情推定部と、前記推定された表情をアバターに付与して前記ディスプレイに表示する表示部と、を備えることを特徴とする。
これにより、本発明者らは、ユーザの表情をほぼリアルタイムでアバターに反映することを可能とした。そして、このような非言語コミュニケーションを用いることにより、感情豊かで生命感のあるアバターを表示することを可能とした。以下、本発明の実施形態について図面を参照して説明する。
図１は、本実施形態に係るウェアラブル端末装置の概略構成を示すブロック図である。センサ部１０１は、皮膚電位センサ、または少なくとも加速度若しくは角速度を検出する慣性センサ（以下、加速度・ジャイロセンサともいう）から取得した観測データを、デジタル信号へ変換する。表情推定部１０３は、センサ部１０１から取得したデジタル信号を解析し、ユーザの表情を推定して、その表情を予め記憶されているアバターデータに適用しアバターのレンダリングを行なう。第１の通信部１０７は、ネットワークを介して他のウェアラブル端末装置と接続されており、自身のアバターを相手のウェアラブル端末にレンダリングするためのデータと双方向の音声データの送受信を行なう。１対１の通信だけではなく、ネットワーク上のサーバを介して、複数のウェアラブル端末装置間において会議通話を行なうことも可能な構成となっている。表示部１０５は、ヘッドマウントディスプレイ（Head Mounted Display:HMD）であり、自分自身のアバターや、通信している他のウェアラブル端末装置から受信した通信相手のアバターを表示することができる。ＨＭＤは、マスクウェル視を利用するレーザー走査型網膜投影式のシースルー型ＨＭＤを用いることがより好ましい。これらの他、ウェアラブル端末装置１は、音声を入出力するマイクロフォンおよびスピーカ、ユーザの各種操作の入力を受け付けるタッチ操作部を備える。
図２Ａ〜Ｄを用いて、本発明のウェアラブル端末装置の形状イメージについて説明する。図２Ａは、本発明であるウェアラブル端末装置１を装着した場合の斜視図である。ユーザの眼前は、半鏡で構成される光学的に設計された曲面グラスで覆われている。そして、メガネ状の耳介付け根の上部にひっかける「つる」装着部５が両側に備わっている。この「つる」（以下、テンプルともいう）５の先端には、耳介の付け根の皮膚電位を計測する電極が備わっており、バッテリー、通信部（第１の通信部・第２の通信部）、センサ部、および表情推定部も搭載されている。また、２つのテンプル間を結ぶ弓状のヘッドバンドが額の位置を通っており、正中線に対し対象となる２カ所の位置に額の皮膚電位を計測する電極と、正中線上の位置に１カ所のリファレンス用電極が備わる。なお、コモンモードノイズを低減させるため（ライトレグ駆動）のための電極を正中線の電極の近傍に配置してもよい。
ここで、皮膚電位センサおよび加速度・ジャイロセンサについて説明する。皮膚電位とは、脳波図（Electro-encephalogram:EEG）、眼電図（Electro-oculogram:EOG）、筋電図（Electro-myogram:EMG）を計測するものであり、いずれも皮膚電位として計測する。例えば、１００Ｈｚの脳波を計測するために、２００Ｈｚ以上のサンプリング周期２２０Ｈｚで電位を測定する。本実施形態では、ＥＥＧおよびＥＥＧに混入するＥＯＧ、ＥＭＧを含めて皮膚電位データとする。
図３は、皮膚電位の測定位置について、人体の頭部を真上からみた図である。上方を鼻、額が存在する頭部の正面方向としている。皮膚電位センサは、少なくとも脳波計測ポイントＴｐ９、Ｔｐ１０、Ｆｐ１、Ｆｐ２の４チャンネルの皮膚電位を計測する。左耳介の位置がＴｐ９、右耳介の位置がＴｐ１０、額の左位置がＦｐ１、そして額の右位置がＦｐ２である。ここでは、基準電位は額の中心位置Ｆｐｚである。
加速度・ジャイロセンサは、３軸加速度＋３軸ジャイロセンサで頭部の傾き、動きを計測する。サンプリング周期は、１０Ｈｚ程度の揺れを検出するために、２０Ｈｚ以上が好ましい。また、細かな微振動は不要であるため、ローパスフィルターを通すことも好ましい。
図２Ｂは、本発明であるウェアラブル端末装置を装着した場合の正面図である。ユーザの眼前を覆う曲面グラスは、それ自体がフレームの役割をしており、視界を妨げず、曲面グラスの下方中央部分に鼻の形に沿うように設計されている。そして、重量バランスを考慮して、鼻当て７は、ある程度の面積があり、そしてテンプル５の先端には、バッテリー、通信部、センサ部、および表情推定部を搭載しており、ウェアラブル端末装置１の重量が分散されるように設計されている。曲面グラスは半鏡であるため、半鏡グラス内より外界が明るい場合は、ユーザは外界の景色が見え、レーザー走査網膜投影型プロジェクタ（以下、プロジェクタともいう）３の光線の光量の一部が光学的に設計された投影面９により反射され、瞳孔を通って網膜に投影される。レーザー走査網膜投影型プロジェクタ３は、ウェアラブル端末装置１のテンプル５前方に配置され、曲面グラスよりも内側に配置されている。レーザーは、光の直進性が高く、レーザー走査網膜投影型プロジェクタ３から曲面半鏡グラス、瞳孔、網膜までの光路が正しく設計されるため、映像は網膜に走査され結像し、ユーザの視覚の残像効果により映像として認識される。図４は、本実施形態においてディスプレイに表示される画像のイメージ図である。
図２Ｃは、本発明であるウェアラブル端末装置を装着した場合の側面図である。曲面グラスは、鼻よりも前に出るように設計されており、レーザー走査網膜投影型プロジェクタの反射面は、水平より下方の凹面部分で反射されるように光路が設計されている。左右それぞれの耳介部に当接する部位には、皮膚電位センサの電極が設けられている。皮膚電位センサの電極１５の電極部分は、カーボンナノチューブ（Carbon nanotube:CNT）を合成ゴムに混入した導電性ゴムで作製されている。皮膚電位センサの電極１５は、取り換え可能とすることが好ましい。
また、皮膚電位センサの電極１５は、耳介部の他、人体の笑筋のある頬部に当接するよう、弾力性のある樹脂や金属の素材で内側に付勢されるアーム状の構造体で構成され、アームは曲面グラスの縁形状に沿って配置されている。アーム先端の電極は、耳介部の皮膚電位センサの電極１５同様に取り換え可能な導電性ゴムで作製されていることが好ましい。
図２Ｄは、本発明であるウェアラブル端末装置の上面図である。額部に沿うように、皮膚電位センサの電極が設けられ、耳介部や頬部の皮膚電位センサの電極１５と同様に、取り換え可能な導電性ゴムで構成されている。ユーザの頭部のサイズに合わせることができるように、テンプル部分には、伸縮機構１１が設けられており、伸縮できる２つの構造体のスライドレール構造となっている。２つの構造体の間には、樹脂の弾性を利用したノコギリ状の組み合わせ（ラッチ）があり、ある所定の力を加えることで伸縮し、ユーザの頭部のサイズに合わせることができる。
なお、レーザー走査網膜投影型プロジェクタ３からの光路反射面以外の曲面グラスは視力矯正のためのレンズとして光学設計してもよい。その結果、曲面グラスをウェアラブル端末装置１と一体形成することなく分割した構成をとってもよいが、その場合は継ぎ目が視界を妨げないように設計されている。
図５は、本実施形態の主な動作を示すフローチャートである。まず、各種センサから表情センシングを行なう（ステップＳ１）。次に、観測したデータに基づき、表情推定を行なう（ステップＳ２）。そして、ネットワークを介して他のウェアラブル端末装置と通信している場合には、ウェアラブル端末装置間で推定した表情のデータの送受信およびマイクロフォンで検出した音声の送受信を行なう（ステップＳ３）。他のウェアラブル端末装置と通信していない場合は、ステップＳ３は行なわない。ユーザ自身のアバター、および通信相手のアバターを受信した場合には、通信相手のアバターを、表示部で表示し、表情表現を行なう（ステップＳ４）。これらを一つのコミュニケーション中に繰り返す。
次に、表情の推定方法について説明する。表１および表２に表情推定の一例を示す。表情推定の基になる複数の表情要素、および各表情要素から推定される表情推定結果を、構成要素として挙げている。表１および表２には、皮膚電位センサから推定する表情の動作として、「眼球運動」、「瞬目」、「眉上げ」、「噛み締め」を、加速度・ジャイロセンサから推定する頭部の動きとして、「ロール角」、「ロール振動」、「ヨー角」、「ヨー振動」、「ピッチ角」、「ピッチ振動」を、表情要素の一例として挙げており、一つまたは複数の表情要素の組み合わせに対応する表情推定結果が設定されている。
例えば、表情要素が“ピッチ角が俯角、ピッチ振動が単発”であった場合、表情推定結果は、“頷き”となる。
次に、表情推定の基になる表情要素の詳細について説明する。表情要素のうち、「ロール角」「ヨー角」「ピッチ角」は頭部の動きを表わす。頭部の動きとは、頭部の揺れや回転などの動きや姿勢のことであり、３軸加速度センサと３軸ジャイロセンサにより推定できる。３軸加速度センサを使用した場合、重力加速度の方向と３軸加速度センサが搭載されたウェアラブル端末との装着姿勢の関係から、一般的な計算方法によりウェアラブル端末にかかる重力加速度の方向を分析し、ウェラブル端末の姿勢計測を実現することができる。これは、重力加速度より大きな加速度が存在することは、通常の生活の中では少ないためである。そして、ジャイロセンサを使用する場合、加速度センサと組み合わせることで、重力方向を把握し、基準角度を取得することができる。
また、頷き等の頭部の揺れは、「ロール振動」「ヨー振動」「ピッチ振動」で表わすことができ、頭部の姿勢と同様に、３軸加速度センサにより推定できる。頷きや首を左右に振る等の頭部を回転させる動作は、３軸加速度センサだけでは判定が難しくなるため、３軸ジャイロセンサを加えて用いることが好ましい。その結果、例えば頷く場合は、重力加速度の方向に変化が表われ、更にジャイロセンサのピッチ角として表われるので、ユーザの頭部の動きがそのままアバターの動きとして表現することが可能となり、小さく頷いたり、或いは大きく頷いたりするような自然なしぐさを、ユーザの手を紛らわすことなく自然にアバターとして表現される。
ロール角、ヨー角、ピッチ角、ロール振動、ヨー振動、ピッチ振動の定義は、以下の通りである。
・ロール角：左右に首を傾け止めた時の角度。傾かず真っすぐな場合を０度とすると、左への傾きはマイナス、右への傾きはプラスで表わす。
・ヨー角：左右に首を振り止めた時の角度。正面を０度とすると、左はマイナス、右はプラスで表わす。
・ピッチ角：前後（上下）に首を傾け止めた時の角度。傾かず真っすぐな場合を０度とすると、前（下）への傾き（俯き）はマイナス、後ろ（上）への傾き（仰け反り）はプラスで表わす。
・ロール振動：ロール角方向の頭の揺れ。
・ヨー振動：ヨー角方向の頭の揺れ。
・ピッチ振動：ピッチ角方向の頭の揺れ。
ジャイロセンサを搭載していない場合は、重力加速度の方向の変化のみから頭部の揺れを判定することになる。例えば、ユーザが歩行していると、体動による揺れを含んだ加速度を検出してしまう。そこで、移動している場合は、その移動状態を判定する処理を行ない、表情判定は行なわないようにしてもよい。頭部の揺れは、検出したい複数の周波数のウェーブレット関数を用いたウェーブレット変換により、検出したい揺れの周波数成分を取得することができ、どれだけの時間連続して存在するか知ることができる。なお、高速フーリエ変換等の手法を用いても実用上問題はないが、時間分解能がウェーブレット変換より低くなる。
次に、表情要素のうち、皮膚電位センサから推定する「眼球運動」、「瞬目」、「眉上げ」、「噛み締め」についての推定方法を説明する。
まず、「瞬き（瞬目）」についての推定方法を説明する。瞬きは、眼輪筋の活動により皮膚電位センサのＴｐ９およびＴｐ１０に大きな同相の谷型の波形が得られる。つまり、皮膚電位センサのＴｐ９およびＴｐ１０の位置のみに谷型の波形が表われ、Ｆｐ１およびＦｐ２の位置の波形には変化がない状態であれば、瞬きであると判定する。このため、ＥＥＧの信号に、ＥＭＧまたはＥＯＧによる大きな信号が混入した場合には、その信号を切り出す。切り出し区間の決め方は様々であるが、皮膚電位センサの定常値を約１分間計測し、定常状態の一定区間の電位の平均値、標準偏差を求めておく。平均値は刻々と変化する場合もあるため、常に最新の平均値に更新する。標準偏差は、皮膚電位センサのノイズ混入が小さくなり安定する程小さくなるため、より小さくなった標準偏差を記憶する。なお、前記平均値の代わりに中央値を使用して突発的なノイズ混入による影響を軽減してもよい。
例えば、皮膚電位センサのＦｐ１、Ｆｐ２、Ｔｐ９、Ｔｐ１０の４チャンネルの各サンプリング周波数が２２０Ｈｚの場合の皮膚電位データを波形として捉え、以下の分析を行なう。全チャンネルの皮膚電位データの標準偏差を８サンプルずつ評価し、いずれか１チャンネルで平均値と変化した電位の差（８サンプル分の平均値）が標準偏差の３倍より大きければ信号混入と判定し、信号混入が終わるまで評価し、信号終了の時間を確定する。信号混入が終わった時点の１１０サンプル前から信号終了区間までの皮膚電位データを波形として捉え、以下の分析を行なう。なお、１１０サンプルより長い信号混入の場合は、連続したノイズ混入と見做して次の処理を行なわない。
分析方法は、前記波形の振幅を０から＋１までの範囲となるよう正規化した後に、全チャネルの波形の類似度を計算する。比較波形として、同様に正規化されている山型、谷型、Ｎ字型、逆Ｎ字型および平型の計５種類と比較する。比較方法は、計測データと比較波形の時間差（ラグ）を１サンプルずつ前後にずらして夫々計算する相互相関係数４３９個分（ラグ＝０〜±（サンプル数−１））の中の最大値（ρMAX）でもよいし、ダイナミック・タイム・ワーピング（dynamic time warping:DTW）によるＤＴＷ距離でもよい。谷型の波形信号と、Ｔｐ９およびＴｐ１０から切り出した信号との相互相関係数の最大値が予め決めておいた相関係数閾値よりも高いか、ＤＴＷ距離の場合は、ＤＴＷ距離が予め決めておいたＤＴＷ距離の閾値よりも小さければ、瞬きと判定することができる。切り出した皮膚電位波形とこれらの比較波形とのそれぞれの比較結果を特徴量ベクトルとして予め教師データにより学習させておいたマルチクラスの分類器に入力し、分類させてもよい。マルチクラスとは、「判定なし」「瞬き」「右目ウィンク」「左目ウィンク」である。マルチクラス分類器としては、ランダムフォレストやサポートベクトルマシン等を使用することができる。
なお、相互相関係数を使用する場合の特徴量ベクトルｘＲは（式１）の通りとなり、（式１）のＲＡＦｐ１は、山型の比較波形とＦｐ１の位置の信号波形との相互相関係数の最大値を、ＲＶＦｐ１は、谷型の比較波形とＦｐ１の位置の信号波形との相互相関係数の最大値を、ＲＮＦｐ１は、Ｎ字型の比較波形とＦｐ１の位置の信号波形との相互相関係数の最大値を、ＲｒＦｐ１は、逆Ｎ字型の比較波形とＦｐ１の位置の信号波形との相互相関係数の最大値を、ＲＦＦｐ１は、平型の比較波形とＦｐ１の位置の信号波形との相互相関係数の最大値を示し、ＲＡＦｐ２〜ＲＦＴｐ１０は、Ｆｐ１の位置同様に各比較波形と各の測定位置での信号波形との相互相関係数の最大値を示す。
また、ＤＴＷ距離を使用する場合の特徴量ベクトルｘＤは（式２）の通りとなり、（式２）のＤＡＦｐ１は、山型の比較波形とＦｐ１の位置の信号波形とのＤＴＷ距離を、ＤＶＦｐ１は、谷型の比較波形とＦｐ１の位置の信号波形とのＤＴＷ距離を、ＤＮＦｐ１は、Ｎ字型の比較波形とＦｐ１の位置の信号波形とのＤＴＷ距離を、ＤｒＦｐ１は、逆Ｎ字型の比較波形とＦｐ１の位置の信号波形とのＤＴＷ距離を、ＤＦＦｐ１は、平型の比較波形とＦｐ１の位置の信号波形との相互相関係数の最大値を示し、ＤＡＦｐ２〜ＤＦＴｐ１０は、Ｆｐ１の位置同様に各比較波形と各の測定位置での信号波形とのＤＴＷ距離を示す。
また、相互相関係数とＤＴＷ距離の両方を使って、（式１）と（式２）を単純に連結し４０要素の特徴ベクトルとしてもよい。

ｘＲ＝
（ＲＡＦｐ１，ＲＶＦｐ１，ＲＮＦｐ１，ＲｒＦｐ１，ＲＦＦｐ１，
ＲＡＦｐ２，ＲＶＦｐ２，ＲＮＦｐ２，ＲｒＦｐ２，ＲＦＦｐ２，
ＲＡＴｐ９，ＲＶＴｐ９，ＲＮＴｐ９，ＲｒＴｐ９，ＲＦＴｐ９，
ＲＡＴｐ１０，ＲＶＴｐ１０，ＲＮＴｐ１０，ＲｒＴｐ１０，ＲＦＴｐ１０）
… （式１）

ｘＤ＝
（ＤＡＦｐ１，ＤＶＦｐ１，ＤＮＦｐ１，ＤｒＦｐ１，ＤＦＦｐ１，
ＤＡＦｐ２，ＤＶＦｐ２，ＤＮＦｐ２，ＤｒＦｐ２，ＤＦＦｐ２，
ＤＡＴｐ９，ＤＶＴｐ９，ＤＮＴｐ９，ＤｒＴｐ９，ＤＦＴｐ９，
ＤＡＴｐ１０，ＤＶＴｐ１０，ＤＮＴｐ１０，ＤｒＴｐ１０，ＤＦＴｐ１０）
… （式２）
次に、「眉上げ」についての推定方法を説明する。眉上げは、Ｆｐ１およびＦｐ２への前頭筋の筋電位の混入から推定できる。Ｆｐ１およびＦｐ２の位置への皮膚電位信号について、前記測定していた皮膚電位の定常状態の平均値と標準偏差に基づき、現時点の前３２サンプル分の皮膚電位変動の標準偏差が定常状態の標準偏差の２倍を超える場合は、眉上げと判定し（表１および表２：眉上げ＝ＯＮ）、判定される毎に眉上げパラメータを最大値に達するまでプラス１し、眉上げと判定しない（眉上げ≠ＯＮ）場合は、無表情状態に達するまでマイナス１する。このように処理を行なうことで、眉上げ判定期間が長いほど、大きく眉上げされる表現が可能になる。
次に、「眼球運動」についての推定方法を説明する。眼球運動は、Ｆｐ１およびＦｐ２への外眼筋の筋電位の混入から推定できる。Ｆｐ１およびＦｐ２への皮膚電位信号について、前記測定していた皮膚電位の定常状態の平均値と標準偏差に基づき、Ｔｐ９およびＴｐ１０において、現時点の前３２サンプル分の皮膚電位と平均値が定常状態の平均値の差の０．１倍以下である場合で且つ、Ｆｐ１およびＦｐ２の皮膚電位変化を線形最小二乗法での変化傾向（Ｆｐ１ａおよびＦｐ２ａ）が予め決めておいた変化傾向の閾値ｋの絶対値に正負符号を付与した値と比較し、Ｆｐ１ａ＜−｜ｋ｜且つＦｐ２ａ＞｜ｋ｜（その逆にＦｐ１ａ＞｜ｋ｜かつＦｐ２ａ＜−｜ｋ｜）と判定される毎に、目玉の向きを表現するための目玉の向きを左（または右）に移動させるパラメータを最大値（最小値）に達するまでプラス（マイナス）１する。同条件にならない場合は、目玉を正面に向ける状態に達するまでプラス（マイナス）１する。このように処理を行なうことで、目玉を左または右に移動させると判定した期間が長い程、大きく左または右に移動した目玉の向きを表現することが可能になる。
また、目玉を継続してグルグル回転や左右に動かすと、Ｆｐ１、Ｆｐ２、Ｔｐ９およびＴｐ１０の脳波としてのδ波などの徐波領域に強い混入が表われる。例えば、δ波（1〜4Hz）とβ波（13〜30Hz）のパワーをそれぞれδＰＯＷとβＰＯＷとし、δＰＯＷとβＰＯＷを比較し、全てのポイントでδＰＯＷ＞（βＰＯＷ＊２）となった場合は、目玉が継続運動（表１および表２：眼球運動＝ＯＮ）していると判断し、表現することが可能となる。
次に、顎の「噛み締め」についての測定方法を説明する。顎の噛み締めは、Ｔｐ９およびＴｐ１０への咀嚼筋の筋電位の混入から推定できる。Ｔｐ９およびＴｐ１０への皮膚電位信号について、前記測定していた皮膚電位の定常状態の平均値と標準偏差に基づき、Ｔｐ９およびＴｐ１０において、現時点の前３２サンプル分の皮膚電位変動の標準偏差が定常状態の標準偏差の２倍を超える場合には、噛み締めと判定し（表１および表２：噛み締め＝ＯＮ）、判定される毎に噛み締めパラメータを最大値に達するまでプラス１する。そして、噛み締めと判定しない場合は、無表情状態に達するまでマイナス１する。このように処理を行なうことで、噛み締め判定期間が長いほど、大きく噛み締めされる表現が可能になる。
また、Ｔｐ９およびＴｐ１０への皮膚電位信号について、咀嚼時の歯ごたえの食感も推定することができる。咀嚼するものが固いほど、Ｔｐ９およびＴｐ１０への皮膚電位信号の振幅が大きくなる。また、お煎餅などのようにカリカリしたものは、皮膚電位信号に高い周波数成分を多く含み、ガムやお餅などのように粘着性のあるものは、皮膚電位信号に低い周波数成分が多く含まれる。咀嚼は、１秒以下で非常に短時間であるため、高低周波数それぞれの代表ウェーブレット関数を当てて、その周波数成分が高いか低いかを導出する。１咀嚼毎の信号波形を時間軸や周波数軸で分析して、信号長（時間）、パワー、波形パターン、各周波数成分等に特徴量化して分類器で分類してもよい。
以上の表情要素の他、「笑い」を表情要素として、更に設けることにより、ユーザの笑いの度合いを計測してアバターの表情に表わすことができる。ここで、「笑い」についての測定方法を説明する。ユーザの笑顔を認識するために人体の頬部に接触する皮膚電位センサの電極１５を追加し、笑筋活動による筋電位を計測することにより、ユーザの笑顔度を推定することもできる。頬部の皮膚電位の定常状態の平均値と標準偏差に基づき、現時点の前３２サンプル分の電位変動の標準偏差が定常状態の標準偏差の２倍を超える場合は、笑いと判定し（笑い＝ＯＮ）、判定される毎に笑いパラメータを最大値に達するまでプラス１する。笑いと判定しない場合は、無表情状態に達するまでマイナス１する。このように処理を行なうことで、笑い判定期間が長い程、大きい笑顔の表情表現が可能になる。
以上説明した各表情要素から推定された表情を「表情推定結果」として推定する。推定された表情推定結果は、表情推定部で記憶されているアバターデータに適用され、アバター表情に再構成されて、表示部に表示する。一方、頭部の動作から得られる表情要素は、ユーザが故意に行なうことができ、表示部に表示された表情推定結果であるユーザ自身のアバターを確認しながら、故意に表情要素を組み合わせるよう頭部の動作を行なうことにより、ユーザ自身のアバターの表情推定結果を変更し、選択することができる。つまり、表示されたアバターの表情が、ユーザが意図しない表情であった場合、ユーザが故意に頭部を動かし表情推定結果を導く表情要素を組み合わせて行なうことで、ユーザの意図した表情を選択することができる。
このように、本発明のウェアラブル端末装置を用いることにより、驚いたら眉を上げたり、怒ったら顎を突き出したり、笑ったら頭を左右に揺らしたりすればよいため、ユーザ自身のアバターを使って感情を表現することができる。さらに、ウェアラブル端末装置に通信機能を設け、その通信機能を用いることにより、他のウェアラブル端末装置とアバターを用いて通信することもできる。また、表情・感情の強弱も動作の激しさから表現可能になる。このような構成をとることで、ラッセルの感情円図やシュロスバーグの表情の円錐図に沿って感情や表情の情報を入力する手段を設計するよりも、より多くの表情を表わすことができ、ユーザにとってはハンズフリーで頭部の動きだけで自然で自由に表情を選択し、表現することができる。
図６は、ディスプレイに表示するアバターの一例を示した図である。図６に示したアバターは、茄子を擬人化したアバターであり、左から怒りの表情のアバター、普通の表情のアバター、泣いている表情のアバターである。
次に、音声を検出し、音声と同期して口を動かすリップシンクについて説明する。マイクロフォンから検出した音声の振幅からアバターの口の形を変化させる。より高度に口の形を表現するには、音声信号の周波数分析を行ない、人の声の第１フォルマントと第２フォルマントの周波数の組み合わせから、日本語のどの母音（あいうえお）が発生されているのかを推定し、各母音に対応する口の形にアバターの口の形を変化させる。
具体的には、マイクロフォンから検出した音声を８ｋＨｚ８ｂｉｔＰＣＭデジタル信号としてサンプリングを行ない、２５６サンプル（３２ｍｓｅｃ）毎に、人の声道の音響特性を表す特徴量としてメル周波数ケプストラム係数（Mel Frequency Campestral Coefficient:MFCC）と音のパワーを算出する。このＭＦＣＣとパワーを用いて、口の形と大きさを決定する。
口の形を縦方向に開く母音の「ａ」（あ）の口の形と、唇を突き出す母音の「ｕ」（う）の口の形と、口を横方向に開く母音の「ｉ」（い）の口の形は同時には表現しないようにするため、縦に開く縦パラメータ（ＰＬａ）、横に開く横パラメータ（ＰＬｉ）、および突き出す突出パラメータ（ＰＬｕ）を設定する。日本語の場合、母音が口の形に影響する場合が大きいため、特に発声された母音を推定して唇の形を決めるとよい。
・「ａ」（あ）と推定される毎にＰＬａを最大値に達するまでプラス１し、ＰＬｕとＰＬｉは０になるまでマイナス１する。
・「ｏ」（お）と推定される毎にＰＬａとＰＬｕを最大値に達するまでプラス１し、ＰＬｉは０になるまでマイナス１する。
・「ｉ」（い）と推定される毎にＰＬｉを最大値に達するまでプラス１し、ＰＬａとＰＬｕは０になるまでマイナス１する。
・「ｕ」（う）と推定される毎にＰＬｕを最大値に達するまでプラス１し、ＰＬａとＰＬｉは０になるまでマイナス１する。
・「ｅ」（え）と推定される毎にＰＬａとＰＬｉを最大値の半分に達するまでプラス１し、ＰＬｕは０になるまでマイナス１する。
・何も推定されない場合は、それぞれ０（唇を閉じた状態）に達するまでマイナス１する。
このように処理を行なうことで、母音の発声期間が長い程、アバターの口の形の表現が聴覚として聞こえる母音に一致するので、生命感のあるアバター表現が可能になる。なお、前記説明した「噛み締め」が認識された場合は、リップシンクよりも噛み締めを優先してアバター表現する。
次に、覚醒・眠さ度についての推定方法を説明する。脳波センサから収集した脳波のθ波（4〜7Hz）とα波（8〜13Hz）とβ波（13〜30Hz）に着目し、脳波測定点の情報を平均して比較した結果、より低い周波数のθ波の出現が多くなった場合は、眠い（覚醒度が低い）状態、逆に、より高い周波数のα波とβ波のどちらかまたは両方の出現が多くなった場合は、覚醒度が高い状態、であると判定することができる。
また、瞬きや頷き等の頭部の動きの他、ユーザ自身の意思ではコントロールしにくい脈波、体温、発汗を検出する脈拍脈波センサ、体温センサ、および発汗センサを、更にセンサ部に加えることで、それらの情報を人の取りうる値の範囲に正規化し、アバターに表現することも可能であり、ユーザの生命感をそのままアバターに与えることができる。例えば、感情を数値化して、赤らめた表情、青ざめた表情などのユーザの興奮度を表現することができる。しかし、ユーザ自身の意思ではコントロールしにくい脈波、体温、発汗を用いると、ユーザの意図しない表情としてアバター表示されるデメリットも生じる。
ウェアラブル端末装置ではなく、Ｂｌｕｅｔｏｏｔｈ（登録商標）やＷｉＦｉ（登録商標）などの近距離無線通信で接続された皮膚電位センサと加速度ジャイロセンサとスマートホンで構成されていてもよく、スマートホンのアプリケーションプログラムで表情推定を行ない、スマートホンのディスプレイに表情推定結果を付与したアバターを表示してもよい。更にスマートホン同士が公衆無線ネットワークを介して接続されていてもよい。また、１対１の構成だけでなく、ネットワーク上のサーバ等を介して複数のスマートホン間において会議通話可能な構成にしてもよい。
また、他のウェアラブル端末装置と第１の通信部の通信リンクを確立せずに、自装置のみでユーザ自身の表情推定を行ない、自装置のディスプレイに表示して、どのような顔の動きをすればどのような表情を選択できるかを、ユーザが練習するための機能を設けてもよい。この場合、図５における表情伝達（ステップＳ３）のうち、他の端末装置への伝達をスキップする。
更に、アバターの一連の表情推定結果ならびに一連の表情推定結果のもととなる表情要素変化および一連の各センサの計測データを、時系列情報として記録し再生する表情記録・再生機能を有し、記録した表情をアバターで再生再現させてもよい。例えば、アバター表情を記録し、再生できることを利用して、インスタントメッセージや掲示板等のリアルタイムではないコミュニケーションシステムにも用いることができる。
また、コミュニケーションの記録として通話相手および通話時刻とともに、通話中の代表的なアバター表情を通話履歴にアイコン表示させてもよい。このような機能を有することで、例えば、前回どんな気持ちで通話したか思い出すことができる。
また、ＬＩＮＥのように同じ表情を表わす画像スタンプが多数のスタンプに紛れて存在する場合に、特定の表情の画像を選択しやすくするため、スタンプ画像に検索用の表情メタデータを追加しておき、ウェアラブル端末装置で推定したアバター表情推定結果を検索キーにして、検索キーがメタデータに部分一致するスタンプ画像をフィルタリングして表示することに用いることもできる。
（第２の実施形態）
ユーザの体や手足の動きを認識するために、ユーザをカメラセンサによる撮像と赤外線深度センサによる画像距離を推定（Kinect（登録商標）のセンサと連携）し、ユーザの全身の動きであるモーションキャプチャデータを取得して、体全体をアバター表現することもできる。
図７は、モーションキャプチャ装置の概略構成を示したブロック図である。モーションキャプチャ装置３１は、ＲＧＢカメラセンサ部３０１を備え、ＲＧＢカメラセンサ部３０１はユーザの全身を撮像する。赤外線深度センサ部３０３は、ユーザと背景の奥行き距離の差を計測し、ユーザの全身を検出する。モーションキャプチャ機能部３０５は、これら各センサ部から検出した結果をスケルトン情報に変換し（図８Ｂ）、第２の通信部３０７からＢｌｕｅｔｏｏｔｈ（登録商標）やＷｉＦｉ（登録商標）などの近距離無線通信を利用して、ウェアラブル端末装置１へ送信する（図８Ａ）。ウェアラブル端末装置１の表情推定部は、受信したスケルトン情報および自装置で推定した表情推定結果に基づき、全身アバターと顔表情アバターを再構成し、自装置の表示部に表示する（図８Ｃ）。
ユーザのボディランゲージを取得するために、カメラセンサと赤外線深度センサ（Kinect（登録商標）のセンサ）の代わりに、加速度・ジャイロ・地磁気センサ（９軸センサ）を用いたウェストベルト、リストバンド、およびアンクレットのウェアラブル装置を装着して、体全体および手足の動きを推定することにより、体全体をアバターで表現することもできる。
図９は、ウェアラブルモーションキャプチャ装置の概略構成を示すブロック図である。ウェアラブルモーションキャプチャ装置（５１、５３）は、ユーザの手首、足首および腰に装着される（図１０）。腰位置に装着されるウェアラブルモーションキャプチャ装置５１は、第３の通信部５１１を備え、第３の通信部５１１は、Ｂｌｕｅｔｏｏｔｈ（登録商標）やＷｉＦｉ（登録商標）等の近距離無線通信を利用して、四肢のセンサ５３および頭部のウェアラブル端末装置１から、加速度・ジャイロのセンシング結果を受信する。図示しないが、ウェアラブル端末装置１にも第３の通信部が設けられており、頭部の加速度・ジャイロセンシング結果を、四肢のセンサ５３と同様に腰位置のウェアラブルモーションキャプチャ装置５１へ送信する。
また、腰位置に装着されるウェアラブルモーションキャプチャ装置５１は、モーションキャプチャ機能部５０７を備え、モーションキャプチャ機能部５０７は、四肢のセンサ等から受信した加速度・ジャイロセンシング結果と、腰位置での加速度・ジャイロセンシング結果を併せて、スケルトン情報へ変換し（図８Ｃ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）やＷｉＦｉ（登録商標）等の近距離無線通信を利用して、第２の通信部５２１からウェアラブル端末装置１へ送信する。四肢のセンサ５３には、加速度・ジャイロセンサ部５０３、制御部５２３および第３の通信部５１３を備えている。
なお、スケルトン情報は、人間の関節が曲げ角度の制約等が予めモデル化されており、四肢の手首、足首および頭部の加速度とジャイロの計測結果を、腰位置の加速度や回転の変化を基準に手首足首頭部の加速度や回転により、スケルトンのモデルの制約に則りスケルトン情報に変換する。
腰のウェアラブルモーションキャプチャ装置５１のモーションキャプチャ機能部は、ウェアラブル端末装置１に設けられていてもよく、四肢のセンサ、腰のセンサ、および自装置の加速度・ジャイロセンシング結果をウェアラブル端末装置１に集約し、モーションキャプチャしてもよい。
更に、加速度・ジャイロセンサに加え、３軸地磁気センサを加えることで、手首、足首、腰および頭部の各センサの装着状態に依存するセンサの向きを、加速度センサから得られる重力方向、および地磁気センサから得られる地磁気の方向から検出することができるため、ユーザの体とスケルトンの初期状態を一致化させる手続き（キャリブレーション）を容易にすることができる。
更に、図示しないが各指に装着するリング状または各指の動きを計測する手袋状のセンサ装置を加え、スケルトンモデルには指関節の制約を加えることで、指の動きを計測しアバター表現できるようにしてもよい。
更に、図示しないがサーバ装置に複数のアバターデータを記憶させておき、ユーザは自身のアバターとして使用したいアバターをサーバ装置からウェアラブル端末装置にダウンロードして利用できるようにしてもよい。
以上説明したように、本実施形態によれば、皮膚電位を用いることで人の各種表情や感情を推定し、慣性センサを用いることで頭部の動きを推定することができるため、ユーザの表情をほぼリアルタイムでアバターに反映することが可能となる。そして、このような非言語コミュニケーションを用いることにより、感情豊かで生命感のあるアバターを表示することが可能となる。
１ ウェアラブル端末装置
３ レーザー走査網膜投影型プロジェクタ
５ テンプル、つる
７ 鼻当て
９ 投影面
１５ 皮膚電位センサの電極
２１ 半鏡グラス
３１ モーションキャプチャ装置
５１ ウェアラブルモーションキャプチャ装置
５３ 四肢のセンサ、ウェアラブルモーションキャプチャ装置
１０１ センサ部
１０３ 表情推定部
１０５ 表示部
１０７ 第１の通信部
３０１ ＲＧＢカメラセンサ部
３０３ 赤外線深度センサ部
３０５、５０７ モーションキャプチャ機能部
１０９、３０７、５２１ 第２の通信部
５０１、５０３ 加速度・ジャイロセンサ部
５１１、５１３ 第３の通信部
５２３ 制御部

Claims (17)

  1. 人体の顔面に装着されるディスプレイを有し、ユーザの表情を推定し、前記推定したユーザの頭部の動きと顔の表情をアバターに付与して前記ディスプレイに表示するウェアラブル端末装置であって、
    人体の頭部の複数個所の電位を検出する皮膚電位センサ、または少なくとも人体の頭部の加速度若しくは角速度を検出する慣性センサの少なくとも一方を有するセンサ部と、
    表情を推定するために必要な複数の表情要素のうち、前記センサ部の検出結果に基づいて少なくとも一つの表情要素を特定し、前記特定した表情要素によってユーザの表情を推定する表情推定部と、
    前記推定されたユーザの表情である表情推定結果をアバターに付与して前記ディスプレイに表示する表示部と、を備えることを特徴とするウェアラブル端末装置。
  2. 前記表情推定部は、予め定められた複数の表情要素および一つまたは二つ以上の前記表情要素に対応するように予め定められた複数の表情推定結果を保持し、前記センサ部の検出結果に基づいて、少なくとも一つの前記表情要素を特定し、前記特定した表情要素に対応するいずれか一つの表情推定結果を選択することを特徴とする請求項１記載のウェアラブル端末装置。
  3. 前記ディスプレイおよび前記センサ部を支持する弾性のある骨格部を備え、
    前記ディスプレイは、半鏡性を有し、プロジェクタの光線を網膜に投影するために光学的に光路設計された曲面状に形成され、
    前記皮膚電位センサは、人体の額を含む頭部に対応する複数の位置に設けられ、
    前記慣性センサは、人体の耳介に対応する位置に設けられ、
    前記骨格部が少なくとも人体の鼻と耳に載せられることで前記ディスプレイが人体の頭部に装着されることを特徴とする請求項１または請求項２に記載のウェアラブル端末装置。
  4. 前記センサ部は、音声を検出するマイクロフォンを有し、
    前記表情推定部は、前記検出された音声に基づいて、人体から発声された母音を推定し、前記推定した母音に対応する人体の口の形と大きさを特定し、
    前記表示部は、前記特定された人体の口の形と大きさをアバターに付与することを特徴とする請求項１から請求項３のいずれかに記載のウェアラブル端末装置。
  5. 前記表情推定部は、前記センサ部で検出された両耳介位置の皮膚電位変化に基づいて、前記表情要素の一つである「瞬き」に対応する表情推定結果を特定することを特徴とする請求項１から請求項４のいずれかに記載のウェアラブル端末装置。
  6. 前記表情推定部は、前記センサ部で検出された額の位置の皮膚電位変化に基づいて、前記表情要素の一つである「眉上げ」に対応する表情推定結果を特定することを特徴とする請求項１から請求項５のいずれかに記載のウェアラブル端末装置。
  7. 前記表情推定部は、前記センサ部で検出された耳介の位置の皮膚および額の位置の皮膚変化に基づいて、「左右片目のウィンク」に対応する表情を特定し、前記特定された「左右片目のウィンク」をアバターに付与することを特徴とする請求項１から請求項６のいずれかに記載のウェアラブル端末装置。
  8. 前記表情推定部は、前記センサ部で検出された両耳介位置の皮膚電位変化に基づいて、前記表情要素の一つである「噛み締め」に対応する表情推定結果を特定することを特徴とする請求項１から請求項７のいずれかに記載のウェアラブル端末装置。
  9. 前記表情推定部は、前記センサ部で検出された耳介および額の位置の皮膚電位変化および／または周波数成分の変化に基づいて、前記表情要素である「眼球運動」に対応する表情推定結果を特定することを特徴とする請求項１から請求項８のいずれかに記載のウェアラブル端末装置。
  10. 前記表情推定部は、前記センサ部で検出された耳介および額を含む頭部の皮膚電位の周波数成分の変化に基づいて複数の表情要素を選択し、前記選択した表情要素に対応する「覚醒度」、「眠さ度」を表わす表情推定結果を特定することを特徴とする請求項１から請求項９のいずれかに記載のウェアラブル端末装置。
  11. 前記センサ部は、人体の頬部に対応する位置に設けられた皮膚電位を検出する皮膚電位計測センサを有し、
    前記皮膚電位計測センサ部で検出された電位変化に基づいて、表情要素に対応する「笑い」を選択し、前記選択した表情要素に対応する表情推定結果を特定することを特徴とする請求項１から請求項１０のいずれかに記載のウェアラブル端末装置。
  12. 前記アバターに付与された表情を構成する表情要素のデータを記録する表情記録機能と、
    前記記録されたデータに基づいて、表情を再現する表情再生機能と、を更に備えることを特徴とする請求項１から請求項１１のいずれかに記載のウェアラブル端末装置。
  13. 他のウェアラブル端末装置との間で、ネットワークを介して前記表情推定結果を送受信する第１の通信部を更に備え、
    前記表示部は、前記他のウェアラブル端末装置から取得した画像を前記ディスプレイに表示することを特徴とする請求項１から請求項１２のいずれかに記載のウェアラブル端末装置。
  14. 前記他のウェアラブル端末装置との通話中に表示された複数のアバター表情のうち１つを選択し、選択したアバター表情、通信時刻および通信相手の情報を記録する会話記録機能と、
    前記記録した情報に対し、前記選択したアバターを表示する通話履歴機能と、を更に備えることを特徴とする請求項１３記載のウェアラブル端末装置。
  15. 自装置から離れた場所に設けられたセンサから、ユーザの全身を表わすスケルトン情報を受信する第２の通信部を更に備え、
    前記表示部は、前記スケルトン情報および前記表情推定結果をアバターに付与して前記ディスプレイに表示することを特徴とする請求項１から請求項１４のいずれかに記載のウェアラブル端末装置。
  16. 人体の複数の位置に装着され、その位置の加速度、角速度および地磁気方向を検出するセンサ部、
    前記センサ部で検出した検出データを用いて、全身を表わすスケルトン情報を生成し、前記検出データまたは前記スケルトン情報を出力するモーションキャプチャ機能部、および
    前記スケルトン情報を前記ウェアラブル端末装置に送信する第２の通信部を有するウェアラブルモーションキャプチャ装置と、
    前記ウェアラブルモーションキャプチャ装置から、前記検出データまたは前記スケルトン情報を受信する第２の通信部と、を備え、
    前記表情推定部は、前記検出データを受信した場合は、前記検出データを用いて、全身を表わすスケルトン情報を生成し、
    前記表示部は、前記生成したスケルトン情報または前記ウェアラブルモーションキャプチャ装置から受信したスケルトン情報および前記表情推定結果をアバターに付与して前記ディスプレイに表示することを特徴とする請求項１５に記載のウェアラブル端末装置。
  17. 人体の顔面に装着されるディスプレイを有し、ユーザの表情を推定し、前記推定したユーザの表情をアバターに付与して前記ディスプレイに表示するウェアラブル装置のプログラムであって、
    センサ部において、人体の頭部の複数個所の皮膚電位を検出する、または少なくとも人体の頭部の加速度若しくは角速度を検出する処理と、
    表情推定部において、表情を推定するために必要な複数の表情要素のうち、前記センサ部の検出結果に基づいて少なくとも一つの表情要素を特定し、前記特定した表情要素によってユーザの表情を推定する処理と、
    表示部において、前記推定されたユーザの表情である表情推定結果をアバターに付与して前記ディスプレイに表示する処理と、を含む一連の処理をコンピュータに実行させることを特徴とするプログラム。
JP2014266450A 2014-12-26 2014-12-26 ウェアラブル端末装置およびプログラム Active JP6391465B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014266450A JP6391465B2 (ja) 2014-12-26 2014-12-26 ウェアラブル端末装置およびプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014266450A JP6391465B2 (ja) 2014-12-26 2014-12-26 ウェアラブル端末装置およびプログラム

Publications (2)

Publication Number Publication Date
JP2016126500A true JP2016126500A (ja) 2016-07-11
JP6391465B2 JP6391465B2 (ja) 2018-09-19

Family

ID=56357962

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014266450A Active JP6391465B2 (ja) 2014-12-26 2014-12-26 ウェアラブル端末装置およびプログラム

Country Status (1)

Country Link
JP (1) JP6391465B2 (ja)

Cited By (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106774881A (zh) * 2016-12-13 2017-05-31 歌尔科技有限公司 一种用于可佩戴设备的指令下发方法、装置及可佩戴设备
JP6212667B1 (ja) * 2016-12-26 2017-10-11 株式会社コロプラ 仮想空間を介して通信するためにコンピュータで実行される方法、当該方法をコンピュータに実行させるプログラム、および、情報処理装置
JP6234622B1 (ja) * 2017-01-16 2017-11-22 株式会社コロプラ 仮想空間を介して通信するための方法、当該方法をコンピュータに実行させるためのプログラム、および当該プログラムを実行するための情報処理装置
WO2018155733A1 (ko) * 2017-02-22 2018-08-30 이현민 휴대 단말 장치와 프로젝션 장치를 포함하는 증강 현실 시스템
WO2018225838A1 (ja) 2017-06-07 2018-12-13 スマート ビート プロフィッツ リミテッド 情報処理システム
WO2018225839A1 (ja) 2017-06-07 2018-12-13 スマート ビート プロフィッツ リミテッド データベースの構築方法
JP6481057B1 (ja) * 2018-02-02 2019-03-13 株式会社エクシヴィ 仮想空間におけるキャラクタの制御方法
JP2019086858A (ja) * 2017-11-02 2019-06-06 株式会社ＵｓｉｄｅＵ 顧客応対システム及び顧客応対方法
JP2019087106A (ja) * 2017-11-08 2019-06-06 Kddi株式会社 学習用データの生成装置、判定装置及びプログラム
KR20190095671A (ko) * 2018-02-07 2019-08-16 장준석 사용자의 상태를 보여주는 가상현실 헤드 마운트 디스플레이 및 이를 이용한 사용자 상태 표시 방법 및 콘텐츠 관리 방법
JP2019537287A (ja) * 2017-09-18 2019-12-19 ルーシッド ラブス インコーポレイテッド ヘッドマウントディスプレイ装置
US10515474B2 (en) 2017-01-19 2019-12-24 Mindmaze Holding Sa System, method and apparatus for detecting facial expression in a virtual reality system
US10521014B2 (en) 2017-01-19 2019-12-31 Mindmaze Holding Sa Systems, methods, apparatuses and devices for detecting facial expression and for tracking movement and location in at least one of a virtual and augmented reality system
JP2020038336A (ja) * 2019-02-19 2020-03-12 オムロン株式会社 情報処理装置、情報処理方法、および情報処理プログラム
JP2020047239A (ja) * 2018-09-19 2020-03-26 未來市股▲ふん▼有限公司 トラッキングシステム及びそのトラッキング方法
JP2020047237A (ja) * 2018-09-19 2020-03-26 未來市股▲ふん▼有限公司 データ融合を用いた顔表情生成の方法
JP2020509439A (ja) * 2017-03-20 2020-03-26 グーグル エルエルシー 仮想現実における保持オブジェクトの安定化
JP2020529646A (ja) * 2017-09-18 2020-10-08 グーグル エルエルシー 仮想現実システム内の仮想コントローラの位置および向きの追跡
WO2020235346A1 (ja) * 2019-05-20 2020-11-26 グリー株式会社 コンピュータプログラム、サーバ装置、端末装置、システム及び方法
CN112057082A (zh) * 2020-09-09 2020-12-11 常熟理工学院 基于脑机接口的机器人辅助脑瘫康复表情训练系统
US10943100B2 (en) 2017-01-19 2021-03-09 Mindmaze Holding Sa Systems, methods, devices and apparatuses for detecting facial expression
US11064906B2 (en) 2018-01-29 2021-07-20 Electronics And Telecommunications Research Institute Method and apparatus for determining respiration state based on plurality of biological indicators calculated using bio-signals
JPWO2020017627A1 (ja) * 2018-07-20 2021-08-26 ソニーグループ株式会社 装着具
CN113557490A (zh) * 2019-03-11 2021-10-26 诺基亚技术有限公司 面部表情检测
US11328533B1 (en) 2018-01-09 2022-05-10 Mindmaze Holding Sa System, method and apparatus for detecting facial expression for motion capture
US20220299792A1 (en) * 2021-03-18 2022-09-22 Meta Platforms Technologies, Llc Lanyard for smart frames and mixed reality devices
US11718327B1 (en) * 2022-08-08 2023-08-08 Toyota Motor Engineering & Manufacturing North America, Inc. Systems and methods for operating a vehicle based on a user's health and emotional state
JP7371820B1 (ja) 2022-04-26 2023-10-31 住友電気工業株式会社 アニメーション操作方法、アニメーション操作プログラム及びアニメーション操作システム
WO2023210164A1 (ja) * 2022-04-26 2023-11-02 住友電気工業株式会社 アニメーション操作方法、アニメーション操作プログラム及びアニメーション操作システム
US11991344B2 (en) 2017-02-07 2024-05-21 Mindmaze Group Sa Systems, methods and apparatuses for stereo vision and tracking

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10271470A (ja) * 1997-03-24 1998-10-09 Olympus Optical Co Ltd 画像音声通信システムおよびテレビ電話送受信方法
JPH11160650A (ja) * 1997-11-27 1999-06-18 Nec Corp 画像表示装置
JP2001236520A (ja) * 2000-02-21 2001-08-31 Nippon Telegr & Teleph Corp <Ntt> 仮想空間における動作入力方法および装置およびその動作入力プログラムを記録した記録媒体および仮想空間システム
JP2002009963A (ja) * 2000-06-21 2002-01-11 Minolta Co Ltd 通信システム用装置および通信システム
JP2003037826A (ja) * 2001-07-23 2003-02-07 Alpine Electronics Inc 代理画像表示装置およびテレビ電話装置
JP2006340986A (ja) * 2005-06-10 2006-12-21 Ntt Docomo Inc 顔面情報検出装置および顔面情報検出式通信装置
WO2010082496A1 (ja) * 2009-01-19 2010-07-22 パナソニック株式会社 脳波インタフェースシステムのための起動装置、方法およびコンピュータプログラム
JP2011143059A (ja) * 2010-01-14 2011-07-28 Univ Of Tsukuba 顔面動作推定装置及び顔面動作推定方法
US20120139830A1 (en) * 2010-12-01 2012-06-07 Samsung Electronics Co., Ltd. Apparatus and method for controlling avatar using expression control point
JP2014021707A (ja) * 2012-07-18 2014-02-03 Nikon Corp 情報入出力装置、及び情報入出力方法
US20140347265A1 (en) * 2013-03-15 2014-11-27 Interaxon Inc. Wearable computing apparatus and method

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10271470A (ja) * 1997-03-24 1998-10-09 Olympus Optical Co Ltd 画像音声通信システムおよびテレビ電話送受信方法
JPH11160650A (ja) * 1997-11-27 1999-06-18 Nec Corp 画像表示装置
JP2001236520A (ja) * 2000-02-21 2001-08-31 Nippon Telegr & Teleph Corp <Ntt> 仮想空間における動作入力方法および装置およびその動作入力プログラムを記録した記録媒体および仮想空間システム
JP2002009963A (ja) * 2000-06-21 2002-01-11 Minolta Co Ltd 通信システム用装置および通信システム
JP2003037826A (ja) * 2001-07-23 2003-02-07 Alpine Electronics Inc 代理画像表示装置およびテレビ電話装置
JP2006340986A (ja) * 2005-06-10 2006-12-21 Ntt Docomo Inc 顔面情報検出装置および顔面情報検出式通信装置
WO2010082496A1 (ja) * 2009-01-19 2010-07-22 パナソニック株式会社 脳波インタフェースシステムのための起動装置、方法およびコンピュータプログラム
JP2011143059A (ja) * 2010-01-14 2011-07-28 Univ Of Tsukuba 顔面動作推定装置及び顔面動作推定方法
US20120139830A1 (en) * 2010-12-01 2012-06-07 Samsung Electronics Co., Ltd. Apparatus and method for controlling avatar using expression control point
JP2014021707A (ja) * 2012-07-18 2014-02-03 Nikon Corp 情報入出力装置、及び情報入出力方法
US20140347265A1 (en) * 2013-03-15 2014-11-27 Interaxon Inc. Wearable computing apparatus and method

Cited By (55)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106774881A (zh) * 2016-12-13 2017-05-31 歌尔科技有限公司 一种用于可佩戴设备的指令下发方法、装置及可佩戴设备
US10297081B2 (en) 2016-12-26 2019-05-21 Colopl, Inc. Method for communication via virtual space and system for executing the method on computer
JP6212667B1 (ja) * 2016-12-26 2017-10-11 株式会社コロプラ 仮想空間を介して通信するためにコンピュータで実行される方法、当該方法をコンピュータに実行させるプログラム、および、情報処理装置
JP2018107785A (ja) * 2016-12-26 2018-07-05 株式会社コロプラ 仮想空間を介して通信するためにコンピュータで実行される方法、当該方法をコンピュータに実行させるプログラム、および、情報処理装置
JP6234622B1 (ja) * 2017-01-16 2017-11-22 株式会社コロプラ 仮想空間を介して通信するための方法、当該方法をコンピュータに実行させるためのプログラム、および当該プログラムを実行するための情報処理装置
JP2018116352A (ja) * 2017-01-16 2018-07-26 株式会社コロプラ 仮想空間を介して通信するための方法、当該方法をコンピュータに実行させるためのプログラム、および当該プログラムを実行するための情報処理装置
US10410395B2 (en) 2017-01-16 2019-09-10 Colopl, Inc. Method for communicating via virtual space and system for executing the method
US10943100B2 (en) 2017-01-19 2021-03-09 Mindmaze Holding Sa Systems, methods, devices and apparatuses for detecting facial expression
US10515474B2 (en) 2017-01-19 2019-12-24 Mindmaze Holding Sa System, method and apparatus for detecting facial expression in a virtual reality system
US11495053B2 (en) 2017-01-19 2022-11-08 Mindmaze Group Sa Systems, methods, devices and apparatuses for detecting facial expression
US11195316B2 (en) 2017-01-19 2021-12-07 Mindmaze Holding Sa System, method and apparatus for detecting facial expression in a virtual reality system
US11989340B2 (en) 2017-01-19 2024-05-21 Mindmaze Group Sa Systems, methods, apparatuses and devices for detecting facial expression and for tracking movement and location in at least one of a virtual and augmented reality system
US11709548B2 (en) 2017-01-19 2023-07-25 Mindmaze Group Sa Systems, methods, devices and apparatuses for detecting facial expression
US10521014B2 (en) 2017-01-19 2019-12-31 Mindmaze Holding Sa Systems, methods, apparatuses and devices for detecting facial expression and for tracking movement and location in at least one of a virtual and augmented reality system
US11991344B2 (en) 2017-02-07 2024-05-21 Mindmaze Group Sa Systems, methods and apparatuses for stereo vision and tracking
WO2018155733A1 (ko) * 2017-02-22 2018-08-30 이현민 휴대 단말 장치와 프로젝션 장치를 포함하는 증강 현실 시스템
JP2020509439A (ja) * 2017-03-20 2020-03-26 グーグル エルエルシー 仮想現実における保持オブジェクトの安定化
WO2018225838A1 (ja) 2017-06-07 2018-12-13 スマート ビート プロフィッツ リミテッド 情報処理システム
KR20200019673A (ko) 2017-06-07 2020-02-24 스마트 비트 프로피츠 리미티드 정보 처리 시스템
KR20200020780A (ko) 2017-06-07 2020-02-26 스마트 비트 프로피츠 리미티드 데이터베이스의 구축 방법
WO2018225839A1 (ja) 2017-06-07 2018-12-13 スマート ビート プロフィッツ リミテッド データベースの構築方法
US11816264B2 (en) 2017-06-07 2023-11-14 Smart Beat Profits Limited Vital data acquisition and three-dimensional display system and method
KR102618437B1 (ko) 2017-06-07 2023-12-28 스마트 비트 프로피츠 리미티드 정보 처리 시스템
JP2022008987A (ja) * 2017-09-18 2022-01-14 グーグル エルエルシー 仮想現実システム内の仮想コントローラの位置および向きの追跡
JP7030854B2 (ja) 2017-09-18 2022-03-07 グーグル エルエルシー 仮想現実システム内の仮想コントローラの位置および向きの追跡
JP2020529646A (ja) * 2017-09-18 2020-10-08 グーグル エルエルシー 仮想現実システム内の仮想コントローラの位置および向きの追跡
JP7382994B2 (ja) 2017-09-18 2023-11-17 グーグル エルエルシー 仮想現実システム内の仮想コントローラの位置および向きの追跡
JP2019537287A (ja) * 2017-09-18 2019-12-19 ルーシッド ラブス インコーポレイテッド ヘッドマウントディスプレイ装置
JP2019086858A (ja) * 2017-11-02 2019-06-06 株式会社ＵｓｉｄｅＵ 顧客応対システム及び顧客応対方法
JP2019087106A (ja) * 2017-11-08 2019-06-06 Kddi株式会社 学習用データの生成装置、判定装置及びプログラム
US11328533B1 (en) 2018-01-09 2022-05-10 Mindmaze Holding Sa System, method and apparatus for detecting facial expression for motion capture
US11064906B2 (en) 2018-01-29 2021-07-20 Electronics And Telecommunications Research Institute Method and apparatus for determining respiration state based on plurality of biological indicators calculated using bio-signals
JP2019133568A (ja) * 2018-02-02 2019-08-08 株式会社エクシヴィ 仮想空間におけるキャラクタの制御方法
JP6481057B1 (ja) * 2018-02-02 2019-03-13 株式会社エクシヴィ 仮想空間におけるキャラクタの制御方法
KR102113634B1 (ko) * 2018-02-07 2020-05-21 장준석 사용자의 상태를 보여주는 가상현실 헤드 마운트 디스플레이 및 이를 이용한 사용자 상태 표시 방법 및 콘텐츠 관리 방법
KR20190095671A (ko) * 2018-02-07 2019-08-16 장준석 사용자의 상태를 보여주는 가상현실 헤드 마운트 디스플레이 및 이를 이용한 사용자 상태 표시 방법 및 콘텐츠 관리 방법
JP7375979B2 (ja) 2018-07-20 2023-11-08 ソニーグループ株式会社 モーションキャプチャシステム
JPWO2020017627A1 (ja) * 2018-07-20 2021-08-26 ソニーグループ株式会社 装着具
US11966101B2 (en) 2018-07-20 2024-04-23 Sony Corporation Mounting tool
JP7355015B2 (ja) 2018-07-20 2023-10-03 ソニーグループ株式会社 装着具およびモーションキャプチャシステム
US10817047B2 (en) 2018-09-19 2020-10-27 XRSpace CO., LTD. Tracking system and tacking method using the same
JP2020047237A (ja) * 2018-09-19 2020-03-26 未來市股▲ふん▼有限公司 データ融合を用いた顔表情生成の方法
JP2020047239A (ja) * 2018-09-19 2020-03-26 未來市股▲ふん▼有限公司 トラッキングシステム及びそのトラッキング方法
JP7263825B2 (ja) 2019-02-19 2023-04-25 オムロン株式会社 情報処理装置、情報処理方法、および情報処理プログラム
JP2020038336A (ja) * 2019-02-19 2020-03-12 オムロン株式会社 情報処理装置、情報処理方法、および情報処理プログラム
CN113557490A (zh) * 2019-03-11 2021-10-26 诺基亚技术有限公司 面部表情检测
JP7162737B2 (ja) 2019-05-20 2022-10-28 グリー株式会社 コンピュータプログラム、サーバ装置、端末装置、システム及び方法
JPWO2020235346A1 (ja) * 2019-05-20 2020-11-26
WO2020235346A1 (ja) * 2019-05-20 2020-11-26 グリー株式会社 コンピュータプログラム、サーバ装置、端末装置、システム及び方法
CN112057082B (zh) * 2020-09-09 2022-11-22 常熟理工学院 基于脑机接口的机器人辅助脑瘫康复表情训练系统
CN112057082A (zh) * 2020-09-09 2020-12-11 常熟理工学院 基于脑机接口的机器人辅助脑瘫康复表情训练系统
US20220299792A1 (en) * 2021-03-18 2022-09-22 Meta Platforms Technologies, Llc Lanyard for smart frames and mixed reality devices
WO2023210164A1 (ja) * 2022-04-26 2023-11-02 住友電気工業株式会社 アニメーション操作方法、アニメーション操作プログラム及びアニメーション操作システム
JP7371820B1 (ja) 2022-04-26 2023-10-31 住友電気工業株式会社 アニメーション操作方法、アニメーション操作プログラム及びアニメーション操作システム
US11718327B1 (en) * 2022-08-08 2023-08-08 Toyota Motor Engineering & Manufacturing North America, Inc. Systems and methods for operating a vehicle based on a user's health and emotional state

Also Published As

Publication number Publication date
JP6391465B2 (ja) 2018-09-19

Similar Documents

Publication Publication Date Title
JP6391465B2 (ja) ウェアラブル端末装置およびプログラム
CA2953539C (en) Voice affect modification
JP7002143B2 (ja) コミュニケーション解析装置およびそれに使用される測定・フィードバック装置、インタラクション装置
CN112034977A (zh) Mr智能眼镜内容交互、信息输入、应用推荐技术的方法
CA3187490A1 (en) Wearable computing apparatus and method
KR102029219B1 (ko) 뇌 신호를 추정하여 사용자 의도를 인식하는 방법, 그리고 이를 구현한 헤드 마운트 디스플레이 기반 뇌-컴퓨터 인터페이스 장치
CN109032384A (zh) 音乐播放控制方法、装置及存储介质和穿戴式设备
JP6544333B2 (ja) コミュニケーション装置
JP7207468B2 (ja) 出力制御装置、出力制御方法およびプログラム
CN109119057A (zh) 音乐创作方法、装置及存储介质和穿戴式设备
EP3979043A1 (en) Information processing apparatus and program
JP7066115B2 (ja) パブリックスピーキング支援装置、及びプログラム
EP3996385A1 (en) Daydream-aware information recovery system
JP6969577B2 (ja) 情報処理装置、情報処理方法、及びプログラム
US20230095350A1 (en) Focus group apparatus and system
EP4161387B1 (en) Sound-based attentive state assessment
WO2017085963A1 (ja) 情報処理装置、及び映像表示装置
WO2024106195A1 (ja) 情報処理装置および情報処理システム
KR102564202B1 (ko) 사용자의 스트레스 완화를 위해 상호작용하는 가상동물을 제공하는 전자장치 및 이의 제어방법
WO2022209499A1 (ja) 情動情報を表示する情報処理システム
US20230123330A1 (en) Interaction training system for autistic patient using image warping, method for training image warping model, and computer readable storage medium including executions causing processor to perform same
US20230388140A1 (en) Information processing apparatus, information processing system, method for providing rhythm, and non-transitory recording medium
JP2023520448A (ja) ガイダンスを提供するためのシステム
JP2023174524A (ja) 情報処理装置、情報処理システム、支援システム、方法、及びプログラム
JP2022153233A (ja) 情報処理システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170904

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171006

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180509

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180515

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180703

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180814

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180821

R150 Certificate of patent or registration of utility model

Ref document number: 6391465

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150