JP2002140697A - コミュニケーション画像生成装置およびコミュニケーション装置およびコミュニケーション画像生成方法およびコミュニケーション情報処理方法およびプログラム - Google Patents

Abstract

(57)【要約】 【課題】簡単な操作で、コミュニケーションに効果的に
反映させることができるようにした技術を提供する。 【解決手段】曲げ、傾き、回転などのセンサを備えた触
覚デバイス５を用いると共に、顔写真を、目、鼻等の基
準軸を以て領域分割し、前記触覚デバイスに対するユー
ザの操作量対応に曲げ、傾き、回転などの処理を、曲
げ、傾き、回転などのセンサ検出量対応に所定の変形を
させるべく、マッピング処理し、顔画像を合成するよう
にする。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、マルチモーダルデ
ータを利用したコミュニケーション画像生成装置および
コミュニケーション装置およびコミュニケーション画像
生成方法およびコミュニケーション情報処理方法に関す
る。

【０００２】

【従来の技術】遠隔地の相手とコミュニケーションをと
るための装置として、従来より主に音声を用いるもの
（例えば、電話）、文字情報を用いるもの（例えば、メ
ールシステム、チャットシステム）、画像を用いるもの
（例えば、ＴＶ（テレビ）電話）などがある。また、実
験段階ではあるが、触覚を伝え合う装置（例えば、HotJ
iveやIntouch）も開発されている。

【０００３】このような従来のコミュニケーションシス
テムにおいて、相手に自己の状況や雰囲気を伝達する手
段として最も普及しているのは、絵文字であろう。

【０００４】この絵文字とは文字符号コードで規定され
ているキャラクタの組み合わせで構成される例えば、^_
^ や (^^; などの如きの表現形式であり、「笑
い」や「冷や汗」といった送り手の情況を文字情報とし
て伝達するものである。

【０００５】これは、ＴＶ電話など対面で互いの顔表情
を見合って話し合う状況下にある場合よりも、より直接
的に感情表現、伝達ができるというメリットがある。し
かしながら、表現力として十分と言えるほどのものでは
ない。

【０００６】触覚を伝えあう装置を用いたコミュニケー
ションシステムにしても、より直接的な触れ合いの実現
には有効であるが、その触覚情報から相手の状況を推測
することは困難である。

【０００７】以上は、装置を介した人対人のコミュニケ
ーションシステムについての話であるが、人対機械のコ
ミュニケーションシステムにおいても、ＧＵＩ（Graphi
calUser Interface：画面上に表示されたアイコンやウ
インドウなどのグラフィカルな要素を、マウスなどのポ
インティング・デバイスを用いてコンピュータを操作す
る方式のインターフェース）やエージェントシステムに
代表されるよう、テキスト、音声、画像などマルチモー
ダルな情報呈示を組み合わせることで、より分かり易い
情報伝達を目指してきた。

【０００８】しかし、呈示されるマルチモーダルデータ
は相互に関連づけが行われているにとどまり、モードを
またがった変換や合成、さらには、ユーザの情況に応じ
たメディアの呈示が行われているとは言えない。

【０００９】あるメディアを別のメディアに変換して呈
示する技術には、音声から動画を自動生成する、Micros
oft社の開発した“MediaPlayer7”などがある。ＣＤ
（コンパクトディスク）やＷｅｂ（ウェブ）上に存在す
る音楽ソースを再生すると、その信号成分を解析するこ
とで、波形的なデータやグラフィックスシンボルの拡大
縮小や変形表示を実時間で行うことができる。

【００１０】しかし、波形データやグラフィックスシン
ボルなどマッピングの対象は変えることができてもマッ
ピングされるべきメタ信号（音信号から変換されて得ら
れるもの）は固定されており、同じＣＤをかければ、生
成される動画データは同じものになり、周囲の状況にと
って変化するものではない。

【００１１】しかし、本来、人間のおかれる身体的状況
や心理的状況は刻一刻と変化するものであり、親密なコ
ミュニケーションを図るためには、それらの状況を適時
考慮した呈示技術というものが必要となってくる。

【００１２】このように従来のコミュニケーション技術
では、使用者や相手の情況を的確に伝えることができて
いないため、一方的な情報の伝達や垂れ流しが行われる
ことになり、一般ユーザにとって情報機器が扱いにくい
ものになったり、不毛な誹謗、中傷メールがやりとりさ
れるといった問題を生んだりする原因の一つとなってい
る。

【００１３】

【発明が解決しようとする課題】上述したように、従来
のコミュニケーション装置では、入出力が一対一に対応
しているだけであり、相手の雰囲気や状況を伝達するレ
ベルに達していない。

【００１４】より親密なコミュニケーションをはかるた
めには、より多くのモーダリティを用いかつそれらを直
接伝達するのではなく、変換して伝送、提示することが
必要である。

【００１５】そこで、この発明の目的とするところは、
簡単な操作で、コミュニケーションに効果的に反映させ
ることができるようにした利用することができるように
したコミュニケーション画像生成装置およびコミュニケ
ーション装置およびコミュニケーション画像生成方法お
よびコミュニケーション情報処理方法を提供することに
ある。

【００１６】

【課題を解決するための手段】上記目的を達成するため
に、本発明のコミュニケーション装置は、以下のような
構成を特徴とする。［１］本発明は、第１には、少なく
とも曲げ、傾き、回転のうちの１つのセンサを備えた触
覚デバイスと、与えられた顔画像を、目、鼻等の基準軸
を以て領域分割する分割手段と、前記触覚デバイスに対
するユーザの操作量に対応した曲げ、傾き、回転などの
変化に応じて前記分割手段によって領域分割された顔画
像をマッピング処理し、合成する合成手段とを具備する
ことを特徴とする。

【００１７】すなわち、曲げ、傾き、回転などのセンサ
を備えた触覚デバイスを用いると共に、顔写真を、目、
鼻等の基準軸を以て領域分割し、前記触覚デバイスに対
するユーザの操作量対応に曲げ、傾き、回転などの処理
を、曲げ、傾き、回転などのセンサ検出量対応に所定の
変形をさせるべく、マッピング処理し、顔画像を合成す
るようにする。

【００１８】愚弟的には本発明は例えば、平常顔の顔写
真データを用意し、目、鼻等の基準軸を以て例えば短冊
型に領域分割し、各分割領域に対して、曲げ、傾き、回
転といった処理を、曲げ、傾き、回転などのセンサを備
えた触覚デバイスに対するユーザの操作量対応に所定の
変形をさせるべく、マッピング処理し、表情を変更させ
た顔画像を合成して提示する。

【００１９】この処理により、様々な、顔の表情や仕草
を平常顔より得ることができるようになり、従って、こ
の技術により、動画を伝送せずとも、一枚の顔画像から
種々の表情を擬似的に再現して提示できるようになり、
触覚デバイスの操作対応に変化させて表情に富んだ顔画
像を表示してコミュニケーションに利用することができ
るようになる。

【００２０】しかも、顔写真を用いる方式の場合、表情
豊かに表示されるのは対話相手の本人の顔画像であるか
ら、よりリアルに感情を伝達できるものとなる。

【００２１】［２］また、本発明は、曲げ、傾き、回転
などのセンサを備えた触覚デバイスを用いると共に、コ
ンテンツを、前記触覚デバイスに対するユーザの操作量
対応に調整処理するようにする。

【００２２】この処理により、ユーザの触覚デバイスの
操作対応にコンテンツの調整、例えば、コンテンツが音
楽データならばその音楽のテンポやピッチ、音程などの
変化に反映させたり、コンテンツがゲームソフトである
ならばそのゲームの必殺技への反映などの応用もでき、
これによって、音楽データを実時間で変更して楽しむこ
とができたり、ゲーム性を豊かにすることができたり、
といった応用のみちが拓ける。

【００２３】［３］本発明のコミュニケーション装置
は、使用者の顔画像、体の各部位の動き、音声、体温、
脳波、心拍、皮膚電位または使用者の周囲環境の温度、
湿度、明るさのうち少なくとも一つ以上を計測する状況
センサと、マルチモーダルデータである画像、音、振動
パターン、温度変化パターンの各データのうち少なくと
も一つを使用者に提示する提示装置と、前記状況センサ
出力およびマルチモーダルデータを送受信するためのデ
ータ送受信装置、とから構成される複数のコミュニケー
ション端末と、マルチモーダルデータを記憶した記憶装
置と、前記状況センサ出力およびマルチモーダルデータ
を前記コミュニケーション端末との間で送受信するデー
タ送受信装置と、前記記憶装置に記憶されたマルチモー
ダルデータを変更するためのマルチモーダルデータ変更
装置とから構成される演算装置とを備えることを特徴と
する。

【００２４】このような構成のコミュニケーション装置
においては、使用者の顔画像、体の各部位の動き、体
温、脳波、心拍、皮膚電位または使用者の周囲環境の温
度、湿度、明るさのうち、少なくとも一つ以上を状況セ
ンサが計測しており、コミュニケーション端末は前記演
算装置にこの計測した結果を送信している。そして、前
記演算装置においては各々の前記コミュニケーション端
末より送信された前記状況センサの出力に基づいて前記
マルチモーダルデータを変換し、変換したマルチモーダ
ルデータを各々の前記コミュニケーション端末に伝送
し、コミュニケーション端末の提示装置に提示させるこ
とにより使用者同士のコミュニケーションを図る。

【００２５】この結果、状況センサに対するユーザの操
作量対応に他のユーザのコミュニケーション端末に所定
の提示をさせることができるようになり、例えば、様々
な、顔の表情や仕草を平常顔より得て表示すると云った
ことが出来て、コミュニケーションに効果的に利用する
ことができるようになる。

【００２６】［４］本発明のコミュニケーション装置
は、使用者の顔画像、体の各部位の動き、音声、体温、
脳波、心拍、皮膚電位または使用者の周囲環境の温度、
湿度、明るさのうち少なくとも一つ以上を計測する状況
センサと、マルチモーダルデータである画像、音、振動
パターン、温度変化パターンのデータのうち少なくとも
一つを使用者に提示する提示装置と、前記マルチモーダ
ルデータを記憶する記憶装置と、前記記憶装置に記憶さ
れたマルチモーダルデータを変更するためのマルチモー
ダルデータ変更装置と、前記状況センサ出力を送受信す
るためのデータ送受信装置とから構成される複数のコミ
ュニケーション端末とから構成される。

【００２７】このような構成の本システムは、コミュニ
ケーション端末の状況センサは、使用者の顔画像、体の
各部位の動き、体温、脳波、心拍、皮膚電位または使用
者の周囲環境の温度、湿度、明るさのうち、少なくとも
一つ以上を計測しており、コミュニケーション端末は他
のコミュニケーション端末にこの計測した結果を送信し
ている。そして、各コミュニケーション端末においては
各々他の前記コミュニケーション端末より送信された前
記状況センサの出力に基づいて前記記憶装置に格納され
たマルチモーダルデータを前記マルチモーダルデータ変
更装置にて変更し、前記提示装置に提示する。

【００２８】この結果、状況センサに対するユーザの操
作量対応に他のユーザのコミュニケーション端末に所定
の提示をさせることができるようになり、例えば、様々
な、顔の表情や仕草を平常顔より得て表示すると云った
ことが出来て、コミュニケーションに効果的に利用する
ことができるようになる。

【００２９】［５］本発明のコミュニケーション装置
は、使用者の顔画像、体の各部位の動き、音声、体温、
脳波、心拍、皮膚電位または使用者の周囲環境の温度、
湿度、明るさのうち少なくとも一つ以上を計測する状況
センサと、マルチモーダルデータである画像、音、振動
パターン、温度変化パターンのデータのうち少なくとも
一つを使用者に提示する提示装置と、前記マルチモーダ
ルデータを記憶する記憶装置と、前記記憶装置に記憶さ
れたマルチモーダルデータを変更するためのマルチモー
ダルデータ変更装置と、前記マルチモーダルデータ変更
装置によって変更されたマルチモーダルデータを送受信
するデータ送受信装置とから構成される。

【００３０】この結果、状況センサの検出したユーザの
状況対応に他のユーザのコミュニケーション端末に所定
の提示をさせることができるようになり、例えば、様々
な、顔の表情や仕草を平常顔より得て表示すると云った
ことが出来て、コミュニケーションに効果的に利用する
ことができるようになる。

【００３１】［６］本発明のコミュニケーション装置
は、複数のコミュニケーション端末（以下、端末とよ
ぶ）で構成され、各端末は、使用者の顔画像、体の各部
位の動き、体温、脳波、心拍、皮膚電位または使用者の
周囲環境の温度、湿度、明るさのうち少なくとも一つ以
上を計測する状況センサと、画像、音、振動パタン、温
度変化パタンのデータのうち少なくとも一つ以上（以
下、マルチモーダルデータと呼ぶ）を記憶するための記
憶装置と、前記状況センサ出力のうち少なくとも一つ以
上の出力または同出力の組み合わせまたは、同出力と前
記記憶装置に記憶されたマルチモーダルデータとの組み
合わせ方に応じて、少なくとも一つ以上の前記記憶装置
内のマルチモーダルデータを実時間で変更させるマルチ
モーダルデータ変更装置と、前記マルチモーダルデータ
変更装置において変更されたマルチモーダルデータを送
受信するためのデータ送受信装置と、前記データ送受信
装置で受信したマルチモーダルデータを使用者に提示す
るデータ提示装置と、で構成されることを特徴とする。

【００３２】この結果、状況センサの検出したユーザの
状況対応に他のユーザのコミュニケーション端末に所定
の提示をさせることができるようになり、コミュニケー
ションに効果的に利用することができるようになる。

【００３３】

【発明の実施の形態】以下、本発明の実施例について、
図面を参照しながら説明する。

【００３４】（本発明の原理的構成）はじめに、本発明
の原理的構成を説明する。本発明は、コミュニケーショ
ンのための自己の状況を相手方に伝達するための一手法
として、自己の生体情報を自己の静止画としての顔写真
に反映させるようにするもので、生体情報対応に顔画像
を折り畳み変形加工させて、表情をつくるようにするも
のである。

【００３５】本発明においては、平常顔の画像を用意
し、これを縦にｎ分割し、これら分割した各区画毎に幅
を縮める方向に変形したり、分割線を上方向にシフトし
たり、下方向にシフトしたりすることで、笑い顔や悲し
み顔といった様々な顔の表情を作成する。

【００３６】具体的には、本発明においては、例えば、
図１に示すように、顔を縦４分割して顔画像を変形の基
本となる４領域１，２，３，４に分ける。顔画像を分割
する上で基準となる画像特徴としては顔画像上の“右
目”、“左目”、“鼻”、および“口”の各中心位置、
および“顔”の輪郭情報などである。

【００３７】顔を縦に短冊型分割するのは分割した各領
域について、一辺を平行移動操作して変形することで得
られる顔の表情が、自然体に近いものとなり、違和感が
少ないためである。

【００３８】顔画像を変形させる際に基本となる画像領
域を右目、左目、そして口の中心を通る縦軸を基準に、
これらの縦軸と画像境界との交点、および画像端点、あ
るいは顔輪郭を包摂する四辺形領域との交点、および四
辺形領域端点の４頂点で構成される４つの短冊状画像領
域に分割する（図１参照）。

【００３９】分割領域を構成する４頂点の位置情報と、
領域内画像情報を保持しておき、分割領域の四辺形が長
方形でない場合、４頂点の位相情報に基づき、画像情報
のリサンプリングを行い、長方形領域に正規化して保持
しておく。

【００４０】本発明では、分割領域の変形を、触覚デバ
イスのセンサデータを元に、前記顔画像の分割設定した
４領域１，２，３，４について、その各構成領域におけ
る頂点情報を変化させ、変形具合を決定する。ここで
は、変形具合の決定に、例えば、図２に示すように、３
関節を有する波板状（屏風状、蛇腹状）の弾力性ある触
覚デバイス５上に曲げセンサ５ａ、ジャイロセンサ５
ｂ、加速度センサ５ｃなど、各種センサを設置し、これ
らセンサの検出情報を用いることにする。この触覚デバ
イス５は人の手のひらに収まる程度の大きさとし、人の
手の動きを検出させる。

【００４１】図２に示す触覚デバイス５はあくまでも一
例であるが、ここでは各関節に曲げセンサ５ａを設置し
てあるほか、本体に加速度を計測する加速度センサ５
ｃ、および傾きを計測するジャイロセンサ５ｂを設置し
て“曲げ情報”、“加速度情報”、“傾き情報”の３種
の情報を取得するようにしてある。

【００４２】そして、この触覚デバイス５を関節部分で
山谷山と折り曲げた際の各関節に設置された曲げセンサ
出力、つまり関節の曲がり具合を、分割領域の幅に対応
させることにする。対応の仕方としては、第１関節の曲
がり具合から、第１画像領域１の幅を決定し、第２関節
の曲がり具合から、第２、および第３の分割画像領域
２，３の幅を決定し、第３関節の曲がり具合から、第４
の分割画像領域４の幅を決定することにする。つまり、
触覚デバイス５を強く押し曲げると、合成用分割領域
（領域１，２，３，４）の幅が狭くなり、触覚デバイス
５を引き伸ばすと、合成用分割領域が広くなるようにす
る。また、触覚デバイス５の傾き具合を測る加速度セン
サ５ｃ出力を、前記顔画像の右目、左目を通る２本の分
割線上に存在する分割画像領域頂点の上下方向画像配置
を決定するものとする。つまり、触覚デバイス５を奥に
傾けると、２本の分割線を画面上、上方向にシフトさせ
（つまり、２本の分割線上に存在する全ての分割画像頂
点を画面上、上方向にシフトさせ）、手前に傾けた場
合、下方向にシフトさせるようにマッピング処理する。
同様に、取得される触覚デバイス５の回転姿勢を測るジ
ャイロセンサ５ｂ出力を、前記顔画像の右目、左目を通
る2本の分割線上に存在する分割画像領域頂点の左右方
向画像配置を決定するものとする。つまり、触覚デバイ
ス５を右に回転させると、２本の分割線を、右方向にシ
フトさせ、逆に触覚デバイスを左に回転させると、分割
線が左方向にシフトするよう設定する。

【００４３】変形後の顔画像合成は、前記分割した領域
１，２，３，４を合成用の分割領域として、対応する分
割領域内に存在する画像情報をセンサ情報対応にマッピ
ングし、顔画像を再合成する。

【００４４】前記３関節型の触覚デバイス５を用いた場
合、平常の表情の顔画像（図３（ａ））が、触覚デバイ
ス５を押し曲げることで、合成される顔画像が細長く表
示され、逆に、引き伸ばすことで顔が横伸びした形で表
示されることになる。触覚デバイスを奥に傾けると、２
本の分割線が上方向にシフトし、その結果、図３（ｂ）
の画像の如く、笑った印象を与える顔画像を合成するこ
とができる。逆に手前に傾けると、下方向にシフトし、
その結果、図３（ｃ）の如く、悲しんだ印象を与える顔
画像を合成させることができる。

【００４５】両目を通る２本の分割線を上下方向にシフ
トさせることで、このように異なる印象を与える顔変形
画像を合成できる。

【００４６】さらに、触覚デバイス５を右方向に回転さ
せると、分割線が右方向にシフトする結果、分割画像領
域の相対横幅比率が変化し、右に向いた印象を与える顔
画像を合成することができる。逆に左に回転させると、
左に向いた印象を与える顔画像を合成することができ
る。

【００４７】上記の各種状況センサ出力と、マルチモー
ダルデータ変更のための分割領域変形場所との関連づけ
は、これに固定したものではなく、任意の組み合わせが
可能である。この場合、触覚デバイスの変形具合と、生
成される顔画像の変形具合の関係は上記と異なったもの
になる。

【００４８】このように、本発明の原理は、平常顔の顔
写真を、目、鼻等の基準軸を以て短冊型に領域分割し、
曲げ、傾き、回転といった処理を、曲げ、傾き、回転な
どのセンサを備えた触覚デバイスに対するユーザの操作
量対応に所定の変形をさせるべく、マッピング処理し、
顔画像を合成するようにしたことにより、様々な、顔の
表情や仕草を平常顔より得ることができるようにした。
これにより、動画を伝送せずとも、一枚の顔画像から種
々の表情を擬似的に再現でき、顔文字で表現出来ない変
化に富んだ表情を表示してコミュニケーションに利用す
ることができる。しかも、対話相手の本人の顔画像であ
るから、よりリアルに感情を伝達できるものとなる。

【００４９】つぎに、このような本発明の応用の例を説
明する。

【００５０】（第１の実施例）図４は、上述の原理を適
用した本発明のコミュニケーションシステムの一実施例
に関わる構成図であり、触覚デバイスを備えたユーザ用
のコミュニケーション端末（以下、端末とよぶ）１００
ａ〜１００ｎと、これとは別に設置される演算装置１５
０とからなる。

【００５１】演算装置１５０は、本発明の原理を適用し
た画像合成処理機能を有するものであり、データ送受信
装置１０６および記憶装置１０４およびマルチモーダル
データ変更装置１０５からなる。

【００５２】本発明のコミュニケーションシステムにお
いては、複数ユーザがそれぞれ端末を持ち、他のユーザ
と演算装置１５０を介してコミュニケーションする。図
４では単純に、ある端末１００ａと別のある端末１００
ｎとの間でコミュニケーションするものと仮定するが、
交信端末がさらに増えても原理的には変わらない。

【００５３】端末１００ａ〜１００ｎには、顔画像、体
の各部位の動き、体温、脳波、心拍、皮膚電位または使
用者の周囲環境の温度、湿度、明るさのうち少なくとも
一つ以上を計測する状況センサ１０１と、画像、音、振
動パターン、温度変化パターンのデータのうち少なくと
も一つ以上（以下、マルチモーダルデータと呼ぶ）を提
示するデータ提示装置１０２と、状況センサの出力を送
信し、かつマルチモーダルデータを受信するデータ送受
信装置１０３とから構成される。

【００５４】状況センサ１０１としては、例えば、ＣＣ
ＤやＣＭＯＳなどの撮像デバイスを用いたカメラ（撮像
手段）のように、顔画像を取得するものがある。更には
状況センサ１０１には、端末１００ａ〜１００ｎに対す
るユーザの触り具合や握り具合を計測することが可能な
前述の触覚デバイス５がある。ここでは、状況センサ１
０１として、端末１００ａ〜１００ｎに、それぞれ撮像
手段と、触覚デバイス５が設けられている構成であるも
のとする。

【００５５】この触覚デバイス５には、上述したよう
に、曲げセンサ５ａ、加速度センサ５ｂ、ジャイロセン
サ５ｃが搭載されており、ユーザが触覚デバイス５を手
に持ち、変形させたり、動かしたり、姿勢を変えたりし
た場合に、その状況を計測できるものである。

【００５６】その他、本実施例では用いないが、状況セ
ンサ１０１には、体の各部の動きを取得する手段なども
考えられ、この体の各部位の動きを取得する手段として
は、ユーザの筋肉に発生する電位を取得する方法や各部
の動きを加速度センサで取得する方法、関節やひじの曲
げなどを曲げセンサで取得する方法、体の各部につけら
れた小型ＣＣＤやＣＭＯＳカメラから求めたオプティカ
ルフローを求め、それぞれの相対位置変化から動作を取
得するなどの様々な手段が考えられ、必要に応じて適宜
採用して利用すると良い。

【００５７】一方、端末１００ａ〜１００ｎにそれぞれ
設けられる前記データ提示装置１０２としては、画像を
提示するディスプレイ、音を提示するスピーカ、振動パ
ターンを提示する振動子アレイ、温度変化パターンを提
示するペルチエ素子アレイなどがある。

【００５８】また、端末１００ａ〜１００ｎにそれぞれ
設けられるデータ送受信装置１０３はデータの送信およ
び受信を行う装置である。このデータ送受信装置１０３
でのデータ伝送は無線であっても有線であってもよい。
無線通信ならば無線ＬＡＮ（Local Area Network）や近
距離無線通信方式であるBluetooth（TM）、また、有線
通信ならモデムなどのインタフェースを利用できる。

【００５９】各端末１００ａ〜１００ｎは、無線、有線
により、演算装置１５０と接続されている。この演算装
置１５０は、記憶装置１０４と、マルチモーダルデータ
変更装置１０５と、データ送受信装置１０６とから構成
されるが、これらのうち、記憶装置１０４はマルチモー
ダルデータを記憶するためのものであって、ハードディ
スクのようなリードライト可能で大容量の記憶手段が用
いられる。

【００６０】また、演算装置１５０の持つマルチモーダ
ルデータ変更装置１０５は、各端末１００ａ〜１００ｎ
から送信されたセンサ情報のうち、少なくとも一つ以上
の出力または同出力の組み合わせ方または同出力と前記
記憶装置１０４に記憶されたマルチモーダルデータとの
組み合わせ方に応じて、少なくとも一つ以上の前記記憶
装置１０４内のマルチモーダルデータを実時間で変更さ
せる処理を行うものであり、データ送受信装置１０６
は、各端末からのセンサ情報を受信し、変更されたマル
チモーダルデータを伝送するためのものである。

【００６１】次に、このような構成のハードウェアを用
いたコミュニケーションサービスの一実施例として、使
用者の握り具合に応じて、顔画像の変形を伝達し合うよ
うにしたアプリケーション例を説明する。

【００６２】図５は、第１の実施例における処理の流れ
を表したフローチャートである。図５の処理の流れをも
とに説明を行う。

【００６３】まず、ある端末１００ｍのユーザは自己の
持つ端末１００ｍの前記状況センサ１０１を用い、自己
の状況情報の取得を行う（図５のステップＳ-２０
１）。前記状況センサ１０１には、端末１００ｍに対す
るユーザの触り具合や握り具合を計測することが可能な
触覚デバイス５があるので、この触覚デバイス５を利用
することにする。

【００６４】前述したように、この触覚デバイス５に
は、曲げセンサ５ａ、加速度センサ５ｂ、ジャイロセン
サ５ｃが搭載されており、ユーザが触覚デバイス５を手
に持ち、変形させたり、動かしたり、姿勢を変えたりし
た場合に、その状況を計測でき、状況情報として取得で
きる。

【００６５】取得されたユーザの状況情報は、端末１０
０ｍの前記データ送受信装置１０３にて演算装置１５０
へと送信される（図５のステップＳ−２０２）。そし
て、ユーザの状況情報は演算装置１５０におけるデータ
送受信装置１０３を介して取り込まれてマルチモーダル
変更装置１０５へと送られる。

【００６６】一方、演算装置１５０においては、その記
憶装置１０４にユーザの顔画像あるいはユーザ以外の顔
画像が記憶されているものとする。この顔画像は、演算
装置１５０の持つデータ受信装置１０６において、あら
かじめユーザ以外から伝送されてきたものであってもよ
い。

【００６７】次に、演算装置１５０においては自己の持
つマルチモーダルデータ変更装置１０５により、ユーザ
の状況情報対応にマルチモーダルデータに対する所定の
変更処理を行う（図５のステップＳ−２０４）。

【００６８】ここでは、マルチモーダルデータとして顔
画像を扱うものとしてこれに対する変更処理を説明を行
う。

【００６９】＜マルチモーダルデータ変更装置の構成と
処理例＞図６はマルチモーダルデータ変更装置１０５の
構成例を示したものである。本マルチモーダルデータ変
更装置１０５は、受信されたユーザの状況情報対応に顔
画像の変更処理を行うものであり、与えられた画像から
その特徴を抽出する画像特徴抽出手段９０１、前記画像
特徴抽出手段９０１で抽出した画像特徴に基づき、分割
画像領域を設定するための分割領域設定手段９０２、こ
の分割領域設定手段９０２で設定した分割領域に含まれ
る画像情報を保持しておくための分割画像保持手段９０
３、分割領域を変形するための分割領域変形手段９０
４、前記分割領域変形手段９０４で変形した分割領域
に、前記分割画像保持手段９０３に保存しておいた該当
する分割領域の画像を再合成するための画像再合成手段
９０５とから構成される。

【００７０】このような構成のマルチモーダルデータ変
更装置１０５の作用を説明する。

【００７１】図７は、本マルチモーダル変更装置１０５
における、処理の流れを表したものであり、これをもと
にユーザの状況情報対応に顔画像の変更処理を行う例を
説明する。

【００７２】ここでは、平常顔をもとに、様々な表情変
化をさせた顔画像の生成について説明する。顔画像を変
更させるために、顔画像を変形の基本となる複数の領域
に分割することを考える。この場合、まずはじめに、顔
画像を分割する上で基準となる画像特徴を抽出する（図
７のステップＳ−１００１）。顔画像上の特徴として、
右目、左目、鼻、および口の中心位置、および顔の輪郭
情報などを抽出する。

【００７３】次にマルチモーダルデータ変更装置１０５
は画像領域の設定を行う（図７のステップＳ-１００
２）。顔画像を変形させる際に基本となる画像領域の設
定を行うのが、このステップＳ-１００２での顔画像分
割領域設定処理である。

【００７４】顔画像を右目、左目、そして口の中心を通
る縦軸を基準に、ここで設定した縦軸と画像境界との交
点、および画像端点、あるいは前記画像特徴の抽出（図
７のステップＳ−１００１）で抽出した顔輪郭を包摂す
る四辺形領域との交点、および四辺形領域端点の４頂点
で構成される４つの短冊状画像領域に分割するものとす
る（図１参照）。

【００７５】次に、マルチモーダルデータ変更装置１０
５は分割顔画像情報の取得を行う（図７のステップＳ−
１００３）。この処理は、分割した各領域に含まれる画
像情報を保持しておくための処理である。例えば、分割
領域を構成する４頂点の位置情報と、領域内画像情報を
記憶装置１０４に保持しておく。分割領域の四辺形が長
方形でない場合、４頂点の位相情報に基づき、画像情報
のリサンプリングを行い、長方形領域に正規化して保持
しておく。

【００７６】顔特徴の抽出（図７のステップＳ−１００
１）から分割顔画像情報の取得（図７のステップＳ−１
００３）までの処理は、変更する対象の顔画像が変更さ
れない限り、あらかじめ一度行っておけばよい。

【００７７】次に、マルチモーダルデータ変更装置１０
５は分割領域の変形処理を行う（図７のステップＳ-１
００４）。この分割領域の変形処理では、演算装置１５
０で受信した相手端末１００ａあるいは１００ｎからの
センサデータ（ユーザの状況情報）を元に、前記顔画像
分割領域の設定（図７のステップＳ-１００２）で領域
設定した各分割領域を構成する頂点情報を変化させ、変
形具合を決定する処理を行う。

【００７８】ここでは、変形具合の決定に、例えば、図
２で説明した３関節を有する触覚デバイス５を用いると
し、触覚デバイス５上に設置した各種センサ情報を用い
ることにする。上述したように、図２の例の場合、触覚
デバイス５にはその各関節に、曲げセンサ５ａが設置し
てあるほか、本体に加速度を計測する加速度センサ５
ｂ、および傾きを計測するジャイロセンサ５ｃが設置し
てある。

【００７９】この触覚デバイス５を関節部分で山谷山と
折り曲げた際の各関節に設置された曲げセンサ５ａ出
力、つまり関節の曲がり具合を、分割領域の幅に反映さ
せる。その反映のさせ方としては、第１関節の曲がり具
合から、第１画像領域１の幅を決定させ、第２関節の曲
がり具合から、第２、および第３の分割画像領域２，３
の幅を決定させ、第３関節の曲がり具合から、第４の分
割画像領域４の幅を決定させるようにする。これによ
り、ユーザが端末１００を手で握って、当該端末１００
の触覚デバイス５を強く押し曲げると、合成用分割領域
の幅が狭くなり、触覚デバイス５の握りを緩めて引き伸
ばすと、合成用分割領域が広くなるように処理させるこ
とができる。

【００８０】また、触覚デバイス５の傾き具合を測る加
速度センサ５ｂ出力を、前記顔画像分割領域の設定（図
７のステップＳ-１００２）で設定した右目、左目を通
る２本の分割線上に存在する分割画像領域頂点の上下方
向画像配置の決定に反映させようにする。つまり、触覚
デバイス５を奥に傾けると、２本の分割線を画面上、上
方向にシフトさせ（つまり、２本の分割線上に存在する
全ての分割画像頂点を画面上、上方向にシフトさせ）、
手前に傾けた場合、下方向にシフトさせるようにマッピ
ング処理させる。

【００８１】同様に、取得される触覚デバイス５の回転
姿勢を測るジャイロセンサ５ｃ出力については、前記顔
画像分割領域の設定（図７のステップＳ-１００２）で
設定した右目、左目を通る２本の分割線上に存在する分
割画像領域頂点の左右方向画像配置の決定に反映させる
ようにするものとする。つまり、触覚デバイス５を右に
回転させると、２本の分割線を、右方向にシフトさせる
ように反映させ、逆に触覚デバイスを左に回転させる
と、分割線が左方向にシフトするように反映させる。

【００８２】この結果、各種センサ５ａ，〜５ｃ出力と
画像合成領域（領域１，２，３，４）の設定に関連した
マッピングは図２のＭの如きに反映されることになる。

【００８３】次に、マルチモーダルデータ変更装置１０
５は変形後の顔画像合成処理に移る。この処理では、前
記分割領域の変形（図７のステップＳ-１００４）で設
定した合成用の分割領域に、前記顔画像分割領域の設定
（図７のステップＳ-１００３）で設定した対応する分
割領域内に存在する画像情報をマッピングする。そし
て、これにより、再合成顔画像を得る（図７のステップ
Ｓ-１００５）。その結果、変形後の顔画像が得られ
る。

【００８４】前記３関節型の触覚デバイス５を使用した
場合、触覚デバイス５を押し曲げることで、合成される
顔画像が細長く表示され、逆に、引き伸ばすことで顔が
横伸びした形で表示されることになる。また、触覚デバ
イス５を奥に傾けると、目の位置を通る２本の分割線が
それぞれ触覚デバイス５の傾き対応に上方向にシフトさ
せたかたちでマッピングする結果、当該上方向シフトに
より、笑った印象を与える顔画像を合成することができ
る。逆に手前に傾けると、目の位置を通る２本の分割線
が触覚デバイス５の傾き対応に下方向にシフトさせたか
たちでマッピングする結果、当該下方向シフトにより、
悲しんだ印象を与える顔画像を合成させることができ
る。

【００８５】更に、触覚デバイス５を右方向に回転させ
ると、その回転量対応に分割線を右方向にシフトさせる
ように画像をマッピング処理する。その結果、分割画像
領域１，２，３，４の相対横幅比率が変化し、右に向い
た印象を与える顔画像が合成されることになる。逆に左
に回転させると、その回転量対応に分割線を左方向にシ
フトさせるように画像をマッピング処理し、その結果と
して左に向いた印象を与える顔画像が合成されることに
なる。

【００８６】尚、上記の各種状況センサ出力と、マルチ
モーダルデータ変更のための分割領域変形場所との関連
づけは、これに固定したものではなく、任意の組み合わ
せが可能である。この場合、触覚デバイス５の変形具合
と、生成される顔画像の変形具合の関係は上記と異なっ
たものになる。

【００８７】以上により、マルチモーダルデータ変更装
置１０５において前記記憶装置１０４から取り出した顔
画像データが端末側からの各種状況センサ出対応に変更
され、新たな顔画像データが合成されたことになる。

【００８８】マルチモーダルデータ変更装置１０５によ
るこのような顔画像データ合成の処理が終わるとマルチ
モーダルデータの送信処理に移る（図５のステップＳ-
２０５）。マルチモーダルデータの送信は、前記演算装
置１５０におけるマルチモーダル変更装置１０５におい
て、変形後の顔画像合成（図７のステップＳ-１００
５）で合成した顔画像をデータ送受信装置１０６に送
り、データ送受信装置１０６はこれを端末１００ａある
いは１００ｎへマルチモーダルデータとしてデータ伝送
する。

【００８９】端末１００ａあるいは１００ｎでは、この
伝送されてきたマルチモーダルデータの受信処理を行う
（図５のステップＳ-２０６）。

【００９０】端末１００ａあるいは１００ｎにおける当
該受信処理は、前記マルチモーダルデータの送信（図５
のステップＳ-２０５）で使用者あるいは使用者以外か
ら伝送された顔画像データをコミュニケーション端末１
００ａまたは１００ｎのデータ送受信装置１０３で受信
するためのもので、受信したマルチモーダルデータは、
変形された顔画像データとしてデータ提示装置１０２に
表示される（図５のステップＳ−２０７）。

【００９１】上記第１の実施例では、マルチモーダルデ
ータとして顔画像データを用いたが、マルチモーダルデ
ータに音データを用いる構成とすることもできる。この
場合、前記マルチモーダルデータ変更装置１０５におい
て、触覚デバイス５に設置された曲げセンサ５ａの出力
を例えば、音強度、加速度センサ５ｂの出力を例えば、
ピッチ（音高さ）、ジャイロセンサ５ｃの出力を例えば
テンポ（リズム）に割り当てて変更する。もちろん、こ
れはあくまでも一例であってこれらの組み合わせはこれ
に固定されるものではなく、任意の組み合わせが可能で
ある。

【００９２】これらの対応づけにより、再生中の音楽デ
ータに対し、ユーザは触覚デバイス５を操作すること
で、音楽データを実時間で変更して楽しむことが可能と
なる。

【００９３】また、上記の第１の実施例では、端末同士
のコミュニケーションを想定したが、同様のアプリケー
ションとしては、対戦型のゲームへの応用が考えられ
る。例えば、演算装置１５０上で各端末１００ａ〜１０
０ｎから送られた状況センサデータ（状況情報）を得点
に置き換え、その得点を元に勝敗をマルチモーダルデー
タでフィードバックするシステム等が考えられる。

【００９４】さらに、上記の第１の実施例では、それぞ
れの端末１００ａ〜１００ｎからの状況センサ出力を演
算装置１５０で統合し、全員に同じマルチモーダルデー
タをフィードバックするシステム等も考えられる。例え
ば、不特定多数のコミュニティ参加者の全体的意志がど
うなっているかを把握したい場合に使用する。

【００９５】図８は、各端末１００ａ〜１００ｎからの
状況センサ出力を統合し、コミュニティ全体の意思を反
映した画面を演算装置１５０で生成し、ここで生成した
画面データを各端末１００ａ〜１００ｎへ画像データと
して伝送し、表示させるようにする。このことで、コミ
ュニティ全体の動向を共有するシステムの概要を示すよ
うにした例である。この結果、不特定多数のコミュニテ
ィ参加者の全体的意志がどうなっているかを各自の端末
で知ることができるシステムとなる。

【００９６】以上の第１の実施例は、マルチモーダルデ
ータ変更装置１０５を端末１００ａ〜１００ｎ以外のも
のに設けた構成としたものであった。次に、マルチモー
ダルデータ変更装置１０５を端末１００ａ〜１００ｎ自
身に持たせる構成とする例を説明する。

【００９７】（第２の実施例）第２の実施例はマルチモ
ーダルデータ変更装置１０５を端末側に設けるようにし
た例であって、以下、詳細を説明する。

【００９８】図９は、本発明のコミュニケーションシス
テムの第２実施例に関わる構成図であり、３００ａ，〜
３００ｎは本発明によるコミュニケーション端末（以
下、端末と呼ぶ）であって、基本的構成は第１の実施例
の端末１００ａ〜１００ｎと同様であって、複数のユー
ザがそれぞれ自己の端末３００ａ，〜３００ｎを持っ
て、他のユーザの端末３００ａ，〜３００ｎと演算装置
３５０を介してコミュニケーションする点でも第1の実
施例と同じである。

【００９９】第２の実施例における端末３００ａ，〜３
００ｎは、ユーザの顔画像、体の各部位の動き、体温、
脳波、心拍、皮膚電位または使用者の周囲環境の温度、
湿度、明るさのうち少なくとも１つ以上を計測する状況
センサ３０１と、前記状況センサ３０１のセンサ出力デ
ータを伝送し、かつ使用者および使用者以外から伝送さ
れたセンサ出力データを受信するデータ送受信装置３０
２と、画像、音、振動パターン、温度変化パターンのデ
ータのうち少なくとも１つ以上（以下、マルチモーダル
データと呼ぶ）を記憶する記憶装置３０３と、前記デー
タ送受信装置３０２で受信した少なくとも一つ以上の状
況センサ出力、または同出力の組み合わせ方または同出
力と前記記憶装置３０３に記憶されたマルチモーダルデ
ータとの組み合わせ方に応じて、少なくとも一つ以上の
前記記憶装置３０３内のマルチモーダルデータを実時間
で変更させるマルチモーダルデータ変更装置３０４と、
変更されたマルチモーダルデータを使用者に提示するデ
ータ提示装置３０５とから構成される。

【０１００】第1の実施例と同様、各端末３００ａ，〜
３００ｎは、無線通信あるいは有線通信により、外部の
演算装置３５０と接続されている。この演算装置３５０
は、センサデータ変更装置３０６およびデータ送受信装
置３０７とを備える。

【０１０１】センサデータ変更装置３０６は、各端末３
００ａ〜３００ｎから送信されたセンサ情報（状況情
報）のうち、少なくとも一つ以上の出力による顔画像の
変更処理または同出力の組み合わせによる顔画像変更処
理を行うものである。

【０１０２】データ送受信装置３０７は各端末３００ａ
〜３００ｎからのセンサデータの受信、センサデータ変
更装置３０６にて変更されたデータを端末３００ａ〜３
００ｎに送信するものである。

【０１０３】図１０は、第２の実施例における処理の流
れを示したものである。図１０をもとに第２の実施例の
コミュニケーションシステムの作用を説明する。

【０１０４】ユーザの状況取得（図１０のステップＳ-
４０１）は第１の実施例におけるＳ-２０１と同様な処
理であるため、説明は省略する。

【０１０５】ユーザの状況取得が終わると、得られた状
況データを送信する（図１０のステップＳ-４０２）。
ステップＳ-４０１で取得したセンサ出力データ（前記
ユーザの状況情報）をデータ送受信装置３０２により、
ユーザあるいはユーザ以外に伝送する処理である。

【０１０６】ユーザの触り具合や握り具合を計測するこ
とが可能な第１の実施例に記載の触覚デバイス５を用い
た場合、曲げセンサ５ａ、加速度センサ５ｂ、およびジ
ャイロセンサ５ｃ出力を時系列で伝送することになる。

【０１０７】次に、状況データの受信処理を行う（図１
０のステップＳ−４０３）。これは、前記状況データの
送信（図１０のステップＳ−４０２）で各端末３００ａ
〜３００ｎから送られてきた状況データを演算装置３５
０のデータ送受信装置３０６において受信する処理であ
る。

【０１０８】状況データを受信したならば、次にこの受
信した状況データの変更をする（図１０のステップＳ−
４０４）。状況データの変更処理は、前記状況データの
受信（図１０のステップＳ−４０３）で受信したユーザ
あるいはユーザ以外から伝送された状況センサデータを
変更するための処理である。

【０１０９】この場合の変更とは、曲げセンサ５ａ、加
速度センサ５ｂ、およびジャイロセンサ５ｃ出力が変換
されたもの、またはそれらの統合が行われたものであ
る。

【０１１０】ここで変更した状況データは、演算装置２
０のデータ送受信装置３０６より送信され（図１０のス
テップＳ−４０５）、各端末３００ａ〜３００ｎそれぞ
れのデータ送受信装置３０２で受信されることになる
（図１０のステップＳ−４０６）。

【０１１１】次にマルチモーダルデータの変更処理を行
う（図１０のステップＳ−４０７）。この処理は、端末
３００ａ〜３００ｎ上のマルチモーダルデータ変更装置
３０４において、前記変換状況データの受信処理（図１
０のステップＳ−４０６）において受信した状況データ
に基づき、前記記憶装置３０３に格納されたマルチモー
ダルデータを変更するための処理である。

【０１１２】マルチモーダルデータ変更装置３０４にお
けるこの変更処理とは、顔画像データを用いた場合、第
１の実施例で説明した方法と同様な状況データ（状況情
報）対応のマッピング法により、顔画像データを変更し
て合成する処理である。

【０１１３】顔画像データの変更が済むと次にマルチモ
ーダルデータの呈示を行う（図１０のステップＳ-４０
８）。これにより、前記マルチモーダルデータの変更処
理（Ｓ−４０７）で得られた変形した合成顔画像が、デ
ータ呈示装置３０５に表示される。

【０１１４】第１の実施例に記載した対戦型ゲームに本
実施形態を適用した場合、あるユーザから送られた状況
データの組み合わせパターンから、他のユーザのセンサ
データ強度を抑制するといった使い方が考えられる。こ
れは、必殺技のような特定のアクションパターン（複数
センサ出力時系列の組み合わせ）を入力したユーザが、
一定時間、他のユーザに優先して自分の行動をシステム
に反映させることができるといったような効果の付与に
利用できる。この結果、その一定時間の間、他のユーザ
が自分の行動結果が十分に反映されず、ハンディキャッ
プを負った状況を生成するといったことができ、ゲーム
性を一層高める効果が期待できる。また、第１の実施例
同様に参加者全員の意思表示などへのアプリケーション
応用も考えられる。

【０１１５】さらに、状況センサデータとして心拍や皮
膚温度の計測データが同時に演算装置に送られてきた場
合、そのユーザの興奮状態（のめりこみ度）を判定し、
触覚デバイス５上の状況センサ出力のデータ変化を強調
するといった使い方もできる。例えば、心拍や皮膚温度
がある閾値を超えると、のめりこみ度が高いと判断し、
状況センサの出力強度を高め、端末側に強調された状況
データを送信するわけである。使用者は、強調された状
況データに基づき変更されたマルチモーダルデータがフ
ィードバックされることになり、ユーザの状況により感
度が変化するシステムが構成でき、よりシステムへのの
めりこみ度を向上させることが期待できる。

【０１１６】この場合に第１の実施例との違いは、変更
されたマルチメディアデータよりデータ量の少ない状況
センサ出力を送受信することで、同様な画像効果を、よ
り効率的に実現するためのシステムを構築することがで
きるという点である。

【０１１７】上記第２の実施例では、マルチモーダルデ
ータとして顔画像データを用いた場合であるが、マルチ
モーダルデータを音データにした場合、前記マルチモー
ダルデータ変更装置３０４におけるセンサ出力と音楽デ
ータとの関連づけは、第１の実施例の場合と同様に行う
ことで、音を実時間で変化させて楽しむことができる。

【０１１８】次に別の例を第３の実施例として説明す
る。

【０１１９】（第３の実施例）図１１は、本発明のコミ
ュニケーション装置の第３実施例に関わる構成図であ
り、端末同士で直接コミュニケーションを図ることがで
きるようにしたシステムである。

【０１２０】５００ａ〜５００ｎが本発明による端末で
あり、当該端末５００ａ〜５００ｎは、ユーザの顔画
像、体の各部位の動き、体温、脳波、心拍、皮膚電位ま
たは使用者の周囲環境の温度、湿度、明るさのうち少な
くとも１つ以上を計測する状況センサ５０１と、前記状
況センサ５０１の出力を伝送し、かつ使用者以外のセン
サデータを受信するデータ送受信装置５０２、画像、
音、振動パターン、温度変化パターンのデータのうち少
なくとも１つ以上（以下、マルチモーダルデータと呼
ぶ）を記憶する記憶装置５０３と、前記データ送受信装
置５０２で受信した少なくとも一つ以上の状況センサ出
力、または同出力の組み合わせ方または同出力と前記記
憶装置５０３に記憶されたマルチモーダルデータとの組
み合わせ方に応じて、少なくとも一つ以上の前記記憶装
置５０３内のマルチモーダルデータを実時間で変更させ
るマルチモーダルデータ変更装置５０４と、マルチモー
ダルデータを使用者に提示するデータ提示装置５０５と
で構成される。

【０１２１】図１２は、第３の実施例のシステムにおけ
る処理の流れを示したものである。図１２に示す処理ス
テップのうち、ユーザの状況取得（図１２のステップＳ
−６０１）からマルチモーダルデータの呈示（Ｓ−６０
５）までは、第２の実施例における、状況取得（図１２
のステップＳ−４０１）から状況データの送信（図１２
のステップＳ−４０２）、および変換状況データの受信
（図１２のステップＳ−４０６）からマルチモーダルデ
ータの呈示（図１２のステップＳ−４０８）までの処理
と基本的には同じであるが、状況データの送信先が演算
装置でなく、端末５００ａ〜５００ｎ相互間であり、送
信された状況データを直接、端末５００ａ〜５００ｎ相
互間で受信する点だけが異なる。

【０１２２】すなわち、各端末５００ａ，〜５００ｎ
は、無線通信あるいは有線通信により、互いに接続され
ている。これら各端末５００ａ，〜５００ｎは、マルチ
モーダルデータ変更装置５０４およびデータ送受信装置
５０２および記憶装置５０３および状況センサ５０１お
よびデータ呈示装置５０５とを備える。

【０１２３】すなわち、まず、ある端末５００のユーザ
は自己の持つ端末１００の前記状況センサ５０１を用
い、自己の状況情報の取得を行う（図１２のステップＳ
−６０１；ユーザの状況取得処理）。

【０１２４】ユーザの状況取得が終わると、得られた状
況データを送信する（図１２のステップＳ-６０２）。
ステップＳ-６０１で取得したセンサ出力データ（前記
ユーザの状況情報）をデータ送受信装置５０２により、
ユーザあるいはユーザ以外に伝送するわけである。

【０１２５】ユーザの触り具合や握り具合を計測するこ
とが可能な第１の実施例に記載の触覚デバイス５を用い
た場合、曲げセンサ５ａ、加速度センサ５ｂ、およびジ
ャイロセンサ５ｃ出力を時系列で伝送することになる。

【０１２６】次に、相手方端末は状況データの受信処理
を行う（図１２のステップＳ−６０３）。これは、前記
状況データの送信（図１２のステップＳ−６０２）で各
端末５００ａ〜５００ｎから送られてきた状況データを
自己のデータ送受信装置５０２において受信する処理で
ある。

【０１２７】状況データを受信した端末は、次にこの受
信した状況データを用いて当該状況データ対応に顔画像
の変更処理をする（図１２のステップＳ−６０４）。状
況データ対応の顔画像変更処理は、状況データ、すなわ
ち、曲げセンサ５ａ、加速度センサ５ｂ、およびジャイ
ロセンサ５ｃ出力対応に、行うマルチモーダルデータの
変更処理である。この処理は、前記受信した変換状況デ
ータを用いて端末５００ａ〜５００ｎ上のマルチモーダ
ルデータ変更装置５０４が前記記憶装置３０３に格納さ
れたマルチモーダルデータに対して行う処理であって、
この変更処理とは、顔画像データを用いた場合、第１の
実施例で説明した方法と同様な状況データ（状況情報）
対応のマッピング法により、顔画像データを変更して合
成する処理である。

【０１２８】顔画像データの変更が済むと次にマルチモ
ーダルデータの呈示を行う（図１２のステップＳ-６０
５）。これにより、前記マルチモーダルデータの変更処
理で得られた変形した合成顔画像が、ユーザの端末５０
０におけるデータ呈示装置５０５に表示される。

【０１２９】第１の実施例に記載した対戦型ゲームに本
実施形態を適用した場合、あるユーザから送られた状況
データの組み合わせパターンから、他のユーザのセンサ
データ強度を抑制するといった使い方が考えられる。こ
れは、必殺技のような特定のアクションパターン（複数
センサ出力時系列の組み合わせ）を入力したユーザが、
一定時間、他のユーザに優先して自分の行動をシステム
に反映させることができるといったような効果の付与に
利用できる。この結果、その一定時間の間、他のユーザ
が自分の行動結果が十分に反映されず、ハンディキャッ
プを負った状況を生成するといったことができ、ゲーム
性を一層高める効果が期待できる。また、第１の実施例
同様に参加者全員の意思表示などへのアプリケーション
応用も考えられる。

【０１３０】さらに、状況センサデータとして心拍や皮
膚温度の計測データが同時に演算装置に送られてきた場
合、そのユーザの興奮状態（のめりこみ度）を判定し、
触覚デバイス５上の状況センサ出力のデータ変化を強調
するといった使い方もできる。例えば、心拍や皮膚温度
がある閾値を超えると、のめりこみ度が高いと判断し、
状況センサの出力強度を高め、端末側に強調された状況
データを送信するわけである。使用者は、強調された状
況データに基づき変更されたマルチモーダルデータがフ
ィードバックされることになり、ユーザの状況により感
度が変化するシステムが構成でき、よりシステムへのの
めりこみ度を向上させることが期待できる。

【０１３１】この場合に第１の実施例との違いは、変更
されたマルチメディアデータよりデータ量の少ない状況
センサ出力を送受信することで、同様な画像効果を、よ
り効率的に実現するためのシステムを構築することがで
きるという点である。

【０１３２】上記第３の実施例においても、マルチモー
ダルデータとして顔画像データを用いる方式の他、マル
チモーダルデータを音データにした場合、前記マルチモ
ーダルデータ変更装置５０４におけるセンサ出力と音楽
データとの関連づけを、第１の実施例の場合と同様に行
うことで、音を実時間で変化させて楽しむことができ
る。

【０１３３】このように、この第３の実施例において第
２の実施例との違いは、演算装置３５０を用いることな
く端末５００ａ〜５００ｎにおいて状況データの送受信
を行い、端末内で直接、この状況データ対応に画像の変
更処理を行うようにしている点である。

【０１３４】この場合、演算装置３５０のような状況デ
ータ変換処理のための装置を外部に用意する必要がない
ため、複数台の端末５００ａ〜５００ｎのうち、少なく
とも２台があればよく、簡易にシステムを構築すること
ができる。

【０１３５】また、データ量の少ない状況センサ出力を
送受信することで、ネットワーク負荷の低いシステムが
構築できるメリットもある。

【０１３６】（第４の実施例）図１３は、本発明のコミ
ュニケーション装置の第４実施例に関わる構成図であ
り、端末同士で直接コミュニケーションを図るシステム
である。端末７００ａ〜７００ｎは、ユーザの顔画像、
体の各部位の動き、体温、脳波、心拍、皮膚電位または
ユーザの周囲環境の温度、湿度、明るさのうち少なくと
も１つ以上を計測する状況センサ７０１と、画像、音、
振動パターン、温度変化パターンのデータのうち、少な
くとも１つ以上（以下、これらをマルチモーダルデータ
と呼ぶ）を記憶する記憶装置７０３と、少なくとも一つ
以上の前記状況センサ７０１の出力、または同出力の組
み合わせ方または同出力と前記記憶装置７０３に記憶さ
れたマルチモーダルデータとの組み合わせ方に応じて、
少なくとも一つ以上の前記記憶装置７０３内のマルチモ
ーダルデータを実時間で変更させるマルチモーダルデー
タ変更装置７０４と、前記マルチモーダルデータ変更装
置７０４で変更したマルチモーダルデータを送受信する
ためのデータ送受信装置７０２と、前記データ送受信手
段７０２で受信したマルチモーダルデータを使用者に提
示するデータ提示装置７０５と、で構成される。

【０１３７】図１４は、第４の実施例における本システ
ムの処理の流れを示したものである。各処理は、第３の
実施例におけるものと同一処理であるため、説明は省略
する。

【０１３８】第４の実施例における本システムの第３の
実施例との違いは、端末から別の端末へ送信するデータ
が、第３の実施例のように状況データではなく、状況デ
ータを用いて変更処理した処理済みのマルチモーダルデ
ータとした点である点である。

【０１３９】第４の実施例における端末７００ａ〜７０
０ｎにはそれぞれ状況センサ７０１を備えている。状況
センサ７０１としては触覚デバイス５を用いており、前
述したようにこの触覚デバイス５には、曲げセンサ５
ａ、加速度センサ５ｂ、ジャイロセンサ５ｃが搭載され
ていて、ユーザが触覚デバイス５を手に持ち、変形させ
たり、動かしたり、姿勢を変えたりした場合に、その状
況を計測でき、状況データ（状況情報）として取得でき
る。この状況データを用いて顔画像の変更処理を行う。

【０１４０】端末７００ａ〜７００ｎにおいては、それ
ぞれ記憶装置７０３にユーザの顔画像あるいはユーザ以
外の顔画像が記憶されているものとする。この顔画像
は、端末７００ａ〜７００ｎの持つデータ送受信装置７
０２において、あらかじめユーザ以外から伝送されて受
信されたものであってもよい。

【０１４１】マルチモーダルデータ変更装置７０４で
は、記憶装置７０３に記憶されたこの顔画像に対して、
少なくとも一つ以上の前記状況センサ７０１の出力、ま
たは同出力の組み合わせ方または同出力と前記記憶装置
７０３に記憶されたマルチモーダルデータとの組み合わ
せ方に応じて、少なくとも一つ以上のマルチモーダルデ
ータを実時間で変更させる（図１４のステップＳ−８０
２）。

【０１４２】そして、このようにして得たマルチモーダ
ルデータをデータ送受信装置７０２は相手端末へと送信
する（図１４のステップＳ−８０３）。

【０１４３】そして、相手端末では自己の持つデータ送
受信装置７０２によりこの送信されてきたマルチモーダ
ルデータを受信する（図１４のステップＳ−８０４）。
そして、この受信したマルチモーダルデータを自己のデ
ータ提示装置７０５に提示する（図１４のステップＳ−
８０５）。

【０１４４】すなわち、第４の実施例の特徴は、前述し
たような触覚デバイス５を用いて構成された状況センサ
７０１を備えたユーザの端末７００ａ〜７００ｎ側でユ
ーザの状況取得（図１４のステップＳ−８０１）した
後、その取得した状況データを用いてマルチモーダルデ
ータの変更処理（図１４のステップＳ−８０２）を実時
間で行って得たマルチモーダルデータを端末相互間での
送信データとしているという点である。

【０１４５】この構成によれば、第３の実施例と同様
に、演算装置を別途用意する必要がないため、端末が少
なくとも２つ以上あればよく、簡易にシステムを構築す
ることができる。

【０１４６】また、第３の実施例の場合、相手端末上に
提示されるマルチモーダルデータは、相手端末側の前記
マルチモーダルデータ変更装置５０４に実装された状況
データの処理手順に依存するが、本第４の実施例では、
ユーザ側の端末上で意図したマルチモーダルデータ変更
データを生成し、相手側に伝送することが可能であり、
ユーザの意図を反映させた効果を付加したマルチモーダ
ルデータを相手端末上に呈示させることができるという
メリットがある。

【０１４７】以上、種々の実施例を説明したが要するに
本発明は、平常顔の顔写真を、目、鼻等の基準軸を以て
短冊型に領域分割し、曲げ、傾き、回転といった処理
を、曲げ、傾き、回転などのセンサを備えた触覚デバイ
スに対するユーザの操作量対応に所定の変形をさせるべ
く、マッピング処理し、顔画像を合成するようにしたも
のである。この処理により、様々な、顔の表情や仕草を
平常顔より得ることができるようになり、従って、この
技術により、動画を伝送せずとも、一枚の顔画像から種
々の表情を擬似的に再現して提示できるようになり、触
覚デバイスの操作対応に変化させて表情に富んだ顔画像
を表示してコミュニケーションに利用することができる
ようになると共に、触覚デバイスの操作対応に音楽のテ
ンポやピッチ、音程などの変化に反映させたり、ゲーム
の必殺技への反映などの応用もでき、これによって、音
楽データを実時間で変更して楽しむことができたり、ゲ
ーム性を豊かにすることができたり、といった応用のみ
ちが拓ける。

【０１４８】しかも、顔写真を用いる方式の場合、表情
豊かに表示されるのは対話相手の本人の顔画像であるか
ら、よりリアルに感情を伝達できるものとなる。

【０１４９】なお、本発明は上述した実施形態に限定さ
れるものではなく、種々変形して実施可能である。ま
た、本発明において、上記実施形態には種々の段階の発
明が含まれており、開示される複数の構成要件における
適宜な組み合わせにより種々の発明が抽出され得る。例
えば、実施形態に示される全構成要件から幾つかの構成
要件が削除されても、発明が解決しようとする課題の欄
で述べた課題の少なくとも１つが解決でき、発明の効果
の欄で述べられている効果の少なくとも１つが得られる
場合には、この構成要件が削除された構成が発明として
抽出され得る。

【０１５０】また、本発明における実施形態に記載した
手法は、コンピュータに実行させることのできるプログ
ラムとして、磁気ディスク（フレキシブルディスク、ハ
ードディスクなど）、光ディスク（ＣＤ−ＲＯＭ、ＣＤ
−Ｒ、ＣＤ−ＲＷ、ＤＶＤ、ＭＯなど）、半導体メモリ
などの記録媒体に格納して頒布することもでき、また、
ネットワークを介しての伝送により、頒布することもで
きる。

【０１５１】

【発明の効果】以上説明した様に本発明によれば、より
親密なコミュニケーションを図ることが可能となる。

【図面の簡単な説明】

【図１】本発明原理を説明するための図であって、本発
明の原理におけるマルチモーダルデータ変更処理で用い
る顔画像データを４つの画像領域に分割した様子を表し
た図である。

【図２】本発明原理を説明するための図であって、本発
明において用いる３関節型触覚デバイスに装着された曲
げセンサ、加速度センサ、およびジャイロセンサと、各
センサの出力値に対応して変化する分割画像領域箇所を
示した図である。

【図３】本発明原理を説明するための図であって、変化
させた分割画像領域に顔画像のマッピングにより異なる
印象を与える顔表情が合成される様子を説明するもので
あって、両目を通る２本の分割線を上下方向にシフトさ
せた際に生成される、異なる印象を与える顔変形画像例
を示す図である。

【図４】本発明を説明するための図であって、本発明の
コミュニケーション装置の第１の実施例の構成を示すブ
ロック図である。

【図５】本発明を説明するための図であって、本発明の
コミュニケーション装置の第１実施例における処理の流
れ図である。

【図６】本発明を説明するための図であって、本発明シ
ステムにおけるマルチモーダルデータ変更装置での処理
手段の構成図である。

【図７】本発明を説明するための図であって、本発明シ
ステムにおけるマルチモーダルデータ変更装置での処理
の流れを示す図である。

【図８】本発明を説明するための図であって、本発明の
コミュニケーション装置の第１実施形態を用い、コミュ
ニティの全体動向共有システムを構築した際の概要を示
した図である。

【図９】本発明を説明するための図であって、本発明の
コミュニケーション装置の第２の実施例の構成を示すブ
ロック図である。

【図１０】本発明を説明するための図であって、本発明
のコミュニケーション装置の第２の実施例における処理
の流れを示す図である。

【図１１】本発明を説明するための図であって、本発明
のコミュニケーション装置の第３の実施例の構成を示す
ブロック図である。

【図１２】本発明を説明するための図であって、本発明
のコミュニケーション装置の第３の実施例における処理
の流れを示す図である。

【図１３】本発明を説明するための図であって、本発明
のコミュニケーション装置の第４の実施例の構成を示す
ブロック図である。

【図１４】本発明を説明するための図であって、本発明
のコミュニケーション装置の第４の実施例における処理
の流れを示す図である。

【符号の説明】

５…触覚デバイス ５ａ…曲げセンサ ５ｂ…加速度センサ ５ｃ…ジャイロセンサ １００ａ〜１００ｎ，３００ａ，〜３００ｎ，５００ａ
〜５００ｎ，７００ａ〜７００ｎ…コミュニケーション
端末 １０１，３０１，５０１，７０１…状況センサ １０４，３０３，５０３，７０３…記憶装置 １０５…マルチモーダルデータ変更装置 １５０，３５０…演算装置 ３０２，５０２，７０２…データ送受信装置 ３０４，５０５，７０４…マルチモーダルデータ変更装
置 ３０５，７０５…データ提示装置 ９０１…画像特徴抽出手段 ９０２…分割領域設定手段 ９０３…分割画像保持手段 ９０４…分割領域変形手段 ９０５…画像再合成手段。

───────────────────────────────────────────────────── フロントページの続き Ｆターム(参考） 5B050 BA08 BA12 BA15 CA05 EA19 EA24 FA02 FA10 5B057 AA20 BA23 CC02 CD03 CD11 CE08 5C064 AA02 AB03 AC04 AC08 AC12 AD08 AD09 AD14 5E501 AA13 AC14 BA03 CA01 CB01

Claims (13)

【特許請求の範囲】
1. 【請求項１】少なくとも曲げ、傾き、回転のうちの１つ
   のセンサを備えた触覚デバイスと、 与えられた顔画像を、目、鼻等の基準軸を以て領域分割
   する分割手段と、 前記触覚デバイスに対するユーザの操作量に対応した曲
   げ、傾き、回転などの変化に応じて前記分割手段によっ
   て領域分割された顔画像をマッピング処理し、合成する
   合成手段と、を具備することを特徴とするコミュニケー
   ション画像生成装置。
2. 【請求項２】少なくとも曲げ、傾き、回転のうちの１つ
   のセンサを備えた触覚デバイスを操作手段として用いる
   と共に、顔画像を、目、鼻等の基準軸を以て領域分割
   し、前記触覚デバイスに対するユーザの操作量に対応し
   た曲げ、傾き、回転などの変化に応じて領域分割された
   前記顔画像をマッピング処理し、合成することを特徴と
   するコミュニケーション画像生成方法。
3. 【請求項３】少なくとも曲げ、傾き、回転のいずれか１
   つのセンサを備えた触覚デバイスを操作手段として用い
   ると共に、コンテンツを前記触覚デバイスに対するユー
   ザの操作量に対応して調整処理するようにしたことを特
   徴とするコミュニケーション情報処理方法。
4. 【請求項４】コンピュータに、与えられた顔画像を、
   目、鼻等の基準軸を以て領域分割させる機能と、 少なくとも曲げ、傾き、回転のうちの１つのセンサを備
   えた触覚デバイスを操作手段として用いると共に、前記
   触覚デバイスに対するユーザの操作量に対応した曲げ、
   傾き、回転などの変化に応じて領域分割された前記顔画
   像をマッピング処理して合成させる機能と、を実現させ
   ることを特徴とするコミュニケーション画像処理のため
   のプログラム。
5. 【請求項５】使用者の顔画像、体の各部位の動き、音
   声、体温、脳波、心拍、皮膚電位または使用者の周囲環
   境の温度、湿度、明るさのうち少なくとも一つ以上を計
   測する状況センサと、マルチモーダルデータである画
   像、音、振動パターン、温度変化パターンの各データの
   うち少なくとも一つを使用者に提示する提示手段と、前
   記状況センサの計測結果およびマルチモーダルデータを
   送受信するためのデータ送受信手段とから構成される複
   数のコミュニケーション端末と、 マルチモーダルデータを記憶した記憶手段と、前記状況
   センサの計測結果およびマルチモーダルデータを前記コ
   ミュニケーション端末との間で送受信するデータ送受信
   手段と、前記記憶手段に記憶されたマルチモーダルデー
   タを変更するためのマルチモーダルデータ変更手段とか
   ら構成される演算装置とを備えることを特徴とするコミ
   ュニケーション装置。
6. 【請求項６】前記演算装置は、前記マルチモーダルデー
   タ変更手段により、一つ以上の前記コミュニケーション
   端末より送信された前記状況センサの計測結果を統合処
   理し、各コミュニケーション端末に提示する前記マルチ
   モーダルデータを変換・作成することを特徴とする請求
   項５記載のコミュニケーション装置。
7. 【請求項７】使用者の顔画像、体の各部位の動き、音
   声、体温、脳波、心拍、皮膚電位または使用者の周囲環
   境の温度、湿度、明るさのうち少なくとも一つ以上を計
   測する状況センサと、マルチモーダルデータである画
   像、音、振動パターン、温度変化パターンのデータのう
   ち少なくとも一つを使用者に提示する提示手段と、前記
   マルチモーダルデータを記憶する記憶手段と、前記記憶
   手段に記憶されたマルチモーダルデータを変更するため
   のマルチモーダルデータ変更手段と、前記状況センサ出
   力を送受信するためのデータ送受信手段とから構成され
   る複数のコミュニケーション端末と、 前記状況センサの計測結果を実時間でデータ変換するた
   めのセンサデータ変換手段と、前記状況センサ出力を送
   受信するためのデータ送受信手段とからなる演算装置と
   から構成され、 各々の前記コミュニケーション端末では、変換されたセ
   ンサデータをもとに、前記記憶手段に格納された前記マ
   ルチモーダルデータを選択または変更して前記提示手段
   に提示することを特徴とするコミュニケーション装置。
8. 【請求項８】前記演算装置は、前記センサデータ変更手
   段により、一つ以上の前記コミュニケーション端末より
   送信された前記状況センサの計測結果を統合して変換ま
   たは変換して統合し、前記統合かつ変換されたセンサデ
   ータを各コミュニケーション端末に送信することを特徴
   とする請求項７記載のコミュニケーション装置。
9. 【請求項９】使用者の顔画像、体の各部位の動き、音
   声、体温、脳波、心拍、皮膚電位または使用者の周囲環
   境の温度、湿度、明るさのうち少なくとも一つ以上を計
   測する状況センサと、マルチモーダルデータである画
   像、音、振動パターン、温度変化パターンのデータのう
   ち少なくとも一つを使用者に提示する提示手段と、前記
   マルチモーダルデータを記憶する記憶手段と、前記記憶
   手段に記憶されたマルチモーダルデータを変更するため
   のマルチモーダルデータ変更手段と、前記状況センサの
   計測結果を送受信するためのデータ送受信手段とから構
   成される複数のコミュニケーション端末とから構成さ
   れ、 各々の前記コミュニケーション端末より各々のコミュニ
   ケーション端末へ送信された前記状況センサの計測結果
   に基づいて前記記憶手段に格納されたマルチモーダルデ
   ータを前記マルチモーダルデータ変更手段にて変更し、
   前記提示手段に提示することを特徴とするコミュニケー
   ション装置。
10. 【請求項１０】使用者の顔画像、体の各部位の動き、音
    声、体温、脳波、心拍、皮膚電位または使用者の周囲環
    境の温度、湿度、明るさのうち少なくとも一つ以上を計
    測する状況センサと、マルチモーダルデータである画
    像、音、振動パターン、温度変化パターンのデータのう
    ち少なくとも一つを使用者に提示する提示手段と、前記
    マルチモーダルデータを記憶する記憶手段と、前記記憶
    手段に記憶されたマルチモーダルデータを変更するため
    のマルチモーダルデータ変更手段と、前記マルチモーダ
    ルデータ変更手段によって変更されたマルチモーダルデ
    ータを送受信するデータ送受信手段とを有することを特
    徴とするコミュニケーション装置。
11. 【請求項１１】前記記憶手段は、前記マルチモーダルデ
    ータを呈示した際に、前記状況センサで使用者を計測す
    ることで得られる計測結果を、新たなマルチモーダルデ
    ータとして記憶し再利用できることを特徴とする請求項
    ７、請求項９および請求項１０いずれか１項に記載のコ
    ミュニケーション装置。
12. 【請求項１２】前記マルチモーダルデータ変更手段は、
    画像中から目や口等の顔を特徴づける要素を抽出するた
    めの顔特徴位置抽出手段と、 この顔特徴位置抽出手段で抽出した顔部品の位置に基づ
    き、画像を領域分割する領域分割手段と、 この領域分割手段で分割された画像領域に含まれる画像
    情報を保持する画像情報保持手段と、 前記領域分割手段で分割した分割領域を変形するための
    分割領域変形手段と、 この分割領域変形手段で変形された各々の分割領域に前
    記画像情報保持手段の保持した当該分割領域に含まれる
    画像情報をマッピングする画像合成手段にて構成したこ
    とを特徴とする請求項５乃至請求項１１いずれか１項に
    記載のコミュニケーション装置。
13. 【請求項１３】前記分割領域変形手段は、前記状況セン
    サの計測結果に応じて変形方法を決定することを特徴と
    する請求項１２に記載のコミュニケーション装置。