JP2001245269A - コミュニケーション・データ作成装置及び作成方法、コミュニケーション・データ再生装置及び再生方法、並びに、プログラム記憶媒体 - Google Patents

Abstract

(57)【要約】 【課題】 実写画像付きのコミュニケーション・データ
を提供する。 【解決手段】 コミュニケーション・データは、ユーザ
が入力した文章などのテキスト・データと、ユーザを数
回にわたって撮像した複数の静止画像で構成される。す
なわち、ユーザの撮像画像という視覚情報を有するの
で、テキスト・ベースの文章しか含まない場合に比し、
通信相手に対して大きな刺激を与えることができる。ま
た、複数の撮像画像を用いて動きを表現でき、さらに多
くのメッセージを伝達することができる。また、画像の
動きは基本的に静止画のみで構成されるので、動画像を
扱う場合に比しデータ・サイズは格段に少なくて済む。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、各ユーザの実写画
像付きのコミュニケーション・データの作成・表示技術に
係り、特に、転送データ・サイズや精神的障壁なしに実
写画像を添付することができるコミュニケーション・デ
ータの作成・表示技術に関する。

【０００２】また、本発明は、インターネットのような
コンピュータ・ネットワーク上で構築・提供される複数ユ
ーザが参加可能なチャットなどの仮想会話を支援する会
話支援システム及び会話支援方法に係り、特に、ネット
ワーク負荷や精神的障壁なしに各参加ユーザの実写画像
付きで遠隔的な会話を実現する会話支援システム及び会
話支援方法に関する。

【０００３】

【従来の技術】昨今、情報処理や情報通信などのコンピ
ューティング技術が飛躍的に向上し、コンピュータ・シ
ステムが広汎に普及してきている。さらに、コンピュー
タ同士を相互接続するネットワーク・コンピューティン
グ技術に対する要望も高まってきている。ネットワーク
上では、各コンピュータのユーザ同士で、コンピュータ
資源の共有、情報の共有・流通・配布・交換などを円滑に
行うことができる。また、ネットワーク経由で接続され
た各ユーザのコンピュータ上で共同作業を行うこともで
きる。

【０００４】コンピュータ同士を相互接続するネットワ
ークの形態は様々である。例えば、Ｅｔｈｅｒｎｅｔや
Ｂｌｕｅｔｏｏｔｈのような局所に敷設されたＬＡＮ
（Local Area Network）や、ＬＡＮ同士を専用線などで
相互接続して構成されるＷＡＮ（Wide Area Networ
k）、さらには、ネットワーク同士の相互接続を繰り返
し行った結果として文字通り世界規模のネットワークへ
成長を遂げた「インターネット」（The Internet）など
様々である。

【０００５】現在、インターネット上には、無数のサー
バが散在しており、ＨＴＭＬドキュメントを始めとする
様々の情報資源が有償又は無償で公開されている。クラ
イアントは、ＴＣＰ／ＩＰプロトコルに従い、これら公
開された情報資源をＵＲＬ（Uniform Resource Locato
r）という形式の識別子によってアクセスすることがで
きる。

【０００６】また、インターネットを始めとするコンピ
ュータ・ネットワークを、単なる情報公開の手段として
だけではなく、リアルタイムでの遠隔コミュニケーショ
ンの場として利用する傾向がある。かかるコミュニケー
ションへの適用例として、ＢＢＳ（Bulletin Board Sys
tem：電子掲示板）やチャット（chat）などを挙げるこ
とができる。

【０００７】ＢＢＳとは、ネットワーク上のサーバにお
いてコンピュータライズされた掲示情報を蓄積し、ネッ
トワーク経由でその情報を閲覧するシステムである。サ
ーバ上で情報を一元管理できる他、広域的に散在するユ
ーザ間でリアルタイムで情報を通知し合えるというメリ
ットがある。

【０００８】また、チャットとは、ネットワーク上でキ
ーボード入力文字を使ってリアルタイムに会話を行う"o
n-line-talk"である。通常、複数のユーザがチャットに
ログインして、同時に会話することができるし、各人の
発言が参加者全員のモニタ画面上に提示されるようにな
っている。チャットによれば、遠隔地に散在するユーザ
間でリアルタイムの会話若しくは議論を、インタネット
上に構築された仮想世界において享受することができ
る。また、チャット・システムが提供する仮想世界にロ
グインしさえすれば即座に会話への参加資格が随時得ら
れ、各ユーザが実生活上で顔見知りである必要がないと
いう気軽さも、チャットの大きな魅力であろう。電子メ
ールやＢＢＳによるインタラクションが非同期的である
のに対して、チャットの対話は同期的であり、ログイン
・ユーザによる入力文字列は他のユーザに即時的に配信
される。また、相手の反応を確認しながら発言すること
ができるので、ユーザにとって刺激的である。また、チ
ャットでは、比較的短い文章がやり取りされる慣習があ
る点でも、比較的まとまった量の文章を交換する電子メ
ールとは相違する。

【０００９】インターネット上でリアルタイムの会議や
チャットを実現するサーバ・クライアント型システムと
して、例えばＩＲＣ（Internet Relay Chat）が知られ
ている。ＩＲＣで使用されるＩＲＣプロトコルはＲＦＣ
（Request For Comments）１４５９で規定されている。

【００１０】また、ビデオカメラを用いて音声と映像
（例えば動画像）をネットワーク転送してリアルタイム
でコミュニケーションを行う例もある。このような双方
向コミュニケーションでは、通常、テレビ会議やビデオ
会議のように一対一の接続で利用されることが多い。但
し、米コーネル大学で開発されたビデオ会議システム"
ＣＵ−Ｓｅｅ Ｍｅ"のように、チャットの形式で複数
ユーザ間で映像と音声など複数のメディアを用いてコミ
ュニケーションを行う例もある。

【００１１】コミュニケーションは、言葉だけでなく、
映像を用いた方が、互いの表情を伝え合うことができ、
臨場感が増すことは言うまでもない。しかしながら、映
像データはをネットワーク転送する場合には、以下に示
すような問題点を伴う。すなわち、

【００１２】（１） 膨大サイズからなる映像の転送は
ネットワークの帯域を広く使用する。 （２）接続されている期間中、ユーザは常にカメラで撮
られているため、心理的障壁が高い。また、システムを
利用できる状況が制限されてしまう。 （３）映像や音声はリアルタイムで流されてしまうの
で、現在の状況も追跡しつつ少し前の時間に遡って見る
（あるいは聞く）などの、履歴を遡る操作が難しい。

【００１３】例えば、米マイクロソフト社が提供するチ
ャット・システム"Ｍｉｃｒｏｓｏｆｔ Ｃｈａｔ"は、
通常のチャット・システムに文字列以外の付加的な情報
を導入するために、各ユーザ毎に漫画のキャラクタを割
り当てるとともに、各キャラクタに対して何種類かの表
情を与えている。ブラウザ画面上では、コマ送りの漫画
上に各ログイン・ユーザを仮体した漫画のキャラクタが
登場し、ユーザの文字列は該当するキャラクタの吹き出
し内に表示される。このようなチャット・システムによ
れば、映像データを転送する場合に比し、ネットワーク
の使用帯域の問題は解消される。しかしながら、漫画は
実写映像に比べれば表現力が乏しくなってしまう。ま
た、漫画の持つ性質や意味合いから、企業内の会議など
の用途に採用することが難しいであろう。

【００１４】

【発明が解決しようとする課題】本発明の目的は、各ユ
ーザの実写画像付きのコミュニケーション・データを作
成し表示することができる、優れたコミュニケーション
・データの作成・表示技術を提供することにある。

【００１５】本発明の更なる目的は、転送データ・サイ
ズや精神的障壁なしに実写画像を添付することができる
コミュニケーション・データを作成し表示するための優
れた技術を提供することにある。

【００１６】本発明の更なる目的は、インターネットの
ようなコンピュータ・ネットワーク上で構築される複数
ユーザが参加可能な仮想会話を、各参加者の実写画像を
用いて好適に支援することができる、優れた会話支援シ
ステム及び会話支援方法を提供することにある。

【００１７】本発明の更なる目的は、ネットワーク負荷
や精神的障壁なしに各参加ユーザの実写画像付きで遠隔
的な会話を実現することができる、優れた会話支援シス
テム及び会話支援方法を提供することにある。

【００１８】

【課題を解決するための手段及び作用】本発明は、上記
課題を参酌してなされたものであり、その第１の側面
は、実写画像付きのコミュニケーション・データを作成
するためのコミュニケーション・データ作成装置又は方
法であって、ユーザが文章又は発言を入力するための文
章入力部又はステップと、ユーザを所定時間以内に複数
回撮像する撮像部又はステップと、前記文章入力部又は
ステップにおいて入力された文章又は発言内容と前記撮
像部又はステップにおいて撮像された複数の画像とで構
成されるコミュニケーション・データを作成する処理部
又はステップと、を具備することを特徴とするコミュニ
ケーション・データ作成装置又は方法である。

【００１９】本発明に係るコミュニケーション・データ
は、ユーザが入力した文章などのテキスト・データと、
ユーザを数回にわたって撮像した複数の静止画像で構成
される。すなわち、コミュニケーション・データは、ユ
ーザの撮像画像という視覚情報を有するので、テキスト
・ベースの文章しか含まない場合に比し、通信相手に対
して大きな刺激を与えることができる。また、複数の静
止画像を用いて動きを表現するので、動画像に匹敵する
ような多くのメッセージを伝達することができる。

【００２０】また、画像の動きは基本的に静止画のみで
構成されるので、動画像を扱うデータ通信やデータ蓄積
に比しデータ・サイズは格段に少なくて済み、伝送負荷
や記憶負荷が軽減される。また、ユーザは常時撮影され
ている訳ではないので、映されることに対する心理的・
精神的な障壁が低くなる。

【００２１】他方、コミュニケーション・データの再生
装置側では、入力文章をブラウザ画面上に常時表示する
とともに、撮像画像を逐次切り替えることによって、こ
れを見るユーザに対して動きがあり表現に富む画像を提
供することができる。また、一定周期で撮像画像を切り
替えるのではなく、乱数値などを用いてランダムなタイ
ミングで切り替えることにより、画像の動きを予測不能
にして、静止画であるが動画像に近い印象を与えること
ができる。例えば、コミュニケーション・データ作成側
では、ユーザは撮像タイミングに合わせてジェスチャな
どの動きを表現することで、より多くのメッセージをコ
ミュニケーション・データに埋め込むことができる。

【００２２】本発明の第１の側面に係るコミュニケーシ
ョン・データ作成装置又は方法において、前記処理部又
はステップは、ユーザが前記文章入力部に文章又は発言
を入力したことに応答して撮像部又はステップによる複
数回の撮像を実行開始するととも、コミュニケーション
・データを作成するようにしてもよい。

【００２３】また、前記撮像部又はステップにおける各
撮像タイミングをユーザに対して表示するインジケータ
をさらに含んでもよい。ユーザは、かかるインジケータ
表示に従って、所望の表情を形成したり、ジェスチャや
演技的な動作表現を試みることができる。

【００２４】また、前記文章入力部又はステップを介し
て入力された文章を解析する文章解析部又はステップ
と、該文章解析部又はステップによる解析結果に従って
前記撮像部又はステップによる撮像画像を処理する画像
処理部又はステップとをさらに備えてもよい。

【００２５】また、前記文章解析部又はステップは、前
記文章入力部又はステップを介して入力された文章中の
単語や言い回しの他に、"！"や"？"などの符号、フェイ
ス・マーク、エスケープ・シーケンスなどを抽出して、
これら符号を手がかりにして文章の意味内容を判定する
ようにしてもよい。

【００２６】また、前記画像処理部又はステップは、前
記文章解析部又はステップによる文章解析の結果判定さ
れたユーザの感情や文章の用途に応じて、撮像画像の背
景の設定や明度・輝度・濃淡の調整、ＣＧ画像との重ね
合わせ、セピア調・油絵調・水彩画調・モザイク調への
画像合成、ネガポジ反転、又は、その他の画像合成・変
形処理を行うようにしてもよい。

【００２７】また、前記文章入力部又はステップは、入
力文章の意味内容を明示する符号又はエスケープ・シー
ケンスの入力を受容してもよい。

【００２８】また、作成したコミュニケーション・デー
タを外部に転送する通信部又はステップをさらに備えて
もよい。

【００２９】また、作成したコミュニケーション・デー
タを格納するデータ蓄積部をさらに備えてもよい。

【００３０】また、複数のユーザの識別子と位置情報と
を組にして登録するユーザ位置情報登録部又はステップ
と、前記撮像部の撮像領域を所定の位置まで移動させる
駆動部又はステップとをさらに具備し、前記処理部又は
ステップは、あるユーザによって前記文章入力部又はス
テップに文章の入力が行われたことに応答して、前記ユ
ーザ位置登録部又はステップに問い合わせて該当する位
置情報を取得し、該位置情報に従って前記駆動部又はス
テップにより前記撮像部又はステップの撮像領域を移動
させて、前記文章入力部又はステップにおいて入力され
た文章又は発言内容と前記撮像部又はステップにおいて
撮像された複数の画像とで構成されるコミュニケーショ
ン・データを作成するようにしてもよい。

【００３１】また、前記ユーザ位置登録部は前記コミュ
ニケーション・データ作成装置本体とはネットワーク接
続されていてもよいし、複数のユーザ位置登録部を用い
てユーザの位置情報を分散して管理するようにしてもよ
い。

【００３２】また、本発明の第２の側面は、文章データ
と複数の画像データで構成されるコミュニケーション・
データを再生するコミュニケーション・データ再生装置
又は方法であって、表示画面を有する表示部と、前記表
示画面上にコミュニケーション・データを表示するため
のコマを設定し、該コマの中にコミュニケーション・デ
ータに含まれる文章及び複数の画像のうち１つを表示せ
しめる表示制御部又はステップと、を具備することを特
徴とするコミュニケーション・データ再生装置又は方法
である。

【００３３】本発明の第２の側面に係るコミュニケーシ
ョン・データ再生装置又は方法は、コミュニケーション
・データを外部から受信する通信部又はステップをさら
に備えてもよい。

【００３４】また、複数のコミュニケーション・データ
を格納するデータ蓄積部又はステップをさらに備えても
よい。

【００３５】また、前記表示制御部又はステップは、コ
マ内に表示する画像を任意又は所定の時間間隔で切り替
えるようにしてもよい。

【００３６】前記表示制御部又はステップは、前記表示
画面上に複数のコミュニケーション・データを表示する
ための各コマを割り当てて、１画面上で複数のコミュニ
ケーション・データを一覧表示できるようにしてもよ
い。この場合、複数のユーザ間での会話を享受すること
ができる。このような場合、各コマの縦及び／又は横方
向の配置や大きさがわざと不揃いとなるように前記表示
画面上に配設するようにして、時系列的な配置を表現す
るようにしてもよい。

【００３７】また、本発明の第３の側面は、実写画像付
きのコミュニケーション・データを作成する処理をコン
ピュータ言語で記述したソフトウェア・プログラムをコ
ンピュータ可読形式で記憶したプログラム記憶媒体であ
って、前記ソフトウェア・プログラムは、ユーザが文章
又は発言を入力するための文章入力ステップと、ユーザ
を所定時間以内に複数回撮像する撮像ステップと、前記
文章入力ステップにおいて入力された文章又は発言内容
と前記撮像ステップにおいて撮像された複数の画像とで
構成されるコミュニケーション・データを作成する処理
ステップと、を具備することを特徴とするプログラム記
憶媒体である。

【００３８】また、本発明の第４の側面は、文章データ
と複数の画像データで構成されるコミュニケーション・
データを表画面上で再生する処理をコンピュータ言語で
記述したソフトウェア・プログラムをコンピュータ可読
形式で記憶したプログラム記憶媒体であって、前記ソフ
トウェア・プログラムは、前記表示画面上にコミュニケ
ーション・データを表示するためのコマを設定し、該コ
マの中にコミュニケーション・データに含まれる文章及
び複数の画像のうち１つを表示する表示制御ステップを
具備することを特徴とするプログラム記憶媒体である。

【００３９】本発明の第３及び第４の側面に係るコンピ
ュータ可読記憶媒体は、例えば、様々なプログラム・コ
ードを実行可能な汎用コンピュータ・システムに対し
て、コンピュータ・プログラムをコンピュータ可読な形
式で提供する媒体である。このような媒体は、例えば、
ＣＤ（Compact Disc）やＦＤ（Floppy Disc）、ＭＯ（M
agneto-Optical disc）などの着脱自在で可搬性の記憶
媒体である。あるいは、ネットワーク（ネットワークは
無線、有線の区別を問わない）などの伝送媒体などを経
由してコンピュータ・プログラムを特定のコンピュータ
・システムに提供することも技術的に可能である。

【００４０】このようなプログラム記憶媒体は、コンピ
ュータ・システム上で所定のコンピュータ・プログラム
の機能を実現するための、コンピュータ・プログラムと
記憶媒体との構造上又は機能上の協働的関係を定義した
ものである。換言すれば、本発明の第３又は第４の側面
に係るプログラム記憶媒体を介して所定のコンピュータ
・プログラムをコンピュータ・システムにインストール
することによって、コンピュータ・システム上では協働
的作用が発揮され、本発明の第１又は第の各側面と同様
の作用効果を得ることができる。

【００４１】本発明のさらに他の目的、特徴や利点は、
後述する本発明の実施例や添付する図面に基づくより詳
細な説明によって明らかになるであろう。

【００４２】

【発明の実施の形態】以下、図面を参照しながら本発明
の実施例を詳解する。

【００４３】１．コミュニケーション・データの作成シ
ステム 図１には、本発明の実施に供されるコミュニケーション
・データ作成システム１の構成例を模式的に示してい
る。以下、各部について説明する。

【００４４】システム１０のメイン・コントローラであ
るＣＰＵ（Central Processing Unit）１１は、オペレ
ーティング・システム（ＯＳ）の制御下で、各種のアプ
リケーションを実行するようになっている。ＯＳは、例
えばＵＮＩＸ、あるいは米マイクロソフト社のＷｉｎｄ
ｏｗｓ９８／ＮＴでよいが、ビットマップ描画方式のウ
ィンドウ・システムを備えることがより好ましい。

【００４５】図示の通り、ＣＰＵ１１は、バス１９によ
って他の機器類と相互接続されている。バス１９上の各
機器にはそれぞれ固有のメモリ・アドレス又はＩ／Ｏア
ドレスが付与されており、ＣＰＵ１１はこれらアドレス
によって機器アクセスが可能となっている。バス１７の
一例はＰＣＩ（Peripheral Component Interconnect）
バスである。

【００４６】ＲＡＭ（Random Access Memory）１２は、
ＣＰＵ１１において実行されるプログラム・コードをロ
ードしたり、実行中の作業データを一時保管するために
使用される揮発性の記憶装置であり、通常は、複数個の
ＤＲＡＭ（dynamic RAM）チップで構成される。また、
ＲＯＭ（Read Only Memory）１３は、所定のプログラム
・コードやデータが恒久的に書き込まれた不揮発性の記
憶装置である。ＲＯＭ１３上には、例えば、電源投入時
に実行する自己診断プログラムや、ハードウェア入出力
操作用のコード群（ＢＩＯＳ：基本入出力システム）な
どが格納されている。

【００４７】ディスプレイ・インターフェース１４は、
ＣＰＵ１１が発行する描画命令を実際に処理するための
専用コントローラであり、例えばＳＶＧＡ（Super Vide
o Graphic Array）又はＸＧＡ（eXtended Graphic Arra
y）相当のビットマップ描画機能をサポートする。ディ
スプレイ・インターフェース１４において処理された描
画データは、例えばフレーム・バッファ（図示しない）
に一旦書き込まれた後、表示装置２１に画面出力され
る。表示装置２１は、例えば、ＣＲＴ（CathodeRay Tub
e）ディスプレイや、液晶表示ディスプレイ（Liquid Cr
ystal Display）などである。

【００４８】入力機器インターフェース１５は、キーボ
ード２２やマウス２３などのユーザ入力機器をシステム
１に接続するための装置である。入力機器インターフェ
ース１５は、キーボード２２によるキー入力又はマウス
２３を介した座標指示入力に応答して、ＣＰＵ１１に対
して割り込みを発生する。

【００４９】ネットワーク・インターフェース１６は、
Ｅｔｈｅｒｎｅｔなどの所定の通信プロトコルに従っ
て、システム１をＬＡＮ（Local Area Network）などの
ネットワークに接続することができる。ネットワーク・
インターフェース１６は、一般に、ＬＡＮアダプタ・カ
ードの形態で提供され、マザーボード（図示しない）上
のＰＣＩバス・スロットの装着して用いられる。但し、
ネットワーク・インターフェースではなく、モデム（図
示しない）経由で外部ネットワークに接続することもで
きる。

【００５０】ネットワーク上では、複数のホスト（図示
しない）がトランスペアレントな状態で接続され、分散
コンピューティング環境が構築されている。また、ネッ
トワーク上のホストの一部はルータとして稼動し、さら
に他のＬＡＮやインターネットなどの広域ネットワーク
に接続されている。ネットワーク上では、ソフトウェア
・プログラムやデータ・コンテンツなどのディストリビ
ューションが行われる（周知）。例えば、本実施例に係
るコミュニケーション・データ作成アプリケーションを
ネットワーク経由で配信することが可能である。

【００５１】外部機器インターフェース１７は、ハード
・ディスク・ドライブ（ＨＤＤ）２４やメディア・ドライ
ブ２５などの外部装置をシステム５００に接続するため
の装置である。外部機器インターフェース１７は、例え
ば、ＩＤＥ（Integrated Drive Electronics）やＳＣＳ
Ｉ（Small Computer System Interface）などのインタ
ーフェース規格に準拠する。

【００５２】ＨＤＤ２４は、記憶担体としての磁気ディ
スクを固定的に搭載した外部記憶装置であり（周知）、
記憶容量やデータ転送速度などの点で他の外部記憶装置
よりも優れている。ソフトウェア・プログラムを実行可
能な状態でＨＤＤ２４上に置くことをプログラムのシス
テムへの「インストール」と呼ぶ。通常、ＨＤＤ２４に
は、オペレーティング・システムや、アプリケーション・
プログラム、デバイス・ドライバなどのＣＰＵ１１が実
行すべきプログラム・コードが不揮発的に格納されてい
る。

【００５３】また、メディア・ドライブ２５は、ＣＤ（C
ompact Disc）やＭＯ（Magneto-Optical disc）、ＤＶ
Ｄ（Digital Versatile Disc）などの可搬型メディアを
装填して、データ記録面にアクセスするための装置であ
る。可搬型メディアは、主として、ソフトウェア・プロ
グラムやデータ・ファイルなどをコンピュータ可読形式
のデータとしてバックアップすることや、これらをシス
テム間で移動（販売・流通・配布を含む）する目的で使用
される。例えば、このような可搬型メディアを媒介にし
て、本実施例に係るコミュニケーション・データ作成ア
プリケーションを多数のユーザに配布することが可能で
ある。

【００５４】カメラ・インターフェース１８は、カメラ
２８による撮像画像をリアルタイムでシステム１内に取
り込むための装置である。カメラ２８からの入力画像は
動画又は静止画のいずれであってもよいが、本発明は静
止画像を連続して取り込むことができれば充分である。

【００５５】カメラ２８としては、例えばＣＣＤ（Char
ge Coupled device：電荷結合素子）カメラを用いるこ
とができる。ここで、ＣＣＤとは、ＭＯＳ（Metal Oxid
e Semiconductor）型電極をチェーンのように配設して
構成される集積回路のことであり、半導体表面の電荷を
ある電極から次の電極へと順次転送する機能を利用し
て、撮像した画像データを出力するようになっている。
本実施例では、カメラ２８は、レンズの視線方向にいる
ユーザの姿を撮像するものとする。

【００５６】なお、コミュニケーション・データ作成シ
ステム１は、専用のハードウェア装置であってもよい
が、ワークステーション又はパーソナル・コンピュータ
（ＰＣ）と呼ばれる一般的な計算機システム上で所定の
コミュニケーション・データ作成アプリケーションを実
行するという形態で構成することができる。このような
計算機システムの一例は、米ＩＢＭ社のＰＣ／ＡＴ（Pe
rsonal Computer/Advanced Technology）互換機又はそ
の後継機である。

【００５７】また、カメラは、デジタル・カメラなどの
市販装置を計算機システム１のＵＳＢ（Universal Seri
al Bus）ポートやｉ−ｌｉｎｋ（ＩＥＥＥ１３９４）ポ
ートなどにローカル接続することでオプション的に装備
することができる。あるいは、図２に示すような、ディ
スプレイ・ユニットを配置した蓋体側にカメラを一体的
に取り付けたノートブックＰＣ（例えばソニー(株)製の
「バイオＣ１」）などを、本実施例に係るコミュニケー
ション・データ作成システム１に適用することも可能で
ある。

【００５８】次いで、このようなシステム１上で実現さ
れるコミュニケーション・データ作成処理手順について
詳細に説明する。

【００５９】本実施例で言う「コミュニケーション・デ
ータ」は、２以上のユーザ間で取り交わすことができる
データのことであり、会話の発言内容に相当する文章す
なわちテキスト・データの他に、話者に相当するユーザ
の姿（例えば顔のみ又は上半身のみでもよい）を撮像し
た画像で構成される。コミュニケーション・データは、
ネットワーク経由で転送するときの帯域幅の制約や、メ
ディアに格納する場合の記憶容量の制約を考慮して、な
るべく小容量であることが好ましい。また、データとし
て含まれる画像の入力すなわち撮像操作は、ユーザにと
って精神的な障壁の低いものであることが好ましい。

【００６０】図３には、コミュニケーション・データを
作成するための処理手順をフローチャートの形式で図解
している。以下、このフローチャートを参照しながら説
明する。

【００６１】コミュニケーション・データの作成処理
は、ユーザがシステム１上に文章を入力することをトリ
ガにして開始する（ステップＳ１１）。ここで言う入力
文章とは、例えば、チャットにおける会話文や寄せ書き
におけるコメントなど、コミュニケーション・データに
含まれるテキスト情報に相当する。

【００６２】ステップＳ１６では入力された文章を解析
し、続くステップＳ１７ではこの文章解析結果に応じた
画像処理方法を選択する。そして、選択された画像処理
方法は、画像処理を行うステップＳ１４に投入される。

【００６３】ここで言う文章の解析とは、例えば、文章
のコンテキストを理解して、喜怒哀楽など文章入力を行
ったユーザの現在抱いている感情や、文章の用途（例え
ば日常の挨拶文か、御祝い事か、あるいは弔問かなど）
を把握することであってもよい。

【００６４】あるいは、入力文章中の単語や言い回しの
他に、"！"や"？"などの符号を抽出して、これら符号を
手がかりにして文章の意味内容を判定するようにしても
よい。入力文章中にいわゆるフェイス・マーク（例え
ば、笑顔を示す" (*^。^*)"や、睡眠を表す" (-_-)zzz"
など）が含まれている場合には、文章解析の重要な手が
かりとなる。

【００６５】あるいは、文章を入力するユーザ自身が、
解析処理を容易にするために、特殊な記号や、何らかの
エスケープ・シーケンスを用いるようにしてもよい。例
えば、 文頭や文末に処理方法の名前を括弧で括って書
いたり（例：これはテストです。[セピア](画像をセピ
ア色にする)）、文頭や文末に処理方法に対応した記号
を置く（例： ★これはネガです。(例えば、★が画像の
色の反転に割り当てられている)）ことで、後続の画像
処理の内容を明示することができる。

【００６６】また、画像処理方法は、これら文章解析の
結果判定されたユーザの感情や文章の用途に応じた背景
の設定や明度・輝度の調整その他の画像合成・変形処理を
包含する。例えば、撮像画像をセピア色にする、色を反
転する（ネガポジ反転）、油絵調にする、水彩画調にす
る、ＣＧ（Computer Graphics）を重ねる、色の濃淡を
変更する、モザイク調にする、歪ませる（画像変形）な
どが挙げられる。例えば、入力文章中に"！"のような符
号を発見した場合には、撮像画像の色を濃く変換しても
よい。また、入力文章中に泣き顔を模したフェイス・マ
ークが含まれている場合には、悲しい雰囲気を醸し出
す"降雨"又はその他のＣＧをオーバレイしてもよい。

【００６７】但し、特に画像処理を行う必要がない場合
には、図３中で一点鎖線で囲まれたステップＳ１６，Ｓ
１７，及びＳ１４を省略することができる。

【００６８】また、ユーザが文章を入力したことに応答
して、カメラ２８を用いたユーザの撮影動作を開始す
る。すなわち、まず、ユーザに対して撮影枚数や撮影タ
イミングを通知する（ステップＳ１２）。

【００６９】１回の文章入力トランザクションでユーザ
に割り当てられる画像表示領域のことを本明細書中では
「コマ」とも呼ぶことにするが、ここで言う撮影枚数と
は、１コマ内で使用する撮像画像の枚数のことを意味す
る。例えば、撮影枚数が１枚であればそのコマは単一の
静止画のみを表示しつづけることになるが、撮影枚数が
２枚以上であれば、そのコマは複数の静止画で構成さ
れ、所定周期又はランダムな時間間隔で撮像画像が次々
に切り替わる（但し、複数の撮像画像で構成される場合
のコマの表示方法については、後述に譲る）。

【００７０】また、撮影タイミングは、例えば、ディス
プレイ２１上でタイミングを測るためのインジケータを
表示することによってユーザに通知する。但し、スピー
カ（図示しない）を介した音声出力によって撮影タイミ
ングを通知してもよい。図４には、ディスプレイ２１上
で撮影タイミングを通知する例を示している。同図にお
いて、ディスプレイ２１画面上には、カメラの撮像画像
とともにインジケータが重畳表示されている。インジケ
ータは、一列に並んだ複数の小さなブロックで構成さ
れ、且つその配列方向が時間軸を表し、撮影タイミング
が近づくにつれて各ブロックがカウントダウンされてい
く。ユーザは通知された撮影タイミングを手がかりに自
分の表情を形成することができるので撮像画像に対して
演出効果を付加し易くなる。また、複数の静止画像を用
いることにより表現力が増す（例えば、各画像間の動き
や差分により、ジェスチャなどの動きのある表現を与え
ることができる）

【００７１】また、ユーザは常時撮影されている訳では
ないので、映されることに対する心理的・精神的な障壁
が低くなり、気楽に構えることができる。ユーザが一般
家庭にいるような場合には、むしろ移されたくないこと
もあるが、自分の映像ではなく、人形やその他の物理オ
ブジェクトを自分の代用キャラクタとしてカメラに向け
るようにしてもよい。

【００７２】各撮影タイミング毎に、システム１の目の
前に居るユーザの姿をカメラ２８によって撮像する（ス
テップＳ１３）。そして、各撮像画像に対して選択され
た画像処理を適用して、入力文章に適合した修飾その他
の視覚的効果を付加する（ステップＳ１４）。但し、前
述したように、ステップＳ１４の画像処理を省略するこ
とができる。

【００７３】視覚的効果は、例えば、撮像画像をセピア
色にする、色を反転する（ネガポジ反転）、油絵調にす
る、水彩画調にする、ＣＧ（Computer Graphics）を重
ねる、色の濃淡を変更する、モザイク調にする、歪ませ
る（画像変形）などが挙げられる。例えば、入力文章中
に"！"のような符号を発見した場合には、撮像画像の色
を濃く変換してもよい。

【００７４】そして、処理画像は入力文章と組にして１
つの「コミュニケーション・データ」を構成する。この
ようなコミュニケーション・データは、指定されたメデ
ィアに保管されるか、又は、所定のサーバ（図１には図
示しない）に送信される。

【００７５】本処理ルーチンにより得られたコミュニケ
ーション・データすなわち文章付き撮像画像を寄せ書き
（後述）として用いる場合には、メディアに保管すれば
よい。また、この文章付き撮像画像をチャットにおける
１回のトランザクションとして利用する場合には、チャ
ット・サーバに送信すればよい（後述）。

【００７６】コミュニケーション・データは、ユーザの
撮像画像による視覚情報を有するので、テキスト・ベー
スの文章しか含まない場合に比し、通信相手に対して大
きな刺激を与えることができる。また、複数の撮像画像
を用いて動きを表現するので、さらに多くのメッセージ
を伝達することができる。また、画像の動きは基本的に
静止画のみで構成されるので、動画像を扱うデータ通信
やデータ蓄積に比しデータ・サイズは格段に少なくて済
み、伝送負荷や記憶負荷が軽減される。

【００７７】本実施例に係るコミュニケーション・デー
タは、Ｊａｖａのようなプログラミング言語を用いて記
述することができる。例えば、１つの入力文章に対して
２枚の静止画像が添付されたコミュニケーション・デー
タは以下のように記述することができる。但し、"Strin
g text"は入力文章のテキスト・データであり、また、"I
mage frame1"及び"Image frame2"はともに静止画像デー
タであるとする。

【００７８】

【数１】 // 形式０ // 基本型（１つの入力文章に対して、２枚の静止画像） class Unitdata { String text; Image frame1; Image frame2; }

【００７９】また、１回のトランザクションすなわち１
つの入力文章に対して複数枚（又は枚数非限定）の撮像
画像を添付する場合には、コミュニケーション・データ
を以下のように記述することができる。この場合、静止
画像を配列型として定義すればよい。

【００８０】

【数２】 // 形式１ // 一般型（１つの入力文章に対して、複数枚（又は枚数非限定）の静止画像） class Unitdata { String text; Image[] frame; }

【００８１】また、以下のように、撮像画像をリスト構
造で提供することも可能である。

【００８２】

【数３】 // 形式２ // リスト構造を使用する場合 class Unitdata { String text; ImageList frame; } class ImageList { Image frame; ImageList next; }

【００８３】また、１つのコミュニケーション・データ
の中に撮像画像だけでなく入力文章も複数使用してもよ
い。この場合、上記の形式１の応用例として、以下のよ
うにコミュニケーション・データを記述すればよい。

【００８４】

【数４】 // 形式３ // 応用型（複数の入力文章及び複数枚（又は枚数非限定）の静止画像） class Unitdata { String[] text; Image[] frame; }

【００８５】また、上記の形式２の応用例として、撮像
画像だけでなく、入力文章の方もリスト形式で提供する
ことができる。この場合、以下のようにコミュニケーシ
ョン・データを記述すればよい。

【００８６】

【数５】

【００８７】本実施例に係るコミュニケーション・デー
タは、入力文章と、文章入力時に併せて撮像されたユー
ザの画像との組み合わせで構成される。コミュニケーシ
ョン・データの再生装置側では、入力文章をブラウザ画
面上に常時表示するとともに、撮像画像を逐次切り替え
ることによって、これを見るユーザに対して動きがあり
表現に富む画像を提供することができる。

【００８８】コミュニケーション・データ作成側では、
ユーザは撮像タイミングに合わせてジェスチャ又は演技
的な動きなどを表現することによって、より多くのメッ
セージをコミュニケーション・データに埋め込むことが
できる。図１０には、ジェスチャを含んだコミュニケー
ション・データを再生表示する様子を模式的に示してい
る。同図に示すように、データ再製側のブラウザが２枚
の画像を交互に表示することにより（同図（ａ）及び
（ｂ）を参照のこと）、「万歳」のような動作を表現す
ることができる。

【００８９】また、一定周期で撮像画像を切り替えるの
ではなく、乱数値などを用いてランダムなタイミングで
切り替えることにより、画像の動きを予測不能にして、
静止画であるが動画像に近い印象を与えることができ
る。

【００９０】各静止画像を撮像する間隔は短いので、通
常の動画像のように時間をかけて見る必要はなく、ほぼ
一瞬でそのコマの全ての内容を見ることができる。短い
時間間隔では画像に含まれる動きもそれほど大きくはな
いので、コマの内容を理解し易いはずである。かかる理
由により、動画像を用いた場合の一覧性の低さを避ける
ことが可能となる。

【００９１】複数の静止画で表現可能な動作は様々であ
る。例えば指で方向を指し示している方向を強調するよ
うなジェスチャなどの意識的な動作をしたり、演技的な
動作を複数の静止画に埋め込むことができる。また、撮
影される際、複数枚撮られることを特に意識しなくて
も、各撮像時毎にユーザの身体は微妙に動いてしまうの
で、結果として動きのあるコマを生成することができ
る。このような微妙な動きは、人間の無意識な自然な動
きであり、複数の静止画を交互に表示することにより、
見る者には動画像を提供しているような感覚を与えるこ
とができる。

【００９２】また、画像だけではなく入力文章も複数含
んでいる場合には、ブラウザに表示する文章を一定周期
又は任意のタイミングで切り替えてもよい。

【００９３】図３を参照しながら説明したコミュニケー
ション・データの作成処理手順では、文章や画像の入力
だけでなく、撮像画像の処理も単一のシステム１上で行
う構成であった。しかしながら、画像処理は一般に強力
な計算機資源を必要とする高負荷の処理であり、システ
ム１がパーソナル・コンピュータのような一般消費者向
けの製品で構成される場合には、実装が困難となること
がある。このような場合、図３に示すフローチャートの
うち、画像処理部分を外部の高機能な計算機システムに
処理を委ねるようにしてもよい。

【００９４】図５に示すフローチャートは、図３に示し
たコミュニケーション・データ作成処理手順の変形例で
あるが、その主な相違は画像処理をシステム１外部の画
像処理サーバに委ねる点にある。ここで言う画像処理サ
ーバは、例えばネットワーク・インターフェース１６経
由で接続されたネットワーク上に配設されている（但
し、図１には図示しない）。

【００９５】コミュニケーション・データの作成処理
は、例えば、ユーザがシステム１上に文章を入力するこ
とをトリガにして開始する（ステップＳ２１）。ここで
言う入力文章とは、チャットにおける会話文や寄せ書き
におけるコメントなど、コミュニケーション・データに
含まれるテキスト情報に相当する。

【００９６】ステップＳ２５では入力された文章を解析
し、続くステップＳ２６ではこの文章解析結果に応じた
画像処理方法を選択する。ここで言う文章の解析とは、
例えば、文章のコンテキストを理解して喜怒哀楽など文
章入力を行ったユーザの現在抱いている感情や、文章の
用途（例えば日常の挨拶文か、御祝い事か、あるいは弔
問かなど）などを判定することである。また、画像処理
方法は、これら入力ユーザの感情や文章の用途に応じた
背景の設定や明度・輝度の調整その他の画像合成・変形処
理を包含する。

【００９７】また、ユーザが文章を入力したことに応答
して、カメラ２８を用いたユーザの撮影動作を開始す
る。すなわち、まず、ユーザに対して撮影枚数や撮影タ
イミングを通知する（ステップＳ２２）。そして、各撮
影タイミング毎に、システム１の目の前に居るユーザの
姿をカメラ２８によって撮像する（ステップＳ２３）。

【００９８】処理画像は入力文章と組にして１つの「コ
ミュニケーション・データ」を構成する。図４に示す例
では、ステップＳ２６において選択された画像処理方法
をコミュニケーション・データに添付して、所定の画像
処理サーバに送信する（ステップＳ２４）。

【００９９】画像処理サーバ側では、コミュニケーショ
ン・データ中に含まれる各撮像画像に対して指定された
画像処理を実行する。そして、処理後のコミュニケーシ
ョン・データは、指定されたメディアに保管されるか、
又は、要求元や所定のサーバ（図１には図示しない）に
送信される。

【０１００】また、図６には、本発明の実施に供される
コミュニケーション・データ作成システム１−２の構成
例を模式的に示している。

【０１０１】図６に示す実施形態は、図１に示した場合
とは相違し、単一のカメラ及びコミュニケーション・デ
ータ作成システム１−２を複数のユーザ間で共有する構
成となっている。より具体的には、コミュニケーション
・データ作成システム１−２は、学会や講演会、会議な
ど、多数の参加者で構成される会場すなわちコミュニケ
ーションの場において適用される。

【０１０２】同システム１−２においては、カメラ３１
は、ＸＹＺ軸各方向の並進及び／又は各軸回りの回転自
由度を持つ駆動テーブル３２上に搭載されている。カメ
ラ３１による撮像画像の処理や、駆動テーブル３２の制
御は、サーバ３３によって行われる。また、サーバ３３
は、各ユーザ４１−１，４１−２…から送られてくるコ
ミュニケーション・データを統括的に処理する。１つの
コミュニケーション・データは、ユーザによる入力文章
と１枚以上のユーザの撮像画像で構成される（同上）。

【０１０３】会場内に散在する各ユーザ４１−１，４１
−２…にはユーザＩＤと座席などの位置情報が一意に割
り当てられており、且つ、これらユーザ情報はデータベ
ース管理されている。したがって、サーバ３３に対して
ユーザＩＤを示して撮像要求を発行すると、サーバ３３
はデータベース中を探索して位置情報を取り出し、駆動
テーブル３２を駆動させてカメラ３１を指定されたユー
ザに向けることができる。

【０１０４】ユーザＩＤと一意となるサイバーコード
^[1]のような視認情報（図示しない）を各ユーザに与え
ておいてもよい。この場合、サーバ３３は、会場内をカ
メラ３１で探索して、各ユーザ４１−１，４１−２…に
貼設された視認情報を手がかりにユーザを特定すること
ができるので、ユーザの位置情報を事前にデータベース
登録しておかなくても済む。

【０１０５】他方、各ユーザ４１−１，４１−２…に
は、発言内容すなわち文章を自分の手元でキー入力する
ために、ノートブックＰＣのような携帯型計算機４２−
１，４２−２…が与えられている。これら携帯型計算機
４２−１，４２−２…は、ユーザによる入力文章をサー
バ３３側に送信するために、サーバ３３及び他の携帯型
計算機とはイーサネットのようなＬＡＮ（local Area N
etwork）、又は、ｂｌｕｅｔｏｏｔｈのような近距離無
線データ通信によって接続されている。

【０１０６】携帯型計算機４２を介して文章をキー入力
することの代替案として、会場内に１以上のマイク（図
示しない）を設置してもよい。マイクによる入力音声は
サーバ３３にライン入力され、サーバ３３上ではこれを
音声認識して文字すなわちテキスト・データに変換する
か、又は音声データのままの状態で、コミュニケーショ
ン・データの構成要素として組み込んでもよい。

【０１０７】サーバ３３は、各ユーザ４１−１，４１−
２…から時々刻々送られてくるコミュニケーション・デ
ータの処理結果などを出力するための画像出力装置を備
えている。処理結果を全てのユーザ４１−１，４１−２
…が共有できるように、この画像出力装置は会場内に設
置された大画面ディスプレイであることが好ましい。大
画面ディスプレイは、例えば、サーバ３３によって表示
駆動されるＬＣＤプロジェクタ３４による投影画像をス
クリーン３５上に投影することによって実現される。ま
た、大画面ディスプレイの代替案として、サーバ３３上
の処理結果を、ＬＡＮやｂｌｕｅｔｏｏｔｈなどの通信
媒体を経由して各ユーザ４１−１，４１−２…の携帯型
計算機４２−１，４２−２…に送り返すようにしてもよ
い。

【０１０８】コミュニケーションの場では、挙手その他
のユーザ・アクションに応答して、あるいはラウンド・ロ
ビン形式で各ユーザ４１−１，４１−２…に発言権が与
えられる。（あるいは、コミュニケーションの場では、
「発言権」に関する厳密なルールを設定せず、各ユーザ
に自由に又は任意に発言する機会を与えるようにしても
よい。この場合、ユーザが発言を入力すると、自動的に
発言権が得られる。）

【０１０９】発言権を得たユーザ４１は、自分の携帯型
計算機４２上に発言内容すなわち文章を入力する。

【０１１０】他方のサーバ３３は、発言権を得たユーザ
４１のユーザＩＤを基にして、ユーザの居場所を特定す
る。あるいは各ユーザ４１に貼設されたサイバーコード
などの視認情報を基に、会場内でユーザを探し当てるよ
うにしてもよい。

【０１１１】そして、サーバ３３は、駆動テーブル３２
を駆動して、カメラ３１の視界すなわち撮像領域内に該
当するユーザ４１の姿を収めて、所定の撮影タイミング
で１回又は複数回ユーザ４１を撮影する。このとき、撮
影タイミングをとるためのインジケータ（図４を参照の
こと）を大画面スクリーン３５に投影表示したり、各ユ
ーザの携帯型計算機４２−１，４２−２…上に表示した
りしてもよい。あるいは、パイロット・ランプ（図示し
ない）などの装置を会場内に設置して、撮像タイミング
をとるための視覚的フィードバックを与えるようにして
もよい。

【０１１２】なお、図６に示したサーバ３３や、各携帯
型計算機４１としては、米ＩＢＭ社のＰＣ／ＡＴ互換機
又はその後継機のような、一般的な計算機システムを適
用することができる。

【０１１３】図７には、図６に示すコミュニケーション
・データ作成システム１−２においてコミュニケーショ
ン・データを作成するための処理手順をフローチャート
の形式で図解している。以下、このフローチャートを参
照しながら説明する。

【０１１４】コミュニケーション・データの作成処理
は、ユーザがシステム１上に文章を入力することをトリ
ガにして開始する（ステップＳ３１）。ここで言う入力
文章とは、例えば、会議その他のコミュニティにおける
参加者の発言内容である。

【０１１５】サーバ３３は、ある特定のユーザが発言権
を得たことを認識すると、そのユーザＩＤをデータベー
スに転送して、会場内におけるユーザの位置情報を問い
合わせる（ステップＳ３２）。これに対し、データベー
スからは該当するユーザの位置情報が返される。

【０１１６】サーバ３３は、ユーザの位置情報に従って
駆動テーブル３２を動作して、カメラ３１を該ユーザが
居る方向に向ける（ステップＳ３３）。

【０１１７】また、ステップＳ３８では入力された文章
を解析し、続くステップＳ３９ではこの文章解析結果に
応じた画像処理方法を選択する。そして、選択された画
像処理方法は、画像処理を行うステップＳ３６に投入さ
れる。

【０１１８】ここで言う文章の解析とは、例えば、文章
のコンテキストを理解して喜怒哀楽など文章入力を行っ
たユーザの現在抱いている感情や、文章の用途（例えば
今までの議論に対する肯定か否定か、あるいは順接か逆
接かなど）などを判定することである。また、画像処理
方法は、これら入力ユーザの感情や文章の用途に応じた
背景の設定や明度・輝度の調整その他の画像合成・変形処
理を包含する。但し、特に画像処理を行う必要がない場
合には、図７中で一点鎖線で囲まれたステップＳ３８，
Ｓ３９，及びＳ３６を省略することができる。

【０１１９】他方、カメラ３１がユーザに向けられたこ
とに応答して、カメラ３１を用いたユーザの撮影動作を
開始する。すなわち、まず、ユーザに対して撮影枚数や
撮影タイミングを通知する（ステップＳ３４）。

【０１２０】このとき、ユーザに対してカメラ３１の撮
像タイミングの視覚的フィードバック（前述）を与えて
もよい。ユーザは通知された撮影タイミングを手がかり
に自分の表情を変えることができるので撮像画像に対し
て演出効果を付加し易くなる。また、複数の静止画像に
より表現力が増す（例えば、各画像間の動きや差分によ
り、ジェスチャ又は演技的な動きのある表現を与えるこ
とができる）。また、ユーザは常時撮影されている訳で
はないので、映されることに対する心理的・精神的な障
壁が低くなる。

【０１２１】１回の文章入力トランザクションでユーザ
に割り当てられる画像表示領域のことを本明細書中では
「コマ」と呼ぶことにするが、ここで言う撮影枚数と
は、１コマ内で使用する撮像画像の枚数のことを意味す
る。例えば、撮影枚数が１枚であればそのコマは単一の
静止画のみを表示しつづけることになるが、撮影枚数が
２枚以上であれば、そのコマは複数の静止画で構成さ
れ、所定周期又はランダムな時間間隔で撮像画像が次々
に切り替わる（但し、複数の撮像画像で構成される場合
のコマの表示方法については、後述に譲る）。

【０１２２】各撮影タイミング毎に、システム１の目の
前に居るユーザの姿をカメラ２８によって撮像する（ス
テップＳ３５）。そして、各撮像画像に対して選択され
た画像処理を適用して、入力文章に適合した修飾その他
の視覚的効果を付加する（ステップＳ３６）。但し、前
述したように、ステップＳ３６の画像処理を省略するこ
とができる。

【０１２３】そして、処理画像は入力文章と組にして１
つの「コミュニケーション・データ」を構成する。この
ようなコミュニケーション・データは、サーバ３３に送
信され、サーバ３３上で一元的に処理される。コミュニ
ケーション・データは、例えば、上述した［数１］〜
［数４］のような形式で記述することができる。

【０１２４】コミュニケーション・データは、ユーザの
撮像画像による視覚情報を有するので、テキスト・ベー
スの文章しか含まない場合に比し、通信相手に対して大
きな刺激を与えることができる。また、複数の撮像画像
を用いて動きを表現するので、さらに多くのメッセージ
を伝達することができる。また、画像の動きは基本的に
静止画のみで構成されるので、動画像を扱うデータ通信
やデータ蓄積に比しデータ・サイズは格段に少なくて済
み、伝送負荷や記憶負荷が軽減される。

【０１２５】なお、図６及び図７に示す例では、ユーザ
ＩＤとユーザの位置情報を管理するデータベースは、サ
ーバ３３がローカルに保存しているが、必ずしもこのよ
うな構成には限定されない。例えば、サーバ３３とは別
のデータベース・サーバ３６が存在し、新たにユーザが
発言する度にサーバ３３が他のデータベース・サーバ３
６に問い合わせるようにしてもよい。さらに、会議など
のコミュニティが膨大数のユーザで構成されたり、コミ
ュニティ自体が遠隔会議などの形式で各地に分散してい
るような場合には、ネットワーク接続された複数のデー
タベース・サーバ３６−１，３６−２…にユーザ情報の
管理を分散して委ねてもよい（図８を参照のこと）。

【０１２６】このような場合、図７のステップＳ３２に
おけるデータベースへの問い合わせに対して、各データ
ベース・サーバ３６は、例えば図９に示すフローチャー
トに従って動作すればよい。以下、このフローチャート
の各ステップについて説明する。

【０１２７】データベース・サーバ３６は、例えばネッ
トワーク経由でサーバ３３又は他のデータベース・サー
バからユーザＩＤを伴った問い合わせを受けることによ
って起動する（ステップＳ４１）。

【０１２８】問い合わせに対し、サーバ３６は自己のロ
ーカルにデータベースが存在するか否かをまず確認する
（ステップＳ４２）。ローカル・データベースが存在す
る場合にはこれを参照して（ステップＳ４３）、問い合
わされているユーザＩＤに該当するエントリがあるか否
かを判別する（ステップＳ４４）。該当エントリが存在
する場合には、該エントリからユーザの位置情報を取り
出して（ステップＳ４５）、要求元のサーバ３３又は他
のデータベース・サーバに返す。

【０１２９】他方、問い合わせを受けたデータベース・
サーバ３６自体が未だローカルにデータベースを構築し
ていない場合（ステップＳ４２）、あるいは、自己のロ
ーカル・データベース中に問い合わせに該当するエント
リを持たない場合には（ステップＳ４４）、ステップＳ
４６に進んで、ネットワーク上に他のデータベース・サ
ーバが存在するか否かを判別する。

【０１３０】ネットワーク上に他のデータベース・サー
バが存在しない場合には、ステップＳ５０に進み、デフ
ォルトの位置情報を要求元のサーバ３３又は他のデータ
ベース・サーバに返す。

【０１３１】ネットワーク上に他のデータベース・サー
バが存在する場合には、該他のデータベース・サーバに
対して当該ユーザＩＤを伴った問い合わせを発行して
（ステップＳ４７）、これに対する戻り値を受け取る
（ステップＳ４８）。

【０１３２】他のデータベース・サーバに問い合わせを
した結果、ユーザの位置情報を取得できた場合には（ス
テップＳ４９）、ステップＳ４５に進み、要求元のサー
バ３３又は他のデータベース・サーバに該位置情報を返
す。

【０１３３】また、他のデータベース・サーバに問い合
わせをしても、ユーザの位置情報を取得できなかった場
合には（ステップＳ４９）、ステップＳ５０に進み、デ
フォルトの位置情報を要求元のサーバ３３又は他のデー
タベース・サーバに返す。

【０１３４】このようにしてデータベースから位置情報
を受け取ったサーバ３３は、該当するユーザの方向にカ
メラ３１を向け、所定のタイミングで撮像することがで
きる（上述）。さらに、サーバ３３は、複数の撮像画像
と入力文章とで構成されるコミュニケーション・データ
を作成することができる。

【０１３５】２．チャット・システムへの応用 既に述べたように、本実施例に係るコミュニケーション
・データは、チャット・システムにおける発言内容として
用いることができる。この場合、各発言内容にユーザの
実写画像が付加された「実写チャット」なるサービスを
提供することができる。実写チャットによれば、互いの
表情を伝え合うことができ、会話に臨場感が増す。各ロ
グイン・ユーザは以下では、本発明をチャット・システム
に適用した例について説明する。

【０１３６】図１１には、本実施例に係るチャット・シ
ステム３の構成を模式的に示している。同図に示すよう
に、チャット・システム３は、チャットにログインする
複数のユーザ端末と、各ユーザ端末からアップロードさ
れた発言内容を統括的に管理するチャット・サーバとで
構成される。

【０１３７】チャット・サーバ及び各ユーザ端末は、Ｌ
ＡＮ又はインターネットなどの分散ネットワークを介し
て相互接続されており、例えばＴＣＰ／ＩＰ（Transmis
sionControl Protocol/Internet Protocol）プロトコル
に従ってサービス要求及びサーバス提供などのトランザ
クションを行うことができる。分散ネットワーク環境下
では、各ユーザはプログラムやデータなど資源オブジェ
クトの所在を特に認識する必要がなくなる。また、コン
ピュータにおいて実行される手続きやメソッドも、ネッ
トワーク上で分散して保持され、管理されている。例え
ば、ネットワーク上のある１つのコンピュータ上で動作
しているプロセスが、他のコンピュータ上で動作するプ
ロセスの手続きを呼び出して実行させることができる。

【０１３８】本実施例では、ログイン・ユーザから送ら
れてくる発言は、入力文章と複数枚の撮像画像で構成さ
れるコミュニケーション・データ（前述）である。ユー
ザ端末としては、例えば図１に示すコミュニケーション
・データ作成システム１を適用することができる。

【０１３９】また、チャット・システム３は、サーバ・ク
ライアント型システムとして構築され、例えばＩＲＣ
（Internet Relay Chat）プロトコルを利用することが
できる。ＩＲＣで使用されるＩＲＣプロトコルはＲＦＣ
（Request For Comments）１４５９で規定されている。

【０１４０】チャット・サーバ５は、各ログイン・ユーザ
の端末１から送られてくる発言すなわちコミュニケーシ
ョン・データを集計処理して、時系列的に管理するとと
もに、処理結果を全てのログイン・ユーザの端末１に配
信する。

【０１４１】図１２には、ユーザ端末１上のチャット・
ブラウザ画面を模式的に示している。、同図に示すよう
に、該ブラウザ画面上には、各ユーザの発言内容を表示
するウィンドウ・フレームすなわち「コマ」が時系列的
に配設されている。各コマは、発言者による入力文章と
発言者を撮像した静止画像で構成される。

【０１４２】画面上における複数のコマの配置には乱数
的な要素が取り入れられている。文字列を横書きするよ
うな場合、左上から右向きに進む慣習がある。これに対
し、同じ大きさの画像を碁盤状に並べると、人間の目に
は縦方向又は横方向に時間軸が設定されているかを一目
で判断することが難しくなる。そこで、本実施例では、
図１２にも示す通り、コマの横幅をわずかに伸び縮みさ
せて画像が揃わないようにすることにより、横方向へ時
間が進行することを目視で理解し易いようにしている。

【０１４３】また、コマに表示する画像は、所定周期又
はランダムな時間間隔で次々に切り替わる。この表示の
切り替えの時間間隔が一律又は固定的であると、同一画
面上に表示されている複数のコマが同期的に動くことに
なり、見る者に不自然な感じを与えてしまう。本実施例
では、表示切替のタイミングに乱数的な要素を取り入れ
ることにより、このような不自然さを排することができ
る。

【０１４４】各コマの画像の切り替え処理は、チャット
・サーバ５が一元的に管理してもよいが、一旦コミュニ
ケーション・データをユーザ端末１に送信した後はユー
ザ端末側１に委ねることもできる（後者の方が、サーバ
負荷及び通信負荷が軽減される）。また、該ブラウザ画
面の略右下部分には、各ユーザ端末１上での現在のユー
ザの撮像画像を表示して（図示）、発言内容の表示と次
の発言内容の入力とを同じウィンドウ・フレーム内で行
うようにしてもよい。

【０１４５】本実施例に係る実写チャットのブラウザ画
面では、画像も表示しなければならなくなる分、従来の
チャット・システムに比し、１画面フレーム内に表示で
きる発言の数量は少なくなる。しかし、発言者の顔や表
情を映し出したり、具体的な事物を表示して見せること
ができる（例えば、「こういう新しい携帯端末を買っ
た」など）。言い換えれば、１画面当たりの実質的な情
報量は文字だけの表示に比しはるかに多い。また、実写
画像を用いるので、漫画で発言者を仮体するチャット・
システム（従来技術）のような「表示された絵が雰囲気
にそぐわない」といった不具合が発生しないと思料す
る。

【０１４６】図１３には、本実施例に係るチャット・シ
ステム５において、各ユーザ端末１上でコマすなわちコ
ミュニケーション・データを表示する処理手順をフロー
チャートの形式で示している。以下、このフローチャー
トに従い説明する。

【０１４７】ユーザ端末１は、チャット・サーバ５から
逐次送られてくるコミュニケーション・データを時系列
的に保管しておく。そして、最新のｎ個のコミュニケー
ション・データを取り出して（ステップＳ５１）、これ
らをチャット・ブラウザ画面上に「コマ」として時系列
的に配置する（ステップＳ５２）。

【０１４８】ここで言う個数ｎは、単一のブラウザ画面
上に表示可能なコマの個数を指す。ステップＳ５３では
ｉに１を代入する。そして、ｉが上限ｎに到達するまで
の間、所定時間毎にステップＳ５１に復帰して（ステッ
プＳ６０）、上記と同様のコマ表示処理を繰り返し実行
する。

【０１４９】ステップＳ５５〜ステップＳ５８では、ｉ
番目のコマにおける画像の切り替え処理を行う。すなわ
ち、ステップＳ５５においてｉ番目のコマは初めて表示
されるコマか否かを判定する。初めて表示されるコマで
あれば、該コミュニケーション・データに含まれる任意
の１枚の画像を選択して、コマの中に表示する（ステッ
プＳ６１）。

【０１５０】他方、初めて表示されるコマでない場合に
は、乱数Ｒ（但し、０．０≦Ｒ≦１．０とする）を発生
して（ステップＳ５６）、Ｒと定数ａ（但し、０．０≦
ａ≦１．０とする）と比較して（ステップＳ５７）、Ｒ
がａ未満であれば、表示画像を切り替えず、コマの中に
入力文章を表示する（ステップＳ５９）また、Ｒがａ以
上であれば、コミュニケーション・データに含まれる画
像のうち前回表示しなかった１枚の画像を選択して、コ
マの中に表示してから（ステップＳ６２）、該コマの中
に入力文章を表示する（ステップＳ５８）。

【０１５１】各コマにおいて画像を切り替える時間間隔
が一定又は規則的であると、チャット・ブラウザ上では
複数のコマが同期して一斉に動くことにより、見る者に
不自然な印象を与えてしまう。これに対し、本実施例で
は、画像を切り替えるタイミングに乱数の要素を取り入
れることにより、不自然さを排することができる。

【０１５２】ステップＳ５９では変数ｉを１だけ増分し
て、ステップＳ５４に復帰して次のコマの画像切り替え
処理を繰り返し実行する。

【０１５３】なお、チャット・ブラウザ画面上の全ての
コマを、会話すなわちコミュニケーション・データの挿
入に利用する必要はない。例えば、図１４に示すよう
に、定期又は不定期のコマ間隔で、広告など会話（すな
わちコミュニケーション・データの表示）以外に使用す
るコマを挿入するようにしてもよい。

【０１５４】例えば、タイマを設定してタイム・アウト
が発生する度に広告コマを挿入してもよいし、会話の途
切れを利用して広告コマを挿入するようにしてもよい。
会話の途切れは通常起こり得る自体であり、広告コマの
存在により会話の途切れを視覚的にフィードバックする
ことが可能である。

【０１５５】また、広告コマの挿入回数に応じて広告主
から広告料を徴収して、チャット・システム３の収益と
して計上したり、あるいはチャット運営費用の一部に充
当することができる。

【０１５６】また、複数の広告媒体をあらかじめ用意し
ておき、その中から任意の１つを広告コマとして選択し
て挿入してもよい。あるいは、チャットの発言履歴をト
ラックしたり入力文章を解析したりして、現在の会話の
コンテキスト上関心が高いと判断された広告媒体を選択
して、挿入するようにしてもよい。

【０１５７】３．寄せ書き画像の作成 コミュニケーション・データの他の適用例として、本発
明者等は「寄せ書き」を提案する。

【０１５８】いわゆる寄せ書きとは、一枚の色紙上に多
数人が思い思いにコメントを書き添えて構成されるが、
本実施例では、紙面上にペンで記されたコメントの代わ
りに、コミュニケーション・データの寄せ集めを一覧表
示したデジタル・コンテンツとして構成される。このよ
うな寄せ書きは、各人の実写画像が含まれるので表情や
感情をリアルに伝えることができる。また、実写画像は
所定のタイミングで切り替わるので、ジェスチャやその
他の演技的な動作表現を付加することができる。

【０１５９】寄せ書きの編集には、図１に示したコミュ
ニケーション・データ作成システム１をそのまま利用す
ることも可能であるが、ハンディ・タイプの寄せ書き編
集専用カメラを設計・製作してもよい。

【０１６０】図１５には、寄せ書き画像生成用のハンデ
ィ・カメラ１−３の前面及び背面の外観構成を描写して
いる。

【０１６１】このハンディ・カメラ１−３は、正面略左
上端部に撮像用レンズが配設されている。このレンズを
前後方向に回転自在に撮りつけておくことにより、カメ
ラ１−３のオペレータの前方に位置する被写体を撮影す
ることも、あるいはオペレータ自身を撮影することもで
きる。

【０１６２】また、正面には撮影タイミングを表示する
インジケータが配設されている。したがって、被写体と
なる各寄稿者は、インジケータの表示に合わせて自分の
表情を整えたり、ジェスチャ又は演技的な動作を形成す
ることができる。

【０１６３】また、カメラ１−３の背面には、操作ボタ
ンと画面が配設されている。同画面を介して、撮像画像
を確認することもできるし、今までに蓄積された撮像画
像を一覧表示した寄せ書き画像を確認することもでき
る。

【０１６４】図１７には、カメラ１−３の内部構成を模
式的に図解している。同図に示すように、このカメラ１
−３は、レンズや筐体その他カメラ本来の機構部５１以
外に、撮像部５２と、画像記憶部５３と、画面表示部５
４と、文字列入力部５５とを備えている。

【０１６５】撮像部５２は、ＣＣＤセンサやシャッター
・ボタンを含み、シャッター・ボタンの操作に応答して
画像が内部に取り込まれる。各撮像画像は画像記憶部５
３に蓄積される。但し、１回の撮影作業で取り込まれる
複数枚の撮像画像がテキスト・データと組となって、例
えば［数１］〜［数５］に示すようなデータ構造で保管
される。

【０１６６】文字列入力部５５は、操作ボタンや、表示
画面上に設けられたペン入力領域（後述）、カメラ１−
３本体に外部接続されるキーボード（図示しない）など
で構成される。入力された文章は、同じ時期に取り込ま
れた複数枚の画像と組になって、画像記憶部５３に保管
される。

【０１６７】画面表示部５４は、例えば液晶表示ディス
プレイ（ＬＣＤ）のような、薄型軽量で低消費電力の表
示装置で構成される。画面表示部５４は、ビットマップ
表示機能をサポートし、且つ、複数のコマを同時表示可
能な程度の解像度を備えていることが好ましい。

【０１６８】図１６には、本実施例に係る寄せ書き画像
の構成を模式的に描写している。同図に示す例では、カ
メラ１−３のレンズで現在撮影中の画像を画面略中央に
配設し、その画像フレームの周囲を既に取り込んだ画像
すなわちコマを並設している。各コマには、寄稿者によ
る入力文章（図示しない）が既に挿入されている。文章
の入力は、カメラ１−３の後面に配設された操作ボタン
を介して行う他、画面略下端の文字列入力領域を用いて
ペン入力したり、あるいは外部接続されたキーボード
（図示しない）を介して行うことができる。

【０１６９】このようにして編集した寄せ書き画像は、
例えばフロッピー・ディスクやＣＤなどの可搬型メディ
アに書き込んで、色紙の代わりに餞別として贈ったりす
ることができる。

【０１７０】４．ビデオ画像のサムネイル作成 また、コミュニケーション・データの他の適用例とし
て、本発明者等は放送番組やその他ビデオ画像の「サム
ネイル」の作成を提案する。基本的には、放送番組中で
テロップが出ているところを自動抽出し、その前後の複
数枚の画像フレームを切り取り、図１６のようにレイア
ウトして表示すればよい。この場合、テロップとして表
示された文字列を入力文章として扱うことができる。

【０１７１】図１８には、ビデオ画像のサムネイルを作
成するための処理手順をフローチャートの形式で示して
いる。以下、このフローチャートに従って説明する。

【０１７２】まず、ビデオ・データの先頭からスキャン
を開始して（ステップＳ７１）、番組映像の中からテロ
ップが出ているところを判別する（ステップＳ７２）。

【０１７３】例えば、ＤＶＤ（Digital Versatile Dis
c）のキャプションのように、テロップのためのデータ
が映像と分離している場合には、テロップが出現する位
置を容易に判別することができる。また、映像中にスー
パーインポーズされてしまっている場合には、例えば以
下に示すような手法により、画像認識してテロップの位
置を自動判別することができる。すなわち、 例１）画面フレーム下方の輝度の高い部分、若しくは指
定した色の部分を抜き出し、その領域が充分に大きいと
きに、テロップが出ていると判定する。 例２）画面フレーム下方の輝度の高い部分、若しくは指
定した色の部分を抜き出して、ＯＣＲ（Optical Charac
ter Reader：光学文字認識）処理した結果として文字列
が認識されたときに、テロップが出現したと判定する。

【０１７４】上記の各例において、カットはテロップが
出ていると判別することができる。また、自動検出せず
に、手動で指定しても勿論よい。

【０１７５】キャプションが検出されなかった場合に
は、ステップＳ７５に進み、ビデオを進行させる。ビデ
オ・データの終了に到達した場合には本処理ルーチン全
体を終了させるが、未処理データが残っている場合に
は、ステップＳ７２に復帰して上述と同様の処理を繰り
返し実行する（ステップＳ７６）。

【０１７６】次いで、それぞれのテロップが表示されて
いる画面フレーム位置付近において、指定された時間間
隔（例えば、１秒）で、２枚（又は、特に指定のある場
合は指定枚数)の静止画を取り込む（ステップＳ７
３）。

【０１７７】次いで、テロップのデータが画像と分離し
ている場合は、取り込まれた複数枚の画像と対応するテ
ロップの内容と、そのときのタイムコードを組にして保
存する（ステップＳ７４）。テロップが既に画像の中に
埋め込まれている場合は、画像をそのまま保存する。

【０１７８】次いで、ステップＳ７５に進み、ビデオ・
データを進行させる。ビデオの終了に到達した場合には
本処理ルーチン全体を終了させるが、未処理データが残
っている場合には、ステップＳ７２に復帰して上述と同
様の処理を繰り返し実行する（ステップＳ７６）。

【０１７９】本処理ルーチンによって取り出されたデー
タは、上述のコミュニケーション・データと同様、複数
枚の画像と画像に対応する文字列で構成される。したが
って、図１２に示すようなチャット・ブラウザを用い
て、サムネイルとして一覧閲覧することができる。勿
論、単一のブラウザ画面では表示できるコマ数に限りが
あるので、画面を切り替えて前後のデータを見られるよ
うにしておいてもよい。

【０１８０】《注釈》 ［１］サイバーコード：サイバーコードとは、２次元バ
ーコードの一種であり、サイバーコードの所在を表すた
めの「ガイド・バー表示領域」と、２次元状のコード・
パターンを表示する「コード・パターン表示領域」とで
構成される。コード・パターン表示領域内は、ｎ×ｍマ
トリックスに配列されたセルで構成され、各セルを白又
は黒の２値表現することで識別情報を付与することがで
きる。サイバーコードの認識手順は、撮像画像を２値化
するステップと、２値画像中からガイド・バーの候補を
発見するステップと、ガイド・バーの位置や方向に基づ
いてコーナー・セルを探索するステップと、ガイド・バ
ー及びコーナー・セルを検出したことに応答して画像ビ
ットマップ・パターンを復号化するステップとに大別さ
れる。さらに、エラービットの検査を行うことで、撮像
画像中に正しいサイバー・コードが含まれていることを
確認して、該コードの識別情報や位置情報を導出するこ
とができる。サイバーコードの詳細については、例え
ば、本出願人に既に譲渡されている特願平１０−１８４
３５０号明細書（「画像処理装置および方法、並びに提
供媒体」）にも開示されている。

【０１８１】［追補］以上、特定の実施例を参照しなが
ら、本発明について詳解してきた。しかしながら、本発
明の要旨を逸脱しない範囲で当業者が該実施例の修正や
代用を成し得ることは自明である。すなわち、例示とい
う形態で本発明を開示してきたのであり、限定的に解釈
されるべきではない。本発明の要旨を判断するために
は、冒頭に記載した特許請求の範囲の欄を参酌すべきで
ある。

【０１８２】

【発明の効果】以上詳記したように、本発明によれば、
各ユーザの実写画像付きのコミュニケーション・データ
を作成し表示することができる、優れたコミュニケーシ
ョン・データの作成・表示技術を提供することができる。

【０１８３】また、本発明によれば、転送データ・サイ
ズや精神的障壁なしに実写画像を添付することができる
コミュニケーション・データを作成し表示するための優
れた技術を提供することができる。

【０１８４】また、本発明によれば、インターネットの
ようなコンピュータ・ネットワーク上で構築される複数
ユーザが参加可能なチャットなどの仮想会話を、各参加
者の実写画像を用いて好適に支援することができる、優
れた会話支援システム及び会話支援方法を提供すること
ができる。

【０１８５】また、本発明によれば、ネットワーク負荷
や精神的障壁なしに各参加ユーザの実写画像付きで遠隔
的な会話を実現することができる、優れた会話支援シス
テム及び会話支援方法を提供することができる。

【図面の簡単な説明】

【図１】本発明の実施に供されるコミュニケーション・
データ作成システム１の構成例を模式的に示した図であ
る。

【図２】コミュニケーション・データ作成システム１の
外観構成を例示した図である。

【図３】コミュニケーション・データを作成するための
処理手順を示したフローチャートである。

【図４】ユーザに撮影タイミングを通知する形態を例示
した図である。

【図５】コミュニケーション・データを作成するための
処理手順の変形例を示したフローチャートである。

【図６】本発明の実施に供されるコミュニケーション・
データ作成システムの他の構成例１−２を模式的に示し
た図である。

【図７】図６に示すコミュニケーション・データ作成シ
ステム１−２においてコミュニケーション・データを作
成するための処理手順を示したフローチャートである。

【図８】ネットワーク接続された複数のデータベース・
サーバ３６−１，３６−２…にユーザ情報の管理を委ね
る場合の構成を模式的に示した図である。

【図９】ユーザの問い合わせに対してデータベース・サ
ーバ３６が実行する処理手順を示したフローチャートで
ある。

【図１０】コミュニケーション・データを再生表示する
様子を模式的に示した図である。

【図１１】本実施例に係るチャット・システム３の構成
を模式的に示した図である。

【図１２】ユーザ端末１上のチャット・ブラウザ画面を
模式的に示した図である。

【図１３】各ユーザ端末１上でコミュニケーション・デ
ータを表示する処理手順を示したフローチャートであ
る。

【図１４】チャット・ブラウザ画面上に、広告など会話
以外のコマを挿入した様子を描写した図である。

【図１５】寄せ書き画像生成用のハンディ・カメラ１−
３の前面及び背面を外観構成を描写した図である。

【図１６】本実施例に係る寄せ書き画像の構成を模式的
に描写した図である。

【図１７】カメラ１−３の内部構成を模式的に示した図
である。

【図１８】ビデオ画像のサムネイルを作成するための処
理手順を示したフローチャートである。

【符号の説明】 １…コミュニケーション・データ作成システム １１…ＣＰＵ，１２…ＲＡＭ，１３…ＲＯＭ １４…ディスプレイ・インターフェース １５…入力機器インターフェース １６…ネットワーク・インターフェース １７…外部機器インターフェース １８…カメラ・インターフェース １９…バス ２１…ディスプレイ ２２…キーボード，２３…マウス ２４…ハード・ディスク装置，２５…メディア・ドライ
ブ ２８…カメラ ５１…カメラ機構部 ５２…撮像部 ５３…画像記憶部 ５４…画面表示部 ５５…文字列入力部

───────────────────────────────────────────────────── フロントページの続き (72)発明者 暦本 純一 東京都品川区東五反田３丁目14番13号 株 式会社ソニーコンピュータサイエンス研究 所内 Ｆターム(参考） 5C064 AA01 AA02 AC02 AD02 AD14 5C076 AA12 AA19 AA23 AA25 AA27 BA01 BA03 BA05 BA06 CA02

Claims (37)

【特許請求の範囲】
1. 【請求項１】実写画像付きのコミュニケーション・デー
   タを作成するためのコミュニケーション・データ作成装
   置であって、 ユーザが文章又は発言を入力するための文章入力部と、 ユーザを所定時間以内に複数回撮像する撮像部と、 前記文章入力部において入力された文章又は発言内容と
   前記撮像部において撮像された複数の画像とで構成され
   るコミュニケーション・データを作成する処理部と、を
   具備することを特徴とするコミュニケーション・データ
   作成装置。
2. 【請求項２】前記処理部は、ユーザが前記文章入力部に
   文章又は発言を入力したことに応答して撮像部による複
   数回の撮像を実行開始するととも、コミュニケーション
   ・データを作成することを特徴とする請求項１に記載の
   コミュニケーション・データ作成装置。
3. 【請求項３】前記撮像部における各撮像タイミングをユ
   ーザに対して表示するインジケータをさらに含むことを
   特徴とする請求項１に記載のコミュニケーション・デー
   タ作成装置。
4. 【請求項４】前記文章入力部を介して入力された文章を
   解析する文章解析部と、 該文章解析部による解析結果に従って前記撮像部による
   撮像画像を処理する画像処理部と、をさらに具備するこ
   とを特徴とする請求項１に記載のコミュニケーション・
   データ作成装置。
5. 【請求項５】前記文章解析部は、前記文章入力部を介し
   て入力された文章文章中の単語や言い回しの他に、"！"
   や"？"などの符号、フェイス・マーク、エスケープ・シ
   ーケンスなどを抽出して、これら符号を手がかりにして
   文章の意味内容を判定することを特徴とする請求項４に
   記載のコミュニケーション・データ作成装置。
6. 【請求項６】前記画像処理部は、前記文章解析部による
   文章解析の結果判定されたユーザの感情や文章の用途に
   応じて、撮像画像の背景の設定や明度・輝度・濃淡の調
   整、ＣＧ画像との重ね合わせ、セピア調・油絵調・水彩
   画調・モザイク調への画像合成、ネガポジ反転、又は、
   その他の画像合成・変形処理を行うことを特徴とする請
   求項４に記載のコミュニケーション・データ作成装置。
7. 【請求項７】前記文章入力部は、入力文章の意味内容を
   明示する符号又はエスケープ・シーケンスを入力可能で
   あることを特徴とする請求項１に記載のコミュニケーシ
   ョン・データ作成装置。
8. 【請求項８】作成したコミュニケーション・データを外
   部に転送する通信部をさらに具備することを特徴とする
   請求項１に記載のコミュニケーション・データ作成装
   置。
9. 【請求項９】作成したコミュニケーション・データを格
   納するデータ蓄積部をさらに具備することを特徴とする
   請求項１に記載のコミュニケーション・データ作成装
   置。
10. 【請求項１０】複数のユーザの識別子と位置情報とを組
    にして登録するユーザ位置情報登録部と、 前記撮像部の撮像領域を所定の位置まで移動させる駆動
    部と、をさらに具備し、 前記処理部は、あるユーザによって前記文章入力部に文
    章の入力が行われたことに応答して、前記ユーザ位置登
    録部に問い合わせて該当する位置情報を取得し、該位置
    情報に従って前記駆動部により前記撮像部の撮像領域を
    移動させて、前記文章入力部において入力された文章又
    は発言内容と前記撮像部において撮像された複数の画像
    とで構成されるコミュニケーション・データを作成す
    る、ことを特徴とする請求項１に記載のコミュニケーシ
    ョン・データ作成装置。
11. 【請求項１１】前記ユーザ位置登録部は前記コミュニケ
    ーション・データ作成装置本体とはネットワーク接続さ
    れていることを特徴とする請求項１０に記載のコミュニ
    ケーション・データ作成装置。
12. 【請求項１２】実写画像付きのコミュニケーション・デ
    ータを作成するためのコミュニケーション・データ作成
    方法であって、 ユーザが文章又は発言を入力するための文章入力ステッ
    プと、 ユーザを所定時間以内に複数回撮像する撮像ステップ
    と、 前記文章入力ステップにおいて入力された文章又は発言
    内容と前記撮像ステップにおいて撮像された複数の画像
    とで構成されるコミュニケーション・データを作成する
    処理ステップと、を具備することを特徴とするコミュニ
    ケーション・データ作成方法。
13. 【請求項１３】前記処理ステップでは、ユーザが文章又
    は発言を入力したことに応答して撮像ステップを起動し
    て複数回の撮像を実行開始するととも、コミュニケーシ
    ョン・データを作成することを特徴とする請求項１２に
    記載のコミュニケーション・データ作成方法。
14. 【請求項１４】さらに、前記撮像ステップでは、各撮像
    タイミングをユーザに対して表示することを特徴とする
    請求項１２に記載のコミュニケーション・データ作成方
    法。
15. 【請求項１５】前記文章入力ステップにおいて入力され
    た文章を解析する文章解析ステップと、 該文章解析ステップにおける解析結果に従って前記撮像
    ステップによる撮像画像を処理する画像処理ステップ
    と、をさらに具備することを特徴とする請求項１２に記
    載のコミュニケーション・データ作成方法。
16. 【請求項１６】前記文章解析ステップでは、前記文章入
    力ステップにおいて入力された文章中の単語や言い回し
    の他に、"！"や"？"などの符号、フェイス・マーク、エ
    スケープ・シーケンスなどを抽出して、これら符号を手
    がかりにして文章の意味内容を判定することを特徴とす
    る請求項１５に記載のコミュニケーション・データ作成
    方法。
17. 【請求項１７】前記画像処理ステップでは、前記文章解
    析ステップにおける文章解析の結果判定されたユーザの
    感情や文章の用途に応じて、撮像画像の背景の設定や明
    度・輝度・濃淡の調整、ＣＧ画像との重ね合わせ、セピ
    ア調・油絵調・水彩画調・モザイク調への画像合成、ネ
    ガポジ反転、又は、その他の画像合成・変形処理を行う
    ことを特徴とする請求項１５に記載のコミュニケーショ
    ン・データ作成方法。
18. 【請求項１８】前記文章入力ステップでは、入力文章の
    意味内容を明示する符号又はエスケープ・シーケンスを
    入力可能であることを特徴とする請求項１２に記載のコ
    ミュニケーション・データ作成方法。
19. 【請求項１９】作成したコミュニケーション・データを
    外部に転送する通信ステップをさらに具備することを特
    徴とする請求項１２に記載のコミュニケーション・デー
    タ作成方法。
20. 【請求項２０】作成したコミュニケーション・データを
    格納するデータ蓄積ステップをさらに具備することを特
    徴とする請求項１２に記載のコミュニケーション・デー
    タ作成方法。
21. 【請求項２１】複数のユーザの識別子と位置情報とを組
    にして登録するユーザ位置情報登録ステップと、前記撮
    像ステップにおける撮像領域を所定の位置まで移動させ
    る駆動ステップと、をさらに具備し、 前記処理ステップでは、あるユーザによる文章の入力が
    行われたことに応答して、該当するユーザの登録位置情
    報を取得し、該位置情報に従って前記撮像ステップにお
    ける撮像領域を移動させて、該ユーザにより入力された
    文章又は発言内容と撮像された複数の画像とで構成され
    るコミュニケーション・データを作成する、ことを特徴
    とする請求項１２に記載のコミュニケーション・データ
    作成方法。
22. 【請求項２２】文章データと複数の画像データで構成さ
    れるコミュニケーション・データを再生するコミュニケ
    ーション・データ再生装置であって、 表示画面を有する表示部と、 前記表示画面上にコミュニケーション・データを表示す
    るためのコマを設定し、該コマの中にコミュニケーショ
    ン・データに含まれる文章及び複数の画像のうち１つを
    表示せしめる表示制御部と、を具備することを特徴とす
    るコミュニケーション・データ再生装置。
23. 【請求項２３】コミュニケーション・データを外部から
    受信する通信部をさらに具備することを特徴とする請求
    項２２に記載のコミュニケーション・データ再生装置。
24. 【請求項２４】複数のコミュニケーション・データを格
    納することができるデータ蓄積部をさらに具備すること
    を特徴とする請求項２２に記載のコミュニケーション・
    データ再生装置。
25. 【請求項２５】前記表示制御部は、コマ内に表示する画
    像を切り替えることを特徴とする請求項２２に記載のコ
    ミュニケーション・データ再生装置。
26. 【請求項２６】前記表示制御部は、コマ内に表示する画
    像をランダムな時間間隔で切り替えることを特徴とする
    請求項２２に記載のコミュニケーション・データ再生装
    置。
27. 【請求項２７】前記表示制御部は、前記表示画面上に複
    数のコミュニケーション・データを表示するための各コ
    マを割り当てることを特徴とする請求項２２に記載のコ
    ミュニケーション・データ再生装置。
28. 【請求項２８】前記表示制御部は、各コマの縦及び／又
    は横方向の配置や大きさが不揃いとなるように前記表示
    画面上に配設することを特徴とする請求項２７に記載の
    コミュニケーション・データ再生装置。
29. 【請求項２９】文章データと複数の画像データで構成さ
    れるコミュニケーション・データを表画面上に表示する
    コミュニケーション・データ再生方法であって、前記表
    示画面上にコミュニケーション・データを表示するため
    のコマを設定し、該コマの中にコミュニケーション・デ
    ータに含まれる文章及び複数の画像のうち１つを表示す
    る表示制御ステップを具備することを特徴とするコミュ
    ニケーション・データ再生方法。
30. 【請求項３０】コミュニケーション・データを外部から
    受信する通信ステップをさらに具備することを特徴とす
    る請求項２９に記載のコミュニケーション・データ再生
    方法。
31. 【請求項３１】複数のコミュニケーション・データを格
    納するデータ蓄積ステップをさらに具備することを特徴
    とする請求項２９に記載のコミュニケーション・データ
    再生方法。
32. 【請求項３２】前記表示制御ステップでは、コマ内に表
    示する画像を切り替えることを特徴とする請求項２９に
    記載のコミュニケーション・データ再生方法。
33. 【請求項３３】前記表示制御ステップでは、コマ内に表
    示する画像をランダムな時間間隔で切り替えることを特
    徴とする請求項２９に記載のコミュニケーション・デー
    タ再生方法。
34. 【請求項３４】前記表示制御ステップは、前記表示画面
    上に複数のコミュニケーション・データを表示するため
    の各コマを割り当てることを特徴とする請求項２９に記
    載のコミュニケーション・データ再生方法。
35. 【請求項３５】前記表示制御ステップでは、各コマの縦
    及び／又は横方向の配置や大きさが不揃いとなるように
    前記表示画面上に配設することを特徴とする請求項３４
    に記載のコミュニケーション・データ再生方法。
36. 【請求項３６】実写画像付きのコミュニケーション・デ
    ータを作成する処理をコンピュータ言語で記述したソフ
    トウェア・プログラムをコンピュータ可読形式で記憶し
    たプログラム記憶媒体であって、前記ソフトウェア・プ
    ログラムは、 ユーザが文章又は発言を入力するための文章入力ステッ
    プと、 ユーザを所定時間以内に複数回撮像する撮像ステップ
    と、 前記文章入力ステップにおいて入力された文章又は発言
    内容と前記撮像ステップにおいて撮像された複数の画像
    とで構成されるコミュニケーション・データを作成する
    処理ステップと、を具備することを特徴とするプログラ
    ム記憶媒体。
37. 【請求項３７】文章データと複数の画像データで構成さ
    れるコミュニケーション・データを表画面上で再生する
    処理をコンピュータ言語で記述したソフトウェア・プロ
    グラムをコンピュータ可読形式で記憶したプログラム記
    憶媒体であって、前記ソフトウェア・プログラムは、前
    記表示画面上にコミュニケーション・データを表示する
    ためのコマを設定し、該コマの中にコミュニケーション
    ・データに含まれる文章及び複数の画像のうち１つを表
    示する表示制御ステップを具備することを特徴とするプ
    ログラム記憶媒体。