JP2005165597A - 仮想会話システム - Google Patents

Abstract

【課題】 通常のカメラ付き携帯電話機を使用して表現画像付きの仮想会話サービスを簡便かつ経済的に提供できるようにする。
【解決手段】 少なくとも２以上のユーザ端末１００と、一のユーザ端末から受信したメッセージ情報を２以上のユーザ端末に送信可能な情報送受信手段を有する情報サーバ装置２００とを備えた仮想会話システムであって、情報サーバ装置は、ユーザ端末からメッセージ情報（音声又は／及び文字情報）とともに受信した人物情報に基づき、これに対応する仮想人格の画像情報を、予め定型化して登録されている複数の仮想人格画像情報のなかから抽出し、これをメッセージ情報とともに２以上のユーザ端末に送信するよう制御する会話制御手段を有する。
【選択図】 図１

Description

本発明は、仮想討論会場（チャット）サービスを提供するｗｅｂサイト上で、自分が表現したいキャラクタ（定型化された二次元又は三次元の画像）を選び、自分の身振り（動作）や表情をキャラクタに投影させて、チャットに入りたいときに自由に参加し、キャラクタで自己表現しながら自由な討論を行うことができる仮想会話システムに関する。

インターネット上のチャットサービスへの書込みは、目前に相手が不在であるため、一方的かつ自由が行き過ぎ、言葉（メッセージ）による暴力が生じる（強気なメッセージが飛び交う）傾向があった。そのため、参加者のモラル向上や、ｗｅｂサイト管理者の厳重なチェックが求められていた。更に、音声認識型の仮想会話システムも同様な課題を抱えていた。

音声と共に自己の画像も送受信できる画像通信機能を備えたコミュニケーション技術として、例えば次の特許文献に開示されたものがある。

＜特許文献１（特開２００３−１６４７５号公報）＞
送信端末装置は、画像入力部で顔画像を入力し、表情特徴抽出部で画像に応じて顔の特徴点の座標データを抽出し、キャラクタ格納部からキャラクタ画像を読み出して座標データ及びキャラクタ画像を符号化部、ＩＰネットワークを介して受信端末装置に送る。これを受信した受信端末装置では、データ作成部で供給された座標データに基づいてキャラクタ画像の対応する特徴点のデータを変更し、表情に合ったキャラクタ画像を生成し、レンダリング部でキャラクタ画像を可視化して、送信者の表情を反映させたキャラクタ画像を動画表示させ、音声も同期させた通信を行う。

＜特許文献２（特開２００３−２０９５１３号公報）＞
顔画像から生成された顔パーツの位置が特定されている似顔絵を使って、携帯端末間でコミュニケーションを実現できるようにするもので、送信側携帯端末には、カメラが撮影した顔画像から所定のアルゴリズムに従って似顔絵（属性情報も含む）を作成する似顔絵作成部と、似顔絵作成部の作成した似顔絵の情報をメールサーバを介して受信側携帯端末にダウンロードする似顔絵送信部と、受信側携帯端末に対して発呼する発呼部とを備える。
一方、受信側携帯端末には、メールサーバからダウンロードされる似顔絵の情報を受信する似顔絵受信部と、ダウンロードされた似顔絵の情報を保存する似顔絵保存部と、似顔絵の表情を変えるために用意される似顔絵の顔パーツを保存する顔パーツ保存部と、送信側携帯電話からの着信履歴を保存する着信履歴保存部と、どのような表情の似顔絵に変更するのかについて指示する表情指定情報を保存する表情指定情報保存部と、似顔絵保存部の保存する似顔絵を変更する似顔絵変更部と、似顔絵変更部の変更した似顔絵をディスプレイに出力する似顔絵出力部と、送信側携帯端末からの発呼を着呼する着呼部とを備える。

しかし、特許文献１のものでは、顔画像の表情特徴抽出を行う機能及びその符号化を行う機能を送信端末に備えなければならないので、携帯電話機への適用は現実には困難である。

特許文献２のものは、携帯電話機への適用は可能であるが、送信側携帯端末には、カメラが撮影した顔画像から所定のアルゴリズムに従って似顔絵を作成する似顔絵作成機能を備え、また受信側携帯端末には似顔絵に変更する似顔絵変更機能を備えなければならないので、そのような機能の付加により携帯端末が高価になるとともに、現在広く普及している通常のカメラ付き携帯電話機では対応できない。
特開２００３−１６４７５号公報 特開２００３−２０９５１３号公報

そこで、本発明は、カメラ付き携帯電話機が急速に普及していることに鑑み、通常のカメラ付き携帯電話機を使用して表現画像付きの仮想会話サービスを簡便かつ経済的に提供できるようにすることを目的とする。

本発明は、少なくとも２以上のユーザ端末と、一のユーザ端末から受信したメッセージ情報を２以上のユーザ端末に送信可能な情報送受信手段を有する情報サーバ装置とを備えた仮想会話システムであって、情報サーバ装置は、ユーザ端末からメッセージ情報（音声又は／及び文字情報）とともに受信した人物情報に基づき、これに対応する仮想人格の画像情報を、予め定型化して登録されている複数の仮想人格画像情報のなかから抽出し、これをメッセージ情報とともに２以上のユーザ端末に送信するよう制御する会話制御手段を有することを特徴とする。

その好ましい形態を挙げると、ユーザ端末は、人物情報として、自端末により撮像された撮像画像、或いは自端末の記憶部に記憶された記憶画像を送信する。

ユーザ端末は、人物情報として、予め対応付けされた仮想人格画像情報を選択するための選択手段を備え、情報サーバ装置の会話制御手段は、その選択結果に応じて対応する仮想人格画像情報を抽出する。

ユーザ端末は合成音声出力モードを備え、情報サーバ装置の会話制御手段は、ユーザ端末が合成音声出力モードのときは、文字情報を合成音声とするための合成音声制御情報を当該ユーザ端末へ送信する。

ユーザ端末は自端末の位置の測位を行う測位手段を備え、また情報サーバ装置は、ユーザ端末の存在する実区域に対応した仮想会話区域を設定するグループ設定手段を更に備え、情報サーバ装置の会話制御手段は、ユーザ端末から送信された位置情報に基づき、所定の実区域内のユーザ端末をグループ化し、対応する仮想会話区域内に配置する。

本発明によれば、情報サーバ装置が、ユーザ端末から受信した人物情報に基づいて、これに対応する仮想人格の画像情報を、予め定型化して登録されている複数の仮想人格画像情報のなかから抽出して、他のユーザ端末にも送信するので、ユーザ端末側には画像解析機能が不要であり、現在広く普及している通常のカメラ付き携帯電話機を用いて、仮想会話（チャット）での利用者の感情等を的確に表現できるとともに、そのような会話を簡便かつ経済的に実現できるという優れた効果を奏するものである。

また、複数の仮想人格画像情報（キャラクタ情報）のなかから、予め対応付けされたキーを選択することで、任意のものを指定できるようにすれば、カメラ付き端末でなくとも対応できる。

更に、音声認識等のサービスでサーバ側の利用者の負荷（キー入力）を軽減し、チャットをテンポあるものとすることができる。

また、ユーザ端末の位置情報（例えば、○○駅前、××競技場内）に応じたグループ設定がなされるので、ローカルな話題で仮想会話を促すことが期待できる。

次に、本発明の実施例を図面に基づいて詳細に説明する。

図１を参照して、本発明の一実施例の仮想会話システムの構成について説明する。
この仮想会話システムは、画像撮影機能を備えた通信端末であるユーザ端末１００と、仮想会話システムのサービス提供を行うサービス事業者によって運営される情報サーバ装置２００と、ユーザ端末１００及び情報サーバ装置２００を相互に接続するインターネット等の通信ネットワーク３００とから主に構成される。なお、ユーザ端末１００は仮想会話ルーム（チャット）への参加者数に応じて複数あっても良い。

ユーザ端末１００として、本例では、図２に示すように、上部筐体１１１と下部筐体１１２がヒンジ１１３を介して開閉可能に結合された通常のカメラ付き折畳み型携帯電話端末を用いる。

この折畳み型携帯電話端末は、上部筐体内面側に配設され、上下の筐体１１１・１１２が開状態で画像の撮影が可能な第１カメラ部１０３と、上部筐体外面側に配設され、上下の筐体１１１・１１２の開／閉状態の如何に係わらず画像の撮影が可能な第２カメラ部１０４と、各種情報入力を行うために下側筐体内面側に配設され、テンキー、スクロール／決定キー等から構成された主操作部１０５と、下側筐体側面に配設され上部筐体１１１と下部筐体１１２が閉じた状態でも操作可能な副操作部１０６と、音声信号処理を行う送受話部への入力、出力を行うマイク１１４及びスピーカ（受話用）１１５と、報知音等を出力するスピーカ（報知用）１０８と、上部筐体内面側に配設され各種情報表示を行う主表示部１０９と、この主表示部１０９に比べて表示領域が小さく、上部筐体外面側に配設され情報表示を行う副表示部１１０を備えている。

更に、図示していないが、無線基地局との間で無線信号を送受する無線通信部と、ＧＰＳ衛星からの信号を受信して自端末位置の測位を行う測位部と、画像情報、電話帳情報、送受信メール情報、発着呼情報、携帯電話端末の各種設定を記憶する記憶部と、携帯電話端末各部の制御を行い、電話機能、メール機能、カメラ機能等の制御を行う制御部等を内部に備えている。測位部による自端末位置情報は、無線通信部から送信される。

情報サーバ装置２００は、情報送受信部２０１と主制御部２０２と認識部２０３と記憶部２０４とグループ設定部２０４と会話制御部２０６とから主に構成され、ｗｅｂサイト上に仮想会話のためのホームページ（以下、これを「仮想会話ルーム」と言う）を開設する。記憶部２０４には、ユーザ認証を行うための認証用情報の他に、仮想人格のキャラクタ情報、すなわち動作や表情として、例えば、泣顔・笑顔・怒顔・挙手・後向・手振等の、相手方に伝えたい表現画像を定型化した複数のパターンの画像情報が予め保存されている。

次に、図３ないし図５のフローチャートを参照して、本実施例の動作について説明する。

図３は、ユーザ端末１００側のみの処理を示すもので、ユーザ端末１００は、利用者による操作ボタン押下、例えば副操作部１０６の押下／解除をトリガーとしてメッセージ入力、音声情報入力、画像撮像（或いは画像選択）を行い、押下中の取得情報を一括した情報（チャットでの一メッセージ）として、情報サーバ装置２００へパケットデータ送信する（ステップＳ１０１〜Ｓ１０９）。なお、送信する画像は、第１カメラ部１０３又は第２カメラ部１０４で撮像した人物画像の他、外部から入力して記憶部に記憶しておいた画像でも良い。また、複数のキャラクタ情報（体の向き、手／腕を振っている・いない、おじぎをしている・いない、顔の向き、喜怒哀楽などの顔の表情が、予め所定のキー操作に対応付けされている場合、画像情報の送信に代えて、キー操作でキャラクタ情報を選択して、その選択情報を送信しても良い。

次に、ユーザ端末１００と情報サーバ装置２００の間の処理について説明する。
まず、利用者は仮想会話システムに登録し、そこに入るためのＩＤ、パスワードを取得する。すなわち、図４において、利用者がユーザ端末１００を用いて情報サーバ装置２００に接続し、仮想会話ルームにアクセスすると（ステップＳ２０１）、情報サーバ装置２００の主制御部２０２は、情報送受信部２０１を介して会員情報の登録、規約への同意等を促し（ステップＳ２０２）、ユーザ端末１００の利用者がこれに同意して（ステップＳ２０３）、主操作部１０５による入力により所定の個人情報等の送信を行うことで（ステップＳ２０４）、情報サーバ装置２００の主制御部２０２は、ＩＤ、パスワードをユーザ端末１００に送信し（ステップＳ２０５、Ｓ２０６）、これをユーザ端末１００が受信する（ステップＳ２０７）。

次に、ユーザ端末１００の利用者は、仮想会話ルームに参加するために、取得したＩＤ、パスワードを用いてシステムへのログインを行う（ステップＳ２０８）。すなわち、利用者がユーザ端末１００を用いて情報サーバ装置２００の仮想会話ルームにアクセスすると、情報サーバ装置２００の主制御部２０２は、情報送受信部２０１を介してＩＤ、パスワード等の入力を促す（ステップＳ２０９）。

これに応じてユーザ端末１００からＩＤ、パスワードと共に自端末の位置情報を送信し（ステップＳ２１１）、これを情報サーバ装置２００が受信すると（ステップＳ２１２）、情報サーバ装置２００の認証部２０３は、記憶部２０４に予め記憶されているＩＤ、パスワードと、ユーザ端末１００から送信されたＩＤ、パスワードとの一致／不一致を判定することにより、ユーザ認証が行われる（ステップＳ２１３）。この際、ユーザ端末１００からの位置情報を受信した情報サーバ装置２００のグループ設定部２０５は、ユーザ端末１００のグループを決定する。例えば、ユーザ端末１００から送信された位置情報に基づき、所定の実区域内のユーザ端末をグループ化し、対応する仮想会話区域内に配置する。なお。ユーザ端末の位置情報による区分けは必要に応じて行われるものとする。

次に、ユーザ端末１００の利用者がコンテンツ・キャラクタ選択を行う。すなわち、情報サーバ装置２００の主制御部２０２は、情報送受信部２０１を介してユーザ端末１００に対してキャラクタ選択とユーザ設定を促し（ステップＳ２１４）、その要求をユーザ端末１００が受信して（ステップＳ２１５）、利用者がユーザ端末１００でキャラクタ選択をするとともに、メッセージの出力方法（合成音声情報、文字情報）を任意に設定すると、キャラクタ選択情報及びユーザ設定情報がユーザ端末１００から情報サーバ装置２００へ送信される（ステップ２２１６、Ｓ２１７）。

ここでのユーザ設定は、例えば、主表示部１０９を用いた仮想会話の場合は、比較的大きな画面を利用できるので、画像とメッセージを同時に両方表示できるが、副表示部１１０の場合は、情報の視認性が悪く不便である。従って、副表示部１１０を利用する場合には、メッセージを合成音声とする合成音声出力モードとし、その旨の設定を情報サーバ装置２００に対して行う。或いは、矩形画面で横長表示の場合は、改行が少なくメッセージが読みやすいが、縦長表示の場合はメッセージが読みにくいので、同じく合成音声出力モードとするなどの設定がある。

次に、ユーザ端末１００の利用者は、情報サーバ装置２００の仮想会話ルーム（チャット）に参加し、自由な会話を行う。すなわち、ユーザ端末１００を用いて、上述したようにメッセージのキー入力、或いは音声情報の入力、音声情報に対する自己の感情等を表現する自身の身振りや表情を表す撮像画像（或いは、記憶部２０３に保存されている所定の画像からの選択）を行い、図５のフローチャートに示すように、情報サーバ装置２００にパケットデータ送信する（ステップＳ２２１）。

図５において、情報送受信部２０１にて音声情報及び画像情報を受信（ステップＳ２２２）した情報サーバ装置２００は、認識部２０３によりメッセージ情報（文字情報又は／及び音声情報）を解析するとともに（ステップＳ２２３）、画像情報の解析を行う（ステップＳ２２４）。音声情報は既知の音声認識アルゴリズムにより解析／認識され、文字情報（テキスト情報）に変換される。

一方、受信された画像情報については、それがユーザ端末１００の第１カメラ部１０３又は第２カメラ部１０４で撮像した画像、又は記憶部２０４に記憶されていた画像である場合には、その撮像画像の人物の体の向き（前、後、左、右向き）、手／腕を振っている／振っていない、おじぎをしている／いない、顔の向き（上、左、右、正面、下向き）等を、体の主要部位（腕、肩、顔）の位置から認識する。更に、顔画像の表情（口が開いている／閉じている、頬が膨らんでいる／いない）、等を認識し、これらの認識結果から、仮想人格のキャラクタ情報（動作や表情として、例えば、体の向き、手／腕を振っている・いない、おじぎをしている・いない、顔の向き、喜怒哀楽などの顔の表情などを定型化した画像）を、記憶部２０４に予め登録されているパターンのなかから決定する（ステップＳ２２４）。

なお、ユーザ端末１００から画像情報ではなく、キー操作情報が送信された場合は、該キー操作に対応するキャラクタ情報（動作や表情として、例えば、体の向き、手／腕を振っている・いない、おじぎをしている・いない、顔の向き、喜怒哀楽などの顔の表情など）を、記憶部２０４に予め登録されているパターンのなかから決定する。例えば、泣顔・笑顔・怒顔・挙手・後向・手振等の、相手方に伝えたい表現画像が、予めユーザ端末１００の所定のキーに割り当てられている場合、そのキー操作に応じて対応するパターンの画像を抽出する（ステップＳ２２４）。

情報サーバ装置２００は、最後に、ユーザ端末１００から送信された音声／画像情報に基づき生成された文字情報、画像情報をすべてのユーザ端末１００に送信する（ステップＳ２２５）。このとき、ユーザ設定に応じて、キャラクタの音声出力情報（大人・老人・子供・男性・女性・動物等の声）を指定する合成音声制御情報を、所定の設定端末に併せて送信する。

情報サーバ装置２００から文字情報と画像情報、更に合成音声制御情報を受信した（ステップＳ２２６）ユーザ端末１００では、情報サーバ装置２００からの画像情報（キャラクタ情報）、つまり泣顔・笑顔・怒顔・挙手・後向・手振等の表現を定型化した画像情報を出力（表示）すると同時に、合成音声制御情報に従い文字情報を合成音声として出力する（ステップＳ２２８）。

情報サーバ装置２００から文字情報と画像情報を受信した（ステップＳ２２９）ユーザ端末１００では、泣顔・笑顔・怒顔・挙手・後向・手振等の表現を定型化した画像情報を文字情報と共に出力する（ステップＳ２３０）。

なお、上記実施例では、ユーザ端末として、２つのカメラ部と主副の表示部を備えた折畳み型携帯電話機を用いたが、その他の携帯電話機、更に携帯電話機に限らず通信機能を有する携帯情報端末等を用いても良い。更に、携帯電話機によるチャット（Ｎ人の会話）について説明したが、テレビ電話機能のように１対１の会話に適用することも可能である。

本発明の一実施例のシステム構成図である。 ユーザ端末である折畳み型携帯電話機を示し、（Ａ）は上下の筐体を開いた状態の平面図、（Ｂ）は閉じた状態の平面図である。 ユーザ端末側の処理を示すフローチャートである。 ユーザ端末と情報サーバ装置の間の処理を示すフローチャートである。 図４に続くフローチャートである。

符号の説明

１００ ユーザ端末
１０３ 第１カメラ部
１０４ 第２カメラ部
１０５ 主操作部
１０６ 副操作部
１０８ スピーカ（報知用）
１０９ 主表示部
１１０ 副表示部
１１１・１１２ 上下の筐体
１１３ ヒンジ
１１４ マイク
１１５ スピーカ（受話用）
２００ 情報サーバ装置
２０１ 情報送受信部
２０２ 主制御部
２０３ 認識部
２０４ 記憶部
２０４ グループ設定部
２０６ 会話制御部
３００ 通信ネットワーク

Claims (5)

1. 少なくとも２以上のユーザ端末と、一のユーザ端末から受信したメッセージ情報を２以上のユーザ端末に送信可能な情報送受信手段を有する情報サーバ装置とを備えた仮想会話システムであって、前記情報サーバ装置は、前記ユーザ端末からメッセージ情報とともに受信した人物情報に基づき、これに対応する仮想人格の画像情報を、予め定型化して登録されている複数の仮想人格画像情報のなかから抽出し、これをメッセージ情報とともに２以上のユーザ端末に送信するよう制御する会話制御手段を有することを特徴とする仮想会話システム。
2. ユーザ端末は、人物情報として、自端末により撮像された撮像画像、或いは自端末の記憶部に記憶された記憶画像を送信することを特徴とする請求項１に記載の仮想会話システム。
3. ユーザ端末は、人物情報として、予め対応付けされた仮想人格画像情報を選択するための選択手段を備え、情報サーバ装置の会話制御手段は、前記選択手段による選択結果に応じて対応する仮想人格画像情報を抽出することを特徴とする請求項１に記載の仮想会話システム。
4. ユーザ端末は合成音声出力モードを備え、情報サーバ装置の会話制御手段は、ユーザ端末が合成音声出力モードのときは、文字情報を合成音声とするための合成音声制御情報を当該ユーザ端末へ送信することを特徴とする請求項１、２又は３に記載の仮想会話システム。
5. ユーザ端末は自端末の位置の測位を行う測位手段を備え、また情報サーバ装置は、ユーザ端末の存在する実区域に対応した仮想会話区域を設定するグループ設定手段を更に備え、情報サーバ装置の会話制御手段は、ユーザ端末から送信された位置情報に基づき、所定の実区域内のユーザ端末をグループ化し、対応する仮想会話区域内に配置することを特徴とする請求項１、２、３又は４に記載の仮想会話システム。

Images