JP2011239397A - 直感型仮想対話方法 - Google Patents

Abstract

【課題】電子装置を用いて行われ、電子装置を介して使用者が対話しやすくなる直感型仮想対話方法を提供する。
【解決手段】電子装置を用いて行われる直感型仮想対話方法であって、対話者に対応する対話者情報に基づいて生成される対話者画像を少なくとも一つ有する複数の画像を含む仮想環境画面を表示するステップと、前記対話者から送信された音声信号に基づいて生成される対話音声信号を出力するステップと、を含み、前記複数の画像は、慣用形態で前記仮想環境画面に配置され、前記仮想環境画面において互いに関連性を有することを示している直感型仮想対話方法。
【選択図】図１

Description

本発明は、直感型仮想対話方法に関し、具体的に、電子装置を用いて行われる直感型仮想対話方法に関する。

電子技術の急速的な発展に伴い、業務やエンターテインメントなど人々の様々な要求を満たすように、バラエティに富んだ各種携帯電子製品、例えば、携帯電話機、モバイルインターネットデバイス（Ｍｏｂｉｌｅ Ｉｎｔｅｒｎｅｔ Ｄｅｖｉｃｅ、ＭＩＤ）、携帯情報端末（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ、ＰＤＡ）、電子書籍、デジタル写真立て、デジタルオーディオプレーヤー、電子辞書、ＧＰＳナビゲーター（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ Ｎａｖｉｇａｔｏｒ、ＧＰＳ Ｎａｖｉｇａｔｏｒ）が市場を賑わすようになっている。

遠隔会議システムは、異なる場所にいる複数の参加者に対して、互いに通信する機能を提供するためのものである。携帯電子製品を遠隔会議システムに応用すれば、遠隔会議システムのハードウェアに必要な空間及び経費を効果的に節約することができる。しかしながら、このような遠隔会議システム例えばテレビ会議システムは、操作上において、例えば、参加者及び／又はその他メディア内容が見づらいなどの問題で、操作や使用が難しいから、テレビ会議の進行がさらに複雑になってしまう。

そこで、本発明は、電子装置を用いて行われ、電子装置を介して使用者が対話しやすくなる直感型仮想対話方法を提供することを主な目的とする。

また、本発明は、電子装置を用いて行われ、電子装置を介して使用者が対話する際に、より人に優しく、現実感のある直感型仮想対話方法を提供することを他の主な目的とする。

前記目的を達成するために、本発明は、電子装置を用いて行われる直感型仮想対話方法であって、対話者に対応する対話者情報に基づいて生成される対話者画像を少なくとも一つ有する複数の画像を含む仮想環境画面を表示するステップと、前記対話者から送信された音声信号に基づいて生成される対話音声信号を出力するステップと、を含み、前記複数の画像は、慣用形態で前記仮想環境画面に配置され、前記仮想環境画面において互いに関連性を有することを示している直感型仮想対話方法を提供する。

このとき、前記複数の画像は背景パターンを更に含んでよく、前記対話者画像は前記慣用形態で前記背景パターン中に配置されており、前記背景パターンは前記仮想環境画面に構成された空間において前記対話者画像に関連性を有することを示している。また、前記仮想環境画面は現実環境を真似た仮想画面であってよく、前記慣用形態は、前記電子装置の使用者が現実生活において、前記対話者画像に相当する対話者が現実環境中、通常にいる場所に位置する日常生活における直感的な経験に一致することが好ましい。

前記対話音声信号を出力するステップにおいて、前記電子装置がサーバを経由して他の対話者の電子装置から送信された前記対話音声信号を受信して出力してもよく、前記電子装置が他の対話者の電子装置から送信された前記対話音声信号を直接受信して出力しても
よい。

また、前記仮想環境画面を表示するステップは、前記電子装置にて前記仮想環境画面を表示するステップを含んでもよい。前記対話音声信号を出力するステップは、前記電子装置にて前記対話音声信号を出力するステップを含んでもよい。前記対話者情報には、前記電子装置の使用者の氏名、個人ＩＤ又は前記電子装置の識別情報が含まれてもよく、前記電子装置の使用者の性別、身長、肌の色又は髪型が含まれてもよい。また、前記対話者情報には前記電子装置の使用者の写真又はイメージ画像が含まれてもよい。前記仮想環境画面を表示するステップは、前記音声信号に基づいて、動画で前記対話者画像を表示するステップを更に含んでもよい。

また、前記仮想環境画面は３Ｄ空間における連続した画像であってよく、この場合、前記仮想環境画面を表示するステップの後に、異なる角度から前記仮想環境画面を表示するステップを更に含んでもよい。

また、本発明に係る直感型仮想対話方法は、更にささやきモードを起動するステップと、他の対話者をささやき宛先に指定するステップと、ささやき伝言信号を前記ささやき宛先に送信するステップと、を含んでもよい。前記他の対話者をささやき宛先に指定するステップは、前記対話者画像のいずれかをささやき宛先として選択するステップを含んでもよく、前記ささやき伝言信号は音声信号又はテキスト信号を含んでもよい。

本発明の好ましい実施形態のフローチャート。 本発明の好ましい実施形態の概略図。 本発明の他の実施形態の概略図。 本発明の他の実施形態の概略図。 本発明の他の好ましい実施形態のフローチャート。 本発明の他の好ましい実施形態の概略図。 本発明の他の好ましい実施形態のフローチャート。

本発明は、電子装置を用いて行われる直感型仮想対話方法を提供する。電子装置は、使用者にとって、携帯に利便性を有するもの、例えば、携帯電話機、モバイルインターネットデバイス、携帯情報端末、電子書籍、デジタル写真立て、デジタルオーディオプレーヤー、電子辞書、ＧＰＳナビゲーター、ノートパソコンなどのものが好ましいが、携帯に利便性を有するものに限らず、例えばデスクトップ型パソコン、タブレット型パソコン、マルチメディアテレビ等大型又は重量が比較的重い電子製品であってもよい。

図１に示すように、本発明に係る直感型仮想対話方法は、少なくとも以下のステップを含む。

ステップ１０１０において、対話者に対応する対話者情報に基づいて生成される対話者画像を少なくとも一つ有する複数の画像を含む仮想環境画面を表示する。前記複数の画像は、慣用形態で前記仮想環境画面に配置され、前記仮想環境画面において互いに関連性を有することを示している。なお、前記対話者は、実の人間であってよく、人工知能を有する機器やプログラムであってもよい。

具体的に、仮想環境画面は現実環境を真似た仮想画面であり、例えば、図２に示す好ましい実施形態のように、仮想環境画面８００は、通常対話が行われて長机が置かれている会議室を真似た仮想画面であり、壁２１０や、長机２３０、いす２５０などを含めて構成
されている背景パターン２００と、対話者画像４００とを含む。このように、好ましい実施形態において、複数の画像６００は背景パターン２００を含み、対話者画像４００は慣用形態で背景パターン２００中に配置されており、背景パターン２００は仮想環境画面８００に構成された空間にて対話者画像４００に関連性を有することを示している。なお、背景パターン２００は仮想環境画面８００全体の背景としてもよい。

慣用形態は、電子装置の使用者に認知される対話者画像に相当する現実生活中の対話者が現実環境中における通常な存在形態である。つまり、上記のように、背景パターン２００は、仮想環境画面８００に構成された空間における対話者画像４００に関連性を有することを示している。この関連性は、日常生活における直感的な経験に一致するのが好ましい。例えば、現実生活における会議室で会議が行われる場合、対話者（会議の参加者）が通常会議机の脇に座っている。図２に示す仮想環境画面８００から分かるように、全ての対話者画像４００が長机２３０の脇に位置している。このような表示により、使用者にとって、電子装置を介して対話するときに、よりわかりやすく、現実を感じる。

対話者情報は対話に参加している電子装置の使用者の個人情報である。具体的に、好ましい実施形態において、対話者情報には、例えば称呼、氏名、個人ＩＤ又は電子装置の識別情報などの電子装置の使用者の個人情報を含んでよく、または例えば性別、身長、肌の色又は髪型などの電子装置の使用者の外見的な特徴を含んでもよい。また、対話者情報には、例えば個人の写真又は写真を真似た図柄などの電子装置の使用者の外見に一致するイメージ画像を含んでもよく、使用者の外見に関係のない任意の図形を含んでもよい。

好ましい実施形態において、電子装置によって仮想環境画面が表示され、例えば電子装置のディスプレイや電子装置本体が備える投影装置によって仮想環境画面が表示されるが、他の実施形態において、電子装置に接続されている表示装置（例えば外付けのプロジェクタとスクリーンからなる表示装置など）により電子装置の外部に仮想環境画面を表示することもできる。

ステップ１０３０において、対話者から送信された音声信号に基づいて生成される対話音声信号を出力する。

好ましい実施形態では、対話音声信号を出力するステップにおいて、電子装置がサーバを経由して他の対話者の電子装置から送信された対話音声信号を受信して出力する。この場合、サーバが受信した対話に参加している全ての電子装置の使用者のそれぞれの音声信号をリアルタイムでミキシング処理して対話音声信号を生成する。つまり、対話音声信号の送信及び処理がかなり高速で行われるので、対話に参加している電子装置の各使用者からの音声信号は、いずれもほぼ同時に対話に参加している各電子装置の使用者に送信され、それぞれの電子装置に出力される。これにより、電子装置の使用者はリアルタイムで対話を行うことができる。好ましい実施形態において、電子装置によって対話音声信号が出力され、例えば電子装置のスピーカから出力されるが、他の実施形態において、電子装置に受信された対話音声信号が他の音声出力装置に伝送され、他の音声出力装置によって出力されることもできる。なお、電子装置は携帯電話通信、無線ネットワーク通信、インターネット通信又はブルートゥース通信などの通信を介してサーバにリンクすることができる。

また、他の実施形態において、対話音声信号を出力するステップにおいて、電子装置が他の対話者の電子装置から送信された対話音声信号を直接受信して出力してもよい。このような場合、少なくとも対話に参加している全ての電子装置のいずれか一つが全ての電子装置の使用者のそれぞれの音声信号をリアルタイムでミキシング処理して対話音声信号を生成してから全ての電子装置に送信してもよく、又は、各々の電子装置において、対話に
参加している全ての電子装置の使用者の音声信号を同時に受信して、ミキシング処理を行って、対話音声信号を作成してもよい。

図３Ａ及び図３Ｂに示すように、他の実施形態において、ニーズや電子装置の使用者の選択によって、背景パターンを変更することができる。例えば図３Ａに示す実施形態において、対話に参加する電子装置の使用者が増える場合に応じて、対話者画像４００の数が簡単に増えるように、背景パターン２００に奥行きのある長机２３１が置かれている。また、図３Ｂに示す実施形態において、背景パターン２００は円卓２３２が置かれているレストランを真似た仮想画面である。また、例えば会議室として背景パターン２００が表示された場合に背景パターン２００とした会議室のレイアウトや陳列を変更することができ、さらに、背景パターン２００を他の室内（例えば応接室）、室外（例えば亭）の場面に変更することもできる。つまり、本発明に係る直感型仮想対話方法は、仮想会議の進行に用いることに限定されず、例えば仮想オンライン対話に用いてもよい。

一方、対話者画像４００は対話者情報に基づいて生成されるものなので、仮想環境画面における対話者画像４００によって対話者情報を表示することができる。図２に示す好ましい実施形態のように、各電子装置の使用者の氏名は、例えばそれぞれＰ０、Ｐ１、Ｐ２、Ｐ３、Ｐ４、Ｐ５、Ｐ６である場合、各対話者画像４００にそれぞれＰ０、Ｐ１、Ｐ２、Ｐ３、Ｐ４、Ｐ５、Ｐ６が表示される。また、対話者情報に例えば、性別、身長、肌の色又は髪型などの電子装置の使用者の外見的な特徴を含む場合、画像化ソフトウェアにより、上記外見的な特徴に一致する対話者画像４００を電子装置に表示することができる。なお、画像化ソフトウェアは、電子装置に内蔵されてもよく、または実行に必要な場合にサーバからダウンロードしてもよい。また、対話者情報に例えば個人の写真などの電子装置の使用者の外見的なイメージ画像を含む場合、対話者画像４００にこの個人の写真を表示することができる。これにより、対話に参加している電子装置の使用者が簡単に身分を確認することができる。

また、他の実施形態において、仮想環境画面を表示するステップにおいて、音声信号に基づいて、動画で前記対話者画像を表示することができる。例えば、図２に示す好ましい実施形態において、対話者画像Ｐ０が相当する使用者が発言しているとき、Ｐ０の色を変えたり、点滅したり、画像の一部を変えたり（例えば口が開閉する）又は画像の全てを変えたり（例えば着席状態から起立状態に変える）して表示することができる。これにより、対話に参加している全ての電子装置の使用者のうち誰が発言しているかがわかりやすくなる。

また、仮想環境画面は３Ｄ空間における連続した画像であるのが好ましい。この場合、本発明に係る直感型仮想対話方法は、図４Ａに示すように、異なる角度から仮想環境画面を表示するステップ１０２０を更に含んでもよい。好ましい実施形態において、電子装置によって仮想環境画面が表示され、例えば電子装置のディスプレイや電子装置本体が備える投影装置によって仮想環境画面が表示されるが、他の実施形態において、電子装置に接続されている表示装置（例えば外付けのプロジェクタとスクリーンからなる表示装置など）により電子装置の外部に仮想環境画面を表示することもできる。具体的に、図３Ａに示すように、仮想環境画面８００は奥行きのある３Ｄ空間における連続した画像であり、対話に参加する電子装置の使用者が増える場合に応じて、対話者画像４００の数が簡単に増えるように、背景パターン２００に奥行きのある長机２３１が置かれており、電子装置の使用者は指などでディスプレイにタッチしてドラッグすれば、図４Ｂに示すように、仮想環境画面の背景パターン２００の奥行きの部分が表示され、即ち、長机２３１の奥行きの部分及び元々表示されていないＰ１３や、Ｐ１４、Ｐ１５、Ｐ１６などの対話者画像４００が改めて表示される。

また、図５に示すように、本発明に係る直感型仮想対話方法は、ささやきモードを起動するステップ１０９１と、他の対話者をささやき宛先に指定するステップ１０９３と、ささやき伝言信号をささやき宛先に送信するステップ１０９５と、を更に含んでもよい。好ましい実施形態では、ステップ１０９３において、電子装置に表示される対話者画像のいずれかをささやき宛先として選択することができ、ステップ１０９５において、ささやき伝言信号は音声信号又はテキスト信号であってもよい。例えば、対話に参加している電子装置の使用者の一人Ｐ１が用いている電子装置上で、他の電子装置の使用者Ｐ２に相当する対話者画像をタッチして選択することによって、ささやきモードを起動し、同時に電子装置の使用者Ｐ２をささやき宛先として指定する。そして、電子装置の使用者Ｐ１が用いている電子装置にささやき伝言信号とするテキスト情報を入力し、直接又はサーバを介してＰ２の電子装置に送信して、Ｐ２の電子装置上に表示させることができる。この実施形態において、ささやき伝言信号として、テキスト信号が用いられるが、他の実施形態において、音声信号が用いられてもよい。

本発明では好適な実施形態を前述及び図面の通り開示したが、各種の追加、若干の改良、変更が施されたものでも、本発明の好適な実施形態として用いられてもよく、特許請求の範囲に限定する本発明の精神と領域を離脱することはない。当該分野の技術を熟知しているものであれば、本発明における形式、構造、配置、比例、材料、要素及び組合に対して、多様の変動や修正を加えることができる。このため、本明細書に開示された実施形態は本発明を説明に用いられるものであって、決して本発明を限定するものではない。従って本発明の保護範囲は、特許請求の範囲で指定した内容を基準とし、法に合致する均等物を含み、前述に限定されない。

２００ 背景パターン
２１０ 壁
２３０ 長机
２３１ 奥行きのある長机
２３２ 円卓
２５０ いす
４００ 対話者画像
６００ 画像
８００ 仮想環境画面

Claims (16)

1. 電子装置を用いて行われる直感型仮想対話方法であって、
   対話者に対応する対話者情報に基づいて生成される対話者画像を少なくとも一つ有する複数の画像を含む仮想環境画面を表示するステップと、
   前記対話者から送信された音声信号に基づいて生成される対話音声信号を出力するステップと、を含み、
   前記複数の画像は、慣用形態で前記仮想環境画面に配置され、前記仮想環境画面において互いに関連性を有することを示している直感型仮想対話方法。
2. 前記複数の画像は背景パターンを更に含み、前記対話者画像は前記慣用形態で前記背景パターン中に配置されており、前記背景パターンは前記仮想環境画面に構成された空間において前記対話者画像に関連性を有することを示している請求項１に記載の直感型仮想対話方法。
3. 前記仮想環境画面は現実環境を真似た仮想画面である請求項１に記載の直感型仮想対話方法。
4. 前記慣用形態は、前記電子装置の使用者が現実生活において、前記対話者画像に相当する対話者が現実環境中、通常にいる場所に位置する日常生活における直感的な経験に一致する請求項１に記載の直感型仮想対話方法。
5. 前記対話音声信号を出力するステップは、前記電子装置がサーバを経由して他の対話者の電子装置から送信された前記対話音声信号を受信して出力するステップを含む請求項１に記載の直感型仮想対話方法。
6. 前記対話音声信号を出力するステップは、前記電子装置が他の対話者の電子装置から送信された前記対話音声信号を直接受信して出力するステップを含む請求項１に記載の直感型仮想対話方法。
7. 前記仮想環境画面を表示するステップは、前記電子装置にて前記仮想環境画面を表示するステップを含む請求項１に記載の直感型仮想対話方法。
8. 前記対話音声信号を出力するステップは、前記電子装置にて前記対話音声信号を出力するステップを含む請求項１に記載の直感型仮想対話方法。
9. 前記対話者情報には前記電子装置の使用者の氏名、個人ＩＤ又は前記電子装置の識別情報が含まれる請求項１に記載の直感型仮想対話方法。
10. 前記対話者情報には前記電子装置の使用者の性別、身長、肌の色又は髪型が含まれる請求項１に記載の直感型仮想対話方法。
11. 前記対話者情報には前記電子装置の使用者の写真又はイメージ画像が含まれる請求項１に記載の直感型仮想対話方法。
12. 前記仮想環境画面を表示するステップにおいて、前記音声信号に基づいて、動画で前記対話者画像を表示するステップを更に含む請求項１に記載の直感型仮想対話方法。
13. 前記仮想環境画面は３Ｄ空間における連続した画像を含み、前記仮想環境画面を表示するステップの後に、異なる角度から前記仮想環境画面を表示するステップを更に含む請求
    項１に記載の直感型仮想対話方法。
14. 更に
    ささやきモードを起動するステップと、
    他の対話者をささやき宛先に指定するステップと、
    ささやき伝言信号を前記ささやき宛先に送信するステップと、を含む請求項１に記載の直感型仮想対話方法。
15. 前記他の対話者をささやき宛先に指定するステップは、前記対話者画像のいずれかをささやき宛先として選択するステップを含む請求項１４に記載の直感型仮想対話方法。
16. 前記ささやき伝言信号は音声信号又はテキスト信号を含む請求項１４に記載の直感型仮想対話方法。

Images