JP2009048302A - 仮想空間情報要約作成装置 - Google Patents

Abstract

【課題】モバイル環境での仮想空間サービスを屋内環境との連続性を失うことなく提供すること。
【解決手段】本発明の装置は、携帯情報端末から、指示を受け付けるユーザ指示受信部、指示またはユーザから予め与えられたシナリオに従ってアバターを仮想空間内で自動的に行動させるアバター自動移動制御部、仮想空間サービスを提供する仮想空間提供サーバにアクセスして、仮想空間内の任意のカメラから撮影した画像データを取得するカメラ画像所得部、得られたカメラ画像から、特徴量を抽出して、画像の特徴を表すテキストを生成するカメラ画像テキスト部、他のアバターとの会話を制御する会話制御部、得られた会話内容を記録し、アバターの行動情報と結合する会話行動情報結合部、会話の相手のユーザ端末に送信する会話行動情報送信部、及び会話内容を含む行動情報をユーザの携帯情報端末やブログサーバへ送信するあらすじテキスト送信部を備える。
【選択図】図１

Description

本発明は、ネットワーク上の仮想空間でのユーザの行動情報をリモートで得るための装置に関する。特に、携帯情報端末を用い、ユーザが仮想空間上での行動情報を得るための装置及びプログラムに関する。

昨今、インターネット上に仮想空間を構築し、現実世界の空間と類似の、あるいは仮想空間ならではの特徴を生かした様々なサービスを提供することが始まっている（例えば、非特許文献１参照）。

非特許文献１に示された仮想空間は、ユーザが創造し発展させてゆく永続的な３Ｄオンライン・スペースであり、３Ｄコンテンツを設計し販売する能力と、土地とマイクロ通貨(実際の現金に交換可能)を所有し開発する能力とを組み合わせ、仮想空間に本物のビジネスを構築することができる。

このような仮想空間においては、ユーザの仮想空間における情報取得やまたはユーザ間の意思疎通の方法が重要である。例えば、ユーザは仮想空間において、現実の世界と同じように、仮想空間上で情報を得て行動する。そのため、例えば、特許文献１には、インターネットを介して各端末の利用者が同一の仮想空間を共有し、ユーザ相互の間で文字によるチャット、音声による会話等の情報交換を行いうる技術が開示されている。また、仮想空間において、ユーザは自分の分身であるアバターを用いて他のユーザとの意思疎通を行い、このアバターはユーザ自身によって外見等を編集できることが開示されている（例えば、特許文献２参照）。

マイケル・リマズイスキー（他）著 中川 蘭丸 訳、セカンドライフ公式ガイド、インプレスＲ＆Ｄ版、２００７年０５月 特開２００１−１５４９６６号公報 特開平９−２４４８４５号公報

しかし、上記の文献に記載された方法においては、ユーザが仮想空間上で様々な情報を得るためには、仮想空間自体が高度なコンピュータ・グラフィックスを駆使して構築されているという特徴があり、ゲーム装置のような高性能な３Ｄグラフィック機能を備えたパーソナル・コンピュータ等を用いる必要があり、ユーザが仮想空間で行う操作は、室内のパーソナル・コンピュータ等でしか行いずらいという課題があった。

現在では、携帯電話、ＰＨＳ（Ｐｅｒｓｏｎａｌ Ｈａｎｄｙ−ｐｈｏｎｅ Ｓｙｓｔｅｍ）、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）等の携帯情報端末は急速に普及しており、日常の生活において不可欠なものになっている。これらの携帯情報端末を用いて自宅のパーソナル・コンピュータと情報をやりとりすることも広く行われるようになってきた。したがって、携帯電話等の携帯情報端末と自宅等におけるパーソナル・コンピュータとの両者において連続性を保ったまま仮想空間を利用することができれば、ユーザは上記のような制約を受けることなくより広く仮想空間を介するサービスを楽しむことができる。

本発明は、上記課題に鑑み、現実空間におけるユーザの行動範囲が屋内でのパーソナル・コンピュータ等の近傍に制約されないように、また、仮想空間の内容を、モバイル環境、例えば携帯電話メール等でテキスト情報で読むことにより、電車での移動等のユーザの空いた時間に仮想空間サービスを利用することができるような手段を提供することを目的とする。また、仮想空間を介するサービスを更に加速させるために、ユーザが利用手段をパーソナル・コンピュータ等から携帯情報端末に、また逆に携帯情報端末からパーソナル・コンピュータ等に変更することにおいて、同一仮想空間へのアクセスの連続性が維持できるモバイル環境での仮想空間アクセス手段を提供することを目的とする。

本発明では、以下のような解決手段を提供する。

（１） コンピュータ・ネットワークを利用した仮想空間におけるユーザの行動情報を要約して作成する仮想空間情報要約作成装置であって、
携帯情報端末から前記ユーザの指示を受け付ける、ユーザ指示受信部と、
前記仮想空間内における前記ユーザの分身であるアバターを前記仮想空間内において予め定めた行動パターンに従って前記仮想空間内を移動させる、アバター自動移動制御部と、
前記仮想空間内において前記アバターが行動する際に、前記アバターの行動画像を取得する、カメラ画像取得部と、
前記取得された行動画像から前記行動画像の特徴情報を抽出して前記行動画像に対応するテキストを作成する、カメラ画像テキスト部と、
前記結合された会話行動情報のあらすじテキストを作成し、前記ユーザの携帯情報端末に送信する、あらすじテキスト送信部と、
を備えた仮想空間情報要約作成装置。

このような構成によれば、本発明の仮想空間情報要約作成装置を用いることによって、ユーザは携帯情報端末からリモートで仮想空間のサービスにアクセスし、ユーザの分身であるアバターに指令を与えることができる。指令を与えられたアバターが行動する際に、仮想空間内の周辺画像がカメラに撮影される。撮影された画像からは画像の特徴量を抽出し、その画像の特徴を表すテキスト情報を生成する。例えば、アバターが見た対象物が何なのか認識して、それをテキスト情報に変換し、それを基にアバターの行動情報を生成する。

（２） 前記仮想空間内において遭遇した他のユーザのアバターとの会話において、自動応答する会話制御部と、
前記他のユーザのアバターとの会話の内容を前記ユーザのアバターの行動情報と結合する会話行動情報結合部と、
を更に備えた、（１）に記載の仮想空間情報要約作成装置。

このような構成によれば、仮想空間上で他のユーザのアバターに遭遇した場合は、ユーザが与えた行動パターンに従って、その他のアバターと会話（チャット）を楽しむことができる。会話は予め登録された応答パターンに従って自動的に行われる。例えば、他のアバターから「こんにちは」と話しかけられたら、「こんにちは、お元気そうですね」というような会話がユーザの指示なしに自動的に行われる。想定されていない会話の場合でも差しさわりのない返答をする。このような会話の記録も行動情報に結合して記録される。このような結果得られた行動情報はユーザの携帯情報端末にアバターの行動結果が「あらすじテキスト」として送信される。

（３） 前記取得された行動画像から部分画像を抽出し、前記部分画像の特徴量から仮想空間内の前記アバターの位置を識別する、（１）に記載の仮想空間情報要約作成装置。

このような構成によれば、撮影された周辺画像から特徴量を表す文字情報を抽出するので、例えば、仮想空間上のアバターの現在位置がショッピングモールであるとか、公園であるとかを認識して、それをテキスト情報に加えることができる。

（４） 前記取得された行動画像から部分画像を抽出し、前記部分画像の特徴量から前記他のユーザのアバターを識別する、（１）に記載の仮想空間情報要約作成装置。

このような構成によれば、アバターが見た（撮影した）画像からも他のアバターを識別することができる。

（５） 前記ユーザの指示は、前記仮想空間内の所定の位置及び時間を予め定めたシナリオを基に行われる、（１）に記載の仮想空間情報作成装置。

このような構成によれば、ユーザからアバターに与える指令はその都度コマンドとして与える代わりに、予め定めた行動パターン（シナリオ）で与えておくことができる。こうすることで、ユーザは、そのシナリオに従ってアバターが行動する間は指令を与える必要がなく、後でそのシナリオの行動結果だけを受信することができる。

（６） 前記他のユーザとの会話の要約内容を前記他のユーザの端末に対して送信する会話行動情報送信部を更に備えた、（１）に記載の仮想空間情報要約作成装置。

このような構成によれば、会話を行った相手のアバターのユーザにも会話内容を伝えることができる。

（７） 前記テキスト送信部は、前記あらすじテキストを前記ユーザのブログを格納したブログサーバに送信する、（１）に記載の仮想空間情報要約作成装置。

このような構成によれば、あらすじテキストをユーザの携帯情報端末に送信するだけでなく、ユーザ自身が作成したブログにも掲載できるので、他のユーザからも閲覧できる。

（８） コンピュータ・ネットワークを利用した仮想空間におけるユーザの行動情報を要約して作成するコンピュータ・プログラムであって、
携帯情報端末から前記ユーザの指示を受け付けるステップと、
前記仮想空間内における前記ユーザの分身であるアバターを前記仮想空間内において予め定めた行動パターンに従って前記仮想空間内を移動させるステップと、
前記仮想空間内において前記アバターが行動する際に、前記アバターの周辺画像を取得するステップと、
前記取得された画像から前記画像の特徴情報を抽出して前記画像に対応するテキストを作成するステップと、
前記仮想空間内において遭遇した他のユーザのアバターとの会話に自動応答するステップと、
前記会話の内容を前記ユーザのアバターの行動情報と結合するステップと、
前記結合された会話行動情報のあらすじテキストを作成し、前記ユーザの携帯情報端末に送信するステップと、
をコンピュータに実行させるコンピュータ・プログラム。

このような構成によれば、本発明の仮想空間情報要約作成装置は、コンピュータ・プログラムの形で提供される。したがって、一般的なコンピュータに上記のステップを実行させるプログラムをインストールすることで、専用のハードウェアを開発することなく容易に実現できる。

本発明によれば、仮想空間における情報に対して、屋内の環境と連続性のあるサービスをモバイル環境に対しても、提供することができる。

以下、本発明の実施形態について図を参照しながら説明する。なお、これらの実施形態はあくまでも一例であって、本発明の技術的範囲はこれに限られるものではない。

［仮想空間情報要約作成装置の機能構成］

図１は、本発明の好適な実施形態の一例に係る仮想空間情報要約作成装置１０の機能の概略を示したものである。以下、仮想空間情報要約作成装置１０を単に本装置と呼ぶことにする。

本装置は、ユーザの携帯情報端末３０（例えば、携帯電話機）から、指示またはシナリオを受け付けるユーザ指示受信部１１、ユーザがその都度与える指示、またはユーザが予め与えられたシナリオデータ２１に従ってアバターを仮想空間内で自動的に行動させるアバター自動移動制御部１２、仮想空間サービスを提供する仮想空間提供サーバ４０にアクセスして、仮想空間内の任意のカメラから撮影した画像データ２２を取得するカメラ画像取得部１３、得られたカメラ画像から、特徴量を抽出して、画像の特徴を表すテキストを生成するカメラ画像テキスト部１４（テキストカメラと称することもある）、他のアバターとの会話（チャット）を制御する会話制御部１５、得られた会話内容（会話データ２３）を記録し、アバターの行動情報と結合する会話行動情報結合部１６、会話の相手の他のユーザ端末５０に送信する会話行動情報送信部１７、及び会話内容を含む行動情報をユーザの携帯情報端末３０やブログサーバ６０へ送信する、あらすじテキスト送信部１８を備えている。

図示するように、仮想空間サービスを提供する機能自体は外部の一または複数の仮想空間提供サーバによって構築される。本装置内部の各機能ブロックの詳細については後述する。なお、このような構成は、あくまで一例であり、機能的に同等な他のバリエーションの構成を排除するものでないことはいうまでもない。

［仮想空間情報要約作成装置のハードウェア構成］

図２は、本発明の好適な実施形態の一例に係る仮想空間情報要約作成装置１０のハードウェア構成を示したものである。

本装置は、典型的なサーバのようなコンピュータ装置であってよく、制御部１０８を構成するＣＰＵ１１０（マルチプロセッサ構成ではＣＰＵ１２０等複数のＣＰＵが追加されてもよい）、バスライン１０７、通信Ｉ／Ｆ１４０、メインメモリ１５０、ＢＩＯＳ（Ｂａｓｉｃ Ｉｎｐｕｔ Ｏｕｔｐｕｔ Ｓｙｓｔｅｍ）１６０、ＵＳＢポート１９０、グラフィックコントローラ１３０、Ｉ／Ｏコントローラ１７０、並びにキーボード及びマウス１８０等の入力手段や表示装置１２２を備える。グラフィックコントローラ１３０は、仮想空間の画像を処理するために主に使用される。Ｉ／Ｏコントローラ１７０には、テープドライブ１７２、ハードディスク１７４、光ディスクドライブ１７６、半導体メモリ１７８、等の記憶部１０９を接続することができる。ＢＩＯＳ１６０は、本装置の起動時にＣＰＵ１１０が実行するブートプログラムや、本装置のハードウェアに依存するプログラム等を格納する。ハードディスク１７４は、本装置として機能するための各種プログラム及び本発明の機能を実行するプログラムを記憶する。光ディスクドライブ１７６としては、例えば、ＤＶＤ−ＲＯＭドライブ、ＣＤ−ＲＯＭドライブ、ＤＶＤ−ＲＡＭドライブ、ＣＤ−ＲＡＭドライブ等を使用することができる。この場合は各ドライブに対応した光ディスク１７７を使用する。光ディスク１７７から光ディスクドライブ１７６によりプログラムまたはデータを読み取り、Ｉ／Ｏコントローラ１７０を介してメインメモリ１５０またはハードディスク１７４に提供することもできる。また、同様にテープドライブ１７２に対応したテープメディア１７１を主としてバックアップのために使用することもできる。

本装置に提供されるプログラムは、ハードディスク１７４、光ディスク１７７、またはメモリカード等の記録媒体に格納されて提供される。このプログラムは、Ｉ／Ｏコントローラ１７０を介して、記録媒体から読み出され、または通信Ｉ／Ｆ１４０を介してダウンロードされることによって、本装置にインストールされ実行されてもよい。

上述のプログラムは、内部または外部の記憶媒体に格納されてもよい。ここで、記憶媒体としては、磁気記録媒体、光磁気記録媒体、光学記録媒体、電子媒体を含むが、これらに限定されない。前記磁気記録媒体には、磁気テープ、フレキシブルディスク、ハードディスク１７４、磁気ランダムアクセスメモリ（ＭＲＡＭ）等を含み、光磁気記録媒体には光磁気ディスク（ＭＯ及びＭＤ）等を含み、光学記録媒体には追記型コンパクトディスク（ＣＤ）、追記型デジタル多目的ディスク（ＤＶＤ）、追記型ブルーレイディスク、追記型ホログラフィック・ディスク等を含み、電子媒体には電気書き込み可能読み出し専用メモリ、ランダムアクセスメモリ、フラッシュメモリ、シリコン・ストレージ・ディスク等を含む。また、専用通信回線やインターネット等の通信回線に接続されたサーバシステムに設けたハードディスク１７４または光ディスクライブラリ等の記憶装置を記録媒体として使用し、通信回線を介してプログラムを本装置に提供してもよい。

ここで、表示装置１２２は、本装置の管理者によるデータの入力を受け付ける画面を表示したり、演算処理結果の画面を表示したりするものであり、ブラウン管表示装置（ＣＲＴ）、液晶表示装置（ＬＣＤ）等のディスプレイ装置を含む。入力手段は、ユーザによる入力の受け付けを行うものであり、キーボード及びマウス１８０等により構成してもよい。通信Ｉ／Ｆ１４０は、本装置を専用ネットワークまたは公共ネットワークを介して端末と接続できるようにするためのネットワーク・アダプタである。通信Ｉ／Ｆ１４０は、モデム、ケーブル・モデム及びイーサネット（登録商標）・アダプタを含んでよい。

以上の例は、ハードウェア構成について説明したが、一般的なコンピュータに、上記の機能を実行させるプログラムをインストールして、そのコンピュータを本装置として動作させることにより実現することもできる。

［処理フロー］
図３は、本装置の処理フローを示したものである。まず、ステップＳ１０において、ユーザの携帯情報端末３０から指示（コマンド）またはシナリオを受信する。シナリオは携帯情報端末３０から与えてもよいが、ユーザの自宅のパーソナル・コンピュータ等から本装置に予め与えておいてもよい。このシナリオデータは、コマンドの列であってもよいが、後述の例に示すような自然言語であってもよく、ステップＳ１１において、解析され、行動パターンとして取得する。

次に、ステップＳ１２において、指令または行動パターンによってアバターを移動させる。指令の場合は、一の行動パターンのみが与えられたと考えてもよい。また、行動パターンとは、例えば、「１２時になったらアバターがＡ地点からＢ地点に移動する」のような単一動作及びその単一動作の集合であってもよい。アバターが移動する際、ステップＳ１３において、アバター周辺の画像を取得する。画像を取得するタイミングは一定時間毎であってもよいが、アバターの目線位置のカメラだけでなく、仮想空間内に定点カメラを複数台設置し、アバターがその位置に来た場合に、その定点カメラからの画像を取得するようにしてもよい。カメラの機能や撮影画像自体は仮想空間提供サーバ４０から得られるものとする。

次に、ステップＳ１４において、得られた画像を画像処理によって解析し、その画像の特徴量を抽出し、ステップＳ１５において、その画像の特徴を表すテキスト情報を作成する。例えば、撮影された画像が、仮想空間内の建物を含む画像であった場合は、その画像全体からエッジ処理によって部分画像を切り出し、その部分画像と類似する画像を検索し、類似画像情報からその画像の特徴量を抽出できる。このような技術は公知であり、（例えば、特開２００６−１１４０５３参照）、このようにすることによって、画像に写った建物が、例えばショッピングモールであることが認識できる。この画像の特徴量はテキストとして送信可能なので画像そのものを送信することに比べてデータ量が大幅に減少できる。

もちろん、仮想空間内の建物や構造物はすべてその位置がデータで管理されているのでアバターの現在位置から、周辺画像の建造物を認識することは容易である。しかし、例えば、アバターの目線から撮影された画像を解析することによって、より詳細な画像の特徴量を得ることができる。例えば、ショッピングモール内のある店の前に立った場合、そのショーウィンドーを撮影すると陳列物が何であるのかといった情報も得ることができる。たとえ陳列物が複数であっても部分画像を抽出すれば、例えば「洋服」や「椅子」等のオブジェクトも認識することができ、それを文字情報として「要約」することでユーザに簡潔に伝えることができる。こうすることで、膨大な画像データ（静止画や動画）そのものを、その都度ユーザの携帯電話に送信することを避けることができる。

更に、ステップＳ１６では、他のアバターと遭遇したかどうかが判断される。そして、ステップＳ１７〜Ｓ１９では、他のユーザのアバターに遭遇した場合の処理を行う。ここで、「遭遇」とは、一定距離内（例えば１メートル以内）にアバターどうしが接近した場合と定義してもよいし、アバターどうしが接触した場合と定義してもよい。通常は、アバターに対して「会話する」のようなコマンドを与えて、相手が応答すれば会話が開始するが、本装置ではアバターに対して、会話を自動的に開始するようにシナリオデータで与えておくことができる。例えば、ショッピングモールの○○店に入った場合、そこの「店員」アバターに話しかけ、自動的に買い物までを済ますことができるようなシナリオ、あるいはプログラムを与えることができる。このような自動会話応答は、公知の技術を利用して行うことができるが、後述するようなチャットボットシステムを利用することで複数の会話相手に対しても同時に会話自動応答することが実現できる（ステップＳ１７）。

ここで、ステップＳ１８では、この会話内容をアバターの行動情報に結合する。例えば、会話の内容の記録にアバター内の行動情報（空間位置情報、時間情報等）を含ませるようにする。そして、ステップＳ１９では、このような会話内容と行動情報を結合した会話情報を送信する。送信先はユーザの端末であってもよいが、他のアバターのユーザの端末であってもよい。

以上のステップＳ１２〜Ｓ１９の処理をすべての行動パターン（ここでは行動パターンは、単一動作を仮定している）が終了するまで繰り返す（ステップＳ２０）。このようにして最後に、ステップＳ２１において、すべての行動パターンが終了すると、それらの行動記録があらすじテキストとして作成され、ユーザの携帯情報端末にメール等で送信される。ユーザはこのあらすじテキストを、例えば電車内で読むことによって、手軽に（短時間で）仮想空間内のサービスを利用することができる。すなわち、本発明の装置を使用することで、モバイル環境、外出先からでも仮想空間のサービスを連続的（シームレス）に楽しむことができる。

［行動パターンの具体例］
図４は、行動パターン（シナリオ）の概念的な具体例を示したものである。図４（ａ）では、行動パターン（シナリオ１）として、１２時に自宅から○○ショッピングモールに歩いて行くという行動パターンと、○○ショッピングモールからＸＸ公園に行くという行動パターンが示されている。

図４（ｂ）では、○○ショッピングモール内での更に詳細な行動パターンとして、他のユーザとの会話パターン（シナリオ２）が示されている。例えば、○○店では、行動としては「見るだけ」がセットされているので、店員が話しかけてきても無視するか、「見てるだけです」とかのみを応答する。一方、△△店では、行動として、「気に入ったものがあると買い物する」がセットされているので、アバター視線からのカメラ映像が頻繁に撮影され、商品の特徴の識別を行う。予め定められた気に入った条件を満たせば店員を呼ぶこともできる。店員が話しかけてきた場合は、予め想定される受け答えをするようにする。このような自動受け答えは、限られたシチュエーションでは十分可能である。例えば、インターネット上のホームページにおいて、閲覧者からの商品に対する自然言語での問い合わせに自動応答するチャットボットシステムが既に実用化されている。図４（ｃ）では、同様に、ＸＸ公園での会話パターン（シナリオ３）が示されている。

［仮想空間画面例］
図５は、図４（ｃ）の場面を、仮想空間上の画面で示したものである。ここでは、Ａで示すアバターが本装置を利用しているユーザ自身のアバターであり、Ｂで示すアバターが他のユーザのアバターであり、両者で会話を行っている場面を示している。Ｃは単なる通行人である。仮想空間ではアバター上の周辺画像をこのような俯瞰位置からみた画像で提供することが多い。もちろん、このような画像を携帯電話にその都度転送するのは重い処理になるので、この画面のような情報は、会話内容と共に、テキストで簡潔に送信されることになる。例えば、
時間：１４：２０〜１４：３０
場所：ＸＸ公園の噴水付近、近くに○○モールが見える。通行人１人。

行動：Ｂと合って会話
会話内容：Ａ；「・・・・」、Ｂ；「・・・・」、Ａ；「・・・・」・・・・
時間：１４：３１
行動：Ｂと別れる。

といった要約情報が作成され送信される。

［会話制御部（チャットボットシステム）］
図６は、図１の会話制御部１５のより詳細な機能ブロックを示したものである。

会話制御部１５は、複数のチャンネルを備えた通信部２１１、応答メッセージ生成部２１２、応答メッセージキューイング部２１３、応答メッセージ提示部２１６を備える。また、バッファ制御部２１５は質問と応答を対応させて記憶するキュー構造のバッファを制御し、記憶部２１４には、そのキューバッファとして、アクティブ・キャッシュバッファ２１７とインアクティブ・キャッシュバッファ２１８の２本を備える。ここで、通信部２１１が複数のチャンネルを備えるのは、一度に複数のユーザ（対話相手）に応答可能とするためである。また、記憶部２１４にバッファを２本備えるのは処理の高速化のためである。

複数のユーザが発した発話（質問）はバッファ制御部２１５によって、発話要素ごとに分解されてキューイングされ、そのキューに含まれた発話要素それぞれに対しての応答（回答）である応答要素が作成される。応答メッセージキューイング部２１３によって、発話要素と応答要素がアクティブ・キャッシュバッファ２１７とインアクティブ・キャッシュバッファ２１８とにキューイングされる。更に、応答メッセージ提示部２１６によって、応答要素が適切なタイミング（一定時間の間をおく等）で対話相手に自然なスピードで応答要素が提示される。このようにすることで、質問者（発話者）の発言が、数行にわたるような長文の質問であっても、その長文を発話要素に分解し、発話要素ごとに応答要素を作成して応答要素を発話者が理解できるような自然なタイミングで提示することができる。

なお、上述の例では、複数のユーザと同時応答を可能とするチャットボットシステムを示したが、単一のユーザのみを想定した公知のチャットボットシステムを利用してもよい。

［カメラ画像テキスト部］
図７は、図１のカメラ画像テキスト部１４（テキストカメラ）のより詳細な機能ブロックを示したものである。カメラで撮影した画像からその画像の特徴量を表すテキストを生成するのがカメラ画像テキスト部１４の役割である。カメラ画像テキスト部１４は、公知の類似画像検索技術（前述の特開２００６−１１４０５３等）を利用し、更に次の図で説明するような画像に含まれる部分画像の共起情報を用いてもよい。

図７は、カメラ画像テキスト部１４が有する機能部分、当該機能を果たす上で利用するデータベース３０９〜３１１、及びカメラ画像テキスト部１４への入力と出力との関係を示した全体図である。カメラ画像テキスト部１４は、空間画像情報の入力を受け付ける空間画像入力部３０２と、空間画像入力部３０２によって入力を受け付けた画像から部分画像を取得する部分画像取得部３０３と、部分画像取得部３０３によって取得された部分画像から特徴情報を抽出する特徴情報抽出部３０４と、特徴情報抽出部３０４によって抽出された特徴情報に基づき画像辞書ＤＢ３０９に記録された画像辞書を検索し、当該部分画像に係るアイテム候補名を取得する候補アイテム取得部３０５と、候補アイテム取得部３０５により取得されたアイテム候補名について、アイテム共起辞書ＤＢ３１０に記録されたアイテム共起辞書を参照してアイテム名を決定するアイテム決定部３０６と、アイテム決定部３０６で決定されたアイテム名に基づきタイトル／アイテム相関辞書ＤＢ３１１に記録されたタイトル／アイテム相関辞書を参照してタイトル名を決定するタイトル名決定部３０７と、それぞれ決定されたタイトル名とアイテム名を出力するタイトル名／アイテム名出力部３０８とを備える。なお、カメラ画像テキスト部１４には、空間画像情報３１２が２次元の画像データとして入力され、タイトル名／アイテム名情報３１３がテキストデータとして出力される。

候補アイテム取得部３０５は参照する画像辞書を備える。この画像辞書には、部分画像の特徴情報を記録した検索用タグと、当該特徴情報を有するアイテムのアイテム名やアイテム番号等のコンテンツが対応づけられて記録されている。特徴情報としては、例えば、アイテムの輪郭やアイテムを構成する色数等がある。画像辞書は、画像辞書ＤＢ３０９上に記録されている。

更に、異なるアイテム間の共起関係を表すアイテム別共起度テーブルを備え、アイテム共起辞書の一部を構成する。ここで、共起度とは、異なる２つのアイテムが同一の画像の中に出現する比率をいう。例えば、母親が画像に出現しても赤ちゃんが画像に出現するとは限らないが、赤ちゃんが出現すると母親も出現する比率が高いように、アイテム番号ｉのアイテムｉとアイテム番号ｊのアイテムｊの２つのアイテムがある場合、アイテムｉが出現したときにアイテムｊが一緒に出現する比率ｋｉ＿ｊと、アイテムｊが出現したときにアイテムｉが一緒に出現する比率ｋｊ＿ｉは本来異なるものであるが、これらが異なる場合は、いずれか大きい方に合わせてｋｉ＿ｊ＝ｋｊ＿ｉとすることもできる。そのようにすると簡便な取り扱いが可能となるからである。本実施形態においては、ｋｉ＿ｊ＝ｋｊ＿ｉとすることを前提とする。アイテム別共起度テーブルは、アイテム共起辞書ＤＢ３１０上に記録されている。

また、同一のアイテムが１つの画像に複数存在する場合（例えば、公園における木や花等）、同一のアイテム間の共起関係を表すアイテム別複数共起度テーブルも用意し、アイテム共起辞書の一部を構成する。あるアイテムが１つ出現した場合に同一画像内に２つ目の同一アイテムが出現する比率を第２列目、あるアイテムが２つ出現した場合に同一画像内に３つ目の同一アイテムが出現する比率を第３列目というように、１つの画像内にｎ個の同一アイテムが出現した場合に、同じ画像内に、（ｎ＋１）個目の同一アイテムが出現する比率を（ｎ＋１）列目に表示している。アイテム別複数共起度テーブルは、アイテム共起辞書ＤＢ３１０上に記録されている。

カメラ画像テキスト部１４の処理フローについて説明する。まず、２次元の空間画像の入力を受け付ける。空間画像は静止画であっても動画であってもよい。画像の入力の受け付けは、静止画像の場合は１枚の静止画像、動画像の場合はその動画像を構成する複数枚の静止画像を１単位として行う。

次に、取得した画像から、エッジ処理により部分画像を切り出す。静止画像であれば、１枚の画像から部分画像が切り出されるが、動画の場合は、１つの動画を構成する複数の静止画像から部分画像が切り出されることになる。そして、切り出した部分画像から特徴情報を抽出する。特徴情報としては、部分画像の輪郭や部分画像の色数等がある。このような技術は前述のように公知であり、このようにすることによって、画像に写った家具が、例えばソファーであることが認識できる。この画像の特徴量はテキストとして送信可能なので画像そのものを送信することに比べてデータ量が大幅に減少できる。

次に、画像辞書を参照し、すでに実用化されている類似画像検索技術に基づき、特徴情報の類似度が高い順にアイテム名とアイテム番号を取得する。その際、可能性の低い候補を排除するために、類似度が一定の基準（例えば２０パーセント）以上のものを選ぶようにしてもよい。通常、複数個の候補アイテムが選ばれる。この基準は、適宜変更して、最適なものにすればよい。類似画像検索では、検索の対象となる画像から視覚的な情報を数百次元の数値列データ（画像特徴量）で示し、データどうしの似ている度合い（類似度）を、画像特徴量ベクトル間の距離、すなわち、この画像特徴量の違いとして評価する。

このようにして、１つの部分画像について候補アイテムが取得されると、類似度が高い順に候補アイテムテーブルに登録し、同一画像に更に別の部分画像があれば、同様の処理を行う。そしてすべての部分画像が切り出されると次の処理に移る。

次に、各部分画像について取得された候補アイテムのうち、それぞれの最上位の類似度（最高類似度）を比較し、高い方から２つの候補アイテムを選ぶ。例えば、部分画像αの最高類似度は０．９２、部分画像βの最高類似度は０．８８、部分画像γの最高類似度は０．７５とすると、部分画像αと部分画像βについて、アイテム別共起度テーブルを参照しながら、アイテム名の決定を行う。

なお、上述のカメラ画像テキスト部１４の構成はあくまでも一例であり、画像から特徴量を抽出し、それを文字情報で表すことができれば、他の任意の公知技術を用いることができる。また、仮想空間上のオブジェクトは、すべてコンピュータ上のデータであるので、オブジェクトのデータ情報を更に用いることで、仮想空間上での画像の特徴量を抽出することは現実世界の画像情報を解析することよりもはるかに容易である。

［あらすじテキストテーブル］
図８は、あらすじテキストテーブルの一例を示したものである。このテーブル時間欄には、アバターにとってイベントが発生した時間を示している。例えば、この例では、１２時に○○ショッピングモールへ自宅から歩いて行くことがシナリオとして与えられているとすると、１２：１０に□□店に到着し、店員Ａと会ったが、行動パターンに従い、無視したことが記録されている。また、１２：３０には別の店△△店に行き、店員Ｂの応対を受けたが、行動パターンに従い、想定した会話がスタートしたことが示されている。また、会話をするだけでなく、商品を買ったことも記録されている。

１３：５０には○○ショッピングモールを出て、予定どおりＸＸ公園に移動開始したことが記録される。なお、１３：５５の例のように、移動中であり、特にイベントが発生せずとも一定時間間隔（例えば５分間隔）で状況を自動的に記録するようにしてもよい。

［想定場面］
図９は、１つの実施例におけるユーザの利用場面のイメージの一例を示したものである。図８で示したあらすじテキストテーブルを基に、ユーザの携帯情報端末（ここでは携帯電話）に、仮想空間上でのユーザ（アバター）の記録された行動が要約されて携帯電話に表示される。このようにしてユーザは、仮想空間上で自分とは外見も年齢もまったく異なるアバターをイメージしながら要約されたテキスト情報を読むことができる。

ここで、文章を要約する技術については、ＲＳＳ（Ｒｉｃｈ Ｓｉｔｅ Ｓｕｍｍａｒｙ）技術等様々な公知技術を利用してよい。このように、仮想空間上のユーザの行動情報を画像を用いることなく、文字情報のみでユーザに簡潔に伝えることができるので、電車の中など空いた時間に、仮想空間サービスを自宅のパーソナル・コンピュータで使用する場合のように連続性を失うことなく利用できる。

以上、本発明に係る実施形態について説明したが、本発明は上述した実施形態に限るものではない。また、本発明の実施形態に記載された効果は、本発明から生じる最も好適な効果を列挙したに過ぎず、本発明による効果は、本発明の実施形態に記載されたものに限定されるものではない。

本発明の好適な実施形態の一例に係る仮想空間情報要約作成装置１０の機能の概略を示す図である。 仮想空間情報要約作成装置１０のハードウェア構成を示す図である。 仮想空間情報要約作成装置１０の処理フローを示す図である。 行動パターン（シナリオ）の概念的な具体例を示す図である。 図４（ｃ）の場面を、仮想空間上の画面で示す図である。 会話制御部１５のより詳細な機能ブロックを示す図である。 カメラ画像テキスト部１４のより詳細な機能ブロックを示す図である。 あらすじテキストテーブルの一例を示す図である。 ユーザの利用場面のイメージの一例を示す図である。

符号の説明

１０ 仮想空間情報要約作成装置
１１ ユーザ指示受信部
１２ アバター自動移動制御部
１３ カメラ画像取得部
１４ カメラ画像テキスト部
１５ 会話制御部
１６ 会話行動情報結合部
１７ 会話行動情報送信部
１８ あらすじテキスト送信部
２１ シナリオデータ
２２ 画像データ
３０ 携帯情報端末
４０ 仮想空間提供サーバ
５０ 他ユーザ端末
６０ ブログサーバ
２１１ 通信部
２１２ 応答メッセージ生成部
２１３ 応答メッセージキューイング部
２１４ 記憶部
２１５ バッファ制御部
２１６ 応答メッセージ提示部
２１７ アクティブ・キャッシュバッファ
２１８ インアクティブ・キャッシュバッファ
３０２ 空間画像入力部
３０３ 部分画像取得部
３０４ 特徴情報抽出部
３０５ 候補アイテム取得部
３０６ アイテム決定部
３０７ タイトル名決定部
３０８ タイトル名／アイテム名出力部
３０９ 画像辞書ＤＢ
３１０ アイテム共起辞書ＤＢ
３１１ タイトル名／アイテム名相関辞書ＤＢ
３１２ 空間画像情報
３１３ タイトル名／アイテム名情報

Claims (8)

1. コンピュータ・ネットワークを利用した仮想空間におけるユーザの行動情報を要約して作成する仮想空間情報要約作成装置であって、
   携帯情報端末から前記ユーザの指示を受け付ける、ユーザ指示受信部と、
   前記仮想空間内における前記ユーザの分身であるアバターを前記仮想空間内において予め定めた行動パターンに従って前記仮想空間内を移動させる、アバター自動移動制御部と、
   前記仮想空間内において前記アバターが行動する際に、前記アバターの行動画像を取得する、カメラ画像取得部と、
   前記取得された行動画像から前記行動画像の特徴情報を抽出して前記行動画像に対応するテキストを作成する、カメラ画像テキスト部と、
   前記結合された会話行動情報のあらすじテキストを作成し、前記ユーザの携帯情報端末に送信する、あらすじテキスト送信部と、
   を備えた仮想空間情報要約作成装置。
2. 前記仮想空間内において遭遇した他のユーザのアバターとの会話において、自動応答する会話制御部と、
   前記他のユーザのアバターとの会話の内容を前記ユーザのアバターの行動情報と結合する会話行動情報結合部と、
   を更に備えた、請求項１に記載の仮想空間情報要約作成装置。
3. 前記取得された行動画像から部分画像を抽出し、前記部分画像の特徴量から仮想空間内の前記アバターの位置を識別する、請求項１に記載の仮想空間情報要約作成装置。
4. 前記取得された行動画像から部分画像を抽出し、前記部分画像の特徴量から前記他のユーザのアバターを識別する、請求項１に記載の仮想空間情報要約作成装置。
5. 前記ユーザの指示は、前記仮想空間内の所定の位置及び時間を予め定めたシナリオを基に行われる、請求項１に記載の仮想空間情報作成装置。
6. 前記他のユーザとの会話の要約内容を前記他のユーザの端末に対して送信する会話行動情報送信部を更に備えた、請求項１に記載の仮想空間情報要約作成装置。
7. 前記テキスト送信部は、前記あらすじテキストを前記ユーザのブログを格納したブログサーバに送信する、請求項１に記載の仮想空間情報要約作成装置。
8. コンピュータ・ネットワークを利用した仮想空間におけるユーザの行動情報を要約して作成するコンピュータ・プログラムであって、
   携帯情報端末から前記ユーザの指示を受け付けるステップと、
   前記仮想空間内における前記ユーザの分身であるアバターを前記仮想空間内において予め定めた行動パターンに従って前記仮想空間内を移動させるステップと、
   前記仮想空間内において前記アバターが行動する際に、前記アバターの周辺画像を取得するステップと、
   前記取得された画像から前記画像の特徴情報を抽出して前記画像に対応するテキストを作成するステップと、
   前記仮想空間内において遭遇した他のユーザのアバターとの会話に自動応答するステップと、
   前記会話の内容を前記ユーザのアバターの行動情報と結合するステップと、
   前記結合された会話行動情報のあらすじテキストを作成し、前記ユーザの携帯情報端末に送信するステップと、
   をコンピュータに実行させるコンピュータ・プログラム。

Images