JP2011028309A5 - - Google Patents

Description

図１は、本発明の情報処理装置の実行する処理の一例を示す図である。図１には、ユーザの操作する例えばＰＣなどの表示部１０を示している。なお、詳細構成については後述するが、ユーザは複合現実感（ＭＲ：Ｍｉｘｅｄ Ｒｅａｌｉｔｙ）生成装置の生成画像を表示するディスプレイを有するメガネを装着してＰＣの操作を行っている。

メガネには周囲の環境を撮影するカメラが備えられ、メガネのディスプレイには、カメラの撮影画像と複合現実感（ＭＲ：Ｍｉｘｅｄ Ｒｅａｌｉｔｙ）生成装置の生成する仮想オブジェクトの合成画像が表示される。図１（ａ），（ｂ）の各図は、ユーザの装着したメガネのディスプレイに表示され、ユーザが観察する画像である。

例えば、ユーザのマウス操作によって図１（ａ）に示す移動ライン１２に従ってマウスカーソル１１ａを移動させると、図１（ｂ）に示すように、マウスカーソルは、表示部１０の外側の空間に移動させることができる。図１（ｂ）に示すマウスカーソル１１ｂである。この図１（ｂ）に示すマウスカーソル１１ｂは、複合現実感（ＭＲ）生成装置の生成する仮想オブジェクトである。ユーザは、ユーザの装着したメガネのディスプレイに表示される仮想オブジェクトであるマウスカーソル１１ｂを観察する。このように、本発明の構成を適用すると、表示部１０の内外を問わず、自在にマウスカーソル１１を移動させることが可能となる。

図２も、本発明の情報処理装置の実行する処理の一例を示す図である。図２にも、図１と同様、ユーザの操作する例えばＰＣなどの表示部１０を示している。ユーザは、複合現実感（ＭＲ：Ｍｉｘｅｄ Ｒｅａｌｉｔｙ）生成装置の生成する画像を表示するディスプレイを備えたメガネを装着している。図２（ａ），（ｂ）の各図は、ユーザの装着したメガネのディスプレイに表示され、ユーザが観察する画像である。

この処理によって、マウスカーソルと指定されたオブジェクト２１を表示部１０の外側の空間に移動させることができる。図２（ｂ）に示すオブジェクト２１ｂである。この図２（ｂ）に示すオブジェクト２１ｂは、複合現実感（ＭＲ）生成装置の生成する仮想オブジェクトである。ユーザは、ユーザの装着したメガネのディスプレイに表示されるオブジェクト２１ｂを観察する。このように、本発明の構成を適用すると、マウスカーソルのみならず、表示部１０に表示されたオブジェクトを表示部の内外を問わず、自在に移動させることが可能となる。

図３も、本発明の情報処理装置の実行する処理の一例を示す図である。図３にも、図１、図２と同様、ユーザの操作する例えばＰＣなどの表示部１０を示している。ユーザは、複合現実感（ＭＲ：Ｍｉｘｅｄ Ｒｅａｌｉｔｙ）生成装置の生成する画像を表示するディスプレイを備えたメガネを装着している。図３（ａ），（ｂ）の各図は、ユーザの装着したメガネのディスプレイに表示され、ユーザが観察する画像である。

ＧＵＩ部１２３は、ユーザからの入力情報の処理、ユーザに対する出力情報の処理などを行うユーザインタフェースである。通信部１２４は、複合現実感（ＭＲ：Ｍｉｘｅｄ Ｒｅａｌｉｔｙ）生成装置１３０との通信処理を行う。

ユーザ１００は、仮想オブジェクトを表示するディスプレイを有するメガネ１４１を装着している。メガネ１４１には周囲の環境を撮影するカメラ１４２が備えられている。メガネ１４１とカメラ１４２は、複合現実感（ＭＲ：Ｍｉｘｅｄ Ｒｅａｌｉｔｙ）生成装置１３０に接続されている。ユーザ１００はメガネ１４１に設けられたディスプレイの表示画像を観察しながら作業を行う。

ステップＳ２０４では、メモリに記録されたデータ（非表示データ（オブジェクト描画データ））と位置情報を複合現実感（ＭＲ）生成装置１３０に送信する。例えば、図１０に示す例では、オブジェクト３０１ｂの時計の描画データと、オブジェクト３０１ｂの４頂点ＰＱＲＳの座標データがＰＣ１２０側メモリ１２７から取得されて複合現実感（ＭＲ）生成装置１３０に送信される。

最後のステップＳ３１０の処理はＰＣ１２０の処理である。ステップＳ３１０において、ＰＣ側アプリケーションの処理により、複合現実感（ＭＲ）生成装置１３０からの取得データをＰＣ側表示部に表示する。

Claims (12)

1. 第１表示部を含むカメラの撮影画像である実オブジェクトと、前記実オブジェクトに含まれない仮想オブジェクトとの合成画像を生成して第２表示部に表示する画像表示制御を実行するデータ処理部を有し、
   前記データ処理部は、
   前記第１表示部に表示された位置指示子であるカーソルの位置が前記第１表示部の領域内であるか領域外であるかを判定し、領域外である場合はカーソルを仮想オブジェクトとして設定した合成画像を前記第２表示部に表示する情報処理装置。
2. 前記データ処理部は、
   第１表示部に表示された位置指示子であるカーソルの位置が前記第１表示部の領域内であるか領域外であるかを判定し、領域外である場合はカーソル位置情報を仮想オブジェクト管理部に出力する座標処理モジュールと、
   カメラ撮影画像に含まれる実オブジェクトの三次元位置を解析する三次元情報解析部と、
   前記カメラ撮影画像に含まれる実オブジェクトと異なる仮想オブジェクトを生成し、生成した仮想オブジェクトと前記実オブジェクトを含む合成画像を生成して前記第２表示部に表示する仮想オブジェクト管理部を有し、
   前記仮想オブジェクト管理部は、
   前記座標処理モジュールから入力したカーソル位置情報に基づいてカーソルの三次元位置を算出し、算出した位置にカーソルを仮想オブジェクトとして設定した合成画像を前記第２表示部に表示する請求項１に記載の情報処理装置。
3. 前記データ処理部は、
   前記位置指示子によって指定された指定オブジェクトに対する処理を行うアプリケーション実行部を有し、
   前記アプリケーション実行部は、前記指定オブジェクトが前記第１表示部の領域内であるか領域外であるかを判定し、領域外である場合はオブジェクト位置情報を仮想オブジェクト管理部に出力し、
   前記仮想オブジェクト管理部は、
   前記座標処理モジュールから入力したオブジェクト位置情報に基づいてオブジェクトの三次元位置を算出し、算出した位置にオブジェクトを仮想オブジェクトとして設定した合成画像を前記第２表示部に表示する請求項２に記載の情報処理装置。
4. 前記仮想オブジェクト管理部は、
   前記座標処理モジュールから入力したオブジェクト位置情報に基づいて算出したオブジェクトの三次元位置が前記第１表示部の表示領域を含む場合、該前記第１表示部の表示領域に重なるオブジェクト領域画像を消去した合成画像を前記第２表示部に表示する請求項３に記載の情報処理装置。
5. 前記データ処理部は、さらに、
   前記仮想オブジェクトとして設定したカーソルによって指定された実オブジェクトの画像データを取得し、取得した画像データに基づくデータ検索を行ってオブジェクト情報の取得処理を行うオブジェクト情報取得部を有し、
   前記オブジェクト情報取得部は、取得したオブジェクト情報を前記第１表示部への表示データとして出力する処理を行う請求項２に記載の情報処理装置。
6. 前記オブジェクト情報取得部は、
   実オブジェクトの画像データとオブジェクト情報を対応付けたデータベース、またはサーバに対するアクセスを実行して、前記実オブジェクトの画像データに基づく検索処理によりオブジェクト情報を取得する請求項５に記載の情報処理装置。
7. 前記仮想オブジェクト管理部は、
   前記カメラ撮影画像に含まれる第１表示部の構成部位の三次元位置情報に基づいて第１表示部の表示面を含む平面を算出し、該平面上に前記カーソルの位置が設定されるように、前記カーソルの三次元位置を算出する処理を行う請求項２に記載の情報処理装置。
8. 前記カーソルはマウス操作によって移動するマウスカーソルであり、
   前記座標処理モジュールは、マウス操作によるマウスカーソルの変位情報を入力して、マウスカーソルの位置が前記第１表示部の領域内であるか領域外であるかを判定する処理を行う請求項２に記載の情報処理装置。
9. 情報処理装置において実行する情報処理方法であり、
   データ処理部が、第１表示部を含むカメラの撮影画像である実オブジェクトと、前記実オブジェクトに含まれない仮想オブジェクトとの合成画像を生成して第２表示部に表示する画像表示制御を実行するデータ処理ステップを実行し、
   前記データ処理ステップは、
   前記第１表示部に表示された位置指示子であるカーソルの位置が前記第１表示部の領域内であるか領域外であるかを判定し、領域外である場合はカーソルを仮想オブジェクトとして設定した合成画像を前記第２表示部に表示するステップである情報処理方法。
10. 前記データ処理ステップは、
    座標処理モジュールが、第１表示部に表示された位置指示子であるカーソルの位置が前記第１表示部の領域内であるか領域外であるかを判定し、領域外である場合はカーソル位置情報を仮想オブジェクト管理部に出力する座標処理ステップと、
    カメラが、前記第１表示部を含む実オブジェクトからなる画像を撮影する撮影ステップと、
    三次元情報解析部が、カメラ撮影画像に含まれる実オブジェクトの三次元位置を解析する三次元情報解析ステップと、
    仮想オブジェクト管理部が、前記カメラ撮影画像に含まれる実オブジェクトと異なる仮想オブジェクトを生成し、生成した仮想オブジェクトと前記実オブジェクトを含む合成画像を生成して第２表示部に表示する仮想オブジェクト管理ステップを有し、
    前記仮想オブジェクト管理ステップは、
    前記座標処理モジュールから入力したカーソル位置情報に基づいてカーソルの三次元位置を算出し、算出した位置にカーソルを仮想オブジェクトとして設定した合成画像を前記第２表示部に表示するステップである請求項９に記載の情報処理方法。
11. 情報処理装置において情報処理を実行させるプログラムであり、
    データ処理部に、第１表示部を含むカメラの撮影画像である実オブジェクトと、前記実オブジェクトに含まれない仮想オブジェクトとの合成画像を生成して第２表示部に表示する画像表示制御を実行するデータ処理ステップを実行させ、
    前記データ処理ステップにおいて、
    前記第１表示部に表示された位置指示子であるカーソルの位置が前記第１表示部の領域内であるか領域外であるかを判定する処理と、領域外である場合はカーソルを仮想オブジェクトとして設定した合成画像を前記第２表示部に表示する処理を実行させるプログラム。
12. 前記プログラムは、前記データ処理ステップにおいて、
    座標処理モジュールに、第１表示部に表示された位置指示子であるカーソルの位置が前記第１表示部の領域内であるか領域外であるかを判定させて、領域外である場合はカーソル位置情報を仮想オブジェクト管理部に出力させる座標処理ステップと、
    カメラに、前記第１表示部を含む実オブジェクトからなる画像を撮影させる撮影ステップと、
    三次元情報解析部に、カメラ撮影画像に含まれる実オブジェクトの三次元位置を解析させる三次元情報解析ステップと、
    仮想オブジェクト管理部に、前記カメラ撮影画像に含まれる実オブジェクトと異なる仮想オブジェクトを生成させて、生成した仮想オブジェクトと前記実オブジェクトを含む合成画像を生成して第２表示部に表示させる仮想オブジェクト管理ステップを実行させ、
    前記仮想オブジェクト管理ステップにおいて、
    前記座標処理モジュールから入力したカーソル位置情報に基づいてカーソルの三次元位置を算出させ、算出した位置にカーソルを仮想オブジェクトとして設定した合成画像を前記第２表示部に表示させる請求項１１に記載のプログラム。