JP2010257359A - 情報処理装置、および情報処理方法、並びにプログラム - Google Patents

Abstract

【課題】表示部に表示されないデータを仮想オブジェクトとして常に観察可能な構成を実現する。
【解決手段】例えばＰＣを適用したデータ処理において、削除処理やコピー処理の対象としたデータなどＰＣの表示部に表示されないデータを仮想オブジェクトとして設定し、ユーザの手の指などに貼り付けて、常に観察することを可能な構成とした。本構成によれば、ＰＣの表示領域に表示されないデータをＰＣの表示領域以外の空間に貼り付けて表示して観察することが可能となり、データ処理の効率を高めることが可能となる。
【選択図】図２

Description

本発明は、情報処理装置、および情報処理方法、並びにプログラムに関する。さらに詳細には、実世界の実物体と電子的な表示を融合させた複合現実感（ＭＲ：Ｍｉｘｅｄ Ｒｅａｌｉｔｙ）を利用したデータ処理を行う情報処理装置、および情報処理方法、並びにプログラムに関する。

例えばユーザがＰＣ（パーソナルコンピュータ）を利用したデータ処理を行う場合、ユーザは、ＰＣの表示部（ディスプレイ）の表示データに対する処理を行う。例えばデータのコピーやカット（削除）を行う場合を例として説明する。この場合、ユーザは、表示部（ディスプレイ）に表示した文字列あるいは画像領域などを指定し、指定処理の後、コマンド入力によりデータをカット（削除）する処理、あるいは他の領域にコピーする処理を行う。

このようなカットやコピー処理の対象とした処理データは、ＰＣ内のメモリに格納されるが、処理過程で表示領域からは消えてしまう場合がある。ユーザが、これらのカットやコピー対象とした処理データの内容を確認したい場合の処理としては、例えば以下の処理が必要となる。
（ａ）処理データを表示部（ディスプレイ）の一部領域に常に表示する。
（ｂ）処理データをコピーバッファに格納し、ユーザ操作によってコピーバッファの格納データを読み出して表示部（ディスプレイ）に表示する。
（ｃ）処理データをユーザ操作によって表示部（ディスプレイ）内の指定領域にペースト（貼り付け）して表示する。

例えば、上記のような方法を行えば、カット処理やコピー処理の処理データについて、その内容を確認することができる。
しかし、上記手法において、（ａ）の手法は、処理データを、常時表示部に表示することが必要となり、表示部の少なくとも一部領域が占有されてしまう。その結果、ユーザが表示部内で利用する主要ワーク領域、例えば文書作成画面の領域が狭くなってしまうといった問題が発生する。また、（ｂ）の手法はコピーバッファの格納データを表示させるというユーザ操作が必要となり、ユーザの処理負担が増加するという問題がある。また（ｃ）の手法もユーザ操作が必要であり、また処理データをペースト（貼り付け）した後に、ペーストしたデータの間違いに気づいた場合には削除処理や、やり直し（ＵＮＤＯ）といった新たな処理が必要となるという問題がある。

本発明は、このような問題を、例えば複合現実感（ＭＲ：Ｍｉｘｅｄ Ｒｅａｌｉｔｙ）を利用したデータ処理を利用して解決するものである。なお、複合現実感について説明した従来技術としては、例えば特許文献１（特開２００８−３０４２６８号公報）や、特許文献２（特開２００８−３０４２６９号公報）がある。これらの文献には、カメラによって撮影された画像を利用して実世界の三次元マップを作成する処理について記載している。

特開２００８−３０４２６８号公報 特開２００８−３０４２６９号公報

本発明は、複合現実感（ＭＲ：Ｍｉｘｅｄ Ｒｅａｌｉｔｙ）を利用したデータ処理により、例えばＰＣなどの表示部（ディスプレイ）以外の領域に、様々なデータを電子的に貼り付けた合成画像を生成して、この合成画像を観察可能とすることで、主要ワーク領域として利用する表示部以外の空間領域を有効に利用可能とした情報処理装置、および情報処理方法、並びにプログラムを提供することを目的とする。

本発明の第１の側面は、
第１表示部を利用したデータ処理において生成した処理データを格納するメモリと、
カメラ撮影画像に含まれる実オブジェクトの三次元位置を解析する三次元情報解析部と、
前記三次元情報解析部の解析情報を入力し、前記実オブジェクトの構成部位を仮想オブジェクト表示位置として決定し、前記実オブジェクトと前記仮想オブジェクトを合成した合成画像を第２表示部に表示する仮想オブジェクト管理部を有し、
前記仮想オブジェクト管理部は、
前記第２表示部に表示された仮想オブジェクトに対する処理要求の入力に応じて、処理要求のなされた仮想オブジェクトに対応するデータを前記第１表示部を適用したデータ処理を行うデータ処理装置または該データ処理装置のアクセス可能なメモリに出力する処理を行う情報処理装置にある。

さらに、本発明の情報処理装置の一実施態様において、前記情報処理装置は、通信部を有し、前記第１表示部を適用したデータ処理を行うデータ処理装置との通信を実行して、前記第１表示部を適用したデータ処理用のデータを送受信する。

さらに、本発明の情報処理装置の一実施態様において、前記三次元情報解析部は、カメラ撮影画像に含まれるユーザの手の各指を認識する手認識モジュールを有し、手認識モジュールにおいて認識されたユーザの手の各指の三次元位置を解析する構成であり、前記仮想オブジェクト管理部は、ユーザの手の各指の位置を前記仮想オブジェクト表示位置として決定し、ユーザの手の各指の位置に前記仮想オブジェクトを合成した合成画像を第２表示部に表示する処理を行う。

さらに、本発明の情報処理装置の一実施態様において、前記メモリに格納されるデータは、前記第１表示部を適用したデータ処理において実行されたデータ削除処理またはデータコピー処理の対象となったデータである。

さらに、本発明の情報処理装置の一実施態様において、前記仮想オブジェクト管理部は、前記三次元情報解析部の解析情報を入力し、前記第２表示部の表示画像に含まれる実オブジェクトの構成部位を仮想オブジェクト表示位置として決定し、決定情報を仮想オブジェクト情報管理テーブルに登録する処理を行う。

さらに、本発明の情報処理装置の一実施態様において、前記仮想オブジェクト管理部は、前記仮想オブジェクト情報管理テーブルに登録された仮想オブジェクト表示位置に対応する前記第２表示部の表示位置に仮想オブジェクトが表示中であるか否かを示す状態情報を登録する処理を行う。

さらに、本発明の情報処理装置の一実施態様において、前記仮想オブジェクト管理部は、前記仮想オブジェクト情報管理テーブルの前記状態情報を参照して、新たな仮想オブジォクトの表示可否を判定し、ユーザ入力に応じて前記第２表示部に表示中の仮想オブジェクトの削除処理を行う。

さらに、本発明の第２の側面は、
情報処理装置において実行する情報処理方法であり、
制御部が、第１表示部を利用したデータ処理に適用する処理データをメモリに格納するステップと、
三次元情報解析部が、カメラ撮影画像に含まれる実オブジェクトの三次元位置を解析する三次元情報解析ステップと、
仮想オブジェクト管理部が、前記三次元情報解析部の解析情報を入力し、前記実オブジェクトの構成部位を仮想オブジェクト表示位置として決定し、前記実オブジェクトと前記仮想オブジェクトを合成した合成画像を第２表示部に表示するステップと、
前記仮想オブジェクト管理部が、前記第２表示部に表示された仮想オブジェクトに対する処理要求の入力に応じて、処理要求のなされた仮想オブジェクトに対応するデータを、前記第１表示部を適用したデータ処理を行うデータ処理装置または該データ処理装置のアクセス可能なメモリに出力する処理を行うステップと、
を有する情報処理方法にある。

さらに、本発明の第３の側面は、
情報処理装置において情報処理を実行させるプログラムであり、
制御部に、第１表示部を利用したデータ処理に適用する処理データをメモリに格納させるステップと、
三次元情報解析部に、カメラ撮影画像に含まれる実オブジェクトの三次元位置を解析させる三次元情報解析ステップと、
仮想オブジェクト管理部に、前記三次元情報解析部の解析情報を入力させて、前記実オブジェクトの構成部位を仮想オブジェクト表示位置として決定させ、前記実オブジェクトと前記仮想オブジェクトを合成した合成画像を第２表示部に表示させるステップと、
前記仮想オブジェクト管理部に、前記第２表示部に表示された仮想オブジェクトに対する処理要求の入力に応じて、処理要求のなされた仮想オブジェクトに対応するデータを、前記第１表示部を適用したデータ処理を行うデータ処理装置または該データ処理装置のアクセス可能なメモリに出力する処理を行わせるステップと、
を実行させるプログラムにある。

なお、本発明のプログラムは、例えば、様々なプログラム・コードを実行可能な画像処理装置やコンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、画像処理装置やコンピュータ・システム上でプログラムに応じた処理が実現される。

本発明のさらに他の目的、特徴や利点は、後述する本発明の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

本発明の一実施例の構成によれば、例えばＰＣを適用したデータ処理において、削除処理やコピー処理の対象としたデータなどＰＣの表示部に表示されないデータを仮想オブジェクトとして設定し、ユーザの手の指などに貼り付けて、常に観察することを可能な構成とした。本構成によれば、ＰＣの表示領域に表示されないデータをＰＣの表示領域以外の空間に貼り付けて表示して観察することが可能となり、データ処理の効率を高めることが可能となる。

本発明の情報処理装置の一実施例構成について説明する図である。 本発明の情報処理装置の実行する仮想オブジェクトの表示例について説明する図である。 本発明の情報処理装置の実行する一処理例について説明する図である。 本発明の情報処理装置の実行する仮想オブジェクトの表示例について説明する図である。 本発明の情報処理装置の実行する仮想オブジェクト貼り付け位置の設定登録処理シーケンスについて説明するフローチャートを示す図である。 本発明の情報処理装置の実行する仮想オブジェクト貼り付け位置の設定登録において利用するテーブルの構成例について説明する図である。 本発明の情報処理装置の実行する仮想オブジェクト貼り付け処理シーケンスについて説明するフローチャートを示す図である。 本発明の情報処理装置の実行する仮想オブジェクト対応データを利用したデータ処理シーケンスについて説明するフローチャートを示す図である。 本発明の情報処理装置の実行する仮想オブジェクト対応データを利用したデータ処理シーケンスについて説明するフローチャートを示す図である。 本発明の情報処理装置の実行する仮想オブジェクトの表示例について説明する図である。 本発明の情報処理装置の実行する仮想オブジェクト貼り付け位置の設定登録において利用するテーブルの構成例について説明する図である。

以下、図面を参照しながら本発明の情報処理装置、および情報処理方法、並びにプログラムの詳細について説明する。

本発明について以下の項目に従って順次説明する。
１．本発明の情報処理装置の構成例と処理例について
２．本発明の情報処理装置の実行する処理のシーケンス例について
３．仮想オブジェクトの貼り付け対象とする実オブジェクトの例について

［１．本発明の情報処理装置の構成例と処理例について］
本発明の情報処理装置の構成例と処理例について図１以下を参照して説明する。図１は、本発明の情報処理装置の一構成例を示す図である。

ユーザ１００は、ＰＣ（パーソナルコンピュータ）１２０を操作して、各種のデータ処理を行うことができる。ＰＣ１２０は、図に示すように、アプリケーション実行部１２１、メモリ１２２、通信部１２３を有する。アプリケーション実行部１２１では、ユーザの選択したアプリケーションプログラムが実行される。例えば文書作成アプリケーションや描画アプリケーションなどである。メモリ１２２は、ＲＡＭ，ＲＯＭ等によって構成され、アプリケーションプログラムの格納領域やワークエリアとして利用される。例えば、以下において説明するコピー処理やカット処理などにおける処理データの格納領域としても利用される。通信部１２３は、複合現実間（ＭＲ：Ｍｉｘｅｄ Ｒｅａｌｉｔｙ）生成装置１３０との通信処理を行う。

ユーザ１００は、仮想オブジェクトを表示するディスプレイを有するメガネ１４１を装着している。メガネ１４１には周囲の環境を撮影するカメラ１４２が備えられている。メガネ１４１とカメラ１４２は、複合現実間（ＭＲ：Ｍｉｘｅｄ Ｒｅａｌｉｔｙ）生成装置１３０に接続されている。ユーザ１００はメガネ１４１に設けられたディスプレイの表示画像を観察しながら作業を行う。

メガネ１４１のディスプレイには、カメラ１４２の撮影画像である実世界画像を表示し、さらに複合現実感（ＭＲ）生成装置１３０の生成した仮想オブジェクトを実世界画像に併せて表示する。

図１の例において、ユーザ１００はＰＣ（パーソナルコンピュータ）１２０を操作しており、カメラ１４２は、ユーザ１００の操作するＰＣ（パーソナルコンピュータ）１２０を撮影している。従って、メガネ１４１のディスプレイには、実世界画像として、例えば、ユーザ１００の操作するＰＣ（パーソナルコンピュータ）１２０のディスプレイとその周囲の様々な実オブジェクトを含む画像が表示される。さらに、この実世界画像に複合現実感（ＭＲ）生成装置１３０の生成した仮想オブジェクトが重ねて表示される。ユーザ１００の動きに応じて、カメラ１４２の向きも変更され、例えばユーザが自分の手を見た場合、手の画像が実世界画像としてメガネ１４１のディスプレイに表示され、その実世界画像に仮想オブジェクトが併せて表示されることになる。例えば図２に示すような実オブジェクトと仮想オブジェクトの合成画像がディスプレイ表示画像２００として表示される。

図２についての説明の前に、図１に示す複合現実感（ＭＲ）生成装置１３０の構成について説明する。複合現実感（ＭＲ）生成装置１３０は、図１に示すように、三次元情報解析部１３１、仮想オブジェクト管理モジュール１３２、メモリ１３３、通信部１３４を有する。

三次元情報解析部１３１は、ユーザの装着したカメラ１４２の撮影画像を入力し、撮影画像に含まれるオブジェクトの三次元位置を解析する処理を行う。この三次元位置解析処理は、例えば、ＳＬＡＭ（ｓｉｍｕｌｔａｎｅｏｕｓ ｌｏｃａｌｉｚａｔｉｏｎ ａｎｄ ｍａｐｐｉｎｇ）を適用した処理として行われる。ＳＬＡＭは、カメラの撮影画像に含まれる様々な実オブジェクトから特徴点を選択し、選択した特徴点の位置とカメラの位置姿勢を併せて検出する処理である。なお、ＳＬＡＭについては、前述の特許文献１（特開２００８−３０４２６８号公報）や、特許文献２（特開２００８−３０４２６９号公報）に記載されている。なお、ＳＬＡＭの基本的な処理については、論文［Ａｎｄｒｅｗ Ｊ．Ｄａｖｉｓｏｎ，"Ｒｅａｌ−ｔｉｍｅ ｓｉｍｕｌｔａｎｅｏｕｓ ｌｏｃａｌｉｓａｔｉｏｎ ａｎｄ ｍａｐｐｉｎｇ ｗｉｔｈ ａ ｓｉｎｇｌｅ ｃａｍｅｒａ"，Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ９ｔｈ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ，Ｎｉｎｔｈ，（２００３）］に記載がある。

三次元情報解析部１３１は、例えば上記のＳＬＡＭを適用してユーザの装着したカメラ１４２の撮影画像に含まれる実オブジェクトの三次元位置を算出する。ただし三次元情報解析部１３１は、上記のＳＬＡＭに限らず、その他の方法でカメラ撮影画像に含まれるオブジェクトの三次元位置を求める設定であってもよい。

仮想オブジェクト管理モジュール１３２は、ユーザの装着したメガネ１４１のディスプレイに表示する仮想オブジェクトの管理を行う。仮想オブジェクトは、メモリ１３３に格納されたデータである。具体的には、例えば、ユーザの装着したメガネ１４１のディスプレイには、図２に示すディスプレイ表示画像２００が表示される。ディスプレイ表示画像２００に含まれる手の画像は、カメラ１４２によって撮影された実画像（実オブジェクト）である。この実画像（実オブジェクト）に対して図２に示す仮想オブジェクト２０１〜２０３が併せて表示される。

図１に示すユーザ１００は、ユーザ１００の手に図１に示す仮想オブジェクト１５０が張り付いた画像をメガネ１４１のディスプレイによって観察することができる。図１に示す仮想オブジェクト１５０は、図２に示す仮想オブジェクト２０１〜２０３に対応し現実世界のオブジェクト（実オブジェクト）ではない。

図１に示す仮想オブジェクト１５０に対応するデータである図２に示す仮想オブジェクト２０１〜２０３は、ユーザ１００によるＰＣ１２０の操作によって、コピー処理やカット処理のなされた処理データである。この処理データは、ユーザ１００のＰＣ１２０に対する操作に従い、ＰＣ１２０のアプリケーション実行部１２１の処理によって、ＰＣ１２０内のメモリ１２２に格納される。

メモリ１２２に格納されたデータは、ＰＣ１２０の通信部１２３と、複合現実感（ＭＲ）生成装置１３０の通信部１３４との通信によって、複合現実感（ＭＲ）生成装置１３０に送信される。複合現実感（ＭＲ）生成装置１３０は、ＰＣ１２０からの受信データを複合現実感（ＭＲ）生成装置１３０内のメモリ１３３に格納する。

複合現実感（ＭＲ）生成装置１３０の仮想オブジェクト管理モジュール１３２は、メモリ１３３に格納されたデータを仮想オブジェクトとしてユーザの装着したメガネ１４１のディスプレイに表示する処理を行う。具体的には、例えば仮想オブジェクトの表示位置を決定して、決定した表示位置に仮想オブジェクトを表示する処理を行う。

図２に示す例では、３つの仮想オブジェクト２０１〜２０３を、実世界画像として表示されるユーザの［手］のそれぞれの指の指先に表示位置を設定して表示した例を示している。
仮想オブジェクト２０１［Ｃｈａｎｇｅ］、
仮想オブジェクト２０２［Ｙｅｓ，ｗｅ ｃａｎ］、
仮想オブジェクト２０３［写真画像］、
これらは、いずれもユーザ１００によるＰＣ１２０の操作によって、カットあるいはコピー対象データとしてＰＣ１２０のメモリ１２２に格納されたデータである。これらのデータが通信によって複合現実感（ＭＲ）生成装置１３０に送信され、複合現実感（ＭＲ）生成装置１３０のメモリ１３３に格納される。複合現実感（ＭＲ）生成装置１３０の仮想オブジェクト管理モジュール１３２は、メモリ１３３に格納されたデータを仮想オブジェクトとして、各仮想オブジェクトの表示位置を決定する処理を行ない、ユーザの装着したメガネ１４１のディスプレイに表示する。

なお、図１に示す装置では、ＰＣ１２０と、複合現実感（ＭＲ）生成装置１３０の２つの装置を別の装置として両装置間のデータ通信を行う構成としているが、ＰＣ１２０と、複合現実感（ＭＲ）生成装置１３０を１つの装置として構成することも可能であり、この場合、図１に示す各装置の通信部は省略できる。例えばＰＣ１２０に複合現実感（ＭＲ）生成装置１３０の三次元情報解析部１３１、仮想オブジェクト管理モジュール１３２を設定して、１つのＰＣ内で処理を行なう構成とすることも可能である。

すなわち、図１には、ＰＣ（パーソナルコンピュータ）１２０と複合現実間（ＭＲ：Ｍｉｘｅｄ Ｒｅａｌｉｔｙ）生成装置１３０を示しているが、本発明の情報処理装置は、図１に示す複合現実間（ＭＲ：Ｍｉｘｅｄ Ｒｅａｌｉｔｙ）生成装置１３０単独の装置としてもよいし、複合現実間（ＭＲ：Ｍｉｘｅｄ Ｒｅａｌｉｔｙ）生成装置１３０とＰＣ１２０の２つの装置から構成される装置であってもよい。あるいは２つの装置の機能を合わせ持つ１つの装置によって構成することもできる。

図１の構成を適用した具体的な処理例について図３以下を参照して説明する。例えばユーザ１００は、ＰＣ１２０のアプリケーション実行部１２１において文書作成アプリケーションを実行し、図３に示すような文書を作成している。ここでデータ領域３０１を設定して、カットコマンドを入力するとデータ領域３０１のデータは、ＰＣ１２０のメモリ１２２に格納される。その後、このデータは、通信処理によって、複合現実感（ＭＲ）生成装置１３０に送信され、複合現実感（ＭＲ）生成装置１３０内のメモリ１３３に格納される。

複合現実感（ＭＲ）生成装置１３０の三次元情報解析部１３１は、ユーザ１００に装着したカメラ１４２の撮影画像を入力し、例えばＳＬＡＭを適用して撮影画像に含まれるオブジェクトの三次元位置を算出する。例えば図３に示すＰＣのディスプレイの４隅に設定されたマーカー３２１ａ〜ｄを特徴点として選択し、これらの特徴点の三次元位置を算出する。

なお、図３に示す例は、特徴点の識別のためにマーカー３２１ａ〜ｄを設定した例を示しているが、このようなマーカーを設定することは必須ではなく、オブジェクトの形状、例えば画像からオブジェクトの角部（コーナー）を検出し、検出した角部（コーナー）を特徴点として選択して、その特徴点の三次元位置を判定することも可能である。なお、角部（コーナー）の検出処理は、既存のハリスコーナーディテクター（Ｈａｒｒｉｓ Ｃｏｒｎｅｒ Ｄｅｔｅｃｔｏｒ）を用いた特徴点抽出処理によって実行可能である。

なお、三次元情報解析部１３１は、撮影画像から特定のオブジェクトを検出する機能を持つ構成としてもよい。具体的には、人の手や指を認識する手認識モジュールを供える構成とすることが可能である。手認識モジュールは、画像の解析により、人の手や指と判断されるオブジェクトを検出するモジュールである。このような特定オブジェクト検出モジュールは、特定のオブジェクト（例えば人の手や指）の特徴情報を保持し、その特徴情報を持つオブジェクトを画像から検出た場合にその検出オブジェクトを特定オブジェクトと判定する処理を行う。

なお、指の認識アルゴリズムを開示した文献として以下の文献がある。［Ｈａｎｄｙ ＡＲ： Ｍａｒｋｅｒｌｅｓｓ Ｉｎｓｐｅｃｔｉｏｎ ｏｆ Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ Ｏｂｊｅｃｔｓ Ｕｓｉｎｇ Ｆｉｎｇｅｒｔｉｐ Ｔｒａｃｋｉｎｇ］。例えば、三次元情報解析部１３１を、この文献に記載されたアルゴリズムを実行するモジュールを備えた構成とし、人の手や指を認識する処理を実行する構成とする。

カメラ１４２によって撮影された画像からユーザの手の各指の三次元位置を算出し、その位置に仮想オブジェクトを貼り付けて表示することで、先に図２を参照して説明したディスプレイ表示画像２００が生成可能となる。

仮想オブジェクト管理モジュール１３２は、三次元情報解析部１３１からカメラ撮影画像に含まれる実オブジェクトの三次元位置情報を取得する。例えばユーザの各指の位置情報を取得する。さらに、仮想オブジェクト管理モジュール１３２は、メモリ１３３に格納されたコピーデータやカットデータを取得し、取得したデータを仮想オブジェクトとして、ユーザの各指の位置に貼り付けた画像をユーザ１００の装着したメガネ１４１のディスプレイに表示する処理を行う。

図３に示すデータ領域３０１が、ユーザによってカットされ、仮想オブジェクトとして設定された場合、ユーザ１００の装着したメガネ１４１のディスプレイに表示されるデータの例を図４に示す。図４に示すディスプレイ表示画像３５０は、ユーザ１００の装着したメガネ１４１のディスプレイに表示される画像である。

マーカー３２１ａ〜ｄの設定されたディスプレイの画像は、ユーザ１００の操作するＰＣ１２０の実画像である。カメラ１４２の撮影した実画像である。また、手３６０もユーザの実際の手の画像ある。この実画像に対して、仮想オブジェクト３７１が併せて表示される。仮想オブジェクト３７１は、ユーザ１００によるＰＣ１２０に対する処理において処理対象としたデータ、例えばカット処理やコピー処理としたデータである。

この仮想オブジェクト３７１は、複合現実感（ＭＲ）生成装置１３０のメモリ１３３に格納されたデータである。仮想オブジェクト管理モジュール１３２は、三次元情報解析部１３１からカメラ撮影画像に含まれる実オブジェクト（ユーザの手の指）の三次元位置情報を取得し、取得した実オブジェクトの位置に対応する位置に仮想オブジェクト３７１の表示位置を設定して表示処理を実行する。

これらの処理によって、ユーザ１００は、ＰＣ１２０の表示領域から消去されてしまったデータを、仮想オブジェクト３７１として常時、確認することが可能となる。

［２．本発明の情報処理装置の実行する処理のシーケンス例について］
次に、図５以下のフローチャートを参照して、ユーザの各指を仮想オブジェクト貼り付け表示位置として設定する処理、および仮想オブジェクトの表示処理などの処理シーケンスについて説明する。以下において説明する処理シーケンスは以下の通りである。
（ａ）ユーザの各指を仮想オブジェクト貼り付け表示位置として設定登録する処理（図５）
（ｂ）ユーザの各指に仮想オブジェクトを貼り付けて表示する処理（図７）
（ｃ）ユーザの指に設定した仮想オブジェクトをＰＣにおける処理データとして利用（ペースト）する際の複合現実感（ＭＲ）生成装置１３０の処理（図８）
（ｄ）ユーザの指に設定した仮想オブジェクトをＰＣにおける処理データとして利用（ペースト）する際のＰＣ１２０の処理（図９）

（ａ）ユーザの各指を仮想オブジェクト貼り付け表示位置として設定登録する処理
まず図５に示すフローチャートを参照して、ユーザの各指を仮想オブジェクト貼り付け表示位置として設定登録する処理について説明する。この処理は、複合現実感（ＭＲ）生成装置１３０側の処理として実行する。

まず、ステップＳ１０１において、複合現実感（ＭＲ）生成装置１３０を貼り付け先登録処理モードに設定する。なお、図１に示す複合現実感（ＭＲ）生成装置１３０には示していないが、複合現実感（ＭＲ）生成装置１３０はモード設定などを行う入力部があり、ユーザの操作によってモード設定が可能である。

次に、ステップＳ１０２おいて、三次元情報解析部（手認識モジュール）１３１がカメラ１４２からの入力画像を解析し、画像に含まれる実オブジェクトの三次元位置を解析する。本例では三次元位置の解析対象とする実オブジェクトは、ユーザの手の各指である。三次元情報解析部（手認識モジュール）１３１は、ユーザの一方の手の各指を識別するとともに、各指の三次元位置の解析を行う。

ステップＳ１０３において、ユーザが、もう一方の手の指で貼り付け対象となる指を指示（触る）すると、三次元情報解析部（手認識モジュール）１３１は、ステップＳ１０４において、画像の解析によって、どの指が指示されたかを認識する。三次元情報解析部（手認識モジュール）１３１は予め人の指の識別情報を有しており、ユーザによって指示された指が親指であるすか指であるか等の識別を行うことができる。三次元情報解析部（手認識モジュール）１３１は、ユーザによつて仮想オブジェクトの貼り付け位置として指定された指の情報を仮想オブジェクト管理モジュール１３２に出力する。

次に、ステップＳ１０５において、仮想オブジェクト管理モジュール１３２が、三次元情報解析部（手認識モジュール）１３１から入力した仮想オブジェクトの貼り付け位置として指定された指を登録する。なお、指定された指が、すでに仮想オブジェクトの貼り付け位置として登録済みである場合は、登録済みであることをユーザに通知する。処理を行うことなく無視する。

仮想オブジェクト管理モジュール１３２は、仮想オブジェクトの貼り付け位置として登録された位置情報と、その貼り付け位置に仮想オブジェクトが既に貼り付けられているか否かを示す状態情報を管理情報として含む仮想オブジェクト情報管理テーブルをメモリ１３３に保持して管理している。例えば図６に示すような情報を格納した管理テーブルである。仮想オブジェクト管理モジュール１３２は、このような仮想オブジェクト情報管理テーブルを適宜、更新し参照しながら処理を行う。

ステップＳ１０６では、貼り付け先登録処理モードが継続中であるか否かを判定し、継続中である場合は、ステップＳ１０２以下の処理を繰り返し実行する。テップＳ１０６では、貼り付け先登録処理モードが継続中でないと判定されると、登録処理が終了する。

なお、図５の処理は、仮想オブジェクトの貼り付け先を手の指に設定した処理であるが、その他の任意のオブジェクトを仮想オブジェクトの貼り付け先として設定することが可能である。例えば、後段で説明するが図１０に示すようにＰＣの枠を仮想オブジェクトの貼り付け位置として設定するといった処理を行なうことも可能である。

次に、図５に示すフローに従って登録された仮想オブジェクト貼り付け先を利用した仮想オブジェクト貼り付け処理シーケンスについて、図７に示すフローチャートを参照して説明する。図７に示すフローは、ユーザの各指に仮想オブジェクトを貼り付けてユーザ１００の装着しているメガネ１４１のディスプレイに表示する処理である。この処理は、図１に示す複合現実感（ＭＲ）生成装置１３０側の処理として実行する。

まず、ステップＳ１５１において、複合現実感（ＭＲ）生成装置１３０の仮想オブジェクト管理モジュール１３２は、複合現実感（ＭＲ）生成装置１３０のメモリ１３３に格納されたデータを取得する。なお、このデータは、複合現実感（ＭＲ）生成装置１３０の制御部の制御の下に通信部１３４を介してＰＣ１２０から受信した処理データである。すなわちＰＣ１２０に対するユーザのデータ処理によってカットやコピー対象となったデータである。

次にステップＳ１５２において、仮想オブジェクト管理モジュール１３２は、仮想オブジェクトを貼り付けていない貼り付け可能位置の有無を調べる。この処理は、三次元情報解析部１３１がカメラ１４２の取得画像に基づく解析情報を利用して実行してもよいし、先に図６を参照して説明した仮想オブジェクト情報管理テーブルを参照して行う構成としてもよい。

ステップＳ１５３では、仮想オブジェクトが、すべての登録済みの仮想オブジェクト貼り付け位置に貼りついているか否かを判定する。すべての登録済みの仮想オブジェクト貼り付け位置に仮想オブジェクトが貼りついている場合は、ステップＳ１５３の判定がＹｅｓとなり、ステップＳ１５６に進む。一方、仮想オブジェクト貼り付け可能位置が残っている場合は、ステップＳ１５３の判定がＮｏとなり、ステップＳ１５４に進む。

例えば、図６に示す登録情報が設定された仮想オブジェクト情報管理テーブルを参照した場合、エントリ（３）以降が、現時点で仮想オブジェクトが貼り付けられていない仮想オブジェクト貼り付け可能位置として検出されることになる。この場合は、仮想オブジェクト貼り付け可能位置が残っているのでステップＳ１５３の判定がＮｏとなり、ステップＳ１５４に進む。

ステップＳ１５４においては、空いている貼り付け位置の登録順（例えば親指，人差し指，中指の順）で貼り付け先を決定する。なお、貼り付け位置の設定はユーザの選択可能な構成としてもよい。

次に、ステップＳ１５５に進み、仮想オブジェクト管理モジュール１３２は、選択された仮想オブジェクト貼り付け位置に、先のステップＳ１５１においてメモリから取得したデータの貼り付け処理を実行する。

三次元情報解析部１３１は、随時カメラ１４２からの入力画像の解析を行い、実オブジェクトである手の各指の三次元位置を把握している。仮想オブジェクト管理モジュール１３２は、三次元情報解析部１３１から入力する指の位置情報に応じて仮想オブジェクトの表示位置を動的に変更しながら、実オブジェクトと仮想オブジェクトの合成画像をユーザ１００の装着したメガネ１４１のディスプレイに表示する処理を行う。

この処理によって、例えば図２や図４を参照して説明した仮想オブジェクトの貼り付け表示データが、ユーザの装着したメガネ１４１のディスプレイに表示される。

次に、ステップＳ１５３においてＹｅｓの判定がなされた場合の処理について説明する。この場合は、すべての登録済みの仮想オブジェクト貼り付け位置に仮想オブジェクトが貼りついている場合であり、ステップＳ１５３の判定がＹｅｓとなりステップＳ１５６に進む。

ステップＳ１５６では、ユーザに対する問い合わせを行う。すなわち、ユーザに仮想オブジェクトの削除を実行してよいか否かについて問い合わせを行う。この問い合わせは、例えばユーザの操作しているＰＣ１２０に対して通信部を介してメッセージを送信し、ＰＣのディスプレイに表示する。あるいは、複合現実感（ＭＲ）生成装置１３０の出力部（スピーカあるいはディスプレイ）を利用してメッセージを出力するといった方法で行う。なお、削除対象とする仮想オブジェクトの選択処理としては、例えば最も古い貼り付け処理が行われた仮想オブジェクトから順次、削除可否をユーザに問い合わせる処理と設定としてもよい。あるいは貼り付けられた複数の仮想オブジェクトから、ユーザが削除してよいと判断した仮想オブジェクトを指定し、その指定情報によって削除対象を選択する処理を行う構成としてもよい。

ユーザからの削除ＯＫの入力が得られた場合は、ステップＳ１５７に進み、仮想オブジェクトの削除を実行する。なお、ユーザの入力は、ＰＣ１２０を介して行ってもよいし、複合現実感（ＭＲ）生成装置１３０の入力部を介して行ってもよい。あるいは、複合現実感（ＭＲ）生成装置１３０の三次元情報解析部１３１が取得するカメラ１４２の画像に基づく解析、例えばユーザの指定した削除可能な仮想オブジェクトの指定情報を利用して実行してもよい。

この削除処理が行われると、ステップＳ１５５に進む。ステップＳ１５５では、仮想オブジェクト管理モジュール１３２は、削除処理によって設定された仮想オブジェクト貼り付け可能位置に、先のステップＳ１５１においてメモリから取得したデータの貼り付け処理を実行する。この処理によって、例えば図２や図４を参照して説明した仮想オブジェクトの貼り付け表示データが、ユーザの装着したメガネ１４１のディスプレイに表示される。

一方、ステップＳ１５６において、ユーザからの削除ＯＫの入力が得られなかった場合は、ステップＳ１５８に進む。ステップＳ１５８では、新たな貸そうブジェクトの貼り付け表示処理が実行できない旨をユーザに通知する処理を行って処理を終了する。このユーザ通知処理は、例えばユーザの操作しているＰＣ１２０に対して通信部を介してメッセージを送信し、ＰＣのディスプレイに表示する。あるいは、複合現実感（ＭＲ）生成装置１３０の出力部（スピーカあるいはディスプレイ）を利用してメッセージを出力するといった方法で行う。

次に、仮想オブジェクトをＰＣにおける処理データとして利用（ペースト）する処理シーケンスについて、図８、図９に示すフローチャートを参照して説明する。この処理は、複合現実感（ＭＲ）生成装置１３０側の処理と、ＰＣ１２０側の処理とによって行われる。

まず、図８に示すフローチャートを参照して、複合現実感（ＭＲ）生成装置１３０の処理について説明する。まず、ステップＳ２０１において、複合現実感（ＭＲ）生成装置１３０は、仮想オブジェクト貼り付け位置（例えば指Ｆ）の指示情報を解析する。

ユーザ１００は、メガネ１４１のディスプレイを観察しながら、例えば図２に示すようなユーザの指に貼り付けられた複数の仮想オブジェクトから、１つの仮想オブジェクトをもう一方の手の指で指示する。三次元情報解析部（手認識モジュール）１３１がカメラ１４２からの入力画像を解析し、画像に含まれるユーザの指示した位置とその位置にある実オブジェクトである指がどの指であるかを解析する。この情報は、仮想オブジェクト管理モジュール１３２に提供される。

次にステップＳ２０２において、仮想オブジェクト管理モジュール１３２は、三次元情報解析部（手認識モジュール）１３１の解析したユーザの指示位置（例えばユーザの指のいずれか）に貼り付けられた仮想オブジェクトがあるか否かを判定する。この処理は、例えば図６を参照して説明した仮想オブジェクト情報管理テーブルを参照して行うことができる。

ユーザの指示位置に仮想オブジェクトが貼り付けられている場合は、ステップＳ２０３の判定がＹｅｓとなり、ステップＳ２０４に進む。
ステップＳ２０４では、ユーザの指示位置に貼り付けられた仮想オブジェクトに対応するデータをメモリ１３３から取得して、通信部１３４を介してＰＣ１２０に送信する。

仮想オブジェクト管理モジュール１３２は、ユーザ１００のメガネ１４１のディスプレイに表示された仮想オブジェクトに対する処理要求の入力に応じて、処理要求のなされた仮想オブジェクトに対応するデータをＰＣ１２０を適用したデータ処理を行うデータ処理装置またはＰＣ１２０のアクセス可能なメモリに出力する処理を行う。

図１に示す構成において、複合現実感（ＭＲ）生成装置１３０は通信部１３４を介してデータをＰＣ１２０側に出力する。ＰＣ１２０は、複合現実感（ＭＲ）生成装置１３０側からデータを受信し、ＰＣ１２０側のメモリ１２２に格納する。

一方、ユーザの指示位置に仮想オブジェクトが貼り付けられている場合は、ステップＳ２０３の判定がＮｏとなり、ステップＳ２０５に進む。
ステップＳ２０５では、ユーザの指示位置には、仮想オブジェクトが貼り付けられていないことを通知する。この通知は、ＰＣ１２０または複合現実感（ＭＲ）生成装置１３０の出力部を介して行う。

次に、図８に示す複合現実感（ＭＲ）生成装置１３０側の処理の終了後に、ＰＣ１２０側で実行する処理のシーケンスについて図９に示すフローチャートを参照して説明する。ＰＣ１２０は、複合現実感（ＭＲ）生成装置１３０側から、処理対象データであるデータを受信し、ＰＣ側のメモリ１２２に格納している。

ＰＣ１２０は、まずステップＳ３０１において、ユーザによる画面位置指示情報を入力する。これは仮想オブジェクトに対応するデータをペーストする位置である。例えばマウスやキーボードの操作によって指定する。あるいはタッチディスプレイである場合は、ユーザの指で画面をタッチしタッチ位置情報を算出する。

ステップＳ３０２において、ＰＣ１２０のアプリケーション実行部１２１は、ユーザの指示したディスプレイ上の位置座標（ｘ，ｙ）を算出する。
ステップＳ３０３において、指示位置（ｘ，ｙ）に対応する場所をデータの挿入先と決定する。例えば、文字と文字の間などである。

ステップＳ３０４では、ＰＣ１２０内のメモリ１２２に複合現実感（ＭＲ）生成装置１３０側から受領した処理対象データが存在するか否かを判定する。処理対象データが存在する場合は、ステップＳ３０４の判定がＹｅｓとなり、ステップＳ３０５において、アプリケーション実行部１２１がメモリ１２２からデータを取り出して、決定した挿入先にデータペーストを実行する。処理対象データが存在しない場合は、ステップＳ３０４においてＮｏの判定となり、ステップＳ３０５の処理を行うことなく、処理を終了する。

このようにして、ユーザ１００の装着したメガネ１４１に表示された仮想オブジェクトが、ユーザが現実世界で操作しているＰＣ１２０の処理データとして利用される。

［３．仮想オブジェクトの貼り付け対象とする実オブジェクトの例について］
上述の実施例では、仮想オブジェトの貼り付け先としてユーザの手の指を利用した処理例について説明したが、仮想オブジェトの貼り付け先はユーザの手の指に限らず、ユーザ１００の装着したメガネ１４１に表示される様々な実オブジェクトを利用することができる。

例えば、図１０に示すようにＰＣ１２０の外枠を仮想オブジェクトの貼り付け位置として設定するといった処理も可能である。図１０には、図４を参照して説明したと同様、ユーザ１００の装着したメガネ１４１のディスプレイに表示されるディスプレイ表示画像３５０を示している。

マーカー３２１ａ〜ｄの設定されたディスプレイの画像は、ユーザ１００の操作するＰＣ１２０の実画像であり、カメラ１４２の撮影した実画像である。この実画像に対して、仮想オブジェクト４０１〜４０３が併せて表示される。仮想オブジェクト４０１〜４０３は、ユーザ１００によるＰＣ１２０に対する処理において処理対象としたデータ、例えばカット処理やコピー処理としたデータである。

図１０に示す例では、これらの仮想オブジェクト４０１〜４０３の貼り付け位置をＰＣ３２１の右側のマーカー３２１ａとマーカー３２１ｂの区間としている。すなわち、図１０に矢印で示す仮想オブジェクト貼り付け区間３８０を設定している。マーカー３２１ａの実空間における座標（ｘａ，ｙａ，ｚａ）とマーカー３２１ｂの実空間における座標（ｘｂ，ｙｂ，ｚｂ）を求めた後、この区間（ｘａ，ｙａ，ｚａ）〜（ｘｂ，ｙｂ，ｚｂ）を複数区間に均等に分割し、それぞれの分割領域を仮想オブジェクト貼り付け領域として設定する。

この場合の仮想オブジェクト情報管理テーブルは、例えば図１１に示す設定となる。なお、図１１に示すテーブルには、参考データとして実際の貼り付け仮想オブジェクトも示している。このように、仮想オブジェクトの貼り付け位置は、ユーザの手に駆らず、様々なオブジェクトを利用することができる。

本発明の構成によれば、情報提示画面を狭めたり，コピーバッファをいちいち表示したり、一度ペーストしてＵＮＤＯしたりすることなく，コピーされている内容を確認することができる。また、指や自分の身体をコピーバッファとして使用した場合、ある情報提示画面からコピーした内容を離れた場所にある別の情報提示画面にペーストする場合に、自分がその画面にまで移動して、ペーストすることができるので、直感的にペースト作業を行うことができる。また、３Ｄオブジェクトは実世界で３Ｄオブジェクトとしてインスタンス化され表示されるのでその形状などを直感的に理解しやすく、ペースト時に向きなども指定しやすい。

以上、特定の実施例を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本発明の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。

また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。

なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

以上、説明したように、本発明の一実施例の構成によれば、例えばＰＣを適用したデータ処理において、削除処理やコピー処理の対象としたデータなどＰＣの表示部に表示されないデータを仮想オブジェクトとして設定し、ユーザの手の指などに貼り付けて、常に観察することを可能な構成とした。本構成によれば、ＰＣの表示領域に表示されないデータをＰＣの表示領域以外の空間に貼り付けて表示して観察することが可能となり、データ処理の効率を高めることが可能となる。

１００ ユーザ
１２０ ＰＣ（パーソンナルコンピュータ）
１２１ アプリケーション実行部
１２２ メモリ
１２３ 通信部
１３０ 複合現実感（ＭＲ）生成装置
１３１ 三次元情報解析部
１３２ 仮想オブジェクト管理モジュール
１３３ メモリ
１３４ 通信部
１４１ メガネ
１４２ カメラ
１５０ 仮想オブジェクト
２００ ディスプレイ表示画像
２０１〜２０３ 仮想オブジェクト
３２１ａ〜３２１ｄ マーカー
３５０ ディスプレイ表示画像
３６０ 手
３７１ 仮想オブジェクト
３８０ 仮想オブジェクト貼り付け区間
４０１〜４０３ 仮想オブジェクト

Claims (9)

1. 第１表示部を利用したデータ処理において生成した処理データを格納するメモリと、
   カメラ撮影画像に含まれる実オブジェクトの三次元位置を解析する三次元情報解析部と、
   前記三次元情報解析部の解析情報を入力し、前記実オブジェクトの構成部位を仮想オブジェクト表示位置として決定し、前記実オブジェクトと前記仮想オブジェクトを合成した合成画像を第２表示部に表示する仮想オブジェクト管理部を有し、
   前記仮想オブジェクト管理部は、
   前記第２表示部に表示された仮想オブジェクトに対する処理要求の入力に応じて、処理要求のなされた仮想オブジェクトに対応するデータを前記第１表示部を適用したデータ処理を行うデータ処理装置または該データ処理装置のアクセス可能なメモリに出力する処理を行う情報処理装置。
2. 前記情報処理装置は、通信部を有し、
   前記第１表示部を適用したデータ処理を行うデータ処理装置との通信を実行して、前記第１表示部を適用したデータ処理用のデータを送受信する請求項１に記載の情報処理装置。
3. 前記三次元情報解析部は、カメラ撮影画像に含まれるユーザの手の各指を認識する手認識モジュールを有し、手認識モジュールにおいて認識されたユーザの手の各指の三次元位置を解析する構成であり、
   前記仮想オブジェクト管理部は、
   ユーザの手の各指の位置を前記仮想オブジェクト表示位置として決定し、ユーザの手の各指の位置に前記仮想オブジェクトを合成した合成画像を第２表示部に表示する処理を行う請求項１に記載の情報処理装置。
4. 前記メモリに格納されるデータは、前記第１表示部を適用したデータ処理において実行されたデータ削除処理またはデータコピー処理の対象となったデータである請求項１に記載の情報処理装置。
5. 前記仮想オブジェクト管理部は、
   前記三次元情報解析部の解析情報を入力し、前記第２表示部の表示画像に含まれる実オブジェクトの構成部位を仮想オブジェクト表示位置として決定し、決定情報を仮想オブジェクト情報管理テーブルに登録する処理を行う請求項１に記載の情報処理装置。
6. 前記仮想オブジェクト管理部は、
   前記仮想オブジェクト情報管理テーブルに登録された仮想オブジェクト表示位置に対応する前記第２表示部の表示位置に仮想オブジェクトが表示中であるか否かを示す状態情報を登録する処理を行う請求項５に記載の情報処理装置。
7. 前記仮想オブジェクト管理部は、
   前記仮想オブジェクト情報管理テーブルの前記状態情報を参照して、新たな仮想オブジォクトの表示可否を判定し、ユーザ入力に応じて前記第２表示部に表示中の仮想オブジェクトの削除処理を行う請求項６に記載の情報処理装置。
8. 情報処理装置において実行する情報処理方法であり、
   制御部が、第１表示部を利用したデータ処理に適用する処理データをメモリに格納するステップと、
   三次元情報解析部が、カメラ撮影画像に含まれる実オブジェクトの三次元位置を解析する三次元情報解析ステップと、
   仮想オブジェクト管理部が、前記三次元情報解析部の解析情報を入力し、前記実オブジェクトの構成部位を仮想オブジェクト表示位置として決定し、前記実オブジェクトと前記仮想オブジェクトを合成した合成画像を第２表示部に表示するステップと、
   前記仮想オブジェクト管理部が、前記第２表示部に表示された仮想オブジェクトに対する処理要求の入力に応じて、処理要求のなされた仮想オブジェクトに対応するデータを、前記第１表示部を適用したデータ処理を行うデータ処理装置または該データ処理装置のアクセス可能なメモリに出力する処理を行うステップと、
   を有する情報処理方法。
9. 情報処理装置において情報処理を実行させるプログラムであり、
   制御部に、第１表示部を利用したデータ処理に適用する処理データをメモリに格納させるステップと、
   三次元情報解析部に、カメラ撮影画像に含まれる実オブジェクトの三次元位置を解析させる三次元情報解析ステップと、
   仮想オブジェクト管理部に、前記三次元情報解析部の解析情報を入力させて、前記実オブジェクトの構成部位を仮想オブジェクト表示位置として決定させ、前記実オブジェクトと前記仮想オブジェクトを合成した合成画像を第２表示部に表示させるステップと、
   前記仮想オブジェクト管理部に、前記第２表示部に表示された仮想オブジェクトに対する処理要求の入力に応じて、処理要求のなされた仮想オブジェクトに対応するデータを、前記第１表示部を適用したデータ処理を行うデータ処理装置または該データ処理装置のアクセス可能なメモリに出力する処理を行わせるステップと、
   を実行させるプログラム。