JP2009110493A - 情報処理装置、情報処理方法、およびそのプログラム - Google Patents

Abstract

【課題】ＴＵＩを利用する際にアプリケーションを利用する際の手間を省略し、直接的な操作のユーザビリティや操作性を向上させることができる情報処理装置を提供すること。
【解決手段】スクリーン上に配置または接近した物体が撮像されたときの前記物体の画像を抽出する画像抽出部１１０と、画像抽出部１１０によって抽出された物体の画像から識別情報を取得する物体認識部１２０と、物体認識部１２０によって取得した識別情報と対応する属性情報を取得する属性情報取得部１３０と、属性情報取得部１３０によって取得された属性情報のアプリケーション情報に対応する起動画像をスクリーン上に表示させる投影画像生成部１４０と、投影画像生成部１４０によって表示された起動画像の選択を受け付ける処理選択受付部１５０と、処理選択受付部１５０によって受け付けた起動画像に対応するアプリケーションを実行する処理実行部１６０とを備えて構成する。
【選択図】図４

Description

本発明は、画像の処理や表示を行う情報処理装置、情報処理方法、およびそのプログラムに関する。

今日、コンピュータを操作する際には、利用者がマウスおよびディスプレイなどを使用する形態となるＧＵＩ（Graphical User Interface）が広く普及している。例えば、利用者が文書データを含む電子ファイルをディスプレイに表示する場合は、電子ファイル名およびこの電子ファイルに対応付いた文書表示用のアプリケーションプログラムを表すアイコンと呼ばれるディスプレイ上の画像をマウスでクリックすることで、文書表示用のアプリケーションプログラムが起動されると共に文書データがディスプレイに表示される。以下、アプリケーションプログラムを単にアプリケーションという。

しかしながら、それらＧＵＩは、視覚、聴覚によるインタラクションであって、ディスプレイ上に表示される画像を介した間接的な操作である。直接的な操作性を高めるためには個々の情報特有な触覚的なフィードバックが必要であるという思想の下、「情報と物理世界を融合するタンジブル・ユーザ・インタフェース(ＴＵＩ：Tangible User Interface)」が提唱されている。

ＴＵＩを利用する画像表示装置としては、スクリーン上にある物体を撮影するＣＣＤカメラと、画像をスクリーンに表示するプロジェクタを備えている（例えば、特許文献１参照）。また、片手で持つことが可能な大きさの模型や用紙などの物体にサーキュラバーコードが付着されており、利用者がこの物体をスクリーン上に置くと、特許文献１に記載の画像表示装置は、ＣＣＤカメラにより撮影された撮像データから物体に付着しているサーキュラバーコードを読取ってサーキュラバーコードから物体の情報を取得し、物体に関する画像をスクリーンに投影したり、スクリーンに載せた物体を人手で移動させたときに、その物体の動きを認識した移動情報に応じてスクリーンにすでに投影されている画像に動きを与えるなどを行うものが知られている。

上述したＴＵＩを利用する画像表示装置では、実際の物体を手に取って操作するため、ＧＵＩを利用するものと比較すれば、直接的に物体を操作することで、操作に応じたスクリーンの表示や物体に係る情報をユーザに提供することが可能である。
特開２００７−０１１２７６号公報

しかしながら、ＧＵＩを利用するコンピュータなどでは、アプリケーションを起動する際、電子ファイルを示すアイコンをクリックすることで電子ファイルと共にアプリケーションの起動および電子ファイルを利用することができる、すなわち、所望の電子ファイルを指定することで該電子ファイルの閲覧を行うために必要なアプリケーションが起動し、起動したアプリケーション上に選択した電子ファイルが展開されるが、上述したＴＵＩを利用する従来の画像表示装置では、利用者が、使用したいアプリケーションを予め起動しておき、物体に付着されたサーキュラバーコードを読取らせ、読取られた物体の情報を起動中のアプリケーションに設定する等といった作業を行わなくてはならないという手間が生じていた。

本発明は、上述した課題を解決するためになされたものであり、ＴＵＩを利用する際のアプリケーションの選択や起動に要する手間を省略し、直接的な操作のユーザビリティや操作性を向上させることができる情報処理装置、情報処理方法、およびそのプログラムを提供することを目的とする。

本発明の情報処理装置は、スクリーン上に配置または接近した物体が撮像されたときの前記物体の画像を抽出する画像抽出部と、前記画像抽出部によって抽出された物体の画像から前記物体の識別情報を取得する物体認識部と、アプリケーション情報を含む属性情報と前記識別情報とを対応付けた属性情報テーブルを記憶する記憶部と、前記物体認識部によって取得した識別情報と対応する属性情報を前記属性情報テーブルから取得する属性情報取得部と、前記属性情報取得部によって取得された属性情報のアプリケーション情報に対応する起動画像を前記スクリーン上に表示させる起動画像表示部と、前記起動画像表示部によって表示された起動画像の選択を受け付ける処理選択受付部と、前記処理選択受付部によって受け付けた起動画像に対応するアプリケーションを実行する処理実行部と、を備えた構成を有している。
この構成により、物体がスクリーン上に配置または接近したとき、物体の属性情報に対応付けたアプリケーションに対応する起動画像をスクリーン上に表示させ、表示された起動画像の選択を受け付けた起動画像に対応するアプリケーションを実行するため、ＴＵＩを利用する際にアプリケーションを利用する際の手間を省略し、直接的な操作のユーザビリティや操作性を向上させることができる。

また、本発明の情報処理装置は、前記属性情報テーブルには、前記識別情報と物体の属性に関する属性ファイルが対応付けられており、前記属性情報取得部は、前記物体認識部によって取得した識別情報と対応する属性ファイルを前記属性情報テーブルから取得し、前記処理実行部は、前記属性情報取得部によって取得された属性ファイルに基づいて、前記起動画像に対応するアプリケーションを起動する構成を有している。
この構成により、物体に対応した属性ファイルに基づいて起動画像に対応するアプリケーションを起動するため、アプリケーションの起動と共に物体の属性に応じたスクリーンの表示や物体に係る情報をユーザに提供することができる。

また、本発明の情報処理装置は、前記画像抽出部によって抽出された物体の画像は、バーコード画像によって構成されており、前記物体認識部は、前記物体の画像がバーコード画像であるかを解析し、前記物体の画像がバーコード画像であると判定された場合には、前記バーコード画像から識別情報を取得する構成を有している。
この構成により、バーコード画像が使用されているため、物体の認識が容易に行うことができる。

また、本発明の情報処理装置は、前記記憶部は、さらに、前記アプリケーション情報と該アプリケーションの実行ファイルの所在を表すパスとが対応付けられている処理情報テーブルを記憶しており、前記処理実行部は、前記処理情報テーブルから、前記処理選択受付部によって受け付けた起動画像に対応するアプリケーションに対応する前記パスを取得し、該パスに基づいてアプリケーションを起動する構成を有している。
この構成により、処理情報テーブルが使用されているため、アプリケーションの起動が容易に行うことができる。

また、本発明の情報処理装置は、前記起動画像を前記スクリーンに投影する投影部を備え、前記起動画像表示部は、前記投影部を用いて前記属性情報取得部によって取得されたアプリケーション情報に対応する起動画像を前記スクリーン上に表示させる構成を有している。
この構成により、情報処理装置の構成を簡単に実現することができる。

また、本発明の情報処理装置は、前記スクリーン上の位置をポインティングするための操作入力部を備え、前記処理選択受付部は、前記起動画像表示部によって表示された起動画像の領域内に前記操作入力部から入力されるポインティングされた位置があるとき前記起動画像の選択を受け付ける構成を有している。
この構成により、情報処理装置の構成を簡単に実現することができる。

また、本発明の情報処理装置は、スクリーン上に配置または接近した物体を撮像する撮像部を備え、前記画像抽出部は、前記撮像部で撮像されたときの前記物体の画像を抽出する構成を有している。
この構成により、情報処理装置の構成を簡単に実現することができる。

本発明の情報処理方法は、情報処理装置が、スクリーン上に配置または接近した物体が撮像されたときの前記物体の画像を抽出する画像抽出ステップと、前記情報処理装置が、前記画像抽出ステップで抽出された物体の画像から前記物体の識別情報を取得する物体認識ステップと、前記情報処理装置が、アプリケーション情報を含む属性情報と前記識別情報とを対応付けた属性情報テーブルから、前記物体認識部によって取得した識別情報と対応する属性情報を取得する属性情報取得ステップと、前記情報処理装置が、前記属性情報取得ステップで取得された属性情報のアプリケーション情報に対応する起動画像を前記スクリーン上に表示させる起動画像表示ステップと、前記情報処理装置が、前記起動画像表示ステップで表示された起動画像の選択を受け付ける処理選択受付ステップと、前記情報処理装置が、前記処理選択受付ステップで受け付けた起動画像に対応するアプリケーションを実行するステップと、を備えている。
この方法により、物体がスクリーン上に配置または接近したとき、物体の属性情報に対応付けたアプリケーションに対応する起動画像をスクリーン上に表示させ、表示された起動画像の選択を受け付けた起動画像に対応するアプリケーションを実行するため、ＴＵＩを利用する際にアプリケーションを利用する際の手間を省略し、直接的な操作のユーザビリティや操作性を向上させることができる。

本発明の情報処理プログラムは、スクリーン上に配置または接近した物体が撮像されたときの前記物体の画像を抽出する画像抽出ステップと、前記画像抽出ステップで抽出された物体の画像から前記物体の識別情報を取得する物体認識ステップと、アプリケーション情報を含む属性情報と前記識別情報とを対応付けた属性情報テーブルから、前記物体認識部によって取得した識別情報と対応する属性情報を取得する属性情報取得ステップと、前記属性情報取得ステップで取得された属性情報のアプリケーション情報に対応する起動画像を前記スクリーン上に表示させる起動画像表示ステップと、前記起動画像表示ステップで表示された起動画像の選択を受け付ける処理選択受付ステップと、前記処理選択受付ステップで受け付けた起動画像に対応するアプリケーションを実行するステップと、をコンピュータに実行させる。
このプログラムにより、物体がスクリーン上に配置または接近したとき、物体の属性情報に対応付けたアプリケーションに対応する起動画像をスクリーン上に表示させ、表示された起動画像の選択を受け付けた起動画像に対応するアプリケーションを実行するため、ＴＵＩを利用する際にアプリケーションを利用する際の手間を省略し、直接的な操作のユーザビリティや操作性を向上させることができる。

本発明のコンピュータ読み取り可能な記録媒体は、本発明の情報処理プログラムを記録している。この構成により、情報処理プログラムを配布することができる。

また、本発明の情報処理装置は、前記属性情報テーブルが、前記アプリケーション情報を含む属性情報と前記識別情報とさらに前記識別情報のアプリケーション情報に関連する関連識別情報とを対応付けており、前記画像抽出部によって抽出された第１の物体および第２の物体の画像から前記第１および第２の物体の識別情報を取得したとき、前記第１の物体の識別情報の前記関連識別情報が、前記第２の物体の識別情報であるかを前記属性情報から検索する関連識別情報検索部と、前記関連識別情報検索部によって検索された前記関連識別情報に対応するアプリケーションの起動画像である関連起動画像が認識可能なように処理を行う表示処理部と、を備え、前記起動画像表示部が、前記属性情報取得部によって取得された属性情報のアプリケーション情報に対応する前記起動画像および前記関連起動画像を、前記表示処理部の処理に従って前記スクリーン上に表示させる構成を有している。
この構成により、検索された関連識別情報に対応する関連起動画像が認識可能なように処理を行い、取得された属性情報のアプリケーション情報に対応する起動画像および関連起動画像を、その処理に従ってスクリーン上に表示させるため、スクリーン上に複数の物体を認識したとき、関連起動画像の表示がわかりやすくなり、複数の物体に関連性を有するアプリケーションを通知でき、直接的な操作のユーザビリティや操作性を向上させることができる。

また、本発明の情報処理装置は、前記表示処理部が、前記スクリーン上の前記第１および第２の物体の位置との間に前記関連起動画像を表示させるように処理を行う構成を有している。
この構成により、スクリーン上の第１および第２の物体の位置との間に関連起動画像を表示させるように処理を行うため、関連起動画像の表示がわかりやすくなり、複数の物体に関連性を有するアプリケーションを通知できる。

また、本発明の情報処理装置は、前記表示処理部が、前記起動画像の色とは異なる色を前記関連起動画像に付けて表示させるように処理を行う構成を有している。
この構成により、起動画像の色とは異なる色を関連起動画像に付けて表示させるように処理を行うため、関連起動画像の表示がわかりやすくなり、複数の物体に関連性を有するアプリケーションを通知できる。

また、本発明の情報処理装置は、前記表示処理部が、前記関連起動画像を前記スクリーン上の端の部分に表示させるように処理を行う構成を有している。
この構成により、関連起動画像をスクリーン上の端の部分に表示させるように処理を行うため、関連起動画像の表示がわかりやすくなり、複数の物体に関連性を有するアプリケーションを通知できる。

また、本発明の情報処理装置は、前記表示処理部が、前記関連起動画像と前記スクリーン上の前記第１の物体および前記第２の物体とを結線して表示させるように処理を行う構成を有している。
この構成により、関連起動画像とスクリーン上の第１の物体および第２の物体とを結線して表示させるように処理を行うため、関連起動画像の表示がわかりやすくなり、複数の物体に関連性を有するアプリケーションを通知できる。

また、本発明の情報処理装置は、前記表示処理部が、前記第１の物体を囲む第１の枠および前記第２の物体を囲む第２の枠を前記スクリーン上に表示させると共に前記第１と第２の枠が互いに重なる領域に前記関連起動画像を表示させるように処理を行う構成を有している。
この構成により、第１の物体を囲む第１の枠および第２の物体を囲む第２の枠をスクリーン上に表示させると共に第１と第２の枠が互いに重なる領域に関連起動画像を表示させるように処理を行うため、関連起動画像の表示がわかりやすくなり、複数の物体に関連性を有するアプリケーションを通知できる。

また、本発明の情報処理装置は、前記表示処理部が、前記第１と第２の枠が互いに重ならない領域には前記起動画像を表示させるように処理を行う構成を有している。
この構成により、第１と第２の枠が互いに重ならない領域には起動画像を表示させるように処理を行うため、関連起動画像と共に起動画像の表示がわかりやすくなり、関連起動画像と起動画像とを明確に通知できる。

また、本発明の情報処理装置は、前記表示処理部が、前記第１と第２の枠が互いに重なる領域に前記関連起動画像だけを表示させ、重ならない領域に前記起動画像を表示させないように処理を行う構成を有している。
この構成により、起動画像を表示させないため、関連起動画像の表示がわかりやすくなり、複数の物体に関連性を有するアプリケーションを通知できる。

以上のように本発明は、ＴＵＩを利用する際にアプリケーションの選択や起動に要する手間を省略し、直接的な操作のユーザビリティや操作性を向上させることができる情報処理装置、情報処理方法、およびそのプログラムを提供することができる。

以下、本発明の実施の形態について、図面を用いて説明する。

（本発明の第１の実施の形態）
図１は、本発明の第１の実施の形態に係る画像表示装置の側面図である。図２は、本発明の第１の実施の形態に係る画像表示装置の斜視図である。図１に示すように、本実施形態としての画像表示装置１は、表面１１と、スクリーン１２と、投影面１３と、筐体１４と、筐体１４内に設置されたプロジェクタ１５およびＣＣＤ（Charge Coupled Device）カメラ１６（撮像部）と、プロジェクタ１５（投影部）、ＣＣＤカメラ１６、および入力機器１７（操作入力部）が接続された情報処理装置１００とから構成されている。

スクリーン１２は、拡散処理が施されている透過性のあるスクリーンである。プロジェクタ１５は、スクリーン１２に向けて設置されており、スクリーン１２にプロジェクタ１５からの画像が投影されるようになっている。ＣＣＤカメラ１６は、スクリーン１２を撮影し続けるようになっている。情報処理装置１００には、プロジェクタ１５およびＣＣＤカメラ１６が接続されており、ＣＣＤカメラ１６からの入力画像と、プロジェクタ１５への出力画像を処理するようになっている。表面１１は、デスクとして使用するためのある程度の強度を持った透明な部材からなる。入力機器１７は、マウスなどのポインティングデバイスなどによって構成される。

図２に示すように、本実施形態の画像表示装置１は、矩形の平面部（表面１１）を有し、デスク状の表示部（スクリーン１２）と、情報処理装置１００とを備えている。表示部（スクリーン１２）は矩形の平面部（表面１１）の中央部分に、筐体１４の内部から投影された画像が表示されるようになっている。

また、図１に示すように画像表示装置１は、スクリーン１２とスクリーン１２を支える筐体１４と、筐体１４内に設けられ、投影面１３に画像を投影するプロジェクタ１５と、筐体１４内のスクリーン１２の裏面側全体が視野角となる位置に配置され、スクリーン１２を裏面側から撮影するＣＣＤカメラ１６とを備えている。筐体１４内に配置されたＣＣＤカメラ１６と情報処理装置１００とはコードによって接続され、筐体１４内に配置されたプロジェクタ１５と情報処理装置１００とは光学的に結合されている。

スクリーン１２は、２重構造をなし、スクリーン１２の裏面側には投影画像が投影される投影面１３が設けられ、投影面１３と表面１１とは密着させて一体化されている。例えば、情報処理装置１００が起動した時、投影面１３には、情報処理装置１００にインストールされたオペレーティングシステムのディスクトップ画像と共に、マウスなどの操作に応じて移動するポインタ（例えば矢印型のポインタ）等が投影される。ユーザは投影面１３に投影されている投影画像をスクリーン１２の表面側から見ることで、スクリーン１２上に「表示」されているように感じることができる。また、利用者が情報処理装置１００を操作することにより、プロジェクタ１５から投影面１３に投影される投影画像が変化することで、スクリーン１２に「表示」される内容が随時変化していく。

表面１１及び投影面１３はともに透明であるが、投影面１３の表面１１と密着する側の表面には微細な凹凸が設けられており、投影面１３に画像が投影されると、その光はわずかに拡散して透過するので、表面１１が設けられたスクリーン１２の表面側からは色々な角度からその投影された画像を視認することができるようになっている。ここで、表面１１には傷がつきにくいように、透明保護シートを被覆するようにしても良いし、透明な塗料などによりコーティングするようにしても良い。

情報処理装置１００は、ＣＣＤカメラ１６で撮影され得られた画像に応じて、プロジェクタ１５からスクリーン１２の裏面側に投影される投影画像を操作するようにすることができる。なお、情報処理装置１００は、本実施形態の画像表示装置１に専用に作成されたものであっても良いし、パーソナルコンピュータに所定のソフトウェアがインストールされたもので構成しても良い。また、情報処理装置１００は、筐体１４内に配置しても良い。

プロジェクタ１５は、図示しない反射ミラーやビームスプリッタなどの光学系によって情報処理装置１００の図示しないディスプレイと結合され、情報処理装置１００で生成された画像をスクリーン１２の投影面１３に投影することができるようになっている。

ＣＣＤカメラ１６は、例えばＵＳＢ（Universal Serial Bus）インタフェースを介して情報処理装置１００にコードで接続され、スクリーン１２の表面側、即ち、表面１１に載置された物体や、表面１１に描画された図形や表面１１に映った影などを、スクリーン１２の裏面側、即ち投影面１３側から所定の時間間隔で撮影し、撮像データを得ることができるようになっている。撮影された画像に対応する画像データは、情報処理装置１００に供給されるようになっている。

また、図２では、ユーザＭが、画像表示装置１の前に着席するなどして画像表示装置１を使用する形態を示している。例えば、片手で持つことが可能な大きさの物体にサーキュラバーコードが貼付されており、ユーザＭが手で持った物体をスクリーン１２の表面１１上に置くか接近させることで、画像表示装置１は、サーキュラバーコードを読取って物体に関する処理を行うようになっている。

物体は、ビルディングのミニチュア、コピー機のミニチュア、木のミニチュア、カメラなどの小型機器、または用紙などであり、スクリーン１２の表面１１上に置くか接近させることが可能でバーコードなどの物体を識別可能な画像が付着できるものであれば、如何なるものでも良い。

図１２では、物体に貼付されたサーキュラバーコードを表している。物体は、写真用紙５０、ミニチュアのプリンタ３０、ミニチュアの複合機２０、ミニチュアの木４０、カメラ６０などとして示している。これらの物体の底面などに、図１２に示すようなサーキュラバーコード画像が貼付されている。また、写真用紙５０では、その裏面にサーキュラバーコード画像が貼付されている。

また、サーキュラバーコードについて説明する。サーキュラバーコード３０１は、所定点を中心に１次元のバーコードを円形に配置したバーコードである。１次元バーコードは、縞模様状の線の太さ及びその間隔によって数値等を表すバーコードであるが、サーキュラバーコード３０１のバーは円形に配置されているため、中心から半径方向の距離に応じて線及び間隔が太くなる。すなわち、バーコードの各線はくさび状の形状となる。サーキュラバーコード３０１は、バーコードの開始点３０１ｓと終了点３０１ｅの判別を容易にするため、また、物体の方向識別のため、白の部分を長く取ってあることが特徴である。

図３は、本発明の第１の実施の形態に係る画像表示装置の装置構成図を示す。画像表示装置１は、上述したようにプロジェクタ１５、ＣＣＤカメラ１６、入力機器１７、および情報処理装置１００によって構成されている。情報処理装置１００は、ＣＰＵ（Central Processing Unit）などの処理装置１０１、主にアプリケーションや短期的に必要なデータがロードされているＲＡＭ（Random Access Memory）などの主記憶装置１０２、および長期的に記憶が必要なデータが記憶されているＨＤＤ（Hard Disk Drive）などの補助記憶装置１０３（記憶部）によって構成されている。

図４は、本発明の第１の実施の形態に係る情報処理装置の機能的な構成を示す図であり、点線で囲っている部分は、本発明の第１の実施の形態に係る情報処理装置の機能的な構成を示しており、画像抽出部１１０、物体認識部１２０、属性情報取得部１３０、投影画像生成部１４０、処理選択受付部１５０、処理実行部１６０、および登録部１７０によって構成されている。これらの部材は、ＣＰＵなどの処理装置１０１によって実行されるプログラムのモジュールなどである。

画像抽出部１１０は、例えば、ＣＣＤカメラから出力された画像を２値化し、スクリーン１２上に載置された物体のサーキュラバーコード画像や人の指などの影など、特定の画像の部分を抽出するようになっている。画像抽出部１１０が抽出する画像は、特にサーキュラバーコード画像や人の指などの影に限定することはないが、本発明の実施の形態では、サーキュラバーコード画像または指の影を例にとって説明する。また、画像抽出部１１０は、特定の画像を抽出しやすいようにＣＣＤカメラから出力された画像に対して加工を施すようにしている。

物体認識部１２０は、画像抽出部１１０によって抽出された物体の画像から識別情報を取得するようになっている。識別情報は、例えば、物体に一意に割り当てられたＩＤである。例えば、物体認識部１２０は、画像抽出部１１０によって抽出された画像がサーキュラバーコード画像であれば、サーキュラバーコード画像内のバーの配列のパタンを読取り、読取ったバーの配列のパタンから物体のＩＤを特定するようになっている。パタンは、バーが所定位置にある場合には１、無い場合には０として特定され、バイナリで表現される。

なお、サーキュラバーコード画像を読取る具体的な実施例としては、特許文献１：特開２００７−０１１２７６号公報に記載されており、特に特許文献１の図３８〜図４２に関する説明に記載されている。物体認識部１２０は、このような実施例でサーキュラバーコード画像を読取るようにしてもよい。

属性情報取得部１３０は、物体認識部１２０によって取得したＩＤと対応する属性情報を取得するようになっている。例えば、属性情報取得部１３０は、補助記憶装置１０３に記憶されている属性情報テーブルを参照して物体のＩＤから属性情報を取得するようになっている。属性情報テーブルは、物体のＩＤと、アプリケーション情報などを含む属性情報とを対応付けたものである。アプリケーション情報は、例えば、アプリケーションを識別する名前やＩＤである。

ここで、属性情報テーブルの一例を図６に示す。属性情報テーブルは、ＩＤおよび読取った配列のパタンと、物体の属性が記述された属性ファイルおよびアプリケーション名とを対応させた情報である。なお、登録部１７０は、属性情報テーブルを生成および属性情報テーブルの内容を追加削除したり、属性ファイルを生成および属性ファイルの内容を追加削除したりするものである。

投影画像生成部１４０（起動画像表示部）は、属性情報取得部１３０によって取得されたアプリケーション名に対応した起動画像をスクリーン１２の裏面側の投影面１３にプロジェクタ１５を介して投影させるようになっている。起動画像は、ユーザによって選択されるアプリケーションを起動するための画像である。スクリーン１２上に表示させたイメージを図１３に示す。図１３では、スクリーン１２上にミニチュアの複合機２０があり、その周辺に４つの起動画像１９が投影されている様子が表されている。４つの起動画像１９は、アプリケーション毎に対応したものであり、それぞれ起動画像１９ａから起動画像１９ｄとして区別している。

処理選択受付部１５０は、マウスなどのポインティングデバイスからなる入力機器１７によってポインティングされたスクリーン１２内の位置が、起動画像の領域にあるか否かを判定し、ユーザＭがどのアプリケーションを選択しているのかを特定するようになっている。

処理実行部１６０は、処理選択受付部１５０によって選択されたアプリケーションを実行するようになっている。例えば、処理実行部１６０は、アプリケーション名が処理選択受付部１５０から出力され、補助記憶装置１０３に記憶されている処理情報テーブルを参照して、アプリケーション名からアプリケーションのパスを取得してアプリケーションを実行するようになっている。なお、パスは、アプリケーションの実行ファイルの所在を表すものである。

処理情報テーブルは、アプリケーション情報とアプリケーションの実行ファイルの所在を表すパスとが対応付けられている情報である。ここで、処理情報テーブルの一例を図７に示す。図７に示した処理情報テーブルは、アプリケーション名とアプリケーションのパスとを対応させた情報である。

以上のように構成された本発明の第１の実施の形態に係る情報処理装置の処理について説明する。図５は、本発明の第１の実施の形態に係る情報処理装置が実行するプログラムの一例を示すフローチャートである。なお、本発明の実施の形態に係る情報処理装置が実行するプログラムは、ＣＤ−ＲＯＭなどの記録媒体に格納されていてもよい。

まず、ＣＣＤカメラ１６は、スクリーン１２上のものを撮影した画像を画像抽出部１１０に出力する（ステップＳ１）。なお、ＣＣＤカメラ１６がスクリーン１２上のものを撮影するタイミングは、特定の時間間隔（例えば１秒間で７．５フレーム程度）である。画像抽出部１１０は、ＣＣＤカメラ１６から出力された画像から、物体に付着されたサーキュラバーコード画像など、特定の画像の部分を抽出する（ステップＳ２）。

物体認識部１２０は、画像抽出部１１０によって抽出された画像がサーキュラバーコードであるか認識する（ステップＳ３）。ここで、ユーザＭがスクリーン１２上にサーキュラバーコード画像が付着された物体を置いた状況などで、物体認識部１２０が画像を認識した結果（ステップＳ４）、物体認識部１２０は、サーキュラバーコード画像内のバーの配列のパタンを読取り、読取った配列のパタンから物体のＩＤを特定し、処理がステップＳ５に進む。また、画像がサーキュラバーコードでないその他のものである場合、処理がステップＳ１に進む。

属性情報取得部１３０は、図６に示した属性情報テーブルを参照して、物体のＩＤから物体の属性情報を取得する（ステップＳ５）。例えば、物体のＩＤが「１」であった場合には、MFP.xmlの属性ファイル、およびＩＤ「１」の物体に対応するアプリケーション名であるカタログ表示アプリ、レイアウトシミュレーション、環境シミュレーション、および説明書表示アプリが物体のＩＤ「１」の属性情報として取得される。

投影画像生成部１４０は、属性情報取得部１３０によって取得されたアプリケーション名毎に対応する起動画像を生成し（ステップＳ６）、起動画像を投影面１３にプロジェクタ１５を介して投影させる（ステップＳ７）。例えば、投影面１３の全面に投影される画像は、特定の時間間隔（例えば１秒間で７．５フレーム程度）毎に更新されて投影されており、起動画像は、投影面１３の全面の画像の更新時とともに投影される。

例えば、ＩＤが「１」である物体がミニチュアの複合機２０、ＩＤが「２」である物体がミニチュアのプリンタ３０、ＩＤが「１１」である物体がミニチュアの木４０、ＩＤが「３３」である物体が写真用紙５０、ＩＤが「５５」である物体がカメラ６０であったとする。

ミニチュアの複合機２０が情報処理装置１００で認識された場合、ステップＳ７では、図１３に示すようにスクリーン１２上に、アプリケーション名に対応した４つの起動画像１９が投影される。

ミニチュアのプリンタ３０が情報処理装置１００で認識された場合、ステップＳ７では、図１４に示すようにスクリーン１２上に、アプリケーション名に対応した３つの起動画像１９が投影される。

ミニチュアの木４０が情報処理装置１００で認識された場合、ステップＳ７では、図１５に示すようにスクリーン１２上に、アプリケーション名に対応した１つの起動画像１９が投影される。

写真用紙５０が情報処理装置１００で認識された場合、ステップＳ７では、図１６に示すようにスクリーン１２上に、アプリケーション名に対応した５つの起動画像１９が投影される。なお、写真用紙５０の内容である画像データ（図６のPhoto.jpg）は、情報処理装置１００内の補助記憶装置１０３にあって、この画像データが処理される。

カメラ６０が情報処理装置１００で認識された場合、ステップＳ７では、図１７に示すようにスクリーン１２上に表示されるように、アプリケーション名に対応した５つの起動画像１９が投影される。

ステップＳ７以降では、ユーザがマウスなどの入力機器１７を操作してスクリーン上のポインタをスクリーン１２上の起動画像１９の何れかの上に置き、クリックするなどの動作が期待される。

次に、ユーザＭが入力機器１７を操作してクリックしているのか否か判定する（ステップＳ８）。クリックしていない場合、処理がステップＳ１に進む。クリックされている場合、処理選択受付部１５０は、クリックされたスクリーン１２上のポインタの位置が起動画像１９の領域内にあるか否かを判定する（ステップＳ９）。

ポインタの位置が起動画像１９の領域内にある場合、処理選択受付部１５０は、１つ以上の起動画像１９のうちポインタの位置がある起動画像１９を特定することで、ユーザＭがどのアプリケーションを選択しているのかを特定する（ステップＳ１０）。処理実行部１６０は、図７に示した処理情報テーブルを参照することで、処理選択受付部１５０が特定したアプリケーション名からアプリケーションのパスを取得する（ステップＳ１１）。

処理実行部１６０は、取得されたパスからアプリケーションを実行する（ステップＳ１２）。ステップＳ１２では、処理実行部１６０は、ステップＳ５で属性情報取得部１３０によって取得された物体のＩＤに対応する属性ファイルに基づいてアプリケーションを実行する。

以下に、属性ファイルについて説明する。例えば、属性ファイルは、次に示すようにＸＭＬ形式で情報が記述された電子ファイルである。図６に示したように物体のＩＤが「１」である場合は、対応する属性ファイルは、「MFP.xml」である。「MFP.xml」の内容を図８に示す。１行目は、xmlの定義を示す文である。２行目以下、＜common＞タグに囲まれている情報は共通情報を示し、＜maker＞タグに囲まれている情報は製造メーカを、＜model＞タグに囲まれている情報は機種を示している。＜spec＞タグに囲まれている情報は仕様を示し、＜width＞タグに囲まれている情報は機器の幅をmmで示し、＜depth＞タグで囲まれている情報は機器の奥行きをmmで示し、＜power＞タグで囲まれている情報は機器の消費電力をWで示している。

図８では、＜maker＞は「Ricoh」であり、＜model＞は「Imagio Neo C455it」であり、＜width＞は「１２８５ｍｍ」であり、＜depth＞は「８１６ｍｍ」であり、＜power＞は「１５００Ｗ」であることを示している。

図６に示したように物体のＩＤが「２」である場合は、対応する属性ファイルは、「Printer.xml」である。「Printer.xml」の内容を図９に示す。タグの内容はMFP.xmlとほぼ同様であるが、＜power＞タグが記載されていない。

図６に示したように物体のＩＤが「１１」である場合は、対応する属性ファイルは、「Tree.xml」である。「Tree.xml」の内容を図１０に示す。MFP.xmlとの差異を示すと、＜maker＞ ＜width＞ ＜depth＞ ＜power＞タグが無くなり、＜spring＞ ＜summer＞ ＜autumn＞ ＜winter＞タグがある。各タグは、それぞれ春、夏、秋、冬の季節を示し、数値はそれぞれの季節におけるＣＯ２の吸収量(mg/dｍ＾2/day)を示している。

図６に示したように物体のＩＤが「５５」である場合は、対応する属性ファイルは、「Camera.xml」である。「Camera.xml」の内容を図１１に示す。「Camera.xml」には＜serial_number＞ ＜firmware＞ ＜Photo＞タグがある。これらタグは、＜serial_number＞はカメラ６０のシリアルナンバーを示し、＜firmware＞はカメラ６０のファームウェアのバージョンを示し、＜Photo＞はカメラ６０で撮影された写真の保存フォルダを示す。

例えば、図１３に示したものがスクリーン上に表示されている状況において、クリックされたときのポインタが起動画像１９ａの領域内にあり、カタログ表示アプリが選択されている場合、ステップＳ１２において、物体のＩＤ「１」に対応するMFP.xmlの属性ファイルに基づいて、カタログ表示アプリが処理実行部１６０によって起動される。このとき、MFP.xmlの＜model＞タグに基づいて、該当するカタログが提示される。

また、図１３に示したものがスクリーン上に表示されている状況において、クリックされたときのポインタが起動画像１９ｂの領域内にあり、レイアウトシミュレーションが選択された場合、ステップＳ１２において、物体のＩＤ「１」に対応するMFP.xmlの属性ファイルに基づいて、レイアウトシミュレーションアプリが処理実行部１６０によって起動される。このとき、MFP.xmlの＜width＞および＜depth＞タグに基づいて、複合機のレイアウトが表示される。

また、図１３に示したものがスクリーン上に表示されている状況において、クリックされたときのポインタが起動画像１９ｃの領域内にあり、環境シミュレーションが選択された場合、ステップＳ１２において、物体のＩＤ「１」に対応するMFP.xmlの属性ファイルに基づいて、環境シミュレーションが処理実行部１６０によって起動される。このとき、MFP.xmlの＜power＞タグに基づいて、電力使用量からＣＯ２の排出量が計算される。

また、図１３に示したものがスクリーン上に表示されている状況において、クリックされたときのポインタが起動画像１９ｄの領域内にあり、説明書表示アプリが選択された場合、ステップＳ１２において、物体のＩＤ「１」に対応するMFP.xmlの属性ファイルに基づいて、説明書表示アプリが処理実行部１６０によって起動される。このとき、MFP.xmlの＜model＞タグに基づいて、該当する説明書が提示される。

図１４に示したものがスクリーン上に表示されている状況において、クリックされたときのポインタが起動画像１９の何れかの領域内にあり、カタログ表示アプリ、レイアウトシミュレーション、説明書表示アプリの何れかが選択された場合、ステップＳ１２において、物体のＩＤ「１」に対応するPrinter.xmlの属性ファイルに基づいて、処理実行部１６０によって起動される。

図１５に示したものがスクリーン上に表示されている状況において、クリックされたときのポインタが起動画像１９の領域内にあり、環境シミュレーションが選択された場合、ステップＳ１２において、物体のＩＤ「１１」に対応するTree.xmlの属性ファイルに基づいて、環境シミュレーションが処理実行部１６０によって起動される。このとき、Tree.xmlの季節に関するタグに基づいて、該当する季節のＣＯ２の吸収量が計算される。

図１６に示したものがスクリーン上に表示されている状況において、クリックされたときのポインタが起動画像１９の何れかの領域内にあり、スライドショーアプリ、プリントアウト、編集アプリ、ブログに投稿、類似画像検索の何れかが選択された場合、ステップＳ１２において、物体のＩＤ「３３」に対応するPhoto.jpgの画像ファイルに基づいて、処理実行部１６０によって起動される。

図１７に示したものがスクリーン上に表示されている状況において、クリックされたときのポインタが起動画像１９ｅの領域内にあり、スライドショーアプリが選択された場合、ステップＳ１２において、物体のＩＤ「５５」に対応するCamera.xmlの属性ファイルに基づいて、スライドショーアプリが処理実行部１６０によって起動される。このとき、Camera.xmlの＜Photo＞タグに示される保存フォルダに格納されている画像ファイルに基づいて、写真がスライドショーされる。

また、図１７に示したものがスクリーン上に表示されている状況において、クリックされたときのポインタが起動画像１９ｋの領域内にあり、ファームウェアアップデートアプリが選択された場合、ステップＳ１２において、物体のＩＤ「５５」に対応するCamera.xmlの属性ファイルに基づいて、ファームウェアアップデートアプリが起動される。このとき、Camera.xmlの＜firmware＞タグに基づいてファームウェアのバージョンが調べられ、新しいバージョンのファームウェアが提供されている場合に、その情報が提示される。

ステップＳ１２でアプリケーションが実行された後は、スクリーン１２上にアプリケーション固有のウィンドや画像が表示され、ステップＳ７で投影された起動画像は消滅する。

なお、図６に示した属性情報テーブルについては、物体のＩＤと属性ファイルとが１対１に対応するように表現されていたが、物体のＩＤが複数の属性ファイルに対応付けられていてもよい。図１８では、ＩＤの３３をもつ物体が２つの属性ファイルに対応させたときの属性情報テーブルの例を示している。

ここで、属性情報テーブルおよび処理情報テーブルに対して情報を登録するプログラムの一例を示すフローチャートを図１９に示す。

本処理の前では、物体のＩＤ、および、ＩＤに対応する物体がフィジカルオブジェクトかドキュメントであるかが予め登録されている。フィジカルオブジェクトとは、ミニチュアの複合機２０、プリンタ３０、木４０などである。ドキュメントとは、写真用紙５０などであって、写真用紙５０の内容である画像データが情報処理装置１００にあるものである。

まず、サーキュラバーコードが付着された物体をユーザＭが手で持ったスクリーン１２の表面１１上に置くことで、ステップＳ１〜Ｓ４で説明したようにサーキュラバーコードが識別され、登録部１７０は、識別された物体のＩＤから物体がフィジカルオブジェクトかドキュメントかを判定する（ステップＳ２１）。なお、情報処理装置１００にサーキュラバーコードを識別させる必要はなく、ユーザＭがキーボードなどの入力機器を使用して物体のＩＤを入力してもよい。

物体がフィジカルオブジェクトである場合、登録部１７０は、物体のＩＤに対応する属性ファイルの有無を判定する（ステップＳ２２）。属性ファイルがある場合には、登録部１７０は、物体のＩＤに対応する属性ファイルを開く（ステップＳ２３）。属性ファイルが無い場合には、登録部１７０は、物体のＩＤに対応する属性ファイルを生成し、生成した属性ファイルを開く（ステップＳ２４）。

登録部１７０は、物体のＩＤに対応する属性情報をユーザＭに入力してもらい、入力された属性情報を、開いた属性ファイルに追加する（ステップＳ２５）。

次に、登録部１７０は、物体のＩＤが属性情報テーブルに登録されているか否か判定する（ステップＳ２６）。物体のＩＤが属性情報テーブルに既に登録されている場合、登録部１７０は、物体のＩＤに対応させる新規のアプリケーション名を属性情報テーブルに追加する（ステップＳ２７）。物体のＩＤが属性情報テーブルに登録されていない場合、登録部１７０は、物体のＩＤ、パタン、属性ファイル、ユーザＭに入力してもらったアプリケーション名を属性情報テーブルに登録する（ステップＳ２８）。

次に、登録部１７０は、物体のＩＤに対応するアプリケーション名が処理情報テーブルにあるか否か判定する（ステップＳ２９）。アプリケーション名が処理情報テーブルにある場合、処理は終了し、アプリケーション名が処理情報テーブルに無い場合、ユーザＭに入力してもらったパス名を、アプリケーション名と対応付けて処理情報テーブルに追加する（ステップＳ３０）。

属性情報テーブルおよび処理情報テーブルの登録方法は、上述したフローチャートでない方法でもよく、サーキュラバーコードが付着された物体をユーザＭが手で持ったスクリーン１２上に置かずに、ＧＵＩを介して属性情報テーブルおよび処理情報テーブルに対する情報が登録されてもよい。

以上説明したように、本発明の第１の実施の形態に係る情報処理装置は、物体がスクリーン上に配置または接近したとき、物体の属性情報に対応付けたアプリケーションに対応する起動画像をスクリーン上に表示させ、表示された起動画像の選択を受け付けた起動画像に対応するアプリケーションを実行するため、ＴＵＩを利用する際にアプリケーションを利用する際の手間を省略し、直接的な操作のユーザビリティや操作性を向上させることができる。

また、本発明の第１の実施の形態に係る情報処理装置は、物体に対応した属性ファイルに基づいて起動画像に対応するアプリケーションを起動するため、アプリケーションの起動と共に物体の属性に応じたスクリーンの表示や物体に係る情報をユーザに提供することができる。

（本発明の第２の実施の形態）
図２０は、本発明の第２の実施の形態に係る情報処理装置の機能的な構成を示す図である。本発明の第２の実施の形態では、物体に対応した属性ファイルに対応するアプリケーションを起動させる際に、入力機器１７を必要としない構成を示している。本発明の第２の実施の形態に係る情報処理装置を構成する構成要素のうち、本発明の第１の実施の形態に係る情報処理装置を構成する構成要素と同一の構成要素には同一の符号を付し、それぞれの説明を省略する。
なお、図１９に一例として示した属性情報テーブルおよび処理情報テーブルに対して情報を登録する際には、入力機器１７を情報処理装置が備える構成としてもよい。

点線で囲っている部分は、本発明の第２の実施の形態に係る情報処理装置の機能的な構成を示しており、画像抽出部１１０、物体認識部２２０、属性情報取得部１３０、投影画像生成部１４０、処理選択受付部２５０、処理実行部１６０、および登録部１７０によって構成されている。

物体認識部２２０は、本発明の第１の実施の形態で説明した物体認識部１２０と同様の機能に加えて、画像抽出部１１０で抽出された画像が、ユーザＭの指の影であれば、物体認識部１２０は、スクリーン１２内のどの位置に指の影があるのかを特定するようになっている。

なお、指の影がスクリーン内のどの位置に指の影があるのかを特定する具体的な実施例としては、特開２００５−０７８２９１号公報および特開２００５−１４８５５５号公報に記載されており、物体認識部２２０は、このような実施例で指の影を認識するようにしてもよい。

処理選択受付部２５０は、物体認識部１２０によって認識されたスクリーン１２内の指の影の位置が、起動画像の領域にあるか否かを判定し、ユーザＭがどのアプリケーションを選択しているのかを特定するようになっている。

以上のように構成された本発明の第２の実施の形態に係る情報処理装置の処理について説明する。図２１は、本発明の第２の実施の形態に係る情報処理装置が実行するプログラムの一例を示すフローチャートである。なお、本発明の第１の実施の形態で説明したステップと同じステップには、同じ符号を付している。

まず、初期化処理として情報処理装置１００の状態が物体属性読取モードに設定される（ステップＳ４１）。次に、ＣＣＤカメラ１６は、スクリーン１２上のものを撮影した画像を画像抽出部１１０に出力する（ステップＳ１）。画像抽出部１１０は、ＣＣＤカメラ１６から出力された画像から、物体に付着されたサーキュラバーコード画像や人の指などの影など、特定の画像の部分を抽出する（ステップＳ２）。

物体認識部２２０は、情報処理装置１００の状態が物体属性読取モードか否かを判定し（ステップＳ４２）、物体属性読取モードであった場合、物体認識部２２０は、画像抽出部１１０によって抽出された画像がサーキュラバーコード画像であると仮定して物体認識を行う（ステップＳ４３）。

ここで、ユーザＭがスクリーン１２上にサーキュラバーコード画像が付着された物体を置いた状況などで、物体認識部２２０が画像を認識した結果（ステップＳ４）、サーキュラバーコード画像内のバーの配列のパタンを読取り、読取った配列のパタンから物体のＩＤを特定し、処理がステップＳ５に進む。また、画像がサーキュラバーコードでないその他のものである場合、処理がステップＳ１に進む。

属性情報取得部１３０は、図６に示した属性情報テーブルを参照して、物体のＩＤから物体の属性情報を取得する（ステップＳ５）。このとき、情報処理装置１００の状態が起動画像選択モードに設定される（ステップＳ４４）。

次に、投影画像生成部１４０は、属性情報取得部１３０によって取得されたアプリケーション名毎に対応する起動画像を生成し（ステップＳ６）、起動画像をスクリーン１２上に表示させるため、投影面１３にプロジェクタ１５を介して投影させる（ステップＳ７）。

ステップＳ７以降では、図１３〜図１７などで示した起動画像１９が投影された後、ユーザＭがスクリーン１２上の起動画像１９の何れかに指を接触させるもしくは近づけるなどの動作が期待される。

一方、ステップＳ４２で、起動画像選択モードであった場合、物体認識部２２０は、画像抽出部１１０によって抽出された画像が指の影であると仮定して物体認識を行う（ステップＳ４５）。

ここで、ステップＳ４２で、ユーザＭが、スクリーン１２上に指を置いた状況などで、物体認識部２２０が画像を認識した結果（ステップＳ４６）、スクリーン１２内に指の影があるのかを特定した場合、処理がステップＳ９に進む。また、画像が指の影でないその他のものである場合、処理がステップＳ１に進む。

処理選択受付部２５０は、指の影が起動画像１９の領域内にあるか否かを判定し（ステップＳ９）、指の影が起動画像１９の領域内にある場合、１つ以上の起動画像１９のうち指の影がある起動画像１９を特定することで、ユーザＭがどのアプリケーションを選択しているのかを特定する（ステップＳ１０）。処理実行部１６０は、図７に示した処理情報テーブルを参照することで、処理選択受付部２５０が特定したアプリケーション名からアプリケーションのパスを取得する（ステップＳ１１）。

処理実行部１６０は、取得されたパスからアプリケーションを実行する（ステップＳ１２）。ステップＳ１２では、処理実行部１６０は、ステップＳ５で属性情報取得部１３０によって取得された物体のＩＤに対応する属性ファイルに基づいてアプリケーションを実行する。

ステップＳ１２でアプリケーションが実行された後は、情報処理装置１００の状態が物体属性読取モードに設定される（ステップＳ４７）。また、アプリケーションが実行された後は、スクリーン１２上にアプリケーション固有のウィンドや画像が表示され、ステップＳ７で投影された起動画像は消滅する。

以上説明したように、本発明の第２の実施の形態に係る情報処理装置は、物体に対応した属性ファイルに対応するアプリケーションを起動させる際に、マウスなどの入力機器を用いずに起動画像が選択できるため、さらに操作性を向上させることができる。

（本発明の第３の実施の形態）
本発明の第３の実施の形態は、複数の物体（サーキュラバーコードが貼付された物体）に関する情報を認識する場合の形態である。

図２２は、本発明の第３の実施の形態に係る情報処理装置の機能的な構成を示す図である。本発明の第３の実施の形態に係る情報処理装置の構成は、本発明の第１の実施の形態に係る情報処理装置１００の構成と同様であり、本発明の第３の実施の形態に係る情報処理装置を構成する構成要素のうち、本発明の第１の実施の形態に係る情報処理装置を構成する構成要素と同一の構成要素には同一の符号を付し、それぞれの説明を省略する。以下では、２つの物体に関する情報を認識した場合を例にとって説明する。

関連識別情報検索部３８０は、物体認識部１２０によって取得した識別情報が２つあったとき、取得した２つの識別情報からそれぞれ関連する識別情報（ＩＤ）を属性情報から検索するようになっている。ここで、本発明の第３の実施の形態に係る属性情報テーブルを図２３に示す。

図２３の属性情報テーブルでは、関連ＩＤが属性情報のＩＤに対応付いており、関連ＩＤは、属性情報のＩＤのうち何れかである。関連ＩＤは、アプリケーション名毎に対応するものであり、物体と物体とが相互にアプリケーションで実行可能な場合には、関連ＩＤがアプリケーション名に対応付くが、相互にアプリケーションで実行不可能な場合には、関連ＩＤがアプリケーション名に対応付かない。

例えば、関連識別情報検索部３８０は、物体認識部１２０によって取得したＩＤが「１」および「３３」を図２３の属性情報テーブルから検索した場合、属性情報からＩＤ「１」に対応付く関連ＩＤが「３３」であるため、物体認識部１２０によって取得したＩＤが「１」および「３３」が関連性をもつことを判断できる。

表示処理部３９０は、関連識別情報検索部３８０によって検索された識別情報（ＩＤ）があったとき、検索された識別情報（ＩＤ）から求まる起動画像である関連起動画像が認識可能なように処理を行うようになっている。

投影画像生成部３４０（起動画像表示部）は、属性情報取得部１３０によって取得されたアプリケーション名に対応した起動画像や関連起動画像をスクリーン１２の裏面側の投影面１３にプロジェクタ１５を介して投影させると共に、表示処理部３９０の処理に従って起動画像をスクリーン１２上に表示させるようになっている。

図２４は、本発明の第３の実施の形態に係る情報処理装置が実行するプログラムの一例を示すフローチャートである。ここでは、ユーザＭがスクリーン１２上にサーキュラバーコード画像が付着された複数の物体を置いた状況での処理について説明する。なお、ステップＳ８からステップＳ１２までの処理については、本発明の第１の実施の形態に係る処理とものと同じである。

まず、ＣＣＤカメラ１６は、スクリーン１２上のものを撮影した画像を画像抽出部１１０に出力する（ステップＳ５１）。なお、ＣＣＤカメラ１６がスクリーン１２上のものを撮影するタイミングは、特定の時間間隔（例えば１秒間で７．５フレーム程度）である。画像抽出部１１０は、ＣＣＤカメラ１６から出力された画像から、物体に付着されたサーキュラバーコード画像など、特定の画像の部分を抽出する（ステップＳ５２）。

物体認識部１２０は、画像抽出部１１０によって抽出された画像がサーキュラバーコードであるか認識する（ステップＳ５３）。ここで、物体認識部１２０が複数の画像を認識した結果（ステップＳ５４）、物体認識部１２０は、サーキュラバーコード画像内のバーの配列のパタンを読取り、読取った配列のパタンから物体のＩＤを特定し、処理がステップＳ５５に進む。また、画像がサーキュラバーコードでないその他のものである場合、処理がステップＳ５１に進む。

物体認識部１２０によって特定された複数の物体のＩＤは、主記憶装置１０２などに保存される（ステップＳ５５）。結点Ａに続く処理は、図２５以降に示すフローチャートで説明し、これらのフローチャートにある結点Ｂから続く処理でステップＳ８〜Ｓ１２が実行される。

また、物体のＩＤと共に、スクリーン１２上に置かれてある物体の位置に関する位置情報もまた、物体のＩＤと対応付けて保存されるようにしてもよい。なお、位置情報は、スクリーン１２上の面をＸ軸およびＹ軸からなる平面とすれば、Ｘ軸およびＹ軸の位置（ｘ、ｙ）で表現される。

図２５は、図２６に示すようにスクリーン１２上に置かれてある物体の位置の間に互いに関連する起動画像を表示するためのフローチャートである。

図２５に示すように、関連識別情報検索部３８０は、保存された２つのＩＤからそれぞれ関連ＩＤを図２３の属性情報テーブルから検索し、保存されたＩＤに対応した関連ＩＤがあれば、ステップＳ６１に進み、保存されたＩＤに対応した関連ＩＤがなければ、処理がステップＳ６６に進む（ステップＳ６０）。ここで、関連ＩＤがあった場合、以降のフローチャートの説明では、図２３の属性情報テーブルの「関連ＩＤ」および「アプリケーション名」の項目において、アプリケーション名と対応しない関連ＩＤを自ＩＤとし、アプリケーション名と対応する関連ＩＤを関連ＩＤとする。

関連識別情報検索部３８０によって検索された結果、保存されたＩＤに対応した関連ＩＤがあった場合、表示処理部３９０は、自ＩＤの物体のスクリーン１２上の位置（以下、自ＩＤの位置という。）と関連ＩＤの物体のスクリーン１２上の位置（以下、関連ＩＤの位置という。）を取得する（ステップＳ６１）。次に、属性情報取得部１３０は、図２３に示した属性情報テーブルを参照して、自ＩＤおよび関連ＩＤの属性情報を取得する（ステップＳ６２）。

次に、表示処理部３９０は、自ＩＤの位置（ｘ、ｙ）と関連ＩＤの位置（ｘ、ｙ）との間の位置（例えば、自ＩＤおよび関連ＩＤの位置を結ぶ線分の中間地点の位置）を演算する（ステップＳ６３）。投影画像生成部３４０は、ステップＳ６２で取得された属性情報の関連ＩＤに対応するアプリケーション名に対応する関連起動画像を生成し（ステップＳ６４）、演算されたスクリーン１２上の位置に関連起動画像を投影面１３にプロジェクタ１５を介して投影させる（ステップＳ６５）。

なお、写真用紙５０、ＩＤカード８０の物体をスクリーン１２上に置いたときに、ステップＳ６１からステップＳ６５を含む処理が実行された場合の関連起動画像がスクリーン１２上に表示されたイメージを図２６に示す。図２６の例では、写真用紙５０の自ＩＤ「３３」およびＩＤカード８０の関連ＩＤ「７８」の位置を結ぶ線分の中間地点の位置と最も近くで、関連起動画像１９ｌおよび関連起動画像１９ｍが互いに重ならない位置に表示される。また、図２６の例では、関連起動画像が１つだけの場合は、写真用紙５０の自ＩＤ「３３」およびＩＤカード８０の関連ＩＤ「７８」の位置を結ぶ線分の中間地点の位置に関連起動画像が表示される。

例えば、関連起動画像１９ｍ（ファイル送信）のアプリケーションが実行されたとき、写真用紙５０に対応した電子ファイル（図６に示すＰｈｏｔｏ．ｊｐｇ）が、ＩＤカード８０のメールアドレスに送信されるなど、２つの物体に関連した処理が実行される。このように、２つの物体を利用してユーザが望むアプリケーションのアイコンを候補として表示し、アイコンを選択させることで、直接的な操作のユーザビリティや操作性を向上させることができる。

関連起動画像１９ｌに示しているアクセス権の付与とは、ファイルのアクセス権を有するＩＤの関係を示した図２７のデータベースに対し、特定のＩＤにアクセス権を与えることである。また、図２６に示した状況であれば、ＩＤ「３３」に対応する属性ファイルのＰｈｏｔｏ．ｊｐｇ（図６参照）にＩＤ「７８」アクセス権を与える状況となる。

また、図２８（Ａ）に示すように、ＩＤカード７０だけがスクリーン１２上に配置されている場合、「ファイル一覧表示アプリ」アプリケーションの起動画面が表示され（この起動画面は図示してない）、表示された起動画面を選択することにより、ＩＤカード７０（ＩＤ＝７７）にアクセス権のあるファイル一覧１０が図２７のデータベースに従って表示される。ＩＤカード７０にアクセス権のあるファイル一覧１０を図２８（Ｂ）に示す。

また、図２９（Ａ）に示すように、ＩＤカード８０だけがスクリーン１２上に配置されている場合、「ファイル一覧表示アプリ」の起動画面が表示され（この起動画面は図示してない）、表示された起動画面を選択することにより、ＩＤカード８０（ＩＤ＝７８）にアクセス権のあるファイル一覧１０が図２７のデータベースに従って表示される。ＩＤカード８０にアクセス権のあるファイル一覧１０を図２９（Ｂ）に示す。

また、図３０（Ａ）に示すように、ＩＤカード７０およびＩＤカード８０がスクリーン１２上に配置されている場合、ＩＤカード７０の位置とＩＤカード８０の位置とを結ぶ線分の中間地点の位置に、生成された「特定ファイル一覧アプリ」（この起動画面は図示してない）がスクリーンに表示され、表示された起動画面を選択することにより、ＩＤカード７０（ＩＤ＝７７）とＩＤカード８０（ＩＤ＝７８）共にアクセス権のあるファイル一覧１０が図２７のデータベースに従って表示される。ＩＤカード７０およびＩＤカード８０共にアクセス権のあるファイル一覧１０を図３０（Ｂ）に示す。

一方、図２５に示すように、関連識別情報検索部３８０によって検索された結果、保存されたＩＤに対応した関連ＩＤがない場合、表示処理部３９０は、各物体のスクリーン１２上の位置（以下、ＩＤの位置という。）を取得する（ステップＳ６６）。次に、属性情報取得部１３０は、図２３に示した属性情報テーブルを参照して、各ＩＤの属性情報を取得する（ステップＳ６７）。

表示処理部３９０は、起動画像の表示位置を決めるため、アプリケーション名に対応するＩＤの起動画像に対応する、ＩＤの位置の周囲の位置（例えば、ＩＤの位置を中心とする円周上の等間隔の位置）を演算する（ステップＳ６８）。投影画像生成部３４０は、ステップＳ６７で取得された属性情報のＩＤに対応するアプリケーション名に対応する起動画像を生成し（ステップＳ６９）、演算されたスクリーン１２上の位置に起動画像を投影面１３にプロジェクタ１５を介して投影させる（ステップＳ６５）。

なお、ミニチュアのプリンタ３０、ミニチュアの木４０の物体をスクリーン１２上に置いたときに、ステップＳ６６からステップＳ６９を含む処理が実行された場合の起動画像がスクリーン１２上に表示されたイメージを図３１に示す。図３１の例では、ミニチュアのプリンタ３０のＩＤ「２」およびミニチュアの木４０のＩＤ「１１」のそれぞれの位置の周囲の位置にそれぞれの起動画像１９が表示される。

図３２は、図３３に示すように関連ＩＤが検索されたときに関連起動画像の色を変えて表示するためのフローチャートである。図２５で説明したものと同じ処理には同じ符号を付して説明を省略する。

図３２に示すように、ステップＳ６１で、関連識別情報検索部３８０によって検索された結果、保存されたＩＤに対応した関連ＩＤがあった場合、表示処理部３９０は、自ＩＤの位置と関連ＩＤを取得した後、属性情報取得部１３０は、図２３に示した属性情報テーブルを参照して、自ＩＤおよび関連ＩＤの属性情報を取得する（ステップＳ７１）。

表示処理部３９０は、起動画像の表示位置を決めるため、ステップＳ７１で取得したアプリケーション名に対応する自ＩＤの起動画像に対応した自ＩＤの周囲の位置（例えば、ＩＤの位置を中心とする円周上の等間隔の位置）を演算すると共に、関連ＩＤの起動画像に対応した関連ＩＤの周囲の位置（例えば、ＩＤの位置を中心とする円周上の等間隔の位置）を演算する（ステップＳ７２）。さらに、表示処理部３９０は、自ＩＤの起動画像に対応した自ＩＤの周囲の位置のうち、関連起動画像の位置を決定する（ステップＳ７３）。関連起動画像の位置は、例えば、関連ＩＤの位置に最も近い位置などが選択される。

投影画像生成部３４０は、ステップＳ７１で取得された属性情報の関連ＩＤおよび自ＩＤに対応するアプリケーション名に対応する関連起動画像および起動画像を生成し（ステップＳ７４）、関連起動画像に対して起動画像の色と異なる色を付ける（ステップＳ７５）。投影画像生成部３４０は、演算されたスクリーン１２上の位置に関連起動画像および起動画像を投影面１３にプロジェクタ１５を介して投影させる（ステップＳ７６）。

なお、写真用紙５０、ＩＤカード８０の物体をスクリーン１２上に置いたときに、ステップＳ７１からステップＳ７６を含む処理が実行された場合の関連起動画像がスクリーン１２上に表示されたイメージを図３３に示す。図３３の例では、写真用紙５０の自ＩＤ「３３」の関連起動画像１９ｌおよび関連起動画像１９ｍが、起動画像の色と異なる色になって表示されている。

図３４は、図３５に示すように、関連ＩＤが検索されたときに関連起動画像の位置を、スクリーン下部に表示するためのフローチャートである。図２５で説明したものと同じ処理には同じ符号を付している。

表示処理部３９０は、各物体のスクリーン１２上の位置（各ＩＤの位置）を取得する（ステップＳ６６）。次に、属性情報取得部１３０は、図２３に示した属性情報テーブルを参照して、各ＩＤの属性情報を取得する（ステップＳ６７）。表示処理部３９０は、起動画像の表示位置を決めるため、アプリケーション名に対応するＩＤの起動画像に対応する、ＩＤの位置の周囲の位置（例えば、ＩＤの位置を中心とする円周上の等間隔の位置）を演算する（ステップＳ６８）。投影画像生成部３４０は、ステップＳ６７で取得された属性情報のＩＤに対応するアプリケーション名に対応する起動画像を生成する（ステップＳ６９）。

次に、関連識別情報検索部３８０は、保存された２つのＩＤからそれぞれ関連ＩＤを図２３の属性情報テーブルから検索し、保存されたＩＤに対応した関連ＩＤがあれば、ステップＳ８０に進み、保存されたＩＤに対応した関連ＩＤがなければ、処理がステップＳ７６に進む（ステップＳ６０）。

表示処理部３９０は、自ＩＤの周囲の位置のうち関連起動画像の位置（スクリーン下部）を演算し（ステップＳ８０）、投影画像生成部３４０は、演算されたスクリーン１２上の位置に関連起動画像および起動画像を投影面１３にプロジェクタ１５を介して投影させる（ステップＳ７６）。なお、ステップＳ８０において、関連起動画像の位置は、スクリーン１２の下部に限らず、スクリーン１２の端や隅など関連起動画像の存在が判るような位置であればよい。

なお、写真用紙５０、ＩＤカード８０の物体をスクリーン１２上に置いたときに、ステップＳ７１からステップＳ７６を含む処理が実行された場合の関連起動画像がスクリーン１２上に表示されたイメージを図３５に示す。図３５の例では、写真用紙５０の自ＩＤ「３３」の関連起動画像１９ｌおよび関連起動画像１９ｍが、スクリーン１２の下部に位置して表示されている。

図３６は、図３７に示すように起動画像とスクリーンに置かれた物体とを線で結んで表示するためのフローチャートである。なお、図３２で説明したものと同じ処理には同じ符号を付して説明を省略する。

ステップＳ７４で、投影画像生成部３４０は、ステップＳ７１で取得された属性情報の関連ＩＤに対応するアプリケーション名に対応する関連起動画像および起動画像を生成した後、表示処理部３９０は、各ＩＤの位置と起動画像に対応したそのＩＤの周囲の位置とを結ぶ結線情報を生成するが、起動画像に関連起動画像が含まれる場合、自ＩＤとその起動画像に対応したＩＤの周囲の位置とを結ぶ結線情報を生成し、さらに、関連ＩＤの位置とその起動画像に対応したＩＤの周囲の位置とを結ぶ結線情報を生成すると共に、自ＩＤおよび関連ＩＤの位置と関連起動画像の位置とを結ぶ結線情報を生成する（ステップＳ８１）。

投影画像生成部３４０は、演算されたスクリーン１２上の位置に関連起動画像および起動画像を投影面１３にプロジェクタ１５を介して投影させると共に、ステップＳ８１で生成された結線情報に基づいて線を描画する（ステップＳ８２）。

なお、写真用紙５０、ＩＤカード８０の物体をスクリーン１２上に置いたときに、ステップＳ８１、ステップＳ８２を含む処理が実行された場合の起動画像とスクリーンに置かれた物体とを線で結んで表示されたイメージを図３７に示す。図３７の例では、関連起動画像１９ｌおよび関連起動画像１９ｍが、写真用紙５０およびＩＤカード８０と線で結ばれている。その他の起動画像１９は、写真用紙５０およびＩＤカード８０の何れかと線で結ばれている。

図３８は、図３９に示すようにスクリーンに置かれた物体を囲む円枠と起動画像を表示するためのフローチャートである。なお、図３２および図３６で説明したものと同じ処理には同じ符号を付してそれぞれの説明を省略する。

ステップＳ６１で、関連識別情報検索部３８０によって検索された結果、保存されたＩＤに対応した関連ＩＤがあった場合、表示処理部３９０は、自ＩＤの位置と関連ＩＤを取得した後、自ＩＤの位置を中心とした円枠の位置を演算し、関連ＩＤの位置を中心とした円枠の位置を演算する（ステップＳ９１）。

ステップＳ７１で、属性情報取得部１３０は、図２３に示した属性情報テーブルを参照して、自ＩＤおよび関連ＩＤの属性情報を取得した後、表示処理部３９０は、ステップＳ７１で取得したアプリケーション名に対応する自ＩＤの起動画像に対応した自ＩＤの周囲の位置（例えば、図３９の円枠９１内に収まるようＩＤの位置を中心とする円周上の等間隔の位置）を演算すると共に、関連ＩＤの起動画像に対応した関連ＩＤの周囲の位置（例えば、図３９の円枠９２内に収まるようＩＤの位置を中心とする円周上の等間隔の位置）を演算する（ステップＳ９２）。

表示処理部３９０は、それぞれの円枠の重なる部分に関連起動画像の位置が存在するよう演算すると共に、重ならない部分に起動画像の位置が存在するよう演算する（ステップＳ９３）。ステップＳ７４で、投影画像生成部３４０は、ステップＳ７１で取得された属性情報の関連ＩＤおよび自ＩＤに対応するアプリケーション名に対応する関連起動画像および起動画像を生成し、演算されたスクリーン１２上の位置に関連起動画像、起動画像、円枠、および円枠を投影面１３にプロジェクタ１５を介して投影させる（ステップＳ９４）。

一方、ステップＳ６６で、表示処理部３９０は、各物体のスクリーン１２上の位置（各ＩＤの位置）を取得した後、それぞれのＩＤの位置を中心とした円枠の位置を演算する（ステップＳ９５）。ステップＳ７１で、属性情報取得部１３０は、図２３に示した属性情報テーブルを参照して、各ＩＤの属性情報を取得した後、表示処理部３９０は、ステップＳ６７で取得したアプリケーション名に対応する各ＩＤの起動画像に対応したＩＤの周囲の位置（例えば、円枠内に収まるようＩＤの位置を中心とする円周上の等間隔の位置）を演算すると共に、他のＩＤの起動画像に対応した他のＩＤの周囲の位置（例えば、円枠内に収まるよう他のＩＤの位置を中心とする円周上の等間隔の位置）を演算する（ステップＳ９６）。

投影画像生成部３４０は、ステップＳ６７で取得された属性情報のＩＤに対応するアプリケーション名に対応する起動画像を生成し（ステップＳ６９）、演算されたスクリーン１２上の位置に関連起動画像、起動画像、および円枠を投影面１３にプロジェクタ１５を介して投影させる（ステップＳ９４）。

なお、写真用紙５０、ＩＤカード８０の物体をスクリーン１２上に置いたときに、ステップＳ９１〜ステップＳ９４を含む処理が実行された場合、写真用紙５０の位置を中心とした円枠９１、ＩＤカード８０の位置を中心とした円枠９２が表示されたイメージを図３９に示す。図３９の例では、円枠９１および円枠９２の重なる部分に関連起動画像１９ｌおよび関連起動画像１９ｍが表示されており、重ならない部分にそれぞれの起動画像が表示されている。図３９の例では、物体の位置を中心とした円枠を表示するようにしているが、円の枠という形は限定されず、物体が収まる枠であればよい。

図４０は、図４１および図４２に示すようにスクリーンに置かれた物体を囲む円枠と起動画像とを表示するためのフローチャートである。なお、図３２で説明したものと同じ処理には同じ符号を付してそれぞれの説明を省略する。

ステップＳ９２で、表示処理部３９０は、ステップＳ７１で取得したアプリケーション名に対応する自ＩＤの起動画像に対応した自ＩＤの周囲の位置を演算すると共に、関連ＩＤの起動画像に対応した関連ＩＤの周囲の位置を演算した後、自ＩＤ、関連ＩＤそれぞれの円枠に互いに重なる部分があるか否か判定する（ステップＳ９７）。

重なる部分がある場合、表示処理部３９０は、重なる部分に関連起動画像の位置を演算する（ステップＳ９８）。投影画像生成部３４０は、ステップＳ７１で取得された属性情報の関連ＩＤおよび自ＩＤに対応するアプリケーション名に対応する関連起動画像を生成する（ステップＳ９９）。ステップＳ９４で、投影画像生成部３４０は、演算されたスクリーン１２上の位置に関連起動画像、および円枠を投影面１３にプロジェクタ１５を介して投影させる。

重なる部分がない場合、表示処理部３９０は、自ＩＤ、関連ＩＤの円枠内に起動画像の位置を演算する（ステップＳ１００）。投影画像生成部３４０は、ステップＳ７１で取得された属性情報の関連ＩＤおよび自ＩＤに対応するアプリケーション名に対応する起動画像を生成する（ステップＳ１０１）。ステップＳ９４で、投影画像生成部３４０は、演算されたスクリーン１２上の位置に起動画像、円枠、および円枠を投影面１３にプロジェクタ１５を介して投影させる。

なお、写真用紙５０、ＩＤカード８０の物体をスクリーン１２上に置いたときに、写真用紙５０の位置を中心とした円枠９１、ＩＤカード８０の位置を中心とした円枠９２が表示されたイメージを図４１に示す。図４１の例では、互いの円枠が重なっておらず、ステップＳ１００、ステップＳ１０１を含む処理が実行された場合、互いの円枠内に起動画像が表示されている。

また、図４２の例では、互いの円枠が重なっている場合で、ステップＳ９８、ステップＳ９９を含む処理が実行された場合、重なる部分に関連起動画像１９ｌおよび関連起動画像１９ｍが表示される。

以上説明したように、本発明の第３の実施の形態に係る情報処理装置は、検索された関連識別情報に対応する関連起動画像が認識可能なように処理を行い、取得された属性情報のアプリケーション情報に対応する起動画像および関連起動画像をその処理に従ってスクリーン１２上に表示させるため、スクリーン１２上に複数の物体を認識したとき、関連起動画像の表示がわかりやすくなり、複数の物体に関連性を有するアプリケーションを通知でき、直接的な操作のユーザビリティや操作性を向上させることができる。

以上のように、本発明は、ＴＵＩを利用する際にアプリケーションの選択や起動に要する手間を省略し、直接的な操作のユーザビリティや操作性を向上させることができるという効果を有し、画像の処理や表示を行う情報処理装置などに有用である。

本発明の第１の実施の形態に係る画像表示装置の側面図 本発明の第１の実施の形態に係る画像表示装置の斜視図 本発明の第１の実施の形態に係る画像表示装置の装置構成図 本発明の第１の実施の形態に係る情報処理装置の機能的な構成を示す図 本発明の第１の実施の形態に係る情報処理装置の処理の一例を示すフローチャート 属性情報テーブルの一例を示す図 処理情報テーブルの一例を示す図 ＭＦＰ．ｘｍｌの内容を示す図 Ｐｒｉｎｔｅｒ．ｘｍｌの内容を示す図 Ｔｒｅｅ．ｘｍｌの内容を示す図 Ｃａｍｅｒａ．ｘｍｌの内容を示す図 物体に貼付されたサーキュラバーコードを示す図 複合機のミニチュアをスクリーン上に表示させたときのイメージを示す図 プリンタのミニチュアをスクリーン上に表示させたときのイメージを示す図 木のミニチュアをスクリーン上に表示させたときのイメージを示す図 写真用紙をスクリーン上に表示させたときのイメージを示す図 カメラをスクリーン上に表示させたときのイメージを示す図 ＩＤの３３をもつ物体が２つの属性ファイルに対応させたときの属性情報テーブルの例を示す図 属性情報テーブルおよび処理情報テーブルに対して情報を登録する処理の一例を示すフローチャート 本発明の第２の実施の形態に係る情報処理装置の機能的な構成を示す図 本発明の第２の実施の形態に係る情報処理装置の処理の一例を示すフローチャート 本発明の第３の実施の形態に係る情報処理装置の機能的な構成を示す図 本発明の第３の実施の形態に係る属性情報テーブルの一例を示す図 本発明の第３の実施の形態に係る情報処理装置が実行するプログラムの一例を示すフローチャート スクリーン上に置かれてある物体の位置の間に互いに関連する起動画像を表示するためのフローチャート 複数の物体をスクリーン上に置いたときに、関連起動画像がスクリーン上に置かれてある物体の位置の間に表示されたイメージを示す図 ファイルのアクセス権を有するＩＤの関係を示した図 ＩＤカードだけがスクリーン上に配置されている場合のファイル一覧の表示イメージ図 ＩＤカードだけがスクリーン上に配置されている場合のファイル一覧の表示イメージ図 ２つのＩＤカードだけがスクリーン上に配置されている場合のファイル一覧の表示イメージ図 ミニチュアのプリンタ、ミニチュアの木の物体をスクリーン上に置いたときに、起動画像がスクリーン上に表示されたイメージを示す図 関連ＩＤが検索されたときに関連起動画像の色を変えて表示するためのフローチャート 複数の物体をスクリーン上に置いたときに、関連起動画像の色を変えて表示するイメージを示す図 関連ＩＤが検索されたときに関連起動画像の位置をスクリーン下部に表示するためのフローチャート 関連ＩＤが検索されたときに関連起動画像の位置をスクリーン下部に表示するイメージを示す図 起動画像とスクリーンに置かれた物体とを線で結んで表示するためのフローチャート 起動画像とスクリーンに置かれた物体とを線で結んで表示するイメージを示す図 スクリーンに置かれた物体を囲む円枠と起動画像を表示するためのフローチャート スクリーンに置かれた物体を囲む円枠と起動画像を表示するイメージを示す図 スクリーンに置かれた物体を囲む円枠と起動画像とを表示するためのフローチャート スクリーンに置かれた物体を囲む円枠が重ならない場合において起動画像を表示するイメージを示す図 スクリーンに置かれた物体を囲む円枠が重なる場合において関連起動画像を表示するイメージを示す図

符号の説明

１ 画像表示装置
１０ ファイル一覧
１１ 表面
１２ スクリーン
１３ 投影面
１４ 筐体
１５ プロジェクタ（投影部）
１６ ＣＣＤカメラ（撮像部）
１７ 入力機器（操作入力部）
１９ 起動画像
２０ ミニチュアの複合機
３０ ミニチュアのプリンタ
４０ ミニチュアの木
５０ 写真用紙
６０ カメラ
７０、８０ ＩＤカード
９１、９２ 円枠
１００ 情報処理装置
１０１ 処理装置
１０２ 主記憶装置
１０３ 補助記憶装置（記憶部）
１１０ 画像抽出部
１２０ 物体認識部
１３０ 属性情報取得部
１４０、３４０ 投影画像生成部（起動画像表示部）
１５０ 処理選択受付部
１６０ 処理実行部
１７０ 登録部
２２０ 物体認識部
２５０ 処理選択受付部
３０１ サーキュラバーコード
３８０ 関連識別情報検索部
３９０ 表示処理部

Claims (18)

1. スクリーン上に配置または接近した物体が撮像されたときの前記物体の画像を抽出する画像抽出部と、
   前記画像抽出部によって抽出された物体の画像から前記物体の識別情報を取得する物体認識部と、
   アプリケーション情報を含む属性情報と前記識別情報とを対応付けた属性情報テーブルを記憶する記憶部と、
   前記物体認識部によって取得した識別情報と対応する属性情報を前記属性情報テーブルから取得する属性情報取得部と、
   前記属性情報取得部によって取得された属性情報のアプリケーション情報に対応する起動画像を前記スクリーン上に表示させる起動画像表示部と、
   前記起動画像表示部によって表示された起動画像の選択を受け付ける処理選択受付部と、
   前記処理選択受付部によって受け付けた起動画像に対応するアプリケーションを実行する処理実行部と、を備えたことを特徴とする情報処理装置。
2. 前記属性情報テーブルには、前記識別情報と物体の属性に関する属性ファイルが対応付けられており、
   前記属性情報取得部は、前記物体認識部によって取得した識別情報と対応する属性ファイルを前記属性情報テーブルから取得し、
   前記処理実行部は、前記属性情報取得部によって取得された属性ファイルに基づいて、前記起動画像に対応するアプリケーションを起動することを特徴とする請求項１に記載の情報処理装置。
3. 前記画像抽出部によって抽出された物体の画像は、バーコード画像によって構成されており、
   前記物体認識部は、前記物体の画像がバーコード画像であるかを解析し、前記物体の画像がバーコード画像であると判定された場合には、前記バーコード画像から識別情報を取得することを特徴とする請求項１に記載の情報処理装置。
4. 前記記憶部は、さらに、前記アプリケーション情報と該アプリケーションの実行ファイルの所在を表すパスとが対応付けられている処理情報テーブルを記憶しており、
   前記処理実行部は、前記処理情報テーブルから、前記処理選択受付部によって受け付けた起動画像に対応するアプリケーションに対応する前記パスを取得し、該パスに基づいてアプリケーションを起動することを特徴とする請求項１乃至請求項３の何れかに記載の情報処理装置。
5. 前記起動画像を前記スクリーンに投影する投影部を備え、
   前記起動画像表示部は、前記投影部を用いて前記属性情報取得部によって取得されたアプリケーション情報に対応する起動画像を前記スクリーン上に表示させることを特徴とする請求項１乃至請求項４の何れかに記載の情報処理装置。
6. 前記スクリーン上の位置をポインティングするための操作入力部を備え、
   前記処理選択受付部は、前記起動画像表示部によって表示された起動画像の領域内に前記操作入力部から入力されるポインティングされた位置があるとき前記起動画像の選択を受け付けることを特徴とする請求項１乃至５の何れかに記載の情報処理装置。
7. スクリーン上に配置または接近した物体を撮像する撮像部を備え、
   前記画像抽出部は、前記撮像部で撮像されたときの前記物体の画像を抽出することを特徴とする請求項１乃至請求項６の何れかに記載の情報処理装置。
8. 情報処理装置が、スクリーン上に配置または接近した物体が撮像されたときの前記物体の画像を抽出する画像抽出ステップと、
   前記情報処理装置が、前記画像抽出ステップで抽出された物体の画像から前記物体の識別情報を取得する物体認識ステップと、
   前記情報処理装置が、アプリケーション情報を含む属性情報と前記識別情報とを対応付けた属性情報テーブルから、前記物体認識部によって取得した識別情報と対応する属性情報を取得する属性情報取得ステップと、
   前記情報処理装置が、前記属性情報取得ステップで取得された属性情報のアプリケーション情報に対応する起動画像を前記スクリーン上に表示させる起動画像表示ステップと、
   前記情報処理装置が、前記起動画像表示ステップで表示された起動画像の選択を受け付ける処理選択受付ステップと、
   前記情報処理装置が、前記処理選択受付ステップで受け付けた起動画像に対応するアプリケーションを実行するステップと、を備えたことを特徴とする情報処理方法。
9. スクリーン上に配置または接近した物体が撮像されたときの前記物体の画像を抽出する画像抽出ステップと、
   前記画像抽出ステップで抽出された物体の画像から前記物体の識別情報を取得する物体認識ステップと、
   アプリケーション情報を含む属性情報と前記識別情報とを対応付けた属性情報テーブルから、前記物体認識部によって取得した識別情報と対応する属性情報を取得する属性情報取得ステップと、
   前記属性情報取得ステップで取得された属性情報のアプリケーション情報に対応する起動画像を前記スクリーン上に表示させる起動画像表示ステップと、
   前記起動画像表示ステップで表示された起動画像の選択を受け付ける処理選択受付ステップと、
   前記処理選択受付ステップで受け付けた起動画像に対応するアプリケーションを実行するステップと、をコンピュータに実行させることを特徴とする情報処理プログラム。
10. 請求項９に記載の情報処理プログラムを記録したコンピュータ読取可能な記録媒体。
11. 前記属性情報テーブルが、前記アプリケーション情報を含む属性情報と前記識別情報とさらに前記識別情報のアプリケーション情報に関連する関連識別情報とを対応付けており、
    前記画像抽出部によって抽出された第１の物体および第２の物体の画像から前記第１および第２の物体の識別情報を取得したとき、前記第１の物体の識別情報の前記関連識別情報が、前記第２の物体の識別情報であるかを前記属性情報から検索する関連識別情報検索部と、
    前記関連識別情報検索部によって検索された前記関連識別情報に対応するアプリケーションの起動画像である関連起動画像が認識可能なように処理を行う表示処理部と、を備え、
    前記起動画像表示部が、前記属性情報取得部によって取得された属性情報のアプリケーション情報に対応する前記起動画像および前記関連起動画像を、前記表示処理部の処理に従って前記スクリーン上に表示させることを特徴とする請求項１乃至請求項６の何れかに記載の情報処理装置。
12. 前記表示処理部が、前記スクリーン上の前記第１および第２の物体の位置との間に前記関連起動画像を表示させるように処理を行うことを特徴とする請求項１１に記載の情報処理装置。
13. 前記表示処理部が、前記起動画像の色とは異なる色を前記関連起動画像に付けて表示させるように処理を行うことを特徴とする請求項１１に記載の情報処理装置。
14. 前記表示処理部が、前記関連起動画像を前記スクリーン上の端の部分に表示させるように処理を行うことを特徴とする請求項１１に記載の情報処理装置。
15. 前記表示処理部が、前記関連起動画像と前記スクリーン上の前記第１の物体および前記第２の物体とを結線して表示させるように処理を行うことを特徴とする請求項１１に記載の情報処理装置。
16. 前記表示処理部が、前記第１の物体を囲む第１の枠および前記第２の物体を囲む第２の枠を前記スクリーン上に表示させると共に前記第１と第２の枠が互いに重なる領域に前記関連起動画像を表示させるように処理を行うことを特徴とする請求項１１に記載の情報処理装置。
17. 前記表示処理部が、前記第１と第２の枠が互いに重ならない領域には前記起動画像を表示させるように処理を行うことを特徴とする請求項１６に記載の情報処理装置。
18. 前記表示処理部が、前記第１と第２の枠が互いに重なる領域に前記関連起動画像だけを表示させ、重ならない領域に前記起動画像を表示させないように処理を行うことを特徴とする請求項１６に記載の情報処理装置。