JP2012163666A - 情報表示装置、情報表示システム - Google Patents

Abstract

【課題】利用者の負荷を軽減し、操作性を維持しながら、情報媒体物本来の情報伝達性を保持しつつ、直観的に付加情報にアクセスできる情報表示装置等を提供する。
【解決手段】情報表示装置１は、ディスプレイ装置２が外部、支持体６、情報処理装置７、撮影装置８が内部に設けられ、スリット部５を含む筐体３からなる。情報媒体物１０は、平面形状であって所望の情報が示されている媒体物である。情報媒体物画像２０は、情報媒体物１０に対応する画像である。スリット部４は、ディスプレイ装置２と支持体６との間に、情報媒体物１０を差し込むことが可能な微小幅を有する。支持体６は、撮影装置８によって撮影可能に情報媒体物１０を支持する。撮影装置８は、ディスプレイ装置２の背面に設置され、画像を撮影する。情報処理装置７は、撮影装置８によって撮影される撮影画像を取得し、所定の処理を実行し、ディスプレイ装置２に処理結果を表示する。
【選択図】図２

Description

本発明は、印刷物などの情報媒体物に対応する画像である情報媒体物画像をディスプレイ装置に表示することによって、情報媒体物とデジタル情報を結ぶ情報表示装置等に関するものである。

近年、様々なＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）技術が開発されており、実空間上の物体にデジタル情報を付加することが可能になっている。

ＡＲ技術の一つの手法として、物体をカメラで撮影し、ディスプレイ装置上に撮影した物体の映像とコンピュータによって作り出された付加情報を重畳表示するものがある（例えば、非特許文献１参照）。

また、利用者の視線を撮像するカメラを付加したＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）を利用して、映像に情報を付加表示するシステムも提案されている（非特許文献２参照）。

また、印刷物を専用のテーブル上に置くことによって印刷物を認識し、上部のプロジェクタから負荷情報を投影するシステムも提案されている（非特許文献３参照）。非特許文献３に記載の手法では、上部に印刷物の位置や状態を認識するカメラが設置されており、印刷物の上あるいは周辺に付加情報を投影する。また、利用者が印刷物に空いた穴を指で塞ぐことによって、意図した情報にアクセスできるといった機能が実装されている。

J. Rekimoto and K. Nagao "TheWorld through the Computer: Computer Augmented Interaction with Real WorldEnvironments" - Proceedings of the 8th annual ACM , 1995 H. Kato and M. Billinghurst"Marker Tracking and HMD Calibration for a Video-based Augmented Reality ConferencingSystem." - In Proceedings of the 2nd International Workshop on Augmented Reality,pages 85-94, 1999 LEADING EDGE DESIGN "On theFly" - http://www.lleedd.com/portfolio/on_the_fly/

しかしながら、非特許文献１に記載の手法では、実空間上の物体とディスプレイ装置が離れた位置関係にある為、利用者は両者を同時に見ることができず、視線を固定できない。従って、利用者の負荷が高く、情報の関連性を理解し難いという課題が残る。

非特許文献２の手法では、物体と付加情報が同じ視線上で表示される為、情報の関連性は理解し易い。一方でＨＭＤを装着する負荷や、ＨＭＤのディスプレイの画質が悪いといった課題が残る。また、現状では実稼働コストも高い。

非特許文献３の手法では、印刷物上に情報を投影する為、白紙に近い状況でしか紙面を構成することができない。従って、印刷物として本来持っている情報提示能力に欠けるという課題が残る。

本発明は、前述した問題点に鑑みてなされたもので、その目的とすることは、利用者の負荷を軽減し、操作性を維持しながら、情報媒体物本来の情報伝達性を保持しつつ、直観的に付加情報にアクセスできる情報表示装置等を提供することである。

前述した目的を達成するために第１の発明は、平面形状であって所望の情報が示されている情報媒体物と、平面形状の表示部を有するディスプレイ装置と、前記ディスプレイ装置の背面に設置され、画像を撮影する撮影装置と、前記撮影装置によって撮影可能に前記情報媒体物を支持する支持体と、前記撮影装置によって撮影される画像である撮影画像を取得し、所定の処理を実行し、前記ディスプレイ装置に処理結果を表示する情報処理装置と、を有し、前記情報処理装置は、前記撮影画像を解析し、前記ディスプレイ装置と前記撮影装置との間に差し込まれた前記情報媒体物の位置を特定できるときは、その位置情報を含むマーカ情報を通知する制御手段と、前記制御手段から通知されたマーカ情報に基づいて、前記情報媒体物に対応する画像である情報媒体物画像を、前記情報媒体物に重畳されるように、前記制御手段によって特定される前記情報媒体物の位置に合わせて前記ディスプレイ装置に表示する表示手段と、を備えることを特徴とする情報表示装置である。

第１の発明によって、利用者の負荷を軽減し、操作性を維持しながら、情報媒体物本来の情報伝達性を保持しつつ、直観的に付加情報にアクセスできる情報表示装置を得ることができる。
特に、ディスプレイ装置に表示される情報媒体物画像は、視覚的に実空間に存在する情報媒体物と極めて近い物体として捉えられる。そして、利用者に対して、差し込まれた情報媒体物が、あたかも透けて見えているかのような錯覚を与えることができる。
また、情報媒体物には示されていない情報をディスプレイ装置に付加的に表示する場合、利用者は、ディスプレイ装置に付加的に表示されている情報が、情報媒体物に含まれる情報の補足、関連情報であることを直感的に理解することができる。

第１の発明における前記情報表示装置は、前記情報表示装置は、前記ディスプレイ装置を外部に設け、並びに、前記撮影装置、前記支持体及び前記情報処理装置を内部に設け、内部が視認不可能な筐体からなり、前記支持体は、平面形状であって透過性のある材質からなり、前記筐体には、前記ディスプレイ装置と前記支持体との間に、前記情報媒体物を差し込むことが可能な微小幅のスリット部が設けられる。
これによって、ディスプレイ装置に表示される仕組みを隠すことができ、利用者は、驚きとともに、強い興味を抱くようになる。

また、第１の発明における前記情報媒体物画像は、前記情報媒体物の背景領域を示す画像である背景画像と、前記背景領域と異なる前記情報媒体物の一部の領域を示す画像である切取画像と、によって構成され、前記ディスプレイ装置は、タッチパネルを備え、前記情報処理装置は、前記情報媒体物画像を記録する記憶領域、および前記各切取画像について該切取画像を切り取るか否かを示すフラグである初期値ＯＦＦの切取フラグを記録する記憶領域を備えており、前記表示手段は、利用者による前記タッチパネルへのタッチの有無を感知し、かつ利用者が前記タッチパネルをタッチした位置であるタッチ位置を取得し、前記タッチ位置が前記切取画像のいずれかの領域内である場合には、該切取画像の切取フラグをＯＮにし、さらに、前記背景画像と前記切取画像のうち切取フラグがＯＦＦとなっている切取画像については、前記制御手段より通知されたマーカ情報に基づいて前記ディスプレイ装置に表示し、前記切取フラグがＯＮとなっている切取画像についてはそのままの表示位置で前記ディスプレイ装置に表示する。
これによって、利用者は、ディスプレイ装置の上では、背景画像と切取画像を分離して表示させることができる。

また、第１の発明における前記制御手段は、前記情報媒体物の位置を特定できないときはマーカ無し情報を前記表示手段に通知し、前記表示手段は、前記制御手段よりマーカ無し情報が通知されると、前記背景画像および切取フラグがＯＦＦの状態となっている切取画像の表示を消去する。
これによって、情報媒体物画像の一部である切取画像をスクラップして収集するなど、従来の情報媒体物において行われていた作業が、情報媒体物を物理的に切り刻むことなく実現することが可能となる。

また、第１の発明における前記情報媒体物に示される情報である第１情報と、前記情報媒体物画像に示される情報である第２情報とは、互いに異なるものであり、前記表示手段は、前記第１情報に係るテキスト情報の言語と異なる言語のテキスト情報、前記第１情報に係る画像と異なる画像情報、又は、前記第１情報と関連するテキスト情報或いは動画像を、前記第２情報として表示する。
これによって、情報媒体物では実現できないことが可能となる。例えば、利用者に応じて、情報媒体物に示されるテキスト情報の言語を切り替えることができる。また、例えば、印刷物などの情報媒体物では表現できない情報（映像や更新性の高い情報）を表示させることができる。

第２の発明は、第１の発明の情報表示装置と、前記情報表示装置とネットワークを介して接続されるサーバと、から構成される情報表示システムであって、前記サーバは、前記情報媒体物画像を記憶する記憶手段と、前記情報媒体物画像を前記情報表示装置に送信する送信手段と、を備え、前記情報表示装置は、前記情報媒体物画像を前記サーバから受信する受信手段、を備え、前記表示手段は、前記サーバから受信する前記情報媒体物画像を前記ディスプレイ装置に表示することを特徴とする情報表示システムである。
これによって、複数の情報表示装置を物理的に離れた位置に設置して運用することが容易となる。また、利用者は切取画像などをサーバに蓄積させることが可能となる。

本発明により、利用者の負荷を軽減し、操作性を維持しながら、情報媒体物本来の情報伝達性を保持しつつ、直観的に付加情報にアクセスできる情報表示装置等を提供することができる。

情報表示装置の外観図 情報表示装置の断面図 情報媒体物を示す図 情報媒体物画像を示す図 情報処理装置の構成図 情報媒体物が差し込まれた時の処理の流れを示すフローチャート 情報媒体物が差し込まれて、位置が特定される前の模式図 情報媒体物が差し込まれて、位置が特定された後の模式図 利用者がタッチ操作を行った時の処理の流れを示すフローチャート 利用者がタッチした後、媒体物を左方向にずらした状態の模式図 情報媒体物が引き抜かれた時の処理の流れを示すフローチャート 情報媒体物が引き抜かれた時の模式図 情報表示装置の変形例の外観図 情報表示装置の変形例の断面図 情報媒体物の変形例を示す図 情報表示システムの構成図

以下図面に基づいて、本発明の実施形態を詳細に説明する。最初に、図１から図５を参照しながら、情報表示装置の構成について説明する。

図１は、情報表示装置の外観図である。図１に示すように、情報表示装置１は、例えば、ディスプレイ装置２が外部に設けられる筐体３からなる。利用者には、情報媒体物１０が配布される。ディスプレイ装置２には、情報媒体物画像２０などが表示される。

ディスプレイ装置２は、平面形状の表示部を有し、タッチパネルを備える。ディスプレイ装置２は、例えば、液晶ディスプレイ、プラズマディスプレイなどであるが、特に限定されるものではない。ディスプレイ装置２は、薄型のものが望ましい。図１では、ディスプレイ装置２は、利用者が鉛直方向の上から見て、表示部が視認されるように設置されている。

筐体３は、箱型の形状を有し、スリット部４、台部５等を含む。筐体３は、内部が視認できないように、筐体３が非透過性の素材であったり、非透過性の素材の布地などによって台部５や側面が覆われたりしている。つまり、筐体３は、内部が視認不可能に構成されている。スリット部４は、情報媒体物１０を差し込むことが可能な程度に微小な幅を有する開口である。台部５は、情報媒体物１０などが載置できる程度の面積を有する平面台である。図１では、スリット部４は、台部５とディスプレイ装置２の段差部分に設けられている。

情報媒体物１０は、平面形状であって所望の情報が示されている媒体物である。情報媒体物１０は、例えば、印刷装置によってテキスト情報、画像などが印刷されている印刷物（何も印刷されていない場合も含む。）、手書きによって文字や絵などが書き込まれている紙などが挙げられる。

情報媒体物画像２０は、情報媒体物１０に対応する画像である。情報媒体物画像２０は、情報媒体物１０に示されている情報と同じ情報や、情報媒体物１０に示されている情報の補足、関連情報などが示される。
情報媒体物画像２０は、情報媒体物１０をスキャナなどによってデジタルデータとして取り込むことによって作成しても良い。また、逆に、情報媒体物画像２０のデジタルデータの一部又は全部を印刷装置などによって印刷することによって、情報媒体物１０を作成しても良い。

図１に示す情報表示装置１は、利用者によって情報媒体物１０がディスプレイ装置２の背面に差し込まれると、情報媒体物画像２０を、情報媒体物１０に重畳されるように、情報媒体物１０の位置に合わせてディスプレイ装置２に表示する。
ディスプレイ装置２に表示される情報媒体物画像２０は、視覚的に実空間に存在する情報媒体物１０と極めて近い物体として捉えられる。そして、利用者は、差し込まれた情報媒体物１０が、あたかも透けて見えているかのような錯覚を感じる。

本発明の情報表示装置１の設置に好適な場所としては、例えば、公共空間や商業施設などの紹介コーナーなどが挙げられる。この場合、情報媒体物１０としては、公共空間や商業施設を紹介する為の印刷物としてのパンフレット、リーフレットなどが挙げられる。パンフレットなどの印刷物は、それのみでも有益な情報を有するが、本発明の情報表示装置１を活用することによって、以下のような情報を提供することができる。
・混雑情報、時刻、天気など動的に変化する情報
・動画等、印刷物では表現できない情報
・印刷物のテキスト情報を多言語に翻訳した情報

図２は、情報表示装置の断面図である。図２は、図１におけるＺ−Ｚ断面（一点鎖線にて図示）による断面図である。
図２に示すように、筐体３の内部には、支持体６、情報処理装置７、撮影装置８が設けられる。また、情報処理装置７は、ディスプレイ装置２及び撮影装置８とデジタルデータを送受信可能に接続される。図２では有線によって接続されているが、無線によって接続されても良い。

スリット部４は、ディスプレイ装置２と支持体６との間に、情報媒体物１０を差し込むことが可能な微小幅を有する。利用者は、情報媒体物１０の表面（情報が示されている面）がディスプレイ装置２と対向する向き（図２の例では上向き）となるように、スリット部４に情報媒体物１０を差し込む。

支持体６は、撮影装置８によって撮影可能に情報媒体物１０を支持する。支持体６は、例えば、平面形状であって透過性のある材質からなる。透過性のある材質とは、例えば、ガラス、プラスチック、アクリル樹脂などである。
尚、利用者が情報媒体物１０を支持可能な場合、図２に示す支持体６に代えて、利用者の手が支持体を構成しても良い。

情報処理装置７は、撮影装置８によって撮影される画像である撮影画像を取得し、所定の処理を実行し、ディスプレイ装置２に処理結果を表示する。図１に示す情報媒体物画像２０は、情報処理装置７による制御に従い、ディスプレイ装置２に表示される。

撮影装置８は、ディスプレイ装置２の背面に設置され、画像を撮影する。図２に示す撮影装置８は、支持体６の背面に設置されている。支持体６は透過性のある材質であるから、撮影装置８は、ディスプレイ装置２と支持体６との間に差し込まれる情報媒体物１０を撮影することができる。
図２に示す点線は、撮影装置８の撮影範囲を示している。撮影装置８の撮影範囲は、少なくとも、ディスプレイ装置８の背面全体が包含される領域である。撮影装置８の焦点位置は、ディスプレイ装置２と支持体６との間、すなわち、情報媒体物８が差し込まれる位置である。
尚、図２には図示していないが、筐体３の内部には照明装置が設けられる。照明装置は、撮影装置８が撮影できる程度の最低限の照度を保つ為に設けられるものである。照明装置は、撮影装置８に取り付けられていても良いし、別体として設けても良い。

図１及び図２に示す情報表示装置１は、ディスプレイ装置２に表示される仕組み、すなわち支持体６、情報処理装置７及び撮影装置８などが外部から視認されないので、情報媒体物画像２０がディスプレイ装置２に表示される仕組みを隠すことができる。従って、利用者が情報表示装置１を利用すると、驚きとともに、強い興味を抱くようになる。

更に、図１及び図２に示すように、スリット部４の位置及び大きさは、ディスプレイ装置２と支持体６との距離が、情報媒体物８の厚さ程度になるように設けることが望ましい。ディスプレイ装置２と支持体６との距離が近いことによって、利用者に対して、情報媒体物画像２０と情報媒体物１０の一体感を感じさせることができる。

図３は、情報媒体物を示す図である。図３（ａ）は、情報媒体物１０の表面である。図３（ｂ）は、情報媒体物１０の裏面である。

図３（ａ）に示すように、情報媒体物１０の表面には、文字などからなるテキスト情報（図３では横線として図示）、図、表、写真などからなる画像情報（図３では「Ａ」、「Ｂ」、「Ｃ」の文字が付された矩形として図示）などが示されている。

図３（ｂ）に示すように、情報媒体物１０の裏面には、マーカ１１が付されている。マーカ１１は、情報媒体物画像２０をディスプレイ２に表示させる位置を決める為の目印になる図形である。マーカ１１の図形は、点対称ではない図形である。図３（ｂ）に示す例では、マーカ１１の図形は、四角の太枠があり、太枠の内部に「Ａ１」という文字がある。尚、説明を分かり易くする為に、表面に示されるテキスト情報や画像情報を左右反転して図示している。
一般に、情報媒体物１０は複数存在し、対応させる情報媒体物画像２０も複数存在する。従って、情報媒体物１０の種類を判別する為に、マーカ１１の図形は、情報媒体物１０ごとに異なることが望ましい。

本発明の実施の形態では、ＡＲ技術における位置判別（トラッキング）方式の中でも、マーカ１１を利用し、マーカ１１が撮影された撮影画像を分析して位置を判別する方式を用いる。しかしながら、本発明は、この方式に限定されるわけではない。
本発明は、例えば、マーカ１１を用いずに現実世界の物体（背景など）が撮影された撮影画像を分析して位置を判別する方式（いわゆるマーカレス方式）や、センサを用いて位置を判別する方式などを用いることも可能である。

図４は、情報媒体物画像を示す図である。図４（ａ）は、情報処理装置７などに記憶される態様を示している。図４（ｂ）は、ディスプレイ装置２に表示される態様を示している。

図４（ａ）に示すように、情報媒体物画像２０は、背景画像２１と切取画像２２とに分けて記憶される。
背景画像２１は、情報媒体物１０の背景領域を示す画像であり、ユーザ操作によって切取が不可能な画像である。
切取画像２２は、背景領域と異なる情報媒体物１０の一部の領域を示す画像であり、ユーザ操作によって切取が可能となる画像である。情報処理装置７は、各々の切取画像２２に対して、画像を切り取るか否かを示すフラグである切取フラグを対応付けて記憶する。

図４（ｂ）に示すように、情報媒体物画像２０は、例えば、背景画像２１と切取画像２２のそれぞれに位置合わせの処理がなされて、情報媒体物１０と同様のレイアウトとして表示される。

図３及び図４に示す例では、情報媒体物１０に示される情報及びレイアウトと、情報媒体物画像２０に示される情報及びレイアウトとは、同一のものとしたが、本発明はこれに限定されない。
本発明は、情報媒体物１０に示される情報（第１情報）と、情報媒体物画像２０に示される情報（第２情報）とが互いに異なるものであり、ディスプレイ装置２０には、第１情報に係るテキスト情報の言語と異なる言語のテキスト情報、第１情報に係る画像と異なる画像情報、又は、第１情報と関連するテキスト情報或いは動画像を、第２情報として表示しても良い。すなわち、情報処理装置７が、情報媒体物１０に印字された言語とは異なる言語に切り替えてテキスト情報を表示する。また、情報処理装置７が、情報媒体物１０には画像が印刷されている領域に、関連するテキスト情報或いは動画像を表示する。
これによって、情報媒体物では実現できないことが可能となる。例えば、利用者に応じて、情報媒体物に示されるテキスト情報の言語を切り替えることができる。また、例えば、印刷物などの情報媒体物では表現できない情報（映像や更新性の高い情報）を表示させることができる。

図５は、情報処理装置の構成図である。図５に示すように、情報処理装置７は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）３１、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）３２、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）３３、ネットワークＩ／Ｆ３４、周辺機器Ｉ／Ｆ３５、記憶装置３６等から構成される。

ＣＰＵ３１は、記憶装置３６、ＲＯＭ、記録媒体等に格納されるプログラムをＲＡＭ３３上のワークメモリ領域に呼び出して実行し、各装置を駆動制御し、情報処理装置７が行う後述する処理を実現する。
ＲＯＭ３２は、不揮発性メモリであり、コンピュータのブートプログラムやＢＩＯＳ等のプログラム、データ等を恒久的に保持している。
ＲＡＭ３３は、揮発性メモリであり、ＲＯＭ３２、記憶装置３６、記録媒体等からロードしたプログラム、データ等を一時的に保持するとともに、ＣＰＵ３１が各種処理を行う為に使用するワークエリアを備える。

ネットワークＩ／Ｆ（インタフェース）３４は、通信制御装置、通信ポート等を有し、情報処理装置７とネットワーク間の通信を媒介する通信インタフェースであり、ネットワークを介して、他のコンピュータ間との通信制御を行う。ネットワークは、有線、無線を問わない。

周辺機器Ｉ／Ｆ（インタフェース）３５は、情報処理装置７に周辺機器を接続させるためのポートであり、周辺機器Ｉ／Ｆ３５を介して情報処理装置７は周辺機器とのデータの送受信を行う。周辺機器Ｉ／Ｆ３５は、ＵＳＢやＩＥＥＥ１３９４やＲＳ−２３２Ｃ等で構成されており、通常複数の周辺機器Ｉ／Ｆを有する。周辺機器との接続形態は有線、無線を問わない。本発明の実施の形態では、周辺機器Ｉ／Ｆ３５には、ディスプレイ装置２及び撮影装置８が接続させる。

記憶装置３６は、ＨＤＤ（ハードディスクドライブ）等であり、ＣＰＵ３１が実行するプログラム、プログラム実行に必要なデータ、ＯＳ（オペレーティングシステム）等が格納される。プログラムに関しては、ＯＳ（オペレーティングシステム）に相当する制御プログラムや、後述する処理をコンピュータに実行させるためのアプリケーションプログラムが格納されている。
これらの各プログラムコードは、ＣＰＵ３１により必要に応じて読み出されてＲＡＭに移され、各種の手段として実行される。

本発明の実施の形態では、記憶装置３６には、ＯＳ３７、制御アプリ３８、表示アプリ３９などが格納される。
制御アプリ３８は、情報処理装置７を、撮影装置８によって撮影される撮影画像を解析し、ディスプレイ装置２と撮影装置８との間に差し込まれた情報媒体物１０の位置を特定する制御手段として機能させるためのプログラムである。
表示アプリ３９は、情報処理装置７を、情報媒体物１０に重畳されるように、制御手段によって特定される情報媒体物１０の位置に合わせてディスプレイ装置２に表示する表示手段として機能させるためのプログラムである。
図４（ａ）に示す情報媒体物画像２０のデータは、表示アプリ３９に含めても良いし、別ファイルとして記憶装置３６に格納させても良い。
以下では、説明を分かり易くする為に、制御アプリ３８及び表示アプリ３９を処理の主体として記載する。実際には、制御アプリ３８及び表示アプリ３９などのソフトウエアと協働することによって、ハードウエアであるＣＰＵ３１が処理の主体として動作するものである。

次に、図６から図１２を参照しながら、情報表示装置７が行う処理について、下記の３つに分けて説明する。
（１）情報媒体物１０が差し込まれた時の処理
（２）利用者がタッチ操作を行った時の処理
（３）情報媒体物１０が引き抜かれた時の処理

＜（１）情報媒体物１０が差し込まれた時の処理＞
図６は、情報媒体物が差し込まれた時の処理の流れを示すフローチャートである。図６に示すように、利用者は、情報媒体物１０をスリット部４に差し込み（ステップＳ１０１）、情報媒体物１０の位置を変える（ステップＳ１０２）。

これに対して、制御アプリ３８は、撮影装置８から撮影画像を取得し（ステップＳ１０３）、マーカ１１を識別する（ステップＳ１０４）。ここでは、マーカ１１が存在するか否かの判定も合わせて行い、マーカ１１が認められない場合は「マーカなし」と識別する。また、情報媒体物１０が複数存在し、対応させる情報媒体物画像２０も複数存在する場合を想定し、マーカ１１の有無に加えて、マーカ１１の種類も識別する。

次に、制御アプリ３８は、撮影画像に基づいて、マーカ１１の位置を特定し（ステップＳ１０５）、必要に応じてマーカ１１の位置の補正（カメラ座標からディスプレイ座標への座標変換）を行い（ステップＳ１０６）、マーカ情報（マーカ１１の識別情報及びマーカ１１の位置）を表示アプリ３９に通知する（ステップＳ１０７）。マーカ１１の位置は、撮影画像内の２次元座標として特定される。尚、制御アプリ３８は、ステップＳ１０４において「マーカなし」と識別した場合には、マーカ１１の識別情報として、「マーカ無し情報」を通知することになる。
ステップＳ１０５におけるマーカ１１の位置の特定、及び、ステップＳ１０６におけるマーカ１１の位置の補正は、公知のＡＲ技術によって行われる。例えば、現在インターネット上で公開されているソフトウエアライブラリであるＡＲＴｏｏｌｋｉｔ（http://www.hitl.washington.edu/artoolkit/）を使用して実現してもよい。

次に、表示アプリ３９は、マーカ情報を取得し（ステップＳ１０８）、情報媒体物画像２０の画像リストを呼び出し、記憶装置３６から、背景画像２１及び切取画像２２を取り出す（ステップＳ１０９）。ここで、表示アプリ３９は、マーカ１１の識別情報に基づいて、複数個の中から１個の情報媒体物画像２０を特定する。

次に、表示アプリ３９は、背景画像２１を処理対象とし（ステップＳ１１０）、背景画像２１をマーカ情報の位置に合わせる（ステップＳ１１１）。
また、表示アプリ３９は、特定の切取画像２２を処理対象とし（ステップＳ１１２）、処理対象としている切取画像２２の切取フラグを確認し（ステップＳ１１３）、切取フラグがＯＦＦの場合（ステップＳ１１３のＯＦＦ）、処理対象としている切取画像２２をマーカ情報の位置に合わせる（ステップＳ１１４）。
一方、表示アプリ３９は、切取フラグがＯＮの場合（ステップＳ１１３のＯＮ）、処理対象としている切取画像２２をマーカ情報の位置に合わせず、そのままの表示位置とする（ステップＳ１１５）。すなわち、切取フラグがＯＮの場合、切取画像２２は、マーカ情報の位置の変化に追随することはない。これによって、利用者は、ディスプレイ装置２の上では、背景画像２１と切取画像２２を分離して表示させることができる。
ステップＳ１１２〜ステップＳ１１５の処理は、切取画像２２ごとに繰り返す。そして、表示アプリ３９は、情報媒体物画像２０（背景画像２１及び切取画像２２）をディスプレイ装置２に表示する（ステップＳ１１６）。

ステップＳ１１１における背景画像２１の位置合わせ処理、及び、ステップＳ１１４における切取画像２２の位置合わせ処理では、ディスプレイ装置２の表示領域の２次元座標が特定される。
表示アプリ３９は、撮影画像内の２次元座標として特定されたマーカ１１の位置に合わせて、情報媒体物画像２０が情報媒体物１０に重畳されるように、ディスプレイ装置２の表示領域の２次元座標を特定する。ここで、「情報媒体物画像２０が情報媒体物１０に重畳される」とは、利用者が鉛直方向の上から観察するときに、情報媒体物画像２０の水平方向の大きさ及び水平方向の位置・角度が、情報媒体物１０の水平方向の大きさ及び水平方向の位置・角度と同じになることを意味する。

図７は、情報媒体物が差し込まれて、位置が特定される前の模式図である。図８は、情報媒体物が差し込まれて、位置が特定された後の模式図である。
図７では、撮影装置８によって撮影される撮影画像内に、マーカ１１が識別可能な大きさまで含まれていない。従って、情報処理装置７は、情報媒体物画像２０をディスプレイ装置２に表示させていない。
図８では、撮影装置８によって撮影される撮影画像内に、マーカ１１が含まれている。従って、情報処理装置７は、マーカ情報に基づいて位置合わせを行い、情報媒体物画像２０をディスプレイ装置２に表示させている。
図８に示すように、ディスプレイ装置２に表示される情報媒体物画像２０を観察した利用者は、差し込まれた情報媒体物１０が、あたかも透けて見えているかのような錯覚を感じる。

＜（２）利用者がタッチ操作を行った時の処理＞
図９は、利用者がタッチ操作を行った時の処理の流れを示すフローチャートである。

図９に示すように、利用者は、情報媒体物画像２０が表示されているディスプレイ装置２のタッチパネルをタッチする（ステップＳ２０１）。
これに対して、表示アプリ２９は、ディスプレイ装置２からタッチ情報を取得する（ステップＳ２０２）。タッチ情報は、利用者がタッチした位置であるタッチ位置の座標である。

そして、表示アプリ２９は、タッチ位置が、いずれかの切取画像２２の領域内にあるか否かを判定する（ステップＳ２０３）。
表示アプリ２９は、タッチ位置が切取画像２２の領域内にある場合（ステップＳ２０３の「あり」）、タッチされている切取画像２２を特定し（ステップＳ２０４）、特定した切取画像２２の切取フラグを「ＯＮ」にする（ステップＳ２０５）。一方、表示アプリ２９は、タッチ位置が切取画像２２の領域内にない場合（ステップＳ２０３の「なし」）、何もしない。

図１０は、利用者がタッチした後、媒体物を左方向にずらした状態の模式図である。
図１０では、「Ａ」の文字が付されている切取画像２２が、利用者の指１２によってタッチされている。そして、利用者は、タッチした後、媒体物１０を左方向にずらすことによって、「Ａ」の文字が付されている切取画像２２を、背景画像２１及びその他の切取画像２２と分離させて表示させている。

＜（３）情報媒体物１０が引き抜かれた時の処理＞
図１１は、情報媒体物が引き抜かれた時の処理の流れを示すフローチャートである。尚、図６のフローチャートと同様の処理は、同じステップ番号を付している。
図１１に示すように、利用者は、情報媒体物１０をスリット部４から引き抜く（ステップＳ３０１）。

これに対して、制御アプリ３８は、撮影装置８から撮影画像を取得し（ステップＳ１０３）、マーカ１１を識別する（ステップＳ１０４）。ここでは、マーカ１１が存在するか否かの判定も合わせて行い、マーカ１１が認められない場合は「マーカなし」と識別する。情報媒体物１０がスリット部４から引き抜かれていることから、制御アプリ３８は、「マーカなし」と識別する。そして、制御アプリ３８は、マーカなし情報を表示アプリ３９に通知する（ステップＳ３０２）。

次に、表示アプリ３９は、マーカ情報を取得する（ステップＳ１０８）。取得されるマーカ情報は、「マーカなし情報」である。
次に、表示アプリ３９は、情報媒体物画像２０の画像リストを呼び出し、背景画像２１及び切取画像２２を取り出す（ステップＳ１０９）。ここで、表示アプリ３９は、図６に示すステップＳ１０９において呼び出した情報媒体物画像２０の画像リストを呼び出す。

次に、表示アプリ３９は、背景画像２１を処理対象とし（ステップＳ１１０）、背景画像２２の表示を消す（ステップＳ３０３）。
また、表示アプリ３９は、特定の切取画像２２を処理対象とし（ステップＳ１１２）、処理対象としている切取画像２２の切取フラグを確認し（ステップＳ１１３）、切取フラグがＯＦＦの場合（ステップＳ１１３のＯＦＦ）、処理対象としている切取画像２２の表示を消す（ステップＳ３０４）。また、切取フラグがＯＮの場合（ステップＳ１１３のＯＮ）、表示アプリ３９は、処理対象としている切取画像２２の表示を消さずに、そのままの表示位置で表示する（ステップＳ３０５）。ステップＳ１１２、Ｓ１１３、Ｓ３０４、Ｓ３０５の処理は、切取画像２２ごとに繰り返す。
これによって、情報媒体物画像２０の一部である切取画像２２をスクラップして収集するなど、従来の情報媒体物１０において行われていた作業が、情報媒体物１０を物理的に切り刻むことなく実現することが可能となる。

図１２は、情報媒体物が引き抜かれた時の模式図である。
図１２では、「Ａ」の文字が付されている切取画像２２が、利用者の指１２によってタッチされている。一方、情報媒体物１０が、スリット部４から引き抜かれており、背景画像２１及び他の切取画像２２はディスプレイ装置２に表示されていない。また、当然ながら、情報媒体物１０は、スリット部４に差し込む前の状態（図８に示す状態）、すなわち、「Ａ」の文字が付されている切取画像２２は元の状態のままである。

制御アプリ３８は、前述した、撮影画像の取得、マーカ１１の識別、マーカ１１の位置特定及び補正、マーカ情報／マーカなし情報の通知といった一連の処理を繰り返す。表示アプリ３９は、制御アプリ３８からの指示に従い、前述の通り、各画像をディスプレイ装置２に表示する（又は表示しない）。

以上、本発明の情報表示装置１によって、利用者の負荷を軽減し、操作性を維持しながら、情報媒体物１０本来の情報伝達性を保持しつつ、直観的に付加情報にアクセスできる。
特に、ディスプレイ装置２に表示される情報媒体物画像２０は、視覚的に実空間に存在する情報媒体物１０と極めて近い物体として捉えられる。そして、利用者に対して、差し込まれた情報媒体物１０が、あたかも透けて見えているかのような錯覚を与えることができる。
また、情報媒体物１０には示されていない情報をディスプレイ装置２に付加的に表示する場合、利用者は、ディスプレイ装置２に付加的に表示されている情報が、情報媒体物１０に含まれる情報の補足、関連情報であることを直感的に理解することができる。

尚、前述の説明では、タッチされた切取画像２２は、タッチされた時の位置のままで表示画面に残るものとしたが、本発明はこの例に限定されない。本発明に係るアプリケーションに機能を追加することによって、例えば、タッチされた切取画像２２を、利用者の指に追随して移動させたり（ドラッグ機能）、複製データを作成して記録したり、他の記録媒体に移したりすることができる。従って、本発明では、情報媒体物に含まれる気になる画像や文章などを保管することができる。本発明における保管の為の操作は、極めて直観的である。つまり、利用者の動作は、情報媒体物を前後左右に動かしたり、欲しい情に触れたりするという極めて簡単な動作のみであり、高い操作性が実現される。

＜第１の変形例＞
次に、図１３〜図１５を参照しながら、本発明の第１の変形例について説明する。第１の変形例は、筐体の構造を変えたものである。以下では、前述の説明と同じ要素には同じ番号を付し、重複する説明を省略する。

図１３は、情報表示装置の変形例の外観図である。図１３に示すように、情報表示装置１ａは、ディスプレイ装置２が外部に設けられる筐体３ａからなる。利用者には、情報媒体物１０ａが配布される。
図１３では、ディスプレイ装置２は、利用者が水平方向の正面から見て、表示部が視認されるように設置されている。

筐体３ａは、箱型の形状を有し、スリット部４ａ、スリット部４ｂ等を含む。筐体３ａは、内部が視認できないように、筐体３ａが非透過性の素材であったり、非透過性の素材の布地などによって側面が覆われたりしている。つまり、筐体３ａは、内部が視認不可能に構成されている。

スリット部４ａ及びスリット部４ｂは、情報媒体物１０を差し込むことが可能な程度に微小な幅を有する開口である。図１３では、スリット部４ａは筐体３ａの上面、スリット部４ｂは筐体３ａの右側面に設けられている。また、スリット部４ａ及びスリット部４ｂは、筐体３の角部９において連結されている。つまり、スリット部４ａ及びスリット部４ｂによって、Ｌ字状の開口が形成されている。これによって、情報媒体物１０ａの上下方向の幅、及び／又は、左右方向の幅が、ディスプレイ装置２の上下方向の幅、及び／又は、左右方向の幅よりも大きい場合であっても、情報媒体物１０ａをディスプレイ装置２の背面に差し込むことが可能となる。つまり、製作可能な情報媒体物１０ａの紙面の大きさが、ディスプレイ装置２の大きさに制限されることはない。

図１３に示す情報表示装置１ａは、利用者によって情報媒体物１０ａがディスプレイ装置２の背面に差し込まれると、情報媒体物画像２０を、情報媒体物１０ａに重畳されるように、情報媒体物１０ａの位置に合わせてディスプレイ装置２に表示する。
ディスプレイ装置２に表示される情報媒体物画像２０は、視覚的に実空間に存在する情報媒体物１０ａと極めて近い物体として捉えられる。そして、利用者は、差し込まれた情報媒体物１０ａが、あたかも透けて見えているかのような錯覚を感じる。

図１４は、情報表示装置の変形例の断面図である。図１４は、図１３におけるＺ−Ｚ断面（一点鎖線にて図示）による断面図である。
図１４に示すように、筐体３ａの内部には、支持体６、情報処理装置７、撮影装置８が設けられる。また、情報処理装置７は、ディスプレイ装置２及び撮影装置８とデジタルデータを送受信可能に接続される。図１４では有線によって接続されているが、無線によって接続されても良い。

スリット部４ａ、４ｂは、ディスプレイ装置２と支持体６との間に、情報媒体物１０を差し込むことが可能な微小幅を有する。利用者は、情報媒体物１０の表面（情報が示されている面）がディスプレイ装置２と対向する向き（図１４に示す例では正面向き）となるように、スリット部４ａ、４ｂに情報媒体物１０ａを差し込む。
尚、図１４には図示していないが、筐体３ａの内部には照明装置が設けられる。照明装置は、撮影装置８が撮影できる程度の最低限の照度を保つ為に設けられるものである。照明装置は、撮影装置８に取り付けられていても良いし、別体として設けても良い。

図１３及び図１４に示す情報表示装置１ａは、ディスプレイ装置２に表示される仕組み、すなわち支持体６、情報処理装置７及び撮影装置８などが外部から視認されないので、情報媒体物画像２０がディスプレイ装置２に表示される仕組みを隠すことができる。従って、利用者が情報表示装置１ａを利用すると、驚きとともに、強い興味を抱くようになる。

更に、図１３及び図１４に示すように、スリット部４ａ、４ｂの大きさは、ディスプレイ装置２と支持体６との距離が、情報媒体物８の厚さ程度になるように設けることが望ましい。ディスプレイ装置２と支持体６との距離が近いことによって、利用者に対して、情報媒体物画像２０と情報媒体物１０ａの一体感を感じさせることができる。

図１５は、情報媒体物の変形例を示す図である。図１５（ａ）は、情報媒体物１０ａの表面である。図１５（ｂ）は、情報媒体物１０ａの裏面である。

図１５（ａ）に示すように、情報媒体物１０ａの表面は、図３（ａ）に示す情報媒体物１０と同様である。
また、図１５（ｂ）に示すように、情報媒体物１０の裏面には、マーカ１１が右下に付されている。図３（ｂ）に示す情報媒体物１０と比較すると、図１５（ｂ）に示す情報媒体物１０ａは、マーカ１１の位置が異なる。これは、スリット部４ａ、４ｂの位置を考慮したものである。すなわち、情報媒体物１０ａが、筐体３ａの上面に設けられたスリット部４ａに差し込まれた場合、及び、情報媒体物１０ａが、筐体３ａの右側面に設けられたスリット部４ｂに差し込まれた場合、のいずれであっても、マーカ１１をすぐに認識できるように、マーカ１１を、情報媒体物１０の裏面の右下の領域（表面では左下の領域）に設けている。

以上のように、ディスプレイ装置は、利用者が鉛直方向の上から見て、表示部が視認されるように設置する場合だけでなく、利用者が水平方向の正面から見て、表示部が視認されるように設置する場合であっても、本発明の目的を達成することができる。
更に、ディスプレイ装置は、図１に示す位置から図１３に示す位置までの間のいずれに設置しても良い。すなわち、ディスプレイ装置は、利用者が斜め方向の正面から見て、表示部が視認されるように設置しても良い。ディスプレイ装置を斜め方向に設置する場合、筐体内部の撮影装置も、撮影方向がディスプレイ装置に合わせて斜め方向になるように設置する。

また、筐体に設けられるスリット部は、ディスプレイ装置の１辺（図１では、ディスプレイ装置の表示領域の下端部）だけでなく、ディスプレイ装置の２辺（図１３では、ディスプレイ装置の表示領域の上端部及び右端部）に設けても、本発明の目的を達成することができる。
更に、筐体に設けられるスリット部は、ディスプレイ装置の３辺や４辺に設けても良い。

＜第２の変形例＞
次に、図１６を参照しながら、本発明の第２の変形例について説明する。第２の変形例は、情報表示装置とネットワークを介して接続されるサーバを追加したものである。以下では、前述の説明と同じ要素には同じ番号を付し、重複する説明を省略する。

図１６は、情報表示システムの構成図である。図１６に示すように、情報表示システム５０は、複数の情報処理装置７ａ〜７ｃ、ネットワーク５２を介して各々の情報処理装置７ａ〜７ｃに接続されるサーバ５１から構成される。

情報処理装置７ａ〜７ｃの構成は、図５に示す情報処理装置７の構成と同様である。また、サーバ５１の構成も、プログラムを除き、図５に示す情報処理装置７の構成と同様である。

サーバ５１は、情報媒体物１０の種類に対応付けて、図４に示す情報媒体物画像２２を記憶する。例えば、サーバ５１は、マーカ１１に付される識別情報と、情報媒体物画像２２とを対応付けて記憶する。また、サーバ５１は、各々の情報処理装置７ａ〜７ｃと情報を送受信する。特に、サーバ５１は、情報処理装置７ａ〜７ｃの要求に応じて、情報媒体物画像２２を情報処理装置７ａ〜７ｃに送信する。
情報処理装置７ａ〜７ｃは、サーバ５１と情報を送受信する。特に、情報処理装置７ａ〜７ｃは、サーバ５１に対して情報媒体物画像２２を要求し、サーバ５１から情報媒体物画像２２を受信する。
これによって、複数の情報表示装置を物理的に離れた位置に設置して運用することが容易となる。

また、サーバ５１は、利用者ごとの記憶領域を確保しておき、情報処理装置７ａ〜７ｃから切取画像２２（切取画像２２に画像処理を施した画像を含む。）を受け取り、利用者ごとに蓄積しても良い。これによって、利用者は、切取画像をスクラップしておくことができる。

その他、本発明は、様々な拡張性を有している。例えば、情報媒体物画像だけでなく、情報媒体物に示される情報に対する代替情報、付加情報などのコンテンツを登録するツールや、本発明に合わせたコンテンツを製作するツールなどを活用し、情報媒体物の製作時点において、コンテンツと情報媒体物の紐付けを行い、データベース化しておくことによって、集中管理による汎用的なプラットフォームを実現することが可能となる。

以上、添付図面を参照しながら、本発明に係る情報表示装置等の好適な実施形態について説明したが、本発明はかかる例に限定されない。当業者であれば、本願で開示した技術的思想の範疇内において、各種の変更例又は修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。

１、１ａ………情報表示装置
２………ディスプレイ装置
３、３ａ………筐体
４、４ａ、４ｂ………スリット部
５………台部
６………支持体
７、７ａ、７ｂ、７ｃ………情報処理装置
８………撮影装置
９………角部
１０、１０ａ………情報媒体物
１１………マーカ
１２………指
２０………情報媒体物画像
２１………背景画像
２２………切取画像
５０………情報表示システム
５１………サーバ
５２………ネットワーク

Claims (6)

1. 平面形状であって所望の情報が示されている情報媒体物と、
   平面形状の表示部を有するディスプレイ装置と、
   前記ディスプレイ装置の背面に設置され、画像を撮影する撮影装置と、
   前記撮影装置によって撮影可能に前記情報媒体物を支持する支持体と、
   前記撮影装置によって撮影される画像である撮影画像を取得し、所定の処理を実行し、前記ディスプレイ装置に処理結果を表示する情報処理装置と、
   を有し、
   前記情報処理装置は、
   前記撮影画像を解析し、前記ディスプレイ装置と前記撮影装置との間に差し込まれた前記情報媒体物の位置を特定できるときは、その位置情報を含むマーカ情報を通知する制御手段と、
   前記制御手段から通知されたマーカ情報に基づいて、前記情報媒体物に対応する画像である情報媒体物画像を、前記情報媒体物に重畳されるように、前記制御手段によって特定される前記情報媒体物の位置に合わせて前記ディスプレイ装置に表示する表示手段と、
   を備える
   ことを特徴とする情報表示装置。
2. 前記情報表示装置は、前記ディスプレイ装置を外部に設け、並びに、前記撮影装置、前記支持体及び前記情報処理装置を内部に設け、内部が視認不可能な筐体からなり、
   前記支持体は、平面形状であって透過性のある材質からなり、
   前記筐体には、前記ディスプレイ装置と前記支持体との間に、前記情報媒体物を差し込むことが可能な微小幅のスリット部が設けられる
   ことを特徴とする請求項１に記載の情報表示装置。
3. 前記情報媒体物画像は、前記情報媒体物の背景領域を示す画像である背景画像と、前記背景領域と異なる前記情報媒体物の一部の領域を示す画像である切取画像と、によって構成され、
   前記ディスプレイ装置は、タッチパネルを備え、
   前記情報処理装置は、前記情報媒体物画像を記録する記憶領域、および前記各切取画像について該切取画像を切り取るか否かを示すフラグである初期値ＯＦＦの切取フラグを記録する記憶領域を備えており、
   前記表示手段は、利用者による前記タッチパネルへのタッチの有無を感知し、かつ利用者が前記タッチパネルをタッチした位置であるタッチ位置を取得し、前記タッチ位置が前記切取画像のいずれかの領域内である場合には、該切取画像の切取フラグをＯＮにし、さらに、前記背景画像と前記切取画像のうち切取フラグがＯＦＦとなっている切取画像については、前記制御手段より通知されたマーカ情報に基づいて前記ディスプレイ装置に表示し、前記切取フラグがＯＮとなっている切取画像についてはそのままの表示位置で前記ディスプレイ装置に表示する
   ことを特徴とする請求項１または請求項２に記載の情報表示装置。
4. 前記制御手段は、前記情報媒体物の位置を特定できないときはマーカ無し情報を前記表示手段に通知し、
   前記表示手段は、前記制御手段よりマーカ無し情報が通知されると、前記背景画像および切取フラグがＯＦＦの状態となっている切取画像の表示を消去する
   ことを特徴とする請求項３に記載の情報表示装置。
5. 前記情報媒体物に示される情報である第１情報と、前記情報媒体物画像に示される情報である第２情報とは、互いに異なるものであり、
   前記表示手段は、前記第１情報に係るテキスト情報の言語と異なる言語のテキスト情報、前記第１情報に係る画像と異なる画像情報、又は、前記第１情報と関連するテキスト情報或いは動画像を、前記第２情報として表示する
   ことを特徴とする請求項１乃至請求項４のいずれかに記載の情報表示装置。
6. 請求項１乃至請求項５に記載の情報表示装置と、前記情報表示装置とネットワークを介して接続されるサーバと、から構成される情報表示システムであって、
   前記サーバは、
   前記情報媒体物画像を記憶する記憶手段と、
   前記情報表示装置と情報を送受信する送受信手段と、
   を備え、
   前記情報表示装置は、
   前記サーバと情報を送受信する送受信手段、
   を備え、
   前記表示手段は、前記サーバから受信する前記情報媒体物画像を前記ディスプレイ装置に表示する
   ことを特徴とする情報表示システム。

Images