JP2016134086A - Ａｒシステム、ａｒ装置、画像サーバ、ａｒ実現支援方法、およびコンピュータプログラム - Google Patents

Abstract

【課題】ＡＲマーカが印刷されている印刷物を有しないユーザであっても、このＡＲマーカに対応するコンテンツを従来よりも容易に閲覧することができる。【解決手段】サーバは、コンテンツ５１Ｃを呼出用マーカ５１Ｙと対応付けて記憶している。第一の端末装置は、印刷物５から呼出用マーカ５１Ｙを撮影した後、印刷物５の用紙とは異なる第二の用紙の印刷面の画像を撮影したら、印刷面の画像の情報をサーバへ送信する。すると、サーバは、印刷面の画像の情報をコンテンツ５１Ｃと対応付けて記憶する。そして、第二の端末装置から印刷面の画像の情報が送信されてきた場合に、これをコンテンツ５１Ｃと対応付けて記憶していれば、コンテンツ５１Ｃ第二の端末装置へ送信する。【選択図】図５

Description

本発明は、ＡＲ（Augmented Reality）の技術に関する。

近年、ＡＲ（Augmented Reality）の技術が普及し始めている。ＡＲは、一般に「拡張現実」と翻訳される。

ＡＲの技術によると、ＡＲマーカが付されている印刷物を、スマートフォンなどで撮影すると、ＡＲマーカに対応するコンテンツ（オブジェクト）が、撮影した印刷物の画像の上に表示される。これにより、現実の空間が拡張したかのようにユーザに感じさせることができる。

また、従来、ＡＲに関する次のような技術が提案されている。特許文献１に記載される技術によると、背景映像を取得する。設置する画像形成装置の表示位置情報を取得する。前記表示位置情報と前記画像形成装置のサイズに関する情報とに基づいて、前記画像形成装置の装置画像を生成する。手または指の位置情報を取得する。前記手または指の位置情報に基づいて、前記手または指の位置を示すポインタ画像を生成する。前記背景映像、前記装置画像、および前記ポインタ画像を合成して出力映像を生成する。前記画像形成装置を設置する位置と前記手または指の位置情報とに基づいて、前記画像形成装置の動作を模擬するシミュレーションモデルの所定の動作を実行する。そして、前記出力映像を表示する。

特許文献２に記載される技術によると、バーチャル空間に合成キャラクタを表示する。物理空間に存在するユーザの位置や動作などのユーザ入力を取り込み、ユーザと合成キャラクタとの相互作用（インタクト）を検出し、各種の反応を出力する。

特許文献３に記載される技術によると、ナビゲーションは、検出器を通じて受信したジェスチャ・データから本体のジェスチャを検出することを含む。ジェスチャ・データは、ある時点および物理的空間における本体の瞬時的状態の絶対三空間位置データである。検出は、ジェスチャ・データを用いて、ジェスチャを識別することを含む。ナビゲーションは、ジェスチャをジェスチャ信号に変換し、このジェスチャ信号に応答してデータ空間全域においてナビゲートすることを含む。データ空間は、物理的空間において表現されるデータ・セットを含む、データ表現空間である。

特開２０１３−１０５３３０号公報 特開２０００−２００１２５号公報 特表２０１２−５０２３６４号公報

あるコンテンツの代わりにＡＲマーカを印刷物に印刷しておき、このＡＲマーカを撮影した際にこのコンテンツを表示することによって、このコンテンツを秘匿化することができる。

しかし、この印刷物を有しないユーザは、このコンテンツを閲覧することができない。よって、会議などにおいて、この印刷物を一部の出席者が有しない場合は、この印刷物を複写して配付しなければならず、面倒である。上述の従来技術では、この問題を解決することができない。

本発明は、この問題点に鑑み、ＡＲマーカが印刷されている印刷物を有しないユーザであっても、このＡＲマーカに対応するコンテンツを従来よりも容易に閲覧できるようにすることを、目的とする。

本発明の一形態に係るＡＲシステムは、第一の画像を用紙に重ねることによってＡＲ（Augmented Reality）を実現するＡＲシステムであって、第一の端末装置およびサーバを有し、前記サーバに、前記第一の画像をコードと対応付けて記憶する記憶手段、が設けられ、前記第一の端末装置に、撮影手段と、第一の用紙から前記撮影手段によって前記コードが撮影された後、当該第一の用紙の用紙とは異なる第二の用紙から前記撮影手段によって第二の画像が撮影された場合に、当該第二の画像の情報である画像情報を前記サーバへ送信する、第一の送信手段と、が設けられ、前記サーバに、さらに、前記画像情報が前記第一の端末装置から送信されてきた場合に、当該画像情報を前記第一の画像と対応付けて前記記憶手段に記憶させる、登録手段と、第二の端末装置から前記画像情報が送信されてきた場合に、当該画像情報が前記記憶手段に記憶されていれば前記第一の画像を当該第二の端末装置へ送信する、第二の送信手段と、が設けられている。

好ましくは、前記第一の端末装置は、さらに、前記第一の用紙の上に前記第二の用紙が重ね合わされたことを検知する重畳検知手段、が設けられ、前記第一の送信手段は、前記第一の用紙に前記第二の用紙が重ね合わされたことが前記重畳検知手段によって検知された後、前記画像情報を送信する。

または、前記第一の端末装置は、さらに、前記第一の用紙に加えられた第一の追記画像を検知する第一の追記画像検知手段と、前記第二の用紙に加えられた第二の追記画像を検知する第二の追記画像検知手段と、が設けられ、前記第二の送信手段は、前記第一の追記画像と前記第二の追記画像とが同じものであると判別された場合に、前記画像情報を送信する。

本発明によると、ＡＲマーカが印刷されている印刷物を有しないユーザであっても、このＡＲマーカに対応するコンテンツを従来よりも容易に閲覧することができる。

ドキュメント閲覧システムの全体的な構成の例を示す図である。 ドキュメントサーバのハードウェア構成の例を示す図である。 タブレット型端末装置のハードウェア構成の例を示す図である。 眼鏡型端末装置のハードウェア構成の例を示す図である。 印刷物の例を示す図である。 ドキュメントサーバおよび端末装置の機能的構成の例を示す図である。 コンテンツ記憶部に記憶されるデータの例を示す図である。 印刷物へのコンテンツの重畳の処理の流れの例を説明するフローチャートである。 印刷物の例を示す図である。 印刷物へのコンテンツの重畳の処理の流れの例を説明するフローチャートである。 ドキュメントサーバおよび端末装置の機能的構成の例を示す図である。 コンテンツ記憶部に記憶されるデータの例を示す図である。 印刷物へのコンテンツの重畳の処理の流れの例を説明するフローチャートである。 印刷物へのコンテンツの重畳の処理の流れの例を説明するフローチャートである。 印刷物および印刷物へのサインの記入の例を示す図である。 印刷物へのコンテンツの重畳の例を示す図である。

〔第一の実施形態〕
図１は、ドキュメント閲覧システム１の全体的な構成の例を示す図である。図２は、ドキュメントサーバ２のハードウェア構成の例を示す図である。図３は、タブレット型端末装置３Ｔのハードウェア構成の例を示す図である。図４は、眼鏡型端末装置３Ｍのハードウェア構成の例を示す図である。図５は、印刷物５の例を示す図である。図６は、ドキュメントサーバ２および端末装置３の機能的構成の例を示す図である。

ドキュメント閲覧システム１は、図１に示すように、ドキュメントサーバ２、端末装置３、および通信回線４などによって構成される。ドキュメント閲覧システム１は、ドキュメント（文書）を表示するためのデータを管理し、ドキュメントの閲覧のサービスをユーザに提供する。

ドキュメントサーバ２と端末装置３とは、通信回線４を介して通信を行うことができる。通信回線４として、インターネット、Ｗｉ−Ｆｉ、ＬＡＮ（Local Area Network）、または携帯電話回線などが用いられる。

ドキュメントサーバ２は、ドキュメントを表示するためのデータを記憶し、適宜、端末装置３へ提供する。ドキュメントサーバ２として、いわゆるサーバ機が用いられる。または、コピー、スキャン、ファックスなどの機能を備えた複合機を用いてもよいし、いわゆるクラウドサーバを用いてもよい。

ドキュメントサーバ２は、図２に示すように、ＣＰＵ（Central Processing Unit）２０ａ、ＲＡＭ（Random Access Memory）２０ｂ、ＲＯＭ（Read Only Memory）２０ｃ、大容量記憶装置２０ｄ、およびＮＩＣ（Network Interface Card）２０ｅなどによって構成される。

ＮＩＣ２０ｅは、ＴＣＰ／ＩＰ（Transmission Control Protocol/Internet Protocol）などのプロトコルによって端末装置３などの装置と通信を行う。

ＲＯＭ２０ｃまたは大容量記憶装置２０ｄには、管理プログラム２Ｐが記憶されている。管理プログラム２Ｐは、ＲＡＭ２０ｂにロードされ、ＣＰＵ２０ａによって実行される。大容量記憶装置２０ｄとして、ハードディスクまたはＳＳＤ（Solid State Drive）などが用いられる。

端末装置３は、ドキュメントサーバ２から提供されるデータに基づいてドキュメントを表示する。端末装置３として、パーソナルコンピュータ、タブレットコンピュータ、スマートフォン、または眼鏡型コンピュータなどが用いられる。

「眼鏡型コンピュータ」は、ウェアラブルコンピュータの一種であり、グーグル社のグーグルグラスのような、眼鏡のように顔に装着するタイプのコンピュータである。

以下、端末装置３として、タブレットコンピュータまたは眼鏡型コンピュータが用いられる場合を例に説明する。前者および後者をそれぞれ「タブレット型端末装置３Ｔ」および「眼鏡型端末装置３Ｍ」と区別して記載することがある。また、各端末装置３を、それを有するユーザに応じて「端末装置３１」、「端末装置３２」、…と区別して記載することがある。

タブレット型端末装置３Ｔは、図３に示すように、ＣＰＵ３０ａ、ＲＡＭ３０ｂ、ＲＯＭ３０ｃ、フラッシュメモリ３０ｄ、タッチパネルディスプレイ３０ｅ、操作ボタン群３０ｆ、デジタルカメラ３０ｇ、および無線通信装置３０ｈなどが用いられる。

タッチパネルディスプレイ３０ｅは、フラット型ディスプレイ（例えば、液晶ディスプレイ）およびタッチパネルによって構成される。フラット型ディスプレイは、種々の画像を表示する。特にドキュメントを表示するために用いられる。タッチパネルは、ユーザがタッチした位置を検知し、その位置をＣＰＵ３０ａへ通知する。

操作ボタン群３０ｆは、ホーム画面に戻るためのボタン、入力した内容を確定するためのボタン、音量を調整するためのボタン、および電源のオン／オフを切り換えるためのボタンなどによって構成される。

デジタルカメラ３０ｇは、種々の画像を撮影する。特にドキュメントが印刷された用紙を撮影するために用いられる。

無線通信装置３０ｈは、基地局を介してＴＣＰ／ＩＰなどのプロトコルによってドキュメントサーバ２などの装置と通信を行う。無線通信装置３０ｈの通信方式として、例えば、Ｗｉ−Ｆｉ、ＬＴＥ（Long Term Evolution）、Ｗ−ＣＤＭＡ（Wideband-Code Division Multiple Access）、またはＰＨＳ（Personal Handy-phone System）などが用いられる。

ＲＯＭ３０ｃまたはフラッシュメモリ３０ｄには、クライアントプログラム３Ｐが記憶されている。クライアントプログラム３Ｐは、ＲＡＭ３０ｂにロードされ、ＣＰＵ３０ａによって実行される。

眼鏡型端末装置３Ｍは、図４に示すように、ＣＰＵ３０ｐ、ＲＡＭ３０ｑ、ＲＯＭ３０ｒ、フラッシュメモリ３０ｓ、ディスプレイ３０ｔ、操作ボタン群３０ｕ、デジタルカメラ３０ｖ、および無線通信装置３０ｗなどが用いられる。

ＣＰＵ３０ｐ、ＲＡＭ３０ｑ、ＲＯＭ３０ｒ、フラッシュメモリ３０ｓ、ディスプレイ３０ｔ、操作ボタン群３０ｕ、デジタルカメラ３０ｖ、および無線通信装置３０ｗの役割は、それぞれ、タブレット型端末装置３ＴのＣＰＵ３０ａ、ＲＡＭ３０ｂ、ＲＯＭ３０ｃ、フラッシュメモリ３０ｄ、タッチパネルディスプレイ３０ｅ、操作ボタン群３０ｆ、デジタルカメラ３０ｇ、および無線通信装置３０ｈと基本的に同様である。

ただし、画像を再現する方式が、タッチパネルディスプレイ３０ｅとディスプレイ３０ｔとでは、相違する。タッチパネルディスプレイ３０ｅは、上述の通り、液晶ディスプレイのような平面型のディスプレイが用いられる。一方、ディスプレイ３０ｔは、柄の根元に設けられたプロジェクタからレンズの端部付近に設けられたプリズムへ光を発することによって、画像を再現する。

クライアントプログラム３Ｐが、ＲＯＭ３０ｒまたはフラッシュメモリ３０ｓに記憶されており、ＲＡＭ３０ｑにロードされ、ＣＰＵ３０ｐによって実行される。

ところで、ドキュメント閲覧システム１は、ＰＤＦ（Portable Document Format）などのファイルを単に提供するだけでなく、ＡＲ（Augmented Reality）の技術によってドキュメントを再現することができる。この際に、印刷物５が用いられる。

印刷物５は、図５（Ａ）のように、２種類のオブジェクト（画像）が予め印刷されている。１つ目は、呼出用マーカ５１Ｙである。呼出用マーカ５１Ｙは、ドキュメントサーバ２にデータが記憶されているコンテンツを呼び出すためのものである。２つ目は、固定コンテンツ５１Ｋである。固定コンテンツ５１Ｋは、呼出用マーカ５１Ｙ以外のオブジェクトである。

ユーザが眼鏡型端末装置３Ｍを掛けて印刷物５を見ると、呼出用マーカ５１Ｙに対応するコンテンツ５１Ｃの画像データがドキュメントサーバ２からダウンロードされ、図５（Ｂ）のように、コンテンツ５１Ｃが印刷物５に印刷されているかのように見える。タブレット型端末装置３Ｔで印刷物５を撮影しながら見た場合も、同様に見える。

このように、ドキュメント閲覧システム１によると、ＡＲが実現される。呼出用マーカ５１Ｙとして、ＡＲマーカが用いられる。

また、ドキュメント閲覧システム１によると、１人のユーザが印刷物５を持っていれば、この呼出用マーカ５１Ｙが印刷されていない印刷物（図９参照）にもコンテンツ５１Ｃが印刷されているかのように見える。

これらの仕組みは、管理プログラム２Ｐおよびクライアントプログラム３Ｐによって実現される。以下、これらの仕組みについて、説明する。

管理プログラム２Ｐによると、図６に示すコンテンツ記憶部２０１、コンテンツ送信部２０２、およびアクセス権登録処理部２０３などの機能が実現される。

クライアントプログラム３Ｐによると、図６に示す第一のマーカ検知部３０１、コンテンツダウンロード部３０２、コンテンツ表示部３０３、重畳検知部３０４、アクセス権登録要求部３０５、および第二のマーカ検知部３０６などの機能が実現される。

〔事前の準備〕
図７は、コンテンツ記憶部２０１に記憶されるデータの例を示す図である。

コンテンツ記憶部２０１には、図７（Ａ）に示すように、コンテンツ５１Ｃ（５１Ｃ１、５１Ｃ２、…）ごとの画像データ５５（５５１、５５２、…）が、それを呼び出すための呼出用マーカ５１Ｙ（５１Ｙ１、５１Ｙ２，…）と対応付けて予め記憶されている。さらに、代用マーカ５１Ｄ（５１Ｄ１、５１Ｄ２、…）がコンテンツ５１Ｃの画像データ５５に対応付けられることがある。これについては、後述する。

〔印刷物５へのコンテンツ５１Ｃの重ね合せ〕
図８は、印刷物５へのコンテンツ５１Ｃの重畳の処理の流れの例を説明するフローチャートである。

印刷物５にコンテンツ５１Ｃを重ね合わせて表示する処理は、ドキュメントサーバ２のコンテンツ送信部２０２ならびに端末装置３の第一のマーカ検知部３０１、コンテンツダウンロード部３０２、およびコンテンツ表示部３０３によって、図８に示す手順で行われる。以下、各部による処理およびユーザによる操作を、図８を参照しながら説明する。

ユーザは、端末装置３のデジタルカメラ３０ｇまたは３０ｖを印刷物５の印刷面の方へ向け、所定の操作を行う。すると、デジタルカメラ３０ｇまたは３０ｖは、印刷面の撮影を開始する（図８の＃７０１）。このとき、タブレット型端末装置３Ｔにおいては、撮影された画像がタッチパネルディスプレイ３０ｅに表示される。

第一のマーカ検知部３０１は、印刷物５の画像の中から呼出用マーカ５１Ｙを検知する（＃７０２）。

すると、コンテンツダウンロード部３０２は、画像データ５５をドキュメントサーバ２へ要求する（＃７０３）。この際に、検知された呼出用マーカ５１Ｙをドキュメントサーバ２へ送信する。

ドキュメントサーバ２において、コンテンツ送信部２０２は、端末装置３からの要求を受け付けると（＃７１１）、送信されてきた呼出用マーカ５１Ｙに対応する画像データ５５をコンテンツ記憶部２０１から検索し（＃７１２）、画像データ５５を端末装置３へ送信する（＃７１３）。

そして、端末装置３において、コンテンツダウンロード部３０２が画像データ５５を受信（ダウンロード）すると（＃７０４）、コンテンツ表示部３０３は、画像データ５５に基づいてコンテンツ５１Ｃをタッチパネルディスプレイ３０ｅまたはディスプレイ３０ｔによって次のように表示する（＃７０５）。

タブレット型端末装置３Ｔの場合は、コンテンツ表示部３０３は、デジタルカメラ３０ｇによって撮影されタッチパネルディスプレイ３０ｅによって表示された画像の中の、呼出用マーカ５１Ｙの中心の位置を検知する。そして、この位置にコンテンツ５１Ｃの中心が重なるように、受信した画像データ５５に基づいてコンテンツ５１Ｃを表示させる。

一方、眼鏡型端末装置３Ｍの場合は、コンテンツ表示部３０３は、デジタルカメラ３０ｖによって撮影された画像の中の、呼出用マーカ５１Ｙの位置を検知する。そして、この位置にコンテンツ５１Ｃが重なって見えるように、受信した画像データ５５に基づいてコンテンツ５１Ｃをディスプレイ３０ｔによって表示する。

例えば、端末装置３は、図５（Ａ）に示した印刷物５を撮影した場合は、呼出用マーカ５１Ｙ１を検知し、ドキュメントサーバ２へ送信する。ドキュメントサーバ２は、画像データ５５１を検索し端末装置３へ送信する。そして、端末装置３は、コンテンツ５１Ｃ１を、その中心が呼出用マーカ５１Ｙ１の中心に重なるように画像データ５５１に基づいて表示する。

〔印刷物６へのコンテンツ５１Ｃの重ね合せ〕
図９は、印刷物６の例を示す図である。図１０は、印刷物６へのコンテンツ５１Ｃの重畳の処理の流れの例を説明するフローチャートである。

ユーザは、近くの他のユーザが印刷物５を有していれば、図９（Ａ）のような、呼出用マーカ５１Ｙが印刷されていない印刷物６を用いてコンテンツ５１Ｃを閲覧することができる。この際に、ドキュメントサーバ２のコンテンツ送信部２０２およびアクセス権登録処理部２０３と、端末装置３の第一のマーカ検知部３０１ないし第二のマーカ検知部３０６とによって、図１０に示す手順で処理が行われる。

以下、各部による処理およびユーザによる操作を、ユーザＵ１が印刷物５および端末装置３１を有し、ユーザＵ２が印刷物６および端末装置３２を有する場合を例に、図１０を参照しながら説明する。

ユーザＵ１は、印刷物５を端末装置３１で撮影することによって、コンテンツ５１Ｃを閲覧する。この際のユーザＵ１の操作、端末装置３１の各部の処理、およびドキュメントサーバ２の各部の処理は、前に図８で説明した通りである。

つまり、端末装置３１のデジタルカメラ３０ｇまたは３０ｖは印刷物５の撮影を開始する（図１０の＃７２１）。第一のマーカ検知部３０１は、呼出用マーカ５１Ｙを検知し（＃７２２）、コンテンツダウンロード部３０２は、画像データ５５をドキュメントサーバ２へ要求するとともに、検知された呼出用マーカ５１Ｙをドキュメントサーバ２へ送信する（＃７２３）。

ドキュメントサーバ２において、コンテンツ送信部２０２は、端末装置３１からの要求を受け付けると（＃７３１）、送信されてきた呼出用マーカ５１Ｙに対応する画像データ５５をコンテンツ記憶部２０１（図７参照）から検索し（＃７３２）、端末装置３１へ送信する（＃７３３）。

そして、端末装置３１において、コンテンツダウンロード部３０２が画像データ５５を受信すると（＃７２４）、コンテンツ表示部３０３は、画像データ５５に基づいてコンテンツ５１Ｃをタッチパネルディスプレイ３０ｅまたはディスプレイ３０ｔに表示する（＃７２５）。

ここで、ユーザＵ１は、ユーザＵ２から印刷物６を借りる。そして、印刷物５の撮影を続けながら、印刷物５の上に印刷物６を重ね合わせる。このとき、印刷物６の全体が撮影されるように、撮影範囲を調整する。

すると、端末装置３１の重畳検知部３０４は、印刷物５の上に印刷物６が重なったことを検知し、その時点または前後に撮影した画像をキャプチャする（＃７２６）。検知およびキャプチャは、次のように行われる。

重畳検知部３０４は、呼出用マーカ５１Ｙが徐々に消えたことを検知し、その後、撮影される画像の変化が所定の量未満になった場合に、印刷物６が重なったと検知する。または、ユーザＵ１が所定の操作（例えば、重ね合わせたことを伝えるためのボタンの押下）を行った場合に、印刷物６が重なったと検知する。その他、公知の方法を用いて検知してもよい。

すると、重畳検知部３０４は、印刷物６が重なったと検知された時点またはその前後にデジタルカメラ３０ｇまたは３０ｖによって撮影された画像をキャプチャする。この画像は、後に、呼出用マーカ５１Ｙの代わりに用いられる。そこで、以下、この画像を「代用マーカ５１Ｄ」と記載する。

そして、アクセス権登録要求部３０５は、ドキュメントサーバ２へ代用マーカ５１Ｄを、ステップ＃７２２で検知した呼出用マーカ５１Ｙとともに送信するとともに、代用マーカ５１Ｄをコンテンツ５１Ｃとを対応付けて登録するように要求する（＃７２７）。なお、代用マーカ５１Ｄは、画像データとしてドキュメントサーバ２へ送信される。後述するステップ＃７４３においても、同様である。

ドキュメントサーバ２において、アクセス権登録処理部２０３は、端末装置３１からの要求を受け付けると（＃７３４）、送信されてきた代用マーカ５１Ｄを、これとともに送信されてきた呼出用マーカ５１Ｙに対応する画像データ５５に対応付けてコンテンツ記憶部２０１に登録する（＃７３５）。

これにより、端末装置３２が印刷物６を用いてコンテンツ５１Ｃを閲覧する用意が完了する。例えば、端末装置３１は、図５（Ａ）に示した印刷物５に、図９（Ａ）に示した印刷物６が重なったことを検知した場合は、登録を要求するとともに、呼出用マーカ５１Ｙ１を送信し、印刷物６の印刷面全体の画像を代用マーカ５１Ｄ１として送信する。そして、ドキュメントサーバ２は、図７（Ｂ）のように、代用マーカ５１Ｄ１を画像データ５５１と対応付けてコンテンツ記憶部２０１に記憶させる。

ユーザＵ２は、ユーザＵ１から印刷物６を返してもらい、端末装置３２に撮影を開始させる。そして、端末装置３２で印刷物６の印刷面の全体を撮影する。

端末装置３２において、撮影の開始後（＃７４１）、端末装置３２の第二のマーカ検知部３０６は、撮影された画像を代用マーカ５１Ｄとして検知する（＃７４２）。検知は、例えば次の方法によって行えばよい。ユーザＵ２は、印刷物６の印刷面の全体が撮影範囲に入ったら、所定の操作（例えば、シャッタとは異なる所定のボタンの押下）を行う。すると、第二のマーカ検知部３０６は、この時点において撮影された画像を代用マーカ５１Ｄとして検知する。その他、公知の方法によって代用マーカ５１Ｄを検知することができる。

コンテンツダウンロード部３０２は、画像データ５５をドキュメントサーバ２へ要求する（＃７４３）。この際に、通常の要求の際に送信する呼出用マーカ５１Ｙの代わりに、この代用マーカ５１Ｄをドキュメントサーバ２へ送信する。

ドキュメントサーバ２において、コンテンツ送信部２０２は、端末装置３２からの要求を受け付けると（＃７３６）、送信されてきた代用マーカ５１Ｄに対応する画像データ５５をコンテンツ記憶部２０１から検索し（＃７３７）、端末装置３２へ送信する（＃７３８）。

そして、端末装置３２において、コンテンツダウンロード部３０２が画像データ５５を受信すると（＃７４４）、コンテンツ表示部３０３は、画像データ５５に基づいてコンテンツ５１Ｃをタッチパネルディスプレイ３０ｅまたはディスプレイ３０ｔに表示する（＃７４５）。コンテンツ５１Ｃの仕方は、印刷物５を用いた場合と同様である。ただし、印刷物６には、呼出用マーカ５１Ｙが印刷されていない。そこで、コンテンツ表示部３０３は、コンテンツ５１Ｃの中心が代用マーカ５１Ｄの中心に重なるように、コンテンツ５１Ｃを表示する。

例えば、端末装置３２は、図９（Ａ）に示した印刷物６を撮影した場合は、代用マーカ５１Ｄ１を検知し、ドキュメントサーバ２へ送信する。ドキュメントサーバ２は、画像データ５５１を検索し端末装置３２へ送信する。そして、端末装置３２は、図９（Ｂ）のように、コンテンツ５１Ｃ１を、その中心が代用マーカ５１Ｄ１の中心に重なるように画像データ５５１に基づいて表示する。

〔第二の実施形態〕
図１１は、ドキュメントサーバ２および端末装置３の機能的構成の例を示す図である。図１２は、コンテンツ記憶部２６１に記憶されるデータの例を示す図である。図１３および図１４は、印刷物６へのコンテンツ５１Ｃの重畳の処理の流れの例を説明するフローチャートである。図１５は、印刷物５および印刷物６へのサインの記入の例を示す図である。図１６は、印刷物６へのコンテンツ５１Ｃの重畳の例を示す図である。

第一の実施形態では、印刷物５の上に重ね合わされる他の印刷物すなわち印刷物６の全体の画像に呼出用マーカ５１Ｙと同様の役割を持たせて、コンテンツ５１Ｃの提供を行った。

第二の実施形態では、印刷物５を有するユーザのサインに呼出用マーカ５１Ｙと同様の役割を持たせて、コンテンツ５１Ｃの提供を行う。以下、この仕組みを説明する。第一の実施形態と重複する点については、説明を省略する。

ドキュメント閲覧システム１の構成は、第二の実施形態においても第一の実施形態と同様であり、図１に示した通りである。ドキュメントサーバ２のハードウェアの構成も、第一の実施形態と同様であり、図２に示した通りである。タブレット型端末装置３Ｔのハードウェアの構成および眼鏡型端末装置３Ｍのハードウェアの構成も、第一の実施形態と同様であり、それぞれ、図３および図４に示した通りである。

ただし、ドキュメントサーバ２において、ＲＯＭ２０ｃまたは大容量記憶装置２０ｄには、管理プログラム２Ｐの代わりに管理プログラム２Ｐ２が記憶されている。タブレット型端末装置３Ｔにおいて、ＲＯＭ３０ｃまたはフラッシュメモリ３０ｄには、クライアントプログラム３Ｐの代わりにクライアントプログラム３Ｐ２が記憶されている。また、眼鏡型端末装置３Ｍにおいて、ＲＯＭ３０ｒまたはフラッシュメモリ３０ｓには、クライアントプログラム３Ｐの代わりにクライアントプログラム３Ｐ２が記憶されている。

管理プログラム２Ｐ２によると、図１１に示すコンテンツ記憶部２６１、コンテンツ送信部２６２、およびアクセス権登録処理部２６３などの機能が実現される。

クライアントプログラム３Ｐ２によると、図１１に示す第一のマーカ検知部３６１、コンテンツダウンロード部３６２、コンテンツ表示部３６３、第一のサイン抽出部３６４、第二のサイン抽出部３６５、サイン照合部３６６、アクセス権登録要求部３６７、および第二のマーカ検知部３６８などの機能が実現される。

コンテンツ記憶部２６１には、第一の実施形態のコンテンツ記憶部２０１（図６参照）と同様、図１２に示すように、コンテンツ５１Ｃ（５１Ｃ１、５１Ｃ２、…）ごとの画像データ５５（５５１、５５２、…）が、それを呼び出すための呼出用マーカ５１Ｙ（５１Ｙ１、５１Ｙ２，…）と対応付けて予め記憶されている。さらに、第二のサイン５２Ｔ（５１Ｔ１、５１Ｔ２、…）がコンテンツ５１Ｃの画像データ５５に対応付けられることがある。この点も、コンテンツ記憶部２０１と同様である。ただし、呼出用マーカ５１Ｙの代用の画像として、印刷物６の印刷面全体の画像ではなく、ユーザが記したサインが用いられる。

印刷物５にコンテンツ５１Ｃを重ね合わせて表示する処理は、第一の実施形態における処理と同様である。具体的には、コンテンツ送信部２６２、第一のマーカ検知部３６１、コンテンツダウンロード部３６２、およびコンテンツ表示部３６３が、コンテンツ送信部２０２、第一のマーカ検知部３０１、コンテンツダウンロード部３０２、およびコンテンツ表示部３０３と同様の処理を実行することによって、印刷物５にコンテンツ５１Ｃが重なるように表示される。処理の手順は、図８で説明した通りである。

一方、印刷物６にコンテンツ５１Ｃが重なるように表示する処理は、ドキュメントサーバ２のコンテンツ送信部２６２およびアクセス権登録処理部２６３ならびに端末装置３のコンテンツダウンロード部３６２ないし第二のマーカ検知部３６８によって、図１３および図１４に示す手順で実行される。

以下、各部による処理およびユーザによる操作を、ユーザＵ１が印刷物５および端末装置３１を有し、ユーザＵ２が印刷物６および端末装置３２を有する場合を例に、図１３および図１４を参照しながら説明する。

ユーザＵ１は、印刷物５を端末装置３１で撮影することによって、コンテンツ５１Ｃを閲覧する。この際のユーザＵ１の操作、端末装置３１の各部の処理、およびドキュメントサーバ２の各部の処理は、図８のステップ＃７０１〜＃７０５、＃７１１〜＃７１３と同様である（図１３の＃７５１〜＃７５５、＃７６１〜＃７６３）。

ここで、ユーザＵ１は、呼出用マーカ５１Ｙが撮影範囲に入るように保ちながら、ペンで、図１５（Ａ）のように、印刷物５の中の空いている領域に自分の名前（サイン）を書き込む。

すると、端末装置３１において、第一のサイン抽出部３６４は、撮影された画像の中からサインを検知して抽出する（＃７５６）。以下、ステップ＃７５６で抽出されたサインを「第一のサイン５２Ｓ」と記載する。

抽出は、次の方法によって行うことができる。第一のサイン抽出部３６４は、サインを書き込む前の画像と書き込んだ後の画像とを比較する。そして、前者にないが後者にある部分をサインとして検知し、抽出する。その他、公知の方法によってサインを抽出してもよい。

さらに、ユーザＵ１は、ユーザＵ２から印刷物６を借りて、図１５（Ｂ）のように、印刷物６の中の空いている領域に、自分のサインを書き込む。このサインは、印刷物５に書き込んだものと同じである。

すると、第二のサイン抽出部３６５は、印刷物６の撮影された画像の中からサインを検知し抽出する（＃７５７）。抽出の方法は、印刷物５からサインを抽出する方法と同様である。以下、ステップ＃７５７で抽出されたサインを「第二のサイン５２Ｔ」と記載する。

サイン照合部３６６は、第一のサイン５２Ｓと第二のサイン５２Ｔとを照合し、両者が同じもの（同じ文字列、または、同じ人物が書いた同じ文字列）であるか否かを判別する。照合および判別は、例えば次のように行えばよい。

サイン照合部３６６は、第一のサイン５２Ｓおよび第二のサイン５２Ｔそれぞれの文字列を、ＯＣＲ（Optical Character Recognition）の技術によって認識する。そして、認識した２つの文字列を照合し、同一であれば、第一のサイン５２Ｓと第二のサイン５２Ｔとが同一であると判別する。または、公知の手書サイン認証の技術を用いてもよい。

アクセス権登録要求部３６７は、第一のサイン５２Ｓと第二のサイン５２Ｔとが同一であるとサイン照合部３６６によって判別された場合に、第二のサイン５２Ｔをコンテンツ５１Ｃとを対応付けて登録するようにドキュメントサーバ２へ要求する（＃７２７）。この際に、第二のサイン５２Ｔおよびステップ＃７５２で検知した呼出用マーカ５１Ｙをドキュメントサーバ２へ送信する。第二のサイン５２Ｔは、画像データとしてドキュメントサーバ２へ送信される。後述するステップ＃７７３においても、同様である。

ドキュメントサーバ２において、アクセス権登録処理部２６３は、端末装置３１からの要求を受け付けると（＃７６４）、送信されてきた第二のサイン５２Ｔを、これとともに送信されてきた呼出用マーカ５１Ｙに対応する画像データ５５に対応付けてコンテンツ記憶部２６１に登録する（＃７６５）。

これにより、端末装置３２が印刷物６を用いてコンテンツ５１Ｃを閲覧する用意が完了する。例えば、図１５（Ａ）のように印刷物５に第一のサイン５２Ｓ１が書き込まれ、図１５（Ｂ）のように印刷物６に第二のサイン５２Ｔ１が書き込まれた場合は、端末装置３１は、ドキュメントサーバ２へ、第二のサイン５２Ｔ１の登録を要求するとともに、第二のサイン５２Ｔ１および呼出用マーカ５１Ｙ１を送信する。そして、ドキュメントサーバ２は、図１２（Ｂ）のように、第二のサイン５２Ｔ１を画像データ５５１と対応付けてコンテンツ記憶部２６１に記憶させる。

ユーザＵ２は、ユーザＵ１から印刷物６を返してもらい、端末装置３２に撮影を開始させる。そして、端末装置３２で印刷物６の印刷面を、第二のサイン５２Ｔが撮影範囲に入るように撮影する。

端末装置３２において、撮影の開始後（＃７７１）、第二のマーカ検知部３６８は、撮影された画像の中から第二のサイン５２Ｔを、コンテンツ５１Ｃを呼び出すためのマーカとして検知する（＃７７２）。検知は、例えば次の方法によって行えばよい。

ユーザＵ２は、第二のサイン５２Ｔのみを端末装置３２に撮影させ、所定の操作（例えば、所定のボタンの押下）を行う。すると、第二のマーカ検知部３６８は、この時点において撮影された画像を第二のサイン５２Ｔとして検知する。または、第二のサイン５２Ｔが書き込まれる前の印刷物６の印刷面の画像を撮影しておき、第二のサイン５２Ｔが書き込まれる前後の印刷物６の印刷面の画像を比較することによって、第二のサイン５２Ｔを検知してもよい。その他、公知の方法によって第二のサイン５２Ｔを検知することができる。

コンテンツダウンロード部３６２は、画像データ５５をドキュメントサーバ２へ要求する（図１４の＃７７３）。この際に、通常の要求の際に送信する呼出用マーカ５１Ｙの代わりに、この第二のサイン５２Ｔをドキュメントサーバ２へ送信する。

ドキュメントサーバ２において、コンテンツ送信部２６２は、端末装置３２からの要求を受け付けると（＃７６６）、送信されてきた第二のサイン５２Ｔに対応する画像データ５５をコンテンツ記憶部２６１から検索し（＃７６７）、端末装置３２へ送信する（＃７６８）。

そして、端末装置３２において、コンテンツダウンロード部３６２が画像データ５５を受信すると（＃７７４）、コンテンツ表示部３６３は、画像データ５５に基づいてコンテンツ５１Ｃをタッチパネルディスプレイ３０ｅまたはディスプレイ３０ｔに表示する（＃７７５）。

例えば、端末装置３２は、図１５（Ｂ）に示した印刷物６を撮影した場合は、第二のサイン５２Ｔ１を検知し、ドキュメントサーバ２へ送信する。ドキュメントサーバ２は、画像データ５５１を検索し端末装置３２へ送信する。そして、端末装置３２は、図１６に示すように、コンテンツ５１Ｃ１を、その中心が第二のサイン５２Ｔ１の中心に重なるように画像データ５５１に基づいて表示する。

第一の実施形態および第二の実施形態によると、印刷物５を有しないユーザであっても、印刷物５に印刷されている呼出用マーカ５１Ｙに対応するコンテンツ５１Ｃを従来よりも容易に閲覧することができる。

第一の実施形態では、端末装置３１および端末装置３２は、印刷物６の印刷面全体の画像の画像データをドキュメントサーバ２へ送信したが、この画像に関する情報（オブジェクトの個数、画素数など）を送信してもよい。そして、ドキュメントサーバ２は、この情報を画像データ５５と対応付けてコンテンツ記憶部２０１に記憶させてもよい。第二の実施形態においても同様に、第二のサイン５２Ｔの画像データの代わりに第二のサイン５２Ｔに関する情報を送信し、記憶させてもよい。

第二の実施形態では、第一のサイン５２Ｓと第二のサイン５２Ｔとの照合を端末装置３１が行ったが、両方とも端末装置３１からドキュメントサーバ２へ送信し、ドキュメントサーバ２が照合を行ってもよい。

第二の実施形態では、ユーザのサインを用いたが、他の画像を用いてもよい。例えば、印鑑またはスタンプを用いてもよい。

第一の実施形態および第二の実施形態において、ドキュメントサーバ２は、端末装置３１から代用マーカ５１Ｄまたは第二のサイン５２Ｔが呼出用マーカ５１Ｙとともに送信されてきたことをトリガとして、この代用マーカ５１Ｄまたは第二のサイン５２Ｔの登録を行った。

しかし、前に端末装置３１へコンテンツ５１Ｃを送信したことを記録しておき、呼出用マーカ５１Ｙを伴わずに代用マーカ５１Ｄまたは第二のサイン５２Ｔが端末装置３１から送信されてきた場合に、この代用マーカ５１Ｄまたは第二のサイン５２Ｔの登録を行ってもよい。端末装置３１が記録されていない場合は、ドキュメントサーバ２は、コンテンツ５１Ｃの要求であると判別し、コンテンツ５１Ｃを端末装置３１へ送信する。

その他、ドキュメント閲覧システム１、ドキュメントサーバ２、端末装置３の全体または各部の構成、処理内容、処理順序、データの構成などは、本発明の趣旨に沿って適宜変更することができる。

１ ドキュメント閲覧システム（ＡＲシステム）
２ ドキュメントサーバ（サーバ）
２０１、２６１ コンテンツ記憶部（記憶手段）
２０２、２６２ コンテンツ送信部（第二の送信手段）
２０３、２６３ アクセス権登録処理部（登録手段）
３１ 端末装置（第一の端末装置）
３２ 端末装置（第二の端末装置）
３０ｇ、３０ｖ デジタルカメラ（撮影手段）
３０４ 重畳検知部（重畳検知手段）
３０５、３６７ アクセス権登録要求部（第一の送信手段）
３６４ 第一のサイン抽出部（第一の追記画像検知手段）
３６５ 第二のサイン抽出部（第二の追記画像検知手段）
５ 印刷物（第一の用紙）
５１Ｃ コンテンツ（第一の画像）
５１Ｄ 代用マーカ（第二の画像）
５１Ｙ 呼出用マーカ（コード）
５２Ｔ 第二のサイン（第二の画像）
６ 印刷物（第二の用紙）

Claims (8)

1. 第一の画像を用紙に重ねることによってＡＲ（Augmented Reality）を実現するＡＲシステムであって、
   第一の端末装置およびサーバを有し、
   前記サーバに、
   前記第一の画像をコードと対応付けて記憶する記憶手段、
   が設けられ、
   前記第一の端末装置に、
   撮影手段と、
   第一の用紙から前記撮影手段によって前記コードが撮影された後、当該第一の用紙の用紙とは異なる第二の用紙から前記撮影手段によって第二の画像が撮影された場合に、当該第二の画像の情報である画像情報を前記サーバへ送信する、第一の送信手段と、
   が設けられ、
   前記サーバに、さらに、
   前記画像情報が前記第一の端末装置から送信されてきた場合に、当該画像情報を前記第一の画像と対応付けて前記記憶手段に記憶させる、登録手段と、
   第二の端末装置から前記画像情報が送信されてきた場合に、当該画像情報が前記記憶手段に記憶されていれば前記第一の画像を当該第二の端末装置へ送信する、第二の送信手段と、
   が設けられている、
   ことを特徴とするＡＲシステム。
2. 前記第一の端末装置は、さらに、
   前記第一の用紙の上に前記第二の用紙が重ね合わされたことを検知する重畳検知手段、が設けられ、
   前記第一の送信手段は、前記第一の用紙に前記第二の用紙が重ね合わされたことが前記重畳検知手段によって検知された後、前記画像情報を送信する、
   請求項１に記載のＡＲシステム。
3. 前記第一の端末装置は、さらに、
   前記第一の用紙に加えられた第一の追記画像を検知する第一の追記画像検知手段と、
   前記第二の用紙に加えられた第二の追記画像を検知する第二の追記画像検知手段と、が設けられ、
   前記第二の送信手段は、前記第一の追記画像と前記第二の追記画像とが同じものであると判別された場合に、前記画像情報を送信する、
   請求項１に記載のＡＲシステム。
4. 第一の画像を用紙に重ねることによってＡＲ（Augmented Reality）を実現するＡＲ装置であって、
   撮影手段と、
   前記第一の画像をコードと対応付けて記憶しかつ当該コードの送信元へ前記第一の画像を提供するサーバから、前記撮影手段が第一の用紙を撮影することによって当該コードが得られた場合に当該コードを当該サーバへ送信することによって当該第一の画像を取得する画像取得手段と、
   前記第一の画像を表示する表示手段と、
   前記第一の画像が表示された後、前記第一の用紙の用紙とは異なる第二の用紙から前記撮影手段によって第二の画像が撮影された場合に、当該第二の画像の情報である画像情報を前記コードとして登録するように前記サーバへ要求する、要求手段と、
   を有することを特徴とするＡＲ装置。
5. 第一の画像を用紙に重ねることによってＡＲ（Augmented Reality）を実現するＡＲ装置へ当該第一の画像を提供する画像サーバであって、
   前記第一の画像をコードと対応付けて記憶する記憶手段と、
   前記コードが第一の端末装置から送信されてきた場合に、当該第一の端末装置へ前記第一の画像を送信する、送信手段と、
   第二の画像の画像情報が前記第一の端末装置から送信されてきた場合に、当該画像情報を前記第一の画像と対応付けて前記記憶手段に記憶させる登録手段と、
   を有し、
   前記送信手段は、前記画像情報が第二の端末装置から送信されてきた場合に、当該画像情報が前記記憶手段に記憶されていれば、前記第一の画像を当該第二の端末装置へ送信する、
   ことを特徴とする画像サーバ。
6. 第一の画像を用紙に重ねることによってＡＲ（Augmented Reality）を実現するためのＡＲ実現支援方法であって、
   サーバに、前記第一の画像をコードと対応付けて記憶する記憶手段を用意しておき、
   撮影手段を有する第一の端末装置に、第一の用紙から前記撮影手段によって前記コードが撮影された後、当該第一の用紙の用紙とは異なる第二の用紙から前記撮影手段によって第二の画像が撮影された場合に、当該第二の画像の情報である画像情報を前記サーバへ送信する処理を実行させ、
   前記サーバに、前記画像情報が前記第一の端末装置から送信されてきた場合に、当該画像情報を前記第一の画像と対応付けて前記記憶手段に記憶させる登録処理を実行させ、
   前記サーバに、第二の端末装置から前記画像情報が送信されてきた場合に、当該画像情報が前記記憶手段に記憶されていれば前記第一の画像を当該第二の端末装置へ送信する処理を実行させる、
   ことを特徴とするＡＲ実現支援方法。
7. 撮影手段を有しかつ第一の画像を用紙に重ねることによってＡＲ（Augmented Reality）を実現するＡＲ装置に用いられるコンピュータプログラムであって、
   前記ＡＲ装置に、
   前記第一の画像をコードと対応付けて記憶しかつ当該コードの送信元へ前記第一の画像を提供するサーバから、前記撮影手段が第一の用紙を撮影することによって当該コードが得られた場合に当該コードを当該サーバへ送信することによって当該第一の画像を取得する処理を実行させ、
   前記第一の画像を表示する処理を実行させ、
   前記第一の画像が表示された後、前記第一の用紙の用紙とは異なる第二の用紙から前記撮影手段によって第二の画像が撮影された場合に、当該第二の画像の情報である画像情報を前記コードとして登録するように前記サーバへ要求する処理を実行させる、
   ことを特徴とするコンピュータプログラム。
8. 第一の画像をコードと対応付けて記憶する記憶手段を有し、当該第一の画像を用紙に重ねることによってＡＲ（Augmented Reality）を実現する装置へ当該第一の画像を提供するコンピュータに用いられるコンピュータプログラムであって、
   前記コンピュータに、
   前記コードが第一の端末装置から送信されてきた場合に、当該第一の端末装置へ前記第一の画像を送信する処理を実行させ、
   第二の画像の画像情報が前記第一の端末装置から送信されてきた場合に、当該画像情報を前記第一の画像と対応付けて前記記憶手段に記憶させる処理を実行させ、
   前記画像情報が第二の端末装置から送信されてきた場合に、当該画像情報が前記記憶手段に記憶されていれば、前記第一の画像を当該第二の端末装置へ送信する処理を実行させる、
   ことを特徴とするコンピュータプログラム。

Images