JP2014215723A - 情報処理装置およびその制御方法 - Google Patents

Abstract

【課題】繁雑な操作なしに、電子データに対するアクセス権を設定可能とする。【解決手段】第１のユーザが編集権限を有する第１の電子データと第２のユーザが編集権限を有する第２の電子データと、を管理する情報処理装置において、第１のユーザに関連付けられた第１のユーザ装置から、第１の電子データと第２の電子データとに対する一括編集要求を受信し、第１のユーザ装置から、第１の電子データに基づき印刷された第１の対象オブジェクトと第２の電子データに基づき印刷された第２の対象オブジェクトとの配置関係を示す第１の対象状態情報を受信し、第２のユーザに関連付けられた第２のユーザ装置から、第１の対象オブジェクトと第２の対象オブジェクトとの配置関係を示す第２の対象状態情報を受信する。第１の対象状態情報と第２の対象状態情報を比較し一致すると判定された場合に、一括編集要求に基づく編集を許可する。【選択図】図９

Description

本発明は、拡張現実表示を用いた電子データの管理、特に電子データに対するアクセス権の制御技術に関するものである。

近年、カメラとディスプレイが一体化されたタブレットや携帯端末機器が一般化し、撮影した現実の画像に対しリアルタイムで関連情報を重畳して表示する拡張現実（ＡＲ：Augmented Reality）表示が提供されるようになっている。たとえば、特許文献１には、実世界にあるドキュメントを撮影することにより、当該ドキュメントに対応する電子データをサーバー等から検索する技術が開示されている。また、特許文献２には、ＲＦＩＤタグが貼られた紙文書や電子ペーパを所定の作業空間に持ちこむことで、当該紙文書や電子ペーパに対応する電子データを共同作業の対象データとする共同作業空間を自動的に形成する技術が開示されている。

特開２０１１−８７５２号公報 特開２００６−９２３７１号公報

しかしながら、機器で紙文書を撮影し、当該紙文書に対応する電子データを変更する為には、機器のユーザに対して当該電子データへの書き込みが許可されなければならない。つまり、サーバー等において電子データをアクセス権を設定して管理している環境においては、電子データを編集するにあたって当該電子データに対するアクセス権を編集作業者に合わせて設定する必要があった。特に、複数の紙文書のそれぞれに対応する複数の電子データのアクセス権を設定するためには煩雑な操作が必要となっていた。また、ＲＦＩＤタグ付きの紙を用いることはコスト高となり一般的では無いという問題もある。

本発明は上述の問題点に鑑みなされたものであり、サーバー等で管理される電子データに対するアクセス権を好適に設定可能とする技術を提供することを目的とする。

上述の問題点を解決するため、本発明に係る情報処理装置は以下の構成を備える。すなわち、第１のユーザが編集権限を有する第１の電子データと、前記第１のユーザが編集権限を有さず第２のユーザが編集権限を有する第２の電子データと、を管理する情報処理装置において、前記第１のユーザに関連付けられた第１のユーザ装置から、前記第１の電子データと前記第２の電子データとに対する一括編集要求を受信する要求受信手段と、前記第１のユーザ装置から、前記第１の電子データに基づき印刷された第１の対象オブジェクトと前記第２の電子データに基づき印刷された第２の対象オブジェクトとの配置関係を示す第１の対象状態情報を受信し、前記第２のユーザに関連付けられた第２のユーザ装置から、前記第１の対象オブジェクトと前記第２の対象オブジェクトとの配置関係を示す第２の対象状態情報を受信する、対象状態情報受信手段と、前記第１の対象状態情報と前記第２の対象状態情報とが一致するか否かを判定する判定手段と、前記判定手段により前記第１の対象状態情報と前記第２の対象状態情報とが一致すると判定された場合に、前記一括編集要求に基づく前記第１の電子データ及び前記第２の電子データへの編集を許可するアクセス制御手段と、を有する。

本発明によれば、サーバー等で管理される電子データに対するアクセス権を好適に設定可能とする技術を提供することができる。

第１実施形態に係る情報処理装置であるサーバーを含むシステムの全体構成を示す図である。 ユーザが所有するＡＲ装置の内部構成を示す図である。 ＡＲ装置の外観を例示的に示す図である。 ＡＲ装置の動作モードの遷移を示す図である。 検知モードの動作を説明するフローチャートである。 単独編集モードの動作を説明するフローチャートである。 一括編集モードの動作を説明するフローチャートである。 一括編集監視モードの動作を説明するフローチャートである。 ２個のＡＲ装置とサーバーそれぞれの動作シーケンスを示すである。 ＡＲ装置からのデータ取得および編集要求に対するサーバーの動作を説明するフローチャートである。 ＡＲ装置からのデータ一括編集要求に対するサーバーの動作を説明するフローチャートである。 拡張現実表示の例を説明する図である。 複数の電子データに基づく拡張現実表示の例を説明する図である。 ２個のＡＲ装置とサーバーそれぞれの動作シーケンスを示すである。

以下に、図面を参照して、この発明の好適な実施の形態を詳しく説明する。なお、以下の実施の形態はあくまで例示であり、本発明の範囲を限定する趣旨のものではない。

（第１実施形態）
本発明に係る情報処理装置の第１実施形態として、ユーザ装置からの電子データのアクセスを受け付けるサーバーを例に挙げて以下に説明する。

＜１．システム構成＞
図１は、第１実施形態に係る情報処理装置であるサーバーを含む情報処理システムの全体構成を示す図である。ＡＲ装置１０１およびＡＲ装置１０２は、拡張現実（ＡＲ）表示が可能なユーザ装置である。拡張現実表示とは、実世界を撮像した撮像画像内に含まれるオブジェクトに対し、当該オブジェクトに関連する付加情報を重畳表示して、あたかも実世界に付加情報が存在しているように見せる表示を意味する。

ＡＲ装置１０１はユーザ「Ａ」（第１のユーザ）の所有物であり、ＡＲ装置１０２はユーザ「Ｂ」（第２のユーザ）の所有物であるとする。ＡＲ装置１０１およびＡＲ装置１０２は、それぞれ、有線や無線のネットワーク１０３を介してサーバー１０４に接続されている。サーバー１０４は、電子データを格納するストレージ１０５と接続されており、ストレージ１０５に格納された電子データを管理するよう構成されている。プリンタ１０６は、ネットワークに接続された出力装置である。なお、以降の説明では、所有者の異なる２つのＡＲ装置の何れにも共通の説明をする場合は、単にＡＲ装置と表記するか、あるいは代表してＡＲ装置１０１と示す。

図２は、ユーザが所有するＡＲ装置及びサーバーの内部構成を示す図である。図２（ａ）は、ＡＲ装置１０１の内部構成を示し、図２（ｂ）は、サーバー１０４の内部構成を示している。

撮像部２０１は、ＣＣＤカメラ等、実世界を撮影し動画像あるいは静止画像を生成する機能部である。表示部２０２は、液晶ディスプレイ等により構成され、撮影により得られた画像を表示する。なお、表示部２０２は、画像に対し付加情報を併せて表示可能に構成されている。入力部２０３は、タッチパネルやボタンなど、ユーザからの操作入力を受け付ける機能部である。通信部２０４は、無線や有線ネットワークを通じてと外部の装置（サーバーや他のＡＲ装置など）との通信をおこなう機能部である。制御部２０５は、ＡＲ装置１０１の各部の制御をおこなう機能部であり、例えば、ＣＰＵやＧＰＵなどが制御プログラムを実行することにより実現される。また、制御部２０５は、例えば、撮像部２０１で撮像された画像に対し、当該画像に関連する情報を付加画像として重畳表示する拡張現実表示の制御も行う。

認証部２０６は、サーバー１０４との通信時に、ＡＲ装置と当該ＡＲ装置の所有者を示すユーザＩＤとを関連付けるための認証情報を含む。例えば、ＡＲ装置１０１の認証部２０６は、所有者が「Ａ」であることを保証する為の認証情報を、ＡＲ装置１０２の認証部２０６は、所有者が「Ｂ」であることを保証する為の認証情報を含む。認証部２０６における認証処理のためのアルゴリズムとしては、公知の任意の認証アルゴリズムが利用可能である。たとえば、アカウント・パスワード認証や、ユーザの顔を撮像することによる顔認証を用いることができる。あるいは、認証部２０６を、指紋リーダーなど生体認証装置（不図示）を利用して生体認証を行うよう構成しても良い。

ＡＲ装置１０１は、常時あるいは必要時にサーバー１０４と通信するよう構成されている。また、ＡＲ装置１０１は、撮像部２０１により得られる撮影画像内に、ストレージ１０５に格納された電子データと関係がある対象オブジェクトがある場合、当該対象オブジェクトに対し拡張現実表示を行う。

通信部２１１は、無線や有線ネットワークを通じてと外部の装置（ＡＲ装置など）との通信をおこなう機能部である。入力部２１２は、キーボードやマウスなど、ユーザからの操作入力を受け付ける機能部である。制御部２１３は、サーバー１０４の各部の制御をおこなう機能部であり、例えば、ＣＰＵやＧＰＵなどが制御プログラムを実行することにより実現される。また、制御部２１３は、ストレージ１０５に格納された電子データを管理する機能部であり、例えば、ＡＲ装置１０１から受信した電子データに対する取得要求や編集要求に対する制御を行う。当該制御の詳細については後述する。ストレージＩＦ部２１４は、ストレージ１０５と接続するためのインタフェースである。

図３は、ＡＲ装置の外観を例示的に示す図である。カメラ３０１は撮像部２０１、ディスプレイ３０２は表示部２０２、ボタン３０３は入力部２０３に対応する。また、ディスプレイ３０２自体も、入力部２０３に相当するタッチパネル機能を有している。

なお、図３に示す外観はあくまで一例であり、別の外観を持っていてもよい。たとえば、液晶ディスプレイの代わりに、眼鏡やゴーグル形状の外観を有し網膜投影をおこなうＡＲ装置であってもよい。その場合、入力部２０３として、例えば、撮像部２０１により得られる画像に基づき操作者のジェスチャーを検出し入力するジェスチャー入力を行うよう構成すると良い。

＜１．１．拡張現実表示の例＞
図１２は、ＡＲ装置における拡張現実表示を説明する図である。ここでは、拡張現実表示は、撮像画像内の媒体画像に対して、当該媒体に関連付けられた電子データに基づく情報を、人間にとって理解容易な形式で重畳表示するものである。具体的には、当該媒体に関連付けられた電子データの内容の一部または全部が文字、記号、図、表などの表現により重畳表示される。

カメラ３０１により撮影される媒体の典型例は用紙などの紙媒体である。例えば、図１２（ａ）に示す対象オブジェクト１２０１（第１の対象オブジェクト）は、ユーザ「Ａ」のスケジュールの電子データを元にしてプリンタ１０６により用紙に印刷されたもの（つまり、紙のスケジュール表）である。ただし、これはあくまで一例であり、他の種類のデータを元にして印刷されたものであってよい。また、カメラ３０１により撮影される媒体は紙媒体である必要は無く、カメラ３０１により撮影可能な任意の媒体が利用可能である。例えば、布などの印刷媒体であったり、または電子ペーパーやタブレットなどにより電子的に表示されるものであってもよい。

対象オブジェクト１２０１には、対応する電子データ１２１１（第１の電子データ）との対応関係を示すため、ＩＤマーク１２０２（第１のＩＤ情報、第１のコード画像）が付与されている。ＩＤマーク１２０２は、たとえば１次元コード（バーコード）画像や２次元コード画像として印刷され、ＡＲ装置がその内容を解釈し関連する電子データを取得する為に利用される。

ＩＤマーク１２０２には、例えば、対象オブジェクト１２０１に対応する電子データ１２１１を一意に特定可能なＩＤ情報が含まれる。ＩＤ情報としては、例えば、印刷時に発行されるユニークＩＤ情報、あるいは、電子データ１２１１のネットワーク内での論理的位置（パス）情報などが利用可能である。

また、ＡＲ装置による検出の補助を目的として、太枠で囲まれるようにＩＤマークを印刷してもよい。この場合、公知のエッジ検出技術を用いれば、画像内に存在する一定太さ以上の二重枠を検出し、内部のＩＤマークの画像を特定することが可能となる。更に、ＩＤマークの向きが特定できるよう、４辺の枠の太さや形状を替えて印刷してもよい。これらはあくまで一例であって、もちろんマーク検出のために他の検出技術を用いてもよい。

なお、ＩＤ情報を、背景地紋パターン画像や、公知の電子すかし技術による情報埋め込み画像として対象オブジェクト１２０１に付与するよう構成しても良い。なお、関連づけはそれ以外の方法、たとえば対象オブジェクト全体や一部を撮影したときの画像から得られる特徴量の一致度によっておこなってもよい。

図１２（ｂ）は、対象オブジェクト１２０１に対応する電子データ１２１１の例である。電子データ１２１１は、ストレージ１０５に保管されており、ＡＲ装置１０１からサーバー１０４を通してアクセス可能であるとする。なお、ここではＸＭＬ形式で記述された電子データ１２１１の例を示しているが、データ形式は任意に選択可能である。

電子データ１２１１において、記述１２１２は、電子データ１２１１の所有者を示す情報である。前述のＩＤマーク１２０２は、この所有者のユーザＩＤ情報を更に含んでいてもよい。記述１２１３は、電子データ１２１１のアクセス権を示す情報である。ここで、アクセス権とは、当該電子データの読み出しや書き込み（削除、追加、変更）の可否を示す権限を意味している。

なお、第１実施形態では、各電子データに対し、読み出し権限はサーバー１０４にアクセス可能なユーザ全員に付与され、書き込み権限（編集権限）は当該データの所有者のみに付与されていることを想定する。つまり、ここでは、電子データ１２１１は全ユーザ（ａｌｌ）に対し読み出しが許可されている。一方、書き込みはユーザ「Ａ」に対してのみ許可されている。サーバー１０４はこの記述１２１３に従って、ＡＲ装置からの電子データ１２１１へのアクセスを制御する。

サーバー１０４は、ＡＲ装置が有する認証情報に基づいてアクセス制御を行う。つまり、図２で説明したとおり、ＡＲ装置は当該ＡＲ装置の所有者に関する認証情報を有しているため、当該認証情報を利用して所有者を特定するのである。記述１２１３に従い、サーバー１０４は、電子データ１２１１に対する読み出し依頼に関しては、すべてのＡＲ装置に対し許可する。一方、削除、追加、変更といった書き込みを伴う編集依頼に関しては、所有者が「Ａ」である認証情報を有するＡＲ装置１０１からのみ許可する。なお、記述１２１３によるアクセス権設定はあくまで一例であり、例えば、ストレージ１０５に設けられたデータファイル毎のアクセス権設定部により、同様の制御がおこなわれるようにしてもよい。

ここでは、対象オブジェクト１２０１は、電子データ１２１１に記述された日付、時間ごとの予定エントリを表形式で用紙に印刷したスケジュール表である。なお、対象オブジェクト１２０１には、電子データ１２１１の内容のすべてが印刷されるとは限らない。たとえば、対象オブジェクト１２０１では、エントリ記述１２１４のうち、用紙でのスペースの問題などから、セル１２０３には、「名称（ｎａｍｅ）」の文字データである「ｚｚｚ」のみが印刷されている。記述１２１４に記載された「名称」以外の内容は、用紙には印刷されておらず、例えば、以降で説明する拡張現実表示に使用される。

図１２（ｃ）は、ＡＲ装置による拡張現実表示の例を示す図である。付加情報１２２２は、拡張現実表示における付加情報の一例であり、スケジュール表の該当セルの詳細内容を重畳表示している。なお、付加情報１２２２は、ユーザがＡＲ装置１０１のディスプレイ３０２において所定の指示動作（例えば、当該セルをタッチ）をした際に表示するよう構成しても良い。付加情報１２２３は、空白セルに対し太枠表示を重畳し、ユーザに新たな予定が入力可能であることを強調している。

ところで、これらの拡張現実表示をおこなう際、ＡＲ装置は、撮影画像（第１の撮影画像、第２の撮影画像）内の対象オブジェクトに対し、電子データに含まれる情報を適切に重畳表示するため、位置座標を計算する必要がある。その計算に利用するため、電子データ１２１１の各エントリには、対象オブジェクト１２０１における座標範囲が各々記述されているとする。

ＡＲ装置が、実世界の矩形形状の対象オブジェクト１２０１に正対している状態で撮影を行う場合、撮影画像内の対象オブジェクトは実世界の対象オブジェクトと相似する矩形画像として得られる。この場合、撮影画像から紙の４辺にあたる直線をエッジ抽出やハフ変換で検出する技術は公知であり、これにより長方形の大きさと回転角度を得ることができる。また回転の向きは４辺とＩＤマークの位置関係から得られる。これらの情報を用いることにより、実世界の対象オブジェクト１２０１における座標範囲に対応する撮影画像における座標範囲を適切に求めることが出来る。

一方、ＡＲ装置が、実世界の矩形形状の対象オブジェクトに正対していない状態で撮影する場合、例えば、対象オブジェクトは不等四辺形の輪郭形状を有する画像として得られる。この場合は、例えば、特開２００８−２８８５８８に開示されるような透視歪検出処理を用いると良い。用紙の４辺が成す不等四辺形に対し当該処理を施すことで、実世界の対象オブジェクトと相似な矩形形状の補正画像（第１の補正画像、第２の補正画像）に変換することができる。この逆変換のパラメーターを用いれば、実世界の対象オブジェクト１２０１における座標範囲に対応する撮影画像における座標範囲を適切に求めることが出来る。

また、表示されている付加情報内容の削除、追加、変更といった編集指示部をユーザに提供する拡張現実表示をすることも可能である。たとえば、ユーザが付加情報１２２２内の「［ｄｅｌｅｔｅ］？」の部分をタッチすると、ＡＲ装置１０１は付加情報１２２２に対応するセルの内容（スケジュール）の削除の指示と解釈する。その結果、ＡＲ装置１０１はサーバー１０４に対応する電子データの該当スケジュールデータ部分の削除を要求する。また、ディスプレイ３０２に表示された対象オブジェクト画像１２２１に対し、スタイラスペンなどを用いて線１２２４を書き込むことで削除を指示するようにしてもよい。

追加あるいは変更の指示は、例えば、ディスプレイ３０２に文字入力可能なソフトウェアキーボード等を表示し、付加情報１２２２内の文字を編集できるようにすればよい。あるいは、付加情報１２２５のように手書き入力エリアを表示し、ユーザから指示入力されたストロークに対し公知の文字認識技術を適用して文字入力を行うよう構成しても良い。

また、編集された電子データに基づくスケジュール表をプリンタ１０６により印刷するため、付加情報としてボタン１２２６を表示するよう構成しても良い。

なお、前述のとおり、電子データ１２１１においては、書き込みはユーザ「Ａ」のみに許可されている（アクセス権記述１２１３）。したがって、サーバー１０４は、電子データ１２１１に対する編集依頼に対しては、所有者が「Ａ」であるＡＲ装置１０１からの依頼のみを許可する。すなわち、ＡＲ装置１０２等、「Ａ」以外の所有者のＡＲ装置からの依頼は許可しない。

一方、電子データ１２１１においては、読み出しはすべてのユーザに対し許可されている（アクセス権記述１２１３）。したがって、サーバー１０４は、電子データ１２１１に対する読み出し依頼に対しては、すべてのＡＲ装置からの依頼を受けつける。

そのため、ＡＲ装置１０２における拡張現実表示と、上述のＡＲ装置１０１における拡張現実表示とは異なることになる。つまり、ＡＲ装置１０２においては、対象オブジェクト１２０１を撮影した場合、編集を伴わないような拡張現実表示のみがおこなわれる。たとえば、スケジュールの詳細を表示する付加情報１２２２においては、削除指示「［ｄｅｌｅｔｅ］？」は表示されない。

なお、ＡＲ装置１０１が対象オブジェクト１２０１を撮影している状況で、ユーザが実世界の対象オブジェクト１２０１上にペン等で書きこむことにより、対応する電子データ１２１１に対する編集の指示を行うよう構成しても良い。このとき、ＡＲ装置１０１は、用紙に書き込まれた文字を撮影画像から抽出し、更に文字認識をおこなうことで入力する文字を検出すればよい。更に、実世界の対象オブジェクト１２０１に、削除や選択などを指示する為のボタンを予め配置しておき、指示具（ユーザの指やペン）が当該ボタンに触れたことで削除や選択の指示を生成してもよい。また、実世界の対象オブジェクト１２０１上で、指示具を左右に動かす等のジェスチャー操作を行うことにより削除や選択の指示を生成してもよい。

＜１．２．複数の対象オブジェクトが重ねられている場合の拡張現実表示と編集＞
図１３は、ＡＲ装置により複数の電子データに基づく拡張現実表示を説明する図である。具体的には、対象オブジェクト１２０１が、別の対象オブジェクト１３０１の上に重ねられている状態の例である。対象オブジェクト１３０１（第２の対象オブジェクト）は、スケジュールの電子データ１３１１（第２の電子データ）を元に印刷された紙である。ここで、所有者を示す記述１３１２は、電子データ１３１１の所有者がユーザ「Ｂ」であることを示している。すなわち、電子データ１２１１の所有者と電子データ１３１１の所有者とは異なる。

ここでは、説明を簡単にするため、所有者の異なる２つの対象オブジェクトが、同じ向きかつそれぞれのＩＤマークが識別可能となるように重ねられているものとする。

記述１３１３は、電子データ１３１１に対するアクセス権を示している。ここでは、電子データ１３１１は全ユーザ（ａｌｌ）に対し読み出しが許可されている。一方、書き込みはユーザ「Ｂ」に対してのみ許可されている。サーバー１０４はこの記述１３１３に従って、ＡＲ装置からの電子データ１３１１へのアクセスを制御する。ＩＤマーク１３０２（第２のＩＤ情報、第２のコード画像）は、ＩＤマーク１２０２と同様に、対応する電子データ１３１１を一意に特定するためのＩＤ情報を含むものとする。

図１３（ｃ）は、対象オブジェクト１２０１および対象オブジェクト１３０１が重ねられた状態を、ＡＲ装置１０１により拡張現実表示した例である。ここでは、同種（ここでは、スケジュール表）で２つの対象オブジェクトが重ねられている場合、２つのスケジュール表をマージした拡張現実表示をおこなう。

たとえば、付加情報１３２１は、対象オブジェクト１２０１のタイトル部分「Ａ’ｓ ｓｃｈｅｄｕｌｅ」を覆うように「Ａ＆Ｂ ＳＣＨＥＤＵＬＥ」という重畳表示をおこなっている。付加情報１３２２は、ユーザＡ、Ｂ両者に空き時間となっているスケジュール部分を強調するための太枠の重畳表示である。一方、Ａのスケジュールは空いているが、Ｂのスケジュールのみが入っている時間には、付加情報１３２３のように、背景をグレイにしてＢのスケジュール内容が見えるような表示をおこなっている。また、スケジュール詳細の付加情報１３２４には、ＡのデータとＢのデータが併記されている。すなわち、対象オブジェクト１２０１および対象オブジェクト１３０１に対応する、電子データ１２１１および電子データ１３１１の双方に基づいて、上述の表示を実現している。

ところで、ＡＲ装置１０１は、図１３（ｃ）に示す拡張現実表示に対しても、図１２を参照して説明したような編集指示をおこなうことができる。たとえば、両者の空き時間に対し新規入力を促す付加情報１３２５に対して、新規スケジュール内容となる文字データをユーザは手書き入力できる。また、付加情報１３２４上のスケジュール詳細データをソフトキーボード等で変更指示したり、線１３２６を書き込むことで削除を指示することができる。更に、実世界の対象オブジェクト１２０１である紙に直接書き込むことにより各種編集指示を解釈してもよい。

なお、拡張現実表示１３２０に対する編集指示は、重ねられた対象オブジェクト１２０１と対象オブジェクト１３０１の一括編集とＡＲ装置１０１により認識される。つまり、ここでは、重なり合った２つの対象オブジェクトを同時撮影した拡張現実表示に対する編集操作は、各対象オブジェクトに関連づけられた２つの電子データを一括編集する操作と解釈される。すなわち、ここでは、ＡＲ装置１０１は、電子データ１２１１と電子データ１３１１の対応部分を一括編集する指示と認識する。たとえば、付加情報１３２５における文字列入力は、両方とも内容が空であるエントリ記述１２１５とエントリ記述１３１５に対し、入力文字列を内容データとして追加する編集指示として認識される。

ところで、ＡＲ装置１０１は、一括編集指示として認識した電子データ１２１１および電子データ１３１１両方の対応エントリへの変更要求をサーバー１０４に送信する。しかしながら、前述のとおり２つの電子データは書き込みに対し異なるアクセス制限を有する。具体的には、ユーザ「Ａ」が所有するＡＲ装置１０１が一括編集要求を行った場合、サーバー１０４は、電子データ１２１１への変更のみ許可する。すなわち、サーバー１０４は、電子データ１３１１に対する変更は許可されないことになる。この問題に対処する方法について、以下で詳細に説明する方法により電子データに対するアクセス権の変更制御をおこなう。

＜２．ＡＲ装置の動作＞
図４は、ＡＲ装置の動作モードの遷移を示す図である。まず、初期状態４０１から、ユーザによるボタン３０３やディスプレイ３０２のタッチパネル操作をトリガに動作開始を指示することで、ＡＲ装置は検知モード４０２に遷移する。動作モードの詳細については後述する。検知モード４０２では、撮影により得られた撮影画像の状態に基づいて、単独編集モード４０３、一括編集モード４０４、一括編集監視モード４０５のいずれかに遷移する。モード４０３〜４０５の何れも、ユーザの終了指示、もしくは撮影画像の状態変化に基づいて、終了状態４０６に遷移する。なお、終了状態４０６から自動的に初期状態４０１に戻るように構成してもよい。

＜２．１．検知モードの動作＞
検知モード４０２の処理について以下に説明する。検知モード４０２とは、ＡＲ装置が、撮影によって得られる撮影画像に基づいて、次の動作モードを判断するためのモードである。具体的には、撮影画像に基づいて拡張現実表示の対象となる１以上の対象オブジェクトを検知し、検知結果に基づいて次の動作モードを判断する。ここでは、ＡＲ装置１０１、ＡＲ装置１０２の両方とも、動作開始後、初期状態４０１から自動的に検知モード４０２に移行するものとする。

図５は、検知モードにおけるＡＲ装置の動作を説明するフローチャートである。まず、ステップＳ５０１では、ＡＲ装置は、撮像部２０１による撮影を開始する。

ステップＳ５０２では、ＡＲ装置の制御部２０５は、撮像部２０１より得られた撮影画像を解析し、撮影画像内における対象オブジェクトを検出する。対象オブジェクトの検出は、例えば、ＩＤマークを検出することにより実現される。そして、撮影画像における対象オブジェクトの状態を示す情報（以下、対象状態情報と呼ぶ）を生成する。

対象状態情報には、例えば、撮影画像に含まれる対象オブジェクトの内容、個数および物理的な配置状態に関する情報が含まれる。ここでは、対象オブジェクト毎に異なるＩＤマークが付与されていることを前提とし、対象状態情報には、撮影画像内から検出されたＩＤマークの内容、および個数が含まれるとする。また、検出されたＩＤマークが複数の場合、対象状態情報は、対応する複数の対象オブジェクト間の位置関係の情報も含む。以降、説明を簡単にするために、想定する対象オブジェクトの状態として、図１２（ａ）のように対象オブジェクトが単一である場合と、図１３（ａ）のよう２つの対象オブジェクトが重ねられている場合の２つのパターンに分類する。

例えば、図１２に対応する状況においては、撮影画像内から１つのＩＤマークが検出される。図１３に対応する状況においては、撮影画像内から２つのＩＤマークが検出される。後者の場合は、２つのＩＤマークの位置関係を併せて検出する。

ステップＳ５０３では、ＡＲ装置の制御部２０５は、ステップＳ５０２で生成された対象状態情報から、それぞれの対象オブジェクトの所有者を確認する。そして、ＡＲ装置自身の所有者と一致する対象オブジェクトが存在するか否かを判定する。

所有者が一致していることの判断は、例えば、ＡＲ装置の認証部２０６に保持されているユーザＩＤ情報と、対象オブジェクトに対応する電子データ所有者のユーザＩＤ情報の比較によりおこなう。図１２において例示したように、ＩＤマークに電子データの所有者のユーザＩＤ情報が含まれている場合は、当該ユーザＩＤ情報を比較の対象とするとよい。一方、ＩＤマークに電子データの参照先情報は含まれているが所有者のユーザＩＤ情報が含まれていない場合は、サーバー１０４に問い合わせるよう構成すると良い。例えば、サーバー１０４から対応する電子データを読み出して、その内容から所有者を確認するようにすればよい。なお、サーバー１０４に対応する電子データの所有者の情報のみを取得しても良い。

所有者が一致する対象オブジェクトが存在する場合、拡張現実表示の対象となる対象オブジェクトが存在すると判定し、ステップＳ５０４へ進む。存在しない場合は、拡張現実表示の対象となる対象オブジェクトが存在しないと判定し、ステップＳ５０１に戻る。この場合、拡張現実表示の対象となる対象オブジェクトが撮影範囲に含まれるまで、ステップＳ５０１〜Ｓ５０３の処理を繰り返して実行することになる。

具体的には、ＡＲ装置１０１は、図１２（ａ）及び図１３（ａ）に示す状態の両方において、撮影画像には「Ａ」が所有する対象オブジェクト１２０１が含まれるので、ステップＳ５０４に進む。一方、ＡＲ装置１０２は、図１２（ａ）に示す状態の場合、撮影画像に「Ｂ」が所有する対象オブジェクトが含まれないのでステップＳ５０１に戻る。一方、ＡＲ装置１０２は、図１３（ａ）に示す状態の場合、撮影画像に「Ｂ」が所有する対象オブジェクト１３０１が含まれるので、ステップＳ５０４に進む。

ステップＳ５０４では、ＡＲ装置の制御部２０５は、撮影画像から、ＡＲ装置自身の所有者とは異なる所有者を持つ対象オブジェクトが存在するか否かを調べる。存在する場合はステップＳ５０５に進む。一方、存在しない場合は、ＡＲ装置の動作モードは単独編集モード４０３へと遷移する。

具体的には、Ｓ５０４において、図１２（ａ）に示す状態の場合、ＡＲ装置１０１は、自身が所有する対象オブジェクトが１つあるのみなので、単独編集モードに遷移する。一方、図１３（ａ）に示す状態の場合、ＡＲ装置１０１は、別の所有者「Ｂ」の保有する対象オブジェクト１３０１が存在するのでステップＳ５０５へ進む。また、図１３（ａ）に示す状態の場合、ＡＲ装置１０２は、別の所有者「Ａ」の所有する対象オブジェクト１２０１が含まれるのでステップＳ５０５に進む。

ステップＳ５０５では、ＡＲ装置の制御部２０５は、対象状態情報から、検出された複数の対象オブジェクトの配置関係が所定の配置関係にあるか否かを判定する。ここでは、複数の対象オブジェクトが重なっているか否かの判定をおこなう。重なっている場合、ステップＳ５０６に進む。重なっていない場合、ＡＲ装置自身の所有者と一致する対象オブジェクトを対象として単独編集モードに遷移する。なお、２つの対象オブジェクトが重なっていない場合、ステップＳ５０１に戻るようにしてもよい。

重なりがあるか否かの判定は、たとえば以下のようにおこなうことができる。たとえば、ＩＤマークが必ず紙の左上の定位置に印刷されているという仮定の元で、抽出された複数のＩＤマークが、同じ向きかつ所定閾値内の距離で配置されている場合に重なり有りと判定することができる。

さらに、前述の公知技術により撮影画像から用紙の４辺を検出し、注目するＩＤマークを囲む用紙の４辺とＩＤマークとの位置関係を解釈してもよい。２つの用紙が重ねられている場合、上になっている紙については４辺を好適に検出することが出来るが、下になっている紙は隠れている最低２辺が部分的にしか検出されない。この結果、重なりが有るか否かを判定可能となると共に、重なりの上下関係を判定することもできる。

あるいは、抽出された複数のＩＤマークに対応する電子データをサーバーから取得し、当該電子データに基づき対象オブジェクトの大きさを推定し、重なり判定を行っても良い。この場合、撮影画像に含まれるＩＤマークの大きさおよび位置を規準として適切に回転・拡大縮小し、対象オブジェクトの大きさを推定するとよい。さらに、より簡易に重なり判定をおこなうために、用紙の４辺に特殊な基準マークを予め印刷しておき、当該基準マークを重なり判定の補助に利用しても良い。

ステップＳ５０６では、ＡＲ装置の制御部２０５は、ＡＲ装置自身の所有者と一致するユーザＩＤを持つ対象オブジェクトが、上に重ねられているか否かを判定する。上に重ねられていると判定された場合、ＡＲ装置の動作は一括編集モード４０４へと遷移する。それ以外の場合、一括編集監視モード４０５へと遷移する。

具体的には、図１３（ａ）に示す状態の場合、ＡＲ装置１０１は、ユーザ「Ａ」の所有する対象オブジェクト１２０１が上に重ねられているため、一括編集モード４０４へと遷移する。一方、ＡＲ装置１０２は、ユーザ「Ｂ」の所有する対象オブジェクト１３０１は下に重ねられているため、一括編集監視モード４０５へと遷移する。

＜２．２．単独編集モードの動作＞
図６は、単独編集モードにおけるＡＲ装置の動作を説明するフローチャートである。

単独編集モードとは、ＡＲ装置が検知した対象オブジェクトが１つである場合に、ＡＲ装置が当該１つの対象オブジェクトに関して拡張現実表示を行い、ユーザによる編集指示の入力をおこなうモードである。

なお、単独編集モードの動作において、ＡＲ装置と対象オブジェクトに対応する電子データの所有者が一致していることは、前述の検知モードにおける遷移条件から確定している。すなわち、ユーザ「Ａ」が所有する対象オブジェクト１２０１を対象として、ＡＲ装置１０１が動作する場合について説明する。なお、ユーザ「Ｂ」が所有する対象オブジェクト１３０１のみを対象として、ＡＲ装置１０２が動作する場合も同様である。

ステップＳ６０１では、ＡＲ装置１０１は、対象オブジェクト１２０１に付与されたＩＤマークから、対象オブジェクト１２０１に対応する電子データの取得要求をサーバー１０４に対しておこなう。ここでは、ユーザ「Ａ」のＡＲ装置１０１で、対象オブジェクト１２０１を検知した場合として、サーバー１０４に電子データ１２１１の取得を要求する。なお、サーバー１０４側の動作については後述する。

ステップＳ６０２では、ＡＲ装置１０１は、ステップＳ６０１での取得を要求した電子データをサーバー１０４から取得できた場合はステップＳ６０４に進み、できなかった場合はステップＳ６０３に進む。ステップＳ６０３では、ＡＲ装置１０１は、サーバー１０４からの電子データ取得が失敗し、拡張現実表示が不能である旨をＡＲ装置１０１の表示部２０２に表示し、単独編集モード４０３を終了する。続くステップＳ６０４以降は、ＡＲ装置１０１が、対象オブジェクトの撮影画像に対し、取得した電子データに基づく付加情報を重畳する拡張現実表示をおこなう処理である。

ステップＳ６０４では、ＡＲ装置１０１は、撮像部２０１を介して対象オブジェクトの撮影画像を取得する。ステップＳ６０５では、ステップＳ６０４で取得した撮影画像に基づいて対象状態情報を生成する。ステップＳ６０４、Ｓ６０５の処理は、図５のステップＳ５０１、Ｓ５０２の処理内容と同等であるため説明は省略する。

ステップＳ６０６では、ＡＲ装置１０１は、ステップＳ６０５で生成した対象状態情報が、以前取得した対象状態情報と変化なく維持されているかどうかを調べる。すなわち、単独編集モード４０３における１回目のステップＳ６０６では、以前取得した状態とは、検知モード４０２のステップＳ５０２で検出した対象状態情報を意味する。２回目以降のステップＳ６０６では、１つ前のループにおけるステップＳ６０５で生成した対象状態情報を意味する。

対象状態情報が維持されている（変化していない）と判定された場合はステップＳ６０７に進む。維持されていない（変化した）と判定された場合は、対象オブジェクト１２０１の撮影をやめることで編集動作の終了を指示したと解釈し、単独編集モード４０３を終了する。

ステップＳ６０７では、ＡＲ装置１０１は、ステップＳ６０４で撮影した撮影画像に対し、ステップＳ６０２でサーバー１０４から取得した電子データにもとづく拡張現実表示をおこなう。例えば、ＡＲ装置１０１は、図１２（ｃ）に示す拡張現実表示を行う。

ステップＳ６０８では、ＡＲ装置１０１は、ユーザによる編集指示の有無を判定する。つまり、前述したように、拡張現実表示においては、ＡＲ装置１０１は、ユーザの編集指示を受け付けることができるため、編集指示の有無を判定するのである。編集指示があった場合は、ステップＳ６０９に進む。編集指示がない場合は、ステップＳ６０４に戻り、ステップＳ６０４〜Ｓ６０８を繰り返す。また、ユーザから編集指示のかわりに終了指示を受け付けた場合、単独編集モード４０３を終了するよう構成しても良い。

ステップＳ６０９では、ＡＲ装置１０１は、ステップＳ６０８で受け付けた編集指示をもとに、サーバー１０４に対し、対象オブジェクトに対応する電子データの削除、追加、変更といった編集要求を送信する。具体的な電子データの編集要求の例は、図１２を参照して説明したとおりである。なお、ステップＳ６０９〜Ｓ６１１に対応するサーバー１０４側の動作については後述する。

ステップＳ６１０では、ＡＲ装置１０１は、ステップＳ６０９で送信した編集要求に対して、サーバー１０４から編集成功の通知を受信したか否かを判定する。編集成功の通知を受信した場合は、ステップＳ６１１に進む。一方、編集失敗の通知を受信した場合、あるいは、所定時間応答が無かった場合は、ステップＳ６１２に進む。

ステップＳ６１１では、ＡＲ装置１０１は、サーバー１０４から編集後の電子データを受信する。その後、ステップＳ６０４に戻って以降の処理を繰り返す。この際、ステップＳ６０７の拡張現実表示に用いられるのは、ステップＳ６１１で取得した、編集後の新しい電子データにもとづくものとなる。

ステップＳ６１０では、ＡＲ装置１０１は、ユーザに編集失敗を知らせる表示をおこなう。その後、ステップＳ６０４に戻って以降の処理を繰り返す。

図１０は、ＡＲ装置からのデータ取得および編集要求に対するサーバーの動作を説明するフローチャートである。図５のフローチャート内で説明されたサーバー１０４側の動作を説明している。

ステップＳ１００１では、サーバー１０４は、ユーザ「Ｐ」が所有するＡＲ装置から、電子データ（ｐ）に対する要求を受けつける。ここでは、ユーザ「Ｐ」は、「Ａ」または「Ｂ」である。すなわち、ＡＲ装置（Ｐ）は、ＡＲ装置１０１またはＡＲ装置１０２のいずれかである。また、電子データ（ｐ）は、電子データ１２１１または電子データ１３１１の何れかである。

ステップＳ１００２では、サーバー１０４は、Ｓ１００１で受付けた要求の要求種別を判定する。具体的には、データ取得要求であるか、データ編集要求であるかを調べる。そして、データ取得要求の場合はステップＳ１００３に進み、データ編集要求の場合はステップＳ１００６に進む。例えば、図５においては、ＡＲ装置がステップＳ６０１およびステップＳ６１１で要求するのがデータ取得要求、ステップＳ６０９で要求するのがデータ編集要求である。

ステップＳ１００３では、サーバー１０４は、取得要求された電子データ（ｐ）がユーザ「Ｐ」によって読み出し可能か否かを調べる。具体的には、電子データ（ｐ）のアクセス制御記述において、読み出し許可にユーザ「Ｐ」のＩＤが含まれるか、あるいは「ａｌｌ」が指定されている場合、読み出し可能となる。読み出しが可能な場合ステップＳ１００４に進む。一方、電子データ（ｐ）の読み出しが許可されていなかった場合、あるいは電子データ（ｐ）が存在しなかった場合、ステップＳ１００５に進む。

ステップＳ１００４では、サーバー１０４は、取得要求を行ったＡＲ装置（Ｐ）に、電子データ（ｐ）を送信する。同時に、データ取得が成功したことを示すようなステータスを通知してもよい。そして今回の取得要求に対応したサーバー１０４の一連処理を終了する。なお、サーバー１０４は、ひとつの要求の終了後に次の要求を受けつけるようにしてもよいし、複数の要求を受けつけられるように、複数の処理を並列に実行してもよい。

ステップＳ１００５では、ＡＲ装置（Ｐ）に対し取得要求に対する処理は失敗したしたことを通知し、今回処理を終了する。

ステップＳ１００６では、サーバー１０４は、電子データ（ｐ）がユーザ「Ｐ」によって書き込み可能か否かを調べる。具体的には、電子データのアクセス制御記述において、書き込み許可にユーザ「Ｐ」のＩＤが含まれるか、あるいは「ａｌｌ」が指定されている場合、書き込み可能となる。書き込みが可能な場合、ステップＳ１００７に進む。不可の場合、ステップＳ１００５に進み、同様に編集要求に対する処理が失敗したことを通知し終了する。

ステップＳ１００７では、サーバー１０４は、ＡＲ装置（Ｐ）からの編集要求の内容に従って、電子データ（ｐ）に対し編集を実行する。たとえば、電子データ（ｐ）に含まれるエントリ記述に対し、変更や削除の処理を行う。

ステップＳ１００８では、サーバー１０４は、編集要求を行ったＡＲ装置（Ｐ）に対し編集が成功したことを通知し、今回の処理を終了する
＜２．３．一括編集モードの動作＞
図７は、一括編集モードにおけるＡＲ装置の動作を説明するフローチャートである。ここで、一括編集モードとは、図１３（ａ）のように複数の対象オブジェクトが重ねられており、かつＡＲ装置の所有者と一致する対象オブジェクトが最上面（一番上）にあることを検知した場合の動作モードである。ここでは、ＡＲ装置１０１が、図１３（ａ）に示す２つの対象オブジェクトを撮影している場合を想定して説明する。なお、下記で説明されるＡＲ装置１０１からサーバー１０４への要求に対応する、サーバー１０４側の動作については後述する。

ステップＳ７０１では、ＡＲ装置１０１は、サーバー１０４から、複数の対象オブジェクトのそれぞれに対応する電子データを取得する。処理内容としては、図６のステップＳ６０１におけるデータ取得要求を、対象オブジェクトの個数と同じ回数（すなわち、ここでは２回）繰りかえすことと同じであるため、詳細な説明は省略する。また、この要求に対応するサーバー１０４の処理も、既に説明した図１０のデータ取得処理と同様であるため説明は省略する。ここでは、電子データ１２１１と電子データ１３１１が取得される。

ステップＳ７０２では、ＡＲ装置１０１は、ステップＳ７０１ですべての電子データ取得に成功した場合、ステップＳ７０４に進む。失敗した場合は、ステップＳ７０３に進み、取得失敗をユーザに表示したうえで、一括編集モードを終了する。続くステップＳ７０４以降は、重ねられた２つの対象オブジェクトの撮影画像に対し、サーバー１０４から取得した電子データによる付加情報を加えることで、ＡＲ装置１０１が図１３（ｃ）のような拡張現実表示をおこなう処理である。

ステップＳ７０４では、ＡＲ装置１０１は、撮像部２０１を介して対象オブジェクトの撮影画像を取得する。ステップＳ７０５では、ＡＲ装置１０１は、ステップＳ７０４で取得した撮影画像に基づいて対象状態情報（第１の対象状態情報）を生成する。これらの処理は、図５（ステップＳ５０１、Ｓ５０２）の処理内容と同等なので説明は省略する。

ステップＳ７０６では、ＡＲ装置１０１は、ステップＳ７０５で生成した対象状態情報が、以前取得した対象状態情報と変化なく維持されているかどうかを調べる。すなわち、一括編集モード４０４における１回目のステップＳ７０６では、以前取得した状態とは、検知モード４０２のステップＳ５０２で検出した対象状態情報を意味する。２回目以降のステップＳ７０６では、１つ前のループにおけるステップＳ７０５で生成した対象状態情報を意味する。対象状態情報が維持されている場合はステップＳ７０７に進む。対象状態情報が変化している場合、すなわちユーザが対象オブジェクトの撮影を止めた場合や、別のユーザが対象オブジェクトの配置を変更してしまった場合などは、一括編集モードを終了する。

ステップＳ７０７では、ＡＲ装置１０１は、取得した２つの電子データをマージした結果に基づき、拡張現実表示をおこなう。ステップＳ７０７の拡張現実表示は、電子データ１２１１および電子データ１３１１をマージした結果にもとづいて生成されるものである。例えば、図１３（ｃ）に示す拡張現実表示を行う。

ステップＳ７０８では、ＡＲ装置１０１は、ユーザによる編集指示の有無を判定する。つまり、前述したように、拡張現実表示においては、ＡＲ装置１０１は、ユーザの編集指示を受け付けることができるため、編集指示の有無を判定するのである。編集指示があった場合は、ステップＳ７０９に進む。編集指示がない場合は、ステップＳ７０４に戻り、ステップＳ７０４〜Ｓ７０８を繰り返す。また、ユーザから編集指示のかわりに終了指示を受け付けた場合、一括編集モード４０４を終了するよう構成しても良い。

ステップＳ７０９では、ＡＲ装置１０１は、ステップＳ７０８で受け付けた編集指示をもとに、サーバー１０４に対し、複数の対象オブジェクトに対応する複数の電子データの削除、追加、変更といった編集要求を送信する。また、ステップＳ７１０では、ＡＲ装置１０１は、ステップＳ７０９の一括編集要求に関連付けて、ステップＳ７０５で取得した対象状態情報をサーバー１０４に送信する。ここでは、対象状態情報には、対象オブジェクトに付与されたＩＤマークの内容、個数および位置関係が含まれる。

ステップＳ７１１では、ＡＲ装置１０１は、ステップＳ７０９で送信した編集要求に対して、サーバー１０４から編集成功の通知を受信したか否かを判定する。編集成功の通知を受信した場合は、ステップＳ７１２に進む。一方、編集失敗の通知を受信した場合、あるいは、所定時間応答が無かった場合は、ステップＳ７１３に進む。

ステップＳ７１２では、ＡＲ装置１０１は、サーバー１０４から編集後の複数の電子データを受信する。その後、ステップＳ７０４に戻って以降の処理を繰り返す。この際、ステップＳ７０７の拡張現実表示に用いられるのは、ステップＳ７１２で取得した、編集後の複数の電子データにもとづくものとなる。

ステップＳ７１３では、ＡＲ装置１０１は、ユーザに編集失敗を知らせる表示をおこなう。その後、ステップＳ７０４に戻って以降の処理を繰り返す。

＜２．４．一括編集監視モードの動作＞
図８は、一括編集監視モードにおけるＡＲ装置の動作を説明するフローチャートである。ここで、一括編集監視モードとは、図１３（ａ）のように、複数の対象オブジェクトが重ねられており、かつＡＲ装置と所有者と一致する対象オブジェクトが最上面には無いことを検知した場合の動作モードである。ここでは、ＡＲ装置１０２が、図１３（ａ）に示す２つの対象オブジェクトを撮影している場合を想定して説明する。なお、下記で説明されるＡＲ装置１０２からサーバー１０４への要求に対応する、サーバー１０４側の動作については後述する。

ステップＳ８０１では、ＡＲ装置１０２は、サーバー１０４から、複数の対象オブジェクトのそれぞれに対応する電子データを取得する。処理内容としては、図６のステップＳ６０１におけるデータ取得要求を、対象オブジェクトの個数と同じ回数（すなわち、ここでは２回）繰りかえすことと同じであるため、詳細な説明は省略する。また、この要求に対応するサーバー１０４の処理も、既に説明した図１０のデータ取得処理と同様であるため説明は省略する。ここでは、電子データ１２１１と電子データ１３１１が取得される。

ステップＳ８０２では、ＡＲ装置１０２は、ステップＳ８０１ですべての電子データ取得に成功した場合、ステップＳ８０４に進む。失敗した場合は、ステップＳ８０３に進み、取得失敗をユーザに表示したうえで、一括編集監視モードを終了する。続くステップＳ８０４以降は、重ねられた２つの対象オブジェクトの撮影画像に対し、サーバー１０４から取得した電子データによる付加情報を加えることで、ＡＲ装置１０２が図１３（ｃ）のような拡張現実表示をおこなう処理である。

ステップＳ８０４では、ＡＲ装置１０２は、撮像部２０１を介して対象オブジェクトの撮影画像を取得する。ステップＳ８０５では、ＡＲ装置１０２は、ステップＳ８０４で取得した撮影画像に基づいて対象状態情報（第２の対象状態情報）を生成する。これらの処理は、図５（ステップＳ５０１、Ｓ５０２）の処理内容と同等なので説明は省略する。

ステップＳ８０６では、ＡＲ装置１０２は、ステップＳ８０５で生成した対象状態情報が、以前取得した対象状態情報と変化なく維持されているかどうかを調べる。すなわち、一括編集監視モード４０５における１回目のステップＳ８０６では、以前取得した状態とは、検知モード４０２のステップＳ５０２で検出した対象状態情報を意味する。２回目以降のステップＳ８０６では、１つ前のループにおけるステップＳ８０５で生成した対象状態情報を意味する。対象状態情報が維持されている場合はステップＳ８０７に進む。対象状態情報が変化している場合、すなわちユーザが対象オブジェクトの撮影を止めた場合や、別のユーザが対象オブジェクトの配置を変更してしまった場合などは、一括編集監視モードを終了する。

ステップＳ８０７では、ＡＲ装置１０２は、取得した２つの電子データをマージした結果に基づき、拡張現実表示をおこなう。ステップＳ８０７の拡張現実表示は、電子データ１２１１および電子データ１３１１をマージした結果にもとづいて生成されるものである。例えば、図１３（ｃ）に示す拡張現実表示を行う。ただし、一括編集監視モードモードにおいては、付加情報１３２５や線１３２６といった編集（追加、削除、変更）の為の表示はおこなわないものとする。同様に、付加情報１３２４においても、編集指示は受けつけないものとする。

ステップＳ８０８では、ＡＲ装置１０２は、サーバー１０４から編集の監視確認依頼があるか否かを調べる。監視確認依頼があった場合、サーバー１０４に監視確認準備ＯＫというステータスを返してステップＳ８０９に進む。無い場合はステップＳ８０４に戻り、以降、対象オブジェクトを再び撮影し拡張現実表示をおこなうよう、ステップＳ８０４〜Ｓ８０８を繰り返す。

ステップＳ８０９では、ＡＲ装置１０２は、サーバー１０４からの監視確認依頼に応答して、直前のステップＳ８０５で取得された対象状態情報をサーバー１０４に送信する。ステップＳ８１０では、ＡＲ装置１０２は、サーバー１０４からの編集に関する通知を受信する。すなわち、他のＡＲ装置（ここではＡＲ装置１０１）による編集要求に対する成功・失敗の有無の通知を受信する。サーバー１０４からの編集成功の通知が返ってきた場合ステップＳ８１１に進む。編集失敗の通知が返ってきた場合ステップＳ８１２に進む。

ステップＳ８１１では、ＡＲ装置１０２は、サーバー１０４から編集後の複数の電子データを受信する。その後、ステップＳ８０４に戻って以降の処理を繰り返す。この際、ステップＳ８０７の拡張現実表示に用いられるのは、ステップＳ８１１で取得した、編集後の複数の電子データにもとづくものとなる。

ステップＳ８１２では、ＡＲ装置１０２は、ユーザに編集失敗を知らせる表示をおこなう。その後、ステップＳ８０４に戻って以降の処理を繰り返す。

＜２．５．サーバー１０４側の動作＞
図１１は、ＡＲ装置からのデータ一括編集要求に対するサーバーの動作を説明するフローチャートである。ここでは、上述の説明と同様、図１３（ａ）に示す２つの対象オブジェクトをＡＲ装置１０１及びＡＲ装置１０２が撮影する状況を想定する。

ステップＳ１１０１では、サーバー１０４は、ＡＲ装置１０１から、複数の対象オブジェクトに対応する電子データに対する一括編集要求を受け付ける（要求受信手段）。ここでは、電子データ１２１１および電子データ１３１１に対する一括編集要求となる。

ステップＳ１１０２では、サーバー１０４は、一括編集要求に関連づけられた対象状態情報をＡＲ装置から取得する（対象状態情報受信手段）。これは図７（ステップＳ７１０）で送信される対象状態情報に相当する。

ステップＳ１１０３では、サーバー１０４は、ステップＳ１１０１で受けつけた一括編集要求の対象となる電子データを、一括編集要求をおこなったＡＲ装置の所有者により書き込みが可能なものとそれ以外に区別する。この区別は、ＡＲ装置のユーザＩＤ情報と、電子データのアクセス権記述中の書き込み許可ユーザＩＤ情報を比較すればよい。ここでは、ＡＲ装置の所有者であるユーザ「Ａ」が書き込み可能なものとそれ以外に区別することとなる。以降、ユーザ「Ａ」が書き込み可能なデータをデータ（ａ）、それ以外をデータ（ｂ）とする。すなわち、電子データ１２１１がデータ（ａ）に対応し、電子データ１３１１がデータ（ｂ）に対応する。

ステップＳ１１０４では、サーバー１０４は、ステップＳ１１０２で区別されたデータ（ｂ）に対する書き込み権限を有するユーザＩＤから、当該ユーザが所有するＡＲ装置に対して監視確認依頼をおこなう。ここでは、データ（ｂ）に相当する電子データ１３１１のアクセス権記述において、書き込み権を有すユーザ「Ｂ」を取得する。そして「Ｂ」が所有するＡＲ装置１０２に対して監視確認依頼をおこなう。

ステップＳ１１０５では、ＡＲ装置１０２から監視確認準備ＯＫのステータスが返るのを待つ。ステータスが返ってきた場合はステップＳ１１０７に進む。ＡＲ装置１０２と通信が不能だったり、所定時間経過してもステータスが返ってこなかった場合はステップＳ１１０６に進む。ステップＳ１１０６では、サーバー１０４は、一括編集の同意がユーザ「Ｂ」から得られなかったとみなして、編集失敗をＡＲ装置１０１に通知し、今回の一括編集処理要求に対するサーバー１０４の処理を終了する。

ステップＳ１１０７では、サーバー１０４は、ＡＲ装置１０２から対象状態情報を取得する。これは図８（ステップＳ８０９）で送信される対象状態情報に対応する。

ステップＳ１１０８では、サーバー１０４は、ステップＳ１１０３でＡＲ装置１０１から受信した対象状態情報と、ステップＳ１１０７でＡＲ装置１０２から受信した対象状態情報が一致しているか否かを判定する。一致している場合はステップＳ１１１０に進む。一致していない場合はステップＳ１１０９に進む。

対象状態情報が一致しているかどうかは、各ＡＲ装置で抽出されたＩＤマークの内容、個数および位置関係がすべて一致しているかどうかで判定すればよい。前述のとおり、ＩＤマークを囲む枠の大きさおよび辺の太さや形状の違いにより、撮影画像からＩＤマークの向き、大きさがわかるようにしてあれば、それらの情報を用いることができる。

あるいは、サーバー１０４は、対象状態情報として各ＡＲ装置から撮影画像そのものを取得し、各ＡＲ装置から得られた画像同士の比較によって一致を判定してもよい。この場合は、ＩＤマークや対象オブジェクトの内容に基づいて、各ＡＲ装置から得られた撮影画像に対し画像補正（拡大、縮小、歪み補正など）をおこなったうえで比較する。

更に、図１２（ｃ）の説明で述べたように、用紙に印刷された対象オブジェクトに指示具（指やペンなど）で編集指示をおこなっている場合、撮影画像にある指示具の画像の位置に基づいて一致を判定しても良い。また、各ＡＲ装置から、各々の対象状態情報を取得した時刻（タイムスタンプ）を併せて取得し、その時刻に差が無いことを一致の条件に加えてもよい。

ステップＳ１１１０では、サーバー１０４は、ＡＲ装置１０１からの編集要求にもとづいてデータ（ａ）およびデータ（ｂ）の一括編集を実行する。そして、ステップＳ１１１１では、サーバー１０４は、ＡＲ装置１０１およびＡＲ装置１０２に対し、編集が成功したこと通知する。

ここで、たとえば、ＡＲ装置１０１が、図１３（ｃ）に対し、付加情報１３２５を介してスケジュール追加の編集指示を行った場合を説明する。これは、付加情報１３２５に対してユーザが入力した文字列を、電子データ１２１１および電子データ１３１１の対応エントリ記述に一括して追加するという一括編集要求である。

一括編集要求を受信したサーバー１０４は、ユーザ「Ａ」が所有する電子データ１２１１へのエントリデータ追加操作をおこなう。この操作は、電子データの書き込み権を持つユーザと、編集を要求したＡＲ装置のユーザが一致しているため、電子データ１２１１のアクセス権を変更すること無く実行できる。

一方、ユーザ「Ｂ」が所有する電子データ１３１１に対しては、ユーザ「Ａ」は書き込み権を有さない。その為、サーバー１０４は、電子データ１３１１の書き込み権を有す「Ｂ」が所有するＡＲ装置１０２に対し、ＡＲ装置１０１による一括編集を許可するか否かを確認する。ここでは、サーバー１０４の確認要求に対しＡＲ装置が送信する対象状態情報が、既にＡＲ装置から送信された対象状態情報と同一であるかを判定することで、ＡＲ装置１０１による一括編集を許可するか否かを判定する。

対象状態情報が一致した場合は、サーバー１０４は、一括編集を許可すると判定し、ＡＲ装置１０１からの編集要求にもとづいて電子データ１３１１の編集をおこなう。この編集は、たとえば、任意の電子データに対する書き込み権限を有する特権ユーザによる編集操作として実行すると良い。もしくは、特権ユーザによって、電子データ１３１１に対しユーザ「Ａ」に対する書き込み権限を一時的に付与し、ユーザ「Ａ」の権限で編集をおこなうようにしてもよい。そして編集終了後に電子データ１３１１の書き込み権限を元に戻せばよい。

対象状態情報が一致しなかった場合は、サーバー１０４は、一括編集を許可しないと判断し、ＡＲ装置１０１およびＡＲ装置１０２にそれぞれ編集失敗を通知する。そして今回の一括編集要求に対するサーバー１０４の処理を終了する。

このように、編集操作を行うユーザ「Ａ」とは別のユーザ「Ｂ」が所有する電子データ（ｂ）の編集操作の可否を、ユーザ「Ｂ」のＡＲ装置よる撮影状態に応じて決定する。これにより、ユーザ「Ａ」とユーザ「Ｂ」のＡＲ装置が同一の対象オブジェクトを拡張現実表示している場合のみ、ユーザ「Ａ」が電子データ（ｂ）に対する編集操作を有効にすることが出来る。

＜２．６．ＡＲ装置とサーバーの動作シーケンス＞
図９は、一括編集における２個のＡＲ装置とサーバーそれぞれの動作シーケンスを示すである。ここでは、一括編集が成功する場合の１例と共に、失敗する場合の２例を併せて示している。

動作９０１〜９０６は、一括編集が成功する場合の動作シーケンスの例を示している。

動作９０１は、図７（ステップＳ７０９）に対応し、ＡＲ装置１０１からサーバー１０４への一括編集要求に相当する。動作９０２は、図７（ステップＳ７１０）に対応し、ＡＲ装置１０１からサーバー１０４への対象状態情報の送信に相当する。

動作９０３は、図１１（ステップＳ１１０４）に対応し、サーバー１０４からＡＲ装置１０２への監視確認依頼に相当する。動作９０４は、図８（ステップＳ８０９）に対応し、ＡＲ装置１０２からサーバー１０４への対象状態情報の送信に相当する。図９では単純化のため、図８（ステップＳ８０８）に対応する監視確認準備ＯＫの返答は、動作９０４に含まれるものとする。

ＡＲ装置１０１で一括編集しようとしている２つの対象オブジェクトを、ＡＲ装置１０２が同時に撮影している場合、動作９０２および動作９０４において送信される２つの対象状態情報は一致する。そのため、サーバー１０４は、一括編集を許可し、一括編集要求の内容に応じた編集をおこなう。そして、動作９０５及び動作９０６において、サーバー１０４は、ＡＲ装置１０１とＡＲ装置１０２に対し、それぞれ編集成功を通知する。

動作９０７〜９１２は、一括編集が失敗する場合の動作シーケンスの例を示している。ここでは、ＡＲ装置１０１で一括編集しようとしている２つの対象オブジェクトを、ＡＲ装置１０２が撮影していない場合を想定する。

動作９０７〜９１０は、上述の動作９０１〜９０４と同じ動作である。ただし、動作９１０で送信される対象状態情報は、動作９０８で送信される対象状態情報と一致しないことになる。そのため、動作９１１及び９１２では、サーバー１０４は、ＡＲ装置１０１とＡＲ装置１０２に対し編集失敗を通知する。

なお、上述したように、対象状態情報の取得時刻の情報を追加で用いて、２つの対象状態情報が一致しているかを判定しても良い。この時刻の情報を用いることで、ＡＲ装置１０１とＡＲ装置１０２が、同一の対象オブジェクトを同時に撮影していることの保証性が高まる。つまり、ユーザ「Ａ」とユーザ「Ｂ」が、互いの意思を確認できる範囲で共同作業していると解釈することが出来るため、一方のユーザによる一括編集を許可する。一方、ユーザ「Ａ」がユーザ「Ｂ」の紙（対象オブジェクト）をコピーするなどして、無断でユーザ「Ｂ」の電子データを編集するのを防ぐこともできる。

動作９１３〜９１６は、一括編集が失敗する場合の他の動作シーケンスの例を示している。ここでは、ＡＲ装置１０２がサーバー１０４からの要求に対し応答しない状態を想定する。

動作９１３〜９１５は、上述の動作９０１〜９０３と同じ動作である。しかし、監視確認の返答待ち時間９１７を経ても、ＡＲ装置１０２からサーバー１０４に対象状態情報が送信されない。そこで、返答待ち時間９１７が満了した後、サーバー１０４は、ＡＲ装置１０２に対して監視確認準備ＮＧであると判定する。そのため、動作９１６では、サーバー１０４は、ＡＲ装置１０１に対し編集失敗を通知する。

以上説明したように、第１実施形態に係る情報処理装置であるサーバー１０４は、ユーザ装置であるＡＲ装置が撮影する対象オブジェクトに関連づけられた電子データへの編集制御を好適に行うことが可能となる。第１実施形態の構成とすることで、ユーザが自分の電子データを確認なしで他のユーザに編集されることを防ぐことができる。また、同一の対象オブジェクトを同時撮影するという行為により、煩雑なユーザ操作を行うこと無く、一時的に電子データの編集許可する権限を付与することが可能となる。

さらに、複数のＡＲ装置が撮影する対象オブジェクトの対象状態情報を比較することで、同一の対象オブジェクトを撮影していることをより確実に判定することができる。つまり、ＲＦＩＤタグなどコスト高なものを用いることなく、同一の対象オブジェクトを撮影していることをより確実に判定することができる。

（変形例１）
上述の第１実施形態では、対象オブジェクトの個数を２個として説明したが、３個以上であってもよい。その場合、編集操作を行うユーザのＡＲ装置から一括編集依頼を受けたサーバーは、当該ユーザ以外が所有する電子データへの一括編集可否を、全所有者のＡＲ装置から得た対象状態情報が一致することで判定すればよい。対象状態情報が一致するか否かは、各対象オブジェクトから抽出されるＩＤマークの状態や、対象である紙等の四辺の情報から判断すればよい。

すなわち、各対象オブジェクトに関連づけられた電子データを所有する全ユーザが、自身のＡＲ装置で同一の対象オブジェクトを同時撮影しているときのみ、ひとつのＡＲ装置のユーザに対し全電子データを編集する権利が与えられるようにする。そして、複数のＡＲ装置の撮影画像から得られる対象オブジェクトの内容と配置が共に一致していると判定されるときのみ、同一の対象オブジェクトを同時撮影していると判定する。

具体的には、各対象オブジェクトに関連づけられた電子データを所有するユーザの全員が、各人の所有するＡＲ装置で同一の対象オブジェクトを同時撮影している場合に、１つのＡＲ装置に対し全電子データの編集を許可する。ここで、複数のＡＲ装置の撮影画像から得られる対象状態情報が共に一致していると判定されるときのみ、同一の対象オブジェクトを同時撮影していると判定する。

（変形例２）
上述の第１実施形態では、対象オブジェクトの対象状態情報は編集要求を行うとき、あるいは、監視確認要求があったときのみ送信するよう説明した。しかしながら、各ＡＲ装置が逐次対象状態情報をサーバーに送信するよう構成しても良い。この場合、サーバーは、各ＡＲ装置における対象状態情報の変化をリアルタイムに把握することが可能となる。

図１４は、２個のＡＲ装置とサーバーそれぞれの動作シーケンスを示すである。ここでは、一括編集モードにあるＡＲ装置１０１、および一括編集監視モードにあるＡＲ装置１０２は、共に自身の撮影画像から得た対象状態情報を一定間隔でサーバー１０４に送信している。

両者の対象状態情報を受信するサーバー１０４は、ＡＲ装置１０１における対象状態情報とＡＲ装置１０２における対象状態情報とが一致しているか否かを逐次判定する。そして、一致していると判定している時間１４０１の期間に一括編集要求を受信した場合は、編集を許可し編集成功と応答する。一方、両者の対象状態情報が一致しなくなった時点以降は、一括編集要求を受信した場合、編集を許可せず編集失敗と応答する。

なお、対象状態情報としては、第１実施形態で説明したように、対象オブジェクトの内容と位置の情報であってもよいし、撮影画像そのものであってもよい。

なお、各ＡＲ装置は、自身が先だって送信した対象状態情報から変化がない場合は、変化が無いことを示す情報のみを代替として送信するようにしてもよい。これにより、通信トラフィックを低減することが可能になる。なお、変化が無いことを示す情報を受信したサーバー１０４は、当該情報を先だってＡＲ装置から受信した対象状態情報と同一の対象状態情報を受信したと解釈する。

（その他の実施例）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims (8)

1. 第１のユーザが編集権限を有する第１の電子データと、前記第１のユーザが編集権限を有さず第２のユーザが編集権限を有する第２の電子データと、を管理する情報処理装置であって、
   前記第１のユーザに関連付けられた第１のユーザ装置から、前記第１の電子データと前記第２の電子データとに対する一括編集要求を受信する要求受信手段と、
   前記第１のユーザ装置から、前記第１の電子データに基づき印刷された第１の対象オブジェクトと前記第２の電子データに基づき印刷された第２の対象オブジェクトとの配置関係を示す第１の対象状態情報を受信し、前記第２のユーザに関連付けられた第２のユーザ装置から、前記第１の対象オブジェクトと前記第２の対象オブジェクトとの配置関係を示す第２の対象状態情報を受信する、対象状態情報受信手段と、
   前記第１の対象状態情報と前記第２の対象状態情報とが一致するか否かを判定する判定手段と、
   前記判定手段により前記第１の対象状態情報と前記第２の対象状態情報とが一致すると判定された場合に、前記一括編集要求に基づく前記第１の電子データ及び前記第２の電子データへの編集を許可するアクセス制御手段と、
   を有することを特徴とする情報処理装置。
2. 前記アクセス制御手段は、前記第１の対象状態情報が、前記第１の対象オブジェクトと前記第２の対象オブジェクトとが重ね合わせられており、かつ、前記第１の対象オブジェクトが最上面に存在することを示している場合に、前記一括編集要求に基づく前記第１の電子データ及び前記第２の電子データへの編集を許可する
   ことを特徴とする請求項１に記載の情報処理装置。
3. 前記第１の対象状態情報及び前記第２の対象状態情報にはそれぞれタイムスタンプが含まれている
   ことを特徴とする請求項１又は２に記載の情報処理装置。
4. 前記第１の対象オブジェクトには前記第１の電子データを一意に特定する第１のＩＤ情報が含まれており、前記第２の対象オブジェクトには前記第２の電子データを一意に特定する第２のＩＤ情報が含まれている、
   ことを特徴とする請求項１乃至３の何れか一項に記載の情報処理装置。
5. 前記第１の対象状態情報は前記第１のユーザ装置により撮影された第１の撮影画像であり、前記第２の対象状態情報は前記第２のユーザ装置により撮影された第２の撮影画像であり、
   前記第１のＩＤ情報は第１のコード画像として前記第１の対象オブジェクトに含まれており、前記第２のＩＤ情報は第２のコード画像として前記第２の対象オブジェクトに含まれており、
   前記判定手段は、前記第１の撮影画像を前記第１のコード画像に基づき画像補正した第１の補正画像と、前記第２の撮影画像を前記第２のコード画像に基づき画像補正した第２の補正画像と、に基づいて、前記第１の対象状態情報と前記第２の対象状態情報とが一致するか否かを判定する
   ことを特徴とする請求項４に記載の情報処理装置。
6. 前記第１のユーザ装置は拡張現実表示を行うよう構成されており、
   前記一括編集要求は、前記第１のユーザ装置において前記第１の対象オブジェクトの画像と前記第２の対象オブジェクトの画像との双方に基づく拡張現実表示が行われている期間において所定のユーザ操作が行われた場合に、前記第１のユーザ装置から送信される
   ことを特徴とする請求項１乃至５の何れか一項に記載の情報処理装置。
7. 前記所定のユーザ操作は、前記第１のユーザ装置に表示された拡張現実表示に対するユーザ操作、又は、前記第１の対象オブジェクトに対するユーザ操作である
   ことを特徴とする請求項６に記載の情報処理装置。
8. 第１のユーザが編集権限を有する第１の電子データと、前記第１のユーザが編集権限を有さず第２のユーザが編集権限を有する第２の電子データと、を管理する情報処理装置における制御方法であって、
   前記第１のユーザに関連付けられた第１のユーザ装置から、前記第１の電子データと前記第２の電子データとに対する一括編集要求を受信する要求受信工程と、
   前記第１のユーザ装置から、前記第１の電子データに基づき印刷された第１の対象オブジェクトと前記第２の電子データに基づき印刷された第２の対象オブジェクトとの配置関係を示す第１の対象状態情報を受信し、前記第２のユーザに関連付けられた第２のユーザ装置から、前記第１の対象オブジェクトと前記第２の対象オブジェクトとの配置関係を示す第２の対象状態情報を受信する、対象状態情報受信工程と、
   前記第１の対象状態情報と前記第２の対象状態情報とが一致するか否かを判定する判定工程と、
   前記判定工程により前記第１の対象状態情報と前記第２の対象状態情報とが一致すると判定された場合に、前記一括編集要求に基づく前記第１の電子データ及び前記第２の電子データへの編集を許可するアクセス制御工程と、
   を有することを特徴とする情報処理装置の制御方法。

Images