JP2014229083A

JP2014229083A - 画像処理装置、画像処理方法及びプログラム

Info

Publication number: JP2014229083A
Application number: JP2013108440A
Authority: JP
Inventors: 金津　知俊; Tomotoshi Kanatsu; 知俊金津
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2013-05-22
Filing date: 2013-05-22
Publication date: 2014-12-08

Abstract

【課題】ユーザーにとって最適な拡張現実表示を提供する。【解決手段】拡張表示対象に対して拡張表示指示が付加された原稿を読み取って原稿の画像データを得る原稿読取手段と、前記原稿の画像データから、前記拡張表示対象に対する前記拡張表示指示の画像データを検出する検出手段と、前記拡張表示対象に対する前記拡張表示指示の画像データから指示内容を解釈する解釈手段と、前記解釈手段によって拡張表示すべきと解釈された拡張表示指示が関連づけられている拡張表示対象の識別情報を、前記拡張表示対象に関する拡張表示コードを提供するサーバーに送信する送信手段と、前記サーバーから前記識別情報に対応する前記拡張表示コードを受信する受信手段と、前記受信手段によって受信された前記拡張表示コードを、拡張表示すべきと解釈された前記拡張表示対象に関連づけて印刷する印刷手段と、を有する。【選択図】図５

Description

本発明は、拡張現実表示の対象媒体を生成する画像処理装置、画像処理方法及びプログラムに関する。

近年、カメラとディスプレイが一体化されたタブレットや携帯端末機器が一般化し、撮影した現実の画像にリアルタイムで関連情報を重畳するなどの拡張現実表示が提供されるようになっている。
たとえば特許文献１には、実世界にあるドキュメントを前述のような機器で撮影すると、同ドキュメントに対応する電子データをサーバー等から検索する技術が開示されている。この技術を用いると、機器で紙文書のようなドキュメントを撮影しながら、その機器の表示部に撮影画像を表示すると共に、サーバー等からデジタルデータとして得た関連情報（付加情報）を、撮影画像の適切な位置に重畳して表示することが可能であった。

特開２０１１−８７５２特開２００３−２８８５８８特開２００１−１４４２１

前記技術において、実世界の撮影対象とそれに対応する電子的な付加情報の内容はあらかじめ関連づけられていて、表示可能な全ての付加情報が表示されていた。一方、前述のような機器により拡張現実表示をおこなうユーザーは、自分にとって最適な拡張現実表示を得たいと考える。
たとえば、紙面内に多数の拡張現実表示対象が含まれる場合、限定された表示画面範囲で効率よく所望の情報を得るためには、不必要な対象に関する表示はおこなわれないことが望ましい。あるいは、拡張現実表示の大きさや時間、表示内容などは、ユーザーの利用意図に沿ったものであることが望ましい。
しかしながら、拡張現実表示対象が印刷された紙を受け取ったユーザーが、自分が望むように拡張現実表示の対象や内容を変更する手段は無かった。
ゆえに、拡張現実表示対象を含む紙に対してユーザーが指示をおこなうと、同指示の解釈にもとづいて拡張現実表示をおこなう紙を再出力する技術が求められていた。
本発明は上記の課題に鑑みてなされたものであり、ユーザーにとって最適な拡張現実表示がされる媒体を得る装置を提供することを目的とする。また、その方法、及びプログラムを提供することを目的とする。

かかる課題を解決するため、本発明の画像処理装置は、
拡張表示対象に対して拡張表示指示が付加された原稿を読み取って原稿の画像データを得る原稿読取手段と、
前記原稿の画像データから、前記拡張表示対象に対する前記拡張表示指示の画像データを検出する検出手段と、
前記拡張表示指示に対する前記拡張表示指示の画像データから指示内容を解釈する解釈手段と、
前記解釈手段によって拡張表示すべきと解釈された拡張表示指示が関連づけられている拡張表示対象の識別情報を、前記拡張表示対象に関する拡張表示コードを提供するサーバーに送信する送信手段と、
前記サーバーから前記識別情報に対応する前記拡張表示コードを受信する受信手段と、
前記受信手段によって受信された前記拡張表示コードを、拡張表示すべきと解釈された前記拡張表示対象に関連づけて印刷する印刷手段と
を有することを特徴とする。

本発明によれば、ユーザーが拡張現実表示対象を含む紙に手書の指示を追記して、画像処理装置に入力すると、同指示を反映した紙を出力として得ることができる。この紙は、拡張現実表示可能な装置で撮影した際に、前記指示どおりの拡張表示をおこなうようになる。

画像処理装置を含むシステム構成例を示す図である。図１のＭＦＰ１０１のハードウェア構成例を示す図である。図１の拡張表示装置１０２の外観例を示す図である。図１のＭＦＰ１０１で実行される処理構成を示す図である。第１、第３の実施形態にてＭＦＰ１０１で実行される処理を説明するフローチャートである。第２の実施形態にてＭＦＰ１０１で実行される処理を説明するフローチャートである。第１、第２の実施形態にて拡張表示装置１０２にて実行される処理の例を説明するフローチャートである。拡張表示対象を含む紙の例を示す図である。図８の紙の印刷データの例を示す図である。図８の紙に対する拡張表示の例を示す図である。拡張表示対象を含む地図紙の例を示す図である。図１１の地図紙の印刷データの例を示す図である。手書指示の解釈処理の途中データを説明する図である。図１１の地図紙に対する拡張表示の例を示す図である。第３の実施形態にて拡張表示装置１０２において実行される処理の例を説明するフローチャートである。第３の実施形態において拡張表示装置１０２が取得したマーカー情報を説明する図である。

以下、本発明を実施する好適な形態について図面を用いて説明する。
図１は、画像処理装置を含むシステム構成例を示す図である。
図１の画像処理装置１０１により本実施形態を実施する。本例では、画像処理装置１０１は紙原稿を読取可能なスキャナおよび印刷可能なプリンタを備えるＭＦＰ（ＭｕｌｔｉＦｕｎｃｔｉｏｎＰｅｒｉｐｈｅｒａｌ）である。拡張表示装置１０２は撮影手段と表示手段を有する。拡張表示装置１０２は、撮影したデータを表示する際に、現実の撮影内容に関連する文字、画像、動画、音声等といった付加情報を加えた拡張現実表示（以下、「拡張表示」と記す）をおこなう。拡張表示の具体例については後述する。
サーバー１０３は、拡張表示装置１０２に対し、前記付加情報を提供する。拡張表示装置１０２は、無線ＡＰ（アクセスポイント）１０４及びネットワーク１１０を介してサーバー１０３と通信し、前記拡張表示を実行する。ＭＦＰ１０１もネットワーク１１０を介してサーバー１０３と接続されている。

（ＭＦＰの内部構成の例）
図２は、図１のＭＦＰ１０１の内部構成の例である。原稿読取部２０１は、紙原稿の内容を読取り、電子データへと変換する。印刷部２０２は、原稿読取部２０１で読取ったデータや、その他の印刷用電子データの内容を紙に印刷する。操作・表示部２０３は、読取、印刷、複写等といったユーザーからの操作指示を受けつけたり、ボタン等の操作装置、およびユーザーに操作や処理状況の情報を伝えたりする為の表示装置を含む。
制御部２０４は、ＭＦＰ１０１内の各部を制御するＣＰＵ等を含む。記憶部２０５はＲＯＭ、ＲＡＭやＨＤＤ等からなり、前記制御や読取、印刷等の為のデータやプログラムの保持をおこなう。通信部２０６はネットワーク１１０に接続し、ＭＦＰ１０１とサーバー１０３の間の通信をおこなう。課金部２０７は、ユーザーの複写・印刷行為等に対し、必要に応じて代金徴収をおこなう。
課金部２０７は、硬貨や紙幣を入力可能な装置であってもよいし、プリペイドカードやＩＣカードを用いた電子マネーの入力装置であってもよい。ＭＦＰ１０１を操作するユーザーは、認証部２０８にユーザーＩＤを入力したり読み取らせたりする。認証部２０８はたとえば、ＩＣカードに保存されるユーザーＩＤを電子的に読取るＩＣリーダーである。ユーザーＩＤが拡張表示装置１０２に内蔵されたＩＣチップに保存されている場合、認証部２０８はその内容を読取ってもよい。
原稿読取部２０１、印刷部２０２、操作・表示部２０３、制御部２０４、記憶部２０５、通信部２０６、課金部２０７および認証部２０８は、システムバス２０９に接続される。

（拡張表示装置）
前述の拡張表示について、以下に説明する。拡張表示装置１０２は、たとえば図３のような外観を持つタブレット型デバイスである。
図３（ａ）は拡張表示装置１０２の表面、図３（ｂ）は裏面を示す。拡張表示装置１０２は、表面にカメラ３０１を、裏面にディスプレイ３０２を有す。ディスプレイ３０２は、タッチパネル等によりユーザー操作を受けつけるようになっていてもよい。図３の形状は一例であって、画像データを得るカメラとそれを表示するディスプレイを有していれば、スマートフォンや眼鏡などの形状をとっていてもよい。

本実施形態では、拡張表示の対象は印刷された紙とする。拡張表示装置１０２は、以下のようにして紙に対する拡張表示を実施する。
拡張表示装置１０２は、カメラ３０１により撮影された画像データから、拡張表示対象のオブジェクトを検出する。この検出は、あらかじめ対象に埋めこまれた可視又は不可視のマーカーを検出することでおこなう。

可視のマーカーとは、たとえばバーコードのような１次元コードや２次元コードである。バーコードの例としては、例えばＣＯＤＥ３９等がある。２次元コードの例としては、例えばＰＤＦ４１７がある。
紙に付加された、これら可視のマーカーは、その撮影画像から公知のバーコード検出処理によって検出され、同時に得られるコード化（符号化）されたデータにより、拡張表示対象オブジェクトが特定される。「コード化」は「暗号化」も含むものとする。

不可視のマーカーとは、たとえば電子すかしである。紙に印刷された写真や文字等に埋め込まれた電子すかしは、その撮影画像から公知の電子すかし抽出処理によって抽出され、同様にその内容から拡張表示対象オブジェクトが特定される。
続いて、拡張表示装置１０２は、検出した拡張表示対象オブジェクトの情報をサーバー１０３に送信する。サーバー１０３は、同オブジェクトに関連づけられている付加情報を拡張表示装置１０２に送信する。ここで付加情報とは、同オブジェクトを説明する文字や画像のデータであったり、動画や音声のデータであったりしてもよい。

そして拡張表示装置１０２は、サーバー１０３から受け取った付加情報を、撮影画像に対する拡張表示としてディスプレイ３０２に表示する。ここで拡張表示とは、対象オブジェクトとの関連が明らかなように、撮影画像に付加情報を加えて表示することである。たとえば対象が写真であり、付加情報が文字の場合は、吹き出しのような意匠を利用して対象を明示しながら、近傍に文字データを表示する。あるいは写真上に実際に文字を重畳表示してもよい。
また、対象が写真であり、付加情報が同写真の内容に関する動画の場合は、写真に重畳して動画を再生するよう表示してもよい。更にこの重畳表示の際、撮影された紙の向きや傾きなどを考慮して、あたかも撮影画像内の写真が動いているように拡張表示をおこなってもよい。

図４は、ＭＦＰ１０１で実行される処理構成を示す図である。
（原稿読取）
原稿読取処理４０１では、拡張表示対象を含む紙を図２の原稿読取部２０１によって読取り、その内容を画像データとして記憶部２０５に記憶する。
（印刷データ取得）
印刷データ取得処理４０２では、前記読取られた紙に基づいて出力される印刷物を形成する為の印刷データ（拡張表示コード付加前）を取得する。
この印刷データ（拡張表示コード付加前）は、読取られた画像データそのものである場合と、元の紙の印刷に用いられた原本データの場合とがある。
前者の場合、ＭＦＰ１０１は単純な複写動作をおこなう場合と同様にして、読取られた画像データを後述の印刷処理で使用する印刷データ（拡張表示コード付加前）とする。一方、後者の場合、ＭＦＰ１０１は原本データを印刷データ（拡張表示コード付加前）として取得する。
前者の場合、印刷データ（拡張表示コード付加前）は手書指示も含む。一方、後者の場合、印刷データ（拡張表示コード付加前）は手書指示を含まない。また後者の場合に得られる印刷データ（拡張表示コード付加前）は、読取り処理におけるノイズや損失がなく、かつ入力の紙個体の劣化を反映しないので、より高画質なものとなる。

（拡張表示対象取得）
拡張表示対象取得処理４０３では、前記印刷データ（拡張表示コード付加前）の中から拡張表示対象を取得する。
（手書指示解析）
手書指示解析処理４０４では、前記読取られた画像データから、ユーザーによって手書追記された、拡張表示に対する手書指示（拡張表示指示）を抽出し、その内容を解析する。
（拡張表示コード取得）
拡張表示コード取得処理４０５では、前記拡張表示対象と同対象に対する前記指示内容とを、通信部２０６を経由して図１のサーバー１０３に送信し、同サーバーから対応する拡張表示コードを受信する。

（拡張表示コード付加）
拡張表示コード付加処理４０６では、サーバー１０３から得た前記拡張表示コードを、前記印刷データにおける前記対象オブジェクトに付加する。
（印刷）
印刷処理４０７では、前記拡張表示コードが付加された印刷データを、印刷部２０２により紙に印刷する。
印刷された印刷物は、図８（ｃ）に示すようにマーカー８１１などによって拡張表示が可能であることが明示されたものでもよい。また、図１０に示すようにマーカーなどによって拡張表示が可能であることが明示されてはいないが、図８（ａ）に示すバーコード８０４などによって特定される印刷データが不可視の電子透かし等を用いて拡張表示のコードを含むように書き換えられ、拡張表示が可能になっているものでもよい。
（ユーザーＩＤ特定）
ユーザーＩＤ特定処理４０８では、必要であれば、認証部２０８を用いてＭＦＰ１０１を操作するユーザーに固有のユーザーＩＤ（識別情報）を特定する。ここで特定されたユーザーＩＤ（識別情報）は、拡張表示コード取得処理４０５において、サーバー１０３に送信される情報に付加される。

（課金）
課金処理４０９では、必要であれば、課金部２０７によりユーザーに対して課金徴収をおこなう。その場合、印刷処理４０７の実行は必要な課金がされた場合のみ実行される。
なお上記の各処理は、ＭＦＰ１０１の制御部２０４により制御されるものとする。その一部はソフトウェア処理（プログラム処理）として、ＭＦＰ１０１内ではなく、ＭＦＰ１０１と接続されたサーバー１０３や、あるいは非図示の外部処理装置によっておこなわれてもよい。

［第１の実施形態］
以下、第１の実施形態におけるＭＦＰ１０１の処理について、図５のフローチャートを用いて説明する。
本実施形態では、拡張表示対象を含む紙の例として図８（ａ）の紙原稿８００を用いる。写真領域８０１〜８０３はそれぞれ拡張表示対象となる写真領域である。また、紙原稿８００を特定するバーコード８０４が紙面に含まれている。この紙原稿８００に対する手書指示（拡張表示指示）として、ユーザーが手書指示８０５を拡張表示対象８０１の上に、手書指示８０６を拡張表示対象８０２の上に追記した状態を図８（ｂ）に示す。
以下の説明では、この図８（ｂ）状態の紙原稿８００をＭＦＰ１０１による処理の入力として用いる。

（ＭＦＰにおける処理）
ステップＳ５０１では、原稿読取処理４０１として、ユーザーにより原稿読取部２０１にセットされた紙原稿の内容を、画像データに変換し記憶部２０５に保存する。
ステップＳ５０２では、印刷データ取得処理４０２として、紙原稿の印刷に用いられた原本データを特定する。
本実施形態では、画像データから抽出されたバーコード８０４の情報から、原本データファイルのＵＲＬを得るものとする。バーコードはあくまで一例であり、バーコードの代わりに２次元コードや電子すかしなど別の特定手段を用いてもよい。
または、各印刷データに対する画像的特徴量を予め保存しておき、入力画像データの画像的特徴量と最も類似するものを原本の印刷データとして特定するようにしてもよい。更に特定の為の特徴量に、文字や写真等のレイアウトや文字内容を用いてもよい。

ステップＳ５０３では、印刷データ取得処理４０２として、ステップＳ５０２で得られたＵＲＬによって特定される原本の印刷データファイルを取得し、取得した印刷データファイルを処理対象データとして記憶部２０５のメモリに保存する。このＵＲＬは例えばインターネットやイントラネット上のファイルリソースを特定するものでもよいし、あるいはＭＦＰ１０１内の記憶部２０５において、ファイルシステム領域に保持されているデータのファイル名であってもよい。

図９（ａ）にステップＳ５０３で取得される印刷データの例を示す。印刷データ９００は、その出力が紙原稿８００に相当する仮想のＸＭＬ形式印刷データである。記述９０１、９０３、９０４、９０７は紙原稿８００中のテキスト部分のデータ記述である。記述９０２、９０５、９０６はそれぞれ紙原稿８００中の写真オブジェクト８０１、８０２、８０３に相当するデータ記述であり、それぞれのオブジェクトＩＤを特定する属性ｉｄを含んでいる。

写真オブジェクトの記述９０２内に含まれる＜ａｒ＿ｍａｒｋｅｒ＞は、同オブジェクトを対象として拡張表示をおこなう為に印刷されるマーカーに関する情報を記述する。本実施形態では、この要素はマーカーに埋め込むデータを保持する為の属性ｃｏｄｅを持つ。ただし記述９０２は、属性ｃｏｄｅの値が０となっており、この場合同オブジェクトに対するマーカーは印刷されない。記述９０５、９０６についても同様である。記述９０８はステップＳ５０２にて原本特定に用いる為のバーコードに含められる情報の記述である。

図５に戻って、ステップＳ５０４では、拡張表示対象取得処理４０３として、印刷データ内に拡張表示対象のオブジェクトがあるか否かを調べ、ある場合はステップＳ５０５に進む。無い場合はステップＳ５１４に進む。
図９（ａ）の印刷データ９００を例にとると、要素＜ａｒ＿ｍａｒｋｅｒ＞を子要素に持つ３つの＜ｉｍａｇｅ＞要素、すなわち記述９０２、９０５、９０６の３つが拡張表示対象オブジェクトと認識され、ステップＳ５０５に進む。

ステップＳ５０５では、手書指示解析処理４０４として、ステップＳ５０１で原稿読取部２０１から読取られた画像データから、ユーザーが手書で追記した手書画像情報を分離して取得する。図８（ｂ）の例では、手書指示８０５および８０６に関する手書画像情報を取得する。この取得処理は、読取られた画像データと原本の印刷データとの差分を求めればよい。具体的には、ステップＳ５０３で特定された原本の印刷データ（「プリントデータ」とも記す）をメモリ上に描画して印刷画像データとし、この印刷画像データと読取られた画像データとの差分を分離し手書画像情報とする。
別の方法としては、あらかじめ原稿内容と重複しないペンの色を指定しておき、同色に相当する画素を読取られた画像データから分離して手書画像情報としてもよい。

ステップＳ５０６では、カウンタｎを１に初期化する。以下、ステップＳ５０７〜Ｓ５１１の処理は、ステップＳ５０４で取得された拡張表示対象オブジェクトのリストにおける１〜ｎ番目のオブジェクトに対しておのおの実行されるループ処理である。
ステップＳ５０７では、手書指示解析処理４０４として、ｎ番目のオブジェクトに対する手書指示が存在するか否かを調べる。存在する場合はステップＳ５０８に進む。存在しない場合はステップＳ５１２に進む。

本実施形態では、ステップＳ５０５で取得された手書指示の画像情報が、原本の印刷データ９００におけるｎ番目のオブジェクトの描画範囲内に存在しているか否かを調べる。存在していればステップＳ５０８に、いなければステップＳ５１２に進む。
たとえば１番目のオブジェクトに相当する記述９０２の描画範囲には、手書指示８０５に相当する画像情報が取得されているため、ステップＳ５０８に進む。
２番目のオブジェクトの場合、相当する記述９０５の描画範囲には、手書指示８０６に相当する画像情報が取得されているため、ステップＳ５０８に進む。
３番目のオブジェクトの場合、相当する記述９０６の描画範囲には、手書指示に相当する画像情報が存在しないので、ステップＳ５１２に進む。

ステップＳ５０８では、手書指示解析処理４０４として、ｎ番目のオブジェクトに対する手書指示を解釈する。本説明では、拡張表示を有効にする指示を表わす記号としての「○」の形と、拡張表示を無効にする指示を表わす記号としての「×」の形のいずれかを、手書図形認識によって解釈するものとする。手書図形認識の具体的な手法としては、同様の手書画像をあらかじめ学習型の識別器に学習させる方法がある。
あるいは、手書画像を公知の細線化手法で細線化するなどして線分を抽出し、その線分の特徴として、円状の１ストロークであれば「○」、交差する２ストロークであれば「×」として識別するようにしてもよい。図８（ｂ）の例では、手書指示８０５は、１番目のオブジェクトの拡張表示を有効にする指示、手書指示８０６は２番目のオブジェクトの拡張表示を有効にする指示と解釈される。

ステップＳ５０９では、拡張表示コード取得処理４０５として、対象オブジェクトのＩＤとそれに対する手書指示の内容を組にして、通信部２０６を通してサーバー１０３に送信する。本実施形態では、１番目のオブジェクトに対するステップＳ５０９処理では、図９の記述９０２に含まれるｉｄ＝”ａ１”と、その拡張表示を有効にする指示とを組にした情報がサーバー１０３に送られる。
前記指示は、記述９０２のオブジェクトに対する手書指示８０５を解釈した内容である。同様に、２番目のオブジェクトに対するステップＳ５０９処理では、図９の記述９０５に含まれるｉｄ＝”ａ２”と、その拡張表示を無効にする指示とを組にした情報がサーバー１０３に送られる。前記指示は、記述９０５のオブジェクトに対する手書指示８０６を解釈した内容である。

ステップＳ５１０では、拡張表示コード取得処理４０５として、サーバー１０３から拡張表示コードを受信する。この拡張表示コードは、ステップＳ５０９で送信した対象オブジェクトのＩＤと指示内容を組にした情報に対応して、サーバー１０３が返信するものである。
本説明では、対象オブジェクトと対になる拡張表示データの組み合わせはサーバー１０３があらかじめ記憶されている。たとえば、あるＩＤの写真オブジェクトに対しては、同写真の内容を動画で説明するような拡張表示をおこなうものとする。
この場合、サーバー１０３からストリーム配信可能な動画データが、対となる拡張表示データとなる。本実施形態のｉｄ＝”ａ１”の写真オブジェクトに対しては、対応する動画データファイルのＵＲＬである”ｈｔｔｐ：／／ｓｅｒｖｅｒ／ｍｏｖ１．ｍｐｇ”を、サーバー１０３は拡張表示コードとして返信する。

ステップＳ５１１では、拡張表示コード付加処理４０６として、印刷データ（「プリントデータ」とも記す）中の対応オブジェクトの記述にステップＳ５１０で取得した拡張表示コードを付加する。具体的には、対応オブジェクトの記述にある＜ａｒ＿ｍａｒｋｅｒ＞要素において、サーバー１０３から得られたコードを属性ｃｏｄｅの値として付加する。
図９（ｂ）に、１番目および２番目のオブジェクトに対し、前述のようにサーバー１０３から取得された拡張表示コードを付加した印刷データ９１０を示す。なお本実施形態では、ステップＳ５０９で拡張表示を無効にする指示をサーバー１０３に送信した場合、拡張表示コードとしては０が取得されるものとする。

ステップＳ５１２では、現在のｎが拡張表示対象のオブジェクト総数Ｎよりも小さいならばステップＳ５１３に進む。ステップＳ５１３では、カウンタｎに１を加え、ステップＳ５０７から繰り返す。それ以外の場合はステップＳ５１４に進む。
ステップＳ５１４では、印刷処理４０７として、印刷データを印刷部２０２によって紙に印刷して出力し、ＭＦＰ１０１は図５のフローチャートの処理を終了する。

本実施形態では、図９（ｂ）の印刷データ９１０の印刷結果として、図８（ｃ）に示される紙出力８１０を得る。
紙出力８１０は、入力された図８（ｂ）の状態から手書指示８０５、８０６の部分が削除され、更に写真オブジェクト８０１の直上に、対する拡張表示コードを含むマーカー８１１が付加されている。なお、このマーカー付加の位置は一例であり、左右や下など別の場所や、あるいは写真に重畳されるようにしてもよい。また前述のとおりマーカーは２次元コードであってもよい。または不可視の電子すかしとして写真に重畳されていてもよい。

（拡張表示装置における処理）
次に、第１の実施形態の処理で出力された図８（ｃ）の紙出力８１０を、拡張表示装置１０２で撮影した際に、拡張表示装置１０２において実行される処理の例を図７のフローチャートに示す。
ステップＳ７０１では、拡張表示装置１０２は、紙出力８１０を撮影する。
ステップＳ７０２では、撮影画像中の紙部分を検出し、さらにその中にある拡張表示コードを含むマーカーを抽出する。本実施形態では紙出力８１０中のマーカー８１１が抽出される。具体的には、例えば以下のようにおこなう。

公知のエッジ検出技術を用いて、撮影画像内の紙の四辺を特定する。特定された四辺形部分の画像を逆透視変換で正対画像とする。逆透視変換には、たとえば特許文献２に開示される技術がある。この正対した文書画像に対し、公知の文書画像解析技術を用いて文字領域、写真領域等を分離するとともにマーカーのバーコード領域を抽出する。文書画像中のバーコードを検出する技術としては、例えば特許文献３に開示される技術がある。

ステップＳ７０３では、マーカーの画像情報をデコードし、マーカーに含まれている拡張表示コードを取得する。本実施形態では、拡張表示コードとしてＵＲＬ ”ｈｔｔｐ：／／ｓｅｒｖｅｒ／ｍｏｖ１．ｍｐｇ”が得られる。
ステップＳ７０４では、拡張表示コードが暗号化されているか否かを調べる。暗号化されている場合はステップＳ７０８に進む。暗号化されていない場合はステップＳ７０５に進む。本実施形態では拡張表示コードは暗号化されていないのでステップＳ７０５に進む。

ステップＳ７０５では、拡張表示コードをサーバー１０３に送信する。
ステップＳ７０６では、サーバー１０３から拡張表示データを受信する。本実施形態では、前記ＵＲＬによりサーバー１０３と通信し、動画ストリームを得る。
ステップＳ７０７では、ステップＳ７０６で得た拡張表示データを用いて拡張表示を実行する。具体的には、拡張表示装置１０２のディスプレイ内にて、前記動画をストリーム再生表示する。
本実施形態で同装置のディスプレイに表示される拡張表示の例を図１０に示す。

ここでは、抽出したマーカーの近傍にある写真領域を動画の表示領域として用いている。更に本実施形態では、前述の逆透視変換の逆変換をおこなって、あたかも紙面内の写真上で動画が再生されているような拡張表示をおこなっている。なお、紙出力８１０内の別の写真領域に対しては、マーカーが検出されないので拡張表示はおこなわれない。つまり、ユーザーが指示した対象のみ拡張表示がおこなわれることになる。

前記説明では、元の印刷データ９００内の拡張表示はすべて無効化されていたため、実質的には拡張表示を有効化する手書指示のみが反映された紙が出力として得られた。一方、元の印刷データにおいて、拡張表示の一部あるいはすべてが有効化されるよう、あらかじめ拡張表示コードが埋込まれていてもよい。このような印刷データを出力した紙には、拡張表示有効のオブジェクトにはあらかじめマーカーが付加されていることになる。
このオブジェクト上に手書で拡張表示の無効を指示する形状を付記し、ＭＦＰ１０１に読込ませた場合は、その拡張表示が無効化された紙を出力として得ることができる。つまり、ユーザーが望まない拡張表示を抑制することができる。

また、前述ステップＳ５０５の手書指示解析処理４０４において、読取り画像データと印刷データとの差分から、更に、紙上に追加されているマーカーの有無とその内容を検出してもよい。そして検出されたマーカーから得られた拡張表示コードを、印刷データ中の対応するオブジェクトに付加したうえで、ステップＳ５０６以降の処理をおこなうようにしてもよい。

この場合、図８（ｃ）の状態の紙出力８１０に更に手書指示を追加して、ＭＦＰ１０１で処理することで、同指示に対応する拡張表示をおこなう紙を得ることが出来る。
たとえば図８（ｄ）のように、３番目の写真オブジェクトの拡張表示を有効化する手書指示を加えてＭＦＰ１０１に読込ませる。
上述のように手書指示解析処理４０４において、紙出力８１０中のマーカー８１１が、印刷データとの差分として抽出され、対応する写真オブジェクトの拡張表示コードが印刷データ９００の記述９０２内に埋め込まれる。
その後ステップＳ５０６以降の処理がおこなわれて、図８（ｅ）の紙出力８２０が得られる。
紙出力８２０は、図８（ｃ）の紙出力８１０に対し、更に３番目の写真オブジェクトの拡張表示を有効化するマーカー８２３が付加されたものとなる。結果的に、ＭＦＰ１０１から出力された紙は、拡張表示装置１０２で見たときに、ユーザーが指示したとおりの拡張表示をおこなうようになる。

更に、これまでの説明では、手書指示として解釈されるのは拡張表示の有効化／無効化のみであったが、他の指示を解釈してもよい。たとえば、拡張表示が文字情報であればそのサイズや言語、拡張表示が写真であれば画質、動画や音声であれば再生速度や繰り返しの有無など拡張表示の方法を手書文字により指示してもよい。もちろん、文字の代わりにあらかじめ定めた記号など（例えば、「○」（丸）、「×」（バツ）など）の形状を用いて指示してもよい。

そして、ステップＳ５０８にて、公知の手書文字認識技術等を用いて指示を解釈し、ステップＳ５０９でその指示内容をサーバー１０３に送信する。サーバー１０３は、この指示内容が反映されるような拡張表示コードを生成し、ＭＦＰ１０１に返信する。
たとえば、サイズ１００で繰返し有りの動画を拡張表示とする指示に対して、サーバーは”ｈｔｔｐ：／／ｓｅｒｖｅｒ／ｍｏｖｉｅ．ｍｐｇ＆ｓｉｚｅ＝１００＆ｒｅｐｅａｔ＝ｏｎ”のようにＵＲＬ化した拡張表示コードを返信する。
なお。後に拡張表示装置１０２から拡張表示コードを受けとって解釈するのはサーバー１０３自身であるから、コーディング方法はサーバー１０３が解読可能な任意の方法であってもよい。結果的にＭＦＰ１０１から出力された紙は、拡張表示装置１０２で見たときに、ユーザーが指示したとおりの拡張表示をおこなうようになる。

以上説明したように、第１の実施形態によれば、ユーザーは拡張表示対象を含む紙に手書の指示を追記してＭＦＰ１０１に読込ませると、同指示を反映した紙を出力として得ることができる。この紙は、拡張表示装置１０２で撮影した際に、前記指示どおりの拡張表示をおこなうようになる。

［第２の実施形態］
（ＭＦＰにおける処理）
図６は、第２の実施形態として、画像処理装置であるＭＦＰ１０１が実施する処理を説明するフローチャートである。
図６のステップＳ６０１では、図４のユーザーＩＤ特定処理４０８として、図２の認証部２０８がユーザーＩＤを特定する。ここでユーザーＩＤとは、例えばユーザーが所持する拡張表示装置１０２を特定する為の固有ＩＤ（識別情報）である。この固有ＩＤ（識別情報）は、拡張表示装置１０２のＩＣチップに保持されている場合、認証部２０８が備えるＩＣカードリーダー等の非接触読取器によってＭＦＰ１０１に入力される。
なお、ユーザーＩＤは、同ユーザーが利用する拡張表示装置１０２と共有されていれば、ユーザーが所持するＩＣカードから読出されてもよい。あるいはユーザーＩＤは、ユーザーを特定するためのユーザーに固有のＩＤでもよく、ユーザーが操作・表示部２０３から文字列として入力してもよい。

続くステップＳ５０１〜ステップＳ５０７は、第１の実施形態として説明した図５の各ステップと処理内容は同一なので説明は省略する。
ステップＳ５０８では、手書指示解析処理４０４として、ｎ番目のオブジェクトに対する手書指示（拡張表示指示）を解釈する。この処理内容も図５での説明と同一である。
続くステップＳ６０２では、拡張表示コード取得処理４０５として、対象オブジェクトのＩＤ、ステップＳ５０８で解釈した手書指示の内容、およびステップＳ６０１で取得したユーザーＩＤを組にして、通信部２０６を通してサーバー１０３に送信する。

ステップＳ６０３では、拡張表示コード取得処理４０５として、サーバー１０３から、ステップＳ５０９で送信した情報に対応した拡張表示コードを受信する。ただしこの拡張表示コードはサーバー１０３によって前記ユーザーＩＤを用いて暗号化（コード化）されていて、前記ユーザーＩＤを用いてのみ復号化できるものとする。
続くステップＳ５１１では、図５同様、拡張表示コード付加処理４０６として、ステップＳ６０３で取得した拡張表示コードを、印刷データ中の対応オブジェクトの記述に付加する。この拡張表示コードは前述のとおり暗号化されている。
ステップＳ５１２では、現在のｎが拡張表示対象のオブジェクト総数Ｎよりも小さいならばステップＳ５１３に進む。ステップＳ５１３では、カウンタｎに１を加え、ステップＳ５０７から繰り返す。それ以外の場合はステップＳ６０４に進む。

ステップＳ６０４では、課金処理４０９として、ユーザーに処理の代金を請求する。具体的には、発生した課金情報に基づいて、処理の代金を操作・表示部２０３に表示し、課金部２０７による支払をユーザーに促す。課金方法としては前述のとおり、実際の貨幣入力であっても、電子マネーの入力であってもよい。発生した課金情報に対応する支払が確認された場合はステップＳ５１４に進む。課金が必要ない場合もステップＳ５１４に進む。

ユーザーが処理をキャンセルするなど、支払を拒否した場合は、ステップＳ６０５に進み、出力不可であることを操作・表示部２０３によりユーザーに提示する。そして、ＭＦＰ１０１は図６フローチャートの処理を終了する。
ステップＳ５１４では、図５での説明同様に、印刷処理４０７として、印刷データを印刷部２０２よって紙に印刷して出力する。そしてＭＦＰ１０１は図６フローチャートの処理を終了する。

上記説明における処理代金は、紙１枚あたり固定であってもよいし、手書指示によって有効化された拡張表示の内容によって決めてもよい。あるいは、ステップＳ６０２で有効化指示を送信した拡張表示の画像や動画等が有料コンテンツに相当する場合、サーバー１０３から拡張表示コードと同時に、サーバー１０３が定めるコンテンツ使用金額を取得するようにしてもよい。そして、ステップＳ６０４では前記コンテンツ使用金額の総額を請求するようにしてもよい。

発生した課金情報に対応する代金が支払われ、ステップＳ５１４で紙が出力された場合、ＭＦＰ１０１は徴収代金を電子決裁としてサーバー１０３に送るようにしてもよい。また、有料コンテンツが他のコンテンツ業者の所有物の場合、サーバー１０３から更にコンテンツ業者に支払がおこなわれるようにしてもよい。
上記図６で説明した第２の実施形態の処理で、図８（ｂ）の紙原稿８００を処理した場合、その出力は図８（ｆ）の紙出力８３０のようになる。
その見た目は、第１の実施形態の処理結果として図８（ｃ）に示した紙出力８１０とほぼ同じであるが、拡張表示対象オブジェクトに付加されたマーカー８３１には、暗号化された拡張表示コードが含まれている。

（拡張表示装置における処理）
次に、第２の実施形態の処理で出力された紙出力８３０を、拡張表示装置１０２で撮影した際に、拡張表示装置１０２において実行される処理の例を、図７のフローチャートに示す。
ステップＳ７０１では、拡張表示装置１０２は、実施形態２の処理で出力された紙出力８３０を撮影する。ステップＳ７０２では、撮影画像中の紙部分から拡張表示コードを含むマーカーを抽出する。ステップＳ７０３では、マーカーに含まれる暗号化された拡張表示コードを取得する。

ステップＳ７０４では、拡張表示コードが暗号化されているか否かを調べる。暗号化されている場合はステップＳ７０８に進む。暗号化されていない場合はステップＳ７０５に進む。本実施形態では拡張表示コードは暗号化されているためステップＳ７０８に進む。
ステップＳ７０８では、拡張表示装置１０２が保有するユーザーＩＤの情報により、暗号化された拡張表示コードの復号を試みる。
ステップＳ７０９では、ステップＳ７０８で復号が成功した場合、ステップＳ７０５に進む。復号に失敗した場合、あるいは拡張表示装置１０２が復号に必要なユーザーＩＤを持っていない場合は、拡張表示はおこなわずに図７のフローチャートを終了する。

ステップＳ７０５では、復号した拡張表示コードをサーバー１０３に送信する。
ステップＳ７０６では、サーバー１０３から拡張表示データを取得する。
ステップＳ７０７では、ステップＳ７０６で得た拡張表示データを用いて拡張表示を実行する。
上記の処理によれば、第２の実施形態によって出力された紙に対して拡張表示をおこなう場合、図６のステップＳ６０１で指定されたユーザーＩＤが必要である。拡張表示装置１０２がユーザーの所有物であるなどして、このユーザーＩＤを拡張表示装置１０２が共有している場合は、第１の実施形態の説明同様、図１０の例に示す拡張表示が得られる。

一方、拡張表示装置１０２が復号に必要なユーザーＩＤを持っていない場合、拡張表示はおこなれない。ゆえに、第２の実施形態によって出力された紙を、無断でコピーするなどして入手した第三者が、別の拡張表示装置を用いて拡張表示をおこなうことを禁止することができる。
以上説明したように、第２の実施形態によれば、ユーザーは拡張表示対象を含む紙に手書の指示を追記してＭＦＰ１０１に読込ませると、同指示を反映した紙を出力として得ることができる。このＭＦＰ１０１への読込みの際、ユーザーＩＤを指定することで、出力された紙は、同ユーザーＩＤを共有する拡張表示装置１０２で撮影した際にのみ、前記指示どおりの拡張表示をおこなうようになる。
また、第２の実施形態によれば、指示した拡張表示の個数や内容に相当する課金をユーザーから徴収した場合のみ、同指示を反映した拡張表示をおこなう紙を出力するようにできる。

［第３の実施形態］
（ＭＦＰにおける処理）
第３の実施形態として、拡張表示対象を含む紙の別例として図１１（ａ）の地図紙１１００を用い、同紙に対しＭＦＰ１０１にて実施される処理の例を説明する。
この地図紙１１００を受けとったユーザーは、たとえば自分がこれから地図内の箇所を実際に散策するとして、立ち寄る箇所の拡張表示情報を地図紙に付加したいと考える。そうすれば、紙の地図と拡張表示端末を携行して、常時は紙の地図を参照しながら、必要な時点で拡張表示を実行して立寄り箇所の付加的な情報を得ることができる。

図１１（ｂ）に、地図紙１１００中の拡張表示対象箇所１１０１〜１１０９を示す。なお、分かり易く図示する為に各箇所に丸と数字を記載しているが、これらは実際には印刷されていないものとする。
このように複数の拡張表示対象が存在する中、ユーザーは地図中の必要箇所のみ、かつ自身の散策経路に沿うような順序で、拡張表示を実行可能とすることを求める。
図１１（ｃ）は、ユーザーがこの意図に基づく手書指示（拡張表示指示）を地図紙１１００に書込みした例である。
手書指示１１１０は、ユーザーが地図上を散策する経路に対応している。散策の始点は、１１１１のように丸印で指定するものとする。
この指定方法はあくまで一例であって、別の意匠で指定したり、あるいは終点のほうを矢印等の意匠で指定したりしてもよい。

以降、第３の実施例において、手書指示１１１０が書き込まれた図１１（ｃ）の地図紙１１００を読込んだ際の、ＭＦＰ１０１の処理を図５のフローチャートを用いて説明する。処理の流れ自体は、第１の実施例の説明と同様であるので、詳細な説明は省略するが、一部ステップの処理内容に違いがある部分については詳しく説明する。

ステップＳ５０１では、原稿読取処理４０１が、ユーザーが手書指示１１１０を追記した図１１（ｃ）の地図紙１１００を読込む。
ステップＳ５０２では、印刷データ取得処理４０２として、地図紙の原本に相当する印刷データを特定する。本実施例では、地図紙に付記された図１１（ｃ）のバーコード１１９９により印刷データファイルのＵＲＬを得るものとする。もちろん他の特定手段を用いてもよい。

ステップＳ５０３では、印刷データ取得処理４０２として、ステップＳ５０２で特定された印刷データファイルのＵＲＬから同ファイルを取得する。本実施形態では図１２（ａ）の印刷データ１２００が取得される。
印刷データ１２００は、図１１（ａ）の地図紙を印刷する印刷データである。印刷データ１２００には、地図紙の画像データを記述するデータのほか、図１１（ｂ）の１１０１〜１１０９の拡張表示対象箇所にそれぞれ対応するマーカー記述１２０１〜１２０９が含まれる。マーカー記述の要素＜ａｒ＿ｍａｒｋｅｒ＞は、そのＩＤ、中心座標、および拡張表示コードの値を保持する属性を持つ。なお、初期状態では、拡張表示コードの値はすべて０であり、印刷の際に各マーカーとして何も付加印刷されることはない。

ステップＳ５０４では、拡張表示対象取得処理４０３として、印刷データ内に拡張表示対象のオブジェクトがあるか否かを調べ、ある場合はステップＳ５０５に進む。無い場合はステップＳ５１４に進む。本実施形態では、図１２（ａ）の拡張表示対象箇所の記述１２０１〜１２０９が対象オブジェクトに相当するため、ステップＳ５０５に進む。
ステップＳ５０５では、手書指示解析処理４０４として、ユーザーの手書指示を画像情報として取得する。本実施形態では、図１１（ｃ）の手書指示１１１０に相当する画像が得られる。第３の実施形態では更に、同画像に対し以下の処理をおこなう。

まず、手書指示画像を公知の細線化手法で細線化する。続いて、両端の形状を調べて丸い形状を有す部分を始端、反対側を終端と判定する。具体的には、細線化した線が分岐する点を検出し、この分岐点で丸と線の部分に分割する。そして、線部分を構成する点列に対し、前記分岐点を始点として、反対側を終点とする点列リスト｛Ｐ１，Ｐ２，．．．，Ｐｍ｝で表わす。ｍは点数であり、点列上の各点Ｐｉは座標（Ｘｉ，Ｙｉ）を持つ。
次に、印刷データ１２００中の拡張表示対象箇所の記述１２０１〜１２０９の各座標から、前記点列中で最短距離となる点Ｐｉを各々求める。なお拡張表示対象箇所の座標から点列への最短距離が閾値より大きい場合は、同箇所の近傍に点列無しとする。

図１３（ａ）に、手書指示の細線化点列１３００、および拡張表示対象箇所の記述１２０１〜１２０９のそれぞれに対応する座標１３０１〜１３０９を示す。また、点列上の点｛Ｐａ１，Ｐａ２，Ｐａ３，Ｐａ４，Ｐａ５，Ｐａ６，Ｐａ７，Ｐａ８｝は、それぞれ，座標１３０１、１３０５、１３０４、１３０７、１３０３、１３０９、１３０２、１３０６から最短距離となる点である。
点Ｐａ１と座標１３０１、点Ｐａ２と座標１３０５、点Ｐａ３と座標１３０４、点Ｐａ４と座標１３０７、点Ｐａ５と座標１３０３、点Ｐａ６と座標１３０９、点Ｐａ７と座標１３０２、点Ｐａ８と座標１３０６のそれぞれの間には最短距離を示す太線が引かれている。
ただし、座標１３０４と点Ｐａ３、座標１３０９とＰａ６は極小距離で接触しているため太線の記載は省略される。座標１３０８に関しては閾値距離内に点列無しとなる。

上記のように求められた、拡張表示対象箇所とその座標、および点列上の最短距離点との組み合わせは、点列における出現順にソートした状態で、図１３（ｂ）に示す表のようなリスト形式で記憶され、以降ステップの処理で利用される。
図５に戻り、ステップＳ５０６では、カウンタｎを１に初期化する。以下、ステップＳ５０７〜Ｓ５１１の処理は、図１２（ａ）の１２０１〜１２０９に対応する拡張表示対象箇所の１〜ｎ番目に対し、それぞれ実行される。

ステップＳ５０７では、手書指示解析処理４０４として、ｎ番目の拡張表示対象箇所に対する手書指示が存在するか否かを調べる。具体的には、ステップＳ５０５で作成された図１３（ｂ）に示す表を参照し、処理中の拡張表示対象箇所がリストに含まれるか否かを調べる。含まれる場合はステップＳ５０８に進む。含まれない場合はステップＳ５１２に進む。

ステップＳ５０８では、手書指示解析処理４０４として、ｎ番目の拡張表示対象箇所に対する手書指示を解釈する。本実施形態における手書指示は、図１３（ｂ）に示す表中の複数の拡張表示対象箇所に対し、表記載の順序で拡張表示を実行する指示と解釈される。よってこの実行の順序を表すために、処理中の拡張表示対象箇所に対し、その前後に拡張表示がおこなわれる箇所を特定する。
たとえば、１番目である記述１２０１に対応する拡張表示対象箇所に対しては、表１３（ｂ）から、前に拡張表示される箇所は無く、後すなわち次に拡張表示されるのは記述１２０５に対応する箇所である。
同様に２番目である記述１２０２に対応する拡張表示対象箇所に対しては、図１３（ｂ）に示す表から、前に拡張表示されるのは記述１２０９に対応する箇所であり、次に拡張表示されるのは記述１２０６に対応する箇所となる。

ステップＳ５０９では、拡張表示コード取得処理４０５として、拡張表示対象箇所のＩＤと、ステップＳ５０８で求められた同箇所に対する手書指示の情報を組にして、サーバー１０３に送信する。前述の手書指示に相当するのは、処理中の拡張表示対象箇所の前後に拡張表示がおこなわれる箇所のＩＤである。
最初に拡張表示がおこなわれるべき箇所に対しては、前に拡張表示される箇所のＩＤに０が指定されるものとする。
最後に拡張表示がおこなわれるべき箇所においては、後に拡張表示される箇所のＩＤに０が指定されるものとする。

ステップＳ５１０では、拡張表示コード取得処理４０５として、サーバー１０３から、ステップＳ５０９で送信した情報に対応する拡張表示コードを取得する。たとえば記述１２０１に対応する拡張表示対象箇所に対し、取得される拡張表示コードの例は、”ｉｄ＝１＆ｓｃｒ＝ａｎｎａｉ＆ｐｒｅｖ＝０＆ｎｅｘｔ＝５”となる。
この文字列は、この拡張表示対象箇所のＩＤ、拡張表示を実行するスクリプト名、前の拡張表示対象箇所ＩＤ、次の拡張表示対象箇所ＩＤの情報で構成される。なお、記述１２０１は最初に拡張表示実行されるべき箇所に対応する為、前の拡張表示箇所のＩＤは０となっている。

ステップＳ５１１では、拡張表示コード付加処理４０６として、ステップＳ５１０で取得した拡張表示コードを、印刷データ中の対応する拡張表示対象箇所の記述に付加する。
ステップＳ５１２では、現在のｎが拡張表示対象箇所の総数Ｎよりも小さいならばステップＳ５１３に進む。
ステップＳ５１３では、カウンタｎに１を加え、ステップＳ５０７から繰り返す。それ以外の場合はステップＳ５１４に進む。
ステップＳ５１４では、印刷処理４０７として、印刷データを印刷部２０２によって紙に印刷して出力し、ＭＦＰ１０１は図５のフローチャートの処理を終了する。

図１２（ｂ）の１２１０に、拡張表示コード付加後の印刷データの例を示す。
また同印刷データの印刷結果の例を図１１（ｄ）の地図紙１１２０に示す。
地図紙１１２０では、印刷データ１２１０に記載された各々の拡張表示対象箇所に対する拡張表示コードがマーカー１１２１〜１１２７、１１２９として重畳印刷されている。ただし、拡張表示コードが０のままのマーカー、すなわち箇所１１０８に対応するマーカーは印刷されない。

（拡張表示装置における処理）
次に、第３の実施形態の処理で出力された図１１（ｄ）の地図紙１１２０を、拡張表示装置１０２で撮影した際に、拡張表示装置１０２において実行される処理の例を図１５のフローチャートに示す。
ステップＳ１５０１では、拡張表示装置１０２は、図１１（ｄ）の地図紙１１２０を撮影する。
ステップＳ１５０２では、撮影画像中の紙部分を検出し、さらにその中にある拡張表示コードを含むマーカーをすべて抽出し、それらに含まれる拡張表示コードを取得する。本処理は前述の図７のステップＳ７０２およびステップＳ７０３と同様におこなえばよい。取得した拡張表示コードの内容は、各々のマーカーの座標に対応づけて記憶される。
図１６に、地図紙１１２０から抽出された各マーカー１１２１〜１１２７、１１２９と拡張表示コードの内容の対応例として表１６０１を示す。

ステップＳ１５０３では、最初に拡張表示をおこなう対象を特定する。具体的には、拡張表示コードの内容で、ｐｒｅｖ＝０であるものを選ぶ。地図紙１１２０の例では、図１６の表１６０１においてｐｒｅｖ＝０であるマーカー１１２１に対応する対象（ＩＤ＝１）が特定される。
ステップＳ１５０４では、特定された対象の拡張表示コードをサーバー１０３に送信する。
ステップＳ１５０５では、送信した拡張表示コードに対応する拡張表示データをサーバー１０３から受信する。本実施形態では、拡張表示装置１０２で実行されるスクリプトデータをサーバー１０３から取得する。
ステップＳ１５０６では、ステップＳ１５０５で得たスクリプトデータを実行して拡張表示を実行する。

図１４（ａ）に、拡張表示の実行例を示す。図１４（ａ）は、マーカー１１２１に対応するスクリプトａｎｎａｉを実行している様子を示す。このスクリプトは、地図内で指定された経路の起点にあたる「観光案内所」に関する付加情報を、吹き出しの形状で撮影画像に重畳表示する。吹き出し内では、スクリプト内のテキスト情報を表示し、またスクリプトに埋め込まれた動画ストリームを再生する。
また吹き出し内には、前後の箇所へと拡張表示対象を移動するための「前へ」「次へ」のボタン、および「終了」ボタンが設置されている。ユーザーがディスプレイ上のこれらボタンをタッチ等することで「前へ」移動、「次へ」移動又は「終了」を指示することができる。
なお、図１４（ａ）の例では、最初の拡張対象表示箇所であるため、「前へ」のボタンはグレイアウトし無効化されるようスクリプトで指定されている。

図１５に戻り、ステップＳ１５０７では、ユーザーが「前へ」移動、「次へ」移動又は「終了」のいずれを指示したかを調べる。「前へ」を指示した場合はステップＳ１５０８に、「次へ」を指示した場合はＳ１５０９に進む。終了を指示した場合は、拡張表示処理を終了する。
ステップＳ１５０８では、前の拡張表示対象を特定する。具体的には、現在の拡張表示コードに含まれるｐｒｅｖの値と同じＩＤ値を持つ、拡張表示対象を特定し、ステップＳ１５０４に戻って以降の処理を繰り返す。
ステップＳ１５０９では、次の拡張表示対象を特定する。具体的には、現在の拡張表示コードに含まれるｎｅｘｔの値と同じＩＤ値を持つ、拡張表示対象を特定し、ステップＳ１５０４に戻って以降の処理を繰り返す。

図１４（ａ）の例であれば、ユーザーが「次へ」のボタンをタッチした場合、ステップＳ１５０９に進む。現在拡張表示中のマーカー１１２１に対応する拡張表示コードのｎｅｘｔの値は５である。図１６の表１６０１で、ＩＤが５であるマーカーは１１２５であるので、これを拡張表示対象として特定し、ステップＳ１５０４に戻って以降の処理をおこなう。

その結果、図１４（ｂ）のように、地図上経路で「観光案内所」の次の箇所である「水車小屋」に対する拡張表示がおこなわれるようになる。このように、複数の拡張表示に対して次々と「次へ」を指示していくことで、ユーザーが手書指定した経路の順序に従って、各箇所の拡張表示が順に実行される。
なお、ユーザーが拡張表示内の「終了」を指示した場合、どのＩＤの拡張表示をおこなっていたかを記憶しておくとしてもよい。そして、再度、図１５のフローチャートによる拡張表示処理を開始した場合、ステップＳ１５０３では、記憶されていたＩＤの拡張表示対象を最初の拡張表示対象として特定するようにしてもよい。

第３の実施形態において、図５のステップＳ５１０で取得されかつステップＳ５１１でプリントデータ中に埋め込まれる拡張表示コードは、送信されたｐｒｅｖやｎｅｘｔの値によって異なるものにしてもよい。
たとえば本実施形態であれば、図１１の拡張表示対象箇所１１０７に対応する動画内容を、ｎｅｘｔのＩＤに応じて異なるものにしてもよい。
たとえば地図紙１１００の例では、ユーザーが「売店」から「桜並木」に向かうか、あるいは「めがね橋」に向かうかで、「売店」からの経路案内動画としてそれぞれ適切なものを拡張表示スクリプトの内容として含めることができる。このようにすることで、ユーザーが手書で指定した経路に適した内容の拡張表示を提供することができる。

あるいは、第３の実施形態において、図１５のステップＳ１５０４において、サーバー１０３に送信した拡張表示コードのｐｒｅｖやｎｅｘｔの値によって、ステップＳ１５０５において、サーバー１０３から取得する拡張表示データの内容を変更してもよい。
このようにしても同様に、ユーザーが手書で指定した経路に適した内容の拡張表示を提供することができる。

第３の実施形態において、地図紙の原本である印刷データ１２００中で、拡張表示対象のマーカー記述１２０１〜１２０９において、すべて拡張表示コードは０が設定されていた。ゆえに最初にユーザーが手にした図１１（ａ）の地図紙１１００では、拡張表示はすべて無効になっていた。これを、原本の印刷データの段階で、すべてあるいは一部の拡張表示コードが設定されているようにしてもよい。
その場合ユーザーは、拡張表示装置１０２を用いて、入手した地図内の各箇所の拡張表示を閲覧することができる。その上でユーザーは、前述のように自分の散策ルートを地図上に書込み、ＭＦＰ１０１に読込ませる。このとき、経路付近に存在する拡張表示箇所に対する拡張表示のみが有効になり、それ以外の拡張表示は無効になるよう、ＭＦＰ１０１は処理をおこなうようにしてもよい。
そうすればユーザーは、拡張表示を参照した上で自身の散策ルートを決定し、決定した散策ルートを地図紙に書き込んだ後は、自身が指示した散策ルート上の拡張表示のみが表示される地図紙を得ることができる。
以上説明したように、第３の実施形態によれば、ユーザーは複数の拡張表示対象を含む地図紙に、地図紙内の経路に沿った順序で拡張表示を実行するような手書指示を追記して、ＭＦＰ１０１に読込ませると、同指示を反映した地図紙を出力として得ることができる。この地図紙は、拡張表示装置１０２で撮影した際に、前記指示どおりの拡張表示をおこなうようになる。

［その他の実施形態］
本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

２０１原稿読取部
２０２印刷部
２０３操作・表示部
２０４制御部
２０５記憶部
２０６通信部
２０７課金部
２０８認証部

Claims

拡張表示対象に対して拡張表示指示が付加された原稿を読み取って原稿の画像データを得る原稿読取手段と、
前記原稿の画像データから、前記拡張表示対象に対する前記拡張表示指示の画像データを検出する検出手段と、
前記拡張表示対象に対する前記拡張表示指示の画像データから指示内容を解釈する解釈手段と、
前記解釈手段によって拡張表示すべきと解釈された拡張表示指示が関連づけられている拡張表示対象の識別情報を、前記拡張表示対象に関する拡張表示コードを提供するサーバーに送信する送信手段と、
前記サーバーから前記識別情報に対応する前記拡張表示コードを受信する受信手段と、
前記受信手段によって受信された前記拡張表示コードを、拡張表示すべきと解釈された前記拡張表示対象に関連づけて印刷する印刷手段と
を有することを特徴とする画像処理装置。
前記検出手段は、前記原稿に手書された記号の形状を認識して、該手書された記号の指示内容を解釈することを特徴とする請求項１に記載の画像処理装置。
前記拡張表示指示は、拡張表示をする又は拡張表示をしないに関する指示を含む請求項１又は２に記載の画像処理装置。
前記拡張表示指示は、拡張表示の方法に関する指示を含む請求項１乃至３のいずれか一項に記載の画像処理装置。
前記拡張表示指示は、複数の拡張表示対象における拡張表示の実行の順序に関する指示を含む請求項１乃至４のいずれか一項に記載の画像処理装置。
前記原稿の画像データから、読取った原稿の内容に対応する印刷データを特定する手段をさらに有し、
前記読取った原稿の内容を印刷する手段は、前記特定された印刷データの中の、拡張表示対象に関連する部分のデータを、拡張表示コードが付加されたデータに、入れ替えて印刷することを特徴とする請求項１に記載の画像処理装置。
拡張表示指示にもとづいて課金情報を発生し、前記課金情報に対応する支払いが得られたときにのみ前記印刷を実行することを特徴とする請求項１に記載の画像処理装置。
前記受信手段はさらに、拡張表示をおこなう装置に固有の識別情報又は拡張表示をおこなう装置のユーザーに固有の識別情報を受け取り、
前記送信手段は、前記識別情報を前記拡張表示指示に関する情報に関連づけて前記拡張表示を提供するサーバーに送信し、
前記受信手段は、前記拡張表示を提供するサーバーから前記識別情報を用いてコード化された前記拡張表示コードを受信し、
前記印刷手段は、前記識別情報を用いてコード化された前記拡張表示コードを拡張表示すべきと解釈された前記拡張表示対象に関連づけて印刷することを特徴とする請求項１に記載の画像処理装置。
拡張表示対象に対して拡張表示指示が付加された原稿を読み取って原稿の画像データを得る読取ステップと、
前記原稿の画像データから、前記拡張表示対象に対する前記拡張表示指示の画像データを検出する検出ステップと、
前記拡張表示対象に対する前記拡張表示指示の画像データから指示内容を解釈する解釈ステップと、
前記解釈手段によって拡張表示すべきと解釈された拡張表示指示が関連づけられている拡張表示対象の識別情報を、前記拡張表示対象に関する拡張表示コードを提供するサーバーに送信する送信ステップと、
前記サーバーから前記識別情報に対応する前記拡張表示コードを受信する受信ステップと、
前記受信手段によって受信された前記拡張表示コードを、拡張表示すべきと解釈された前記拡張表示対象に関連づけて印刷する印刷ステップと
を有することを特徴とする画像処理方法。
コンピュータを、請求項１乃至８のいずれか１項に記載の画像処理装置における各手段として機能させるためのプログラム。