JP2019009748A - 画像処理装置、画像処理方法、及びプログラム - Google Patents

Abstract

【課題】付加情報が埋め込まれた印刷物に対する適切なスキャン方向を、ユーザに認識させることができる。【解決手段】印刷物を撮像した撮像画像に重畳表示させるオブジェクトに関する情報を、印刷物の印刷データに付加情報として埋め込む画像処理装置であって、オブジェクトを撮像画像に重畳表示させる際の、印刷物の元画像の向きに応じた表示方向と、オブジェクトの種類とを少なくとも特定可能な情報を付加情報として、印刷データに埋め込む埋め込み手段を備える。【選択図】図５

Description

本発明は、印刷物への情報埋め込みおよび、埋め込まれた情報の表示方法に関する。

近年、ＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ：拡張現実）といった技術がある。ＡＲは、現実世界で人が感知できる情報に、別の情報を加えて拡張表現する技術である。ＡＲには、例えば、スマートフォンやタブレット等の携帯端末が備えるカメラでスキャンした画像に対して、付加情報（多重化情報または埋め込み情報ともいう）を重畳させて表示するといった活用例がある。

また、印刷物に対して付加情報を埋め込む技術（以後、情報多重化技術と記載する）がある。そして、情報多重化技術により印刷物に埋め込まれた付加情報は、カメラ等で該印刷物を読み込む（スキャンする）ことで、抽出することができる。

ＡＲ技術と情報多重化技術とを使うことにより、拡張現実用の付加情報をスキャン画像に重畳させて表示することが可能となる（特許文献１参照）。例えば、図１６に示すように、印刷物（写真など）をスキャンして得られたスキャン画像にアニメーションや所望のメッセージを重畳させて表示することができる。以後、スキャン画像に重畳して表示するアニメーションやメッセージをデコレーションメッセージと称する。

図１６（ａ）には、携帯端末の画面１６０１にスキャン画像１６０２が表示されている様子が示されている。スキャン画像１６０２は、４人の人物を被写体とする写真を携帯端末のカメラでスキャンして得られた画像である。図１６（ｂ）には、デコレーションメッセージの一例が示されている。図１６（ｂ）の上部に示されるメッセージ“Ｈａｐｐｙ Ｗｅｄｄｉｎｇ”および図１６（ｂ）の下部に示されるハートマークは、動画アニメーションであり、再生時には色が変わったり文字やマークが動いたりする。また、図１６（ｂ）の中央に示されるメッセージは、ユーザが、任意に追加できるメッセージである。図１６（ｂ）に示すデコレーションメッセージを表示するために必要な情報を、写真などの印刷物に付加情報として埋め込むことで、図１６（ｃ）（ｄ）に示すように、スキャン画像にデコレーションメッセージを重畳させて表示することが可能となる。

特開２０１３−０２６９２２号公報

しかしながら、例えば印刷物が縦長のものであった場合、図１６（ｂ）に示すようなランドスケープに適したアニメーションであると、図１６（ｃ）に示す状態では、印刷物の向きとアニメーションの向きが整合しないことになる。また、ユーザが端末装置の画面１６０１の向きを縦長の印刷物に合わせた場合に、仮に端末装置の向きに合わせてアニメーションが自動回転したとする。すると図１６（ｄ）に示すように、ランドスケープ表示方式のデコレーションメッセージが、縦向きのスキャン画像内に収まらないことも起こり得る。このように、作成者の意図通りにアニメーション等のオブジェクトが表示されない場合がある。

そこで、本発明は、元画像の向きに応じた表示方向に対応する適切なオブジェクトが表示されるように、付加情報を埋め込むことができる画像処理装置を提供することを目的とする。

本発明による画像処理装置は、印刷物を撮像した撮像画像に重畳表示させるオブジェクトに関する情報を、印刷物の印刷データに付加情報として埋め込む画像処理装置であって、オブジェクトを撮像画像に重畳表示させる際の、印刷物の元画像の向きに応じた表示方向と、オブジェクトの種類とを少なくとも特定可能な情報を付加情報として、印刷データに埋め込む埋め込み手段を備える
ことを特徴とする。

元画像の向きに応じた表示方向に対応する適切なオブジェクトが表示されるように、付加情報を埋め込むことができる。

第１実施形態にかかる端末装置の構成を示すブロック図である。 図１に示す端末装置と接続される、印刷装置の構成の一例を示すブロック図である。 第１実施形態にかかる画像処理アプリケーションの動作を示すフローチャートである。 画像処理アプリケーションのトップ画面の一例を示す図である。 デコレーションメッセージ埋め込み処理を示すフローチャートである。 アニメーション選択画面とアニメーション管理情報との一例を示す図である。 アニメーション確認画面の一例を示す図である。 画像選択画面の一例を示す図である。 編集画面の一例を示す図である。 メッセージ入力画面の一例を示す図である。 プリンタの印刷設定を行う印刷設定画面の一例を示す図である。 印刷データ生成処理を示すフローチャートである。 デコレーションメッセージ表示処理のフローチャートである。 付加情報が埋め込まれた印刷物をポートレートモードでスキャンしているときの端末装置の画面の一例を示す図である。 印刷物をスキャンして得られた画像にデコレーションメッセージを重畳表示した画面の一例を示す図である。 従来技術を説明するための図である。

以下、添付図面を参照して本発明の好適な実施の形態を詳しく説明する。尚、以下の実施の形態は特許請求の範囲に係る本発明を限定するものでなく、また本実施の形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。

[実施形態１]
＜端末装置の構成＞
図１は、第１実施形態にかかる端末装置（以下、情報処理装置または画像処理装置ともいう）の構成を示すブロック図である。端末装置１００は、スマートフォンやタブレット等の携帯端末である。端末装置１００は、端末装置全体の制御を行うメインボード１１０、ＮＦＣユニット１０１、無線ＬＡＮユニット１０２、回線接続ユニット１０３、及びタッチパネルディスプレイ１０４を備える。ＮＦＣユニット１０１、無線ＬＡＮユニット１０２、回線接続ユニット１０３はそれぞれ、ＮＦＣ１１、無線ＬＡＮ１２、携帯電話回線網１３と接続される。

メインボード１１０は、ＣＰＵ１１１、プログラムメモリ１１２、データメモリ１１３、無線ＬＡＮ制御回路１１５、ＮＦＣ制御回路１１６、回線接続制御回路１１７、操作部制御回路１１８、カメラ１１９、及び不揮発性メモリ１２０を含む。これらの各構成要素は、内部バス１２１を介して互いに接続されている。

マイクロプロセッサ形態のＣＰＵ１１１は、ＲＯＭ形態のプログラムメモリ１１２に格納されている制御プログラムと、ＲＡＭ形態のデータメモリ１１３に格納されているデータの内容とに従って動作する。また、ＣＰＵ１１１は、無線ＬＡＮ制御回路１１５を介して無線ＬＡＮユニット１０２を制御することで、無線ＬＡＮ１２に接続された他の装置と通信を行う。また、ＣＰＵ１１１は、ＮＦＣ制御回路１１６を介してＮＦＣユニット１０１を制御することによって、ＮＦＣ１１に接続された他のＮＦＣ端末を検知したり、他のＮＦＣ端末との間でデータの送受信を行ったりすることができる。また、ＣＰＵ１１１は、回線接続制御回路１１７を介して回線接続ユニット１０３を制御することで、携帯電話回線網１３に接続し、音声データの送受信などを行うことができる。また、ＣＰＵ１１１は、操作部制御回路１１８を制御することによって、タッチパネルディスプレイ１０４にプリンタの情報を表示したり、タッチパネルディスプレイ１０４に対するユーザ操作を受け付けたりすることができる。また、ＣＰＵ１１１は、カメラ１１９を制御して画像を撮影することができ、撮影により得られた画像データをデータメモリ１１３の画像メモリ１１４に格納する。また、ＣＰＵ１１１は、撮影により得られた画像データ以外にも、携帯電話回線網１３、無線ＬＡＮ１２、あるいはＮＦＣ１１を通じて外部から取得した画像データを画像メモリ１１４に格納したり、外部に送信したりすることも可能である。

不揮発性メモリ１２０は、フラッシュメモリ等のメモリで構成され、電源がオフされた場合でも格納されたデータを保持することが可能である。不揮発性メモリ１２０には、例えば、電話帳データや、各種通信接続情報や過去に接続したデバイスの情報等の他、画像データや、端末装置１００に各種機能を実現させるためのソフトウエア等のプログラムが格納される。不揮発性メモリ１２０には、後述する画像処理アプリケーション（以降、単に画像処理アプリと表現する場合がある）や、画像処理アプリケーションが管理するアニメーション管理情報やアニメーションデータも格納される。また画像処理アプリを動作させるためのＯＳが格納される。

＜印刷装置の構成＞
図２は、図１に示す端末装置と無線ＬＡＮ１２を介してと接続される、プリンタ（印刷装置）の構成の一例を示すブロック図である。印刷装置２００は、印刷装置全体の制御を行うメインボード２１０、操作パネル２０１、ＮＦＣユニット２０２、及び無線ＬＡＮユニット２０３を備える。ＮＦＣユニット２０２及び無線ＬＡＮユニット２０３は、印刷装置２００の通信部として機能する。

メインボード２１０は、ＣＰＵ２１１、プログラムメモリ２１２、データメモリ２１３、スキャナ２１５、印刷部２１６、無線ＬＡＮ制御回路２１７、ＮＦＣ制御回路２１８、及び操作部制御回路２１９を備える。これらの各構成要素は、内部バス２２０を介して互いに接続されている。

マイクロプロセッサ形態のＣＰＵ２１１は、ＲＯＭ形態のプログラムメモリ２１２に格納されている制御プログラムと、ＲＡＭ形態のデータメモリ２１３に格納されているデータの内容とに従って動作する。また、ＣＰＵ２１１は、スキャナ２１５を制御して原稿を読み取り、データメモリ２１３の画像メモリ２１４に格納する。また、ＣＰＵ２１１は、印刷部２１６を制御して、データメモリ２１３の画像メモリ２１４の画像データを記録媒体に印刷することができる。また、ＣＰＵ２１１は、無線ＬＡＮ制御回路２１７を介して無線ＬＡＮユニット２０３を制御することで、原稿をスキャンして得られた画像データを、無線ＬＡＮ１２に接続された端末装置１００や他の装置に送信することもできる。また、ＣＰＵ２１１は、ＮＦＣ制御回路２１８を介してＮＦＣユニット２０２を制御することによって、ＮＦＣ１１に接続された他のＮＦＣ端末を検知したり、他のＮＦＣ端末との間でデータの送受信を行ったりすることができる。また、ＣＰＵ２１１は、操作部制御回路２１９を制御することによって、印刷装置２００の状態や機能選択メニューを操作パネル２０１に表示させたり、操作パネル２０１に対するユーザ操作を受け付けたりすることができる。なお、本実施形態における印刷装置２００は、プリンタ制御命令が付与されたＪＰＥＧファイル形式のデータを印刷することができるものとする。

＜処理フロー＞
図３を用いて、第１実施形態にかかる画像処理アプリケーションについて説明する。図３は、第１実施形態における画像処理アプリの動作を示すフローチャートである。なお、「アプリケーションが処理を行う」などの表現を用いるが、具体的には、端末装置１００のＣＰＵ１１１がアプリケーションに従って処理を実行することである。

ユーザが、端末装置１００のタッチパネルディスプレイ１０４を操作して、画像処理アプリを起動する。すると、画像処理アプリは、図４に示すトップ画面を表示する（ステップＳ３０１）。図４に示すように、トップ画面には、「見る」ボタン４０１と「作成する」ボタン４０２とが表示される。画像処理アプリは、ユーザによって、「見る」ボタン４０１と「作成する」ボタン４０２とのいずれかのボタンがタップされたかを確認する（ステップＳ３０２）。

「作成する」ボタン４０１がタップされた場合は（ステップＳ３０２のＹＥＳ）、画像処理アプリは、デコレーションメッセージ埋め込み処理（デコレーションメッセージ多重化処理ともいう）に遷移する（ステップＳ３０３）。デコレーションメッセージ埋め込み処理は、スキャン画像を装飾等するためのデコレーションメッセージを埋め込んだ印刷データを生成する処理であり、図５を用いて後述する。「見る」ボタン４０１がタップされた場合は（ステップＳ３０２のＮＯ）、画像処理アプリは、デコレーションメッセージ表示処理に遷移する（ステップＳ３０４）。デコレーションメッセージ表示処理は、印刷物をスキャンして得られた画像にデコレーションメッセージを重畳表示する処理であり、図１３を用いて後述する。

＜デコレーションメッセージ埋め込み処理＞
図５は、デコレーションメッセージ埋め込み処理を示すフローチャートである。画像処理アプリは、デコレーションメッセージ埋め込み処理に遷移すると、図６（ａ）に示すアニメーション選択画面を表示する（ステップＳ５０１）。アニメーション選択画面には、デコレーションメッセージとして表示するオブジェクト（ここではアニメーション）を、ユーザに選択させるためのボタン６０１〜６０４が配置されている。ユーザは、アニメーション選択画面を操作して、スキャン画像に重畳して表示するアニメーションを選択する。本実施形態では、アニメーションがウエディングと誕生日との２つのカテゴリで分類されているものとする。また、ウエディングのカテゴリには、ウエディング＃１とウエディング＃２との２種類のアニメーションが含まれていて、誕生日のカテゴリには、誕生日＃１と誕生日＃２との２種類のアニメーションが含まれているものとする。ボタン６０１，６０２はそれぞれ、ウエディング＃１,＃２に対応する。ボタン６０３，６０４はそれぞれ、誕生日＃１,＃２に対応する。

図６（ｂ）には、画像処理アプリがアニメーションを管理するために用いる管理テーブル（以降、アニメーション管理情報と呼ぶ）の一例が示されている。なお、説明の簡単のため、図６（ｂ）には、ウエディングのカテゴリに属するアニメーション（ウエディング＃１,＃２）に関する情報のみが記載されているが、誕生日のカテゴリに属するアニメーションについても同様に管理される。

画像処理アプリは、アニメーション管理情報を用いて、アニメーションの種類、表示方式、及びアニメーションデータを管理する。アニメーション管理情報には、図６（ｂ）に示すように、アニメーションの種類毎に、ポートレート表示方式のアニメーションデータとランドスケープ表示方式のアニメーションデータとが格納される。そして、アニメーションを特定可能なＩｎｄｅｘＮｏが、アニメーションデータごとに付与される。すなわち、ＩｎｄｅｘＮｏは、アニメーションデータの各々に一意に割り当てられる識別情報である。例えば、ウエディング＃１のポートレート表示方式のアニメーションデータには、ＩｎｄｅｘＮｏ＃１が付与され、ウエディング＃１のランドスケープ表示方式のアニメーションデータには、ＩｎｄｅｘＮｏ＃２が付与される。なお、本実施形態におけるアニメーションデータは、ＨＴＭＬ５ Ｃａｎｖａｓを使用して記述されるものとする。しかし、スキャン画像にアニメーションを重畳して表示できれば、他の記述方式を採用してもよい。また、アニメーション管理情報にアニメーションデータそのものを格納せずに、アニメーションデータが保存されている場所（アドレスなど）を格納するようにしてもよい。

ユーザが、アニメーション選択画面を操作してアニメーションを選択すると、画像処理アプリは、アニメーション確認画面を表示する（ステップＳ５０２）。図７は、アニメーション確認画面の一例を示す図である。画像処理アプリは、アプリケーション選択画面で選択されたアニメーションを、アニメーション確認画面のプレビュー領域７０１に表示する。なお、図７では、選択されたアニメーションがポートレートモードで表示されているが、選択されたアニメーションを確認できる態様であれば、いずれの表示方式でプレビュー領域７０１にアニメーションを表示させても構わない。ユーザがキャンセルボタン７０２をタップした場合には、画像処理アプリは、アニメーション確認画面の表示を終了し、画面表示をアニメーション選択画面に戻す。一方、ユーザが編集ボタン７０３をタップした場合には、画像処理アプリは、画面表示を図８に示す画像選択画面に遷移させる（ステップＳ５０３）。図８は、画像選択画面の一例を示す図である。画像選択画面において、画像挿入領域８０１または「写真アルバムから選択」ボタン８０２がタップされると、端末装置内に保存されている写真（画像）の一覧が表示される。ユーザは、その一覧の中から所望の画像を選択可能である。選択された画像は、画像挿入領域８０１に表示される。また、「カメラで撮影」ボタン８０３がタップされると、カメラアプリケーションが起動する。ユーザは、カメラアプリケーションを操作して、カメラ１１９で撮影することができる。そして、撮影により得られた画像が、画像挿入領域８０１に表示される。このようにして、ユーザは、画像選択画面にて印刷対象画像（印刷物の元画像）を選択することができる。ユーザがキャンセルボタン８０４をタップした場合には、画像処理アプリは、画像選択画面の表示を終了し、画面表示をアニメーション確認画面に戻す。

次いで、画像処理アプリは、画像選択画面で選択された印刷対象画像の向きが縦向きか、横向きかを判断する（ステップＳ５０４）。画像の向きを判断する方法としては、画像データに含まれる向き情報（例えばＪＰＥＧのＥｘｉｆ情報）に基づき判断する。画像データに向き情報が含まれない場合は、画像のアスペクト比により判断するようにしてもよい。例えば、画像のアスペクト比（例えば画像の縦の画素数を分母、横の画素数を分子とした値）が１以上の場合は横向きと判断し、それ以外の場合は縦向きと判断するようにしてもよい。

印刷対象画像が縦向きの場合は（ステップＳ５０４のＹＥＳ）、画像処理アプリは、アニメーション管理情報の中から、アニメーション選択画面で選択したカテゴリに属するアニメーションであり且つ表示方式がポートレートであるアニメーションを特定する。そして、画像処理アプリは、特定したアニメーションに対応するＩｎｄｅｘＮｏをデータメモリ１１３に保存する（ステップＳ５０５）。このとき、例えば、アニメーション選択画面で選択したアニメーションがウエディング＃１である場合には、ＩｎｄｅｘＮｏとして１が保存される。また例えば、アニメーション選択画面で選択したアニメーションがウエディング＃２である場合には、ＩｎｄｅｘＮｏとして３が保存される。印刷対象画像が横向きの場合は（ステップＳ５０４のＮＯ）、画像処理アプリは、アニメーション管理情報の中から、アニメーション選択画面で選択したカテゴリに属するアニメーションであり且つ表示方式がランドスケープであるアニメーションを特定する。そして、画像処理アプリは、特定したアニメーションに対応するＩｎｄｅｘＮｏをデータメモリ１１３に保存する（ステップＳ５０６）。このとき、例えば、アニメーション選択画面で選択したアニメーションがウエディング＃１である場合には、ＩｎｄｅｘＮｏとして２が保存される。また例えば、アニメーション選択画面で選択したアニメーションがウエディング＃２である場合には、ＩｎｄｅｘＮｏとして４が保存される。上述のように、ユーザはボタン６０１〜６０４のいずれかを選択することで、アニメーションの複数のカテゴリのうちの所望のカテゴリを選択する。そして、その所望のカテゴリのうち、ポートレート表示方式のアニメーションデータを選択するか、ランドスケープ表示方式のアニメーションデータを選択するかについては、ステップＳ５０４〜Ｓ５０６において自動的に決定される。そのため、ユーザが印刷対象画像の向きを考慮してアニメーションデータを選択しなくても、所望のカテゴリに該当し且つ印刷対象画像の向きに応じた適切なアニメーションデータが選択される。

次いで、画像処理アプリは、図９に示す編集画面を表示する（ステップＳ５０７）。図９（ａ）には、縦向きの画像が印刷対象画像として選択された場合に表示される編集画面の一例が示されている。図９（ｂ）には、横向きの画像が印刷対象画像として選択された場合に表示される編集画面の一例が示されている。ユーザは、編集画面にて印刷対象画像に埋め込むデコレーションメッセージを編集する。編集画面の画像変更ボタン９０２により、印刷対象画像を変更することができる。プレビューボタン９０３がタップされると、画像処理アプリは、印刷対象画像にデコレーションメッセージを重畳した結果（画像）を、プレビュー領域９０１に表示する。選択アニメーション確認領域９０４には、ステップＳ５０４〜Ｓ５０６の処理で特定されたアニメーションが表示される。

編集画面において選択アニメーション確認領域９０４がタップされた場合は、画像処理アプリは、ユーザがメッセージの入力を行うと判断し（ステップＳ５０８のＹＥＳ）、図１０に示すメッセージ入力画面を表示する（ステップＳ５０９）。図１０は、メッセージ入力画面の一例を示す図である。ユーザは、メッセージ入力画面にて、印刷対象画像に埋め込むデコレーションメッセージの一部であるテキストメッセージを、画面下部に表示されるソフトウエアキーボード１００３を使って入力する。入力されたテキストメッセージは、メッセージ表示エリア１００２に表示される。ＯＫボタン１００１をタップすると、画像処理アプリは、メッセージ入力画面を終了して、画面表示を編集画面に戻す。すなわち、処理はステップＳ５０７に戻る。このとき、画像処理アプリは、入力されたテキストメッセージを、データメモリ１１３に保存する。

編集画面において「次へ」ボタン９０５がタップされた場合は（ステップＳ５０８のＮＯ）、画像処理アプリは、図１１に示す印刷設定画面を表示する（ステップＳ５１０）。図１１は、プリンタの印刷設定を行う印刷設定画面の一例を示す図である。プレビュー領域１１０１には、選択した印刷対象画像のプレビューが表示される。対象プリンタ名称表示領域１１０２には、印刷するプリンタの名称が表示される。詳細な説明は省略するが、対象プリンタ名称表示領域１１０２をタップすると対象プリンタを選択することができる。印刷設定表示領域１１０４には、現時点において設定されている印刷設定が表示される。本実施形態では、部数設定、用紙サイズ、用紙の種類、フチ設定が設定可能である。設定変更ボタン１１０３をタップすると、印刷設定を変更するための画面（図示せず）が表示され、該画面にて、印刷設定表示領域１１０４に表示されている印刷設定を変更することができる。本実施形態では、ＨＴＭＬにおけるグラフィック表記手法の一つであるＳＶＧ（Ｓｃａｌａｂｌｅ Ｖｅｃｔｏｒ Ｇｒａｐｈｉｃｓ）で印刷コンテンツ（印刷対象となる画像）を記述するものとする。

ユーザは、印刷設定画面で所望の印刷設定を行った後、プリントボタン１１０５をタップして印刷の実行指示を行う。画像処理アプリは、印刷の実行指示を受け付けると、印刷データを生成し（ステップＳ５１１）、印刷データをプリンタ（ここでは印刷装置２００）に送信する（ステップＳ５１２）。これにより、付加情報が埋め込まれた印刷物がプリンタによって出力される。

ここで、ステップＳ５１１の処理（印刷データ生成処理）を説明する。図１２は、印刷データ生成処理を示すフローチャートである。

画像処理アプリは、印刷の実行指示を受け付けると、ステップＳ５１１までの処理において生成した、ＳＶＧ形式の画像データに対してレンダリングを実行して、ＲＧＢのラスターデータを生成する（ステップＳ１２０１）。

次いで、画像処理アプリは、情報多重化技術を用いて、付加情報をラスターデータに埋め込む（ステップＳ１２０２）。このとき、画像処理アプリは、ステップＳ５０５，Ｓ５０６でデータメモリ１１３に保存したアニメーションに対応するＩｎｄｅｘＮｏと、ステップＳ５０８でデータメモリ１１３に保存したテキストメッセージとを付加情報に含める。なお、本実施形態では、付加情報を視認しづらい状態で埋め込む情報多重化方法を用いる。そのような多重化方法を採用することにより、特許文献１に記載されるような、ＡＲタグなどを印刷物の一部の領域に含ませる多重化方法と異なり、印刷された画像の見た目を損なうことがない。なお、印刷物に付加情報を埋め込む方法や、スキャン画像から付加情報を抽出する方法については、周知の技術を用いても良く、詳細な説明を省略する。

次いで、画像処理アプリは、付加情報が埋め込まれたラスターデータを印刷データ（ＪＰＥＧデータ）に変換する（ステップＳ１２０３）。なお、プリンタがＪＰＥＧ以外のファイル形式（例えばＰＤＦ）のデータを印刷可能である場合には、ラスターデータをＪＰＥＧ以外のファイル形式のデータに変換してもよい。最後に、画像処理アプリは、生成した印刷データに印刷コマンド（印刷制御命令）を付与する（ステップＳ１２０４）。

＜デコレーションメッセージ表示処理＞
図１３を用いて、ステップＳ３０４のデコレーションメッセージ表示処理を説明する。図１３は、デコレーションメッセージ表示処理のフローチャートである。

デコレーションメッセージ表示処理に遷移すると、画像処理アプリは、カメラアプリケーションを起動して、印刷物を撮影可能な状態とする（ステップＳ１３０１）。そして、ユーザが、カメラアプリケーションを操作して、付加情報が埋め込まれた印刷物（より具体的には、付加情報が埋め込まれた印刷データに基づき印刷された印刷物）をスキャンする。ここで、スキャンとは、印刷物を撮像して該印刷物に印刷された画像を読み取る動作をいう。したがって、以降においてスキャン画像を撮像画像と表現する場合がある。図１４は、付加情報が埋め込まれた印刷物をポートレートモードでスキャンしているときの端末装置１００の画面の一例を示す図である。画像処理アプリは、スキャン画像から付加情報を抽出（分離）する（ステップＳ１３０２）。このとき、付加情報として、ＩｎｄｅｘＮｏが抽出される。また、ステップＳ５０９において、ユーザがメッセージの入力を行っている場合には、ＩｎｄｅｘＮｏとともにテキストメッセージが抽出される。なお、ここでの「ポートレートモード」、「ランドスケープモード」は、スキャン時の端末装置１００と印刷物との向きの関係を示す。即ち端末装置１００は、いずれのモードであっても、付加情報に基づくメッセージを同一の方向で表示する。そして、スキャン時にユーザにより端末装置１００または印刷物が回転されることで、上記２つのモードが切り替わる。

次いで、画像処理アプリは、抽出したＩｎｄｅｘＮｏから、スキャン画像に埋め込まれているアニメーションの種類（ここでは、ウエディング＃１、ウエディング＃２、誕生日＃１または誕生日＃２）を特定する。また、画像処理アプリは、抽出したＩｎｄｅｘＮｏから、アニメーションの表示方式（ここでは、ポートレートまたはランドスケープ）を特定する。画像処理アプリは、特定した種類と表示方式とに対応するアニメーションデータを不揮発性メモリ１２０から読み出す。なお、ＩｎｄｅｘＮｏによりアニメーションが一意に特定されるため、アニメーションの種類は参照されず、ＩｎｄｅｘＮｏに応じたアニメーションデータが不揮発性メモリ１２０から読み出されてもよい。画像処理アプリは、読み出したアニメーションデータを用いて、印刷物のスキャン画像にアニメーションを重畳して、端末装置１００の画面（タッチパネルディスプレイ１０４）に表示する（ステップＳ１３０３）。さらに、画像処理アプリは、ステップＳ１３０２でテキストメッセージが抽出されている場合には、該テキストメッセージを、アニメーションの表示方式に合わせてスキャン画像に重畳して表示する。図１５（ａ）には、ランドスケープモードで印刷物をスキャンして得られた画像に、デコレーションメッセージを重畳して表示した画面の一例が示されている。図１５（ｂ）には、ポートレートモードで印刷物をスキャンして得られた画像に、デコレーションメッセージを重畳して表示した画面の一例が示されている。なお、図１５（ａ）に示す例では、ＩｎｄｅｘＮｏ「２」、および、テキストメッセージ「○○君、△△さん結婚おめでとう」が印刷物に埋め込まれているものとする。また、図１５（ｂ）に示す例では、ＩｎｄｅｘＮｏ「２」のみが印刷物に埋め込まれているものとする。なお、図１５（ｂ）では、デコレーションメッセージは、端末装置１００の向きが変わっても自動回転されない。具体的には、ステップＳ１３０３において画像処理アプリは、ＯＳに対して、アニメーションの表示とともに、表示方向の指定を行う。この表示方向は、ステップＳ１３０２で付加情報から特定されたアニメーションの表示方式（ここでは、ポートレートまたはランドスケープ）により決定される。このようにＯＳは、表示方向が指定されると、端末装置１００の向き（例えば端末装置１００が備えるセンサにより検知された向き）に応じた表示の自動回転を行わない。ただし、図１６（ｄ）に示したように、表示の自動回転が行われてもよい。

以上のように、本実施形態では、印刷物を撮像した撮像画像（スキャン画像）に重畳表示させるアニメーションの表示方向（表示方式）を、印刷対象画像の向きに応じて決定する。そして、アニメーションの種類と、決定したアニメーションの表示方向とを少なくとも特定可能な情報を付加情報として、印刷物の印刷データに埋め込むようにしている。さらに、印刷物をスキャンして得られるスキャン画像から付加情報（ＩｎｄｅｘＮｏ）を抽出し、該スキャン画像に重畳すべきアニメーションの種類および表示方向を特定する。それにより、例えば図１５（ｂ）に示すように、ランドスケープ表示方式に対応するＩｎｄｅｘＮｏ（２や４）が埋め込まれた印刷物を、ポートレートモードでスキャンした場合には、ランドスケープ表示方式のアニメーションが縦向きに表示されることになる。そのため、ユーザはランドスケープモードで印刷物をスキャンすべきであると判断することができる。このように、本実施形態によれば、付加情報が埋め込まれた印刷物の適切なスキャン方向をユーザに認識させることができる。したがって、作成者（図６〜図１０の画面を操作してアニメーションを作成したユーザ）の意図通りに、アニメーションをスキャン画像に重畳表示させることができる。

なお、本実施形態では、アニメーションに対応するＩｎｄｅｘＮｏとテキストメッセージを付加情報として埋め込む例について説明した。しかし、これらに加えて、図９に示す編集画面にて決定した印刷対象画像の向きを示す情報を付加情報として埋め込むようにしてもよい。そのような形態によれば、適切な向きで印刷物がスキャンされているかを画像処理アプリが判断することができる。それにより、例えば、アニメーションを重畳表示する前、すなわちステップＳ１３０３の実行以前に、印刷物のスキャン方向が適切でないことをユーザに通知したり、スキャン方向を変更するようにユーザに促したりすることが可能となる。

また、本実施形態では、デコレーションメッセージ埋め込み処理とデコレーションメッセージ表示処理とを実行する画像処理アプリを例に説明した。しかし、デコレーションメッセージ埋め込み処理を実行するアプリケーションと、デコレーションメッセージ表示処理を実行するアプリケーションとがそれぞれ、端末装置１００にインストールされていてもよい。そして、端末装置１００のＣＰＵ１１１が、それぞれのアプリケーションに従って処理を実行するようにしてもよい。また、デコレーションメッセージ埋め込み処理を実行するアプリケーションと、デコレーションメッセージ表示処理を実行するアプリケーションとが、別々の端末装置にインストールされていてもよい。その場合、各端末装置のそれぞれが、上記アニメーション管理情報を保持することになる。なお、各端末装置からアクセス可能な共通の記憶装置に、アニメーション管理情報を格納させておいてもよい。

また、例えばオブジェクトの種類（図６（ａ）においてユーザにより選択されるカテゴリ）と、印刷される元画像の向きに対応するアニメーションデータが一意に特定可能なテーブルがプログラムメモリ１１２や不揮発性メモリ１２０に記憶されていてもよい。そして、付加情報が埋め込まれる際には、ユーザ指定のカテゴリと元画像の向きの組み合わせに対応するアニメーションデータを上記テーブルにより特定し、そのデータを読み出して元画像に埋め込むようにしてもよい。この場合、付加情報の埋め込みの際に、アニメーションの表示方向は決定されなくてもよい。また、印刷物が撮影され、アニメーションが表示される際には、アニメーションデータにより、表示方向が決定されてもよい。例えば、付加情報により特定されたアニメーションデータの画素数や、アニメーションデータファイルのヘッダ部の情報等により、アニメーションの表示方向が特定されてもよい。

（その他の実施形態）
上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。

プログラムを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤなどを用いることができる。

また、プログラムの指示に基づき、コンピュータ上で稼動しているＯｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の１以上の機能が実現されてもよい。

さらに、記憶媒体から読み出されたプログラムを、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込むようにしてもよい。そして、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが、そのプログラムの指示に基づき実際の処理の一部または全部を行い、その処理によって前述した実施形態の１以上の機能が実現されてもよい。

１１１ ＣＰＵ
１１３ データメモリ
１２０ 不揮発性メモリ

Claims (12)

1. 印刷物を撮像した撮像画像に重畳表示させるオブジェクトに関する情報を、前記印刷物の印刷データに付加情報として埋め込む画像処理装置であって、
   前記オブジェクトを前記撮像画像に重畳表示させる際の、前記印刷物の元画像の向きに応じた表示方向と、前記オブジェクトの種類とを少なくとも特定可能な情報を前記付加情報として、前記印刷データに埋め込む埋め込み手段を備える
   ことを特徴とする画像処理装置。
2. 前記オブジェクトの表示方向が、前記印刷物の元画像の向きと同じ方向である
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記埋め込み手段は、
   前記付加情報が埋め込まれた前記印刷データに基づき印刷される印刷物において前記付加情報が視認しづらいように、前記付加情報を前記印刷データに埋め込む
   ことを特徴とする請求項１または請求項２に記載の画像処理装置。
4. 前記オブジェクトがアニメーションである
   ことを特徴する請求項１から請求項３のうちのいずれか１項に記載の画像処理装置。
5. 前記印刷物を撮像した撮像画像から前記付加情報を抽出する抽出手段と、
   前記抽出手段が抽出した前記付加情報から、前記オブジェクトの種類および表示方向を特定する特定手段と、
   前記付加情報によって特定される種類のオブジェクトを前記付加情報によって特定される表示方向に従って重畳した前記撮像画像を、表示装置に表示する表示手段と、をさらに備える
   ことを特徴とする請求項１から請求項４のうちのいずれか１項に記載の画像処理装置。
6. 前記埋め込み手段は、オブジェクトの複数の種類からユーザにより選択された種類を特定可能な情報を埋め込む
   ことを特徴とする請求項５に記載の画像処理装置。
7. オブジェクトの各々に一意に割り当てられる識別情報を、オブジェクトの種類とオブジェクトの表示方向とに対応づけて格納する管理テーブルをさらに備え、
   前記埋め込み手段は、
   前記管理テーブルから、前記オブジェクトの表示方向と、ユーザによって選択された前記オブジェクトの種類とに対応する前記識別情報を取得し、取得した前記識別情報を前記付加情報として前記印刷データに埋め込み、
   前記特定手段は、
   前記管理テーブルと、前記抽出手段が抽出した前記付加情報に含まれる前記識別情報とから、前記撮像画像に重畳表示させるオブジェクトの種類および表示方向を特定する
   請求項６に記載の画像処理装置。
8. 印刷物を撮像した撮像画像から付加情報を抽出する抽出手段と、
   前記付加情報に従ってオブジェクトを重畳した前記撮像画像を、表示装置に表示する表示手段と、を備え、
   前記付加情報には、前記オブジェクトの種類と前記オブジェクトの表示方向とを少なくとも特定可能な情報が含まれ、
   前記表示手段は、
   前記付加情報によって特定される種類のオブジェクトを、前記付加情報によって特定される表示方向に従って前記撮像画像に重畳させる
   ことを特徴とする画像処理装置。
9. 印刷物を撮像した撮像画像に重畳表示させるオブジェクトに関する情報を、前記印刷物の印刷データに付加情報として埋め込む画像処理方法であって、
   前記印刷物の元画像の向きに応じた表示方向と、前記オブジェクトの種類とを少なくとも特定可能な情報を前記付加情報として、前記印刷データに埋め込む埋め込みステップを含む
   ことを特徴とする画像処理方法。
10. 印刷物を撮像した撮像画像から付加情報を抽出する抽出ステップと、
    前記付加情報に従ってオブジェクトを重畳した前記撮像画像を、表示装置に表示する表示ステップと、を含み、
    前記付加情報には、前記オブジェクトの種類と前記オブジェクトの表示方向とを少なくとも特定可能な情報が含まれ、
    前記表示ステップにおいて、
    前記付加情報によって特定される種類のオブジェクトが、前記付加情報によって特定される表示方向に従って前記撮像画像に重畳される
    ことを特徴とする画像処理方法。
11. コンピュータを、請求項１から請求項７のうちのいずれか１項に記載の画像処理装置として機能させるためのプログラム。
12. コンピュータを、請求項８に記載の画像処理装置として機能させるためのプログラム。

Images