JP2018207230A - 情報処理装置、制御方法及びプログラム - Google Patents

Abstract

【課題】付加情報が多重化された画像を被写体として撮影する場合に、被写体を撮影する装置の姿勢を適正とするための通知を行う情報処理装置を提供する。【解決手段】情報処理装置の被写体に対する姿勢が、撮像された画像から付加情報を抽出するために適正でない場合、撮影前に、表示部に当該姿勢を適正とするための画面を表示させる。【選択図】図１８

Description

本発明は、付加情報が多重化された画像を撮影する情報処理装置、制御方法及びプログラムに関する。

画像情報に対して、画像に関連のある他の情報を多重化した電子透かし技術が知られている。電子透かし技術によれば、例えば、写真、絵画等の画像情報中に、その著作者名や、使用許可の可否等の付加情報が視覚的に判別しづらいように多重化される。また、応用分野での技術として、複写機、プリンタ等の画像出力装置の高画質化に伴い、紙幣、印紙、有価証券等の偽造を防止する目的で、紙上に出力された画像から出力機器及びその機体番号を特定するために、画像中に付加情報を埋め込む技術が知られている。

また、紙上に出力された画像中に埋め込まれた付加情報を取り出すために、スキャナや携帯端末の内蔵カメラ等の撮像デバイスで、対象の出力物の撮影を行い、その撮影画像を解析することで埋め込まれた情報を取り出す技術が知られている。ここで、対象の出力物を撮影する際には、一般に埋め込まれた情報に対して正位置で撮影した画像が必要になるが、携帯端末の内蔵カメラの場合、撮影姿勢が安定せず、回転や台形歪みが生じてしまい、情報を取り出せないことがある。

特許文献１には、付加情報を読み取る際に、画像の基準点あるいは基準線を表す印である補正マーカーの付加された補正マーカー付き透かし入り画像を用いることで、電子透かしに対して高度な幾何変換耐性を簡単な処理で実現することが記載されている。

特許第３８８８５４９号公報

上記の補正マーカーを用いる方法では、補正マーカーを読み取るために印刷物全体を撮影する必要があるので、印刷物が画角に入るまで引いて撮影しなくてはならない。その場合、印刷物が遠くなりすぎると、埋め込まれた付加情報を読み取るには解像度が足りなくなってしまう。一方、解像度を上げるために印刷物に近づいて撮影を行うと、補正マーカーが読み取れない。そのため、印刷物の端部を検出して傾きや回転角を推測し、台形補正や回転補正を行おうとしても、印刷物との距離が近いと端部が画角に入らないので上記の推測を行うことができない。

本発明の目的は、このような従来の問題点を解決することにある。上記の点に鑑み、本発明は、付加情報が多重化された画像を被写体として撮影する場合に、被写体を撮影する装置の姿勢を適正とするための通知を行う情報処理装置、制御方法及びプログラムを提供することを目的とする。

上記課題を解決するため、本発明に係る情報処理装置は、付加情報が多重化された画像を被写体として撮像する撮像手段と、前記撮像手段を有する情報処理装置の前記被写体に対する姿勢が、前記撮像手段により撮像された前記画像から前記付加情報を抽出するために適正でない場合、表示部に当該姿勢を適正とするための画面を表示させる表示制御手段と、を備えることを特徴とする。

本発明によれば、付加情報が多重化された画像を被写体として撮影する場合に、被写体を撮影する装置の姿勢を適正とするための通知を行うことができる。

画像処理システムの構成を示すブロック図である。 画像処理装置、カメラ付携帯端末のブロック構成を示す図である。 付加情報多重化部に含まれる埋込みを行う構成を示すブロック図である。 量子化条件制御部を含む全体の処理を示すフローチャートである。 水平画素数がWIDTH、垂直画素数がHEIGHTから成る画像を示す図である。 量子化条件Ａ、Ｂを説明するための図である。 付加情報分離部の構成を示すブロック図である。 付加情報分離部に用いる空間フィルタを示す図である。 二次元の周波数領域を示す図である。 図７の間引き部から判定部までの処理を示すフローチャートである。 カメラ付携帯端末の撮影時の姿勢を説明するための図である。 アオリと回転が不適正な場合を示す図である。 印刷物とカメラ付携帯端末とが正対している様子を示す図である。 ディスプレイに表示されるメッセージを示す図である。 カメラ付携帯端末の姿勢が規定の許容範囲を超えた場合を示す図である。 ディスプレイに表示されるガイダンス画面を示す図である。 ＡＰＩの例を示す図である。 表示制御処理を示すフローチャートである。

以下、添付図面を参照して本発明の実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る本発明を限定するものでなく、また本実施形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。なお、同一の構成要素には同一の参照番号を付して、説明を省略する。

図１は、画像処理システムの構成を示すブロック図である。本実施形態における画像処理システムは、画像処理装置１００とカメラ付携帯端末１０１とを含む。画像処理装置１００は、印刷機能を有する印刷装置であり、例えば、ＭＦＰ（多機能型周辺装置）である。カメラ付携帯端末１０１は、例えば、カメラ付携帯電話、カメラ付スマートフォンやタブレットＰＣである。

本実施形態では、画像処理装置１００は、付加情報が多重化された印刷物１０４を印刷する。そして、カメラ付携帯端末１０１は、撮像センサ１０７（カメラ）により、被写体としての印刷物１０４を撮像する。そのため、本実施形態では、画像処理装置１００とカメラ付携帯端末１０１との間は、有線ネットワークや無線ネットワークで相互に通信可能であっても良いし、ネットワーク等を介して通信可能に接続されていなくても良い。

画像処理装置１００は、付加情報を印刷物１０４に埋め込む付加情報多重化部１０５を含み、カメラ付携帯端末１０１は、多重化された付加情報を印刷物１０４から読み取る付加情報分離部１０８を含む。付加情報多重化部１０５は、例えば、プリント部１０６（プリンタエンジン）へ出力すべき画像情報を作成するプリンタドライバソフトウエア、もしくは、アプリケーションソフトウエアとして実現される。また、複写機、ファクシミリ、プリンタ本体等にハードウエアやソフトウエアとして内蔵される形態で実現されても良い。

また、付加情報分離部１０８は、例えば、デジタルスチールカメラで撮影した画像から付加情報を分離する内部のアプリケーションソフトウエアやハードウエアで実現されても良い。なお、本実施形態では、付加情報多重化部１０５とプリント部１０６が画像処理装置１００に含まれるものとして説明するが、付加情報多重化部１０５とプリント部１０６が、別々の装置に分けられても良い。例えば、ＰＣやスマートフォン等の情報処理装置が付加情報多重化部１０５を含み、その情報処理装置とは異なる画像処理装置がプリント部１０６を含む形態でも良い。なお、情報処理装置が、付加情報多重化部１０５と付加情報分離部１０８の両者を含んでいても良い。

［付加情報の埋込みのための構成］
入力端子１０２から多階調の画像情報が入力され、入力端子１０３から画像情報の中に埋め込むべき付加情報が入力される。この付加情報は、画像情報とは別の情報、例えば音声情報や動画情報、文字情報、画像に関する著作権、撮影日時、撮影場所、撮影者の諸情報、若しくは、全く別の画像情報等、である。さらに、付加情報は、画像ファイルとして構成された画像情報の一部として内包されていても良い。

付加情報多重化部１０５は、視覚的に判別しづらいように、画像情報中に付加情報を埋め込む（多重化する）。プリント部１０６は、付加情報多重化部１０５で作成された情報に基づいて印刷処理を実行する。プリント部１０６は、例えば、インクジェットプリンタ、レーザプリンタ等、疑似階調処理を用いることにより階調表現を印刷物１０４上に実現するプリンタである。

図２（ａ）は、画像処理装置１００のブロック構成を示す図である。ＣＰＵ２００は、画像処理装置１００の内部を統括的に制御するプロセッサである。図１の付加情報多重化部１０５は、例えば、ＣＰＵ２００により実現される。ＲＯＭ２０１やＨＤＤ２０３は、画像処理装置１００の基本プログラムや制御プログラム、各種アプリケーションやデータ等を記憶する。例えば、ＣＰＵ２００は、ＲＯＭ２０１に記憶されたプログラムをＲＡＭ２０２に読み出して実行することにより、各実施形態の動作を実現する。ＲＡＭ２０２は、ＣＰＵ２００のワーキングメモリとしても用いられる。

ネットワークインタフェース（ＮＷ Ｉ／Ｆ）２０４は、例えば、有線や無線等、ネットワークの形態に応じた構成を有する。また、通信範囲が異なる複数種類の無線ネットワークにも対応可能であり、例えば、通信距離が数ｃｍといった近距離無線通信（ＮＦＣ：Ｎｅａｒ Ｆｉｅｌｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎ）により、カメラ付携帯端末１０１と通信することも可能である。ディスプレイ２０５は、ユーザーに各設定画面やプレビュー画面等を表示する。操作部２０６は、例えば、キーボードやタッチパネル等を有し、ユーザーからの操作指示を受付可能である。

デバイスＩ／Ｆ２０７は、プリント部１０６（プリントエンジン）と、システムバス２０９とを接続する。図２（ａ）では、プリント部１０６が示されているが、画像処理装置１００の実行可能な機能に応じて、スキャナ、ＦＡＸ等、他のブロックがデバイスＩ／Ｆ２０７に接続されても良い。画像処理部２０８は、外部から取得した画像データに対して、用途に応じた画像処理を実行する。例えば、画像処理部２０８は、プリント部１０６の記録方式に応じた色空間変換や二値化処理、画像の拡大／縮小／回転、といった処理を実行する。

図２（ａ）に示す各ブロックは、システムバス２０９を介して相互に通信可能に接続される。図２（ａ）に示す構成以外の構成であっても良く、例えば、システムバス２０９とイメージデータバスとがバスブリッジを介して接続される。その場合には、例えば、デバイスＩ／Ｆ２０７がイメージデータバスに接続される。図１の入力端子１０２は、例えば、ネットワークＩ／Ｆ２０４から入力される構成を示し、また、入力端子１０３は、例えば、ネットワークＩ／Ｆ２０４や操作部２０６から入力される構成を示す。

［付加情報の読取りのための構成］
図１のカメラ付携帯端末１０１上で実行される読取アプリケーションは、撮像センサ１０７を用いて印刷物１０４上の情報を読み取り、付加情報分離部１０８によって、印刷物１０４中に埋め込まれた付加情報を分離し、出力端子１０９に出力する。この出力端子１０９は、取得した付加情報を出力するインタフェースである。例えば、画像情報や文字情報であれば、ディスプレイ１１０（表示部）へ出力し、ＵＲＬなどのリンク情報であれば、ディスプレイ１１０上でブラウザを起動してリンク先を表示する。また、外部デバイスへデータを出力するインタフェースに出力しても良い。

図２（ｂ）は、カメラ付携帯端末１０１のブロック構成を示す図である。カメラ付携帯端末１０１は、ＣＰＵやＲＯＭやＲＡＭといった、汎用的な情報処理装置の構成を含む。ＣＰＵ２１０は、カメラ付携帯端末１０１の内部を統括的に制御するプロセッサである。図１の付加情報分離部１０８は、例えば、ＣＰＵ２１０により実現される。ＲＯＭ２１１は、カメラ付携帯端末１０１の基本プログラムや制御プログラム、各種アプリケーションやデータ等を記憶する。例えば、ＣＰＵ２１０は、ＲＯＭ２１１に記憶されたプログラムをＲＡＭ２１２に読み出して実行することにより、各実施形態の動作を実現する。ＲＡＭ２１２は、ＣＰＵ２１０のワーキングメモリとしても用いられる。

ネットワークＩ／Ｆ２１３は、例えば、有線や無線等、ネットワークの形態に応じた構成を有する。また、通信範囲が異なる複数種類の無線ネットワークにも対応可能であり、例えば、通信距離が数ｃｍといった近距離無線通信（ＮＦＣ：Ｎｅａｒ Ｆｉｅｌｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎ）により、画像処理装置１００と通信することも可能である。ディスプレイ１１０は、ユーザーに各設定画面やプレビュー画面等を表示する。また、ディスプレイ１１０は、後述するが、撮像センサ１０７による撮像結果を表示する。操作部２１４は、例えば、ハードキー等を有し、ユーザーからの操作指示を受付可能である。加速度センサ１１１は、カメラ付携帯端末１０１にかかる重力加速度を検出し、地磁気センサ１１２は、カメラ付携帯端末１０１の向いている方位を検出する。図２（ｂ）に示す各ブロックは、システムバス２１５を介して相互に通信可能に接続されている。

［付加情報の埋込み処理］
図３は、図１の付加情報多重化部１０５に含まれる埋込みを行う構成を示すブロック図である。誤差拡散処理部３００は、入力端子１０２に入力された画像情報に、一般的な誤差拡散法を用いた疑似階調処理を行うことによって、入力階調数よりも少ない量子化レベルに変換し、複数画素の量子化値により、面積的に階調性を表現する。

ブロック化部３０１は、入力端子１０２に入力された画像情報を所定領域（ブロック）単位に区分する。ブロック化部３０１により行われるブロック化は、矩形に区分されても良いし、矩形以外の領域に区分されても良い。量子化条件制御部３０２は、入力端子１０３で入力された付加情報に基づいて、ブロック化部３０１にてブロック化された領域単位で、量子化条件を変更するように制御する。また、量子化条件制御部３０２は、入力端子１０３に入力された付加情報に基づき、ブロック単位で量子化条件を変更する。

次に、量子化条件制御部３０２を含む全体の処理について、図４のフローチャートを参照しながら説明する。量子化値は二値である例について説明する。図４の処理は、例えば、画像処理装置１００のＣＰＵ２００がＲＯＭ２０１に記憶されているプログラムをＲＡＭ２０２に読み出して実行することにより実現される。

Ｓ４０１では、ＣＰＵ２００は、ＲＡＭ２０２に確保された変数ｉを初期化する。ここで、変数ｉは、垂直方向のアドレスをカウントする変数である。Ｓ４０２では、ＣＰＵ２００は、ＲＡＭ２０２に確保された変数ｊを初期化する。ここで、変数ｊは、水平方向のアドレスをカウントする変数である。続いて、Ｓ４０３では、ＣＰＵ２００は、現在の処理アドレスである座標（ｉ，ｊ）が多重化処理を実行すべき領域に属しているか否かを判定する。

図５を参照しながら、多重化領域について説明する。図５は、水平画素数がWIDTH、垂直画素数がHEIGHTから成る、一つの画像を示している。本実施形態では、この画像中に付加情報が多重化される例を説明する。画像の左上を原点として、横Ｎ画素、縦Ｍ画素でブロック化が行われる。本実施形態では、原点を基準点としてブロック化が行われるが、原点から離れた点を基準点として設定するようにしても良い。この画像中に最大限の情報を多重化するために、Ｎ×Ｍのブロックを基準点から配置していくとして説明する。水平方向に配置可能なブロック数をＷ、垂直方向に配置可能なブロック数をＨとすると、ＷとＨは、式（１）及び（２）から算出される。

Ｗ ＝ ＩＮＴ（ＷＩＤＴＨ／Ｎ） ・・・（１）
Ｈ ＝ ＩＮＴ（ＨＥＩＧＨＴ／Ｍ） ・・・（２）
但し、ＩＮＴ（）は（）内の整数部分を示す。

式（１）、（２）において割り切れない剰余画素数が、Ｎ×Ｍのブロックを複数配置した時の端部に相当し、本実施形態では、その部分を符号多重化領域外とする。

図４のＳ４０３では、現在処理している注目画素が多重化領域内でない、即ち、多重化領域外であると判定された場合には、Ｓ４０４において、ＣＰＵ２００は、量子化条件Ｃを設定する。一方、多重化領域内であると判定された場合には、Ｓ４０５において、ＣＰＵ２００は、多重化すべき付加情報を読み込む。ここで、説明を容易にする為に、付加情報は、ｃｏｄｅ［］という配列を用いて、各１ビットずつ表現されるものとする。例えば、付加情報を４８ビット分の情報と仮定すると、配列ｃｏｄｅ［］には、ｃｏｄｅ［０］からｃｏｄｅ［４７］まで、各１ビットずつが格納されている。

Ｓ４０５において、ＣＰＵ２００は、ＲＡＭ２０２に確保された変数ｂｉｔに、式（３）のように、配列ｃｏｄｅ［］内の情報を代入する。

ｂｉｔ ＝ ｃｏｄｅ［ＩＮＴ（ｉ／Ｍ）×Ｗ＋ＩＮＴ（ｊ／Ｎ）］・・・（３）
Ｓ４０６では、ＣＰＵ２００は、代入された変数ｂｉｔが"１"であるか否かを判定する。前述したように、配列ｃｏｄｅ［］内の情報は各１ビットずつ格納されているので、変数ｂｉｔの値も"０"か"１"かの何れかを示すことになる。

ここで、"０"であると判定された場合には、Ｓ４０７において、ＣＰＵ２００は、量子化条件Ａを設定し、"１"であると判定された場合には、Ｓ４０８において、ＣＰＵ２００は、量子化条件Ｂを設定する。

次に、Ｓ４０９では、ＣＰＵ２００は、Ｓ４０４、Ｓ４０７、Ｓ４０８で設定された量子化条件に基づいて量子化処理を行う。この量子化処理は、誤差拡散法により行われる。

Ｓ４１０では、ＣＰＵ２００は、水平方向変数ｊをカウントアップして、Ｓ４１１において、カウントアップされた変数ｊが画像の水平画素数であるWIDTH未満か否かを判定する。ここで、変数ｊがWIDTH未満であると判定された場合、Ｓ４０３からの処理を繰り返す。一方、変数ｊがWIDTH未満でないと判定された場合、即ち、水平方向の処理がWIDTH画素数分終了した場合、Ｓ４１２において、ＣＰＵ２００は、垂直方向変数ｉをカウントアップする。そして、Ｓ４１３において、ＣＰＵ２００は、カウントアップされた変数ｉが画像の垂直画素数であるHEIGHT未満か否かを判定する。ここで、変数ｉがHEIGHT未満であると判定された場合、Ｓ４０２からの処理を繰り返す。一方、変数ｉがHEIGHT未満でないと判定された場合、即ち、垂直方向の処理がHEIGHT画素数分終了した場合、図４の処理を終了する。以上の処理により、Ｎ×Ｍ画素よりなるブロック単位で、量子化条件を変更する。

次に、量子化条件Ａ、Ｂ、Ｃの例について説明する。誤差拡散法における量子化条件には様々な因子があるが、本実施形態において量子化条件の因子は、量子化閾値である。Ｓ４０４で設定される量子化条件Ｃは、多重化領域外で用いられるので、量子化閾値はどのような条件でも良い。１画素が８ビットによる階調表現で、量子化レベルが２値の場合には、最大値である"２５５"、及び、最小値である"０"が量子化代表値となるが、その中間値となる"１２８"が量子化閾値として設定されることが多い。よって、本実施形態では、量子化条件Ｃは、量子化閾値を"１２８"の固定値とする条件とする。

Ｓ４０７で設定される量子化条件Ａと、Ｓ４０８で設定される量子化条件Ｂは、多重化領域内のブロックで用いられるので、量子化条件の違いによる画質の違いを生じさせる必要がある。但し、画質の違いは視覚的には判別しにくいように表現し、かつ、紙上から容易に識別可能である必要がある。

図６（ａ）及び（ｂ）は、量子化条件Ａ、Ｂを説明するための図である。図６（ａ）は、量子化条件Ａにおける量子化閾値の変化の周期を示す図である。図中、一つのマスを１画素分と想定し、白いマスは固定閾値、灰色のマスを変動閾値とする。即ち、図６（ａ）の例では、横８画素、縦４画素のマトリクスを組み、灰色のマスについてのみ突出した値を閾値として設定する。

図６（ｂ）は、同様に、量子化条件Ｂにおける量子化閾値の変化の周期を示した図である。図６（ｂ）の例では、図６（ａ）とは異なり、横４画素、縦８画素のマトリクスを組み、灰色のマスについてのみ突出した値を閾値として設定する。

前述したように１画素が８ビットの階調値の場合、例えば、固定閾値として"１２８"、突出した閾値を"１０"と設定する。量子化閾値が低くなると、注目画素の量子化値が"１"（量子化代表値"２５５"）になりやすくなる。即ち、図６（ａ）、（ｂ）ともに、図中の灰色のマスの並びで量子化値"１"が並びやすくなる。言い換えると、Ｎ×Ｍ画素のブロック毎に、図６（ａ）の灰色のマスの並びでドットが発生するブロックと、図６（ｂ）の灰色のマスの並びでドットが発生するブロックとが混在することになる。

誤差拡散法における量子化閾値の多少の変更は、画質的には大きな影響を及ぼさない。組織的ディザ法においては、使用するディザパターンによって、階調表現の画質が大きく左右される。しかしながら、前述したような、規則的に量子化閾値の変化を与えた誤差拡散法では、あくまでも画質を決定する階調表現は誤差拡散法であるので、ドットの並びが多少変化したり、テクスチャの発生が変化したり等は、階調表現の画質には殆ど影響を与えない。量子化閾値が変化した場合でも、あくまでも信号値と量子化値との差分となる誤差は周囲画素に拡散されるので、入力された信号値は、マクロ的に保存される。即ち、誤差拡散法におけるドットの並び、テクスチャの発生に関しては、冗長性が極めて大きいといえる。

上記のように、本実施形態では、誤差拡散法の量子化閾値に、符号を表す所定の周期性を重畳することにより、多重化を実現している。しかしながら、他の重畳方式により多重化を実現しても良い。例えば、直接ＲＧＢの値（輝度情報）に、周期性を重畳する方式により多重化を実現しても良い。または、ＲＧＢの値を、輝度−色差情報など、他の色空間情報（例えばＣＩＥ Ｌ＊ａ＊ｂ＊、ＹＣｒＣｂ信号）に分離して周期性を重畳する方式により多重化を実現しても良い。または、ＲＧＢの値をインク色（例えばＣＭＹＫ信号）に分離して周期性を重畳する方式により多重化を実現しても良い。

［付加情報の読取処理］
次に、図１の画像処理システムにおける付加情報分離部１０８の処理について説明する。この処理は、後述する、カメラ付携帯端末１０１の姿勢を適正にするための通知を利用して撮影された画像から付加情報を分離する処理である。図７は、付加情報分離部１０８の構成を示すブロック図である。説明を容易にする為に、前述の付加情報多重化部１０５の場合と同様、分割したブロック内に各１ビットずつの付加情報が多重化されている印刷物１０４から、付加情報を分離する例について説明する。当然のことながら、付加情報多重化部１０５における１ブロックあたりの付加情報量と、付加情報分離部１０８における１ブロックあたりの分離情報量とは等しくなる。

入力端子７００には、カメラ付携帯端末１０１で読み込まれた画像情報が入力される。ここで、カメラ付携帯端末１０１の撮像センサ１０７の解像度（撮像解像度）は、印刷物１０４を作成する際の印刷解像度以上が好ましい。勿論のことながら、正確に印刷物１０４のドットの点在情報を読み込むためには、サンプリング定理により、撮像センサ１０７側はプリンタ側よりも２倍以上の解像度が必要になる。しかしながら、同等以上であれば、正確でなくとも、ある程度ドットが点在しているのを判別することが可能である。本実施形態では、説明を容易にするために印刷解像度と撮像センサ１０７の解像度とは同一解像度であるとする。

ブロック化部７０１は、横Ｐ画素、縦Ｑ画素単位にブロック化を行う。ここで、各ブロックは、電子透かしの重畳時にブロック化したＮ×Ｍ画素よりも小さい。即ち、式（４）の関係が成り立つ。

Ｐ≦Ｎ、かつ Ｑ≦Ｍ ・・・（４）
また、Ｐ×Ｑ画素単位のブロック化は、ある一定間隔毎にスキップして行われる。即ち、多重化時のＮ×Ｍ画素より成るブロックと想定される領域内に、Ｐ×Ｑ画素単位のブロックが一つ内包されるようにブロック化が行われる。

空間フィルタ７０２、７０３は、それぞれ特性の異なる空間フィルタＡ、Ｂを示し、フィルタリング部７０４は、周辺画素との積和を演算するディジタルフィルタリング部を示す。この空間フィルタの各係数は、多重化時の量子化条件の変動閾値の周期に対応して設定される。ここで、付加情報多重化部１０５における量子化条件の変更が図６（ａ）及び（ｂ）の２種類の周期性を用いて行われることにより、付加情報が多重化されたとする。その場合の付加情報分離部１０８に用いる空間フィルタ７０２、空間フィルタ７０３の例を、図８（ａ）及び（ｂ）に示す。図８（ａ）及び（ｂ）中、５×５画素の中央部が注目画素になり、それ以外の２４画素分が周辺画素になる。図８（ａ）及び（ｂ）中、空白部の画素は、フィルタ係数が"０"であることを表す。図８（ａ）及び（ｂ）に示すように、図８（ａ）及び（ｂ）は、エッジ強調フィルタになっている。しかも、その強調するエッジの方向性と多重化した時の変動閾値の方向性とが図８（ａ）及び（ｂ）と図６（ａ）及び（ｂ）とで一致している。つまり、図８（ａ）は図６（ａ）に一致し、また、図８（ｂ）は図６（ｂ）に一致するように、空間フィルタが作成される。

間引き部７０５、７０６は、それぞれ、Ｐ×Ｑ画素から成るブロック内のフィルタリング後の信号（以下、変換値という）を、ある規則性に基づいて間引き処理する。本実施形態では、周期性と位相のそれぞれの規則性に分離して間引き処理を行う。即ち、間引き部７０５及び７０６では間引きの周期性が互いに異なっており、それぞれにおいて、位相を変化させた複数の間引き処理を実行する。間引き処理については後述する。

変換値加算部７０７は、間引き部７０５及び７０６により間引きされた変換値を、位相毎にそれぞれ加算する。この間引き処理及び間引き画素の変換値の加算処理は、空間フィルタで強調した所定周波数ベクトルの電力（パワー）を抽出することに相当する。

分散値算出部７０８は、それぞれの周期性において、位相毎に加算した複数の加算値の分散値を算出する。判定部７０９は、それぞれの周期性における分散値に基づいて、多重化された符号を判定する。

図９は、二次元の周波数領域を示す図である。横軸は水平方向の周波数を示し、縦軸は垂直方向の周波数を示している。中心となる原点は直流成分を示し、原点から遠ざかるにつれて、高周波域となることを示している。図９中の円は、誤差拡散によるカットオフ周波数を示している。誤差拡散法のフィルタ特性は、低周波域がカットオフされたＨＰＦ（ハイパスフィルタ）の特性を示し、そのカットオフされる周波数は、対象画像の濃度に応じて変化する。

本実施形態では、量子化閾値の変更により量子化後に発生する周波数特性が変化するが、図６（ａ）による量子化閾値の変更では、図９の周波数ベクトルＡ上に大きなパワースペクトルが生じる。また、図６（ｂ）による量子化閾値の変更では、図９の周波数ベクトルＢ上に大きなパワースペクトルが生じる。付加情報分離時には、この大きなパワースペクトルが発生する周波数ベクトルを検出することに基づいて、多重化信号の判定が行われる。本実施形態では、各々の周波数ベクトルを個別に強調、抽出することが行われる。

図８（ａ）及び（ｂ）は、特定の周波数ベクトルの方向性を有するＨＰＦに相当する。即ち、図８（ａ）の空間フィルタでは、図９の直線Ａ上の周波数ベクトルを強調することが可能になり、また、図８（ｂ）の空間フィルタでは、図９の直線Ｂ上の周波数ベクトルを強調することが可能になる。例えば、図６（ａ）に示すような量子化条件の変更により、図９の直線Ａの周波数ベクトル上に大きなパワースペクトルが発生したとする。その時に、図８（ａ）の空間フィルタではパワースペクトルの変化量が増幅するが、図８（ｂ）の空間フィルタでは、ほとんど増幅されない。つまり、複数の空間フィルタを並列にフィルタリングした場合に、周波数ベクトルが一致した空間フィルタ時のみ増幅し、それ以外のフィルタによるフィルタリングの場合には増幅がほとんどない。従って、いかなる周波数ベクトル上に大きなパワースペクトルが発生しているかを容易に判定することができる。

図１０は、図７の間引き部７０５及び７０６、変換値加算部７０７、分散値算出部７０８、判定部７０９の処理を示すフローチャートである。図１０の処理は、例えば、カメラ付携帯端末１０１のＣＰＵ２１０がＲＯＭ２１１に記憶されているプログラムをＲＡＭ２１２に読み出して実行することにより実現される。

図１０中、Ｓ１００１及びＳ１００２は、変数の初期化を示し、ＣＰＵ２１０は、ＲＡＭ２１２内に確保された変数ｉ、ｊの値を０に初期化する。Ｓ１００３では、ＣＰＵ２１０は、間引き部７０５及び７０６による間引きの規則性の因子、即ち、"周期性"及び"位相"の２因子を決定する。本フローチャートでは、周期性に関する変数をｉ、位相に関する変数をｊとする。この周期性及び位相の条件は、番号（ナンバー）により管理され、ここでは、周期性ナンバー（以下Ｎｏ．と略す）がｉ、位相Ｎｏ．がｊである間引き方法の因子を設定する。

Ｓ１００４では、ＣＰＵ２１０は、ブロック内で間引きをした変換値を加算し、その加算値を変数の配列ＴＯＴＡＬ［ｉ］［ｊ］として記憶する。Ｓ１００５では、ＣＰＵ２１０は、変数ｊをカウントアップし、Ｓ１００６において、固定値Ｊと比較する。固定値Ｊには、位相を変化させて間引き処理をする回数が格納されている。ここで、変数ｊがＪ未満であれば、Ｓ１００３に戻り、カウントアップ後のｊによる新たな位相Ｎｏ．により、間引き処理及び間引き画素の変換値の加算処理が繰り返される。

位相をずらした間引き処理及び間引き画素の変換値の加算処理が設定回数終了した場合、Ｓ１００７において、ＣＰＵ２１０は、加算結果ＴＯＴＡＬ［ｉ］［ｊ］の分散値を算出する。即ち、各加算結果が位相の差によりどの程度ばらついているかが評価される。ここでは、ｉを固定して、Ｊ個のＴＯＴＡＬ［ｉ］［ｊ］の分散値を求める。ここで、分散値をＢ［ｉ］とする。

Ｓ１００８において、ＣＰＵ２１０は、変数ｉをカウントアップし、Ｓ１００９において、固定値Ｉと比較する。固定値Ｉには、周期性を変化させて間引き処理をする回数が格納されている。ここで、変数ｉがＩ未満であれば、Ｓ１００２に戻り、カウントアップ後のｉによる新たな周期性Ｎｏ．の条件を用いて、再び、間引き処理及び間引き画素の変換値の加算処理が繰り返される。

Ｓ１００９において、ＣＰＵ２１０は、ｉが設定回数終了したと判定されると、分散値Ｂ［ｉ］は、Ｉ個算出できたことになる。Ｓ１０１０にて、Ｉ個の分散値の集合から、分散値の最大値を検出し、その時のｉの値を変数ｉｍａｘに代入する。Ｓ１０１１において、ＣＰＵ２１０は、周期性Ｎｏ．がｉｍａｘである符号を、多重化された符号であると判定する。その後、図１０の処理を終了する。

このように、量子化条件と、空間フィルタ特性と、間引き条件の周期性とを関連付けることで、多重化及び分離が容易に実現できる。本実施形態では、ブロック内の多重化符号は１ビットであった。しかしながら、多重化符号は、１ビットより多くても良い。

本実施形態では、上記のように多重化情報（付加情報）を不可視で埋め込み、さらに、撮像して読み込むので、印刷物上にコード部を配置する必要がない。従って、例えば、写真鑑賞の観点で不必要と考えられるコード部の配置を避けることができる。加えて、印刷物のコード部を撮像してその後に写真部を撮像する、あるいは、どの特徴量を使用するかのユーザー操作後に写真部を撮像する、という２アクションのユーザーの手間を必要としない。つまり、本実施形態では、印刷物の写真部のみを撮像する１アクションで実行できるので、ユーザー工数を低減し、利便性を向上させることができる。

［読み取り時の操作］
入力端子７００から送信される画像情報は、プリント部１０６による印刷物１０４を、カメラ付携帯端末１０１によって撮影しているので、プリンタ出力以前の画像情報とは異なって分離ができない場合がある。その理由としては、撮影時にカメラ付携帯端末１０１の姿勢が印刷物１０４に正対していないことから、画像に幾何学的な歪みが発生していることがある。

図１１は、カメラ付携帯端末１０１の撮影時の姿勢を説明するための図である。図１１（ａ）は、カメラ付携帯端末１０１のディスプレイ１１０がある面を示し、図１１（ｂ）は、その反対側を示す。図１１（ｂ）に示すように、カメラ付携帯端末１０１にはカメラレンズ１１００が設けられている。図１１（ｃ）は、図１１（ａ）をＸ方向から見た図であり、図１１（ｄ）は、図１１（ａ）をＹ方向から見た図である。

カメラ付携帯端末１０１の姿勢には、回転（ｙａｗ）、アオリ（ｐｉｔｃｈ）、傾斜（ｒｏｌｌ）の３種類があり、図１１（ａ）、（ｃ）、（ｄ）に示す通りである。しかしながら、幾何学変換によってこれらの影響を補正しようとしても、どれぐらいの傾きや回転角で撮影されたのかが不明であるので、補正を行うことができない。

図１２は、アオリと回転が不適正な場合を示す図である。カメラ付携帯端末１０１に、印刷物１０４に対して図１２（ａ）に示すようなアオリ角が付いており、図１２（ｂ）に示すような回転角が付いている。この場合、カメラ付携帯端末１０１から見た印刷物１０４は、図１２（ｃ）のようになっており歪みが生じているが、撮影によって取得される画像１２００では、印刷物１０４の端部が見えないので、歪みが生じていることが分からない。しかしながら、実際は歪みが生じているので、撮影された画像から多重化の分離を行うことが困難となる。

その対策として、本実施形態では、図１３（ａ）に示すように、まず、印刷物１０４の上にカメラ付携帯端末１０１を正対して重ねるために、ディスプレイ１１０に図１４（ａ）のような指示を表示する。つまり、図１４（ａ）に示すようなメッセージを表示することで、ユーザに対して、カメラ付携帯端末１０１を印刷物１０４に対して正対する位置にセットするように促す。ここで、ＯＫボタン１４０１が押下されると、加速度センサ１１１と地磁気センサ１１２の値を取得し、両方の値から回転行列を作成してシステムの座標軸に行列変換を行って回転、アオリ、傾斜を算出し、基準状態の姿勢情報としてＲＡＭ２１２内に格納する。これらの計算には公知の技術を用いれば良く、例えば図１７に示すようにＡｎｄｒｏｉｄ（登録商標）のシステム標準ＡＰＩを用いても良い。

ＯＫボタン１４０１が押下されると、姿勢情報を算出すると同時にディスプレイ１１０に図１４（ｂ）のような指示を表示する。その表示により、ユーザーーは、端末を持ち上げて所望の位置に移動して印刷物１０４の撮影を行うことになる。本実施形態では、撮影ボタン１４０２を押下することで撮影を行うが、ＯＫボタン１４０１が押下された時から動画の撮影を開始し、逐次静止画を切り出して多重化の分離処理を行っても良い。

ＯＫボタン１４０１が押下されると、基準状態の姿勢情報を算出した後からは、定期的に姿勢情報を算出し、ＲＡＭ２１２内に格納された基準状態の姿勢情報と比較して、その差分がＲＯＭ２１１内に記録された規定の許容範囲内にあるか否かを判定する。このとき、ユーザーが図１３（ｃ）に示すように印刷物１０４に対して平行なまま持ち上げることができれば、ディスプレイ１１０の表示は、図１４（ｃ）に示すように、その姿勢を維持するように通知する。しかしながら、図１５に示すように現状の姿勢情報と基準状態の姿勢情報の差分が規定の許容範囲を超えるようにユーザーが端末を持ち上げた場合、図１６に示すような画面が表示される。例えば、図１６（ａ）に示すように、規定の許容範囲を超えた値を元に戻すためのガイダンスメッセージの通知を行う。または、図１６（ｂ）に示すように、現姿勢の状態をグラフィカルに通知する。

図１６（ｂ）は、水準器とコンパスを合わせた表示になっており、泡のようなシンボル１６０２が中心にあれば、アオリと傾斜の角度が基準状態と同じであることを示している。点線矢印１６０３は、ＯＫボタン１４０１を押下した時の方角を指しているので、点線矢印１６０３が実線矢印１６０４と重なれば回転の角度が基準状態と同じであることを示している。

図１８は、本実施形態における表示制御処理の手順を示すフローチャートである。図１８の処理は、例えば、カメラ付携帯端末１０１のＣＰＵ２１０がＲＯＭ２１１に記憶されているプログラムをＲＡＭ２１２に読み出して実行することにより実現される。図１８の処理は、ユーザーによるカメラ撮影等、カメラ付携帯端末１０１の撮像センサ１０７の機能が実行されたときに開始される。または、ユーザーがカメラ付携帯端末１０１を操作してアプリケーション起動し、多重化情報を読み取る指示を入力した場合に実行されても良い。この場合、ＣＰＵ２１０は、付加情報分離部１０８を備えるアプリケーションをメモリからを読みだして実行することで後述する処理を実行する。

Ｓ１８０１では、ＣＰＵ２１０は、図１４（ａ）に示すメッセージをディスプレイ１１０に表示する。図１４（ａ）に示すように、「印刷物に端末を正対して重ね、「ＯＫ」を押して下さい」というメッセージ１４００と、ＯＫボタン１４０１とがディスプレイ１１０に表示される。Ｓ１８０２では、ＣＰＵ２１０は、ＯＫボタン１４０１が押下されたか否かを判定する。ここで、押下されたと判定された場合、Ｓ１８０３に進み、押下されていないと判定された場合、Ｓ１８０２の処理を繰り返す。

Ｓ１８０３では、ＣＰＵ２１０は、加速度センサ１１１及び地磁気センサ１１２により、カメラ付携帯端末１０１の姿勢情報を取得する。ＣＰＵ２１０は、取得された姿勢情報を、基準状態の姿勢情報としてＲＡＭ２１２等の記憶領域に保存する。つまり、ユーザが正対していることを意識してセットしたときのカメラ付携帯端末１０１の姿勢情報を、基準状態の姿勢情報として取得する。

Ｓ１８０４では、ＣＰＵ２１０は、図１４（ｂ）に示すメッセージをディスプレイ１１０に表示する。図１４（ｂ）に示すように、「端末をまっすぐ持ち上げて下さい」というメッセージ１４０３と、撮影ボタン１４０２とがディスプレイ１１０に表示される。

Ｓ１８０５では、ＣＰＵ２１０は、Ｓ１８０３で基準状態の姿勢情報を取得してから所定時間が経過したか否かを判定する。ここで、所定時間が経過したと判定された場合、Ｓ１８０６に進み、所定時間が経過していないと判定された場合、Ｓ１８０５の処理を繰り返す。Ｓ１８０６では、ＣＰＵ２１０は、加速度センサ１１１及び地磁気センサ１１２により、現時点でのカメラ付携帯端末１０１の姿勢情報を取得する。ここでの所定時間とは、ユーザがカメラ付携帯端末１０１をまっすぐ持ち上げている動作の間に、正対している状態でなくなったことを検知可能な時間間隔であり、例えば０．０５秒である。つまり、所定時間ごとにＳ１８０５において加速度センサ１１１及び地磁気センサ１１２からの姿勢情報の取得が行われる。

Ｓ１８０７では、ＣＰＵ２１０は、Ｓ１８０５で取得された姿勢情報が、Ｓ１８０３で取得された基準状態の姿勢情報から規定の許容範囲内であるか否かを判定する。なお、Ｓ１８０７の判定処理は、言い換えれば、撮像手段により撮像された画像から付加情報を抽出するために適正であるか否かを判定する処理に相当する。ここで、規定の許容範囲内であると判定された場合、Ｓ１８０８において、ＣＰＵ２１０は、図１４（ｃ）に示すメッセージ１４０４をディスプレイ１１０に表示させる表示制御処理を実行する。図１４（ｂ）に示すように、「その姿勢を維持して下さい」というメッセージ１４０４と、撮影ボタン１４０２とがディスプレイ１１０に表示される。一方、規定の許容範囲内でないと判定された場合、Ｓ１８１１を実行する。つまり、ＣＰＵ２１０は、図１６（ａ）に示すメッセージ１６０１、若しくは、図１６（ｂ）に示す水準器及びコンパスをディスプレイ１１０に表示させる表示制御処理を実行する。

Ｓ１８０８若しくはＳ１８１１におけるメッセージの表示後、Ｓ１８０９において、ＣＰＵ２１０は、撮影ボタン１４０２が押下されたか否かを判定する。ここで、撮影ボタン１４０２が押下されたと判定された場合、Ｓ１８１０において、ＣＰＵ２１０は、撮像センサ１０７により印刷物の撮影を行う。この撮影処理により、カメラ付携帯端末１０１は、印刷物に埋め込まれ付加情報を取得し、付加情報に基づいた表示処理を実行することができる。例えば、カメラ付携帯端末１０１は、撮影中の印刷物を表示しながら、付加情報に基づくメッセージ等を重ねて表示することができる。また、カメラ付携帯端末１０１は、付加情報から取得されたＵＲＬに対応する画面を表示することができる。その後、図１８の処理を終了する。一方、撮影ボタン１４０２が押下されていないと判定された場合、Ｓ１８０５からの処理を繰り返す。

以上のように、本実施形態によれば、撮影前に、カメラ付携帯端末の内蔵カメラによる電子透かし読取時の適正な撮像姿勢と現在の撮像姿勢との差分を用いて通知を行うことで、読み取りに適した撮像姿勢に修正させることができる。

（その他の実施例）
上述した実施形態では、Ｓ１８０９の前に実行されるＳ１８０７の判定処理の実行結果を用いてＳ１８０８またはＳ１８１１のメッセージ表示処理を実行していた。つまり、撮影前にメッセージ表示処理が実行されることになるが、他のタイミングでメッセージ表示処理が実行されても良い。例えば、撮影が、動画撮影のように複数回の撮影処理を実行している場合、撮影開始後にＳ１８０７のような判定処理を実行し、撮影開始後にメッセージ表示処理が実行されても良い。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００ 画像処理装置： １０１ カメラ付携帯端末： ２００、２１０ ＣＰＵ： ２０１、２１１ ＲＯＭ： ２０２、２１２ ＲＡＭ

Claims (13)

1. 付加情報が多重化された画像を被写体として撮像する撮像手段と、
   前記撮像手段を有する情報処理装置の前記被写体に対する姿勢が、前記撮像手段により撮像された前記画像から前記付加情報を抽出するために適正でない場合、表示部に当該姿勢を適正とするための画面を表示させる表示制御手段と、
   を備えることを特徴とする情報処理装置。
2. 前記情報処理装置の基準の姿勢情報を取得する第１の取得手段と、
   前記第１の取得手段により取得された前記基準の姿勢情報に基づいて、前記情報処理装置の前記被写体に対する姿勢が、前記撮像手段により撮像された前記画像から前記付加情報を抽出するために適正であるか否かを判定する判定手段と、をさらに備え、
   前記表示制御手段は、前記判定手段により前記情報処理装置の前記被写体に対する姿勢が、前記撮像手段により撮像された前記画像から前記付加情報を抽出するために適正でないと判定された場合、前記撮像手段による撮影前に、前記表示部に当該姿勢を適正とするための画面を表示させる、
   ことを特徴とする請求項１に記載の情報処理装置。
3. 前記情報処理装置を前記被写体に対して基準の姿勢となるようにセットするよう通知する第１の通知手段、をさらに備え、
   前記第１の取得手段は、前記第１の通知手段による通知の後、前記基準の姿勢を取得する、
   ことを特徴とする請求項２に記載の情報処理装置。
4. 前記第１の取得手段による前記基準の姿勢情報の取得の後、前記情報処理装置を撮影のための位置まで移動するよう通知する第２の通知手段、をさらに備えることを特徴とする請求項３に記載の情報処理装置。
5. 前記情報処理装置の姿勢情報を取得する第２の取得手段と、
   前記判定手段は、前記第２の取得手段により取得された前記情報処理装置の姿勢情報が、前記第１の取得手段により取得された前記基準の姿勢情報から規定の許容範囲にある場合、前記情報処理装置の前記被写体に対する姿勢が、前記撮像手段により撮像された前記画像から前記付加情報を抽出するために適正であると判定し、
   前記第２の取得手段により取得された前記情報処理装置の姿勢情報が、前記第１の取得手段により取得された前記基準の姿勢情報から規定の許容範囲にない場合、前記情報処理装置の前記被写体に対する姿勢が、前記撮像手段により撮像された前記画像から前記付加情報を抽出するために適正でないと判定する、
   ことを特徴とする請求項２乃至４のいずれか１項に記載の情報処理装置。
6. 前記第２の取得手段は、前記第１の取得手段による前記基準の姿勢情報の取得の後、所定の時間間隔で、前記情報処理装置の姿勢情報を取得することを特徴とする請求項５に記載の情報処理装置。
7. 前記判定手段により、前記情報処理装置の前記被写体に対する姿勢が、前記撮像手段により撮像された前記画像から前記付加情報を抽出するために適正であると判定された場合、当該姿勢を維持するよう通知する第３の通知手段、をさらに備えることを特徴とする請求項５又は６に記載の情報処理装置。
8. 前記情報処理装置の姿勢情報および前記基準の姿勢情報は、前記情報処理装置の回転の角度、アオリの角度、傾斜の角度のいずれかを含むことを特徴とする請求項５乃至７のいずれか１項に記載の情報処理装置。
9. 前記表示制御手段は、前記表示部に前記情報処理装置の姿勢を適正とするためのガイダンスメッセージを表示させることを特徴とする請求項１乃至８のいずれか１項に記載の情報処理装置。
10. 前記表示制御手段は、前記表示部に前記情報処理装置の姿勢を適正とするための画面として、水準器とコンパスのいずれかを含む画面を表示させることを特徴とする請求項１乃至８のいずれか１項に記載の情報処理装置。
11. 前記表示制御手段は、前記表示部に、前記撮像手段による撮影の指示を受け付ける受付手段をさらに表示することを特徴とする請求項１乃至１０のいずれか１項に記載の情報処理装置。
12. 情報処理装置において実行される制御方法であって、
    付加情報が多重化された画像を被写体として撮像する撮像工程と、
    前記情報処理装置の前記被写体に対する姿勢が、前記撮像工程において撮像された前記画像から前記付加情報を抽出するために適正でない場合、表示部に当該姿勢を適正とするための画面を表示させる表示制御工程と、
    を有することを特徴とする制御方法。
13. 請求項１２に記載の制御方法の各工程をコンピュータに実行させるためのプログラム。

Images