JP2007312049A - 情報埋込処理システム、付加情報埋込装置、付加情報復元装置 - Google Patents

Abstract

【課題】付加情報を埋め込むための格子縞パターンの見栄えと悪意による付加情報の削除に対する耐力とのバランスを改善する。
【解決手段】処理対象の入力画像に元々存在する格子縞パターンを下地情報として利用する（Ｓ２１０〜Ｓ２２８）。抽出した格子縞パターンをなす直線の太さと交点位置とを特定し（Ｓ２３０，Ｓ２４０）、交点部分の線画像を、デジタルデータのビットデータに基づいて、削除するのか、残すのかを制御するとともに、削除部分の大きさを直線の太さに応じて調整することで、格子縞パターンに付加情報を埋め込む（Ｓ２５０）。
【選択図】図３

Description

本発明は、画像内に埋め込まれる付加情報を取り扱う情報埋込処理システム、付加情報埋込装置、付加情報復元装置に関する。より詳細には、画像内に所定の付加情報を埋め込んでおき、復号処理によって埋め込んだ付加情報を復号し、復号した付加情報に基づいて、各種の情報処理を行なう際に利用される付加情報処理技術に関する。

画像データに対し、１次元バーコードや２次元バーコード（ＱＲコードなど）などの付加情報を埋め込んでおき、この付加情報を利用して、元の画像の所在を特定したり、情報の秘匿化を図るとともに埋め込まれた部分の元情報の再現など、付加情報を利用した様々なサービス処理を行なう仕組みが種々提案されている。

この際、付加情報の存在そのものを、人間の目には認識し難いような形式で付加する、あるいは付加情報の存在そのものは人間の目で認識可能であるが、その意味内容については認識し難いような形式で付加する、いわゆる電子透かし技術あるいは画像深層埋込技術と称される、不可視情報の埋込技術が種々提案されている（たとえば特許文献１〜３を参照）。

特開平６−４０１９０号公報 特開平１１−１６８６１６号公報 特開２００１−１４４９４４号公報

たとえば、各種データの電子化やデジタル情報化に伴って、デジタル情報に対して、著作権に関する情報や他の属性情報を不可視情報として付加する、電子署名や電子透かしの技術が種々検討されており、たとえば、写真などの著作権を持った画像情報や、証券や各種金券などに対する複製や改竄の防止などに利用されようとしている。

また、たとえばプリンタ装置、ファクシミリ装置、あるいはそれらの機能を有する複合機など、所定の非電子出力媒体（たとえば印刷用紙）上に画像を形成して出力する画像形成装置において、出力しようとする文書画像に加えて、付加情報を埋め込むための縞パターン画像を下地情報として利用し、この下地情報を使って、他の情報を埋め込む仕組みが採られることもある。

たとえば、文書画像に不可視の制御情報を重畳した印刷物を生成し、その埋め込んだ制御情報を利用することで、文書のトレースを可能にし、また、その紙情報をベースに作業をする際に作業指示を容易にするような技術が開発されている。

しかしながら、従来提案されている付加情報処理技術は、それぞれ特有の仕組みを使っており、利点もあれは不利な点もあるので、実際の所は、用途や性能などによって、何れの方式のものを使うかを検討する必要がある。こういった点では、さらに別な方式の付加情報処理技術があれは、その選択の幅が広がるので好ましい。

本発明は、このような観点からなされたものであり、従来提案されている付加情報処理技術とは別の新たな方式の付加情報処理技術を提供することを目的とする。

本発明に係る仕組みにおいては、格子縞パターンを、付加情報を埋め込むための下地情報として利用することとし、この格子縞パターンの交点部分に線画像が存在するか否かで付加情報を埋め込むようにする。

すなわち、付加情報埋込装置側においては、格子縞パターンの交点部分の線画像を、付加情報のデジタルデータに基づいて、削除するのか、残すのかを制御することで、付加情報を格子縞パターンに埋め込むようにし、付加情報復元装置側では、格子縞パターンの交点部分に線画像が存在するか否かで、交点部分に埋め込まれている付加情報を復元する。

ここで、付加情報を埋め込むための下地情報として利用する格子縞パターンは、処理対象の入力画像に元々存在するものを使用してもよいし、処理対象の入力画像に格子縞パターンが存在していなければ、格子縞パターンを生成して入力画像に重畳するようにしてもよい。

また、交点部分の線画像を、付加情報のデジタルデータのビットデータに基づいて、削除するのか、残すのかを制御するに当たっては、交点部分そのものの線画像を、付加情報のデジタルデータのビットデータに基づいて、削除するのか、残すのかを制御することで、交点ごとに、１ビットのデジタルデータを対応付ける第１の手法を採ることができる。

また、交点部分の線画像を、付加情報のデジタルデータに基づいて、削除するのか、残すのかを制御するに当たっては、交点部分に入り込むｎ本の線画像（交点入力線と称する）のそれぞれについて、デジタルデータのそれぞれ異なる所定のビットを割り当てるようにし、そのｎ本の交点入力線の交点近傍を、付加情報のデジタルデータに基づいて、削除するのか、残すのかを制御することで、交点ごとに、ｎビットのデジタルデータを対応付ける第２の手法を採ることもできる。

なお、本発明に係る仕組みは、電子計算機（コンピュータ）を用いてソフトウェアで実現することもでき、このためのプログラムやこのプログラムを格納した記録媒体を発明として抽出することも可能である。プログラムは、コンピュータ読取り可能な記憶媒体に格納されて提供されてもよいし、有線あるいは無線による通信手段を介した配信により提供されてもよい。

本発明によれば、下地情報としての格子縞パターンの交点部分の線画像を、デジタルデータに基づいて、削除するのか、残すのかを制御することで、格子縞パターンに付加情報を埋め込むようにした。

従来にはない新たな付加情報処理技術を提供できるので、従来提案されている付加情報処理技術との対応から、用途や性能などによって、何れの方式のものを使うかを検討する際に、その選択の幅が広がる。

また、処理対象の入力画像に元々存在する格子縞パターンを下地情報として利用するようにすれば、格子縞パターンが目障りとなることはほぼ考えらず、下地情報の見栄えと悪意による付加情報の削除に対する耐力とのバランスを改善することができる。

以下、図面を参照して本発明の実施形態について詳細に説明する。

＜＜画像処理システムの構成＞＞
図１は、本発明に係る画像処理装置を備えた画像処理システムを示す概略図である。この画像処理システム１は、画像入力端末３と、画像出力端末４とを備え、画像内に埋め込まれる付加情報を取り扱う情報埋込処理システムとして構成されている。

画像入力端末３は、デジタルドキュメント（以下単にドキュメントという）ＤＯＣを作成したり編集したりなどの画像に関連する処理をする、たとえばパソコン（パーソナルコンピュータ）３ａ、カラースキャナ３ｂ、デジタルカメラ３ｃ、またはハードディスク装置や光磁気ディスク装置あるいは光ディスク装置などのデータ格納装置３ｄ、さらにはＦＡＸ装置３ｅなど、任意数の画像入力ソースを含み得る。

画像出力端末４は、本発明に係る画像処理装置の一例であって、たとえば複写機能、ページプリンタ機能、およびファクシミリ送受信機能などの複合機能を備えた複合機（マルチファンクション機）として構成された画像形成装置であり、デジタルプリント装置として構成されている。

画像入力端末３のそれぞれには、ドキュメントＤＯＣ作成用のアプリケーションプログラムなどが組み込まれる。たとえば、画像入力端末３側にて用意されるドキュメントＤＯＣを表す電子データは、画像出力端末４で処理可能な画像フォーマット（たとえば、ＪＰＥＧ、ＢＭＰ、ＰＮＧなど）で記述される。またたとえば、パソコン３ａで作成された文書ファイルは、たとえばプリンタなどで印刷出力するために、図形、文字などの拡大、回転、変形などが自由に制御できるページ記述言語（ＰＤＬ：Page Description Language ）で記載されたデータとして画像出力端末４に送られる。

ＰＤＬで作成されているデータ（ＰＤＬデータ）は、ページ内の任意位置の画像、図形、文字を表現する描画命令およびデータを任意の順で配置した命令およびデータ列で構成されている。このＰＤＬデータを受け取った画像出力端末４は、印字前に出力単位ごと（１ページごと）に画像データをレンダリング（描画展開）してからプリンタエンジン部にそのラスタデータを出力する。

画像出力端末４は、大まかに、付加情報の埋込処理が可能な付加情報埋込装置の機能を持つ画像形成装置５と、付加情報が埋め込まれている画像を紙媒体などの非電子媒体（たとえばスキャンして取り込む）や電子データ（たとえばデジタルカメラで撮像）として取り込み、この付加情報が埋め込まれている画像から付加情報を復元し、この復元した付加情報を利用して所定のサービス処理を行なう付加情報復元装置の機能を備えた情報処理装置６とを備えている。

なお、画像入力端末３に、付加情報の埋込処理が可能な付加情報埋込装置の機能を持たせて、画像出力端末４では、付加情報が既に埋め込まれた出力データ（ドキュメントＤＯＣ）をネットワーク９を介して受け取って、印刷処理などの画像形成出力処理を実行し、また付加情報に関する所望の処理（特に付加情報復元処理）を実行するシステム構成にすることもできる。

画像出力端末４は、接続ケーブルを介してネットワーク９に接続可能になっている。たとえば、接続ケーブルは、ＣＳＭＡ／ＣＤ（Carrier Sense Multiple Access with Collision Detection）型ＬＡＮ（Local Area Network；たとえばＩＥＥＥ８０２．３）やギガビット（Giga Bit）ベースのＬＡＮ（以下纏めて有線ＬＡＮ９ａという）によりパソコン３ａなどの画像入力端末３に接続される。

あるいは一般加入電話網（ＰＳＴＮ：Public Switched Telephone Network ）９ｂを介してＦＡＸ装置３ｅなどの画像入力端末３に接続される。なお、一般加入電話網ＰＳＴＮに代えて、ＩＳＤＮ(Integrated Switched Digital Network )またはインターネットを含む他の通信媒体を利用してファクシミリをやり取りするようにしてもよい。

また、画像出力端末４は、たとえばＩＥＥＥ（Institute of Electrical and Electronics Engineers, Inc. ；米国電気電子学会）１３９４規格のデバイス３ｆやＵＳＢ（Universal Serial Bus）２．０規格のデバイス３ｇなどとも接続可能となっており、これらのデバイス３ｆ，３ｇからデジタル画像データを受け付けることもできる。あるいは、これらデバイス３ｆ，３ｇを介してリモートで画像出力端末４を制御することもできるようになっている。

また、画像出力端末４は、表示装置や印刷装置（プリンタ）を出力デバイスとして利用することで、処理済みの画像を出力する。出力された画像は、画像出力端末４において、２次利用（再利用）され得る。

このとき、たとえば、出力装置８として、付加情報が埋め込まれたままでの出力を行なうメインの出力装置と付加情報を復元して出力処理を行なうローカルの出力装置とを利用して情報処理を行なうようにすることができる。たとえば、取り込んだ画像に付加情報が埋め込まれている場合、この付加情報をそのまま含む全体画像をメイン出力装置８ａにて表示出力もしくは印刷出力する。また、必要に応じて（たとえばユーザからの指示を受けて）、付加情報が埋め込まれていた部分から付加情報を復元して、その復元した付加情報に基づいてデータベースを作成するなどの処理した結果を、データ格納装置に保存し、また必要に応じて、付加情報提示部として機能するローカル出力装置８ｂにて表示出力もしくは印刷出力する。

なお、付加情報埋込処理や付加情報抽出処理（纏めて付加情報処理と称する）を実行する機能部を持つ画像処理装置を搭載した画像入力端末３や画像出力端末４などの電子機器は、プリンタ、複写機、ＦＡＸ装置、あるいは複合機などの画像形成装置の他、携帯電話、デジタルカメラ、パーソナルコンピュータ、ＣＤ（コンパクトディスク）レコーダ、ＤＶＤレコーダ、ＭＤレコーダなど、何れのものであってもよく、各種の電子機器に、付加情報処理機能を持つ画像処理部が組み込まれる。

また、付加情報処理機能は、各種の機能部の一部を、ハードウェア処理回路により構成することに限らず、その機能を実現するプログラムコードに基づき電子計算機（コンピュータ）と同様の仕組みを用いてソフトウェア的に実現することが可能である。

ソフトウェアにより所定の処理（特に本実施形態では付加情報処理）を実行させる仕組みとすることで、ハードウェア処理回路で構成される各機能要素の一部を取り外した構成にすることができ、またハードウェアの変更を伴うことなく、処理手順などを容易に変更できる利点を享受できるようになる。これに対して、ハードウェア処理回路で行なうことで、高速化を図ったアクセラレータシステムを構築することができるようになる。アクセラレータシステムは、処理が複雑であっても、処理速度の低下を防ぐことができ、高いスループットを得ることができる。

電子計算機と同様の仕組みで、付加情報処理機能をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ（組込マイコンなど）、あるいは、ＣＰＵ（Central Processing Unit ）、論理回路、読出専用の記憶部であるＲＯＭ（Read Only Memory）、随時書込みおよび読出しが可能であるとともに揮発性の記憶部の一例であるＲＡＭ（Random Access Memory）、あるいは不揮発性の記憶部の一例であるＲＡＭ（ＮＶＲＡＭと記述する）を始めとする記憶装置などの機能を１つのチップ上に搭載して所望のシステムを実現するＳＯＣ（System On a Chip：システムオンチップ）、または、各種のプログラムをインストールすることで各種の機能を実行することが可能な構成で、記録媒体からインストールされる。

記録媒体は、コンピュータのハードウェア資源に備えられている読取装置に対して、プログラムの記述内容に応じて、磁気、光、電気などのエネルギの状態変化を引き起こして、それに対応する信号の形式で、読取装置にプログラムの記述内容を伝達できるものである。

なお、上記において“揮発性の記憶部”とは、装置の電源がオフされた場合には、記憶内容を消滅してしまう形態の記憶部を意味する。一方、“不揮発性の記憶部”とは、装置のメイン電源がオフされた場合でも、記憶内容を保持し続ける形態の記憶部を意味する。記憶内容を保持し続けることができるものであればよく、半導体製のメモリ素子自体が不揮発性を有するものに限らず、バックアップ電源を備えることで、揮発性のメモリ素子を“不揮発性”を呈するように構成するものであってもよい。

また、半導体製のメモリ素子により構成することに限らず、磁気ディスクや光ディスクなどの媒体を利用して構成してもよい。たとえば、ハードディスク装置や光／磁気ディスク装置を不揮発性の記憶部として利用できる。また、ＣＤ−ＲＯＭなどの記録媒体から情報を読み出す構成を採ることでも不揮発性の記憶部として利用できる。

＜付加情報埋込装置：第１実施形態＞
図２は、電子機器に備えられる付加情報埋込装置をなす各機能部の詳細構成例の第１実施形態を示す図である。

たとえば、第１実施形態の付加情報埋込装置２００は、処理対象画像を取得する画像取得部２０２と、基本情報を取り込む基本情報取得部２０６と、基本情報取得部２０６が取り込んだ基本情報から個別情報を抽出して、埋込対象となるコードデータを生成する埋込コード情報生成２０８と、２次元格子状の格子縞（Cross Stripes ）パターンＰＴcsでなる下地情報に、埋込コード情報生成２０８が生成したコードデータを埋め込む付加情報埋込処理部２１０とを有している。

なお、格子縞パターンＰＴcsは、直交格子や斜行格子、あるいは直交格子と斜行格子とを組み合わせたもの、角度の異なる直交格子や斜行格子を重ね合わせたものなど、複数の直線が交差する部分を持つパターンであればどのようなものであってもよい。また、格子縞パターンＰＴcsをなす各直線（罫線）は、単一色のものであるのがよい。単一色であればよく、無彩色（モノクロ；たとえば黒色）に限らず、有彩色（たとえば赤色や黄色や水色など）であってもよい。

処理対象画像は、画像読取部により読み取られた画像や、ネットワークを介して取得した印刷画像や、自装置内に組み込まれるワープロや表計算などのアプリケーションソフトなどを利用して生成された文書画像など、何れのものであってもよい。また、この処理対象画像を表わす入力データは、格子縞パターンＰＴcsをなす各直線の情報をベクトル情報で持つものであってもよいし、ラスタデータ（ビットマップデータ）であってもよい。

付加情報埋込処理部２１０は、画像取得部２０２が取得した処理対象画像が、コードデータを埋め込み得る格子縞パターンＰＴcsを含むものであるか否かを判定する処理対象画像判定部２１２と、処理対象画像は格子縞パターンＰＴcsを含むものでないと処理対象画像判定部２１２が判定したときにコードデータを埋め込み得る格子縞パターンＰＴcsを下地情報として生成し、処理対象画像に重畳する下地情報生成部２１４とを有している。

また、付加情報埋込処理部２１０は、画像取得部２０２が取得した処理対象画像は格子縞パターンＰＴcsを含むものであると処理対象画像判定部２１２が判定したときに、その格子縞パターンＰＴcsをなす直線を抽出する直線抽出部２１６と、下地情報生成部２１４が生成した格子縞パターンＰＴcsをなす直線もしくは直線抽出部２１６が抽出した直線の構造（たとえば太さ）を特定する直線構造特定部２１８と、下地情報生成部２１４が生成した格子縞パターンＰＴcsをなす直線もしくは直線抽出部２１６が抽出した直線に基づいて、複数の直線がなす交点座標を特定する交点位置特定部２２０とを有している。

下地情報生成部２１４と直線抽出部２１６とにより、付加情報を埋め込むための下地情報として、線画像が２次元格子状に配置された格子縞パターンＰＴcsを取得する格子縞パターン取得部２１７が構成される。

また、付加情報埋込処理部２１０は、交点位置特定部２２０が特定した交点部分の直線画像を削除する機能を持つ直線画像削除部２２２と、埋込コード情報生成２０８により生成されたコードデータに基づいて直線画像削除部２２２における処理を制御する、すなわち、付加情報として埋め込むコードデータに基づいて交点位置特定部２２０が特定した交点部分の直線画像を削除するのか削除しないのか（以下“削除する／削除しない”と記す）を制御する直線画像削除制御部２２４とを備えている。

直線構造特定部２１８、交点位置特定部２２０、直線画像削除部２２２、および直線画像削除制御部２２４により、格子縞パターン取得部２１７が取得した格子縞パターンＰＴcsの交点部分に、付加情報を表わすデジタルデータを埋め込む付加情報埋込部２２９が構成される。

ここで、第１実施形態の直線画像削除部２２２と直線画像削除制御部２２４とによるコードデータＦｃの交点部分への対応付け処理は、格子縞パターンＰＴcsを構成する直線画像の交点部分そのものを、埋込コード情報生成２０８により生成されたコードデータＦｃのビットデータに対応付けて、削除する／削除しないを調整する点に特徴を有する（詳細は後述する）。第２実施形態の直線画像削除部２２２の処理との比較では、１つの交点部分には１ビットのデータを割り当てる点で相違がある。

直線画像削除部２２２は、削除する交点部分の画像の大きさを一律としてもよいが、直線構造特定部２１４により特定された直線の太さ（すなわち線幅）に応じて、削除する交点部分の画像の大きさを調整するようにするとよい。すなわち、削除する交点部分の画像の大きさを一律とする場合には、直線構造特定部２１４を備えていなくてもよい。

＜付加情報埋込処理：第１実施形態＞
図３〜図７は、電子機器に備えられる第１実施形態の付加情報埋込装置２００における付加情報埋込処理機能を説明する図である。

ここで、図３は、第１実施形態の付加情報埋込処理を実現する処理手順の一例を示すフローチャートである。図４は、第１実施形態の付加情報埋込処理において取り扱う格子縞パターンＰＴcsが存在する入力画像情報の一例を示す図である。図５は、第１実施形態の付加情報埋込処理において用いる下地情報（格子縞パターンＰＴcs）の一例を示す図である。図６は、交点位置特定部２２０による交点位置の特定処理を説明する図である。図７は、直線画像削除部２２２と直線画像削除制御部２２４との連携処理による付加情報埋込結果である付加情報埋込画像Ｇout の一例を示す図である。

本実施形態の付加情報埋込処理は、下地情報として直線画像を使用することにして、罫線の交点部分について、交点画像を削除する／削除しないを、埋込コード情報生成２０８により生成された、埋め込もうとするコードデータに基づき制御する点に特徴を有する。

付加情報の埋込対象となる画像情報が、付加情報埋込装置２００に入力され、画像取得部２０２は、その入力画像データＤin１を受け取る（Ｓ２００）。たとえば、画像取得部２０２は、図４に示すように、表計算ソフトを用いて作成された、罫線と、罫線枠の内外に所定の情報が記入された文書情報を取得する。この場合、罫線そのもので構成される格子縞パターンＰＴcsが、付加情報を埋め込み得るものとなる。あるいは、画像取得部２０２は、付加情報を埋め込み得る格子縞パターンＰＴcsを持たない画像情報を取得することもある。

基本情報取得部２０６は、付加情報の埋込処理に関係する基本情報Ｆａを取り込む（Ｓ２０２）。この基本情報は、処理対象画像データに埋め込むコードデータの元になる情報であって、文字列、数字、あるいは画像データなど、様々な情報であってよい。たとえば、基本情報取得部２０６は、画像取得部２０２が取得した入力画像データが、表計算ソフトを用いて作成された文書情報である場合、表のフォーム番号や、表の枠内に記入されているデータなど、表に関係する各種の情報を基本情報として取り込む。たとえば、アドレス帳の表データである場合、郵便番号や氏名や氏名の振仮名や住所などを基本情報として取り込む。

あるいは、基本情報取得部２０６は、指示受付部（図示せず）を介して受け付けた文字列や数字のユーザによる入力情報を基本情報Ｆａとして取得してもよい。この場合、入力された基本情報Ｆａそのものを実際に埋め込もうとする個別情報Ｆｂとして取り扱うこともできる。

埋込コード情報生成２０８は、基本情報取得部２０６が取得した基本情報Ｆａから実際に埋め込もうとする個別情報Ｆｂを抽出して、この個別情報Ｆｂを埋込対象となるコードデータＦｃに変換する（Ｓ２０４）。

たとえば、基本情報取得部２０６により取得された基本情報中から抽出した個別情報Ｆｂを元に所定の符号化フォーマットに変換し、実際に画像データに埋め込むコードデータＦｃを作成する。また、個別情報Ｆｂそのものがコードで示される情報であれば、符号化フォーマットに変換することは不要である。たとえば、“フォーム番号＋郵便番号＋氏名の振仮名”をコードデータＦｃにする場合であれば、“フォーム番号＋郵便番号＋氏名の振仮名のアスキー（ＡＳＣＩＩ）コード”を個別情報Ｆｂとし、これを符号化することでコードデータＦｃとする。

付加情報埋込処理部２１０は、２次元格子状の格子縞パターンＰＴcsでなる下地情報に、埋込コード情報生成２０８が生成したコードデータＦｃを埋め込む。具体的には、先ず、処理対象画像判定部２１２は、画像取得部２０２が取得した処理対象画像が、コードデータＦｃを埋め込み得る格子縞パターンＰＴcsを含むものであるか否かを判定する（Ｓ２１０）。

処理対象画像中に格子縞パターンＰＴcsが存在しないと処理対象画像判定部２１２が判定した場合（Ｓ２１０−ＮＯ）、下地情報生成部２１４は、コードデータＦｃを埋め込み得る、つまり情報埋込のベースとなる格子縞パターンＰＴcsを下地情報として生成する（Ｓ２１４）。たとえば、図５（Ａ）に示すように、所定のピッチで縦（垂直方向／副走査方向）および横（水平方向／主走査方向）に所定の太さの線を配置した格子縞パターンＰＴcsを生成する。あるいは、図５（Ｂ）に示すように、所定のピッチで斜め４５度と斜め−４５度に傾いた状態で、所定の太さの線を配置した格子縞パターンＰＴcsを生成する。

この格子縞パターンＰＴcsを生成する際には、所定太さの線のピッチや濃度や色彩を如何様にするかに留意するとよい。具体的には、格子縞パターンＰＴcsが、全体として均一色（たとえば灰色や、薄い赤、薄い青、薄い黄など）として識別されることがない程度に、粗いピッチにしておくのがよい。その限りにおいて、ピッチは等間隔である必要はない。こうすることで、コードデータＦｃを埋め込むために追加する格子縞パターンＰＴcsが、文字情報や画像などの入力画像データＤin１が本来持つ主情報の識別に目障りとならないようにすることができる。つまり、見栄えを劣化させる度合いを少なくすることができる。

なお、たとえば表計算ソフトで作成された処理対象画像（たとえば図４を参照）などのように、入力画像データＤin１そのもので示される処理対象画像中に格子縞パターンＰＴcsが存在する場合、その格子縞パターンＰＴcsは、元々、必要なものとして使用されているものであり、文字情報や画像などの処理対象画像が本来持つ主情報の識別に目障りとならないし、見栄えも問題とならないと考えてよい。

処理対象画像中に格子縞パターンＰＴcsが存在すると処理対象画像判定部２１２が判定した場合（Ｓ２１０−ＹＥＳ）、直線抽出部２１６は、その格子縞パターンＰＴcsをなす直線を抽出する（Ｓ２２０）。

たとえば、格子縞パターンＰＴcsをなす各直線の情報がベクトル情報であれば（Ｓ２２１−Vector）、そのベクトル情報に基づいて直線を抽出すればよい（Ｓ２２２）。一方、直線を含む処理対象画像がラスタデータ（ビットマップデータ）である場合には（Ｓ２２１−Raster）、直線抽出部２１６は先ず、処理対象画像について、格子縞パターンＰＴcsをなす直線の方向に沿ってヒストグラムを作成することで直線の候補を抽出する（Ｓ２２４）。たとえば、直交格子の格子縞パターンＰＴcsを取り扱う場合であれば、主走査方向および副走査方向のそれぞれについてヒストグラムを作成し、直線の候補を抽出する。

次に、直線抽出部２１６は、直線の候補に着目し、ウィンドウを広げて、ライン単位で接続をチェックする（Ｓ２２６）。そして、接続長が所定長さ以上となるものを直線であると判定することで、直線を特定する（Ｓ２２８）。

なお、ここで示した直線抽出処理は一例に過ぎず、たとえば、文字認識ソフトにおいて、表部分の罫線を特定する処理をそのまま流用することができる。

次に、直線構造特定部２１８は、下地情報生成部２１４が生成した格子縞パターンＰＴcsをなす直線もしくは直線抽出部２１６が抽出した直線の構造、特に直線の太さＬth（Thickness ）を特定する（Ｓ２３０）。たとえば、何ドット（画素）分の直線であるかを特定する。

また、交点位置特定部２２０は、下地情報生成部２１４が生成した格子縞パターンＰＴcsをなす直線もしくは直線抽出部２１６が抽出した直線に基づいて、複数の直線がなす交点（point of intersection ）の座標位置Ｐint を特定する（Ｓ２４０）。

たとえば、直交格子の格子縞パターンＰＴcsを取り扱う場合であれば、図６に示すように、主走査方向（水平方向：horizontal）の直線Ｌｈの始点Ｈ０と終点Ｈ１の座標をそれぞれＨ０（Ｘ０，Ｙ０），Ｈ１（Ｘ１，Ｙ０）とし、副走査方向（垂直方向：vertical）の直線Ｌｖの始点Ｖ０と終点Ｖ１の座標をそれぞれＶ０（Ｚ０，Ｗ０），Ｖ１（Ｚ０，Ｗ１）としたとき、“Ｘ０＜Ｚ０＜Ｘ１”かつ“Ｗ０＜Ｙ０＜Ｗ１”のとき、交点Ｐint （Ｚ０，Ｙ０）を特定することができる。

次に、直線画像削除部２２２と直線画像削除制御部２２４とによる連携処理によって、交点位置特定部２２０により特定された格子縞パターンＰＴcsの交点座標Ｐint 部分の直線画像を、埋込コード情報生成２０８で生成されたコードデータＦｃに基づいて、削除したり、そのまま残したりする（Ｓ２５０）。つまり、交点位置特定部２２０により特定された交点部分へ埋込コード情報生成２０８により生成されたコードデータＦｃを対応付けるのである。

ここで、第１実施形態のコードデータＦｃの交点部分への対応付け処理としては、格子縞パターンＰＴcsを構成する直線画像の交点部分そのものを、埋込コード情報生成２０８により生成されたコードデータＦｃのビットデータに対応付けて、削除したり、そのまま残したりする点に特徴を有する。

たとえば、交点の画像を削除しないときを“１”（Ｓ２５２−ＹＥＳ）、削除したときを“０”として（Ｓ２５２−ＮＯ，Ｓ２５４）、コードデータＦｃを交点部分に埋め込む。交点位置特定部２２０により特定された交点に対して、埋込コード情報生成２０８により符号化（エンコード）されたコードデータＦｃのゼロに対して交点画像を削除するのである。

直線画像削除制御部２２４は、埋込コード情報生成２０８により生成されたコードデータＦｃに基づいて、交点位置特定部２２０が特定した交点部分の直線画像を、“ビットデータ＝０”のときには直線構造特定部２１８により特定された直線の太さＬthに応じた大きさで削除するが、“ビットデータ＝１”のときには削除せずにそのまま残すように、直線画像削除部２２２を制御する。

たとえば、図７は、住所（海老名市中央）の郵便番号（２４３−０４３２）をコードデータＦｃとして格子縞パターンＰＴcsに埋め込む場合の例を示している。郵便番号は数字で示されるので、図７（Ａ）に示すように、埋込コード情報生成２０８は各桁を４ビットで符号化し、直線画像削除部２２２は、各桁のビットデータ（０／１）に基づき、交点座標Ｐint 部分の直線画像を、削除したり、そのまま残したりする。

また、直線画像削除部２２２は、削除する大きさを、印刷時のドット膨張の影響を考慮したり、また、直線構造特定部２１８により特定された直線の太さＬthに応じた大きさとしたりする。後者は、削除する交点部分の画像の大きさを一律にしたとき、直線の太さが太くなると、付加情報復元装置における埋込情報抽出処理時に、削除した部分の特定が困難になるからである。具体的には、直線画像削除部２２２は、線が太ければ、交点の削除部分も大きくする。

“ビットデータ＝０”のための削除部分の大きさの度合いを、直線構造特定部２１８が特定した線の太さに応じて調整することで、コードデータＦｃの再現性能が線の太さに影響されないようにするのである。

たとえば、削除する交点部分の画像の大きさを数（たとえば３）ドット分程度と小さくしたときに、図７（Ｂ）に示すように、直線の太さＬthが、その削除する交点部分の画像の大きさよりも細ければ（たとえば２ドット分）、埋込情報抽出処理時に、削除した部分を特定し易い。

これに対して、図７（Ｃ）に示すように、直線の太さＬthが、削除する交点部分の画像の大きさに比べて太い場合（たとえば１０ドット分のとき）には、直線画像の中に削除した部分が埋もれてしまい、埋込情報抽出処理時に、削除した部分を特定し難くなる。また、印刷時のドット膨張の影響により、データ上で削除した部分が実際にはトナーなどの色剤で埋められてしまう可能性も高くなる。なお、図７（Ｄ）に示すように、削除する交点部分の画像の大きさをある程度大きく取れば（たとえば８ドット分）、一律にしても、前述の問題は軽減される。

このように、第１実施形態の付加情報埋込処理によれば、格子縞パターンＰＴcsを構成する直線画像の交点部分そのものを、埋込コード情報生成２０８により生成されたコードデータＦｃのビットデータに対応付けて、削除したり残したりするようにしたので、概ね、コードデータＦｃを不可視に近い状態で埋め込むことができる。

また、格子縞パターンＰＴcsの交点部分にコードデータＦｃを埋め込むので、交点部分が主情報と重なる場合があっても、格子ピッチにもよるが、その度合いは少ないと考えてよく、入力画像データＤin１で示される処理対象画像中の文字情報や画像などの主情報に対しては、殆ど悪影響を与えないと考えてよく、主情報の品質劣化は少ない。

特に、たとえば表計算ソフトで作成された処理対象画像などのように、入力画像データＤin１そのもので示される処理対象画像中に格子縞パターンＰＴcsが存在する場合は、枠線の内外に主情報が記入されるので、コードデータＦｃを埋め込む際には枠線の内外に存在する主情報に対して操作している訳ではなく、主情報の品質劣化は皆無と考えてよい。

たとえば、付加情報を下地情報に埋め込む際に、その付加情報を可視化して下地情報に埋め込むと、下地情報である文書そのものの見栄えが悪くなったり、悪意により付加情報が切り取られたりすることがある。これに対して、たとえば、特開２００１−１４４９４４号公報には、制御情報を不可視の状態で埋め込む仕組みが提案されている。

特開２００１−１４４９４４号公報に記載の仕組みでは、縞の細線パターンにより形成されたベースパターンと付加情報パターンとの境界部分においては縞パターンの縞が不連続となる段差を設けるようにし、かつ、その境界部分を構成する複数の縞における段差の連続した列が縞方向に対して所定以上の角度をなすようにして付加情報パターンを不可視な状態で埋め込むようにしている。

しかしながら、特開２００１−１４４９４４号公報に記載の仕組みでは、埋込情報は不可視となるので、悪意による付加情報の削除に対する耐力があるが、たとえば、段落１４に記載のように、ベースパターンを縞の細線パターンにより形成するので、下地がグレイになり（灰色として識別される）、見栄えが悪くなる。

これに対して、たとえば表計算ソフトで作成され格子縞パターンが予め存在するような入力画像を処理対象とする場合に、その入力画像に元々存在する格子縞パターンを、付加情報を埋め込むための下地情報として利用すれば、下地情報の見栄えと悪意による付加情報の削除に対する耐力とのバランスを改善することができる。

また、処理対象画像中に付加情報を埋め込むための格子縞パターンが存在しなければ、図５に示すような格子縞パターンＰＴcsを下地情報として処理対象画像に重畳することにするが、その際、全体として均一色（たとえば灰色や、薄い赤、薄い青、薄い黄など）として識別されることがない程度に、粗いピッチにすることで、下地情報の見栄えと悪意による付加情報削除に対する耐力とのバランスを改善することができる。

＜付加情報復元装置：第１実施形態＞
図８は、電子機器に備えられる付加情報復元装置をなす各機能部の詳細構成例の第１実施形態を示す図である。

たとえば、第１実施形態の付加情報復元装置３００は、入力画像データＤin２に基づき処理対象画像を取得する画像取得部３０２と、格子縞パターンＰＴcsの交点位置に埋め込まれているコードデータＦｃを抽出する付加情報抽出処理部３１０とを有している。

画像取得部３０２は、画像読取部により読み取られた画像や、ネットワーク９を介して取得した電子データで示された画像を処理対象画像として取り込む。

付加情報抽出処理部３１０は、画像取得部３０２が取得した処理対象画像が、コードデータＦｃが埋め込まれた格子縞パターンＰＴcsを含むものであるか否かを判定する処理対象画像判定部３１２と、処理対象画像はコードデータＦｃが埋め込まれた格子縞パターンＰＴcsを含むものであると処理対象画像判定部３１２が判定したときに、その格子縞パターンＰＴcsをなす直線を抽出する直線抽出部３１６と、直線抽出部３１６が抽出した直線に基づいて複数の直線がなす交点座標を特定する交点位置特定部３２０とを有している。

また、付加情報抽出処理部３１０は、交点位置特定部３２０が特定した交点部分に埋め込まれているコードデータＦｃを特定するコードデータ特定部３２２と、コードデータ特定部３２２が特定したコードデータＦｃを元の個別情報Ｆｂに戻す（デコードする）復号化処理部３２４とを有している。

ここで、第１実施形態のコードデータ特定部３２２によるコードデータ特定処理は、第１実施形態の直線画像削除部２２２と直線画像削除制御部２２４とによるコードデータＦｃの交点部分への対応付け処理に適合するように、格子縞パターンＰＴcsを構成する直線画像の交点部分そのものに、直線画像をなす画素（たとえば黒画素）が（好ましくは所定量以上の画素が）存在するか否かを判定することで、コードデータＦｃを特定する点に特徴を有する（詳細は後述する）。

特開平６−４０１９０号公報や特開２００１−１４４９４４号公報に記載の仕組みでも、縞パターンを下地情報として利用して付加情報を埋め込むようにしているが、埋め込まれていて付加情報の復元時は、参照パターンを重ね合わせることで生じるモアレを利用することが必要になるので、付加情報が埋め込まれている処理対象画像単独では、付加情報を復元できない。

これに対して、本実施形態の仕組みでは、格子縞パターンの交点部分に線画像が存在するか否かで付加情報を復元するので、付加情報が埋め込まれている処理対象画像単独で、付加情報を復元できる利点がある。また、交点部分に線画像が存在するか否かといった非常に簡単な判定の仕組みで付加情報を復元できる利点もある。

＜付加情報抽出処理：第１実施形態＞
図９および図１０は、電子機器に備えられる付加情報復元装置３００における付加情報抽出処理機能の第１実施形態を説明する図である。ここで、図９は、第１実施形態の付加情報抽出処理を実現する処理手順の一例を示すフローチャートである。図１０は、第１実施形態の交点位置特定部３２０による交点位置の特定処理を説明する図である。

画像情報が付加情報復元装置３００に入力され、画像取得部３０２は、その入力画像データＤin２を受け取る（Ｓ３００）。たとえば、画像取得部３０２は、画像読取部により読み取られた画像や、ネットワークを介して取得した電子データで示された画像を処理対象画像として取り込む。

処理対象画像には、格子縞パターンＰＴcsが存在し、かつ図７に示したように、交点部分に、コードデータＦｃが埋め込まれている場合と、格子縞パターンＰＴcsが存在するが、交点部分にはコードデータＦｃが埋め込まれていない場合と、格子縞パターンＰＴcsが存在しない場合とがあり得る。本実施形態では、図７に示したような画像のみに注目して、格子縞パターンＰＴcsの交点部分に埋め込まれているコードデータＦｃを抽出すればよい。

そこで、先ず、処理対象画像判定部３１２は、画像取得部３０２が取り込んだ画像が、格子縞パターンＰＴcsが存在か否かを判定するとともに（Ｓ３１０）、交点部分にコードデータＦｃが埋め込まれているものであるか否かも判定する（Ｓ３１２）。該当しなければ、コードデータＦｃの抽出処理を実施せず（Ｓ３１０−ＮＯ，Ｓ３１２−ＮＯ）、該当する場合に限って、コードデータＦｃの抽出処理を実施する（Ｓ３１０−ＹＥＳ，Ｓ３１２−ＹＥＳ）。

なお、格子縞パターンＰＴcsが存在する場合に（Ｓ３１０−ＹＥＳ）、交点部分にコードデータＦｃが埋め込まれているものであるか否かを判定する際の判定基準としては、処理対象の予め取り決めた位置に判定基準情報を埋め込むようにするとよい。

なお、ステップＳ３１２の判定処理を割愛して、格子縞パターンＰＴcsが存在する場合には（Ｓ３１０−ＹＥＳ）、交点部分にコードデータＦｃが埋め込まれているものとして、処理を継続してもよい。

コードデータＦｃの抽出処理では、先ず、直線抽出部３１６は、格子縞パターンＰＴcsをなす直線を抽出する（Ｓ３２０）。たとえば、直線抽出部３１６は先ず、処理対象画像について、格子縞パターンＰＴcsをなす直線の方向に沿ってヒストグラムを作成することで直線の候補を抽出する（Ｓ３２４）。たとえば、直交格子の格子縞パターンＰＴcsを取り扱う場合であれば、主走査方向および副走査方向のそれぞれについてヒストグラムを作成し、直線の候補を抽出する。

具体的には、直線抽出部３１６は、ステップＳ３２４で抽出した直線の候補の中から直線であると判定する際の閾値Ｔｈを原稿サイズに応じて算出する（Ｓ３２４ａ）。たとえば、原稿サイズが小さければ閾値Ｔｈも小さくし、原稿サイズが大きければ閾値Ｔｈも大きくする。そして、ヒストグラムの度数Freqが閾値Ｔｈよりも大きければ（度数Freq＞閾値Ｔｈ）、その部分を直線の候補とする（Ｓ３２４ｂ−ＹＥＳ，Ｓ３２４ｃ）。

次に、直線抽出部３１６は、直線の候補に着目し、ウィンドウを広げて、ライン単位で接続をチェックする（Ｓ３２６）。そして、接続長が所定長さ以上となるものを直線であると判定することで、直線を特定する（Ｓ３２８）。なお、コードデータＦｃが交点部分に埋め込まれている場合、交点部分で途切れ途切れになり得る点に留意する。全体として、格子縞パターンＰＴcsをなすと判定し得る線分は直線であると判定すればよい。

なお、ここで示した直線抽出処理は一例に過ぎず、たとえば、文字認識ソフトにおいて、表部分の罫線を特定する処理をそのまま流用することができる。

次に、交点位置特定部３２０は、直線抽出部３１６が抽出した直線に基づいて、複数の直線がなす交点（point of intersection ）の座標位置Ｐint を特定する（Ｓ３４０）。この処理は、付加情報埋込装置２００における交点位置特定部２２０の処理（Ｓ２４０）と同様である。

たとえば、直交格子の格子縞パターンＰＴcsを取り扱う場合であれば、図１０に示すように、主走査方向（水平方向：horizontal）の直線Ｌｈの始点Ｈ０と終点Ｈ１の座標をそれぞれＨ０（Ｘ０，Ｙ０），Ｈ１（Ｘ１，Ｙ０）とし、副走査方向（垂直方向：vertical）の直線Ｌｖの始点Ｖ０と終点Ｖ１の座標をそれぞれＶ０（Ｚ０，Ｗ０），Ｖ１（Ｚ０，Ｗ１）としたとき、“Ｘ０＜Ｚ０＜Ｘ１”かつ“Ｗ０＜Ｙ０＜Ｗ１”のとき、交点Ｐint （Ｚ０，Ｙ０）を特定することができる。

なお、コードデータＦｃが交点部分に埋め込まれている場合、付加情報埋込装置２００の直線画像削除部２２２により“ビットデータ＝０”を交点部分に埋め込むことで、交点をなす２つの直線が、“ビットデータ＝０”の部分で途切れるので、注目する直線Ｌｈは直線Ｌｈ１，Ｌｈ２，…Ｌｈｈに分かれ、注目する直線Ｌｖは直線Ｌｖ１，Ｌｖ２，…Ｌｖｖに分かれてしまう。しかしながら、同一方向に途切れて並んでいる各直線を、大局的に捉えることで、１本の直線Ｌｈ，Ｌｖと見なすことができる。

次に、コードデータ特定部３２２は、交点位置特定部３２０により特定された格子縞パターンＰＴcsの交点座標Ｐint 部分に直線画像が存在するか否かに基づいてコードデータＦｃを特定する（Ｓ３５０）。つまり、交点部分に対応付けられているコードデータＦｃのビットデータを特定するのである。

ここで、第１実施形態のコードデータＦｃの特定処理としては、格子縞パターンＰＴcsを構成する直線画像の交点部分そのものの位置に、直線画像をなす、たとえば黒画素が存在するか否かを判定することで、コードデータＦｃを特定する点に特徴を有する。たとえば、交点の画像が削除されていないときを“１”、削除されているときを“０”としてコードデータＦｃを特定する。交点画像が削除されていれば、符号化（エンコード）されたコードデータＦｃのゼロと判定するのである。

たとえば、コードデータ特定部３２２は、交点位置特定部３２０により特定された格子縞パターンＰＴcsの交点座標Ｐint の周囲にｎ画素（水平方向）×ｍ画素（垂直方向）のウィンドウを設定し（Ｓ３５２ａ）、そのウィンドウ内に存在する黒画素が閾値α未満のときには“ビットデータ＝０”であると判定し（Ｓ３５２ｂ−ＮＯ，Ｓ３５２ｃ）、ウィンドウ内に存在する黒画素が閾値α以上のときには“ビットデータ＝１”であると判定する（Ｓ３２２ｂ−ＹＥＳ，Ｓ３２２ｄ）。

このように、第１実施形態の付加情報抽出処理によれば、格子縞パターンＰＴcsを構成する直線画像の交点部分に対応付けられているコードデータＦｃのビットデータを、交点部分そのものの位置に線画素が（所定数以上）存在するか否かに基づいてコードデータＦｃを特定するようにしたので、不可視に近い状態で画像中の格子縞パターンＰＴcsに埋め込まれたコードデータＦｃを、容易に抽出することができる。

＜付加情報埋込装置：第２実施形態＞
図１１は、電子機器に備えられる付加情報埋込装置をなす各機能部の詳細構成例の第２実施形態を示す図である。

第２実施形態の付加情報埋込装置２００は、付加情報埋込処理部２１０が、第１実施形態の直線画像削除部２２２に代えて直線画像削除部２２３を備えるとともに、交点部分にコードデータＦｃとして“ビットデータ＝０”を割り当てるか否かに関わらず、交点部分（交点部分そのものや交点近傍）に出力ドット（たとえば黒画素）を割り当てる（配置する）交点画素割当部２２６を備える点に特徴を有する。交点画素割当部２２６は、交点部分に出力ドット（たとえば黒画素）を割り当てる際の出力ドットサイズを調整可能なように、たとえば、膨張サイズの指示入力を受付可能に構成されている。

直線構造特定部２１８、交点位置特定部２２０、直線画像削除部２２３、直線画像削除制御部２２４、および交点画素割当部２２６により、格子縞パターン取得部２１７が取得した格子縞パターンＰＴcsの交点部分に、付加情報を表わすデジタルデータを埋め込む付加情報埋込部２２９が構成される。

直線画像削除部２２３は、付加情報を表わすデジタルデータのビットデータに基づいて、交点入力線の交点近傍を削除する際には、直線構造特定部２１８が特定した交点入力線の太さ（すなわち交点入力線の線幅）に応じて、削除部分の大きさ（本例では交点座標からの削除部分の広がりの大きさ）を調整する。具体的には、直線画像削除部２２３は、線が太ければ、交点入力線の交点近傍の削除部分も大きくする。

“ビットデータ＝０”のための削除部分の大きさの度合いを、直線構造特定部２１８が特定した線の太さに応じて調整することで、コードデータＦｃの再現性能が線の太さに影響されないようにするのである。

第１実施形態の直線画像削除部２２２の処理との比較では、直線画像削除部２２３は、１つの交点部分にｎビットのデータを割り当てる点で相違がある。すなわち、第２実施形態の直線画像削除部２２３と直線画像削除制御部２２４とによるコードデータＦｃの交点部分への対応付け処理は、格子縞パターンＰＴcsを構成する直線画像の交点部分に取り付く（交点に接する）交点近傍の直線画像を、埋込コード情報生成２０８により生成されたコードデータＦｃのビットデータに対応付ける点に特徴を有する（詳細は後述する）。

交点部分に取り付く交点近傍の直線画像のそれぞれについて、削除する／削除しないを調整するので、交点部分に取り付く直線（以下交点入力線とも称する）ごとにビットデータを表わすことができるようになる。よって、その交点入力線の数をｎとすれば、２＾ｎ（“＾”はべき乗を示す）の情報を埋め込むことが可能となる。なお、ｎビットにおける何れのビット（つまりビットの重付け）を何れの交点入力線に割り当てるかは、予め取り決めておく。

交点ごとに、２＾ｎ（“＾”はべき乗を示す）の情報を埋め込むことができるので、たとえば、画像の明度データをコードデータＦｃとすれば、画素点を交点位置にする低解像度画像を不可視の状態で埋め込むことができるようになる。付加情報復元装置３００側では、この不可視の画像情報を再現しエンコードすれば、可視化した画像を提示することができる。

交点画素割当部２２６は、コードデータＦｃの埋込み時に削除することになった交点部分の画素も、直線画像の画素を維持するように、交点部分に出力ドット（たとえば黒画素）を割り当てる交点割当処理を実行する。この際、線幅のまま交点部分の出力ドットを維持するようにしてもよいが、“ビットデータ＝０”を対応付けるために線画素を削除する大きさよりも小さくなるようにしつつ、線幅よりも膨張させることで、交点部分を際立たせるように交点膨張処理を実行してもよい。“ビットデータ＝０”を対応付けるために線画素を削除する大きさよりも膨張サイズを小さくするのは、交点部分に、コードデータＦｃを確実に埋め込むことができるようにするためである。

交点画素割当部２２６を設けるのは、付加情報復元装置３００での付加情報抽出処理時における直線や交点の抽出性能を向上させるためであり、交点画素割当部２２６を備えない構成を採ることもできる。

交点画素割当部２２６は、交点部分に出力ドットを割り当てる交点割当処理や交点膨張処理を実行するに当たっては、図１１（Ｂ）に示すように、コードデータＦｃを埋め込む前の格子縞パターンＰＴcsを処理対象としてもよいし、図１１（Ｃ）に示すように、直線画像削除部２２３により交点入力線の交点近傍にコードデータＦｃが埋め込まれた付加情報埋込画像Ｇout の格子縞パターンＰＴcsを処理対象としてもよい（詳細は後述する）。

前者（図１１（Ｂ）の態様）は、交点部分に割り当てた出力ドット部分の再現性に劣るがコードデータＦｃの再現性に優れた手法であり、後者（図１１（Ｃ）の態様）は、コードデータＦｃの再現性に劣るが交点部分に割り当てた出力ドット部分の再現性に優れた手法である、という性質を基本的に有する。

＜付加情報埋込処理：第２実施形態＞
図１２〜図１８は、電子機器に備えられる第２実施形態の付加情報埋込装置２００における付加情報埋込処理機能を説明する図である。ここでは、特に、直線画像削除部２２３と直線画像削除制御部２２４とによるコードデータＦｃの交点部分への対応付け処理を説明するものである。

ここで、図１２は、第２実施形態の付加情報埋込処理を実現する処理手順の一例を示すフローチャートである。図１３〜図１８は、直線画像削除部２２３と直線画像削除制御部２２４との連携処理による付加情報埋込結果である付加情報埋込画像Ｇout の一例を示す図である。

交点画素割当部２２６を備えていない構成において、交点入力線の数ｎが“２”の場合を図１３に示し、交点入力線の数ｎが“４”の場合を図１６に示す。また、コードデータＦｃの埋込処理前に交点割当処理や交点膨張処理を実行する機能を持つ交点画素割当部２２６を備えている構成において、交点入力線の数ｎが“２”の場合を図１４に示し、交点入力線の数ｎが“４”の場合を図１７に示す。また、コードデータＦｃの埋込処理後に交点割当処理や交点膨張処理を実行する機能を持つ交点画素割当部２２６を備えている構成において、交点入力線の数ｎが“２”の場合を図１５に示し、交点入力線の数ｎが“４”の場合を図１８に示す。

処理手順としては、概ね第１実施形態の処理手順と同じであるが、直線画像削除部２２３と直線画像削除制御部２２４とによる連携処理によって、交点位置特定部２２０により特定された格子縞パターンＰＴcsの交点座標Ｐint 部分に取り付く交点入力線の交点近傍を、埋込コード情報生成２０８で生成されたコードデータＦｃに基づいて、削除したり、そのまま残したりする（Ｓ２６０）。

ここで、第２実施形態のコードデータＦｃの交点部分への対応付け処理としては、交点位置特定部２２０により特定された交点部分において、その交点に取り付く複数の交点入力線のそれぞれに対して、埋込コード情報生成２０８により生成されたコードデータＦｃの各ビットを対応付けて、そのビットデータに対応付けて、削除したり、そのまま残したりする点に特徴を有する。

たとえば、交点入力線の交点近傍の画像を削除しないときを“１”（Ｓ２６２−ＹＥＳ）、削除したときを“０”として（Ｓ２６２−ＮＯ，Ｓ２６４）、コードデータＦｃを交点部分に埋め込む。交点位置特定部２２０により特定された交点に取り付く交点入力線のそれぞれについて、埋込コード情報生成２０８により符号化（エンコード）されたコードデータＦｃのゼロに対して交点近傍の線画像を削除するのである。

直線画像削除制御部２２４は、埋込コード情報生成２０８により生成されたコードデータＦｃに基づいて、交点位置特定部２２０が特定した交点部分に取り付く交点入力線の交点近傍を、“ビットデータ＝０”のときには直線構造特定部２１８により特定された直線の太さＬthに応じた大きさで削除するが、“ビットデータ＝１”のときには削除せずにそのまま残すように、直線画像削除部２２３を制御する。

交点画素割当部２２６を備えた構成を採る場合には（Ｓ２７０−ＹＥＳ）、交点画素割当部２２６は、コードデータＦｃの埋込み時に削除することになった交点部分の画素も、直線画像の画素を維持するように、交点部分に出力ドット（たとえば黒画素）を割り当てる交点割当処理を実行する（Ｓ２７２）。

ここで、ｎビットにおける何れのビットを何れの交点入力線に割り当てるかを予め取り決めておく。たとえば、交点入力線の数ｎが“２”の場合を示した図１３，図１４，図１５では、２つの直線が直角をなすようにして交点を形成する部分に、２ビットのコードデータＦｃを埋め込む場合を示している。本例では、最下位から１ビット目を水平方向に延びる直線Ｌｈに割り当て、２ビット目を垂直方向に延びる直線Ｌｖに割り当てている。

また、交点入力線の数ｎが“４”の場合を示した図１６，図１７，図１８では、大局的に見た２つの直線が直角に交差するようにして交点を形成する場合において、４ビットのコードデータＦｃを埋め込む場合を示している。本例では、最下位から１ビット目を上側の垂直方向に延びる直線Ｌｖ１に割り当て、２ビット目を右側の水平方向に延びる直線Ｌｈ１に割り当て、３ビット目を下側の垂直方向に延びる直線Ｌｖ２に割り当て、４ビット目を左側の水平方向に延びる直線Ｌｈ２に割り当てている。

このように、第２実施形態のコードデータＦｃの交点部分への対応付け処理によれば、交点入力線のそれぞれにコードデータＦｃのビットデータを割り当てて、交点入力線の交点近傍部分の直線画像を、ビットデータに応じて、削除するのか削除しないのかを制御することで、格子縞パターンＰＴcsの交点部分に存在する交点入力線の線数ｎに対して、ｎビットのコードデータＦｃを埋め込むことができるようになる。よって、第１実施形態の手法よりも、少ない交点数で、より多くの情報を埋め込むことができるようになる。

また、交点画素割当部２２６を備えた構成を採る場合において、交点部分に出力ドットを割り当ててからコードデータＦｃを埋め込む図１４および図１７に示す態様では、“ビットデータ＝０”のための削除処理によっても出力ドットが残るように、線幅よりも膨張させて、交点部分に出力ドットを割り当てるようにする。出力ドットを割り当てた交点部分も、“ビットデータ＝０”が対応付けられる方向部分は削除されることになり、線幅のままでは、事実上、出力ドットを維持できないからである。

たとえば、ビットデータとして“０”が対応付けられる交点部分では、膨張させずに線幅のままで交点部分に出力ドットを割り当てていたのでは、付加情報埋込画像Ｇout において、出力ドット（たとえば黒画素）が消えてしまうことになる。

よって、この観点から、交点部分に出力ドットを割り当てる際の交点部分の膨張サイズと、“ビットデータ＝０”のための削除部分の大きさ（削除幅と称する）との関係を調整するようにするのがよい。もちろんこのときには、直線画像削除部２２３は、直線構造特定部２１８が特定した線の太さを考慮して削除幅を調整するのがよく、総合的には、線幅に応じて、削除幅と膨張サイズとを調整することになる。たとえば、図１４（Ａ）および図１７（Ａ）では、“ビットデータ＝０”の削除幅を、線幅と膨張サイズの中間にした例で示している。

ここで、たとえば、図１４（Ｂ）や図１７（Ｂ）に示すように、削除時の幅を広くする（たとえば膨張サイズと等しくする）と、交点部部に割り当てた出力ドットがより広く削除されるので、直線抽出性能や交点特定性能は低下するようになるが、コードデータＦｃの再現性能は向上する。

一方、図１４（Ｃ）や図１７（Ｃ）に示すように、削除時の幅を狭く、たとえば線幅のままとすると、交点部部に割り当てた出力ドットの削除の度合いが少なくなるので、直線抽出性能や交点特定性能は向上するようになるが、コードデータＦｃの再現性能は低下する。

すなわち、この方式は、交点部分の出力ドットよりもコードデータＦｃの埋込みの方を確実に優先させることができるので、付加情報復元装置３００におけるコードデータＦｃの再現性能が優れる一方、直線抽出や交点特定の性能は劣るという性質を本来的に持っているが、交点画素割当部２２６が交点部分に膨張させて出力ドットを割り当てるときには、直線画像削除部２２３による“ビットデータ＝０”のための削除部分の大きさの度合いにより、コードデータＦｃの再現性能や直線抽出や交点特定の性能が変化するのである。

一方、コードデータＦｃを埋め込んでから、交点部分に出力ドットを割り当て、また膨張させる図１５および図１８に示す態様では、“ビットデータ＝０”が対応付けられる方向部分でも、確実に出力ドットを割り当てまた膨張させることができ、コードデータＦｃに関わらず、出力ドット部分の形状を一定に維持することができる。よって、たとえば全てのビットデータとして“０”が対応付けられる“Ｆｃ＝０”の交点部分でも、付加情報埋込画像Ｇout において、“Ｆｃ＝０”を表わすための削除部分内に、出力ドット（たとえば黒画素）が問題なく存在することになる。

たとえば、図１５（Ａ）および図１８（Ａ）では、線幅よりも膨張させて交点部分に出力ドットを割り当てた場合を示しているが、図１５（Ｂ）および図１８（Ｂ）に示すように、膨張させずに、線幅のままで交点部分に出力ドットを割り当てるだけでもよい。膨張させるほど、“ビットデータ＝０”を対応付る削除部分が少なくなるが、交点部分の特定が容易になる。よって、交点画素割当部２２６は、この観点から、交点部分の膨張サイズを調整するようにするのがよい。

すなわち、この方式は、交点部分では、コードデータＦｃの埋込みよりも出力ドット画素の維持の方を確実に優先させることができるので、直線抽出や交点特定の性能に優れる一方、コードデータＦｃの再現性能は劣るという性質を本来的に持っているが、交点部分に出力ドットを割り当てるときの膨張サイズの度合いによって、コードデータＦｃの再現性能や直線抽出や交点特定の性能が変化するのである。

なお、何れの場合も、交点の画像を膨張させると、直線抽出や交点特定の性能が向上するが、その部分が目障りになる。一方、交点の画像を膨張させない場合は不可視に近い。

＜付加情報復元装置：第２実施形態＞
図１９は、電子機器に備えられる付加情報復元装置をなす各機能部の詳細構成例の第２実施形態を示す図である。

第２実施形態の付加情報復元装置３００は、基本的な構成は、第１実施形態の付加情報復元装置３００とほぼ同じであるが、コードデータ特定部３２２に代えてコードデータ特定部３２３を備えている。

ここで、第２実施形態のコードデータ特定部３２３によるコードデータ特定処理は、第２実施形態の直線画像削除部２２３と直線画像削除制御部２２４とによるコードデータＦｃの交点部分への対応付け処理に適合する処理を行なう。

具体的には、格子縞パターンＰＴcsを構成する直線画像の交点部分に取り付く交点入力線の交点近傍部分に、その交点入力線をなす画素（たとえば黒画素）が存在するか否かを判定することで、交点入力線の別にコードデータＦｃをなすビットデータを特定する点に特徴を有する（詳細は後述する）。

さらに、直線画像削除部２２３は、ｎビットにおける何れのビット（つまりビットの重付け）が何れの交点入力線に割り当てられているかの情報（前述のように予め取り決められている）に基づいて、特定した各交点入力線のビットデータを並べることで、ｎビットのコードデータＦｃを復元する点に特徴を有する（詳細は後述する）。

＜付加情報抽出処理：第２実施形態＞
図２０および図２１は、電子機器に備えられる付加情報復元装置３００における付加情報抽出処理機能の第２実施形態を説明する図である。ここで、図２０は、第２実施形態の付加情報抽出処理を実現する処理手順の一例を示すフローチャートである。図２１は、第２実施形態の交点位置特定部３２０による交点位置の特定処理を説明する図である。

第２実施形態の付加情報抽出処理においては、交点位置特定部３２０における交点位置特定処理時（Ｓ３２０）に、交点に取り付く交点入力線（直線の一種）にコードデータＦｃが埋め込まれることで、交点入力線が“ビットデータ＝０”の部分で途切れるという点に考慮した処理を実行すればよい。

たとえば、直交格子の格子縞パターンＰＴcsを取り扱う場合であれば、図２１に示すように、主走査方向（水平方向：horizontal）の直線Ｌｈの始点Ｈ０と終点Ｈ１の座標をそれぞれＨ０（Ｘ０，Ｙ０），Ｈ１（Ｘ１，Ｙ０）とし、副走査方向（垂直方向：vertical）の直線Ｌｖの始点Ｖ０と終点Ｖ１の座標をそれぞれＶ０（Ｚ０，Ｗ０），Ｖ１（Ｚ０，Ｗ１）としたとき、“Ｘ０＜Ｚ０＜Ｘ１”かつ“Ｗ０＜Ｙ０＜Ｗ１”のとき、交点Ｐint （Ｚ０，Ｙ０）を特定することができる。

ここで、コードデータＦｃが交点部分をなす各交点入力線に埋め込まれている場合、付加情報埋込装置２００の直線画像削除部２２３により“ビットデータ＝０”を交点入力線の交点近傍に埋め込むことで、各交点入力線が、“ビットデータ＝０”の部分で途切れるので、注目する直線Ｌｈは直線Ｌｈ１，Ｌｈ２，…Ｌｈｈに分かれて交点入力線となり、注目する直線Ｌｖは直線Ｌｖ１，Ｌｖ２，…Ｌｖｖに分かれて交点入力線となる。

しかしながら、同一方向に途切れて並んでいる各交点入力線を、大局的に捉えることで、１本の直線Ｌｈ，Ｌｖと見なすことができる。また、交点画素割当部２２６により、交点部分を出力ドットにしておけば、交点部分には、線を示す画素（たとえば黒画素）が存在することになり、途切れの程度を緩和できるので、直線特定性能や交点特定性能を高めることができる。特に、交点部分を膨張させて出力ドットにしておけば、交点部分には、線を示す画素（たとえば黒画素）が際立って存在することになり、途切れの程度を一層緩和できるので、直線特定性能や交点特定性能を飛躍的に高めることができる。

次に、コードデータ特定部３２２は、交点位置特定部３２０により特定された格子縞パターンＰＴcsの交点座標Ｐint 部分に直線画像が存在するか否かに基づいてコードデータＦｃを特定する（Ｓ３５０）。ここで、第２実施形態のコードデータＦｃの特定処理としては、コードデータ特定部３２２は、交点位置特定部３２０により特定された格子縞パターンＰＴcsの交点座標Ｐint 部分に取り付く交点入力線の交点近傍に出力ドットが存在するか否かに基づいてコードデータＦｃを特定する。つまり、交点部分に取り付く各交点入力線に対応付けられているコードデータＦｃのビットデータを特定するのである。

たとえば、交点入力線の交点近傍が削除されていないときを“１”、削除されているときを“０”としてコードデータＦｃのビットデータを特定する。交点入力線画像が削除されていれば、符号化（エンコード）されたコードデータＦｃのゼロと判定するのである。

たとえば、コードデータ特定部３２２は、交点位置特定部３２０により特定された格子縞パターンＰＴcsの交点座標Ｐint を始点として、各交点入力線方向にｊ画素（水平方向）×ｋ画素（垂直方向）のウィンドウを設定する（Ｓ３５３ａ）。そして、そのウィンドウ内に存在する黒画素が閾値β未満のときには、その交点入力線については“ビットデータ＝０”であると判定し（Ｓ３５３ｂ−ＮＯ，Ｓ３５３ｃ）、ウィンドウ内に存在する黒画素が閾値β以上のときには“ビットデータ＝１”であると判定する（Ｓ３５３ｂ−ＹＥＳ，Ｓ３５３ｄ）。この後、予め取り決めておいた、何れのビットを何れの交点入力線に割り当てるかに基づき、特定したビットデータを並べることで、コードデータＦｃを特定する（Ｓ３５３ｅ）。

このように、第２実施形態の付加情報抽出処理によれば、格子縞パターンＰＴcsを構成する直線画像の各交点入力線に対応付けられているコードデータＦｃのビットデータを、交点入力線の交点近傍に線画素が（所定数以上）存在するか否かに基づいてコードデータＦｃを特定するようにしたので、各交点部分に、不可視に近い状態で画像中の格子縞パターンＰＴcsに、交点をなすｎ本の交点入力線によりｎビットの状態で埋め込まれたコードデータＦｃを、容易に抽出することができる。

＜格子縞パターンの変形例＞
図２２は、格子縞パターンＰＴcsの変形例を示す図である。前述のように、格子縞パターンＰＴcsは、複数の直線が交差する部分を持つパターンであればどのようなものであってもよい。特に、第２実施形態への適用に当たっては、交点部分に、その交点に取り付くｎ本の交点入力線のそれぞれにビットデータを対応付けることで、交点ごとにｎビットの情報を埋め込むことができる点を積極的に利用する。

たとえば、角度の異なる直交格子を重ね合わせた格子縞パターンＰＴcsを使用すれば、ビット数の異なる複数種類の情報を不可視の状態で埋め込むことができる。図２２に示す例では、水平線Ｌｈ、垂直線Ｌｖ、および２本の斜め線Ｌs1，Ｌs2が交差する交点Ｐint1では、交点入力線が８本となるので、その交点Ｐint1に８ビットデータを対応付けることができ、２本の斜め線Ｌs1，Ｌs2のみが交差する交点Ｐint2では、交点入力線が４本となるので、その交点Ｐint2に４ビットデータを対応付けることができる。

そこで、たとえば、交点Ｐint1には８ビットの画像情報を対応付けつつ、交点Ｐint2には４ビットの他の情報を対応付けるなど、異なる種類の情報を、１つの格子縞パターンＰＴcsに埋め込むことができる。

本発明に係る画像処理装置を備えた画像処理システムを示す概略図である。 付加情報埋込装置をなす各機能部の詳細構成例の第１実施形態を示す図である。 第１実施形態の付加情報埋込処理を実現する処理手順の一例を示すフローチャートである。 第１実施形態の付加情報埋込処理において取り扱う格子縞パターンが存在する入力画像情報の一例を示す図である。 第１実施形態の付加情報埋込処理において用いる下地情報（格子縞パターン）の一例を示す図である。 付加情報埋込装置の交点位置特定部による交点位置の特定処理を説明する図である。 第１実施形態の付加情報埋込結果の一例を示す図である。 付加情報復元装置をなす各機能部の詳細構成例の第１実施形態を示す図である。 第１実施形態の付加情報抽出処理を実現する処理手順の一例を示すフローチャートである。 第１実施形態の付加情報復元装置の交点位置特定部による交点位置の特定処理を説明する図である。 付加情報埋込装置をなす各機能部の詳細構成例の第２実施形態を示す図である。 第２実施形態の付加情報埋込処理を実現する処理手順の一例を示すフローチャートである。 第２実施形態の付加情報埋込結果の一例を示す図（交点入力線が２本の場合の第１例）である。 第２実施形態の付加情報埋込結果の一例を示す図（交点入力線が２本の場合の第２例）である。 第２実施形態の付加情報埋込結果の一例を示す図（交点入力線が２本の場合の第３例）である。 第２実施形態の付加情報埋込結果の一例を示す図（交点入力線が４本の場合の第１例）である。 第２実施形態の付加情報埋込結果の一例を示す図（交点入力線が４本の場合の第２例）である。 第２実施形態の付加情報埋込結果の一例を示す図（交点入力線が４本の場合の第３例）である。 付加情報復元装置をなす各機能部の詳細構成例の第２実施形態を示す図である。 第２実施形態の付加情報抽出処理を実現する処理手順の一例を示すフローチャートである。 第２実施形態の付加情報復元装置の交点位置特定部による交点位置の特定処理を説明する図である。 格子縞パターンの変形例を示す図である。

符号の説明

１…画像処理システム（情報埋込処理システム）、３…画像入力端末、４…画像出力端末、５…画像形成装置、６…情報処理装置、８…出力装置、９…ネットワーク、２００…付加情報埋込装置、２０２…画像取得部、２０６…基本情報取得部、２０８…埋込コード情報生成、２１０…付加情報埋込処理部、２１２…処理対象画像判定部、２１４…下地情報生成部、２１６…直線抽出部、２１７…格子縞パターン取得部、２１８…直線構造特定部、２２０…交点位置特定部、２２２…直線画像削除部、２２３…直線画像削除部、２２４…直線画像削除制御部、２２６…交点画素割当部、２２９…付加情報埋込部、３００…付加情報復元装置、３０２…画像取得部、３１０…付加情報抽出処理部、３１２…処理対象画像判定部、３１６…直線抽出部、３２０…交点位置特定部、３２２…コードデータ特定部、３２３…コードデータ特定部、３２４…復号化処理部

Claims (12)

1. 画像内に付加情報を埋め込む付加情報埋込装置と、前記付加情報埋込装置により画像内に埋め込まれた前記付加情報を復元する付加情報復元装置とを備えてなる情報埋込処理システムであって、
   前記付加情報埋込装置は、付加情報を埋め込むための下地情報として、線画像が２次元格子状に配置された格子縞パターンを使用し、この格子縞パターンの交点部分の線画像を、前記付加情報を表わすデジタルデータに基づいて、削除するのか残すのかを制御し、
   前記付加情報復元装置は、前記格子縞パターンの交点部分に線画像が存在するか否かを判定することにより、前記交点部分に埋め込まれている付加情報を復元する
   ことを特徴とする情報埋込処理システム。
2. 画像内に付加情報を埋め込む付加情報埋込装置であって、
   付加情報を埋め込むための下地情報として、線画像が２次元格子状に配置された格子縞パターンを取得する格子縞パターン取得部と、
   前記格子縞パターン取得部が取得した格子縞パターンの交点部分に、前記付加情報を表わすデジタルデータを埋め込む付加情報埋込部と
   を備えたことを特徴とする付加情報埋込装置。
3. 前記格子縞パターン取得部は、入力された処理対象画像から、前記格子縞パターンをなす直線を抽出する直線抽出部
   を有することを特徴とする請求項２に記載の付加情報埋込装置。
4. 前記格子縞パターン取得部は、前記格子縞パターンをなす直線を生成して入力された処理対象画像に重畳する下地情報生成部
   を有することを特徴とする請求項２に記載の付加情報埋込装置。
5. 前記付加情報埋込部は、前記交点部分そのものの線画像を、前記付加情報を表わすデジタルデータのビットデータに基づいて、削除するのか残すのかを制御することで、交点ごとに、１ビットのデジタルデータを対応付ける
   ことを特徴とする請求項２〜４のうちの何れか１項に記載の付加情報埋込装置。
6. 前記付加情報埋込部は、前記交点部分に入り込むｎ本の線画像のそれぞれについて、デジタルデータのそれぞれ異なる所定のビットを割り当てるようにし、そのｎ本の線画像の交点近傍を、前記付加情報を表わすデジタルデータのビットデータに基づいて、削除するのか残すのかを制御することで、交点ごとに、ｎビットのデジタルデータを対応付ける
   ことを特徴とする請求項２〜４のうちの何れか１項に記載の付加情報埋込装置。
7. 前記付加情報を表わすデジタルデータのビットデータに関わらず、前記交点部分に出力ドットを割り当てる交点画素割当部
   を備えていることを特徴とする請求項６に記載の付加情報埋込装置。
8. 前記格子縞パターン取得部が取得した格子縞パターンをなす線画像の太さを特定する直線構造特定部を備え、
   前記交点画素割当部は、前記直線構造特定部が特定した線画像の太さに基づいて、前記交点部分に割り当てる前記出力ドットの大きさを調整する
   ことを特徴とする請求項７に記載の付加情報埋込装置。
9. 前記格子縞パターン取得部が取得した格子縞パターンをなす線画像の太さを特定する直線構造特定部を備え、
   前記付加情報埋込部は、前記直線構造特定部が特定した線画像の太さに基づいて、線画像を削除する部分の大きさを調整する
   ことを特徴とする請求項５〜８のうちの何れか１項に記載の付加情報埋込装置。
10. 付加情報埋込装置により画像内に埋め込まれた付加情報を復元する付加情報復元装置であって、
    格子縞パターンの交点部分に線画像が存在するか否かを判定することにより、前記交点部分に埋め込まれている付加情報を復元する付加情報抽出処理部
    を備えたことを特徴とする付加情報復元装置。
11. 前記付加情報抽出処理部は、前記交点部分そのものに線画像が存在するか否かを判定することにより、交点ごとに対応付けられている、前記付加情報を表わす１ビットのデジタルデータを復元する
    ことを特徴とする請求項１０に記載の付加情報復元装置。
12. 前記付加情報抽出処理部は、前記交点部分に入り込むｎ本の線画像のそれぞれについて、交点近傍に線画像が存在するか否かを判定することにより、前記ｎ本の線画像のそれぞれに対応付けられている１ビットのデータを特定し、特定した各交点入力線のビットデータを各交点入力線に割り当てられているビットの重付けに基づいて並べることで、前記付加情報を表わすｎビットのデジタルデータを復元する
    ことを特徴とする請求項１０に記載の付加情報復元装置。
    

Images