JP2005223574A - 画像処理方法および画像処理装置 - Google Patents
画像処理方法および画像処理装置 Download PDFInfo
- Publication number
- JP2005223574A JP2005223574A JP2004029019A JP2004029019A JP2005223574A JP 2005223574 A JP2005223574 A JP 2005223574A JP 2004029019 A JP2004029019 A JP 2004029019A JP 2004029019 A JP2004029019 A JP 2004029019A JP 2005223574 A JP2005223574 A JP 2005223574A
- Authority
- JP
- Japan
- Prior art keywords
- image
- unit
- additional information
- pattern
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Image Processing (AREA)
- Editing Of Facsimile Originals (AREA)
Abstract
【課題】付加情報を画像に埋め込み、その付加情報を復号して所定の処理を行なう画像処理装置において、低画質画像を復号処理の対象とした際のユーザストレスを緩和する。
【解決手段】復号処理経過監視部604は、復号処理の回数や処理時間あるいは成功率などの復号処理の状況をユーザに提示する。何らの情報を提示することなく待たせるよりはストレスを緩和することができる。再出力処理部607は、ユーザからの指示を受け、処理対象の画像に対応する、より画質の良好な付加情報が埋め込まれている画像を再出力する。次回以降は、その再出力した画像をデコード処理に供することで、付加情報の認識性能がアップし、結果として、デコード処理の待ち時間が減少し、作業効率の改善が実現でき、ユーザのストレス低減を図ることができる。
【選択図】図12
【解決手段】復号処理経過監視部604は、復号処理の回数や処理時間あるいは成功率などの復号処理の状況をユーザに提示する。何らの情報を提示することなく待たせるよりはストレスを緩和することができる。再出力処理部607は、ユーザからの指示を受け、処理対象の画像に対応する、より画質の良好な付加情報が埋め込まれている画像を再出力する。次回以降は、その再出力した画像をデコード処理に供することで、付加情報の認識性能がアップし、結果として、デコード処理の待ち時間が減少し、作業効率の改善が実現でき、ユーザのストレス低減を図ることができる。
【選択図】図12
Description
本発明は、複写機、プリンタ、ファクシミリ装置、またはこれらの機能を複合的に備えた複合機などの画像形成装置に用いられる画像処理方法および画像処理装置に関する。
より詳細には、画像内に所定の付加情報を埋め込んでおき、復号処理によって埋め込んだ付加情報を復号し、復号した付加情報に基づいて、たとえば元の画像の所在を特定したり、情報の秘匿化を図るとともに埋め込まれた部分の元情報の再現などの所定のサービスリクエストを発行するなど、所定の処理を行なう技術に関する。
画像データに対し、1次元バーコードや2次元バーコード(QRコードなど)などの付加情報を埋め込んでおき、この付加情報を利用して、元の画像の所在を特定したり、情報の秘匿化を図るとともに埋め込まれた部分の元情報の再現など、付加情報を利用した様々なサービス処理を行なう仕組みや、付加情報を、人間の目には認識し難いような形式で付加する電子透かし技術が提案されている。
たとえば特許文献1に記載の仕組みでは、画像データを特定する文書IDに対応するファイル名を付して記憶部に登録するとともに、画像データに文書IDに対応する文書IDマークを合成した文書IDマーク付き画像を印刷しておくに際して、原稿種別に対応して文書IDマーク書込位置情報を登録した記憶部上の位置情報テーブルと、判定された原稿種別に基づいて位置情報テーブルを参照することで、文書IDマーク書込位置を決定するし、この決定した文書IDマーク書込位置に対して、文書IDマークを合成するようにしている。
登録された画像を取り出す場合において、文書IDマークが合成されている可能性の高い位置に対してデコード処理を実行した際に解読に失敗した場合には、他のデコード方法を適用するようにしている。
ここで、デコード処理の対象とする画像は、たとえばプリント出力されたものをスキャナやデジタルカメラなどの画像入力ソースを用いて取り込んだものである。この場合、様々な画像変換を受けるために、画質劣化を抑えた上で、安定した情報の検出を行なうことが困難であるという問題がある。加えて、掠れや汚れが存在することもある。
様々な画像変換とは、具体的には、プリントおよびスキャンによるD/A変換やA/D変換、色変換、スクリーンによる2値化処理、プリンタおよびスキャナの解像度の違いによって生じる解像度変換、スキャン時のスキュー(傾き)に加えて、ノイズや、プリンタおよびスキャナの機械的動作に伴う画素位置のずれ(面内むら)などがある。また、入力機器としてデジタルカメラを用いるときには、収差の問題などもある。
このような画質劣化のある画像を対象としてデコード処理をして付加情報を復号しようとすると、付加情報の検出が難しくなり、検出結果に基づくその後のサービス処理の完了も遅くなり、ユーザにストレスを与えてしまう。
たとえば、セキュリティに対する関心が高まるに従い、機密文書の表示出力や印刷過程で、機密部分にモザイク処理やスミ塗り処理を要求されるケースが増えてきている。この機密保護の目的を達するため、重要な文字や図表が配置されている機密部分に、一見では認識し難い意味のない付加情報を、見栄えを損なわないように上書きする仕組みが考えられる。
この場合、ユーザは、書類の確認や忘れた部分を思い出す際、モザイク処理やスミ塗りされた部分の内容を確認するべく、デコードした付加情報を参照して元文書を検索して取り寄せる。しかしながら、画質劣化があると、このデコード処理ステップおいて、デコード失敗によるリトライを含め、長いデコード時間が必要となる。この場合、ユーザは、長いデコード時間に耐えられなくなり、この結果、ユーザの意識が見栄えから、作業効率と変化する。
また、同じ原稿が何度も元文書の検索に繰り返し使用される照合回数が多い環境では、繰返し使用によってプリント表面が汚れてくることで、デコード失敗によるリトライ回数が次第に増加しデコード時間が次第に長くなる。この場合にも、ユーザは、長いデコード時間に耐えられなくなる。
本発明は、上記事情に鑑みてなされたものであり、画像品質の低下した処理対象画像に埋め込まれている付加情報を復号する場合においても、ユーザストレスを緩和することのできる仕組みを提案することを目的とする。
前述のような、ユーザに対してストレスを与える現象を緩和する手法として、処理過程の状況を提示することが考えられる。また、取り込んだ画像に掠れや汚れがあった場合には、その画像品質の劣化した画像に対応する、モザイク処理やスミ塗り処理がされた元の画像を再度プリントして次回以降に使用するようにすれば、次回以降はユーザストレスを緩和できると考えられる。本発明はこのような知見に基づいてなされたものである。
先ず、本発明に係る第1の画像処理方法は、付加情報が埋め込まれている画像から付加情報を復号し、この復号した付加情報を利用して所定の処理を行なう方法であって、復号処理の状況をユーザに提示することとした。
本発明に係る第2の画像処理方法は、付加情報が埋め込まれている画像から付加情報を復号し、この復号した付加情報を利用して所定の処理を行なう方法であって、処理対象の画像に対応する、より画質の良好な付加情報が埋め込まれている画像を再出力することとした。
本発明に係る第1の画像処理装置は、上記本発明に係る第1の画像処理方法を実施するのに好適な装置であって、復号処理の状況を監視する復号処理経過監視部と、復号処理経過監視部の監視結果に基づいて復号処理の状況をユーザに提示する復号処理経過提示部とを備えるものとした。
本発明に係る第2の画像処理装置は、上記本発明に係る第2の画像処理方法を実施するのに好適な装置であって、処理対象の画像に対応する、より画質の良好な付加情報が埋め込まれている画像を再出力する再出力処理部を備えるものとした。
また従属項に記載された発明は、本発明に係る画像処理方法や画像処理装置のさらなる有利な具体例を規定する。
たとえば、第1の画像処理方法および画像処理装置(纏めて第1の仕組みともいう)においてユーザに提示する復号処理の状況としては、たとえば、復号処理の回数や処理時間あるいは成功率、またはこれらの組合せを使用することができる。
また、第2の画像処理方法および画像処理装置(纏めて第2の仕組みともいう)において再出力する、画質の良好な画像としては、典型的には、元の付加情報が埋め込まれている画像データに基づいて出力されるものである。
なお、第1の画像処理方法と第2の画像処理方法とを組み合わせた構成とすれば、さらに好ましい。同様に、第1の画像処理装置と第2の画像処理装置とを組み合わせた構成とすれば、さらに好ましい。
本発明の第1の仕組みに依れば、復号処理の状況をユーザに提示するようにしたので、ユーザはデコード処理状態を把握できるようになるので、長いデコード時間を要する場合であっても、何らの情報を提示することなく待たせるよりはストレスを緩和することができる。
また、本発明の第2の仕組みに依れば、処理対象の画像に対応する、より画質の良好な付加情報が埋め込まれている画像を再出力するようにしたので、次回以降は、その再出力した画像をデコード処理に供するようにすることができるので、次回以降は付加情報の認識性能がアップし、結果として、デコード処理の待ち時間が減少し、作業効率の改善が実現でき、ユーザのストレス低減を図ることができる。
以下、図面を参照して本発明の実施形態について詳細に説明する。
<<画像処理システムの構成>>
図1は、本発明に係る画像処理装置を備えた画像処理システムを示す概略図である。この画像処理システム1は、画像入力端末3と、画像出力端末4と、データサーバ7とを備える。
図1は、本発明に係る画像処理装置を備えた画像処理システムを示す概略図である。この画像処理システム1は、画像入力端末3と、画像出力端末4と、データサーバ7とを備える。
画像入力端末3は、デジタルドキュメント(以下単にドキュメントという)DOCを作成したり編集などの処理をする、たとえばパソコン(パーソナルコンピュータ)3a、カラースキャナ3b、デジタルカメラ3c、またはハードディスク装置や光磁気ディスク装置あるいは光ディスク装置などのデータ格納装置3d、さらにはFAX装置3eなど、任意数の画像入力ソースを含み得る。
画像出力端末4は、本発明に係る画像処理装置の一例であって、たとえば複写機能、ページプリンタ機能、およびファクシミリ送受信機能などの複合機能を備えた複合機(マルチファンクション機)として構成された画像形成装置であり、デジタルプリント装置として構成されている。
画像入力端末3のそれぞれには、ドキュメントDOC作成用のアプリケーションプログラムなどが組み込まれる。たとえば、画像入力端末3側にて用意されるドキュメントDOCを表す電子データは、画像出力端末4で処理可能な画像フォーマット(たとえば、JPEG、BMP、PNGなど)で記述される。またたとえば、パソコン3aで作成された文書ファイルは、たとえばプリンタなどで印刷出力するために、図形、文字などの拡大、回転、変形などが自由に制御できるページ記述言語(PDL:Page Description Language )で記載されたデータとして画像出力端末4に送られる。
PDLで作成されているデータ(PDLデータ)は、ページ内の任意位置の画像、図形、文字を表現する描画命令およびデータを任意の順で配置した命令およびデータ列で構成されている。このPDLデータを受け取った画像出力端末4は、印字前に出力単位ごと(1ページごと)に画像データをレンダリング(描画展開)してからプリンタエンジン部にそのラスタデータを出力する。
画像出力端末4は、大まかに、付加情報の埋込処理が可能な画像形成装置5と、付加情報が埋め込まれている画像を印刷媒体(たとえばスキャンして取り込む)や電子データ(たとえばデジタルカメラで撮像)として取り込み、この付加情報が埋め込まれている画像から付加情報を復号し、この復号した付加情報を利用して所定のサービス処理を行なう復号装置6とを備えている。この復号装置6におけるサービス処理を行なうため、付加情報部分の元画像などをデータサーバ7に格納しておく。
画像出力端末4は、接続ケーブルを介してネットワーク9に接続可能になっている。たとえば、接続ケーブルは、CSMA/CD(Carrier Sense Multiple Access with Collision Detection)型LAN(Local Area Network;たとえばIEEE802.3)やギガビット(Giga Bit)ベースのLAN(以下纏めて有線LAN9aという)によりパソコン3aなどの画像入力端末3に接続される。
あるいは一般加入電話網(PSTN:Public Switched Telephone Network )9bを介してFAX装置3eなどの画像入力端末3に接続される。なお、一般加入電話網PSTNに代えて、ISDN(Integrated Switched Digital Network )またはインターネットを含む他の通信媒体を利用してファクシミリをやり取りするようにしてもよい。
また、画像出力端末4は、たとえばIEEE(Institute of Electrical and Electronics Engineers, Inc. ;米国電気電子学会)1394規格のデバイス3fやUSB(Universal Serial Bus)2.0規格のデバイス3gなどとも接続可能となっており、これらのデバイス3f,3gからデジタル画像データを受け付けることもできる。あるいは、これらデバイス3f,3gを介してリモートで画像出力端末4を制御することもできるようになっている。
また、画像出力端末4は、表示装置や印刷装置(プリンタ)を出力デバイスとして利用することで、処理済みの画像を出力する。出力された画像は、画像出力端末4において、2次利用(再利用)され得る。
このとき、本実施形態特有の構成として、メインの出力装置とローカルの出力装置とを利用して出力を行なう。具体的には、先ず、取り込んだ画像に付加情報が埋め込まれている場合、この付加情報をそのまま含む全体画像をメイン出力装置8aにて表示出力もしくは印刷出力する。また、必要に応じて(たとえばユーザからの指示を受けて)、付加情報が埋め込まれていた部分の元情報(埋込領域元情報)を埋込領域元情報提示部として機能するローカル出力装置8bにて表示出力もしくは印刷出力する。
<<電子計算機を利用した構成>>
図2は、画像出力端末4の一構成例を示すブロック図である。ここで示す画像出力端末4の構成は、CPUやメモリを利用してソフトウェア的に画像出力端末4を構成する、すなわちパーソナルコンピュータなどのコンピュータ(電子計算機)の機能を利用して画像出力端末4をソフトウェア的に実現する場合のハードウェア構成の一例を示している。
図2は、画像出力端末4の一構成例を示すブロック図である。ここで示す画像出力端末4の構成は、CPUやメモリを利用してソフトウェア的に画像出力端末4を構成する、すなわちパーソナルコンピュータなどのコンピュータ(電子計算機)の機能を利用して画像出力端末4をソフトウェア的に実現する場合のハードウェア構成の一例を示している。
よって、後述する再出力処理手法を適用した本発明に係る画像処理方法や画像処理装置を、電子計算機(コンピュータ)を用いてソフトウェアで実現するために好適なプログラムあるいはこのプログラムを格納したコンピュータ読取可能な記憶媒体を発明として抽出することもできる。
もちろん、このようなコンピュータを用いた構成に限らず、それぞれの機能をなす専用のハードウェアの組合せにより構成することもできる。ソフトウェアにより処理を実行させる仕組みとすることで、ハードウェアの変更を伴うことなく、処理手順などを容易に変更できる利点を享受できるようになる。
電子計算機に一連の再出力処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ(組込マイコンなど)、あるいは、CPU(Central Processing Unit )、論理回路、記憶装置などの機能を1つのチップ上に搭載して所望のシステムを実現するSOC(System On a Chip:システムオンチップ)、または、各種のプログラムをインストールすることで各種の機能を実行することが可能な汎用のパーソナルコンピュータなどに、記録媒体からインストールされる。
記録媒体は、コンピュータのハードウェア資源に備えられている読取装置に対し、プログラムの記述内容に応じ、磁気、光、電気などのエネルギの変化状態を引き起こして、それに対応する信号の形式で、読取装置にプログラムの記述内容を伝達できるものである。
たとえば、コンピュータとは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク(フレキシブルディスクFDを含む)、光ディスク(CD−ROM(Compact Disc-Read Only Memory )、DVD(Digital Versatile Disc)を含む)、光磁気ディスク(MD(Mini Disc )を含む)、または半導体メモリなどよりなるパッケージメディア(可搬型の記憶媒体)により構成されるだけでなく、コンピュータに予め組み込まれた状態でユーザに提供される、プログラムが記録されているROMやハードディスク装置などで構成されてもよい。または、ソフトウェアを構成するプログラムが、有線あるいは無線などの通信網を介して提供されてもよい。
たとえば、画質の劣化した画像に対応するより画質の良好な画像を再出力する機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ(またはCPUやMPU)が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、ハードウェアにて構成する場合と同様の効果は達成される。この場合、記憶媒体から読み出されたプログラムコード自体が再出力処理の機能を実現する。
また、コンピュータが読み出したプログラムコードを実行することで、再出力処理を行なう機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているOS(オペレーティングシステム;基本ソフト)などが実際の処理の一部または全部を行ない、その処理によって再出力処理を行なう機能が実現される場合であってもよい。
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるCPUなどが実際の処理の一部または全部を行ない、その処理によって再出力処理を行なう機能が実現される場合であってもよい。
電子計算機には、たとえば、複写アプリケーションやプリンタアプリケーション、ファクシミリ(FAX)アプリケーション、あるいは他のアプリケーション用の処理プログラムなど、従来の画像形成装置(複合機)におけるものと同様のソフトウェアが組み込まれる。また、ネットワーク9を介して外部とのデータを送受信したりするための制御プログラムも組み込まれる。
このとき、再出力処理を行なう機能を実現するプログラムコードを記述したファイルとしてプログラムが提供されるが、この場合、一括のプログラムファイルとして提供されることに限らず、コンピュータで構成されるシステムのハードウェア構成に応じて、個別のプログラムモジュールとして提供されてもよい。たとえば、既存の複写装置制御ソフトやプリンタ制御ソフト(プリンタドライバ)に組み込まれるアドインソフトとして提供されてもよい。
画像出力端末4を構成するコンピュータシステム900は、コントローラー部901と、ハードディスク装置、フレキシブルディスク(FD)ドライブ、あるいはCD−ROM(Compact Disk ROM)ドライブ、半導体メモリコントローラなどの、所定の記憶媒体からデータを読み出したり記録したりするための記録・読取制御部902とを有する。
コントローラー部901は、CPU(Central Processing Unit )912、読出専用の記憶部であるROM(Read Only Memory)913、随時書込みおよび読出しが可能であるとともに揮発性の記憶部の一例であるRAM(Random Access Memory)915、および不揮発性の記憶部の一例であるRAM(NVRAMと記述する)916を有している。
上記において“揮発性の記憶部”とは、画像出力端末4の電源がオフされた場合には、記憶内容を消滅してしまう形態の記憶部を意味する。一方、“不揮発性の記憶部”とは、画像出力端末4のメイン電源がオフされた場合でも、記憶内容を保持し続ける形態の記憶部を意味する。記憶内容を保持し続けることができるものであればよく、半導体製のメモリ素子自体が不揮発性を有するものに限らず、バックアップ電源を備えることで、揮発性のメモリ素子を“不揮発性”を呈するように構成するものであってもよい。また、半導体製のメモリ素子により構成することに限らず、磁気ディスクや光ディスクなどの媒体を利用して構成してもよい。
また、コンピュータシステム900は、ユーザインタフェースをなす機能部として、キーボードやマウスなどを有する指示入力部903と、操作時のガイダンス画面や処理結果などの所定の情報をユーザに提示する表示出力部904と、処理対象の画像を読み取る画像読取部(スキャナユニット)905と、画像出力端末4における処理済みの画像を所定の出力媒体(たとえば印刷用紙)に出力する画像形成部906と、各機能部との間のインタフェース機能をなすインタフェース部909とを有する。
インタフェース部909としては、処理データ(画像データを含む)や制御データの転送経路であるシステムバス991の他、たとえば、画像読取部905とのインタフェース機能をなすスキャナIF部995、画像形成部906や他のプリンタとのインタフェース機能をなすプリンタIF部996、およびインターネットなどのネットワーク9との間の通信データの受け渡しを仲介する通信IF部999を有している。
表示出力部904は、読み取った全体画像やガイダンス情報などの主要な情報を提示するためのメイン表示装置904aと、本実施形態特有の構成である、付加的な情報を必要に応じて提示するための埋込領域元情報提示部の一例として機能するローカル表示装置904bとで構成されている。表示された情報を確認しながら所定の入力を行なう作業を効率的にできるように、メイン表示装置904aやローカル表示装置904bは、指示入力部903の近傍に配置するのがよい。
なお、読み取った全体画像を表示することは、本願発明の実施形態としては必須の構成要素ではない。読取対象とした原稿として存在する印刷物を全体画像として使うことができるからである。
メイン表示装置904aは、たとえば、表示制御部942とCRT(Cathode Ray Tube;陰極線管)やLCD(Liquid Crystal Display;液晶)などでなるディスプレイ部944とを有する。たとえば、表示制御部942が、ディスプレイ部944上に、ガイダンス情報や画像読取部905が取り込んだ全体画像などを表示させる。なお、表示面上にタッチパネル932を有するディスプレイ部944とすることで、指先やペンなどで所定の情報を入力する指示入力部903を構成することもできる。
一方、ローカル表示装置904bとしては、たとえばシステムバス991と任意に接続可能なすなわち装置本体とは直接に接続されて使用される形態のハンディターミナル946の他、無線基地と接続される携帯電話(PHSを含む)947や通信アダプタを装着可能なPDA(Personal Digital Assistant)948など、第3者に覗かれ難い表示形態を取ることのできるものを使用する。携帯電話947やPDA948もユーザの手に持って使用されるものであり、装置本体とは直接に接続されていない形態のハンディターミナルである。これらハンディターミナルをローカル表示装置904bとして使用すれば、埋込領域元情報を提示する対象ユーザを限定し易く、機密情報などの秘匿すべき埋込領域元情報を第3者に覗かれ難いようにできる。
なお、ローカル表示装置904bは、第3者に覗かれ難いようにする表示形態を取るなど、埋込領域元情報を提示する対象のユーザを限定可能に構成されたものであればよく、必ずしもメイン表示装置904aと別の表示媒体を利用した構成に限らず、メイン表示装置904aをなすディスプレイ部944上において、第3者に覗かれ難いようにする表示形態を採ることで、実質的にローカル表示装置904bを構成するようにしてもよい。
画像読取部905は、画像入力端末の機能を備えており、たとえばCCD固体撮像素子の全幅アレイを使用して、読取位置へ送られた原稿に光を照射することで、原稿上の画像を読み取り、この読み取った画像を表す赤R、緑G、青Bのアナログビデオ信号をデジタル信号へ変換する。
画像形成部906は、たとえば画像読取部905にて得られた画像信号により表される画像を、電子写真式、感熱式、熱転写式、インクジェット式、あるいは同様な従来の画像形成処理を利用して、普通紙や感熱紙上に可視画像を形成する(印刷する)。
このため、画像形成部906は、たとえばイエローY,マゼンタM,シアンC,ブラックKの2値化信号などの印刷出力用データを生成する画像処理部962と、画像出力端末4をデジタル印刷システムとして稼働させるためのラスタ出力スキャンベースのプリントエンジン964を備える。
このような構成において、CPU912は、システムバス991を介してシステム全体の制御を行なう。ROM913は、CPU912の制御プログラムなどを格納する。RAM915は、SRAM(Static Random Access Memory )などで構成され、プログラム制御変数や各種処理のためのデータなどを格納する。また、RAM915は、所定のアプリケーションプログラムによって取得した電子ドキュメント(文字データのみに限らず画像データを含んでよい)や自装置に備えられている画像読取部905で取得した画像データ、さらには外部から取得した電子データなどを一時的に格納する領域を含んでいる。
たとえば再出力処理をコンピュータに実行させるプログラムは、CD−ROMなどの記録媒体を通じて配布される。あるいは、このプログラムは、CD−ROMではなくFDに格納されてもよい。また、MOドライブを設け、MOに前記プログラムを格納してもよく、またフラッシュメモリなどの不揮発性の半導体メモリカードなど、その他の記録媒体にプログラムを格納してもよい。さらに、他のサーバなどからインターネットなどのネットワーク9を経由してプログラムをダウンロードして取得したり、あるいは更新したりしてもよい。
なお、プログラムを提供するための記録媒体としては、FDやCD−ROMなどの他にも、DVDなどの光学記録媒体、MDなどの磁気記録媒体、PDなどの光磁気記録媒体、テープ媒体、磁気記録媒体、ICカードやミニチュアカードなどの半導体メモリを用いることができる。記録媒体の一例としてのFDやCD−ROMなどには、後で説明する画像出力端末4における再出力処理の一部または全ての機能を格納することができる。
また、ハードディスク装置は、制御プログラムによる各種処理のためのデータを格納したり、画像読取部905で取得した画像データや外部から取得した印刷データなどを大量に一時的に格納したりする領域を含んでいる。また、ハードディスク装置、FDドライブ、あるいはCD−ROMドライブは、たとえば、CPU912にコンテンツ取得やアドレス取得あるいはアドレス設定などの処理をソフトウェアにて実行させるためのプログラムデータを登録するなどのために利用される。
なお、画像出力端末4の各機能部分の全ての処理をソフトウェアで行なうのではなく、これら機能部分の一部を専用のハードウェアにて行なう処理回路908を設けてもよい。この場合、図示するように、画像形成装置5側における付加情報の埋込処理機能をなす埋込処理部982と、復号装置6側における付加情報を復号する機能をなす復号処理部984や再出力処理をなす再出力処理部986を個別に設けてもよい。
なお、画像形成装置5と復号装置6とを個別に構成する場合、いうまでもなく、コンピュータシステム900は、それぞれに応じた構成とされるから、処理回路908を設ける場合にも、埋込処理部982、復号処理部984、および再出力処理部986を、それぞれに応じて設ける。
ソフトウェアで行なう仕組みは、並列処理や連続処理に柔軟に対処し得るものの、その処理が複雑になるに連れ、処理時間が長くなるため、処理速度の低下が問題となる。これに対して、ハードウェア処理回路で行なうことで、高速化を図ったアクセラレータシステムを構築することができるようになる。アクセラレータシステムは、処理が複雑であっても、処理速度の低下を防ぐことができ、高いスループットを得ることができる。
<<画像形成装置の構成>>
図3は、画像形成装置5の機能に着目した一構成例を示すブロック図である。ここでは、本願出願人が特願2002−312315号にて提案している仕組みを採用するが、他の符号化手法を利用した構成としてもよい。
図3は、画像形成装置5の機能に着目した一構成例を示すブロック図である。ここでは、本願出願人が特願2002−312315号にて提案している仕組みを採用するが、他の符号化手法を利用した構成としてもよい。
図示するように、本実施形態の画像形成装置5は、処理対象の画像データを取り込む画像取得部401と、付加情報を処理対象画像の所定位置に埋め込む付加情報埋込処理部402とを備えている。
また画像形成装置5は、付加情報が処理対象画像の所定位置に埋め込まれた画像を所定の出力媒体に出力し、もしくは画像処理装置に画像データとして転送し、さらには付加情報が埋め込まれた部分の元の画像をデータサーバ7に登録するなどの出力処理を行なう画像出力処理部408と、処理対象画像データの記録、処理中の作業データの一時的な保持、あるいは出力データを保持する画像データ格納部409とを備えている。
付加情報埋込処理部402は、パターンサイズ設定部420と、パターン減衰率設定部430と、埋込強度設定部440と、付加情報パターン設定部450と、付加情報重畳処理部460とを有している。付加情報埋込処理部402の各部の構成や機能については、後で詳しく説明する。
<画像形成装置側の画像取得部の構成>
画像取得部401は、入力される画像データを受け付ける画像データ入力部412、並びに、画像データを補正することで埋め込まれた画像パターン情報の認識性能を改善するための機能部である画像データ解析部414と画像データ補正部416とを有している。
画像取得部401は、入力される画像データを受け付ける画像データ入力部412、並びに、画像データを補正することで埋め込まれた画像パターン情報の認識性能を改善するための機能部である画像データ解析部414と画像データ補正部416とを有している。
なお、プリンタなどの印刷機器から印刷出力された画像をスキャナで読み取ることで得られる画像や、デジタルカメラなどで撮像され電子的に入力される画像データは傾きを持つことが多々あるので、後述する復号装置6の処理対象画像傾き補正部614と同様の機能部を設けることで、画像データ入力部412が取り込んだ処理対象画像の傾きを検出しその傾き補正を行なうように構成するとさらに好ましい。
画像データ入力部412は、たとえば通信機能(図2の通信IF部999に相当)を備え、外部の画像入力端末3から画像データを受け取ったり、あるいは自装置内に組み込まれているアプリケーションプログラム(ソフトウェア)からOS(オペレーティングシステム;基本ソフト)などを介して受け取ったり、または画像データを記憶している記憶媒体(図2のFDやCD−ROMなど)から取り込んだ画像ファイルを開いて読み出すなど、種々の形態で画像データを取得することができる。
入力される画像データは、白黒の2値データに限らずグレースケールもしくはカラーなどの多値データで表されたものでもよく、図1に示した画像入力端末3、たとえばパソコン3aにより作成されたり、カラースキャナ3bやデジタルカメラ3cにより入力されたりした自然画像あるいはCG(Computer Graphics )画像など任意の画像であってよい。
画像データ解析部414および画像データ補正部416は、処理対象画像のハイライト部(明るいところ)やシャドー部(暗いところ)で、付加情報埋込処理部402により設定された付加情報をパターンとして埋め込んだ場合に復号処理での識別性能が落ちてしまうことを防止するために設けられているものであり、これらを取り外して、画像データ入力部412のみで画像取得部401を構成してもよい。
すなわち、画像データ入力部412のみで画像取得部401を構成すると、入力された画像データのハイライト部やシャドー部では、パターンを重畳した際にオーバーフローやアンダーフローが発生することがある。
そこで先ず、画像データ解析部414は、画像データ入力部412から入力された処理対象画像を解析する。画像データ補正部416は、画像データ入力部412から入力された埋込強度Cと画像データ解析部414の解析結果とに基づき処理対象画像を補正する。
具体的には、先ず画像データ解析部414は、処理対象画像の各色成分ごと、たとえば、R,G,BやY,M,C,Kなどごとに、画像データ入力部412が取り込んだ処理対象画像の持つ最大階調値Kmaxと最小階調値Kminとを検出する。
画像データ補正部416は、たとえば画像データ格納部409が各色成分ごとに8ビットの階調(256色階調)を持ち、すなわち、“0”から“255”の階調値で表せるならば、埋込強度設定部440から入力された埋込強度Cと画像データ解析部414が検出した最大階調値や最小階調値に基づいて、処理対象画像の各色成分が埋込強度Cから(255−C)までの間に入るように濃度変換を行なう。
このとき、画像データ補正部416は、処理対象画像の階調値が埋込強度入力部442により入力された埋込強度Cに基づいて設定される範囲を超えないように濃度変換を行なう。たとえば、画像データ補正部416は、処理対象画像の階調値が、処理対象画像の取り得る最小の階調値Kminから埋込強度入力部442により入力された埋込強度Cを減じた階調値から、処理対象画像の取り得る最大の階調値Kmaxから埋込強度入力部442により入力された埋込強度Cを減じた階調値までの範囲を超えないように処理対象画像の濃度を補正する。
具体的には、画像データ解析部414によって得られるある色成分の最大階調値をCmax、最小階調値をCminとすると、その色成分の持つ画素値Z(Cmin≦Z≦Cmax)は式(1)に従って、画素値Z’に変換する。 ここで、min(a,b)はa,bのうち小さい値をとり、max(a,b)はa,bのうち大きい値をとるものである。
この式(1)で示される変換の意味は、処理対象画像の持つ階調範囲[Cmin,Cmax]を[max(C,Cmin),min(255−C,Cmax)]に線形変換するものである。そのため、階調変換された画像に埋込強度Cによるパターン信号を重畳しても、“0”より小さな階調値または“255”を超える階調値は現れない。
したがって、付加情報重畳処理部460において、付加情報パターン設定部450により設定された付加情報に対応するパターン画像を処理対象画像データに埋め込んで画像出力処理部408によりプリンタなどの出力機器に対して付加情報が埋め込まれた画像を出力しても、処理対象画像データは画像データ補正部416によって補正されているために、この加算によるオーバーフローやアンダーフローは生じない。この結果、付加情報を埋め込むことに依る画質劣化を最低限度に抑えながら、復号処理での付加情報の識別性能が落ちてしまうことを防止する(識別率を向上させる)ことができる。
<画像形成装置側の画像出力処理部の構成>
画像出力処理部408は、付加情報が処理対象画像の所定位置に埋め込まれた画像を所定の出力媒体に出力し、もしくは画像処理装置に画像データとして転送する画像出力部482と、付加情報が埋め込まれた部分の元の画像情報をデータサーバ7に登録する登録処理部484とを有する。
画像出力処理部408は、付加情報が処理対象画像の所定位置に埋め込まれた画像を所定の出力媒体に出力し、もしくは画像処理装置に画像データとして転送する画像出力部482と、付加情報が埋め込まれた部分の元の画像情報をデータサーバ7に登録する登録処理部484とを有する。
画像出力部482は、プリンタなどの出力機器やソフトウェアあるいは通信回線などを介して、付加情報の埋め込まれた画像を出力する。
登録処理部484は、少なくとも画像パターン情報を埋め込む処理を伴う場合、その処理履歴を装置内部の図示しない記憶部にログ(Log;記録ファイル)やキャッシュ(一時ファイル)として保存しておく。
図4は、ログやキャッシュの構成例を説明する図である。図示するように、たとえば、ログには、日時、作業者、イベント種類、イベント終了状態、データハッシュ値、などを記録しておく。キャッシュの記録内容は、ログが保持する項目に加え、データアクセス高速化のため、デコード結果、埋込み文字列、元画像、などを記録する。キャッシュデータは揮発性メモリに保持されるので、生存期間が短く、かつ電源オフで消去される。よって、悪意のあるユーザにデータを盗まれる危険性が低いので、データの実体を保持しておくことができる。
図3に戻って説明を続ける。登録処理部484は、文書内の画像パターン情報やこの画像パターン情報が埋め込まれている部分の埋込領域元情報に、その画像パターン情報や埋込領域元情報を特定するIDコードを付して自装置内の記憶部(たとえばハードディスク装置)やデータサーバ7に登録する。また、そのIDコードを付加情報パターン設定部450に通知する。付加情報パターン設定部450は、通知された画像パターン情報や埋込領域元情報のIDコードを付加情報に含めるようにする。
登録処理部484は、自装置内の記憶部(たとえばハードディスク装置)やデータサーバ7に、画像パターン情報や埋込領域元情報の実体(データ)とIDコードとを対応付けて格納する。このとき、IDコードとその格納先を対応付けた管理テーブルを作成しておく。画像パターン情報や埋込領域元情報の検索時には、対象となる画像パターン情報や埋込領域元情報のIDコードを管理テーブルに突き合わせてその格納先を特定し、その結果から画像パターン情報や埋込領域元情報の実体を示すデータを自装置内の記憶部やデータサーバ7から読み出す。
なお、画像パターン情報や埋込領域元情報のIDコードだけでなく、埋込領域元情報がテキストである場合にはこのテキストや、また画像パターン情報や埋込領域元情報の格納先も、付加情報パターン設定部450に通知することで、画像パターン情報や埋込領域元情報のIDコードとテキストと格納先を付加情報に含めるようにすることもできる。この場合、登録処理部484は、画像パターン情報や埋込領域元情報のIDコードとこれらの実体の格納先を対応付けた管理テーブルを作成しておく必要はない。また、埋込領域元情報としてのテキストを保存しておく必要もない。
書類の確認や忘れた部分を思い出す際、モザイク処理やスミ塗りされた部分の内容を確認するために元文書を検索して取り寄せる際、復号した付加情報を解読してIDコードを特定することで、画像パターン情報や埋込領域元情報を検索できるようになる。また、オリジナル文書の全体を登録するではなく埋込領域元情報を登録しておくことで、記憶容量を低減できるとともに、容量の大きな画像データがネットワークを流れることや他の通信を妨害することを防止できる。
<画像形成装置側の付加情報埋込処理部の構成>
次に、付加情報埋込処理部402の各機能部について説明する。パターンサイズ設定部420は、先ず図示しないパーソナルコンピュータや操作パネルなどを通して、ユーザが指示したパターンサイズPSを入力設定する。
次に、付加情報埋込処理部402の各機能部について説明する。パターンサイズ設定部420は、先ず図示しないパーソナルコンピュータや操作パネルなどを通して、ユーザが指示したパターンサイズPSを入力設定する。
たとえば、ユーザが予め登録されている出力機器を選択する。画像形成装置5には、各出力機器に対応する最適なパターンサイズを登録しておくか、あるいはその都度その出力機器に問い合わせる。これにより、この出力機器の選択によって、その出力機器に最適なパターンサイズを自動的に判断して入力設定することができる。もちろん、数値などによってパターンサイズを入力設定してもよい。
パターンサイズ設定部420は、入力されたパターンサイズPSの情報を埋込強度設定部440や付加情報パターン設定部450に通知する。装置として予め設定されている固定値を利用する場合にはパターンサイズ設定部420を設けずに構成することも可能である。
<パターン減衰率設定部の構成>
パターン減衰率設定部430は、図示しないパーソナルコンピュータや操作パネルなどを通して、ユーザが指示するパターン減衰率αを入力設定するパターン減衰率入力部432と、パターンサイズ設定部420および埋込強度設定部440で入力設定された値(あるいは固定値)に基づいて、最適なパターン減衰率αbを計算によって求めるパターン減衰率計算部434とを有する。
パターン減衰率設定部430は、図示しないパーソナルコンピュータや操作パネルなどを通して、ユーザが指示するパターン減衰率αを入力設定するパターン減衰率入力部432と、パターンサイズ設定部420および埋込強度設定部440で入力設定された値(あるいは固定値)に基づいて、最適なパターン減衰率αbを計算によって求めるパターン減衰率計算部434とを有する。
パターン減衰率入力部432は入力されたパターン減衰率αを、またパターン減衰率計算部434は計算して求めたパターン減衰率αbを、付加情報パターン設定部450に通知する。またパターン減衰率計算部434は計算して求めたパターン減衰率αbを、埋込強度設定部440に通知する。
なお、パターン減衰率入力部432とパターン減衰率計算部434とは、何れか一方を使用できればよく、目的に応じて切替使用できるような構成とするとよい。また、装置として予め設定されている固定値を利用する場合には両者を設けずに構成することも可能である。
パターン減衰率計算部434は、パターンサイズ設定部420から得られるパターンサイズPSおよび埋込強度設定部440から得られる埋込強度Cとに基づいて、付加情報に対応するパターン画像の埋込みによる画質劣化を最小限に抑えるようなパターン減衰率αbを計算する。具体的には、隣のブロックとの境界が滑らかに接続されるようなパターン減衰率αbを計算する。
図5は、パターン減衰率計算部434の動作の一例を説明する図である。パターン減衰率計算部434におけるパターン減衰率の具体的な計算方法としては、後述する図7に示す式(2−1)や式(2−2)の指数関数を用いる場合には、図5中のA点の絶対値が十分に小さくなるようにすればよい。印刷する場合には、この値は“10”程度で十分である。
図5に示した例では、8×8のパターンサイズであり、図示した座標の取り方をすれば、パターン外郭をなす4辺の各中点である4つのA点は、原点からの距離が“3”となる。一般にパターンサイズがN×Mであったときは、N,Mのうち小さい方を使って、式(2−1)なら 式(3−1)に従って、また式(2−2)なら 式(3−2)に従って、それぞれパターン減衰率αを求めればよい。なお、“^”はべき乗を示す。
このようにパターン減衰率αをユーザの手を介してもしくは固定値として入力しなくても、パターンサイズPSや埋込強度Cなどから自動的にパターン減衰率αbを計算するように構成することもできる。もちろん、ここで示した計算方式は一例であり、たとえば図5中のA点に合わせるほか、4隅の点Bに合わせてもよい。
また、ここではパターン減衰率を縦横とも同じ値を用いているが、縦方向のパターン減衰率と横方向のパターン減衰率を別々に計算して、付加情報パターン設定部450においてそれらを用いてパターンを生成するように構成してもよい。なお、パターンサイズおよび埋込強度として設定される値がある程度限定される場合には、予めパターン減衰率αbを計算して数種類分登録しておき、利用する際に選択して用いるように構成してもよい。
<埋込強度設定部の構成>
図3に戻って埋込強度設定部440の詳細について説明する。埋込強度設定部440は、付加情報パターン設定部450にてパターン信号を発生させる際に、埋込強度を設定することで、処理対象画像の画質に対する影響や埋め込んだ付加情報の認識率などを調節する。このため、埋込強度設定部440は、図示しないパーソナルコンピュータや操作パネルなどを通して、ユーザが指定する埋込強度Cを入力設定する埋込強度入力部442と、最小埋込強度入力部444、最大埋込強度入力部446、および埋込強度制御部448を含む埋込強度調整部449とを有している。
図3に戻って埋込強度設定部440の詳細について説明する。埋込強度設定部440は、付加情報パターン設定部450にてパターン信号を発生させる際に、埋込強度を設定することで、処理対象画像の画質に対する影響や埋め込んだ付加情報の認識率などを調節する。このため、埋込強度設定部440は、図示しないパーソナルコンピュータや操作パネルなどを通して、ユーザが指定する埋込強度Cを入力設定する埋込強度入力部442と、最小埋込強度入力部444、最大埋込強度入力部446、および埋込強度制御部448を含む埋込強度調整部449とを有している。
また、埋込強度設定部440は、元画像の秘匿レベルを判断する秘匿レベル判定部472と、秘匿レベル判定部472の判定結果に基づいて埋込強度入力部442から得られる埋込強度Cや埋込強度制御部448から得られる埋込強度Cbを調整することで最終的な埋込強度Ccを決める埋込強度秘匿調整部(埋込強度決定部)474と、利用者の認証処理を行なう認証処理部476とを有する。
埋込強度設定部440は、同一文書に複数の埋込領域(秘匿部分を含む)が存在する場合には、それぞれの埋込領域について、適切な埋込強度を設定する。また、復号装置6における処理において、埋込強度を推定する場合に備えて、画像に埋め込まれた画像パターン情報部分の濃度値やこの濃度値と背景画像部分の濃度との比などと埋込強度とを対応付けたルックアップテーブル(LUT;Look Up Table )を用意しておく。
埋込強度入力部442は入力された埋込強度Cを、また埋込強度調整部449は求めた最適な埋込強度Cbを、埋込強度秘匿調整部474を介して(秘匿の必要な部分は調整された埋込強度Ccとして)付加情報パターン設定部450に通知する。また、構成によっては、埋込強度入力部442は入力された埋込強度Cを画像データ補正部416やパターン減衰率計算部434に通知する。
なお、埋込強度入力部442と埋込強度調整部449とは、何れか一方を使用できればよく、目的に応じて切替使用できるような構成とするとよい。また、装置として予め設定されている固定値を利用する場合には両者を設けずに構成することも可能である。
埋込強度調整部449の最小埋込強度入力部444は、パターンの識別が可能な最小の埋込強度Cminを設定する。また、最大埋込強度入力部446は、パターンの埋込みによる画質の劣化が顕著にならない最大の埋込強度Cmaxを設定する。なお、最小埋込強度Cminおよび最大埋込強度Cmaxは、固定値としたり、あるいは設定できない構成であってもよい。
埋込強度制御部448は、パターンサイズ設定部420から通知されたパターンサイズPSとパターン減衰率設定部430のパターン減衰率入力部432から通知されたパターン減衰率α(それぞれ入力設定された値)もしくはそれぞれ装置として予め定められている固定値と、付加情報パターン設定部450によって符号化された付加情報に対応する符号化信号(埋込情報Fa)と、画像データ格納部409中の付加情報重畳処理部460によってアドレスされる重畳パターンと同サイズの領域の画像データ(ブロック)の値、それに最小埋込強度入力部444から入力される最小埋込強度Cminおよび最大埋込強度入力部446から入力される最大埋込強度Cmaxに基づいて、パターンの最適な埋込強度Cbを計算する。
図6は、埋込強度調整部449の動作の一例を説明する図である。埋込強度制御部448は、たとえば、パターンが重畳される領域の画像データをブロックとし、そのブロックをパターンに対応して中心を通る2つのエッジによって4つの部分ブロックに分割する。たとえば、パターンのエッジが中心を通り、垂直方向と水平方向にある場合には、ブロックをパターンのエッジに相当する垂直および水平な直線で4分割することで4つの部分ブロックに分割する。そして、この分割した4つの部分ブロックごとに画素値の総和を求め、得られた4つの総和値と重畳パターンとから最適な埋込強度を決定する。
埋込強度制御部448は、重畳パターンが“1”に対応するものであるとき、分割したそれぞれの部分ブロックでのパターン重畳後の画素値の総和B1,B2,B3,B4が、“min(B1,B3)>max(B2,B4)”の関係を満足する最小の埋込強度を最適な埋込強度Cbとして算出する。また、埋込強度制御部448は、重畳パターンが“0”に対応するものであるとき、パターン重畳後の4つの領域の画素値の総和B1,B2,B3,B4が、“min(B2,B4)>max(B1,B3)”の関係を満足する最小の埋込強度を最適な埋込強度Cbとして算出する。
ただし、求めた埋込強度が最小埋込強度入力部444から入力された最小埋込強度Cminよりも小さかった場合には、埋込強度制御部448は、最小埋込強度入力部444から入力された最小埋込強度Cminを最適な埋込強度Cbとする。また、求めた埋込強度が最大埋込強度入力部446から入力された最大埋込強度Cmaxよりも大きかった場合には、埋込強度制御部448は、最大埋込強度入力部446から入力された最大埋込強度Cmaxを最適な埋込強度Cbとする。
このような関係を満足する最小の埋込強度を用いて生成したパターンを重畳した電子画像は、何らの画像変換を受けない限り、付加情報検出側である復号装置6の構成で埋め込まれた付加情報を100%識別可能となる。しかし、この電子画像を印刷して、それをスキャナあるいはデジタルカメラのような入力機器で入力して再び電子情報に戻した場合には、印刷および入力の過程で、多くの画像処理を受けてしまうため、特に計算された値が小さすぎる場合には埋め込まれた付加情報の識別が難しくなる。また逆に、計算された値が大きすぎる場合には、識別は容易であるが、画質上好ましく影響が発生する可能性がある。そのため、上述のように埋込強度を最小埋込強度Cminおよび最大埋込強度Cmaxの範囲内となるようにしている。
なお、B1,B2,B3,B4は、パターン重畳前の4つの部分ブロックごとの総和値D1,D2,D3,D4に付加情報、ブロックサイズ、埋込強度C、およびパターン減衰率αによって決まるパターン信号との領域ごとの加算により求めることができる。逆に、D1,D2,D3,D4および付加情報が分かれば、上記関係を満たすのに必要な埋込強度を計算で求めることも可能である。また、予めよく使用する埋込強度Cとパターン減衰率αの複数の組合せテーブルを用意しておけば、パターン減衰率入力部432から入力されたパターン減衰率αから上記関係式を満たすのに必要な埋込強度を簡単に求めることもできる。
なおここでは、パターン減衰率を入力し、埋込強度をブロック画像に適応させて制御する例を示したが、これに限らず、逆に埋込強度は入力された値を用い、ブロック画像に適応してパターン減衰率の方を可変とする構成も可能である。上述の関係式を満たすためには、埋め込み強度とパターン減衰率のいずれか一方が固定であればよく、他方を計算で求めることができる。
また、予めよく使用する埋込強度とパターン減衰率の複数の組合せにおける重畳パターンの4分割した画素値の総和について計算したテーブルを用意しておけば、上記関係式を満たすのに必要な埋込強度およびパターン減衰率の組合せを簡単に求めることもできる。
埋込強度入力部442により入力設定された値や予め用意されている固定値を埋込強度Cとして用いる場合、入力された画像データに依らず、一定の埋込強度Cでパターンの埋込みを行なうので、識別が容易な平坦部分も、識別が難しい強いエッジが存在する場所でも、同じ強度でパターンが埋め込まれてしまうため、強いエッジの存在する部分では識別性能が落ち、平坦部では識別性能は高いがやや画質を劣化する原因となる場合がある。
これに対して埋込強度調整部449を用いることで、パターンを埋め込む領域の画像データに応じて最適な埋込強度Cbを算出するように埋込強度Cを調整すれば、その埋込強度Cbに従って付加情報パターン設定部450で2つのパターンを作成してその組合せにより2次元バーコードのような画像パターン情報を生成して画像データに埋め込むことによって、識別が難しい領域での識別性を向上させ、平坦な領域での画質劣化を低減することができる、すなわち画質劣化を抑えながら、画像パターン情報に埋め込まれた付加情報の識別率を向上させることができる。
<付加情報パターン設定部の構成>
図3に戻って付加情報パターン設定部450の詳細について説明する。付加情報パターン設定部450は先ず、図示しないパーソナルコンピュータや操作パネル、ソフトウェア、ファイルなど、種々の供給源から、処理対象画像データに埋め込む付加情報F0の入力を受け付ける付加情報入力部452と、付加情報入力部452からの付加情報を符号化する付加情報符号化部454とを有する。付加情報F0は、文字列、数字、あるいは画像データなど、様々な情報であってよい。
図3に戻って付加情報パターン設定部450の詳細について説明する。付加情報パターン設定部450は先ず、図示しないパーソナルコンピュータや操作パネル、ソフトウェア、ファイルなど、種々の供給源から、処理対象画像データに埋め込む付加情報F0の入力を受け付ける付加情報入力部452と、付加情報入力部452からの付加情報を符号化する付加情報符号化部454とを有する。付加情報F0は、文字列、数字、あるいは画像データなど、様々な情報であってよい。
付加情報符号化部454は、付加情報重畳処理部460からの埋込情報を埋め込む位置の情報を参照して、付加情報入力部452により入力された付加情報F0を元に所定の符号化フォーマットに変換し、実際に画像データに埋め込む埋込情報Faを作成する。なお、符号化せずに埋め込むことも可能であり、この場合には付加情報符号化部454を取り除いた構成とすることができる。
また、付加情報パターン設定部450は、パターンサイズ設定部420から入力設定されたパターンサイズPS、パターン減衰率入力部432から入力されたパターン減衰率αもしくはパターン減衰率計算部434から入力されたパターン減衰率αb、および埋込強度入力部442から入力された埋込強度Cもしくは埋込強度制御部448から入力された埋込強度Cbに基づいて、2つのパターンを作成するパターン作成部456と、付加情報符号化部454により作成された埋込情報Faに基づいて、パターン作成部456が作成した2つのパターンのうちの一方を選択して付加情報重畳処理部460に渡すパターン選択部458とを有する。
<2つのパターンの特徴>
パターン作成部456が作成する2つのパターンは、以下の通りの特徴を持つ。すなわち、
1)2つのパターンの対応する画素同士を加算すると全ての要素が0になる。2つのパターンの極性が異なることを意味し、2本のエッジの導入とともに付加情報の検出を容易にするためのものである。
2)各々のパターン中の全画素を加算すると0になる。パターンの重畳前後において、その平均濃度を変更しないためであり、画質劣化を最低限度に抑える効果がある。
3)各々のパターンは中心部を通り方向が異なる2本以上のエッジと呼ばれる不連続な画素値を備える。エッジの方向は、たとえば垂直線と水平線に沿った方向とすることができる。
パターン作成部456が作成する2つのパターンは、以下の通りの特徴を持つ。すなわち、
1)2つのパターンの対応する画素同士を加算すると全ての要素が0になる。2つのパターンの極性が異なることを意味し、2本のエッジの導入とともに付加情報の検出を容易にするためのものである。
2)各々のパターン中の全画素を加算すると0になる。パターンの重畳前後において、その平均濃度を変更しないためであり、画質劣化を最低限度に抑える効果がある。
3)各々のパターンは中心部を通り方向が異なる2本以上のエッジと呼ばれる不連続な画素値を備える。エッジの方向は、たとえば垂直線と水平線に沿った方向とすることができる。
さらに好ましくは、各々のパターンの持つ画素値の絶対値は中心でもっとも大きく、中心から離れるほど小さくなる、という特徴を持つものとするとよい。
また、形状に関し、ここでは、共にn×m画素の同サイズの長方形ブロックで構成される、という特徴を有しているものとする。
図7は、埋め込むパターンの一例を説明する図である。ここで示した例は、パターンサイズが8×8の例である。基本パターンのサイズはパターンサイズ設定部420で設定される。また式(2−1)、式(2−2)において、埋込強度Cは埋込強度設定部440により入力され、パターン減衰率αはパターン減衰率設定部430で設定される。xは横軸、yは縦軸の座標を表し、パターンの中心を原点としている。
上述のような特徴を有するパターンとしては、たとえば図7に示したようなものがある。ここでは図7(A)は付加情報“1”を意味する基本パターン、図7(B)は付加情報“0”を意味する基本パターンとし、これら双方の全要素に図7(C)に示す式(2−1)または式(2−2)のような式が乗ぜられる。これによって、たとえば図7(D)、(E)に示すようなパターンが生成される。なお、図7(D)、(E)では、図示の都合上、濃度の違いをハッチングの違いによって示している。
なお、2つのパターンは図7に示した例に限られるものではなく、たとえば式(2−1)や式(2−2)の代わりに三角波のようなものを利用するなど、式(2−1)および式(2−2)としてどのような関数を用いてもよい。また、これらの式中の指数関数部分を省略したり、あるいはこれらの式を用いずに図7(A)、(B)に示すパターンをそのまま用いることも可能である。さらに、図7に示した例ではエッジ方向として垂直・水平方向としたが、たとえば45度および135度方向のエッジなど、付加情報を抽出する復号装置6側とエッジの抽出方向を合わせておけば任意のエッジ方向でよい。
これらのパターンの特徴は、画質への影響をできる限り抑えながら、かつ、その検出を容易にするためのものであり、後述する情報検出側である復号装置6の構成によって画像に埋め込まれた付加情報を容易に検出することが可能である。なお、パターンサイズPSやパターン減衰率α、埋込強度Cなどのパラメータは、通常、各出力機器ごとに画質や検出率を考慮して設定することになるが、後述する復号装置6側ではこれらのパラメータを事前に知っている必要はない。
<付加情報重畳処理部の構成>
図3に戻って付加情報重畳処理部460の詳細について説明する。付加情報重畳処理部460は、画像パターン情報を埋め込む位置を制御する埋込位置制御部462と、埋込位置制御部462の制御の元で処理対象画像の全体の中から画像パターン情報を埋め込む部分の埋込領域元情報を取得する埋込領域元情報取得部464とを有する。
また、付加情報重畳処理部460は、埋込領域元情報取得部464が取得した埋込領域元情報に、付加情報パターン設定部450が生成した画像パターン情報を上書きして画像データ格納部409に書き戻すパターン重畳部466と、画像形成装置5側で生成した埋込情報Faの埋込処理を行なうのか、それとも復号装置6側からの埋込情報Faの埋込処理を行なうのかを切り替える切替制御部468とを有する。
図3に戻って付加情報重畳処理部460の詳細について説明する。付加情報重畳処理部460は、画像パターン情報を埋め込む位置を制御する埋込位置制御部462と、埋込位置制御部462の制御の元で処理対象画像の全体の中から画像パターン情報を埋め込む部分の埋込領域元情報を取得する埋込領域元情報取得部464とを有する。
また、付加情報重畳処理部460は、埋込領域元情報取得部464が取得した埋込領域元情報に、付加情報パターン設定部450が生成した画像パターン情報を上書きして画像データ格納部409に書き戻すパターン重畳部466と、画像形成装置5側で生成した埋込情報Faの埋込処理を行なうのか、それとも復号装置6側からの埋込情報Faの埋込処理を行なうのかを切り替える切替制御部468とを有する。
埋込位置制御部462は、予め決められている埋め込みフォーマットに従って、画像データ格納部409に保持されている画像データへ埋込情報(付加情報を含む画像パターン情報)を埋め込む位置を指定する。
パターン重畳部466は、埋込位置制御部462が指定した画像データ格納部409のアドレスに存在する画像ブロックに対して、パターン選択部458が選択したパターンを加算する。なお、加算値が最大値(たとえば255)を超えたときは、その値を最大値(たとえば255)にし、加算値が負の値になったときは、その値を最大値“0”にする。
なお、パターンの付加は、カラー画像であれば、全ての色成分に対して行なわれることが望ましいが、少なくとも1つの色成分に対して行なわれてもよい。復号装置6における抽出時においても同様である。
切替制御部468は、画像形成装置5と復号装置6とを一体的にすることで再出力処理をも行なうことが可能な画像出力端末4を構成するために設けたものである。再出力処理を行なう画像出力端末4を構成するに際して、画像形成装置5が備える機能要素を利用することで、コンパクトな構成にすることができる。
画像形成装置5と復号装置6とを独立の装置とする場合には、この切替制御部468を取り外してよい。もちろん、別体とする場合でも、切替制御部468を設けておくことで、復号装置6側から転送される埋込位置情報や処理対象画像や画像パターン情報などに基づいて再出力処理を行なうように構成することもできる。この場合、復号装置6側の構成をコンパクトにすることができる。
<符号フォーマットの一例>
図8は、本実施形態で使用する符号フォーマットの一例を説明する図である。
図8は、本実施形態で使用する符号フォーマットの一例を説明する図である。
符号フォーマットには、フォーマット化された埋込情報を、記録する位置および順番を指定する物理フォーマット(図8(A)参照)と、物理フォーマット内で、埋め込まれた情報をどのように符号化および復号化するかを規定した論理フォーマット(図8(B)参照)とがある。
図8(A)に一例として示した物理フォーマットにおいて、パターンの埋込み対象となる処理対象画像33に対して、パターンサイズ31とマクロブロックサイズ32が設定される。パターンサイズ31はパターンサイズ設定部420により設定されたパターンの大きさを示し、マクロブロックサイズ32はこのパターンサイズ31をY行X列のマトリクス状にまとめたものである。
埋込位置制御部462は、埋込み対象の処理対象画像33のサイズと、予め設定されているマクロブロックサイズであるマトリクスサイズ(Y,X)と、パターンサイズ31とに基づいて、処理対象画像33内に配置可能なマクロブロックの数を計算し、マクロブロックを処理対象画像33のなるべく中心によせて隙間なく配置する。埋込位置はマクロブロックを左上から右下方向、すなわち、図8(A)に示した例ではMB11,MB12,MB13,MB21,…,MB33の順にアクセスし、さらにマクロブロック内でも左上のパターンから右下のパターンの順序でアドレス制御する。
図8(B)に一例として示した論理フォーマットは、1つもしくは複数の基本論理フォーマット41の組合せで構成されている。個々の基本論理フォーマット41は、頭出しヘッダ42、符号化方式情報43、シーケンス番号44、有効符号数情報45、および符号化情報46で構成されている。
基本論理フォーマット41のサイズはマクロブロック32のサイズに等しく、X×Yビットである。頭出しヘッダ42は、そのマクロブロック32の位置を特定するために使用され、全マクロブロック32に対して共通のものが使用される。
符号化方式情報43は、符号化情報46がどのような誤り訂正方式で符号化されているかを示すもので、これも全マクロブロック32に共通して使用される。
シーケンス番号44は、付加情報入力部452が受け取った付加情報が1つのマクロブロック32内に収容できない大きさであったときに使用され、付加情報を符号化した後に、それをマクロブロック32に収容できるサイズに分割し、それらに対してシーケンス番号を“1”番から昇順に付加していったものである。符号化された付加情報が1つのマクロブロック32に収容できる長さであったときは、シーケンス番号は“1”になる。
有効符号数情報45は、符号化された付加情報が分割された場合に、最後のマクロブロックに収容された符号化情報の有効符号数を示しており、最後のブロック以外の有効符号数情報はすべて“0”になる。なお、誤り訂正符号化される部分は、符号化情報46だけでなく、シーケンス番号44および有効符号数情報45も含んでいる。
図9は、付加情報符号化部454の動作の一例を示すフローチャートである。付加情報符号化部454は先ず付加情報入力部452より入力された付加情報F0を2値情報に置き換える(S101)。たとえば、付加情報F0として文字列を受け取ったなら、これをASCIIコードなどに変換して2値情報に変換する。
次に付加情報符号化部454は、変換した2値情報に対して、たとえばハミング符号などにより誤り訂正符号化する(S102)。この後、誤り訂正符号化した情報の符号長から、それが1つのマクロブロックに収まるか否かを計算し、もし入りきらない場合には、これを分割する(S103)。入りきらない場合には、情報を埋め込むために複数のマクロブロックが必要になる。
さらに、付加情報符号化部454は、分割した符号化情報46に、頭出しヘッダ42、符号化方式情報43、シーケンス番号44、および有効符号数情報45を付加して複数の基本論理フォーマット41の情報を作成する(S104)。
そして最後に、付加情報符号化部454は、作成した複数の基本論理フォーマット41の情報を先頭のマクロブロックから順番に埋めていき、全てのマクロブロックに情報が埋め込まれるように繰り返して埋め込みを行なう(S105)。
たとえば、図8(A)に示した例のようにマクロブロック32の数が9つあり、シーケンス番号の最大値が“4”であったときは、マクロブロックMB11,MB12,MB13,MB21にシーケンス番号1の基本論理フォーマットの情報、シーケンス番号2の基本論理フォーマットの情報、シーケンス番号3の基本論理フォーマットの情報、シーケンス番号4の基本論理フォーマットの情報をそれぞれ埋め込む。
さらに、マクロブロックMB22,MB23,MB31,MB32に再びシーケンス番号1の基本論理フォーマットの情報、シーケンス番号2の基本論理フォーマットの情報、シーケンス番号3の基本論理フォーマットの情報、シーケンス番号4の基本論理フォーマットの情報をそれぞれ埋め込み、マクロブロックMB33にシーケンス番号1の基本論理フォーマットの情報を埋め込むことになる。
図8(A)に示した例のように、パターンを埋め込むブロックを規則的に配置しておくことによって、付加情報を抽出する復号装置6側では、ブロックサイズやブロック位置を容易に検出することができるようになる。
また、復号装置6は、付加情報を解読するためには、マクロブロックのサイズ(Y,X)と論理フォーマットだけを知っていればよく、埋込み時のブロックサイズや出力機器および入力機器の解像度などの情報も必要としない。
また、画質に関しては、振幅が減衰するパターンを用いることによって、パターンの中心部が特に元画像とは異なることになるものの、このパターンがほぼ画像全体に規則正しく等間隔で埋め込まれるために、たとえ元画像とは違うということがわかっても違和感を抑えることができる。
また、検出率があまり落ちない範囲でできるだけブロックサイズを小さくしたり、ブロックサイズを小さくできない場合でも、減衰率を適当な値にセットすることによって、元画像に比較して殆ど画質劣化を感じない程度に抑えることができる。
図10および図11は、上記構成の画像形成装置5によって、処理対象のオリジナル画像に付加情報が埋め込まれた出力画像の一例を示す図である。図10では、オリジナル画像における左上1/4を埋込位置として付加情報F0を含むパターン画像が埋め込まれている。また、埋込強度設定部440により設定される埋込強度Cもしくは埋込強度Cbに応じて、その埋込みの程度が調整されている。埋込強度が弱いほど埋込位置におけるオリジナル画像の認識具合が良好である一方、埋込強度が強いほど埋込位置におけるオリジナル画像の認識が困難になる。
よって、オリジナル画像が、機密情報や秘密領域を含んでいる場合、付加情報を表す画像パターン情報をオリジナル文書の所要の部分(秘匿する部分)にマスキング画像として埋め込むことで、埋込位置の情報の秘匿化を図ることもできる。文書の機密レベルやオブジェクト(たとえばテキストと画像)、またはこれらの組合せなどの秘匿化の要求度合いに応じて埋込強度C,Cbを設定するのがよい。
たとえば図11に示すように、機密情報や秘密領域を含む秘匿文書について、画像部に対するモザイク処理やテキスト部分に対するスミ塗り処理が要求される秘匿部分(特定領域)として取り扱い、元情報が容易に分からない程度まで埋込強度を上げて符号化した加工画像(特定領域代用画像)を上書きして画像形成することで、機密情報の流出防止を図るようにする。テキスト部分はうっすらと見えただけでも、その内容を特定できるので、テキスト部分が秘匿部分である場合には、機密レベルを最高にすることが望ましく、画像部分よりも埋込強度を上げておくことで、機密情報の流出防止を確実に図るようにする。
また、特定領域を白色化つまり黒文字のテキストを無効化した後に、機密部分の内容や機密部分の元情報(テキスト)の保存先情報を表す画像パターン情報を上書きするのがよい。テキスト部分の秘匿化を確実にするとともに、埋め込む画像パターン情報をモノクロで表す場合には、元のテキストとの干渉を避けることができる。なお、特定領域を白色化することに代えて、中間濃度(所定色)で均一にしてもよい。白色化とほぼ同様の効果が得られる。
なお、符号化に際しては、埋込み強度を上げるに従って元画像を視覚的に劣化させる2元符号化方式、たとえばステガノグラフィシステム(特表2002−504272号公報参照)などの手法を利用することができる。
特定領域代用画像は、「機密保護」の目的を達するため、見た目には意味のない情報であればよく、本実施形態では、この特定領域代用画像として、上述したパターン作成部456で生成されるパターン画像をモザイク画像やスミ塗り画像として利用して、特定領域にパターン画像(すなわち特定領域代用画像)を上書きする。同一文書に複数の機密部分が存在し、各機密部分に機密レベルの差が設定されている場合、各機密部分の機密レベルに基づいて埋込強度を決定する。
パターン作成部456とパターン選択部458とで、特定領域代用画像取得部が構成される。すなわち、秘匿すべき部分であるパターン画像を埋め込む特定領域については、パターン作成部456で生成された2つのパターンをパターン選択部458が選択することで、パターン選択部458が選択した結果で示される画像として特定領域代用画像が形成される。
一方、画像形成後には、書類の確認や忘れた部分を思い出す際、パターン画像を特定領域代用画像として使用することで秘匿した部分の元情報を知りたいケースも起こり得る。正当な者に対しては、この秘匿した部分の元情報を提示しても何ら不都合はない。
この場合、オリジナル文書全体をデータサーバ7に登録しておいて、パターン画像(特定領域代用画像)中の付加情報に登録先を示す情報を埋め込んでおくことで検索/提示することも考えられるが、容量の大きな画像データがネットワークを流れることになり、ネットワーク負荷が大きくなり、他の通信を妨害する危険も増大する。
そこで、本実施形態では、特定領域代用画像(モザイク処理やスミ塗りされた部分)が上書きされた埋込位置(特定領域)の元情報の内容や埋込位置の元情報の保存先情報、さらには正規利用者の認証情報(たとえばユーザ名とIDコード)を付加情報に示しておく。埋込位置(特定領域)の元情報がテキストであって情報量が少なければ、付加情報F0としてそのテキスト部分を受け取りこれをASCIIコードなどに変換するなどして付加情報として示しておくことで、復号装置6側で付加情報を解読すれば、即時に元のテキストを再現でき、その結果を正規利用者のみに提示することができる。
一方、埋込位置(特定領域)の元情報がテキストであっても情報量が多いケースや元情報が画像である場合には、埋込位置(特定領域)の元情報だけをデータサーバ7に登録しておきつつ、元情報の保存先情報を付加情報として示しておくことで、復号装置6側で付加情報を解読することで、保存先情報を特定し検索することによりテキストや画像を再現することができ、その結果を正規利用者のみに提示することができる。
1ページ内に特定領域が複数ある場合には、それぞれについての元情報の内容や埋込位置の元情報の保存先情報を付加情報に示しておく。個々の特定領域代用画像中の付加情報に登録先を示す情報を埋め込んでおくことで、復号装置6において復号処理することで元情報を検索/提示できるようにする。また、オリジナル文書が複数ページに跨るものである場合、特定領域を含む特定ページの全体をデータサーバ7に格納するとともに、その特定ページの保存先情報を付加情報に示しておくようにしてもよい。
こうすることで、大きな画像データがネットワークを流れる頻度が減るため、ネットワーク容量の要求値を低く抑えることができるし、工事や機器購入の費用や、管理費を低く抑えることができる。必要に応じて、秘匿化しておいた部分の元情報の提示もできる。
また、復号装置6における処理時、復号した付加情報が埋め込まれていた部分に付加情報を表す画像パターン情報を再度埋め込む場合に備え、埋め込んだパターン画像もしくはパターン画像が埋め込まれた部分の重畳画像もデータサーバ7に格納しておいてもよい。
また、画像形成装置5にも、ハードディスク装置などの大容量の不揮発性の記憶部を持たせることで、装置内部にもログ(処理履歴)や元情報や埋め込んだパターン画像を保存しておくことが望ましい。こうすることで、画像形成装置5と復号装置6とが一体となっている画像出力端末4とする場合には、復号装置6における処理時に、ログやキャッシュ(記憶した元情報や付加情報を表す画像パターン情報)を利用して、元情報や付加情報を表す画像パターン情報を即時に取得できるようになる。ネットワークを介することなく、画像出力端末4だけで処理を完結できる。
また、本実施形態においては、特定領域代用画像を特定領域に埋め込む場合には、秘匿レベルの高低や利用者属性に基づき、手動または自動で、特定領域代用画像特定情報の埋込強度を変化させる。このため、先ず秘匿レベル判定部472は、ユーザから指示される秘匿レベルを受け付け、この値を埋込強度秘匿調整部474に通知する。
あるいは、秘匿レベル判定部472は、認証処理部476におけるユーザ認証結果や文書の機密レベル、あるいは情報内容(たとえば秘匿部分が画像オブジェクトであるのかテキストオブジェクトであるのか)、またはこれらの組合せに基づいて、秘匿レベルを自動的に判断しこの判断結果を埋込強度秘匿調整部474に通知する。
埋込強度秘匿調整部474は、秘匿するべき部分における特定領域代用画像を埋め込む埋込強度Ccを最終的に確定させ、この埋込強度Cc付加情報パターン設定部450のパターン作成部456に通知する。
たとえば、図11(B)に示すように、特定領域が画像情報の場合には埋込強度Ccを比較的低くしておいてもよい。機密部分の画像が「ぼんやりと」と見えている場合、関係者が見れば元の画像内容を思い出すことができるが、部外者には推測することができないと考えられるから、必ずしも完全に埋め潰す必要はないと考えられるからである。こうすることで、場合によっては、復号装置6側では、元文書の全体だけでなく、特定領域代用画像が埋め込まれた部分の元情報の検索や提示を不要にすることができる(元情報を検索して取り寄せる手間が省ける)から、作業時間を大幅に短縮できる。
一方、図11(A),(C),(D)に示すように、特定領域の元情報がテキストである場合には、たとえば図11(A),(C)のように中程度や図11(D)のように最大にするなど、埋込強度Ccを比較的強く設定して特定領域代用画像を生成するのがよい。秘匿するべき部分のテキストが「ぼんやりと」と見えると、関係者だけでなく部外者にも、元のテキスト内容が推測されてしまう可能性が高いと考えられる。この点では、誰が見ても隠されたテキスト情報が分からないように、一様な高い強度で目隠し処理するのが好ましいからである。
また、より好ましくは、特定領域代用画像を埋め込む特定領域を無効化した後(たとえば白色化することでテキスト部分を消去した後)、特定領域代用画像を上書きする。埋込強度Ccの設定にミスが生じた場合であっても、機密部分のテキストが「ぼんやり」と見えるということを確実に防止できる。機密データの漏洩を確実に防止できる。
目隠し処理されたテキスト文書の内容を把握するためには、元文書の全体ではなく、特定領域代用画像を符号処理することで得られる付加情報に基づいてテキストを復号し、あるいは秘匿した部分の元のテキスト情報だけを検索して取り寄せるだけでよく、ネットワーク負荷を軽減できる。結果として、検索作業工数やサーバの容量資源を低く抑えることができる。
<復号装置の構成>
図12は、復号装置6の機能に着目した一構成例を示すブロック図である。ここでは、本出願人が特願2002−312315号にて提案している仕組みを採用するが、他の復号化手法を利用した構成としてもよい。図示するように、本実施形態の復号装置6は、処理対象の画像データを取り込む画像取得部601と、処理対象画像に埋め込まれている特定領域代用画像から付加情報を復号する付加情報復号処理部602と、付加情報復号処理部602における復号処理の経過を監視する復号処理経過監視部604とを備えている。
図12は、復号装置6の機能に着目した一構成例を示すブロック図である。ここでは、本出願人が特願2002−312315号にて提案している仕組みを採用するが、他の復号化手法を利用した構成としてもよい。図示するように、本実施形態の復号装置6は、処理対象の画像データを取り込む画像取得部601と、処理対象画像に埋め込まれている特定領域代用画像から付加情報を復号する付加情報復号処理部602と、付加情報復号処理部602における復号処理の経過を監視する復号処理経過監視部604とを備えている。
付加情報復号処理部602は、処理対象画像に埋め込まれている画像パターン情報から、誤り訂正処理などしつつ付加情報を復号する。付加情報復号処理部602は、処理対象の画像パターン情報のデコード処理に成功したときには直ちにデコード処理を完結させて次の処理に移行するようにしてもよいし、少なくとも所定回数だけデコード処理を繰り返して復号結果の多数決を採ることで確度の高いデコード結果を求めるようにしてもよい。
また、復号装置6は、画像取得部601が取得した処理対象画像をユーザに提示したり、あるいは付加情報復号処理部602によって復号された付加情報を参照して特定領域代用画像が埋め込まれていた部分の元情報(以下埋込領域元情報ともいう)をユーザに提示するなどの出力処理を行なう画像出力処理部608と、処理対象画像データの記録、処理中の作業データの一時的な保持、あるいは出力データを保持する画像データ格納部609とを備えている。
また、本実施形態特有の構成として、復号装置6は、付加情報復号処理部602が復号した付加情報が埋め込まれていた部分に付加情報を表す画像パターン情報を再度埋め込んで所定の出力媒体に出力し、もしくは画像処理装置に画像データとして転送したりするなどの出力処理をする再出力処理部607を備えている。
<復号装置側の画像取得部の構成>
画像取得部601は、処理対象の画像を取り込む画像データ入力部612と、画像の傾きを検出しその傾き補正を行なう処理対象画像傾き補正部614とを有する。
画像取得部601は、処理対象の画像を取り込む画像データ入力部612と、画像の傾きを検出しその傾き補正を行なう処理対象画像傾き補正部614とを有する。
画像データ入力部612が取り込む画像データは、上述のような付加情報を埋め込む側の画像形成装置5において作成され、プリンタなどの印刷機器から印刷出力された画像をスキャナで読み取ることで得られる画像や、デジタルカメラなどで撮像され電子的に入力される画像データである。
画像データ入力部612は、スキャナ3bあるいはデジタルカメラ3cなどの画像読取機器とのインタフェース(図2のスキャナIF部950やFDドライブ916やCD−ROMドライブ918あるいは通信IF部908などに相当)を有し、このインタフェースを通じて付加情報が埋め込まれた画像データを取り込む。
また画像データ入力部612は、スキャナあるいはデジタルカメラなどの画像読取機器により取得された画像データが圧縮されているときは、それを非圧縮データに変換する機能も具備している。
処理対象画像傾き補正部614が行なう傾き補正処理としては、たとえば、処理対象画像を回転させながら、垂直方向および水平方向に投影し、その投影波形の高さが所定の閾値以上となる範囲が最小となる角度を傾き角度と推定し、その傾き角度だけ処理対象画像を回転補正すればよい。多くのケースでは、画像データ入力部612が取り込むこれらの画像には傾きを持つので、処理対象画像傾き補正部614を設けることでその傾きを補正するようにした本実施形態の構成は、効果が非常に大きい。
<付加情報復号処理部の構成>
付加情報復号処理部602は、付加情報が埋め込まれているブロックサイズを推定するブロックサイズ特定部622と、ブロックサイズ特定部622により推定されたブロックサイズに基づいて付加情報を表す画像パターン情報が埋め込まれたブロック位置を検出するブロック位置検出部624とを備えている。ブロックサイズ特定部622とブロック位置検出部624により、画像パターン情報が埋め込まれていた部分の画像を取得する埋込領域画像取得部621が構成される。
付加情報復号処理部602は、付加情報が埋め込まれているブロックサイズを推定するブロックサイズ特定部622と、ブロックサイズ特定部622により推定されたブロックサイズに基づいて付加情報を表す画像パターン情報が埋め込まれたブロック位置を検出するブロック位置検出部624とを備えている。ブロックサイズ特定部622とブロック位置検出部624により、画像パターン情報が埋め込まれていた部分の画像を取得する埋込領域画像取得部621が構成される。
なお、原稿の全体を読み取る形態に代えて、バーコードリーダなどのポイント型スキャナを利用することで、埋込領域画像取得部621を構成するようにしてもよい。この場合でも、多くの場合、読み取った画像パターン情報が埋め込まれていた部分の画像には傾きを持つので、処理対象画像傾き補正部614を設けることが好ましい。
また付加情報復号処理部602は、ブロックサイズ特定部622およびブロック位置検出部624によって大きさおよび位置が検出されたブロックに埋め込まれている付加情報を識別する付加情報識別部626と、付加情報識別部626により識別された結果に基づいて埋め込まれていた元の付加情報を復号する付加情報復号部628とを備えている。
ブロックサイズ特定部622は、処理対象画像傾き補正部614により傾き補正された処理対象画像から、付加情報が埋め込まれているブロックサイズを推定する。なお、付加情報を埋め込んだときのブロックサイズは、印刷出力および入力を経て異なるブロックサイズに変更されている場合もあり、このブロックサイズ特定部622において、場合によって変更されたブロックサイズを推定している。
ブロックサイズの推定は、埋め込んだパターンが所定方向(たとえば垂直および水平方向)のエッジ成分を有するという特徴を利用して行なうことができる。たとえば、傾き補正された処理対象画像にSobel型フィルタなどの微分フィルタや、Prewitt型やKirsh型のフィルタを適用することによってエッジを抽出してエッジ抽出画像を作成する。
この後、十字型のマスクとの間で相互相関を計算するなどして、エッジ抽出画像から垂直・水平方向のエッジ成分やその交点が強調されたエッジ画像を作成する。付加情報のパターンが垂直・水平方向のエッジが存在しているパターンであれば、作成されたエッジ画像には図8に示した矩形(パターンサイズ31)の中心を通る格子状のエッジが存在する。このパターンから得られるエッジと、元の画像に存在する垂直・水平方向のエッジがエッジ画像中に存在することになる。
ブロックサイズ特定部622は、そのエッジ画像から自己相関関数を求め、この自己相関関数によって、付加情報のパターンから得られるエッジのみを抽出する。エッジ画像には、ほぼ等間隔に並んだ縦横方向の線分が抽出されているため、自己相関関数が最大となるオフセットを検出すれば、それが拡大縮小後のブロックサイズに一致していると考えてよい。したがって、自己相関関数が最大となるピーク位置からのオフセットをブロックサイズとして推定する。
以上により、付加情報が埋め込まれたときのパターンサイズや、出力時の解像度および入力時の解像度を知らなくても、画像取得部601が取り込んだ処理対象画像から付加情報をデコードするためのブロックサイズ情報を得ることができる。
ただし、ここで得られるブロックサイズの値は整数値である。プリンタとスキャナの組合せでは、使用される解像度が通常は400dpi,600dpi,1200dpiなどの組合せであるため、解像度変換された埋込画像の対応ブロックサイズも整数であることが多いが、デジタルカメラで入力された場合の入力解像度は、デジタルカメラと被写体である印刷画像との距離に依存するため、解像度変換された処理対象画像の対応ブロックサイズは整数とは限らない。そのため、ブロックサイズ特定部622で算出したブロックサイズは近似値である。しかし、ここで求めたブロックサイズは、次に説明するブロック位置検出部624で補正されるので近似値で問題はない。
ブロック位置検出部624は、ブロックサイズ特定部622により推定したブロックサイズに基づき、未知の倍率で拡大あるいは縮小された処理対象画像から付加情報のパターンが埋め込まれたブロック位置を検出する。ブロック位置の検出は、どちらか一方のパターンから正か負かの極性情報だけを抽出して作成したマスク画像と付加情報が埋め込まれた画像との相関性を利用して行なうことができる。
たとえば、ブロックサイズ特定部622により求めたブロックサイズに対応するマスク画像すなわち図7に示した付加情報“0”もしくは“1”のどちら一方のパターンに対応するマスク画像を作成し、このマスク画像と傾き補正された処理対象画像との間で相互相関を計算して相関画像を作成する。
この後、ブロック位置検出部624は、求めた相関演算結果の画像から、その値が極大または極小となる点だけを抽出する。求められた極大値および極小値は、付加情報“0”もしくは“1”を示す各パターンのほぼ中心位置において検出される。
相関値は、付加情報“1”が埋め込まれているブロックとマスクが丁度重なったところで極大となり易く、逆に、付加情報“0”が埋め込まれているブロックとマスクが丁度重なったところで極小になり易い。この傾向は、埋込み前のブロックの位置に対応する元画像が平坦であったときに特にそうなり易い。逆に埋込み前のブロックの位置に対応する元画像が局所的なエッジを持っていた場合などは必ずしも埋込ブロックとマスクが丁度重なったところで極大または極小になるとは限らない。しかし、この影響は投影法により軽減されるので、極端にエッジの多い画像でなければこのことは問題にならない。
また、どちらか一方のパターンのみからマスク画像を作ればよいのは、2つのパターンは極性が逆のパターンであり、もう一方のパターンからマスク画像を作成した場合は、単に極大値・極小値が逆転するだけだからである。
ブロック位置検出部624は、求めた極大値および極小値を示す極値画像を垂直方向および水平方向に投影し、その投影波形とブロックサイズ特定部622により求めたブロックサイズとから、ブロック位置を検出する。各ブロックが縦横に配置されていることによって、垂直および水平方向のそれぞれについてほぼ一定間隔のピークを持つ投影波形が得られる。ブロック位置検出部624は、垂直および水平方向それぞれの投影波形のピーク位置より、正確なブロック位置を推定する。
なお、元画像に局所的に強いエッジがある場合、それを含むブロックから求めた極大点または極小点の位置は、平坦な部分から求めた極値の位置間隔からずれてしまう可能性があるが、このばらつきは、投影法とピーク位置をほぼ一定間隔で探索することで大幅に軽減することができる。
付加情報識別部626は、付加情報復号部628の制御の元で、ブロックサイズ特定部622およびブロック位置検出部624によって大きさおよび位置が検出されたブロックに埋め込まれている付加情報を識別する。
付加情報の識別処理は、所定方向のエッジにより4つに分割された領域の画素値の総和の大小関係を利用して行なうことができる。たとえば、付加情報識別部626は先ず、検出したブロックを縦横方向に4つの領域に分割した計算ウィンドウを設定する。計算ウィンドウのサイズは、ブロックサイズ特定部622で推定されたブロックサイズに等しい。
この後、付加情報識別部626は、計算ウィンドウを適用して、4つの各領域に含まれる全ての画素値の総和を求め、その4つの総和値の大小関係に基づいて、そのブロックに埋め込まれている付加情報が“1”であるか“0”であるか、あるいは判別不能であるかを判定することで、付加情報を識別する。なお、画像のエッジ部分を含むブロックでは単純な解釈だけでは判断できない場合も多いので、たとえば、元画像の水平方向にステップエッジがある場合と、垂直方向にステップエッジがあるケースを考慮して、付加情報の予測精度を高めるようにするのが望ましい。
付加情報復号部628は、予め規定されたフォーマットに従って、付加情報識別部626により識別された個々の情報を組み立て、次いでそれを復号化することにより、埋め込まれていた元の付加情報を復号する。
たとえば、付加情報復号部628は先ず、マクロブロックの探索を行なう。具体的には、ブロック位置検出部624で検出したブロック位置を左上方向から付加情報識別部626を制御して識別し、頭出しヘッダに一致する場所を検出する。付加情報復号部628は、マクロブロックのサイズはY行X列(たとえば16行8列)であることを知っているので、さらに、その地点から、右方向に8ブロック離れたところに頭出しヘッダが存在するか、あるいは、16ブロック下に頭出しヘッダが存在すれば、最初のマクロブロックの位置を確定する。
最初のマクロブロック位置が確定できれば、マクロブロックは規則正しく並んでいることを利用して他のマクロブロック位置も確定できる。もちろん、頭出しヘッダが誤りを含んでいる場合でも、殆どの頭出しヘッダが誤っていない限りマクロブロックの位置を特定することができる。
この後、付加情報復号部628は、全てのマクロブロックの符号化方式情報を読み出し、多数決復号を採ることにより符号化方式を検出する。
最後に、付加情報復号部628は、既知の論理フォーマットに従い、全てのマクロブロックの情報を復号して、復号したマクロブロックの情報のうち、同一のシーケンス番号を持つものに関しては、これらの間で多数決復号を行なう。また、“1”以外のシーケンス番号がある場合には、シーケンス番号順に付加情報を接続して組み立てることで、元の付加情報を復号する。
以上により、付加情報復号部628は、処理対象画像中に画像パターン情報として埋め込まれた付加情報を解読することができる。このとき、誤り訂正符号化や複数のマクロブロックに繰り返して付加情報を埋め込んでおいて多数決復号を行なうことによって、元の画像の影響を最小限に抑え、確実に付加情報を取得することができる。また図7に示したような特徴を有するパターンが埋め込まれた画像であれば、たとえば印刷装置や読取装置の影響や、途中で拡大あるいは縮小などの変換処理が施された場合でも、確実に付加情報を抽出することができる。
なお、画像データ入力部612にて、スキャナで読み取った被スキャン文書やデジタルカメラなどで撮像された撮像画像を処理対象画像として取り込む場合、スキャンもしくは撮像対象のプリント表面には汚れや掠れのある場合や画像傾きや拡大もしくは縮小されている場合など、様々な悪条件が起こることが考えられる。
これらの場合、復号装置6側においては、付加情報の復号が難しくなり、デコードに失敗することがある。復号(デコード)処理失敗によるリトライを行なうため、付加情報を復号しようとするために処理対象画像にアクセスする照合回数が多くなる。また、元々の埋込強度が適切でなく、付加情報を表す画像パターン情報(マスキング画像として使用された特定領域代用画像も含む)が低品質である場合にも、デコード失敗によるリトライが生じ得る。
このように、照合回数が多い環境になると、長いデコード時間が必要となり、元文書の検索に長時間掛かるようになる、また、ユーザは、この長いデコード時間に耐えられなくなる。このような状態を緩和する手段として、本実施形態では、復号処理経過監視部604を設けている。
<復号処理経過監視部の構成>
図13は、復号処理経過監視部604の詳細な構成例を示すブロック図である。復号処理経過監視部604は、照合回数計数処理部640と、復号(デコード)時間計測処理部650とを有している。
図13は、復号処理経過監視部604の詳細な構成例を示すブロック図である。復号処理経過監視部604は、照合回数計数処理部640と、復号(デコード)時間計測処理部650とを有している。
照合回数計数処理部640は、それぞれ画像パターン情報が埋め込まれている個々の埋込領域について、処理対象画像(たとえば被スキャン文書)の照合回数を計数する計数部642と、計数部642の計数結果を記憶する照合回数記憶部644と、計数部642の計数結果をユーザに提示する照合回数提示部646とを有する。
照合回数提示部646は、計数部642が係数した照合回数に基づきデコード処理回数を求め、この求めたデコード処理回数をメイン表示装置904aなどの所定の出力媒体上に提示する(後述する図22参照)。
なお、照合回数は、デコード処理回数と同じ意味である。また、復号処理のリトライ回数は、“照合回数−1”である。照合回数とリトライ回数は、前述の関係があるので何れか一方のみの通知でもよい。また、何れか一方の通知とする場合、図22に示すように、リトライ回数をユーザに提示する方が望ましい。
照合回数記憶部644は、計数部642が係数した照合回数をログに残しておくために設けている。これにより、本実施形態のように、被デコード画像を再印刷することが求められる場合などにおいて、リトライ回数を遅滞なくユーザに提示することが可能になるため、ユーザの最印刷指示発行タイミング判断が容易になり、ユーザストレスの低減効果が得られる。
復号時間計測処理部650は、それぞれ画像パターン情報が埋め込まれている個々の埋込領域について、付加情報復号処理部602における復号処理に要している時間(デコード時間)を計測する計測部652と、計測部652の計測結果であるデコード時間を記憶するデコード時間記憶部654と、計測部652により規則されたデコード時間をユーザに提示するデコード時間提示部656とを有する。
デコード時間提示部656は、計測部652が計測したデコード時間に基づき、付加情報復号処理部602がリトライ分も含めた復号処理(デコード処理)に要した総時間をメイン表示装置904aなどの所定の出力媒体上に提示する。
デコード時間記憶部654は、計測部652が計測したデコード時間をログに残しておくために設けている。これにより、本実施形態のように、被デコード画像を再印刷することが求められる場合などにおいて、デコード時間を遅滞なくユーザに提示することが可能になるため、ユーザの最印刷指示発行タイミング判断が容易になり、ユーザストレスの低減効果が得られる。
照合回数提示部646と照合回数提示部646により、復号処理経過提示部605が構成される。復号処理経過提示部605は、付加情報復号処理部602によるデコード処理に成功した回数と照合回数提示部646が求めたデコード処理回数に基づきデコード成功率を求める。たとえば、付加情報復号処理部602においてデコード処理に成功したときに直ちにデコード処理を停止するようにする場合であれば、デコード成功率は、1/デコード処理回数となる。また、少なくとも所定回数だけデコード処理を繰り返すと、認識精度を高めるようにする場合であれば、デコード成功率は、成功した回数/総回数となる。
復号処理経過提示部605は、付加情報復号処理部602にて復号処理がなされている間、デコード処理回数、デコード時間、あるいはデコード成功率、またはこれらの組合せを、ユーザの視野に入りやすい表示デバイス上の所定位置に表示出力する。表示デバイスとしては、たとえば図2に示したメイン表示装置904aやローカル表示装置904bを利用してもよいし、これらとは独立の表示装置を利用してもよい。
このように、本実施形態の構成では、照合回数計数処理部640や復号時間計測処理部650を備えた構成の復号処理経過監視部604を設けてデコード処理状況を監視し、その監視結果に基づくデコード処理状況を示す情報を復号処理経過提示部605によりユーザに提示する。
これにより、ユーザは付加情報復号処理部602の処理状態を把握できるようになるので、長いデコード時間を要する場合であっても、何らの情報を提示することなく待たせるよりはユーザストレスを緩和することができる。提示された情報を確認して、再出力が必要と感じたときには、再出力を指示することもできる。
<復号装置側の画像出力処理部の構成>
図12に戻って画像出力処理部608の詳細について説明する。画像出力処理部608は、画像取得部601が取得した処理対象画像をユーザに提示する全体情報提示処理部682と、正規ユーザからの要求に応じて、付加情報復号処理部602によって復号された付加情報を参照して、付加情報がパターン画像として埋め込まれていた埋込領域のうちの、特に秘匿目的で画像パターン情報を埋め込んでいた部分である特定領域代用画像が埋め込まれていた部分の元情報をユーザに提示する埋込領域元情報提示処理部690とを有している。なお、特定領域代用画像が埋め込まれていた部分の元情報に限らず、全ての埋込領域について、元情報を提示可能に構成してもよい。
図12に戻って画像出力処理部608の詳細について説明する。画像出力処理部608は、画像取得部601が取得した処理対象画像をユーザに提示する全体情報提示処理部682と、正規ユーザからの要求に応じて、付加情報復号処理部602によって復号された付加情報を参照して、付加情報がパターン画像として埋め込まれていた埋込領域のうちの、特に秘匿目的で画像パターン情報を埋め込んでいた部分である特定領域代用画像が埋め込まれていた部分の元情報をユーザに提示する埋込領域元情報提示処理部690とを有している。なお、特定領域代用画像が埋め込まれていた部分の元情報に限らず、全ての埋込領域について、元情報を提示可能に構成してもよい。
なお、特定領域代用画像が埋め込まれていた部分に限らず、つまり秘匿目的であったか否かに拘らず、付加情報がパターン画像として埋め込まれていた全ての部分の元情報を提示対象としてもよい。
全体情報提示処理部682は、図2に示したメイン表示装置904aを利用して、画像取得部601が取得した処理対象画像の全体をユーザに表示画像として提示する。表示画像として提示される処理対象画像の全体の中には、付加情報を表すパターン画像(特定領域代用画像も含む)も含まれている。
一方、埋込領域元情報提示処理部690は、付加情報復号処理部602によって復号された付加情報を参照して取得した特定領域代用画像が埋め込まれていた部分の元情報を、処理対象画像の全体とは別にユーザに表示画像として提示する。たとえば、メイン表示装置904aとは独立した図2に示したローカル表示装置904b(たとえば第3者に覗かれ難いハンディターミナル946あるいは携帯電話947やPDA948など)を表示媒体として利用する。
あるいは、全体情報提示処理部682は、図2に示した画像形成ユニット32を利用して、画像取得部601が取得した処理対象画像をユーザに印刷画像として提示する。印刷画像として提示される処理対象画像の全体の中には、付加情報を表すパターン画像(特定領域代用画像も含む)も含まれている。
また、埋込領域元情報提示処理部690は、画像形成ユニット32を利用して、付加情報復号処理部602によって復号された付加情報を参照して特定領域代用画像が埋め込まれていた部分の元情報を処理対象画像の全体とは別にユーザに印刷画像として提示する。
つまり、全体情報提示処理部682と埋込領域元情報提示処理部690の2つの組合せにより、全体の情報と特定領域代用画像が埋め込まれていた部分の元情報とを分けてユーザに表示出力もしくは印刷出力にて提示する。これにより、復号装置6側の処理において正規の利用者が特定領域代用画像が埋め込まれていた部分の元情報を出力させる際に、元の文書全体が一度に表示または印刷してしまうことで、第3者に機密部分や秘密領域などの秘匿すべき部分の情報が漏洩される危険を低減するようにしている。
<特定領域元情報提示処理部の構成>
図14は、埋込領域元情報提示処理部690の詳細な構成例を示すブロック図である。復号装置6においては、特定領域代用画像を含む付加情報を表す画像パターン情報を読み取り、このパターン画像から復号処理によって埋め込んだ付加情報を復号し、復号した情報に基づいて所定のサービスリクエストを発行する。
図14は、埋込領域元情報提示処理部690の詳細な構成例を示すブロック図である。復号装置6においては、特定領域代用画像を含む付加情報を表す画像パターン情報を読み取り、このパターン画像から復号処理によって埋め込んだ付加情報を復号し、復号した情報に基づいて所定のサービスリクエストを発行する。
そして、埋込領域元情報提示処理部690は、パターン画像が埋め込まれていた部分の元情報である埋込領域元情報を取得することで、付加情報を表す画像パターン情報が埋め込まれた状態での全体の情報だけでなく、取得した埋込領域元情報をも、ローカル表示装置904bや印刷媒体にて提示する。埋込領域元情報としては、埋込領域の画像やテキスト、あるいは埋込領域を含む特定ページ、またはこれらの組合せを用いることができる。
復号装置6側の埋込領域元情報提示処理部690において、利用者(正規の者)に情報を提示する際には、特定領域代用画像が埋め込まれていた秘匿部分の元情報をも必要に応じて提示するようにする。秘匿するべき特定領域に対して、モザイク処理やスミ塗り処理として特定領域代用画像を用いつつ、特定領域代用画像で隠された秘匿部分のテキストや画像などの元情報(以下特定領域元情報ともいう)のみを表示出力し、あるいは印刷出力することで、機密保護と利便性の両立を図る。
なお、特定領域元情報の印刷出力に関しては許可しないようにしてもよい。表示は一時的なものにできるが、印刷媒体にすると、その印刷物が意図せずに第3者に渡ってしまう可能性を排除できず、機密保護の観点では問題があるからである。
ここで「必要に応じて」と言ったのは、「機密保護」の目的を達するため、オリジナル文書の全体の内容が第3者に知られるようになることを防止できるようにしつつ、正規の者には、秘匿部分の元情報を確実に提示するということを達成するためである。正規の者からの要求もなく不用意に秘匿部分の元情報を提示すると、たとえ全体画像とは別に秘匿部分の元情報を提示しても、秘匿部分の元情報が第3者に知られてしまう可能性が高くなるからである。正規の者からの要求を受けて秘匿部分の元情報を提示するようにすれば、その正規の者は、秘匿部分の元情報が第3者に知られないように適当な対処をすることができる。
このような目的を達するべく、本実施形態の埋込領域元情報提示処理部690は先ず、特定領域元情報の提示要求をユーザから受け付けるサービスリクエスト発行部692と、サービスリクエスト発行部692が特定領域元情報の提示要求をユーザより受け付けたときに、その要求を発したユーザが正規ユーザであるか否かを判定する認証処理部694とを有している。
また埋込領域元情報提示処理部690は、認証処理部694による認証処理に成功したことを条件として、特定領域の元情報を取得する元情報取得部696と、全体情報提示処理部682によって提示される全体情報とは別に、特定領域代用画像が埋め込まれていた部分の元情報取得部696が取得した元情報をユーザに表示出力もしくは印刷出力させる特定領域元情報出力制御部698とを有している。
認証処理部692は、付加情報復号処理部602により復号された付加情報に示されている認証情報(たとえばユーザ名とIDコード)を参照して、特定領域の元情報の提示要求をしたユーザが正規ユーザであるか否かを判定する。たとえばユーザに認証情報(たとえばユーザ名とIDコード)の入力を求め、入力された認証情報が付加情報に示されている認証情報と一致するか否かを判定する。認証情報を付加情報に埋め込んでおくことで、復号装置6側での認証処理時に、認証用のサーバを不要にできる。
認証処理部694は、2つの認証情報が一致している場合に限って、正規ユーザであると判断して、元情報取得部696や特定領域元情報出力制御部698に対して、特定領域の元情報の提示処理を許可する。
元情報取得部696は、認証処理部694による許可を受けると、特定領域代用画像が埋め込まれていた部分の元情報を再現し、再現した元情報を特定領域元情報出力制御部698に渡すことで、正規利用者のみに元情報を提示可能にする。
たとえば、特定領域の元情報がテキストであって情報量が少なければ、テキスト部分をASCIIコードなどに変換するなどして付加情報として示しておくことで、付加情報復号処理部602で付加情報を解読(復号)すれば、即時に元のテキストを再現できる。よって、元情報取得部696は、この付加情報復号処理部602にて再現されたテキストをそのまま特定領域元情報出力制御部698に渡すだけでよい。
また、特定領域の元情報がテキストであっても情報量が多いケースや元情報が画像である場合には、特定領域の元情報だけをデータサーバ7に登録しつつ、元情報の保存先情報を付加情報として示しておく。
元情報取得部696は、付加情報復号処理部602により復号された付加情報に基づき特定領域元情報の格納先を特定し検索することにより、テキストや画像をデータサーバ7から取得する。元情報取得部696は、このデータサーバ7から取得した特定領域元情報をそのまま特定領域元情報出力制御部698に渡す。特定領域元情報出力制御部698は、この特定領域元情報を再出力処理部607に渡すとともに、その出力動作を制御する。
オリジナル文書が複数ページに跨るものである場合において、特定領域を含む特定ページの全体を画像形成装置5やデータサーバ7に格納している場合には、埋込領域元情報提示処理部690は、各ページの個々の特定領域に対応する元情報を提示することに代えて、特定領域を含む特定ページの全体を取得して表示出力もしくは印刷出力するようにしてもよい。
なお、付加情報復号処理部602の復号処理には付加情報の認識性能などに起因するミスも起こり得るから、再現された付加情報から、特定領域元情報の正しい格納先が必ず見つかるとは限らない。この場合、誤った格納先から不適切な特定領域元情報(他の特定領域の元情報)が検索されることも起こり得る。また、特定領域元情報の格納先自体を特定できないことも起こり得る。
このような場合には、元情報取得部696は、特定領域元情報の存在場所をユーザから指定してもらう。この場合、その時点の復号装置6として探索可能な範囲を提示し、対話的に特定領域元情報の存在場所の指示を受け付けるようにする。たとえば、検索キーワードや属性の入力をユーザに依頼し、その入力を受けて検索を実行する。そして、検索結果を表示し、適切なものをユーザに選択してもらう。
あるいは、処理対象画像に形成された画像パターン情報(付加情報埋込画像)が独立して複数存在する場合であれば、先ず元文書を自動的に特定するため、複数の画像パターン情報のうち、掠れや汚れのない、または少ない部分の取り込み(スキャン)をユーザに依頼する。この取込みと付加情報復号処理部602によるデコード処理によって、元文書を自動的に特定したら、この元文書に埋め込まれている全ての特定領域元情報を検索し、その検索結果を表示し、その中から適切なものをユーザに選択してもらう。
<再出力処理部の構成>
図15は、再出力処理部607の詳細な構成例を示すブロック図である。再出力処理部607は、画像の再出力指示をユーザより受け付け、この指示に基づいて再出力を制御する再出力処理要求受付処理部670と、画像取得部601が取得した処理対象画像に対して補正処理を施す画像補正処理部701と、付加情報を処理対象画像の所定位置に埋め込む付加情報再埋込処理部702と、画像再出力処理部708とを有している。
図15は、再出力処理部607の詳細な構成例を示すブロック図である。再出力処理部607は、画像の再出力指示をユーザより受け付け、この指示に基づいて再出力を制御する再出力処理要求受付処理部670と、画像取得部601が取得した処理対象画像に対して補正処理を施す画像補正処理部701と、付加情報を処理対象画像の所定位置に埋め込む付加情報再埋込処理部702と、画像再出力処理部708とを有している。
画像再出力処理部708は、画像形成装置5における画像出力部482と同様の機能を持つ、付加情報が所定位置に埋め込まれた画像を所定の出力媒体に出力し、もしくは画像処理装置に画像データとして転送する画像出力部782を有する。
再出力処理要求受付処理部670は、付加情報を表す画像パターン情報(特定領域代用画像を含む)を含む画像の再出力の指示をユーザから受け付ける再出力指示受付部672と、再出力指示受付部672が再出力指示を受け付けたことを条件として、画像補正処理部701や付加情報再埋込処理部702や画像再出力処理部708などに処理起動を指示する再出力制御部674とを有している。
画像補正処理部701は、処理対象画像を画像取得部401から受け取る画像データ入力部712、並びに、画像データを補正することで埋め込まれた画像パターン情報の認識性能を改善するための機能部である画像データ解析部714と画像データ補正部716とを有している。
画像データ入力部712は、画像取得部601の画像データ入力部612から処理対象画像を取り込んでもよいが、好ましくは、傾きが補正された画像を画像パターン情報の埋込対象とした方がいいので、処理対象画像傾き補正部614から処理対象画像を取り込むようにするのがよい。
画像データ解析部714および画像データ補正部716の機能は、画像形成装置5における画像データ解析部414および画像データ補正部416と同様であるので、ここではその詳細な説明を割愛する。
再出力する際にも付加情報を表す画像パターン情報をオリジナル原稿に埋め込む必要があるが、このような機能をなす付加情報再埋込処理部702としては、概ね、画像形成装置5と同様の機能部を備えるものとすることができる。
すなわち、再出力を行なうための付加情報再埋込処理部702は、画像取得部により処理対象画像が入力され、また付加情報入力部により処理対象画像に埋め込む付加情報が入力され、入力された付加情報に従って2つのパターン信号の何れかを選択し、処理対象画像中の埋込位置制御部により指定された画像位置に選択されたパターン信号を重畳して付加画像を処理対象画像に埋め込む処理をパターン重畳部により行なうものとすればよい。
さらに、付加情報パターン設定部にてパターン信号を発生させる際には、埋込強度設定部により埋込強度を設定して、設定された埋込強度を用いて2つのパターン信号を発生するようにするのがよい。この埋込強度によって、再出力時にも、処理対象画像の画質に対する影響や埋め込んだ付加情報の認識率などを調節することができる。元の埋込強度よりも強い埋込強度を設定することで、汚れや掠れに対する耐性を向上させることもできる。
このように、画像形成装置5と同様の構成とする場合、付加情報入力部452には、たとえば付加情報復元処理部602にて復号した付加情報を入力すればよい。切替制御部468は不要であるから取り除けばよい。画像データ入力部412には、画像取得部601が取り込んだ(たとえばスキャナで読み取った)全体画像を入力すればよい。
なお、先にも述べたが、画像形成装置5と復号装置6とを一体的に構成した画像出力端末4とする場合や、これらを独立にしつつ、画像形成装置5が備える機能部を復号装置6の再出力処理用の機能部として兼用する構成とすることもできる。以下では、復号装置6として、独立に再出力用の機能部を設ける形態での付加情報再埋込処理部702の構成例を具体的に説明する。
図示するように、付加情報再埋込処理部702は、付加情報再埋込処理部702が付加情報を表す画像パターン情報を再度埋め込む際に使用すべき埋込強度を特定する埋込強度特定部740と、再度埋め込むべき付加情報を表す画像パターン情報を特定する埋込画像特定処理部750と、付加情報を表す画像パターン情報を画像取得部601が取り込んだ処理対象画像や元の処理対象画像に埋め込む付加情報重畳処理部760とを備えている。
<埋込強度特定部の動作>
埋込強度特定部740は、同一文書に複数の埋込領域(秘匿部分を含む)が存在する場合には、それぞれの埋込領域について、埋込強度を設定する。
埋込強度特定部740は、同一文書に複数の埋込領域(秘匿部分を含む)が存在する場合には、それぞれの埋込領域について、埋込強度を設定する。
また、埋込強度特定部740は、文書の機密レベルやユーザ認証結果またはこれらの組合せなどの、秘匿化の要求度合いに応じて、再出力時の埋込強度を決定するのがよい。
文書の機密レベルとしては、たとえば、高/中/低の3段階程度にランク付けておき、高レベルの部分では、元情報をほぼ認識できないほどの高レベルに埋込強度を設定する。また、中レベルの部分では、元情報をうっすらと確認できる程度に埋込強度を設定する。また、低レベルの部分では、元情報をほぼ完全に認識でき、かつ付加情報の再現も可能な程度に埋込強度を設定する。
また、ユーザ認証結果については、画像出力端末4を使用するに際して、スーパーユーザ(管理者)、一般ユーザ、およびゲストユーザの何れでログイン処理をしたかに応じて、埋込強度を設定する。
文書の機密レベルとユーザ認証結果の組合せとする場合は、それぞれのレベルの積の埋込強度レベルを設定すればよい。前例では各々3段階であるから、9段階にすればよい。たとえば、管理者、登録ユーザ、ゲストユーザにはランクとして3,2,1を割り当て、機密度高文書、機密度中文書、機密度低文書にはランクとして3,2,1を割り当て、レベルの積の埋込強度レベルを設定する。つまり、管理者が機密度高文書を再出力する場合に最大埋込み強度、ゲストユーザが機密度低文書を再出力する場合に最小埋込み強度が設定されて埋込み画像が形成される。これにより、管理者のみに開示されている機密度高文書記載情報の印刷出力結果は、機密情報部分が人間には理解不能の画像となり、機密情報の漏洩が防止可能となる。
また、秘匿すべき特定領域の元情報がテキストである場合には、再出力時の埋込強度を最大に設定して、機密部分の元情報(ここではテキスト)の保存先情報を含む特定領域代用画像を埋め込むようにする。また、この際には、特定領域を白色化もしくは中間濃度(所定色)で均一にして、つまり黒文字のテキストを無効化した後に、機密部分の内容、または所定領域(機密部分)の保存先情報、を含むバーコードを上書きする。
テキスト部分はうっすらと見えただけでも、その内容を特定できるので、テキスト部分が秘匿部分である場合は機密レベルを最高にすることが望ましく、画像部分よりも埋込強度を上げておくことで、再出力をするに際しても機密情報の流出防止を確実に図るようにする。また、埋め込む画像パターン情報と元のテキストとの干渉を避けることもできる。
なお、埋込強度特定部740は、ルックアップテーブル(LUT)を利用して埋込強度を推定することができる。すなわち、先ず画像形成装置5側では画像に埋め込まれた画像パターン情報部分の濃度値やこの濃度値と背景画像部分の濃度との比などと埋込強度とを対応付けたルックアップテーブルを用意しておく。復号装置6においては、読み取った画像パターン情報の濃度値やこの濃度値と背景画像部分の濃度との比などを求め、これをルックアップテーブルに突き合わせることで、埋込強度を推定することができる。画像形成装置5における処理時のユーザ認証レベルや機密レベルを特定する必要はない。
あるいは、埋込強度特定部740は、シミュレーションにより、埋込強度を推定することもできる。具体的には、検索により取得した埋込領域元情報と画像パターン情報とを相応の埋込強度の元で重畳処理し、その重畳画像と読み取った埋込領域の画像とを比較し、同様の埋込強度になっているか否かを判定することで、対象としている埋込領域の埋込強度を決定する。
このとき、比較対象とする読み取った埋込領域の画像は、対象としている埋込領域ではなく、より掠れや汚れの少ない領域(結果として、対象としている埋込領域と同一となることも含む)のものとする。これは、実際に読み取った画像におけるきれいな部分と比較することで、画像パターン情報を含むオリジナル原稿と同レベルの埋込強度にするためである。なお、より掠れや汚れの少ない領域を使用するので、このシミュレーションを利用した処理は、原則として、同一ページ内に複数の画像パターン情報が埋め込まれている場合に限って実行できる。
たとえば、ユーザに対し、デコード失敗確率が増大した特定領域代用画像以外の領域の画像として、目視判断で同一強度と判断される特定領域代用画像のスキャンを依頼する。本実施形態では、図10に示すように、埋込み強度によって元画像の視覚的認知度を変化させる情報埋込み方式を採用しているため、目視によって同一強度と判断される特定領域代用画像を選択することは容易である。
ユーザによって同一埋込強度と判断され、選択的にスキャンされた特定領域代用画像について、埋込み文字列と元画像を特定、埋込強度を数種類設定して特定領域代用画像を生成し、前記(ユーザによって同一埋込強度と判断され、選択的にスキャンされた)特定領域代用画像と比較することによって埋め込み強度を推定する。
推定された埋込強度と、デコード失敗確率が増大した特定領域代用画像の埋込み文字列、および元画像を用いて特定領域代用画像を生成する。生成した特定領域代用画像をユーザに提示し、新たに生成した特定領域代用画像を所定の位置に上書きしても良いかどうかユーザに問い合わせる。上書きOKの回答が得られたら、生成した特定領域代用画像を所定の位置に上書きして再出力する。上書きOKの回答が得られなければ、目視判断で同一強度と判断される特定領域代用画像の再スキャンを依頼し、埋込み強度推定処理を再度実行する。
また埋込強度特定部740は、再出力処理を行なった場合に、その処理履歴(特に決定した埋込強度)を処理対象の埋込領域ごとや文書ごとにログやキャッシュに保存しておくことで、このログやキャッシュを利用して再出力時の埋込強度を決定することもできる。再出力処理が何度もなされる場合に有効な手法である。
埋込画像特定処理部750は、この再度の埋込対象となる画像パターン情報を特定する。この埋め込む画像パターン情報は、付加情報復号処理部602にてデコードされた付加情報を表すもの(通常は多少の誤りを含む)そのものであってもよい。この場合、画像形成装置5側にて、画像パターン情報を保存しておく仕組みが不要になる。あるいは、自装置内やデータサーバ7に元の付加情報を格納しておくシステム構成とする場合には、デコードされた付加情報に基づいて、自装置内やデータサーバ7を検索して元の正しい付加情報を特定し、この正しい付加情報を表すものとしてもよい。付加情報を表す画像パターン情報が重畳された画像を登録しておき、それを使うようにしてもよい。
たとえば、元の正しい付加情報を特定してこれを使う場合、埋込画像特定処理部750は、画像形成装置5のパターンサイズ設定部420や付加情報パターン設定部450と同様の機能部を備えた構成とすることができる。特定した元の正しい付加情報を付加情報入力部452に対応する機能部に入力して、パターンサイズなどを再設定することで、埋め込む画像パターン情報を再現する。
あるいは、自装置内やデータサーバ7に元の画像パターン情報を格納しておくシステム構成とする場合には、デコードされた付加情報に基づいて自装置内やデータサーバ7を検索して画像パターン情報を特定し、この画像パターン情報をそのまま付加情報重畳処理部760に渡すように構成することもできる。
付加情報重畳処理部760は、画像形成装置5における付加情報重畳処理部460と同様の機能を持ち、埋込強度特定部740により推定された埋込強度に基づき、処理対象画像の元画像データを画像出力端末4に保存してある場合には元画像データに、また保存していない場合には画像取得部601が取り込んだ処理対象画像(たとえばスキャン画像)に、付加情報を表す画像パターン情報を埋め込む。
上記構成において、ユーザは、画像の再出力を希望する場合、その指示を再出力指示受付部672に発する。これを受けて、再出力制御部674は、先ず、付加情報を表す画像パターン情報を再度埋め込む際に使用すべき埋込強度の推定処理を埋込強度特定部740に指示する。
復号装置6の付加情報再埋込処理部702は、画像形成装置5の付加情報埋込処理部402と同様に、機密レベルの高低や利用者属性などに基づき、手動または自動で特定情報の埋込強度を変化させ、画像取得部601が取り込んだ処理対象画像やこの処理対象画像の元画像に画像パターン情報を埋め込んだ画像を作成する。
この際、埋込強度特定部740は、元と同じ埋込強度で画像パターン情報を埋め込むように調整したり、あるいは、複数箇所に画像パターン情報を埋め込む際には、選択的に埋込強度をアップさせたりする。再出力は、次回以降の処理においてより画質の良好な画像を使うことでスムーズにデコード処理がなされるようにすることを目的とするものであるが、再出力された用紙も使用により再度掠れや汚れが生じる。ここで、掠れや汚れの生じる部分は、ある程度特定の部分であることがある。このようなケースでは、その特定の部分の埋込強度を高めに設定すれば、掠れや汚れに対しての耐性が増し、再出力した用紙の使用回数を増やすことができる。
ユーザは、復号処理経過提示部605によって提示された復号処理経過を参照し、適当なタイミングでデコード処理を停止させることで、次の処理に対する適正な指示を与えることができる。不用意に特定領域元情報を含む全体画像を出力させることもないので、機密情報が漏洩する危険性を低く保った状態を担保しつつ、待ち時間が減少し、作業効率の改善が実現できる。
また、処理対象画像の再出力(たとえば被スキャン文書のリプリント)指示を発するタイミングを適切かつ容易に決定することもできる。再出力することで、次回以降はその再出力された画像を使うことができる。これにより、次回以降は付加情報の認識性能がアップするので、結果として、デコード処理の待ち時間が減少し、作業効率の改善が実現でき、ユーザのストレス低減を図ることもできる。
なお、復号処理経過提示部605によるデコード処理状況の情報提示がない構成の場合であっても、ユーザ指示の元で再出力を行なう構成とすることもできる。この場合でも、これにより、次回以降は付加情報の認識性能がアップするので、結果として、デコード処理の待ち時間が減少し、作業効率の改善が実現でき、ユーザのストレス低減を図ることもできる。
また、元の埋込強度よりも再出力時の埋込強度をアップさせることで、再出力された画像の掠れや汚れに対する耐性がアップするので、デコードミスが生じ難くなり、結果として、作業効率の一層の改善や、ユーザのストレスの一層の低減を図ることもできる。
図16は、付加情報を表す画像パターン情報を埋め込んで再出力する第1例の処理を示すフローチャートである。図17は、第1例における埋込領域元情報取得処理(S240)の詳細な手順例を示すフローチャートである。
また、図18は、この第1例の再出力処理の概要を示した図である。この第1例の手順は、付加情報を表す画像パターン情報が、1ページ内に独立して複数存在する場合の例である。また、複数の画像パターン情報の埋込強度は全て同一であるものとする。
また、図19は、埋込強度推定処理において使用するルックアップテーブル(LUT)の構成例を示す図である。また、図20は、デコード結果が携帯電話947やPDA948などのローカル表示装置904bまで伝達する経路を説明する図である。図21は、デコード結果がPDA948まで伝達する経路を説明する図である。図22は、デコード処理後におけるユーザインタフェースを説明する図である。
付加情報を表す画像パターン情報が処理対象画像に含まれている場合において、その画像パターン情報が埋め込まれている部分の埋込領域元情報の提示要求をサービスリクエスト発行部692が受け付けるまで、画像出力処理部608は、全体情報提示処理部682により、画像取得部601が取得した処理対象画像の全体を、画像パターン情報が埋め込まれた状態のままでユーザに提示している(S200,S202−NO)。
埋込領域元情報提示処理部690は、全てのもしくは一部の埋込領域について元情報の提示要求をサービスリクエスト発行部692が受け付けると、認証処理部694による認証処理に成功した後、付加情報復号処理部602に対してデコード処理の開始を指示する(S202−YES,S204−YES,S206)。
これを受けて、付加情報復号処理部602は、付加情報のデコード処理を開始する。元情報取得部696は、このデコード処理によって復号された付加情報に基づき、画像パターン情報が埋め込まれていた部分の埋込領域元情報を検索し、その検索結果をメイン表示装置904aとは別の媒体にて提示する(S210)。付加情報を適切に復号できない場合、ユーザの指示に基づいて検索処理を実行して、検索結果を提示してユーザに選択してもらう。
たとえば、元情報取得部696は、付加情報復元処理部602が被スキャン文書の一部や全部をスキャンすることで付加情報を適切に復号できた場合、図2に示した通信IF部999を介して付加情報で示されている埋込領域元情報の格納先から埋込領域元情報を取り込み、ローカル表示装置904bの一例であるハンディターミナル946にて埋込領域元情報を第3者に覗かれ難いようにしてユーザに提示する。
また、ローカル表示装置904bの他の一例である携帯電話947を表示媒体として利用する場合には、図20や図22に示すように、画像出力端末4側からデコード結果と元情報表示先をデータサーバ7に送り、データサーバ7がデコード結果から元情報を検索し、検索された元情報を元情報表示先である携帯電話947に送信することにより、元情報が携帯電話947まで伝達される。
また、ローカル表示装置904bの他の一例であるPDA948を表示媒体として利用する場合には、図20〜図22のように、画像出力端末4側からデコード結果と元情報表示先をデータサーバ7に送り、データサーバ7がデコード結果から元情報を検索し、検索された元情報を元情報表示先であるPDA948に送信することにより、元情報がPDA948まで伝達される。
また、復号処理経過提示部605は、デコード処理回数、デコード時間、デコード成功率、あるいはこれらの組合せを、ユーザの視野に入りやすい表示デバイス上の所定位置に、たとえば図22に示すようにして表示出力する(S212)。再出力処理部607は、再出力を必要とするか否かの指示入力があるまで待機している(S220−NO)。
ここで、図18(A)に示すように、スキャンしたプリント画像表面に汚れや掠れのある場合、付加情報復号処理部602におけるデコード処理に失敗し、デコードのリトライが生じ、トータルのデコード処理に時間が掛かる場合が生じる。ユーザは、この様子を、復号処理経過提示部605による、デコード処理回数、デコード時間、デコード成功率などの提示により、リアルタイムに確認することができる。このような場合、今回の処理では改善できないが、処理対象画像を再出力して、次回以降の処理時には、この再出力した画像を使うことで、汚れや掠れのないデコード処理を短時間で実行でき得るようにすることができる。
そこで、ユーザは、処理対象画像の再出力を希望する場合、再出力指示を再出力処理部607の再出力指示受付部672に発する。再出力制御部674は、再出力指示受付部672が再出力指示を受け付けると、画像補正処理部701や付加情報再埋込処理部702などに再出力の処理起動を指示する(S220−必要,S222)。
付加情報再埋込処理部702は、処理を起動すると、埋込強度特定部740が、画像パターン情報を再度埋め込む際に使用すべき埋込強度を推定するとともに、埋込画像特定処理部750が、再度埋め込むべき付加情報を表す画像パターン情報を特定する。この埋込強度推定処理と画像パターン情報特定処理とは、順序が逆であってもよい。
たとえば、付加情報再埋込処理部702は、被スキャン画像について埋込強度を決定するため、先ず、被スキャン文書の一部または全部のスキャンをユーザに依頼する(S230)。 再出力は例外的なエラー処理なので、ユーザに再スキャンを要求してもストレスを感じさせる可能性は低いのに対して、もう一度スキャンしてもらうことにより、デコード可能な画像が獲得できる可能性が増えるため効果がある。
この後、付加情報再埋込処理部702の埋込画像特定処理部750は、埋込領域元情報取得処理を行なう(S240)。たとえば、図17に示すように、埋込画像特定処理部750は、装置内部のログやキャッシュに基づいてルックアップテーブル(LUT)を作成する(S244)。そして、埋込画像特定処理部750は、ルックアップテーブルに基づいて、画像パターン情報が埋め込まれていた部分の埋込領域元情報(を示す元データ)を検索する(S246)。
この検索で埋込領域元情報が見つからなかった場合(S248−NO)、ルックアップテーブルに基づいて埋込領域元情報を取得することはできないので、埋込画像特定処理部750は、埋込領域元情報の存在場所をユーザに指定してもらう(S250)。たとえば、探索可能な範囲をユーザに提示し、対話的に埋込領域元情報の存在場所を指定してもらう。あるいは、検索キーワードや属性などの入力を依頼し、その入力に従って検索を行ない、検索結果をユーザに提示し、選択してもらうことで、埋込領域元情報を特定する。
検索で埋込領域元情報が見つかった場合(S248−YES)やユーザ指定により埋込領域元情報が見つかると、埋込画像特定処理部750は、埋込領域元情報取得サービスリクエストを発行する(S252)。
ここで、埋込領域元情報が見つからなかった場合(S252−NO)、埋込画像特定処理部750は、掠れや汚れのないまたは少ない被スキャン画像部分のスキャン(読取り)をユーザに依頼する(S256)。また、元画像データ検索において、装置内部のログやキャッシュに基づいて埋込領域元情報を取得することができた場合には、ユーザの手を介したスキャンによる埋込領域元情報の取得はパスする(S258)。
元画像データは“情報が埋め込まれる画像データ”なので、元画像データが見つかったら埋込み文字列と埋込み強度を特定して“特定領域代用画像”を生成し直して所定位置に上書きする方がきれいな画像が形成可能なためである。スキャンして取り込んだ画像データは、どうしてもノイズが乗るので上書き画像として利用しない方がいいからである。
この後、埋込領域元情報が見つかった場合(S252−YES)において埋込領域元情報を取得すると(S256)、またユーザの手を介したスキャンによって埋込領域元情報が得られると、付加情報再埋込処理部702は、埋込強度推定処理へ移行する。
本例では、複数の画像パターン情報の埋込強度は全て同一であるものとしているので、汚れや掠れの少ない何れか1つの画像パターン情報に基づいて埋込強度を推定することで、他の画像パターン情報の全ての埋込強度を決定することができる。
よって、ユーザが検索を希望した埋込領域(たとえば秘匿部分である特定領域)の画像パターン情報に掠れや汚れがある場合でも、掠れや汚れのない他の埋込領域(たとえば秘匿部分である特定領域)の画像パターン情報を読み取ることで、ユーザが検索を希望した埋込領域(たとえば秘匿部分である特定領域)の画像パターン情報の埋込強度を決定することができる。
付加情報再埋込処理部702は、埋込強度推定処理へ移行すると、埋込強度特定部740において、取得した埋込領域元情報に関して、埋込強度推定処理を行なう(S260)。具体的には、ルックアップテーブル(図19を参照)を利用したり、必要に応じてログやキャッシュを利用したり、あるいはシミュレーションを行なったりすることで、埋込強度を特定する。
この際、埋込強度特定部740は、図18(B)に示すように、元と同じ埋込強度で画像パターン情報を埋め込むように埋込強度を調整してもよいし、図18(C)に示すように、複数箇所の画像パターン情報の何れか(たとえば掠れや汚れのあった部分)について、選択的に埋込強度をアップさせてもよい。
付加情報重畳処理部760は、埋込強度特定部740が推定した埋込強度に基づき、埋込領域の元画像や画像取得部601が取り込んだ画像に、埋込画像特定処理部750が特定した付加情報を表す画像パターン情報を埋め込み、画像出力部782に渡す(S264)。画像出力部782は、この画像を、所定の出力媒体に印刷出力し、もしくは画像処理装置に画像データとして転送したりすることで、掠れや汚れの改善された画質の良好な画像を出力する(S266)。再出力処理完了後には、スタートに戻る。
付加情報が埋め込まれている画像から付加情報を復号し、この復号した付加情報を利用して所定のサービス処理を行なうに際して、処理対象の画像に対応する、より画質の良好な付加情報が埋め込まれている画像を再出力することができるようになる。
再出力処理部607は、再出力を必要としない旨の指示を再出力指示受付部672が受け付けた場合には、すなわち再プリント不要の場合には、スタートに戻る(S220−不要)。
再出力処理部607は、再出力を必要としない旨の指示を再出力指示受付部672が受け付けた場合には、すなわち再プリント不要の場合には、スタートに戻る(S220−不要)。
図23は、付加情報を表す画像パターン情報を埋め込んで再出力する第2例の処理を示すフローチャートである。また、図24は、第2例における埋込領域元情報取得処理(S242)の詳細な手順例を示すフローチャートである。
この第2例の手順は、付加情報を表す画像パターン情報が、1つの文書内に1つだけ存在する場合の例である。第1例との違いは、付加情報を表す画像パターン情報の数だけであり、これに対応した部分の処理が異なる。
たとえば、付加情報を表す画像パターン情報が1つだけであるので、埋込強度特定部740は、掠れや汚れのないまたは少ない被スキャン画像部分のスキャンをユーザに依頼する処理(S256)を行なうことはない。
また、埋込強度推定処理(S262)においては、埋込強度特定部740は、ログやキャッシュを利用して埋込強度を特定することができるが、より掠れや汚れの少ない領域を使用するシミュレーションを利用した埋込強度の推定処理は、同一ページ内に1つの画像パターン情報が埋め込まれている第2例の場合には適用できない。
1…画像処理システム、3…画像入力端末、4…画像出力端末、5…画像形成装置、6…復号装置、7…データサーバ、9…ネットワーク、401…画像取得部、402…付加情報埋込処理部、408…画像出力処理部、409…画像データ格納部、601…画像取得部、602…付加情報復元処理部、604…復号処理経過監視部、605…復号処理経過提示部、607…再出力処理部、608…画像出力処理部、609…画像データ格納部、670…再出力処理要求受付処理部、672…再出力指示受付部、674…再出力制御部、676…埋込強度推定部、682…全体情報提示処理部、690…埋込領域元情報提示処理部、692…サービスリクエスト発行部、694…認証処理部、696…元情報取得部、698…特定領域元情報出力制御部、700…再出力処理要求受付処理部、701…画像補正処理部、702…付加情報再埋込処理部、708…画像再出力処理部、740…埋込強度特定部、750…埋込画像特定処理部、760…付加情報重畳処理部、782…画像出力部
Claims (18)
- 付加情報が画像パターンとして埋め込まれている処理対象画像から付加情報を復号し、この復号した付加情報を利用して所定の処理を行なう画像処理方法であって、
前記復号処理の状況をユーザに提示する
ことを特徴とする画像処理方法。 - 付加情報が画像パターンとして埋め込まれている処理対象画像から付加情報を復号し、この復号した付加情報を利用して所定の処理を行なう画像処理方法であって、
処理対象の画像に対応する、より画質の良好な付加情報が埋め込まれている画像を再出力する
ことを特徴とする画像処理方法。 - ユーザの指示を受けたことを条件として前記再出力を行なう
ことを特徴とする請求項2に記載の画像処理方法。 - 付加情報が画像パターンとして埋め込まれている処理対象画像から付加情報を復号し、この復号した付加情報を利用して所定の処理を行なう画像処理装置であって、
前記付加情報が画像パターンとして埋め込まれている前記処理対象画像から前記付加情報を復号する付加情報復元処理部と、
前記付加情報復元処理部における前記復号処理の状況を監視する復号処理経過監視部と、
前記復号処理経過監視部の監視結果に基づいて復号処理の状況をユーザに提示する復号処理経過提示部と
を備えたことを特徴とする画像処理装置。 - 付加情報が画像パターンとして埋め込まれている処理対象画像から付加情報を復号し、この復号した付加情報を利用して所定の処理を行なう画像処理装置であって、
前記付加情報が画像パターンとして埋め込まれている前記処理対象画像から前記付加情報を復号する付加情報復元処理部と、
前記付加情報復元処理部が処理した前記処理対象画像に対応する、より画質の良好な付加情報が埋め込まれている画像を再出力する再出力処理部と
を備えたことを特徴とする画像処理装置。 - 前記再出力に関するユーザの指示を受け付ける再出力指示受付部
をさらに備え、
前記再出力処理部は、前記再出力指示受付部が前記ユーザの指示を受けたことを条件として前記再出力を行なう
ことを特徴とする請求項5に記載の画像処理装置。 - 前記復号処理の状況を監視する復号処理経過監視部と、
前記復号処理経過監視部の監視結果に基づいて復号処理の状況をユーザに提示する復号処理経過提示部と
をさらに備え、
前記再出力処理部は、前記復号処理経過提示部による提示に基づいて入力される前記再出力指示受付部が受けたユーザの指示の元で前記再出力を行なう
ことを特徴とする請求項6に記載の画像処理装置。 - 前記再出力時における前記付加情報を表す画像パターンを特定する埋込画像特定処理部
をさらに備えたことを特徴とする請求項5から7のうちの何れか1項に記載の画像処理装置。 - 前記再出力時における前記付加情報を表す画像パターンの埋込強度を決定する埋込強度特定部
をさらに備えたことを特徴とする請求項5から8のうちの何れか1項に記載の画像処理装置。 - 前記再出力処理部は、
処理対象画像を取得する画像取得部と、
付加情報を入力する付加情報入力部と、
複数のパターン信号を設定する付加情報パターン設定部と、
前記付加情報入力部により入力された前記付加情報に従って前記付加情報パターン設定部が設定するパターン信号の何れかを選択するパターン選択部と、
前記画像取得部により取得された前記処理対象画像に前記パターン選択部が選択した前記パターン信号を重畳する画像位置を指定する埋込位置制御部と、
前記パターン選択部が選択したパターン信号を前記処理対象画像中の前記埋込位置制御部が指定する画像位置に重畳するパターン重畳部とを有している
ことを特徴とする請求項5から7のうちの何れか1項に記載の画像処理装置。 - 前記付加情報パターン設定部は、2つのパターンの対応する画素同士を加算するとすべての要素が0になるという特徴、各々のパターン中の全画素を加算すると0になるという特徴、および各々のパターンは中心部を通り方向が異なる2本のエッジと呼ばれる不連続な画素値を有してという特徴、を持つ2つのパターン信号を設定する
ことを特徴とする請求項10に記載の画像処理装置。 - 前記再出力処理部は、
埋込強度を設定する埋込強度設定部をさらに有し、
前記付加情報パターン設定部は、前記埋込強度設定部が設定した埋込強度を用いて前記パターン信号を設定する
ことを特徴とする請求項10または11に記載の画像処理装置。 - 前記付加情報復元処理部は、前記付加情報が複数画素のパターンで構成されたブロックを単位に埋め込まれた前記処理対象画像から前記付加情報を復号する
ことを特徴とする請求項4から12のうちの何れか1項に記載の画像処理装置。 - 前記付加情報復元処理部は、
前記付加情報が埋め込まれた処理対象画像を取得する画像取得部と、
前記画像取得部が取得した前記付加情報が埋め込まれた前記処理対象画像から前記ブロックのサイズを推定するブロックサイズ推定部と、
前記画像取得部が取得した前記付加情報が埋め込まれた前記処理対象画像から前記ブロックの位置を検出するブロック位置検出部と、
前記ブロック位置検出部が検出した前記ブロックの位置に基づき前記ブロックに埋め込まれている前記付加情報を識別する付加情報識別部と
を有することを特徴とする請求項13に記載の画像処理装置。 - 前記パターンは2種類であり、2つのパターンの対応する画素同士を加算するとすべての要素が0になるという特徴、各々のパターン中の全画素を加算すると0になるという特徴、および各々のパターンは中心部を通り方向が異なる2本のエッジと呼ばれる不連続な画素値を備えているという特徴を有しており、
前記ブロックサイズ推定部は前記エッジが画像中に規則的に配置されていることに基づいて前記ブロックサイズを推定し、
前記ブロック位置検出部は、1つのパターンから正か負かの極性情報だけを抽出して作成したマスク画像と前記画像取得部が取得した前記付加情報が埋め込まれた前記処理対象画像との相関性を利用して前記ブロックの位置を検出し、
前記付加情報識別部は、前記エッジにより4つに分割された領域の画素値の総和の大小関係を利用して前記付加情報を識別する
ことを特徴とする請求項13または14に記載の画像処理装置。 - 前記付加情報を表す画像パターンが埋め込まれていた部分の情報である埋込領域元情報をユーザに提示する
をさらに備えたことを特徴とする請求項4から15のうちの何れか1項に記載の画像処理装置。 - 前記埋込領域元情報提示部は、前記埋込領域元情報を提示する対象のユーザを限定可能に構成されたものである
ことを特徴とする請求項16に記載の画像処理装置。 - 前記埋込領域元情報提示部は、ハンディターミナルである
ことを特徴とする請求項17に記載の画像処理装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004029019A JP2005223574A (ja) | 2004-02-05 | 2004-02-05 | 画像処理方法および画像処理装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004029019A JP2005223574A (ja) | 2004-02-05 | 2004-02-05 | 画像処理方法および画像処理装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2005223574A true JP2005223574A (ja) | 2005-08-18 |
Family
ID=34998880
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004029019A Pending JP2005223574A (ja) | 2004-02-05 | 2004-02-05 | 画像処理方法および画像処理装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2005223574A (ja) |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008141640A (ja) * | 2006-12-05 | 2008-06-19 | Konica Minolta Business Technologies Inc | 画像処理装置、符号化方法及び復号化方法 |
JP2009053813A (ja) * | 2007-08-24 | 2009-03-12 | Fuji Xerox Co Ltd | 文書監視装置、文書監視プログラムおよび文書監視システム |
JP2009075972A (ja) * | 2007-09-21 | 2009-04-09 | Canon Inc | 画像処理装置、画像処理方法、及び、画像処理プログラム |
JP2010507273A (ja) * | 2006-10-13 | 2010-03-04 | ヒューレット−パッカード デベロップメント カンパニー エル.ピー. | 印刷走査チャンネルを通じて処理されたディジタル画像を再構成するための補助情報 |
JP2010206261A (ja) * | 2009-02-27 | 2010-09-16 | Ricoh Co Ltd | 文書管理装置、文書処理システム、文書管理方法 |
JP2011010221A (ja) * | 2009-06-29 | 2011-01-13 | Ricoh Co Ltd | 画像処理システム、画像処理装置、画像処理方法、プログラム及び記録媒体 |
US7995869B2 (en) | 2006-05-02 | 2011-08-09 | Ricoh Company, Ltd. | Information processing apparatus, information processing method, and information storing medium |
JP2016177743A (ja) * | 2015-03-23 | 2016-10-06 | 李健宇 | ロバスト・インデックス・コード |
KR20190039367A (ko) * | 2017-10-03 | 2019-04-11 | 이건우 | 저작권 보호 인덱스 코드, 이들의 부호화 방법 및 복호화 방법 |
-
2004
- 2004-02-05 JP JP2004029019A patent/JP2005223574A/ja active Pending
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7995869B2 (en) | 2006-05-02 | 2011-08-09 | Ricoh Company, Ltd. | Information processing apparatus, information processing method, and information storing medium |
JP2010507273A (ja) * | 2006-10-13 | 2010-03-04 | ヒューレット−パッカード デベロップメント カンパニー エル.ピー. | 印刷走査チャンネルを通じて処理されたディジタル画像を再構成するための補助情報 |
JP4910049B2 (ja) * | 2006-10-13 | 2012-04-04 | ヒューレット−パッカード デベロップメント カンパニー エル.ピー. | 印刷走査チャンネルを通じて処理されたディジタル画像を再構成するための補助情報 |
JP2008141640A (ja) * | 2006-12-05 | 2008-06-19 | Konica Minolta Business Technologies Inc | 画像処理装置、符号化方法及び復号化方法 |
JP2009053813A (ja) * | 2007-08-24 | 2009-03-12 | Fuji Xerox Co Ltd | 文書監視装置、文書監視プログラムおよび文書監視システム |
JP2009075972A (ja) * | 2007-09-21 | 2009-04-09 | Canon Inc | 画像処理装置、画像処理方法、及び、画像処理プログラム |
JP2010206261A (ja) * | 2009-02-27 | 2010-09-16 | Ricoh Co Ltd | 文書管理装置、文書処理システム、文書管理方法 |
JP2011010221A (ja) * | 2009-06-29 | 2011-01-13 | Ricoh Co Ltd | 画像処理システム、画像処理装置、画像処理方法、プログラム及び記録媒体 |
JP2016177743A (ja) * | 2015-03-23 | 2016-10-06 | 李健宇 | ロバスト・インデックス・コード |
KR20190039367A (ko) * | 2017-10-03 | 2019-04-11 | 이건우 | 저작권 보호 인덱스 코드, 이들의 부호화 방법 및 복호화 방법 |
WO2019070102A1 (ko) * | 2017-10-03 | 2019-04-11 | 이건우 | 저작권 보호 인덱스 코드, 이들의 부화화 방법 및 복호화 방법 |
KR102067321B1 (ko) | 2017-10-03 | 2020-01-16 | 이건우 | 저작권 보호 인덱스 코드, 이들의 부호화 방법 및 복호화 방법 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7536026B2 (en) | Image processing apparatus and method | |
JP3997720B2 (ja) | 画像処理装置及び画像形成装置 | |
US8335014B2 (en) | Image forming apparatus, control method, and program for copy-forgery-inhibited dot pattern calibration | |
JP4343968B2 (ja) | 画像形成装置及び方法 | |
US8780372B2 (en) | Image processing apparatus and image processing method to read and prevent loss of coded information | |
JP2004140764A (ja) | 画像処理装置及び画像処理方法 | |
JP2009277045A (ja) | 画像処理装置、画像形成装置、画像処理システム、画像処理方法、画像処理プログラムおよびその記録媒体 | |
JP2009232085A (ja) | 画像処理方法、画像処理装置、画像形成装置、プログラムおよび記憶媒体 | |
JP4362538B2 (ja) | 画像処理装置、画像形成装置、画像送信装置、画像読取装置、画像処理システム、画像処理方法、画像処理プログラムおよびその記録媒体 | |
US20070133036A1 (en) | Image-processing apparatus, image-processing method, and program product for image processing | |
JP2008271508A (ja) | 画像処理装置、画像形成装置、画像送信装置、画像読取装置、画像処理システム、画像処理方法、画像処理プログラムおよびその記録媒体 | |
JP2008154106A (ja) | 秘匿処理方法,画像処理装置および画像形成装置 | |
US8081793B2 (en) | Electronic watermarking method and apparatus for color image data | |
JP4487000B2 (ja) | 画像処理装置、画像形成装置、画像処理方法、画像処理システム、画像処理プログラムおよびその記録媒体 | |
JP2005223574A (ja) | 画像処理方法および画像処理装置 | |
US8180102B2 (en) | Image processing device, image processing method, program, and recording medium | |
US11310378B2 (en) | System and image processing device with evaluation value indication | |
JP4461487B2 (ja) | 画像処理方法および画像処理装置並びに真偽判定方法 | |
JP2007068098A (ja) | 画像処理方法および画像処理装置 | |
US7969618B2 (en) | Image forming apparatus, image forming system, computer readable recording medium, and image forming method | |
JP2007312049A (ja) | 情報埋込処理システム、付加情報埋込装置、付加情報復元装置 | |
JP6973113B2 (ja) | 画像処理装置、プログラムおよび画像処理方法 | |
JP2010206399A (ja) | 画像処理装置、画像処理方法及び画像処理プログラム | |
JP5159660B2 (ja) | 画像処理装置及び画像処理方法ならびに画像処理方法を実行するプログラム及び記録媒体 | |
JP2009071565A (ja) | 画像処理装置 |