JP2007068098A - 画像処理方法および画像処理装置 - Google Patents
画像処理方法および画像処理装置 Download PDFInfo
- Publication number
- JP2007068098A JP2007068098A JP2005254659A JP2005254659A JP2007068098A JP 2007068098 A JP2007068098 A JP 2007068098A JP 2005254659 A JP2005254659 A JP 2005254659A JP 2005254659 A JP2005254659 A JP 2005254659A JP 2007068098 A JP2007068098 A JP 2007068098A
- Authority
- JP
- Japan
- Prior art keywords
- embedding
- unit
- additional information
- image
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Image Processing (AREA)
- Editing Of Facsimile Originals (AREA)
Abstract
【課題】付加情報の埋込技術において、付加情報付加情報の復元性能と付加情報が埋め込まれた画像の品質とのバランスを改善する。
【解決手段】付加情報識別部826は、規定埋込強度で機械可読コードを埋め込まれた画像出力部482に供給される画像を処理対象として、埋込対象範囲内の各部分領域を走査して、部分領域に埋め込まれている機械可読コードを識別できるか否かを判定し、識別結果を識別情報格納部830に保存する。埋込適否判定部832は、識別情報格納部830に格納されている部分領域別の識別結果に基づいて、規定埋込強度での機械可読コードの埋込みの適否を判定する。領域別埋込強度調整部834は、埋込適否判定部832の判定結果に基づいて、識別情報格納部830に格納されている部分領域別の識別結果を参照しつつ、全体としては規定埋込強度での復元性能が十分でかつ所定レベルを満たしていない不適領域の埋込強度を低下させる。
【選択図】図15
【解決手段】付加情報識別部826は、規定埋込強度で機械可読コードを埋め込まれた画像出力部482に供給される画像を処理対象として、埋込対象範囲内の各部分領域を走査して、部分領域に埋め込まれている機械可読コードを識別できるか否かを判定し、識別結果を識別情報格納部830に保存する。埋込適否判定部832は、識別情報格納部830に格納されている部分領域別の識別結果に基づいて、規定埋込強度での機械可読コードの埋込みの適否を判定する。領域別埋込強度調整部834は、埋込適否判定部832の判定結果に基づいて、識別情報格納部830に格納されている部分領域別の識別結果を参照しつつ、全体としては規定埋込強度での復元性能が十分でかつ所定レベルを満たしていない不適領域の埋込強度を低下させる。
【選択図】図15
Description
本発明は、複写機、プリンタ、ファクシミリ装置、またはこれらの機能を複合的に備えた複合機などの画像形成装置に用いられる画像処理方法および画像処理装置に関する。
より詳細には、所望の付加情報を機械可読コードとして画像化してベースとなる画像に重畳して媒体に印刷しておき、その画像化して印刷した機械可読コードを読み取り付加情報を復元して真偽判定などの所望の処理を行なうようにした画像処理の仕組みに関する。
所望の情報を1次元もしくは2次元のバーコードなどのように画像化して用紙に印刷しておき、その画像化して印刷した情報を復元することで、用紙に印刷されている本来の画像や文字との関わりで、あるいは別個の目的で、所望の処理を行なう仕組みが種々考えられている。
たとえば、近年、複写機やプリンタの性能向上、パーソナルコンピュータなどの処理性能の向上に伴って、紙幣や有価証券のみならず、旅券、各種の権利証書、各種の照明書などの各種の文書が複製される可能性が高まっており、各種の文書の真偽を高精度で判定可能とする真贋判定技術の確立が望まれている。
この真贋判定技術の一例として、近年、画像データに対し、電子的な情報を、一見、人間の目には認識できないような形式で付加する電子透かし技術が研究・開発され、様々な形態で利用されはじめている。
ところが、その殆どは電子媒体を介したものであり、紙のような非電子媒体を介したものは殆ど利用されていない。なぜならば、コンピュータ上に保持されている画像データをプリントし、その後スキャン入力すると、さまざまな画像変換を受けるために、画質劣化を抑えた上で、安定した情報の検出を行なうことが困難であるという問題があるためである。さまざまな画像変換とは、具体的には、プリントおよびスキャンによるD/A,A/D変換、色変換、スクリーンによる2値化処理、プリンタおよびスキャナの解像度の違いによって生じる解像度変換、スキャン時のスキュー(傾き)に加えてノイズや、プリンタおよびスキャナの機械的動作に伴う画素位置のずれ(面内むら)などがある。また、入力機器としてデジタルカメラを用いる時には、収差の問題などもある。
しかしながら、プリンタやスキャナ、デジタルカメラなどの精度が高まってきたために、これらの問題があるにも拘わらず、印刷にも対応可能な電子透かし技術の必要性が高くなってきている。
このような技術として、たとえば特許文献1には、階調の異なる隣接した2つの画素群の配置パターンの違いによってデジタルデータ(0/1)を表わすようにした機械可読コードを使って付加情報を画像中に埋め込む仕組みが提案されている。
しかしながら、特許文献1に記載の仕組みでは、「埋め込み対象画像の部分領域が、使おうとする埋め込み方式に適していない」と判定された場合、「不適な領域」に埋め込み強度を上げて情報を埋め込むようにしている(段落92〜103の記載を参照)。ここで、埋込強度と復号時の識別性能とは一致する一方で、埋込強度と印刷画像における画質とはトレードオフの関係にある。すなわち、埋込強度が強ければ、付加情報の復元性能は良好となるが、埋込部分の機械可読コードが顕在化し目障りになる。
このため、「使おうとする情報埋込方式に適していない」埋め込み対象画像の部分領域が、誤り訂正可能な所定値より小さい場合でも「埋込対象画像の全領域」または「不適な部分領域」の埋込強度を上げて情報を埋め込む処理を実施すると、プリント品質の劣化を招く。すなわち、情報埋込み後の画像は、平均的な条件で処理された情報埋込み後の画像と比較して、見た目の画質劣化が大きくなる。
また、「埋め込み対象画像の部分領域が、使おうとする埋め込み方式に適していない」と判定された場合、全体の濃度を上げるもしくは下げる、あるいは濃度の段差を鈍らせるなど、元画像の濃度を調整するようにもしており(段落106〜109)、この場合にも、前述同様にプリント品質の劣化を招く。
本発明は、上記事情に鑑みてなされたものであり、所望の付加情報を画像化して元画像に重畳して媒体に出力しておき、その画像化して出力した付加情報を復元することで所望の処理を行なう際に、付加情報の復元性能と付加情報が埋め込まれた画像の品質とのバランスを改善することのできる仕組みを提供することを目的とする。
本発明に係る付加情報の埋込技術においては、埋込対象範囲内の各部分領域に対して共通に設定すべき規定埋込強度を決定するとともに、この規定埋込強度を付加情報の復元性能の観点から各部分領域ごとに修正し、この修正された埋込強度で機械可読コードを画像中に埋め込むようにした。
このため、画像形成側の画像処理装置には、埋込対象範囲内の各部分領域に対して共通に設定すべき規定埋込強度を決定する埋込強度制御部と、埋込強度制御部が決定した規定埋込強度を付加情報の復元性能の観点から各部分領域ごとに修正する埋込強度微調整部と、埋込強度微調整部により修正された埋込強度で機械可読コードを画像中に埋め込む付加情報重畳処理部とを備えるものとした。
本発明によれば、先ず埋込対象範囲内の各部分領域に対して共通に設定すべき規定埋込強度を決定し、この規定埋込強度を付加情報の復元性能の観点から各部分領域ごとに修正するようにした。これにより、付加情報の復元性能と付加情報が埋め込まれた画像の品質とのバランスを改善することができる。すなわち、復元性能の観点から各部分領域ごとに埋込強度を微調整することで、付加情報の復元性能を劣化させることなく、付加情報が埋め込まれた画像の品質を高めることができる。
たとえば、規定埋込強度での復元性能が十分なときには、埋込対象範囲内の復元性能が所定レベルを満たしている適領域と満たしていない不適領域の内、不適領域については、埋込強度を低下させても、不適領域であることには変わりなく、全体としての復元性能に影響を与えることもないので、画像品質を高めるべく、前もって埋込強度を低下させることができる。
以下、図面を参照して本発明の実施形態について詳細に説明する。
<<画像処理システムの構成>>
図1は、本発明に係る画像処理装置を備えた画像処理システムを示す概略図である。この画像処理システム1は、画像入力端末3と、画像出力端末4と、データサーバ7とを備える。
図1は、本発明に係る画像処理装置を備えた画像処理システムを示す概略図である。この画像処理システム1は、画像入力端末3と、画像出力端末4と、データサーバ7とを備える。
画像入力端末3は、デジタルドキュメント(以下単にドキュメントという)DOCを作成したり編集などの処理をする、たとえばパソコン(パーソナルコンピュータ)3a、カラースキャナ3b、デジタルカメラ3c、またはハードディスク装置や光磁気ディスク装置あるいは光ディスク装置などのデータ格納装置3d、さらにはFAX装置3eなど、任意数の画像入力ソースを含み得る。
画像出力端末4は、本発明に係る画像処理装置の一例であって、たとえば複写機能、ページプリンタ機能、およびファクシミリ送受信機能などの複合機能を備えた複合機(マルチファンクション機)として構成された画像形成装置であり、デジタルプリント装置として構成されている。
画像入力端末3のそれぞれには、ドキュメントDOC作成用のアプリケーションプログラムなどが組み込まれる。たとえば、画像入力端末3側にて用意されるドキュメントDOCを表す電子データは、画像出力端末4で処理可能な画像フォーマット(たとえば、JPEG、BMP、PNGなど)で記述される。またたとえば、パソコン3aで作成された文書ファイルは、たとえばプリンタなどで印刷出力するために、図形、文字などの拡大、回転、変形などが自由に制御できるページ記述言語(PDL:Page Description Language )で記載されたデータとして画像出力端末4に送られる。
PDLで作成されているデータ(PDLデータ)は、ページ内の任意位置の画像、図形、文字を表現する描画命令およびデータを任意の順で配置した命令およびデータ列で構成されている。このPDLデータを受け取った画像出力端末4は、印字前に出力単位ごと(1ページごと)に画像データをレンダリング(描画展開)してからプリンタエンジン部にそのラスタデータを出力する。
画像出力端末4は、大まかに、付加情報の埋込処理が可能な画像形成装置5と、付加情報が埋め込まれている画像を印刷媒体(たとえばスキャンして取り込む)や電子データ(たとえばデジタルカメラで撮像)として取り込み、この付加情報が埋め込まれている画像から付加情報を復号し、この復号した付加情報を利用して所定のサービス処理を行なう復号装置6とを備えている。画像形成装置5および復号装置6は、何れも、本発明に係る画像処理装置の一例である。
復号装置6におけるサービス処理を行なうため、必要に応じて、付加情報部分の元画像などをデータサーバ7に格納しておく。なお、データサーバ7は、システム上、必須の要素ではない。
画像出力端末4は、接続ケーブルを介してネットワークに接続可能になっている。たとえば、接続ケーブルは、CSMA/CD(Carrier Sense Multiple Access with Collision Detection)型LAN(Local Area Network;たとえばIEEE802.3)やギガビット(Giga Bit)ベースのLAN(以下纏めて有線LAN8という)によりパソコン3aなどの画像入力端末3に接続される。
あるいは一般加入電話網(PSTN:Public Switched Telephone Network )9を介してFAX装置3eなどの画像入力端末3に接続される。なお、一般加入電話網PSTNに代えて、ISDN(Integrated Switched Digital Network )またはインターネットを含む他の通信媒体を利用してファクシミリをやり取りするようにしてもよい。
また、画像出力端末4は、たとえばIEEE(Institute of Electrical and Electronics Engineers, Inc. ;米国電気電子学会)1394規格のデバイス3fやUSB(Universal Serial Bus)2.0規格のデバイス3gなどとも接続可能となっており、これらのデバイス3f,3gからデジタル画像データを受け付けることもできる。あるいは、これらデバイス3f,3gを介してリモートで画像出力端末4を制御することもできるようになっている。
また、画像出力端末4は、表示装置や印刷装置(プリンタ)を出力デバイスとして利用することで、処理済みの画像を出力する。出力された画像は、画像出力端末4において、2次利用(再利用)され得る。
<<画像形成装置の構成;第1実施形態>>
図2は、画像形成装置5の機能に着目した第1実施形態の構成例を示すブロック図である。ここでは、本願出願人が特願2002−312315号(特開2004−140764号)にて提案している仕組みを採用するが、他の符号化手法を利用した構成としてもよい。
図2は、画像形成装置5の機能に着目した第1実施形態の構成例を示すブロック図である。ここでは、本願出願人が特願2002−312315号(特開2004−140764号)にて提案している仕組みを採用するが、他の符号化手法を利用した構成としてもよい。
図示するように、第1実施形態の画像形成装置5は、処理対象の画像データを取り込む画像取得部401と、付加情報を処理対象画像の所定位置に埋め込む付加情報埋込処理部402とを備えている。
また画像形成装置5は、付加情報が処理対象画像の所定位置に埋め込まれた画像を所定の出力媒体に出力し、もしくは画像処理装置に画像データとして転送し、さらには付加情報が埋め込まれた部分の元の画像をデータサーバ7に登録するなどの出力処理を行なう画像出力処理部408と、処理対象画像データの記録、処理中の作業データの一時的な保持、あるいは出力データを保持する画像データ格納部409とを備えている。
付加情報埋込処理部402は、パターンサイズ設定部420と、パターン減衰率設定部430と、埋込強度設定部440と、付加情報パターン設定部450と、付加情報重畳処理部460とを有している。付加情報埋込処理部402の各部の構成や機能については、後で詳しく説明する。
<画像形成装置側の画像取得部の構成>
画像取得部401は、入力される画像データを受け付ける画像データ入力部412、並びに、画像データを補正することで埋め込まれた画像パターン情報の認識性能を改善するための機能部である画像データ解析部414と画像データ補正部416とを有している。
画像取得部401は、入力される画像データを受け付ける画像データ入力部412、並びに、画像データを補正することで埋め込まれた画像パターン情報の認識性能を改善するための機能部である画像データ解析部414と画像データ補正部416とを有している。
なお、プリンタなどの印刷機器から印刷出力された画像をスキャナで読み取ることで得られる画像や、デジタルカメラなどで撮像され電子的に入力される画像データは傾きを持つことが多々あるので、後述する復号装置6の入力画像傾き補正部614と同様の機能部を設けることで、画像データ入力部412が取り込んだ処理対象画像の傾きを検出しその傾き補正を行なうように構成するとさらに好ましい。
画像データ入力部412は、たとえば通信機能を備え、外部の画像入力端末3から画像データを受け取ったり、あるいは自装置内に組み込まれているアプリケーションプログラム(ソフトウェア)からOS(オペレーティングシステム;基本ソフト)などを介して受け取ったり、または画像データを記憶している記憶媒体(FDやCD−ROMなど)から取り込んだ画像ファイルを開いて読み出すなど、種々の形態で画像データを取得することができる。
入力される画像データは、白黒の2値データに限らずグレイスケールもしくはカラーなどの多値データで表されたものでもよく、図1に示した画像入力端末3、たとえばパソコン3aにより作成されたり、カラースキャナ3bやデジタルカメラ3cにより入力されたりした自然画像あるいはCG(Computer Graphics )画像など任意の画像であってよい。
画像データ解析部414および画像データ補正部416は、処理対象画像のハイライト部(明るいところ)やシャドー部(暗いところ)で、付加情報埋込処理部402により設定された付加情報をパターンとして埋め込んだ場合に復号処理での識別性能が落ちてしまうことを防止するために設けられているものであり、これらを取り外して、画像データ入力部412のみで画像取得部401を構成してもよい。
すなわち、画像データ入力部412のみで画像取得部401を構成すると、入力された画像データのハイライト部やシャドー部では、パターンを重畳した際にオーバーフローやアンダーフローが発生することがある。
そこで先ず、画像データ解析部414は、画像データ入力部412から入力された処理対象画像を解析する。画像データ補正部416は、画像データ入力部412から入力された埋込強度Cと画像データ解析部414の解析結果とに基づき処理対象画像を補正する。
具体的には、先ず画像データ解析部414は、処理対象画像の各色成分ごと、たとえば、R,G,BやY,M,C,Kなどごとに、画像データ入力部412が取り込んだ処理対象画像の持つ最大階調値Kmaxと最小階調値Kminとを検出する。
画像データ補正部416は、たとえば画像データ格納部409が各色成分ごとに8ビットの階調(256色階調)を持ち、すなわち、“0”から“255”の階調値で表せるならば、埋込強度設定部440から入力された埋込強度Cと画像データ解析部414が検出した最大階調値や最小階調値に基づいて、処理対象画像の各色成分が埋込強度Cから(255−C)までの間に入るように濃度変換を行なう。
このとき、画像データ補正部416は、処理対象画像の階調値が埋込強度入力部442により入力された埋込強度Cに基づいて設定される範囲を超えないように濃度変換を行なう。たとえば、画像データ補正部416は、処理対象画像の階調値が、処理対象画像の取り得る最小の階調値Kminから埋込強度入力部442により入力された埋込強度Cを減じた階調値から、処理対象画像の取り得る最大の階調値Kmaxから埋込強度入力部442により入力された埋込強度Cを減じた階調値までの範囲を超えないように処理対象画像の濃度を補正する。
具体的には、画像データ解析部414によって得られるある色成分の最大階調値をCmax、最小階調値をCminとすると、その色成分の持つ画素値Z(Cmin≦Z≦Cmax)は式(1)に従って、画素値Z’に変換する。 ここで、min(a,b)はa,bのうち小さい値をとり、max(a,b)はa,bのうち大きい値をとるものである。
この式(1)で示される変換の意味は、処理対象画像の持つ階調範囲[Cmin,Cmax]を[max(C,Cmin),min(255−C,Cmax)]に線形変換するものである。そのため、階調変換された画像に埋込強度Cによるパターン情報を重畳しても、“0”より小さな階調値または“255”を超える階調値は現れない。
したがって、付加情報重畳処理部460において、付加情報パターン設定部450により設定された付加情報に対応するパターン画像を処理対象画像データに埋め込んで画像出力処理部408によりプリンタなどの出力機器に対して付加情報が埋め込まれた画像を出力しても、処理対象画像データは画像データ補正部416によって補正されているために、この加算によるオーバーフローやアンダーフローは生じない。この結果、付加情報を埋め込むことに依る画質劣化を最低限度に抑えながら、復号処理での付加情報の識別性能が落ちてしまうことを防止する(識別率を向上させる)ことができる。
<画像形成装置側の画像出力処理部の構成>
画像出力処理部408は、付加情報が処理対象画像の所定位置に埋め込まれた画像を所定の出力媒体に出力し、もしくは画像処理装置に画像データとして転送する画像出力部482を有する。画像出力部482は、プリンタなどの出力機器やソフトウェアあるいは通信回線などを介して、付加情報の埋め込まれた画像を出力する。
画像出力処理部408は、付加情報が処理対象画像の所定位置に埋め込まれた画像を所定の出力媒体に出力し、もしくは画像処理装置に画像データとして転送する画像出力部482を有する。画像出力部482は、プリンタなどの出力機器やソフトウェアあるいは通信回線などを介して、付加情報の埋め込まれた画像を出力する。
<画像形成装置側の付加情報埋込処理部の構成>
次に、付加情報埋込処理部402の各機能部について説明する。パターンサイズ設定部420は、先ず図示しないパーソナルコンピュータや操作パネルなどを通して、ユーザが指示したパターンサイズPSを入力設定する。
次に、付加情報埋込処理部402の各機能部について説明する。パターンサイズ設定部420は、先ず図示しないパーソナルコンピュータや操作パネルなどを通して、ユーザが指示したパターンサイズPSを入力設定する。
たとえば、ユーザが予め登録されている出力機器を選択する。画像形成装置5には、各出力機器に対応する最適なパターンサイズを登録しておくか、あるいはその都度その出力機器に問い合わせる。これにより、この出力機器の選択によって、その出力機器に最適なパターンサイズを自動的に判断して入力設定することができる。もちろん、数値などによってパターンサイズを入力設定してもよい。
パターンサイズ設定部420は、入力されたパターンサイズPSの情報を埋込強度設定部440や付加情報パターン設定部450に通知する。装置として予め設定されている固定値を利用する場合にはパターンサイズ設定部420を設けずに構成することも可能である。
<パターン減衰率設定部の構成>
パターン減衰率設定部430は、図示しないパーソナルコンピュータや操作パネルなどを通して、ユーザが指示するパターン減衰率αを入力設定するパターン減衰率入力部432と、パターンサイズ設定部420および埋込強度設定部440で入力設定された値(あるいは固定値)に基づいて、最適なパターン減衰率αbを計算によって求めるパターン減衰率計算部434とを有する。
パターン減衰率設定部430は、図示しないパーソナルコンピュータや操作パネルなどを通して、ユーザが指示するパターン減衰率αを入力設定するパターン減衰率入力部432と、パターンサイズ設定部420および埋込強度設定部440で入力設定された値(あるいは固定値)に基づいて、最適なパターン減衰率αbを計算によって求めるパターン減衰率計算部434とを有する。
パターン減衰率入力部432は入力されたパターン減衰率αを、またパターン減衰率計算部434は計算して求めたパターン減衰率αbを、付加情報パターン設定部450に通知する。またパターン減衰率計算部434は計算して求めたパターン減衰率αbを、埋込強度設定部440に通知する。
なお、パターン減衰率入力部432とパターン減衰率計算部434とは、何れか一方を使用できればよく、目的に応じて切替使用できるような構成とするとよい。また、装置として予め設定されている固定値を利用する場合には両者を設けずに構成することも可能である。
パターン減衰率計算部434は、減衰率乗算方式で4個のサブブロックのうち対角サブブロック2個を1組とした2組の階調の平均をそれぞれ明るくまたは暗く変調する。この際には、パターンサイズ設定部420から得られるパターンサイズPSおよび埋込強度設定部440から得られる埋込強度Cとに基づいて、付加情報に対応するパターン画像の埋込みによる画質劣化を最小限に抑えるようなパターン減衰率αbを計算する。具体的には、隣のブロックとの境界が滑らかに接続されるようなパターン減衰率αbを計算する。
<パターン減衰率計算部の動作>
図3は、パターン減衰率計算部434の動作の一例を説明する図である。パターン減衰率計算部434におけるパターン減衰率の具体的な計算方法としては、後述する図5に示す式(2−1)や式(2−2)の指数関数を用いる場合には、図3中のA点の絶対値が十分に小さくなるようにすればよい。印刷する場合には、この値は“10”程度で十分である。
図3は、パターン減衰率計算部434の動作の一例を説明する図である。パターン減衰率計算部434におけるパターン減衰率の具体的な計算方法としては、後述する図5に示す式(2−1)や式(2−2)の指数関数を用いる場合には、図3中のA点の絶対値が十分に小さくなるようにすればよい。印刷する場合には、この値は“10”程度で十分である。
図3に示した例では、8×8のパターンサイズであり、図示した座標の取り方をすれば、パターン外郭をなす4辺の各中点である4つのA点は、原点からの距離が“3”となる。一般にパターンサイズがN×Mであったときは、N,Mのうち小さい方を使って、式(2−1)なら 式(3−1)に従って、また式(2−2)なら 式(3−2)に従って、それぞれパターン減衰率αを求めればよい。なお、“^”はべき乗を示す。
このようにパターン減衰率αをユーザの手を介してもしくは固定値として入力しなくても、パターンサイズPSや埋込強度Cなどから自動的にパターン減衰率αbを計算するように構成することもできる。もちろん、ここで示した計算方式は一例であり、たとえば図3中のA点に合わせるほか、4隅の点Bに合わせてもよい。
また、ここではパターン減衰率を縦横とも同じ値を用いているが、縦方向のパターン減衰率と横方向のパターン減衰率を別々に計算して、付加情報パターン設定部450においてそれらを用いてパターンを生成するように構成してもよい。なお、パターンサイズおよび埋込強度として設定される値がある程度限定される場合には、予めパターン減衰率αbを計算して数種類分登録しておき、利用する際に選択して用いるように構成してもよい。
<埋込強度設定部の構成>
図2に戻って埋込強度設定部440の詳細について説明する。埋込強度設定部440は、付加情報パターン設定部450にてパターン情報を発生させる際に、埋込強度を設定することで、処理対象画像の画質に対する影響や埋め込んだ付加情報の認識率などを調節する。このため、埋込強度設定部440は、図示しないパーソナルコンピュータや操作パネルなどを通して、ユーザが指定する埋込強度Cを入力設定する埋込強度入力部442と、最小埋込強度入力部444、最大埋込強度入力部445、および埋込強度制御部446を備えている。
図2に戻って埋込強度設定部440の詳細について説明する。埋込強度設定部440は、付加情報パターン設定部450にてパターン情報を発生させる際に、埋込強度を設定することで、処理対象画像の画質に対する影響や埋め込んだ付加情報の認識率などを調節する。このため、埋込強度設定部440は、図示しないパーソナルコンピュータや操作パネルなどを通して、ユーザが指定する埋込強度Cを入力設定する埋込強度入力部442と、最小埋込強度入力部444、最大埋込強度入力部445、および埋込強度制御部446を備えている。
なお、図示を割愛するが、埋込強度設定部440には、元画像の秘匿レベルを判断する秘匿レベル判定部と、秘匿レベル判定部の判定結果に基づいて埋込強度入力部442から得られる埋込強度Cや埋込強度制御部446から得られる埋込強度Cbを調整することで最終的な埋込強度Cc(規定埋込強度)を決める埋込強度秘匿調整部(埋込強度決定部)と、利用者の認証処理を行なう認証処理部とを設けることができる。
また、本実施形態の特徴部分として、埋込強度設定部440は、画像出力部482に供給される付加情報が埋め込まれた画像を処理対象画像として、復元時のデータ再現性能を考慮して、埋込み対象となる全領域の内のデータの1ビットに対応する部分領域のそれぞれについて、埋込強度をゼロ(0)にする(事実上、機械可読コードを埋め込まないことを意味する)、あるいは埋込強度を定常レベルとは異なる値に設定する(具体的にはより強くする)など埋込強度制御部446に対して階調変更量qを供給して埋込み強度を部分領域別に設定する埋込強度微調整部448を備えている。埋込強度微調整部448は、画像中に埋め込まれるデジタルコード(機械可読コード)の埋込強度を部分領域ごとに変調(調整)する埋込階調変調処理部の一例である。
最小埋込強度入力部444、最大埋込強度入力部445、埋込強度制御部446、および埋込強度微調整部448で、埋込強度調整部449が構成される。
埋込強度設定部440は、同一文書に複数の埋込領域(秘匿部分を含む)が存在する場合には、それぞれの埋込領域について、適切な埋込強度を設定する。また、復号装置6における処理において、埋込強度を推定する場合に備えて、画像に埋め込まれた画像パターン情報部分の濃度値やこの濃度値と背景画像部分の濃度との比などと埋込強度とを対応付けたルックアップテーブル(LUT;Look Up Table )を用意しておく。
埋込強度入力部442は入力された埋込強度Cを、また埋込強度調整部449は求めた最適な埋込強度Cbを、(秘匿の必要な部分は図示を割愛した埋込強度秘匿調整部を介して調整された埋込強度Ccとして)、付加情報パターン設定部450に通知する。また、構成によっては、埋込強度入力部442は入力された埋込強度Cを画像データ補正部416やパターン減衰率計算部434に通知する。
なお、埋込強度入力部442と埋込強度調整部449における最小埋込強度入力部444や最大埋込強度入力部445とは、何れか一方を使用できればよく、目的に応じて切替使用できるような構成とするとよい。また、装置として予め設定されている固定値を利用する場合には両者を設けずに構成することも可能である。一方、本実施形態においては、埋込強度微調整部448を備えることが必須である。
埋込強度調整部449の最小埋込強度入力部444は、パターンの識別が可能な最小の埋込強度Cminを設定する。また、最大埋込強度入力部445は、パターンの埋込みによる画質の劣化が顕著にならない最大の埋込強度Cmaxを設定する。なお、最小埋込強度Cminおよび最大埋込強度Cmaxは、固定値としてもよいし、あるいは設定できない構成であってもよい。
埋込強度制御部446は、パターンサイズ設定部420から通知されたパターンサイズPSとパターン減衰率設定部430のパターン減衰率入力部432から通知されたパターン減衰率α(それぞれ入力設定された値)もしくはそれぞれ装置として予め定められている固定値と、付加情報パターン設定部450によって符号化された付加情報に対応する符号化信号(埋込情報Fa)と、画像データ格納部409中の付加情報重畳処理部460によってアドレスされる重畳パターンと同サイズの領域の画像データ(ブロック)の値、それに最小埋込強度入力部444から入力される最小埋込強度Cminおよび最大埋込強度入力部445から入力される最大埋込強度Cmaxに基づいて、パターンの最適な埋込強度Cbを計算する。
図4は、埋込強度調整部449における最小埋込強度入力部444、最大埋込強度入力部445、および埋込強度制御部446の基本的な動作の一例を説明する図である。なお、埋込強度微調整部448の動作については別途説明する。
埋込強度制御部446は、たとえば、パターンが重畳される領域の画像データをブロックとし、そのブロックをパターンに対応して中心を通る2つのエッジによって4つの部分ブロックに分割する。たとえば、パターンのエッジが中心を通り、垂直方向と水平方向にある場合には、ブロックをパターンのエッジに相当する垂直および水平な直線で4分割することで4つの部分ブロックに分割する。そして、この分割した4つの部分ブロックごとに画素値の総和を求め、得られた4つの総和値と重畳パターンとから最適な埋込強度を決定する。
埋込強度制御部446は、重畳パターンが“1”に対応するものであるとき、分割したそれぞれの部分ブロックでのパターン重畳後の画素値の総和B1,B2,B3,B4が、“min(B1,B3)>max(B2,B4)”の関係を満足する最小の埋込強度を最適な埋込強度Cbとして算出する。また、埋込強度制御部446は、重畳パターンが“0”に対応するものであるとき、パターン重畳後の4つの領域の画素値の総和B1,B2,B3,B4が、“min(B2,B4)>max(B1,B3)”の関係を満足する最小の埋込強度を最適な埋込強度Cbとして算出する。
ただし、求めた埋込強度が最小埋込強度入力部444から入力された最小埋込強度Cminよりも小さかった場合には、埋込強度制御部446は、最小埋込強度入力部444から入力された最小埋込強度Cminを最適な埋込強度Cbとする。また、求めた埋込強度が最大埋込強度入力部445から入力された最大埋込強度Cmaxよりも大きかった場合には、埋込強度制御部446は、最大埋込強度入力部445から入力された最大埋込強度Cmaxを最適な埋込強度Cbとする。
このような関係を満足する最小の埋込強度を用いて生成したパターンを重畳した電子画像は、何らの画像変換を受けない限り、付加情報検出側である復号装置6の構成で、埋め込まれた付加情報を100%識別可能となる。しかし、この電子画像を印刷して、それをスキャナあるいはデジタルカメラのような入力機器で入力して再び電子情報に戻した場合には、印刷および入力の過程で、多くの画像処理を受けてしまうため、特に計算された値が小さすぎる場合には埋め込まれた付加情報の識別が難しくなる。また逆に、計算された値が大きすぎる場合には、識別は容易であるが、画質上好ましくない影響が発生する可能性がある。そのため、上述のように埋込強度を最小埋込強度Cminおよび最大埋込強度Cmaxの範囲内となるようにしている。
なお、B1,B2,B3,B4は、パターン重畳前の4つの部分ブロックごとの総和値D1,D2,D3,D4に付加情報、ブロックサイズ、埋込強度C、およびパターン減衰率αによって決まるパターン情報との領域ごとの加算により求めることができる。逆に、D1,D2,D3,D4および付加情報が分かれば、上記関係を満たすのに必要な埋込強度を計算で求めることも可能である。また、予めよく使用する埋込強度Cとパターン減衰率αの複数の組合せテーブルを用意しておけば、パターン減衰率入力部432から入力されたパターン減衰率αから上記関係式を満たすのに必要な埋込強度を簡単に求めることもできる。
なおここでは、パターン減衰率を入力し、埋込強度をブロック画像に適応させて制御する例を示したが、これに限らず、逆に埋込強度は入力された値を用い、ブロック画像に適応してパターン減衰率の方を可変とする構成も可能である。上述の関係式を満たすためには、埋め込み強度とパターン減衰率のいずれか一方が固定であればよく、他方を計算で求めることができる。
また、予めよく使用する埋込強度とパターン減衰率の複数の組合せにおける重畳パターンの4分割した画素値の総和について計算したテーブルを用意しておけば、上記関係式を満たすのに必要な埋込強度およびパターン減衰率の組合せを簡単に求めることもできる。
埋込強度入力部442により入力設定された値や予め用意されている固定値を埋込強度Cとして用いる場合、入力された画像データに依らず、一定の埋込強度Cでパターンの埋込みを行なうので、識別が容易な平坦部分も、識別が難しい強いエッジが存在する場所でも、同じ強度でパターンが埋め込まれてしまうため、強いエッジの存在する部分では識別性能が落ち、平坦部では識別性能は高いがやや画質を劣化する原因となる場合がある。
これに対して埋込強度調整部449を用いることで、パターンを埋め込む領域の画像データに応じて最適な埋込強度Cbを算出するように埋込強度Cを調整すれば、その埋込強度Cbに従って付加情報パターン設定部450で2つのパターンを作成してその組合せにより2次元バーコードのような画像パターン情報を生成して画像データに埋め込むことによって、識別が難しい領域での識別性を向上させ、平坦な領域での画質劣化を低減することができる、すなわち画質劣化を抑えながら、画像パターン情報に埋め込まれた付加情報の識別率を向上させることができる。
<付加情報パターン設定部の構成>
図2に戻って付加情報パターン設定部450の詳細について説明する。付加情報パターン設定部450は先ず、図示しないパーソナルコンピュータや操作パネル、ソフトウェア、ファイルなど、種々の供給源から、処理対象画像データに埋め込む付加情報F0の入力を受け付ける付加情報入力部452と、付加情報入力部452からの付加情報を符号化する付加情報符号化部454とを有する。付加情報F0は、文字列、数字、あるいは画像データなど、様々な情報であってよい。
図2に戻って付加情報パターン設定部450の詳細について説明する。付加情報パターン設定部450は先ず、図示しないパーソナルコンピュータや操作パネル、ソフトウェア、ファイルなど、種々の供給源から、処理対象画像データに埋め込む付加情報F0の入力を受け付ける付加情報入力部452と、付加情報入力部452からの付加情報を符号化する付加情報符号化部454とを有する。付加情報F0は、文字列、数字、あるいは画像データなど、様々な情報であってよい。
付加情報符号化部454は、付加情報重畳処理部460からの埋込情報を埋め込む位置の情報を参照して、付加情報入力部452により入力された付加情報F0を元に所定の符号化フォーマットに変換し、実際に画像データに埋め込む埋込情報Faを作成する。なお、符号化せずに埋め込むことも可能であり、この場合には付加情報符号化部454を取り除いた構成とすることができる。
また、付加情報パターン設定部450は、パターンサイズ設定部420から入力設定されたパターンサイズPS、パターン減衰率入力部432から入力されたパターン減衰率αもしくはパターン減衰率計算部434から入力されたパターン減衰率αb、および埋込強度入力部442から入力された埋込強度Cもしくは埋込強度制御部446から入力された埋込強度Cbに基づいて、2つのパターン情報を作成するパターン作成部456と、付加情報符号化部454により作成された埋込情報Faに基づいて、パターン作成部456が作成した2つのパターン情報のうちの何れか一方を選択して付加情報重畳処理部460に渡すパターン選択部458とを有する。
<2つのパターンの特徴>
パターン作成部456が作成する2つのパターン情報は、以下の通りの特徴を持つ。すなわち、
1)階調の異なる隣接した2つの画素群の配置パターンの違いによってデジタルデータの“0”や“1”を表わす機械可読コードであり、付加情報をデジタル化して画像中に埋め込むために利用される。なお、「画素群」とあるが、これは、代表して、デジタルデータの“0”や“1”を表わすためのブロック内のサブブロックが複数の画素で構成されることを前提に記述したもので、原理的には、各サブブロックが1つの画素で構成される場合であってもかまわない。
2)2つのパターン情報の対応する画素データ同士を加算すると全ての要素が0になる。2つのパターン情報の極性が異なることを意味し、2本のエッジの導入とともに付加情報の検出を容易にするためのものである。
3)各々のパターン情報中の全画素を加算すると0になる。パターンの重畳前後において、その平均濃度を変更しないためであり、画質劣化を最低限度に抑える効果がある。
4)各々のパターンは中心部を通り方向が異なる2本以上のエッジと呼ばれる不連続な画素値を備える。エッジの方向は、たとえば垂直線と水平線に沿った方向とすることができる。
パターン作成部456が作成する2つのパターン情報は、以下の通りの特徴を持つ。すなわち、
1)階調の異なる隣接した2つの画素群の配置パターンの違いによってデジタルデータの“0”や“1”を表わす機械可読コードであり、付加情報をデジタル化して画像中に埋め込むために利用される。なお、「画素群」とあるが、これは、代表して、デジタルデータの“0”や“1”を表わすためのブロック内のサブブロックが複数の画素で構成されることを前提に記述したもので、原理的には、各サブブロックが1つの画素で構成される場合であってもかまわない。
2)2つのパターン情報の対応する画素データ同士を加算すると全ての要素が0になる。2つのパターン情報の極性が異なることを意味し、2本のエッジの導入とともに付加情報の検出を容易にするためのものである。
3)各々のパターン情報中の全画素を加算すると0になる。パターンの重畳前後において、その平均濃度を変更しないためであり、画質劣化を最低限度に抑える効果がある。
4)各々のパターンは中心部を通り方向が異なる2本以上のエッジと呼ばれる不連続な画素値を備える。エッジの方向は、たとえば垂直線と水平線に沿った方向とすることができる。
さらに好ましくは、各々のパターンの持つ画素値の絶対値は中心でもっとも大きく、中心から離れるほど小さくなる、という特徴を持つものとするとよい。
また、形状に関し、ここでは、共にn×m画素の同サイズの長方形ブロックで構成される、という特徴を有しているものとする。
<パターン例>
図5は、埋め込むパターンの一例を説明する図である。ここで示した例は、パターンサイズが8×8の例である。基本パターンのサイズはパターンサイズ設定部420で設定される。また式(2−1)、式(2−2)において、埋込強度Cは埋込強度設定部440により入力され、パターン減衰率αはパターン減衰率設定部430で設定される。xは横軸、yは縦軸の座標を表し、パターンの中心を原点としている。
図5は、埋め込むパターンの一例を説明する図である。ここで示した例は、パターンサイズが8×8の例である。基本パターンのサイズはパターンサイズ設定部420で設定される。また式(2−1)、式(2−2)において、埋込強度Cは埋込強度設定部440により入力され、パターン減衰率αはパターン減衰率設定部430で設定される。xは横軸、yは縦軸の座標を表し、パターンの中心を原点としている。
上述のような特徴を有するパターンとしては、たとえば図5に示したようなものがある。ここでは図5(A)は付加情報“1”を意味する基本パターン、図5(B)は付加情報“0”を意味する基本パターンとし、これら双方の全要素に図5(C)に示す式(2−1)または式(2−2)のような式が乗ぜられる。これによって、たとえば図5(D)、(E)に示すようなパターンが生成される。なお、図5(D)、(E)では、図示の都合上、濃度の違いをハッチングの違いによって示している。
2つのパターン情報のそれぞれにおいて、サブブロックの対応する(エッジを中心とする線対象位置のもの)画素データ同士を加算すると全ての要素が0になる特徴を有している。この点は、埋め込まれる1/0のデータ検出を容易にするために有効なものである。
つまり、2つのパターン情報(パターン画像)は、8×8画素を1ブロックとして表わされ、デジタルコードの1ビット(0または1)を画像中に埋め込むことになる。また、図から分かるように、1ビットを表わすための1ブロック(部分領域)は4×4画素のサブブロック4個に分割したもので、4個のサブブロックのうち対角サブブロック2個を1組とした2組の階調の各平均値の配置パターンの違いによって“0”や“1”を表わすようにしている。また、減衰率乗算方式で4個のサブブロックのうち対角サブブロック2個を1組とした2組の階調の平均をそれぞれ明るくまたは暗く変調してデジタルコードを埋め込む。
また、本実施形態においては、さらに埋込強度微調整部448において、1ビットに対応する1ブロックをなす4×4画素のサブブロック4個について、ブロックごとに、前述のようにして設定された埋込み方式および埋込強度(以下規定埋込方式や規定埋込強度という)で機械可読コードを埋め込んだときの復元時のデータ再現性能を考慮して、その埋込み対象の全領域についての規定埋込方式や規定埋込強度の適否を判定し、その判定結果に基づいて階調変更量qを部分領域ごとに設定することにより、埋込強度をゼロ(0)にする(つまり機械可読コードを埋め込まないことを意味する)、あるいは埋込強度を規定埋込強度より強くするなど、画像中に埋め込まれるデジタルコード(機械可読コード)の埋込強度を部分領域ごとに変調(調整)する。この仕組みについての詳細は後述する。
なお、「階調変更量qを部分領域ごとに設定する」とは、少なくとも、埋込み対象の全領域についての規定埋込方式や規定埋込強度が適正な部分領域(適領域という)と不適当な部分領域(不適領域という)とについて、それぞれ異なる階調変更量q(不適当な部分領域に対して埋込強度がゼロとなるようにするものも含む)を設定するものであればよい。つまり、埋込み対象の全領域についての規定埋込方式や規定埋込強度の適/不適に応じて、その全領域内の適領域と不適領域とに個別の埋込強度を設定できればよいのである。もちろん、不適領域だけを実際の埋込強度の変更(変調)対象となる部分領域とすれば十分であり、適領域に関しては規定埋込強度を維持していればよい。なお、不適領域の全てに規定埋込強度と異なる埋込強度を設定することは必須ではなく、その数を適宜調整してもよい。
なお、2つのパターンは図5に示した例に限られるものではなく、たとえば式(2−1)や式(2−2)の代わりに三角波のようなものを利用するなど、式(2−1)および式(2−2)としてどのような関数を用いてもよい。また、これらの式中の指数関数部分を省略してもよいし、あるいはこれらの式を用いずに図5(A)、(B)に示すパターンをそのまま用いることも可能である。さらに、図5に示した例ではエッジ方向として垂直・水平方向としたが、たとえば45度および135度方向のエッジなど、付加情報を抽出する復号装置6側とエッジの抽出方向を合わせておけば任意のエッジ方向でよい。
これらのパターンの特徴は、画質への影響をできる限り抑えながら、かつ、その検出を容易にするためのものであり、後述する情報検出側である復号装置6の構成によって画像に埋め込まれた付加情報を容易に検出することが可能である。なお、パターンサイズPSやパターン減衰率α、埋込強度Cなどのパラメータは、通常、各出力機器ごとに画質や検出率を考慮して設定することになるが、後述する復号装置6側ではこれらのパラメータを事前に知っている必要はない。
<付加情報重畳処理部の構成>
図2に戻って付加情報重畳処理部460の詳細について説明する。付加情報重畳処理部460は、画像パターン情報を埋め込む位置を制御する埋込位置制御部462と、埋込位置制御部462の制御の元で処理対象画像の全体の中から画像パターン情報を埋め込む部分の埋込領域元情報を取得する埋込領域情報取得部464とを有する。
図2に戻って付加情報重畳処理部460の詳細について説明する。付加情報重畳処理部460は、画像パターン情報を埋め込む位置を制御する埋込位置制御部462と、埋込位置制御部462の制御の元で処理対象画像の全体の中から画像パターン情報を埋め込む部分の埋込領域元情報を取得する埋込領域情報取得部464とを有する。
また、付加情報重畳処理部460は、埋込領域情報取得部464が取得した埋込領域元情報に、付加情報パターン設定部450が生成した画像パターン情報を上書きして画像データ格納部409に書き戻すパターン重畳部466と、画像形成装置5側で生成した埋込情報Faの埋込処理を行なうのか、それとも復号装置6側からの埋込情報Faの埋込処理を行なうのかを切り替える切替制御部468とを有する。
埋込位置制御部462は、予め決められている埋め込みフォーマットに従って、画像データ格納部409に保持されている画像データへ埋込情報(付加情報を含む画像パターン情報)を埋め込む位置を指定する。
パターン重畳部466は、埋込位置制御部462が指定した画像データ格納部409のアドレスに存在する画像ブロックに対して、パターン選択部458が選択したパターンを加算する。なお、加算値が最大値(たとえば255)を超えたときは、その値を最大値(たとえば255)にし、加算値が負の値になったときは、その値を最大値“0”にする。
なお、パターンの付加は、カラー画像であれば、全ての色成分に対して行なわれることが望ましいが、少なくとも1つの色成分に対して行なわれてもよい。復号装置6における抽出時においても同様である。
切替制御部468は、画像形成装置5と復号装置6とを一体的にすることで再出力処理をも行なうことが可能な画像出力端末4を構成するために設けたものである。再出力処理を行なう画像出力端末4を構成するに際して、画像形成装置5が備える機能要素を利用することで、コンパクトな構成にすることができる。
画像形成装置5と復号装置6とを独立の装置とする場合には、この切替制御部468を取り外してよい。もちろん、別体とする場合でも、切替制御部468を設けておくことで、復号装置6側から転送される埋込位置情報や処理対象画像や画像パターン情報などに基づいて再出力処理を行なうように構成することもできる。この場合、復号装置6側の構成をコンパクトにすることができる。
<符号フォーマットの一例>
図6は、本実施形態で使用する符号フォーマットの一例を説明する図である。
図6は、本実施形態で使用する符号フォーマットの一例を説明する図である。
符号フォーマットには、フォーマット化された埋込情報を、記録する位置および順番を指定する物理フォーマット(図6(A)参照)と、物理フォーマット内で、埋め込まれた情報をどのように符号化および復号化するかを規定した論理フォーマット(図6(B)参照)とがある。
図6(A)に一例として示した物理フォーマットにおいて、パターンの埋込み対象となる処理対象画像33に対して、パターンサイズ31とマクロブロックサイズ32が設定される。パターンサイズ31はパターンサイズ設定部420により設定されたパターンの大きさを示し、マクロブロックサイズ32はこのパターンサイズ31をY行X列のマトリクス状にまとめたものである。
埋込位置制御部462は、埋込み対象の処理対象画像33のサイズと、予め設定されているマクロブロックサイズであるマトリクスサイズ(Y,X)と、パターンサイズ31とに基づいて、処理対象画像33内に配置可能なマクロブロックの数を計算し、マクロブロックを処理対象画像33のなるべく中心によせて隙間なく配置する。埋込位置はマクロブロックを左上から右下方向、すなわち、図6(A)に示した例ではMB11,MB12,MB13,MB21,…,MB33の順にアクセスし、さらにマクロブロック内でも左上のパターンから右下のパターンの順序でアドレス制御する。
図6(B)に一例として示した論理フォーマットは、1つもしくは複数の基本論理フォーマット41の組合せで構成されている。個々の基本論理フォーマット41は、頭出しヘッダ42、符号化方式情報43、シーケンス番号44、有効符号数情報45、および符号化情報46で構成されている。
基本論理フォーマット41のサイズはマクロブロック32のサイズに等しく、X×Yビットである。頭出しヘッダ42は、そのマクロブロック32の位置を特定するために使用され、全マクロブロック32に対して共通のものが使用される。
符号化方式情報43は、符号化情報46がどのような誤り訂正方式で符号化されているかを示すもので、これも全マクロブロック32に共通して使用される。
シーケンス番号44は、付加情報入力部452が受け取った付加情報が1つのマクロブロック32内に収容できない大きさであったときに使用され、付加情報を符号化した後に、それをマクロブロック32に収容できるサイズに分割し、それらに対してシーケンス番号を“1”番から昇順に付加していったものである。符号化された付加情報が1つのマクロブロック32に収容できる長さであったときは、シーケンス番号は“1”になる。
有効符号数情報45は、符号化された付加情報が分割された場合に、最後のマクロブロックに収容された符号化情報の有効符号数を示しており、最後のブロック以外の有効符号数情報はすべて“0”になる。なお、誤り訂正符号化される部分は、符号化情報46だけでなく、シーケンス番号44および有効符号数情報45も含んでいる。
このような論理フォーマットのビットデータごとにアナログ情報を示す所定の値を対応付けることができる。アナログ情報としては、参照用の基準画像や音声メッセージや音楽など、あらゆるものを取り扱うことができる。デジタルコードで埋め込む付加情報以外に、このようなアナログ情報をデジタルコードに重畳させて埋め込んでおき、復元したアナログ情報を使うことで、紙の真贋照合に限らず、たとえば正規ユーザには“特典画像”や“特典音声情報”を付加サービスとして提供するなど、従来にないサービスを行なうことができるようになる。
<付加情報符号化部の動作>
図7は、付加情報符号化部454の動作の一例を示すフローチャートである。付加情報符号化部454は先ず付加情報入力部452より入力された付加情報F0を2値情報に置き換える(S101)。たとえば、付加情報F0として文字列を受け取ったなら、これをASCIIコードなどに変換して2値情報に変換する。
図7は、付加情報符号化部454の動作の一例を示すフローチャートである。付加情報符号化部454は先ず付加情報入力部452より入力された付加情報F0を2値情報に置き換える(S101)。たとえば、付加情報F0として文字列を受け取ったなら、これをASCIIコードなどに変換して2値情報に変換する。
次に付加情報符号化部454は、変換した2値情報に対して、たとえばハミング符号などにより誤り訂正符号化する(S102)。この後、誤り訂正符号化した情報の符号長から、それが1つのマクロブロックに収まるか否かを計算し、もし入りきらない場合には、これを分割する(S103)。入りきらない場合には、情報を埋め込むために複数のマクロブロックが必要になる。
さらに、付加情報符号化部454は、分割した符号化情報46に、頭出しヘッダ42、符号化方式情報43、シーケンス番号44、および有効符号数情報45を付加して複数の基本論理フォーマット41の情報を作成する(S104)。
そして最後に、付加情報符号化部454は、作成した複数の基本論理フォーマット41の情報を先頭のマクロブロックから順番に埋めていき、全てのマクロブロックに情報が埋め込まれるように繰り返して埋め込みを行なう(S105)。
たとえば、図6(A)に示した例のようにマクロブロック32の数が9つあり、シーケンス番号の最大値が“4”であったときは、マクロブロックMB11,MB12,MB13,MB21にシーケンス番号1の基本論理フォーマットの情報、シーケンス番号2の基本論理フォーマットの情報、シーケンス番号3の基本論理フォーマットの情報、シーケンス番号4の基本論理フォーマットの情報をそれぞれ埋め込む。
さらに、マクロブロックMB22,MB23,MB31,MB32に再びシーケンス番号1の基本論理フォーマットの情報、シーケンス番号2の基本論理フォーマットの情報、シーケンス番号3の基本論理フォーマットの情報、シーケンス番号4の基本論理フォーマットの情報をそれぞれ埋め込み、マクロブロックMB33にシーケンス番号1の基本論理フォーマットの情報を埋め込むことになる。
図6(A)に示した例のように、パターンを埋め込むブロックを規則的に配置しておくことによって、付加情報を抽出する復号装置6側では、ブロックサイズやブロック位置を容易に検出することができるようになる。
また、復号装置6は、付加情報を解読するためには、マクロブロックのサイズ(Y,X)と論理フォーマットだけを知っていればよく、埋込み時のブロックサイズや出力機器および入力機器の解像度などの情報も必要としない。
また、画質に関しては、振幅が減衰するパターンを用いることによって、パターンの中心部が特に元画像とは異なることになるものの、このパターンがほぼ画像全体に規則正しく等間隔で埋め込まれるために、たとえ元画像とは違うということがわかっても違和感を抑えることができる。
また、検出率があまり落ちない範囲でできるだけブロックサイズを小さくしたり、ブロックサイズを小さくできない場合でも、減衰率を適当な値にセットすることによって、元画像に比較して殆ど画質劣化を感じない程度に抑えることができる。
<出力画像例>
図8は、上記構成の画像形成装置5によって、処理対象のオリジナル画像に付加情報が機械可読コードとして埋め込まれた出力画像の一例を示す図である。図8では、オリジナル画像における左上1/4を埋込位置として付加情報F0を含むパターン画像が埋め込まれている。また、埋込強度設定部440により設定される埋込強度Cもしくは埋込強度Cbに応じて、その埋込みの程度が調整されている。埋込強度が弱いほど埋込位置におけるオリジナル画像の認識具合が良好である一方、埋込強度が強いほど埋込位置におけるオリジナル画像の認識が困難になる。
図8は、上記構成の画像形成装置5によって、処理対象のオリジナル画像に付加情報が機械可読コードとして埋め込まれた出力画像の一例を示す図である。図8では、オリジナル画像における左上1/4を埋込位置として付加情報F0を含むパターン画像が埋め込まれている。また、埋込強度設定部440により設定される埋込強度Cもしくは埋込強度Cbに応じて、その埋込みの程度が調整されている。埋込強度が弱いほど埋込位置におけるオリジナル画像の認識具合が良好である一方、埋込強度が強いほど埋込位置におけるオリジナル画像の認識が困難になる。
よって、オリジナル画像が、機密情報や秘密領域を含んでいる場合、付加情報を符号化して画像パターン情報をオリジナル文書の所要の部分(秘匿する部分)にマスキング画像として埋め込むことで、埋込位置の情報の秘匿化を図ることもできる。文書の機密レベルやオブジェクト(たとえばテキストと画像)、またはこれらの組合せなどの秘匿化の要求度合いに応じて埋込強度C,Cbを設定するのがよい。
付加情報を表す画像パターン情報を利用した特定領域代用画像を特定領域に埋め込むことで、機密保護を図ることができるし、特定領域代用画像から元の情報を復元することもできる。なお、特定領域代用画像を使う場合には、秘匿レベルの高低や利用者属性に基づき、手動または自動で、特定領域代用画像特定情報の埋込強度を変化させるのがよい。
なお、符号化に際しては、埋込み強度を上げるに従って元画像を視覚的に劣化させる2元符号化方式、たとえばステガノグラフィシステム(特表2002−504272号公報参照)などの手法を利用することができる。
<<画像形成装置の構成;第2実施形態>>
図9は、画像形成装置5の機能に着目した第2実施形態の構成例を示すブロック図である。第1実施形態では、画像中に埋め込まれるデジタルコードの埋込強度を部分領域ごとに変調する埋込階調変調処理部としての埋込強度微調整部448を埋込強度設定部440内に設けていたが、最終的に画像中に埋め込まれるデジタルコードの埋込強度が、規定埋込方式や規定埋込強度の適否の判定結果に基づいて部分領域ごと変調されていればよく、その他の箇所でも、同様の変調を行なうことができる。
図9は、画像形成装置5の機能に着目した第2実施形態の構成例を示すブロック図である。第1実施形態では、画像中に埋め込まれるデジタルコードの埋込強度を部分領域ごとに変調する埋込階調変調処理部としての埋込強度微調整部448を埋込強度設定部440内に設けていたが、最終的に画像中に埋め込まれるデジタルコードの埋込強度が、規定埋込方式や規定埋込強度の適否の判定結果に基づいて部分領域ごと変調されていればよく、その他の箇所でも、同様の変調を行なうことができる。
たとえば、第2実施形態の画像形成装置5においては、印刷出力する際に、規定埋込方式や規定埋込強度の適否の判定結果に基づいてデジタルコードの埋込強度を部分領域ごとに変調するべく、埋込強度微調整部448を画像出力部482の前段に設けている。
この第2実施形態の構成では、印刷出力する際に、埋込強度微調整部448は、画像データ格納部409から取り出した印刷対象の画像データにおける、デジタルコードが埋め込まれている部分の画素値を、第1実施形態で説明した階調変更量qの分だけ補正を加え、この補正後の画像データを画像出力部482に渡す。
これにより、結果的には、補正後の画像データとしては、第1実施形態と同様に、規定埋込方式や規定埋込強度の適否の判定結果に基づいて部分領域ごとにデジタルコードが変調されて画像中に埋め込まれたものとなるのである。
<<画像形成装置の構成;第3実施形態>>
図10は、画像形成装置5の機能に着目した第3実施形態の構成例を示すブロック図である。第3実施形態の画像形成装置5においては、印刷出力する際に、規定埋込方式や規定埋込強度の適否の判定結果に基づいてデジタルコードの埋込強度を部分領域ごとに変調するべく、埋込強度微調整部448をパターン重畳部466への入力の1つとして設けている。
図10は、画像形成装置5の機能に着目した第3実施形態の構成例を示すブロック図である。第3実施形態の画像形成装置5においては、印刷出力する際に、規定埋込方式や規定埋込強度の適否の判定結果に基づいてデジタルコードの埋込強度を部分領域ごとに変調するべく、埋込強度微調整部448をパターン重畳部466への入力の1つとして設けている。
この第3実施形態の構成では、デジタルコードを画像中に埋め込む際に、埋込強度微調整部448は、画像データ格納部409から取り出した埋込み対象の画像データにおける、デジタルコードを埋め込む部分の画素値を、第1実施形態で説明した階調変更量qの分だけ補正を加え、この補正後の画像データをパターン重畳部466に渡す。
これにより、パターン重畳部466は、予め階調変更量qの分だけ補正された画像に対してデジタルコードを埋め込むことになり、結果的には、パターン重畳部466から出力される画像データとしては、第1実施形態と同様に、規定埋込方式や規定埋込強度の適否の判定結果に基づいて部分領域ごとにデジタルコードが変調されて画像中に埋め込まれたものとなるのである。
第1実施形態の構成は、埋込み強度を変調する機能部分である埋込強度設定部440に、ほぼ同様の機能を持つ埋込強度微調整部448を設けており、従来の装置構成との親和性が高い。ただし、埋込強度設定部440の構成を変更する必要があるので、適応の容易性にやや難点がある。
これに対して、第2および第3実施形態の構成では、従来の装置構成の信号経路の途中に埋込強度微調整部448を設けるので、適応が容易である。また、第2と第3との比較では、第3の方が、部分領域ごとのデジタルコードの変調を確実に行なうことができる利点がある。
<復号装置の構成;第1実施形態>
図11は、復号装置6の機能に着目した一構成例(第1実施形態の復号装置)を示すブロック図である。ここでは、本出願人が特願2002−312315号にて提案している仕組みを採用するが、他の復号化手法を利用した構成としてもよい。図示するように、本実施形態の復号装置6は、処理対象の画像データを取り込む画像取得部601と、処理対象画像に埋め込まれている特定領域代用画像から付加情報を復号する付加情報復元処理部602とを備えている。
図11は、復号装置6の機能に着目した一構成例(第1実施形態の復号装置)を示すブロック図である。ここでは、本出願人が特願2002−312315号にて提案している仕組みを採用するが、他の復号化手法を利用した構成としてもよい。図示するように、本実施形態の復号装置6は、処理対象の画像データを取り込む画像取得部601と、処理対象画像に埋め込まれている特定領域代用画像から付加情報を復号する付加情報復元処理部602とを備えている。
付加情報復元処理部602は、処理対象画像に埋め込まれている画像パターン情報から、誤り訂正処理などしつつ付加情報を復号する。付加情報復元処理部602は、処理対象の画像パターン情報のデコード処理に成功したときには直ちにデコード処理を完結させて次の処理に移行するようにしてもよいし、少なくとも所定回数だけデコード処理を繰り返して復号結果の多数決を採ることで確度の高いデコード結果を求めるようにしてもよい。
また、復号装置6は、画像取得部601が取得した処理対象画像をユーザに提示したり、あるいは付加情報復元処理部602によって復号された付加情報を参照して特定領域代用画像が埋め込まれていた部分の元情報(以下埋込領域元情報ともいう)をユーザに提示するなどの出力処理を行なう画像出力処理部608と、処理対象画像データの記録、処理中の作業データの一時的な保持、あるいは出力データを保持する画像データ格納部609とを備えている。
また、本実施形態特有の構成として、復号装置6は、付加情報復元処理部602が復号した付加情報が埋め込まれていた部分に付加情報を表す画像パターン情報を再度埋め込んで所定の出力媒体に出力し、もしくは画像処理装置に画像データとして転送したりするなどの出力処理をする再出力処理部607を備えている。
<復号装置側の画像取得部の構成>
画像取得部601は、処理対象の画像を取り込む画像データ入力部612と、画像の傾きを検出しその傾き補正を行なう入力画像傾き補正部614とを有する。
画像取得部601は、処理対象の画像を取り込む画像データ入力部612と、画像の傾きを検出しその傾き補正を行なう入力画像傾き補正部614とを有する。
画像データ入力部612が取り込む画像データは、上述のような付加情報を埋め込む側の画像形成装置5において作成され、プリンタなどの印刷機器から印刷出力された画像をスキャナで読み取ることで得られる画像や、デジタルカメラなどで撮像され電子的に入力される画像データである。
画像データ入力部612は、スキャナ3bあるいはデジタルカメラ3cなどの画像読取機器とのインタフェースを有し、このインタフェースを通じて付加情報が埋め込まれた画像データを取り込む。
また画像データ入力部612は、スキャナあるいはデジタルカメラなどの画像読取機器により取得された画像データが圧縮されているときは、それを非圧縮データに変換する機能も具備している。
入力画像傾き補正部614が行なう傾き補正処理としては、たとえば、処理対象画像を回転させながら、垂直方向および水平方向に投影し、その投影波形の高さが所定の閾値以上となる範囲が最小となる角度を傾き角度と推定し、その傾き角度だけ処理対象画像を回転補正すればよい。多くのケースでは、画像データ入力部612が取り込むこれらの画像には傾きを持つので、入力画像傾き補正部614を設けることでその傾きを補正するようにした本実施形態の構成は、効果が非常に大きい。
<付加情報復元処理部の構成>
付加情報復元処理部602は、付加情報が埋め込まれているブロックサイズを推定するブロックサイズ推定部622と、ブロックサイズ推定部622により推定されたブロックサイズに基づいて付加情報を表す画像パターン情報が埋め込まれたブロック位置を検出するブロック位置検出部624とを備えている。ブロックサイズ推定部622とブロック位置検出部624により、画像パターン情報が埋め込まれていた部分の画像を取得する埋込領域画像取得部621が構成される。
付加情報復元処理部602は、付加情報が埋め込まれているブロックサイズを推定するブロックサイズ推定部622と、ブロックサイズ推定部622により推定されたブロックサイズに基づいて付加情報を表す画像パターン情報が埋め込まれたブロック位置を検出するブロック位置検出部624とを備えている。ブロックサイズ推定部622とブロック位置検出部624により、画像パターン情報が埋め込まれていた部分の画像を取得する埋込領域画像取得部621が構成される。
なお、原稿の全体を読み取る形態に代えて、バーコードリーダなどのポイント型スキャナを利用することで、埋込領域画像取得部621を構成するようにしてもよい。この場合でも、多くの場合、読み取った画像パターン情報が埋め込まれていた部分の画像には傾きを持つので、入力画像傾き補正部614を設けることが好ましい。
また付加情報復元処理部602は、ブロックサイズ推定部622およびブロック位置検出部624によって大きさおよび位置が検出されたブロックに埋め込まれている付加情報を識別する付加情報識別部626と、付加情報識別部626により識別された結果に基づいて埋め込まれていた元の付加情報を復号する付加情報復号部628とを備えている。
ブロックサイズ推定部622は、入力画像傾き補正部614により傾き補正された処理対象画像から、付加情報が埋め込まれているブロックサイズを推定する。なお、付加情報を埋め込んだときのブロックサイズは、印刷出力および入力を経て異なるブロックサイズに変更されている場合もあり、このブロックサイズ推定部622において、場合によって変更されたブロックサイズを推定している。
ブロックサイズの推定は、埋め込んだパターンが所定方向(たとえば垂直および水平方向)のエッジ成分を有するという特徴を利用して行なうことができる。たとえば、傾き補正された処理対象画像にSobel型フィルタなどの微分フィルタや、Prewitt型やKirsch型のフィルタを適用することによってエッジを抽出してエッジ抽出画像を作成する。
この後、十字型のマスクとの間で相互相関を計算するなどして、エッジ抽出画像から垂直・水平方向のエッジ成分やその交点が強調されたエッジ画像を作成する。付加情報のパターンが垂直・水平方向のエッジが存在しているパターンであれば、作成されたエッジ画像には図6に示した矩形(パターンサイズ31)の中心を通る格子状のエッジが存在する。このパターンから得られるエッジと、元の画像に存在する垂直・水平方向のエッジがエッジ画像中に存在することになる。
ブロックサイズ推定部622は、そのエッジ画像から自己相関関数を求め、この自己相関関数によって、付加情報のパターンから得られるエッジのみを抽出する。エッジ画像には、ほぼ等間隔に並んだ縦横方向の線分が抽出されているため、自己相関関数が最大となるオフセットを検出すれば、それが拡大縮小後のブロックサイズに一致していると考えてよい。したがって、自己相関関数が最大となるピーク位置からのオフセットをブロックサイズとして推定する。
以上により、付加情報が埋め込まれたときのパターンサイズや、出力時の解像度および入力時の解像度を知らなくても、画像取得部601が取り込んだ処理対象画像から付加情報をデコードするためのブロックサイズ情報を得ることができる。
ただし、ここで得られるブロックサイズの値は整数値である。プリンタとスキャナの組合せでは、使用される解像度が通常は400dpi,600dpi,1200dpiなどの組合せであるため、解像度変換された埋込画像の対応ブロックサイズも整数であることが多いが、デジタルカメラで入力された場合の入力解像度は、デジタルカメラと被写体である印刷画像との距離に依存するため、解像度変換された処理対象画像の対応ブロックサイズは整数とは限らない。そのため、ブロックサイズ推定部622で算出したブロックサイズは近似値である。しかし、ここで求めたブロックサイズは、次に説明するブロック位置検出部624で補正されるので近似値で問題はない。
ブロック位置検出部624は、ブロックサイズ推定部622により推定したブロックサイズに基づき、未知の倍率で拡大あるいは縮小された処理対象画像から付加情報のパターンが埋め込まれたブロック位置を検出する。ブロック位置の検出は、どちらか一方のパターンから正か負かの極性情報だけを抽出して作成したマスク画像と付加情報が埋め込まれた画像との相関性を利用して行なうことができる。
たとえば、ブロックサイズ推定部622により求めたブロックサイズに対応するマスク画像すなわち図5に示した付加情報“0”もしくは“1”のどちら一方のパターンに対応するマスク画像を作成し、このマスク画像と傾き補正された処理対象画像との間で相互相関を計算して相関画像を作成する。
この後、ブロック位置検出部624は、求めた相関演算結果の画像から、その値が極大または極小となる点だけを抽出する。求められた極大値および極小値は、付加情報“0”もしくは“1”を示す各パターンのほぼ中心位置において検出される。
相関値は、付加情報“1”が埋め込まれているブロックとマスクが丁度重なったところで極大となり易く、逆に、付加情報“0”が埋め込まれているブロックとマスクが丁度重なったところで極小になり易い。この傾向は、埋込み前のブロックの位置に対応する元画像が平坦であったときに特にそうなり易い。逆に埋込み前のブロックの位置に対応する元画像が局所的なエッジを持っていた場合などは必ずしも埋込ブロックとマスクが丁度重なったところで極大または極小になるとは限らない。しかし、この影響は投影法により軽減されるので、極端にエッジの多い画像でなければこのことは問題にならない。
また、どちらか一方のパターンのみからマスク画像を作ればよいのは、2つのパターンは極性が逆のパターンであり、もう一方のパターンからマスク画像を作成した場合は、単に極大値・極小値が逆転するだけだからである。
ブロック位置検出部624は、求めた極大値および極小値を示す極値画像を垂直方向および水平方向に投影し、その投影波形とブロックサイズ推定部622により求めたブロックサイズとから、ブロック位置を検出する。各ブロックが縦横に配置されていることによって、垂直および水平方向のそれぞれについてほぼ一定間隔のピークを持つ投影波形が得られる。ブロック位置検出部624は、垂直および水平方向それぞれの投影波形のピーク位置より、正確なブロック位置を推定する。
なお、元画像に局所的に強いエッジがある場合、それを含むブロックから求めた極大点または極小点の位置は、平坦な部分から求めた極値の位置間隔からずれてしまう可能性があるが、このばらつきは、投影法とピーク位置をほぼ一定間隔で探索することで大幅に軽減することができる。
<付加情報識別処理手順;第1実施形態>
図12は、付加情報識別部626による付加情報識別処理の具体的な処理手順(第1実施形態の付加情報識別処理)を説明するフローチャートである。付加情報識別部626は、付加情報復号部628の制御の元で、ブロックサイズ推定部622およびブロック位置検出部624によって大きさおよび位置が検出されたブロックに埋め込まれている付加情報を識別する(後述する図16のシミュレーション処理と事実上同様である)。
図12は、付加情報識別部626による付加情報識別処理の具体的な処理手順(第1実施形態の付加情報識別処理)を説明するフローチャートである。付加情報識別部626は、付加情報復号部628の制御の元で、ブロックサイズ推定部622およびブロック位置検出部624によって大きさおよび位置が検出されたブロックに埋め込まれている付加情報を識別する(後述する図16のシミュレーション処理と事実上同様である)。
付加情報の識別処理は、所定方向のエッジにより4つに分割された領域の画素値の総和の大小関係を利用して行なうことができる。たとえば、付加情報識別部626は先ず、検出したブロックを縦横方向に4つの領域に分割した計算ウィンドウを設定する(S131)。計算ウィンドウのサイズは、ブロックサイズ推定部622で推定されたブロックサイズに等しい。
この後、付加情報識別部626は、計算ウィンドウを適用して、4つの各領域に含まれる全ての画素値の総和を求め(S132)、その4つの総和値の大小関係に基づいて、そのブロックに埋め込まれている付加情報が“1”であるか“0”であるか、あるいは判別不能であるかを判定することで、付加情報を識別する(S133)。なお、画像のエッジ部分を含むブロックでは単純な解釈だけでは判断できない場合も多いので、たとえば、元画像の水平方向にステップエッジがある場合と、垂直方向にステップエッジがあるケースを考慮して、付加情報の予測精度を高めるようにするのが望ましい。
図11に戻って説明を続ける。付加情報復号部628は、予め規定されたフォーマットに従って、付加情報識別部626により識別された個々の情報を組み立て、次いでそれを復号化することにより、埋め込まれていた元の付加情報を復号する。
たとえば、付加情報復号部628は先ず、マクロブロックの探索を行なう。具体的には、ブロック位置検出部624で検出したブロック位置を左上方向から付加情報識別部626を制御して識別し、頭出しヘッダに一致する場所を検出する。付加情報復号部628は、マクロブロックのサイズはY行X列(たとえば16行8列)であることを知っているので、さらに、その地点から、右方向に8ブロック離れたところに頭出しヘッダが存在するか、あるいは、16ブロック下に頭出しヘッダが存在すれば、最初のマクロブロックの位置を確定する。
最初のマクロブロック位置が確定できれば、マクロブロックは規則正しく並んでいることを利用して他のマクロブロック位置も確定できる。もちろん、頭出しヘッダが誤りを含んでいる場合でも、殆どの頭出しヘッダが誤っていない限りマクロブロックの位置を特定することができる。
この後、付加情報復号部628は、全てのマクロブロックの符号化方式情報を読み出し、多数決復号を採ることにより符号化方式を検出する。
最後に、付加情報復号部628は、既知の論理フォーマットに従い、全てのマクロブロックの情報を復号して、復号したマクロブロックの情報のうち、同一のシーケンス番号を持つものに関しては、これらの間で多数決復号を行なう。また、“1”以外のシーケンス番号がある場合には、シーケンス番号順に付加情報を接続して組み立てることで、元の付加情報を復号する。
以上により、付加情報復号部628は、処理対象画像中に画像パターン情報として埋め込まれた付加情報を解読することができる。このとき、誤り訂正符号化や複数のマクロブロックに繰り返して付加情報を埋め込んでおいて多数決復号を行なうことによって、元の画像の影響を最小限に抑え、確実に付加情報を取得することができる。また図5に示したような特徴を有するパターンが埋め込まれた画像であれば、たとえば印刷装置や読取装置の影響や、途中で拡大あるいは縮小などの変換処理が施された場合でも、確実に付加情報を抽出することができる。
<復号装置側の画像出力処理部の構成>
画像出力処理部608は、画像取得部601が取得した処理対象画像をユーザに提示する全体情報提示処理部682と、正規ユーザからの要求に応じて、付加情報復元処理部602によって復号された付加情報を参照して、付加情報がパターン画像として埋め込まれていた埋込領域のうちの、特に秘匿目的で画像パターン情報を埋め込んでいた部分である特定領域代用画像が埋め込まれていた部分の元情報をユーザに提示する埋込領域元情報提示処理部690とを有している。
画像出力処理部608は、画像取得部601が取得した処理対象画像をユーザに提示する全体情報提示処理部682と、正規ユーザからの要求に応じて、付加情報復元処理部602によって復号された付加情報を参照して、付加情報がパターン画像として埋め込まれていた埋込領域のうちの、特に秘匿目的で画像パターン情報を埋め込んでいた部分である特定領域代用画像が埋め込まれていた部分の元情報をユーザに提示する埋込領域元情報提示処理部690とを有している。
なお、特定領域代用画像が埋め込まれていた部分の元情報に限らず、全ての埋込領域について、元情報を提示可能に構成してもよい。また、特定領域代用画像が埋め込まれていた部分に限らず、つまり秘匿目的であったか否かに拘らず、付加情報がパターン画像として埋め込まれていた全ての部分の元情報を提示対象としてもよい。
全体情報提示処理部682は、CRTや液晶などの表示装置を利用して、画像取得部601が取得した処理対象画像の全体をユーザに表示画像として提示する。表示画像として提示される処理対象画像の全体の中には、付加情報を表すパターン画像(特定領域代用画像も含む)も含まれている。
一方、埋込領域元情報提示処理部690は、付加情報復元処理部602によって復号された付加情報を参照して取得した特定領域代用画像が埋め込まれていた部分の元情報をも、ユーザに表示画像として提示することができる。この際には、通常の情報を表示するためのメインの表示装置とは独立した、たとえば第3者に覗かれ難いハンディターミナルあるいは携帯電話やPDAなどでなるローカル表示装置を表示媒体として利用するなどして、処理対象画像の全体とは別に提示するようにしてもよい。
あるいは、全体情報提示処理部682は、画像形成ユニット(プリントエンジン)を利用して、画像取得部601が取得した処理対象画像をユーザに印刷画像として提示する。印刷画像として提示される処理対象画像の全体の中には、付加情報を表すパターン画像(特定領域代用画像も含む)も含まれている。
また、埋込領域元情報提示処理部690は、画像形成ユニットを利用して、付加情報復元処理部602によって復号された付加情報を参照して特定領域代用画像が埋め込まれていた部分の元情報を処理対象画像の全体とは別にユーザに印刷画像として提示する。
つまり、全体情報提示処理部682と埋込領域元情報提示処理部690の2つの組合せにより、全体の情報と特定領域代用画像が埋め込まれていた部分の元情報とを分けてユーザに表示出力もしくは印刷出力にて提示する。これにより、復号装置6側の処理において正規の利用者が特定領域代用画像が埋め込まれていた部分の元情報を出力させる際に、元の文書全体が一度に表示または印刷してしまうことで、第3者に機密部分や秘密領域などの秘匿すべき部分の情報が漏洩される危険を低減するようにすることができる。
<埋込領域元情報提示処理部の構成>
図13は、埋込領域元情報提示処理部690の詳細な構成例を示すブロック図である。復号装置6においては、特定領域代用画像を含む付加情報を表す画像パターン情報を読み取り、このパターン画像から復号処理によって埋め込んだ付加情報を復号し、復号した情報に基づいて所定のサービスリクエストを発行する。
図13は、埋込領域元情報提示処理部690の詳細な構成例を示すブロック図である。復号装置6においては、特定領域代用画像を含む付加情報を表す画像パターン情報を読み取り、このパターン画像から復号処理によって埋め込んだ付加情報を復号し、復号した情報に基づいて所定のサービスリクエストを発行する。
そして、埋込領域元情報提示処理部690は、パターン画像が埋め込まれていた部分の元情報である埋込領域元情報を取得することで、付加情報を表す画像パターン情報が埋め込まれた状態での全体の情報だけでなく、取得した埋込領域元情報をも、ローカル表示装置や印刷媒体にて提示する。埋込領域元情報としては、埋込領域の画像やテキスト、あるいは埋込領域を含む特定ページ、またはこれらの組合せを用いることができる。
復号装置6側の埋込領域元情報提示処理部690において、利用者(正規の者)に情報を提示する際には、特定領域代用画像が埋め込まれていた秘匿部分の元情報をも必要に応じて提示するようにする。秘匿するべき特定領域に対して、モザイク処理やスミ塗り処理として特定領域代用画像を用いつつ、特定領域代用画像で隠された秘匿部分のテキストや画像などの元情報(以下特定領域元情報ともいう)のみを表示出力し、あるいは印刷出力することで、機密保護と利便性の両立を図る。
なお、特定領域元情報の印刷出力に関しては許可しないようにしてもよい。表示は一時的なものにできるが、印刷媒体にすると、その印刷物が意図せずに第3者に渡ってしまう可能性を排除できず、機密保護の観点では問題があるからである。
ここで「必要に応じて」と言ったのは、「機密保護」の目的を達するため、オリジナル文書の全体の内容が第3者に知られるようになることを防止できるようにしつつ、正規の者には、秘匿部分の元情報を確実に提示するということを達成するためである。正規の者からの要求もなく不用意に秘匿部分の元情報を提示すると、たとえ全体画像とは別に秘匿部分の元情報を提示しても、秘匿部分の元情報が第3者に知られてしまう可能性が高くなるからである。正規の者からの要求を受けて秘匿部分の元情報を提示するようにすれば、その正規の者は、秘匿部分の元情報が第3者に知られないように適当な対処をすることができる。
このような目的を達するべく、本実施形態の埋込領域元情報提示処理部690は先ず、特定領域元情報の提示要求をユーザから受け付けるサービスリクエスト発行部692と、サービスリクエスト発行部692が特定領域元情報の提示要求をユーザより受け付けたときに、その要求を発したユーザが正規ユーザであるか否かを判定する認証処理部693とを有している。
また埋込領域元情報提示処理部690は、認証処理部693による認証処理に成功したことを条件として、特定領域の元情報を取得する元情報取得部694と、全体情報提示処理部682によって提示される全体情報とは別に、特定領域代用画像が埋め込まれていた部分の元情報取得部694が取得した元情報をユーザに表示出力もしくは印刷出力させる特定領域元情報出力制御部695とを有している。
認証処理部693は、付加情報復元処理部602により復号された付加情報に示されている認証情報(たとえばユーザ名とIDコード)を参照して、特定領域の元情報の提示要求をしたユーザが正規ユーザであるか否かを判定する。たとえばユーザに認証情報(たとえばユーザ名とIDコード)の入力を求め、入力された認証情報が付加情報に示されている認証情報と一致するか否かを判定する。認証情報を付加情報に埋め込んでおくことで、復号装置6側での認証処理時に、認証用のサーバを不要にできる。
認証処理部693は、2つの認証情報が一致している場合に限って、正規ユーザであると判断して、元情報取得部694や特定領域元情報出力制御部695に対して、特定領域の元情報の提示処理を許可する。
元情報取得部694は、認証処理部693による許可を受けると、特定領域代用画像が埋め込まれていた部分の元情報を再現し、再現した元情報を特定領域元情報出力制御部695に渡すことで、正規利用者のみに元情報を提示可能にする。
たとえば、特定領域の元情報がテキストであって情報量が少なければ、テキスト部分をASCIIコードなどに変換するなどして付加情報として示しておくことで、付加情報復元処理部602で付加情報を解読(復号)すれば、即時に元のテキストを再現できる。よって、元情報取得部694は、この付加情報復元処理部602にて再現されたテキストをそのまま特定領域元情報出力制御部695に渡すだけでよい。
また、特定領域の元情報がテキストであっても情報量が多いケースや元情報が画像である場合には、特定領域の元情報だけをデータサーバ7に登録しつつ、元情報の保存先情報を付加情報として示しておく。
元情報取得部694は、付加情報復元処理部602により復号された付加情報に基づき特定領域元情報の格納先を特定し検索することにより、テキストや画像をデータサーバ7から取得する。元情報取得部694は、このデータサーバ7から取得した特定領域元情報をそのまま特定領域元情報出力制御部695に渡す。特定領域元情報出力制御部695は、この特定領域元情報を再出力処理部607に渡すとともに、その出力動作を制御する。
オリジナル文書が複数ページに跨るものである場合において、特定領域を含む特定ページの全体を画像形成装置5やデータサーバ7に格納している場合には、埋込領域元情報提示処理部690は、各ページの個々の特定領域に対応する元情報を提示することに代えて、特定領域を含む特定ページの全体を取得して表示出力もしくは印刷出力するようにしてもよい。
<埋込強度微調整部の機能>
次に、本実施形態の特徴部分である画像形成装置5における埋込強度微調整部448について詳細に説明する。
次に、本実施形態の特徴部分である画像形成装置5における埋込強度微調整部448について詳細に説明する。
本実施形態において、画像形成装置5側には埋込強度微調整部448を備えており、埋込強度を部分領域ごとに微調整するようにしている。つまり、画像出力部482に供給される付加情報が埋め込まれた画像について復号装置6と同様の処理を行なうことで付加情報のデータ再現性能を判定し、その判定結果に基づいて部分領域の埋込強度を変調することで、付加情報の再現性能と画質とのバランスを採る点に特徴を有しているのである。
たとえば、付加情報をデジタル化して画像として埋め込む従来の画像形成装置においては、情報埋込み対象の多値画像を複数個のブロックに分割し、互いに異なるブロック間の特徴値(具体的には階調値)の相違によって1ビットのデジタルデータを表現するが、各特徴値の差異の配置パターンによってデジタルデータの“0”や“1”を表わすようにしており、一方のブロックと他方のブロックの各特徴値の差異(同じまたは小さいまたは大きい)が存在することに意味を持ち、特徴値の差異の大きさは外乱に対する耐性以外には意味を持たない。
このため、元の画像に対しての変形度合いを余り強くし過ぎないように、すなわち埋込み後の画質をよくするために、1)2つのパターンの対応する画素同士を加算すると全ての要素が0になる、2)各々のパターン中の全画素を加算すると0になる、3)各々のパターンは中心部を通り方向が異なる2本以上のエッジと呼ばれる不連続な画素値を備える、といった特徴を有する2種類のパターン情報を使って“1”または“0”のデジタルデータを表現可能とし、元画像の特徴値(画素データ)を“1”または“0”を表現可能な2種類のパターン情報で、できるだけ弱い変調を行ない、外乱に対して安定した復号のために特徴値の差が大きくなるような変調を行なう。“1”または“0”のデジタルデータの組合せによって、入力された付加情報に対応するデジタルコードが表わされることになるのである。
この際、1ビットに対応する1ブロックは4×4画素のサブブロック4個に分割したもので、減衰率乗算方式で4個のサブブロックのうち対角サブブロック2個を1組とした2組の階調の平均をそれぞれ明るくまたは暗く変調してデジタルコードを埋め込むが、4×4画素のサブブロックの組合せでなる各々のパターン情報中の全画素を加算すると0になることを基本としているので、パターンの重畳前後において、その平均濃度を変更しないため、画質劣化を最低限度に抑える効果があり、付加情報を表わすバーコードを用紙の一部に印刷する場合のような見栄えの悪さは生じない。
また、本実施形態の構成では、先ず埋込対象範囲内の各部分領域に対して共通に設定すべき規定埋込強度を決定し、この規定埋込強度を付加情報の復元性能の観点から「階調変更量qを部分領域ごとに設定する」、つまり各部分領域ごとに埋込強度を修正するのである。たとえば、規定埋込強度での復元性能が十分なときには、埋込対象範囲内の復元性能が所定レベルを満たしている適領域と満たしていない不適領域の内、不適領域については、埋込強度を低下させても、不適領域であることには変わりなく、全体としての復元性能に影響を与えることもないので、前もって埋込強度を低下させることで画像品質を高めることがができる。このような仕組みを従来のデジタルコード埋込みの技術に組み合わせても、デジタルコードの復号処理に殆ど悪影響を与えないし、画質劣化を最低限度に抑える効果もあり、見栄えの悪さは生じないのである。
なお、「階調変更量qを部分領域ごとに設定する」とは、少なくとも、埋込み対象の全領域についての規定埋込方式や規定埋込強度が適正な部分領域(適領域という)と不適当な部分領域(不適領域という)とについて、それぞれ異なる階調変更量q(不適当な部分領域に対して埋込強度がゼロとなるようにするものも含む)を設定するものであればよい。つまり、埋込み対象の全領域についての規定埋込方式や規定埋込強度の適/不適に応じて、その全領域内の適領域と不適領域とに個別の埋込強度を設定できればよいのである。もちろん、不適領域だけを実際の埋込強度の変更(変調)対象となる部分領域とすれば十分であり、適領域に関しては規定埋込強度を維持していればよい。
<判定基準>
図14は、埋込強度微調整部448において、部分領域ごとに埋込強度を変調する処理を行なうに当たっての、埋込み対象の全領域についての規定埋込方式や規定埋込強度の適/不適を判定する際の判定基準を説明する図である。
図14は、埋込強度微調整部448において、部分領域ごとに埋込強度を変調する処理を行なうに当たっての、埋込み対象の全領域についての規定埋込方式や規定埋込強度の適/不適を判定する際の判定基準を説明する図である。
埋込強度微調整部448は、復元時のデータ再現性能を考慮して、埋込み対象となる全領域の内のデータの1ビットに対応する部分領域のそれぞれについて埋込強度を調整するので、その判定基準としては、当然の如く、復元時のデータ再現性能を表す指標値を利用するのが最も適当であると言うことになる。その一例としては、データ誤り率を示すビットエラーレートBER(Bit Error Rate)や復号失敗確率などを利用するのがよい。
たとえば、図14に示すように、元画像中の所定部分に埋込対象範囲を設定し、その埋込対象範囲内のデジタルデータ1ビットに対応する部分領域の数をNとする。一例として、縦mビット分、横nビット分を確保した埋込対象範囲を考えたとき、埋込対象範囲内の総ビット数は部分領域の総数Nと同じくN=m*nとなる。
また、復元時のデータ再現率、換言すれば復元失敗確率は、エラー訂正方式との関係によっても異なるが、たとえば(25,17)のリード・ソロモン符号(Reed,Solomon)と2段の(15,5)のBCH符号とを組み合わせた方式を採用すると、約1.0×10^(−6)以下となり、この程度の復元失敗確率であればデータ再現性が十分であると考えてよい。
この場合、総ビット数Nの埋込対象範囲内に許容されるデジタルデータの再現不適確な部分領域(図14の×印)の数は、総ビット数NとビットエラーレートBERとの積(=N*BER)で決まり、再現不適確な部分領域の数が、この積(以下判定基準値Thという)以下であれば、当然の如く、復元失敗確率は、確実に1.0×10^(−6)以下となる。
なお、「デジタルデータの再現不適確な部分領域」とは、その部分領域(ブロック)に埋め込まれている付加情報が“1”であるか“0”であるかの判別が不能である(確定できない)領域を意味する。
たとえば、m=n=30とすれば、総ビット数は900となるので、デジタルデータの再現不適確な部分が45ビット分(45個の部分領域)まであっても、復元失敗確率を1.0×10^(−6)以下とするに当たって不都合がないと言うことになる。
一方、デジタルデータの再現適確な部分領域(図14の○印)にのみデジタルデータを埋め込み、デジタルデータの再現不適確な部分領域については、デジタルデータを埋め込んでも復元時にそれを正しく認識できないのであるから、デジタルデータを埋め込まなくても、ビットエラーレートBERや復元失敗確率に影響を与えないと言うことになる。デジタルデータの再現不適確な部分領域については、デジタルデータを埋め込まなくても、ビットエラーレートBERや復元失敗確率をある一定値以下(たとえば1.0×10^(−6)以下)となるようにすることができるのである。一方、画質の観点では、デジタルデータを埋め込まない方が良好であるのは言うまでもない。
本発明の仕組みはこの点に着目してなされたものであり、この部分領域ごとの埋込強度の変調制御を埋込強度微調整部448が行なうのである。埋込強度微調整部448は、データ復元時のデータ再現性能を一定レベルに維持できる範囲で、埋込対象範囲内の所定の部分領域(具体的には不適領域)へのデータ埋込みを中止することにより、データ再現性を事実上低下させることなく、付加情報埋込み後の画質劣化を抑制するのである。以下、埋込強度微調整部448の詳細構成例と、その処理手順の一例を具体的に説明する。
<埋込強度微調整部;第1例>
図15は、埋込強度微調整部448の詳細構成例の第1例を説明するブロック図である。なお、この第1例の埋込強度微調整部448に適合した復号装置6は、図11に示した第1実施形態の構成のものをそのまま使用することができる。
図15は、埋込強度微調整部448の詳細構成例の第1例を説明するブロック図である。なお、この第1例の埋込強度微調整部448に適合した復号装置6は、図11に示した第1実施形態の構成のものをそのまま使用することができる。
第1例の埋込強度微調整部448は、画像出力部482が使用する付加情報が機械可読コードとして埋め込まれた画像を使って復元処理をシミュレーションすることにより、規定埋込方式や規定埋込強度に従って付加情報を埋め込んだ際のデータ再現性能を判定し、その判定結果に基づいて、画像中の埋込対象範囲内に埋め込まれるデジタルコード(機械可読コード)の埋込強度を部分領域ごとに変調(調整)する。特に、予め埋込対象範囲の全体(つまり全ての部分領域)を順次走査(スキャン)し、各部分領域の機械可読コードの再現性能を判別し、その判別結果を保存しておく点に特徴を有する。
このため、埋込強度微調整部448は、概ね、復号装置6が備えるデータ復号に関わる機能部分(特に付加情報復元処理部602)と同様の機能部を備えている。具体的には、埋込強度微調整部448は、規定埋込方式や規定埋込強度に従って付加情報が機械可読コードとして埋め込まれた画像出力部482に供給される画像を処理対象画像として、その処理対象画像に埋め込まれてい特定領域代用画像から付加情報を復号する付加情報復元処理部801を備えている。
付加情報復元処理部801は、付加情報が埋め込まれているブロックサイズを推定するブロックサイズ推定部622と同様の機能を持つブロックサイズ推定部822と、ブロックサイズ推定部822により推定されたブロックサイズに基づいて付加情報を表す画像パターン情報が埋め込まれたブロック位置を検出するブロック位置検出部624と同様の機能を持つブロック位置検出部824とを有している。ブロックサイズ推定部822とブロック位置検出部824により、画像パターン情報が埋め込まれていた部分の画像を取得する埋込領域画像取得部821が構成される。
また付加情報復元処理部801は、ブロックサイズ推定部822およびブロック位置検出部824によって大きさおよび位置が検出されたブロックに埋め込まれている付加情報を識別する付加情報識別部626と同様の機能を持つ付加情報識別部826と、規定埋込方式や規定埋込強度に従って付加情報が埋め込まれた画像の付加情報の埋込対象範囲の全体をスキャンして得た付加情報識別部826による部分領域別の識別結果を格納するメモリを具備した識別情報格納部830とを有している。
付加情報識別部826は、規定埋込強度で機械可読コードを埋め込まれた画像を処理対象としたときに、付加情報(機械可読コード)の復元性能が所定レベルを満たして、機械可読コードが“0”もしくは“1”と確定できる部分領域については適領域である旨のフラグを立て、機械可読コードを判別不能である部分領域については不適領域である旨のフラグを立て、それら部分領域別の復元性能を示すフラグの情報を識別情報格納部830のメモリに書き込む。
また、付加情報復元処理部801は、識別情報格納部830に格納されている付加情報識別部626による部分領域別の識別結果(つまり部分領域別の復元性能の判定結果)に基づいて、規定埋込方式や規定埋込強度での機械可読コードの埋込みの適否を判定する埋込適否判定部832と、埋込適否判定部832の判定結果に基づいて、識別情報格納部830に格納されている付加情報識別部626による部分領域別の識別結果を参照しつつ、規定埋込方式や規定埋込強度が適正な部分領域(適領域)と不適当な部分領域(不適領域)とについて、それぞれ異なる階調変更量q(不適当な部分領域に対して埋込強度がゼロとなるようにするものも含む)を設定する、すなわち部分領域ごとの埋込強度変調処理を行なう領域別埋込強度調整部834とを有している。
なお、埋込強度微調整部448は、処理対象画像中に画像パターン情報として埋め込まれた付加情報を解読する付加情報復号部628と同様の機能部を備えている必要はないし、規定埋込方式や規定埋込強度に従って付加情報が機械可読コードとして埋め込まれた画像出力部482に供給される画像を処理対象画像とするので、傾きを考慮する必要は殆どなく、用紙に印刷された画像を処理対象画像とする復号装置6とは異なり、入力画像傾き補正部614を備えている必要はない。
なお、画像出力部482に供給される画像データを処理対象とした埋込強度微調整部448の付加情報の認識処理における適/不適の判定つまりシミュレーションによる付加情報の認識処理と、実際の印刷物を対象とした復号装置6側での付加情報の認識処理における適/不適の判定との整合性を高めるべく、埋込強度微調整部448は、画像出力部482に供給される画像データに対して、印刷物を読み取ったときに含まれるノイズに相当する不要データを意図的に付加してからシミュレーションにより付加情報の認識処理を行なうようにしてもよい。
<埋込強度変調処理手順;第1例>
図16は、図15に示した第1例の埋込強度微調整部448による部分領域ごとの埋込強度変調処理の具体的な処理手順(第1例の埋込強度変調処理手順)を説明するフローチャートである。また、図17は、シミュレーション処理で用いる計算ウィンドウの一例を説明する図である。
図16は、図15に示した第1例の埋込強度微調整部448による部分領域ごとの埋込強度変調処理の具体的な処理手順(第1例の埋込強度変調処理手順)を説明するフローチャートである。また、図17は、シミュレーション処理で用いる計算ウィンドウの一例を説明する図である。
この第1例の処理手順は、予め埋込対象範囲の全体をスキャンし、各部分領域のデジタルデータの再現性能を付加情報識別部826により判別し、その判別結果を識別情報格納部830に保存しておく点に特徴を有する。
埋込強度微調整部448は先ず、規定埋込方式や規定埋込強度に従って付加情報が埋め込まれた画像の付加情報の埋込対象範囲の全体をスキャン(S200)し、復号装置6と同様の処理をシミュレーションにより行なうことで、各部分領域に埋め込まれる付加情報が“1”であるか“0”であるかあるいは判別不能であるかを判定し、各部分領域が適領域であるのか不適領域であるのかを切り分ける(S210)。すなわち、埋込対象画像全体をスキャンし、埋込対象画像の部分領域が、「使おうとする情報埋込方式に適している」か、「使おうとする情報埋込方式に適していない」かを判断する。
たとえば、ブロック位置検出部824により求められたブロック位置情報とブロックサイズ推定部822により求められたブロックサイズ情報を元に、ブロック(部分領域)に埋め込まれた付加情報を識別する。すなわち、先ず、ブロックサイズ情報を元に、図17に示すように、ブロックを縦横方向に4つの領域に分割した計算ウィンドウを設定する(S212)。この計算ウィンドウのサイズは、推定されたブロックサイズに等しく、垂直・水平軸で4つの領域に分割されている。ただし、図17(B)に示すように、ブロックサイズが奇数のときは、垂直・水平軸に重なる部分は領域に含めない。以下、右上の領域をR1、左上の領域をR2、左下の領域をR3、右下の領域をR4と呼ぶ。
次に、付加情報識別部826は、ブロック位置検出部824により検出されるブロックに対して、ステップS212で作成した計算ウィンドウを適用し、各領域に含まれる画素値の総和を求める(S214)。以下、領域名と混同しない限り領域R1内の画像値の総和もR1と呼ぶ。これはR2,R3,R4も同様である。
次に、付加情報識別部826は、総和値R1,R2,R3,R4の大小関係に基づいて、そのブロックに埋め込まれている付加情報が“1”であるか“0”であるか、あるいは判別不能であるかを判定する(S216)。この判別は以下のようにして実行される。
(1)もし、((R1>R2)&(R1>R4)&(R3>R2)&(R3>R4))であるなら、付加情報=“1”である。
(2)(1)でないとき、もし((R2>R1)&(R2>R3)&(R4>R1)&(R4>R3))であるなら、付加情報=“0”である。
(3)(2)でないとき、もし((R1>R4)&(R4>R3)&(R3>R2))であるなら、付加情報=“1”である。
(4)(3)でないとき、もし((R4>R1)&(R1>R2)&(R2>R3))であるなら、付加情報=“0”である。
(5)(4)でないとき、もし((R3>R4)&(R4>R1)&(R1>R2))であるなら、付加情報=“1”である。
(6)(5)でないとき、もし((R4>R3)&(R3>R2)&(R2>R1))であるなら、付加情報=“0”である。
(7)(6)でないとき、もし((R3>R2)&(R2>R1)&(R1>R4))であるなら、付加情報=“1”である。
(8)(7)でないとき、もし((R2>R3)&(R3>R4)&(R4>R1))であるなら、付加情報=“0”である。
(9)(8)でないとき、もし((R1>R2)&(R2>R3)&(R3>R4))であるなら、付加情報=“1”である。
(10)(9)でないとき、もし(R2>R1)&(R1>R4)&(R4>R3))であるなら、付加情報=“0”である。
(11)(10)でないとき、付加情報は判別不能である。
(1)もし、((R1>R2)&(R1>R4)&(R3>R2)&(R3>R4))であるなら、付加情報=“1”である。
(2)(1)でないとき、もし((R2>R1)&(R2>R3)&(R4>R1)&(R4>R3))であるなら、付加情報=“0”である。
(3)(2)でないとき、もし((R1>R4)&(R4>R3)&(R3>R2))であるなら、付加情報=“1”である。
(4)(3)でないとき、もし((R4>R1)&(R1>R2)&(R2>R3))であるなら、付加情報=“0”である。
(5)(4)でないとき、もし((R3>R4)&(R4>R1)&(R1>R2))であるなら、付加情報=“1”である。
(6)(5)でないとき、もし((R4>R3)&(R3>R2)&(R2>R1))であるなら、付加情報=“0”である。
(7)(6)でないとき、もし((R3>R2)&(R2>R1)&(R1>R4))であるなら、付加情報=“1”である。
(8)(7)でないとき、もし((R2>R3)&(R3>R4)&(R4>R1))であるなら、付加情報=“0”である。
(9)(8)でないとき、もし((R1>R2)&(R2>R3)&(R3>R4))であるなら、付加情報=“1”である。
(10)(9)でないとき、もし(R2>R1)&(R1>R4)&(R4>R3))であるなら、付加情報=“0”である。
(11)(10)でないとき、付加情報は判別不能である。
付加情報識別部826は、付加情報が“0”もしくは“1”と確定できる部分領域については適領域である旨のフラグを立て、付加情報を判別不能である部分領域については不適領域である旨のフラグを立て、それらフラグの情報を識別情報格納部830に保存しておく(S218)。つまり、領域別に適/不適の判定を予め行なって、その適/不適の印を付しておくのである。
次に埋込適否判定部832は、識別情報格納部830に保存されている付加情報識別部626による部分領域別の識別結果に基づいて、規定埋込方式や規定埋込強度での機械可読コードの埋込みの適否を、不適領域数が判定基準値Thより小さいか否かに基づいて判定する(S230)。これは、規定埋込方式および規定埋込強度で付加情報を埋込対象範囲に埋め込んだとき、復元時のデータ再現性能が、ある一定値を維持できるか否かを判定していることと等価である。
次に領域別埋込強度調整部834は、不適領域数が判定基準値Thより小さい場合には(S230−YES)、デジタルデータの再現不適確な不適領域については、デジタルデータを埋め込まなくても、ビットエラーレートBERや復元失敗確率に影響を与えないので、適領域にのみ付加情報を規定埋込強度で埋め込むが、不適領域には付加情報を埋め込まないように、階調変更量qを部分領域ごとに設定する(S232)。不適領域に付加情報を埋め込まないようにするには、不適領域の埋込強度をゼロ(0)にすればよい。
なお、不適領域の埋込強度を規定埋込強度よりも小さく設定することも考えられるが、規定埋込強度未満(ゼロを含む)であれば、その値を問わず、デジタルデータの再現が不適確であるので、画質に悪影響を与えないようにすることを最優先してゼロにするのが最適である。
一方、不適領域数が判定基準値Th以上である場合には(S230−NO)、規定埋込方式および規定埋込強度で付加情報を埋込対象範囲に埋め込んだときには復元時のデータ再現性能がある一定値を維持できないことになるので、領域別埋込強度調整部834は、画質劣化よりもデータ再現性能の方を重視し、適領域および不適領域の何れについても、埋込強度を強化するすなわち規定埋込強度以上の埋込強度で付加情報を埋め込むように階調変更量qを部分領域ごとに設定する(S234)。
あるいは、不適領域についてのみ埋込強度を強化する、すなわち適領域には規定埋込強度で付加情報を埋め込むが不適領域には規定埋込強度以上の埋込強度で付加情報を埋め込むように階調変更量qを部分領域ごとに設定する(S236)。
何れにしても、領域別埋込強度調整部834は、不適領域数が判定基準値Th以上である場合には(S230−NO)、少なくとも不適領域については規定埋込強度以上の埋込強度で付加情報を埋め込むように埋込強度を部分領域別に制御するのである。
なお、埋込強度を強化する度合いが同じとした場合、適領域および不適領域の何れについても規定埋込強度以上の埋込強度で付加情報を埋め込むよりも、適領域には規定埋込強度で付加情報を埋め込みつつ、不適領域には規定埋込強度以上の埋込強度で付加情報を埋め込むようにした方が画質が良好である。
こうすることで、規定埋込方式および規定埋込強度で付加情報を埋込対象範囲に埋め込もうとしたときに、データ復元時のデータ再現性能を一定レベルに維持できる場合には、埋込対象範囲内の不適領域へのデータ埋込みを中止することにより、データ再現性を事実上低下させることなく、付加情報埋込み後の画質劣化を抑制することができるし、データ復元時のデータ再現性能を一定レベルに維持できない場合には、少なくとも不適領域の埋込強度をより強くして付加情報を埋め込むことで、画質劣化が起こるものの、データ再現性能を改善することができる。
パターンを埋め込む領域の画像データに応じて最適な埋込強度を調整することで埋込対象範囲全体に対する規定埋込強度を規定した後に、さらにデータ復元性能の観点から部分領域別に規定埋込強度に対して修正を加えて使用する(規定埋込強度を微調整する)ことで、付加情報の識別性と画質とのバランスを特許文献1に記載の仕組みよりも良好に採ることができるのである。特許文献1と同様の仕組みを用いて埋込対象範囲の全体に対する規定埋込強度を規定することにより識別が難しい領域での付加情報の識別性を向上させつつ、この第1例により、その識別性を劣化させない範囲で部分領域別に規定埋込強度に対して修正を加えて使用する(規定埋込強度を微調整する)ので、付加情報を埋め込んだ際の画質劣化をさらに低減することができる、すなわち画像パターン情報に埋め込まれた付加情報の識別率を向上させながら、画質劣化を抑えることができる。埋込対象画像の部分領域が、使おうとする情報埋込方式に適していない場合でも、従来方式と比較して、同等な復号性能を保持しながら、情報埋込み後の画像劣化を抑えることができるのである。
<埋込強度微調整部;第2例>
図18は、埋込強度微調整部448の詳細構成例の第2例を説明するブロック図である。なお、この第2例の埋込強度微調整部448に適合した復号装置6は、図11に示した第1実施形態の構成のものをそのまま使用することができる。
図18は、埋込強度微調整部448の詳細構成例の第2例を説明するブロック図である。なお、この第2例の埋込強度微調整部448に適合した復号装置6は、図11に示した第1実施形態の構成のものをそのまま使用することができる。
第2例の埋込強度微調整部448は、埋込対象範囲の部分領域のデジタルデータの再現性能を逐一判別し、その判別結果に従って、画像中の埋込対象範囲内に埋め込まれるデジタルコード(機械可読コード)の埋込強度を部分領域ごとに変調(調整)する点に特徴を有する。
第2例の埋込強度微調整部448は、第1例の付加情報復元処理部801に代えて付加情報復元処理部802を備えている。第1例の付加情報復元処理部801では、予め埋込対象範囲の全体をスキャンし、各部分領域のデジタルデータの再現性能を判別し、その判別結果を保存しておくので識別情報格納部830を必要としていたが、この第2例の付加情報復元処理部802では、逐次処理を行なうので識別情報格納部830が不要である。
埋込適否判定部832は、付加情報識別部626による部分領域別の識別結果が得られる都度、その不適領域の累積数と判定基準値Thとを比較して、規定埋込方式や規定埋込強度での機械可読コードの埋込みの適否を判定する。領域別埋込強度調整部834は、埋込適否判定部832の判定結果に基づいて、付加情報識別部626による部分領域別の識別結果を参照しつつ、規定埋込方式や規定埋込強度が適正な部分領域(適領域)と不適当な部分領域(不適領域)とについて、それぞれ異なる階調変更量q(不適当な部分領域に対して埋込強度がゼロとなるようにするものも含む)を設定する、すなわち部分領域ごとの埋込強度変調処理を行なう。
<埋込強度変調処理手順;第2例>
図19は、図18に示した第2例の埋込強度微調整部448による部分領域ごとの埋込強度変調処理の具体的な処理手順(第2例の埋込強度変調処理手順)を説明するフローチャートである。
図19は、図18に示した第2例の埋込強度微調整部448による部分領域ごとの埋込強度変調処理の具体的な処理手順(第2例の埋込強度変調処理手順)を説明するフローチャートである。
第2例の埋込強度微調整部448は先ず、規定埋込方式や規定埋込強度に従って付加情報が埋め込まれた画像の付加情報の埋込対象範囲の部分領域を順に選択し、復号装置6と同様の処理をシミュレーションにより行なうことで、各部分領域に埋め込まれる付加情報が“1”であるか“0”であるかあるいは判別不能であるかを判定し、各部分領域が適領域であるのか不適領域であるのかを、第1例のステップS212〜S218と同様にして切り分ける(S310)。すなわち、埋込対象画像の部分領域が、「使おうとする情報埋込方式に適している」か、「使おうとする情報埋込方式に適していない」かを逐一判断する。
次に埋込適否判定部832は、付加情報識別部626による部分領域別の識別結果に基づいて、規定埋込方式や規定埋込強度での機械可読コードの埋込みの適否を、不適領域数が判定基準値Thより小さいか否かに基づいて判定する(S330)。これは、規定埋込方式および規定埋込強度で付加情報を埋込対象範囲に埋め込んだとき、復元時のデータ再現性能が、ある一定値を維持できるか否かを判定していることと等価である。そして、領域別埋込強度調整部834は、埋込適否判定部832の判定結果に基づいて、処理対象の部分領域に付加情報を、規定埋込強度で埋め込む、あるいは埋め込まない、あるいは埋込強度を強化して埋め込むなどする(S340)。
具体的には、埋込適否判定部832は、処理の最初に、不適領域の累積数をカウントするためのスキップカウンタをゼロ(0)にリセットしておく(S302)。そして、埋込適否判定部832は、付加情報識別部626による部分領域別の識別結果に基づいて領域別埋込強度調整部834を制御する(S332)。具体的には、付加情報識別部626による部分領域別の識別結果が「付加情報が“0”もしくは“1”と確定できる」旨を示している場合には、その部分領域を適領域である、つまり規定埋込方式や規定埋込強度での機械可読コードの埋込みが適当であると判断し、その判断結果を領域別埋込強度調整部834に通知する(S332−YES)。
一方、付加情報識別部626による部分領域別の識別結果が「付加情報を判別不能である」旨を示している場合には、埋込適否判定部832は、その部分領域を不適領域であるとし、スキップカウンタを「+1」する(S332−NO)。さらに、スキップカウンタ値と判定基準値Thとを比較し(S334)、スキップカウンタ値が判定基準値Thより小さい場合、つまり処理開始後それまでの不適領域数が判定基準値Th未満のときには、規定埋込方式や規定埋込強度での機械可読コードの埋込みが「まだ適当である」と判断し、その判断結果を領域別埋込強度調整部834に通知する(S334−YES)。また、スキップカウンタ値が判定基準値Th以上の場合、つまり処理開始後それまでの不適領域数が判定基準値Th以上の場合には、規定埋込方式や規定埋込強度での機械可読コードの埋込みが「不適当である」と判断し、その判断結果を領域別埋込強度調整部834に通知する(S334−NO)。
領域別埋込強度調整部834は、処理対象の部分領域が適領域である場合には(S332−YES)、その適領域に付加情報を規定埋込強度で埋め込む(S342)。また、領域別埋込強度調整部834は、処理対象の部分領域が不適領域であるが(S332−NO)、それまでの不適領域の累積数が判定基準値Th未満の場合には(S334−YES)、そのデジタルデータの再現不適確な不適領域については、デジタルデータを埋め込まなくても、ビットエラーレートBERや復元失敗確率に影響を与えないので、その不適領域には付加情報を埋め込まないように、階調変更量qを部分領域ごとに設定する(S346)。不適領域に付加情報を埋め込まないようにするには、不適領域の埋込強度をゼロ(0)にすればよい。
また、領域別埋込強度調整部834は、処理対象の部分領域が不適領域であり(S332−NO)、かつそれまでの不適領域の累積数が判定基準値Th以上となる場合には(S334−NO)、規定埋込方式および規定埋込強度で付加情報を埋込対象範囲に埋め込んだときには復元時のデータ再現性能がある一定値を維持できないことになるので、画質劣化よりもデータ再現性能の方を重視し、そのデジタルデータの再現不適確な不適領域について埋込強度を強化するすなわち規定埋込強度以上の埋込強度で付加情報を埋め込むように階調変更量qを部分領域ごとに設定する(S348)。
つまり、この第2例では、適領域には常に規定埋込強度で付加情報を埋め込みつつ、不適領域については、それまでの不適領域の累積数が判定基準値Th未満であれば付加情報を埋め込まず、それまでの不適領域の累積数が判定基準値Th以上となると、以降の不適領域に関しては、規定埋込強度以上の埋込強度で付加情報を埋め込むのである。
こうすることで、第1例と同様に、規定埋込方式および規定埋込強度で付加情報を埋込対象範囲に埋め込もうとしたときに、データ復元時のデータ再現性能を一定レベルに維持できる場合には、埋込対象範囲内の不適領域へのデータ埋込みを中止することにより、データ再現性を事実上低下させることなく、付加情報埋込み後の画質劣化を抑制することができる。また、データ復元時のデータ再現性能を一定レベルに維持できない場合には、一部の不適領域の埋込強度をより強くして付加情報を埋め込むことで、画質劣化が起こるものの、データ再現性能を改善することができる。
パターンを埋め込む領域の画像データに応じて最適な埋込強度を調整することで埋込対象範囲全体に対する規定埋込強度を規定した後に、さらにデータ復元性能の観点から部分領域別に規定埋込強度に対して修正を加えて使用する(規定埋込強度を微調整する)ことで、付加情報の識別性と画質とのバランスを特許文献1に記載の仕組みよりも良好に採ることができると言う点では第1例と同様の効果を享受できるのである。
なお、第1例の処理では、最初に埋込対象範囲の全体をスキャンして適/不適を判定しておくことで、不適領域数が判定基準値Th以上である場合には、全ての不適領域について規定埋込強度以上の埋込強度で付加情報を埋め込む。これに対して、この第2例では、逐次処理を行なっているため、不適領域の累積数が判定基準値Th以上となる以降の不適領域に関して規定埋込強度以上の埋込強度で付加情報を埋め込むのである。
したがって、第2例では、逐次判定処理が必要である点では第1例よりも処理がやや複雑になるが、規定埋込方式および規定埋込強度で付加情報を埋込対象範囲に埋め込んだときに復元時のデータ再現性能がある一定値を維持できない場合であっても、処理開始後の判定基準値Th未満の不適領域に関しては埋込強度を強化することなく、規定埋込強度で付加情報を埋め込むことになるので、第1例よりも画質の点で有利となる。加えて、識別情報格納部830を必要としないので、回路構成が第1例よりもコンパクトになる。
<埋込強度微調整部;第3例>
図20は、埋込強度微調整部448の詳細構成例の第3例を説明するブロック図である。また、図21は、第3例においてパターン選択部458に供給される埋込情報Fbを説明する図である。また、図22は、この第3例で使う第3のパターン情報の一例を示す図である。
図20は、埋込強度微調整部448の詳細構成例の第3例を説明するブロック図である。また、図21は、第3例においてパターン選択部458に供給される埋込情報Fbを説明する図である。また、図22は、この第3例で使う第3のパターン情報の一例を示す図である。
なお、第3例の埋込強度微調整部448に適合した復号装置6は、図11に示した第1実施形態の構成のものではなく、後述する図23に示す第2実施形態の構成のものを使用する。
第3例の埋込強度微調整部448は、第1例に対しての変形例であって、「付加情報を埋め込まない不適領域に関する情報」を元の付加情報に付け加えて、適領域を使って機械可読コードとして画像に埋め込む点に特徴を有する。これに適合するように、復号装置6側では、「付加情報として埋め込まれている不適領域に関する情報」を使って復号処理を行なうのである。
すなわち、前述した第1例や第2例の仕組みでは、画像形成装置5側では、「使おうとする情報埋込方式に適していない」埋込対象画像の部分領域(不適領域)の総数(第1例の場合)もしくは累積数(第2例の場合)が誤り訂正可能な所定値(判定基準値Th)より小さい場合には、不適領域に付加情報を埋め込まないのであるが、その場合、復号装置6側では、付加情報識別部626は、付加情報が埋め込まれていない部分領域についても無駄な識別処理を行なうことになる。
判定対象範囲内に付加情報が埋め込まれていない部分領域が存在することを予め分かっていれば、その付加情報が埋め込まれていない部分領域の無駄な識別処理をスキップすることで、全体の復号処理の処理時間の短縮を図ることが期待できる。
そこで、この第3例では、埋込対象範囲内に付加情報が埋め込まれていない部分領域が存在することを付加情報として予め埋め込んでおくことで、復号装置6側では、その付加情報が埋め込まれていない部分領域の無駄な識別処理をスキップすることができるようにするのである。
このため、第3例の埋込強度微調整部448は、第1例の付加情報復元処理部801に代えて付加情報復元処理部80を備えている。第3例の付加情報復元処理部803は、第1例の付加情報復元処理部801の構成に加えて、付加情報入力部452が受け付けた付加情報F0もしくは付加情報符号化部454によって符号化された付加情報F0に対応する符号化信号(埋込情報Fa)を修正する埋込情報修正部838を備えている。埋込情報修正部838は、修正後の埋込情報Fbを埋込情報Faに代えてパターン選択部458に供給する。
埋込情報修正部838は、たとえば、図21に示すように、修正前の付加情報(本例では埋込情報Fa)に対して、部分領域のスキャン順において、連続する不適領域の前にその連続数を示す情報(不適領域連続数情報)をデジタルコード“1/0”で追加し、さらにその前に、不適領域連続数情報をデジタルコードで埋め込む旨を示すインデックスとなる情報(インデックス情報)を追加する。不適領域連続数情報を追加する範囲(ビット幅)は、埋込情報Faとの切り分けが容易にできるように、たとえば2ビット分というように、予め定めておくのがよい。
インデックス情報と不適領域連続数情報(纏めて不適領域情報という)とを埋込対象範囲の適領域に追加するので、元の埋込情報Faを、この追加部分を避けて埋込対象範囲に割り当てていくことで、修正後の埋込情報Fbを生成する。この際には、図21(A)に示す第1例のように不適領域にも付加情報を割り当ててもよい。このように追加部分以外の適領域だけでなく不適領域にも元の埋込情報Faを割り当てる場合には、復号装置6側では、不適領域をスキップして復元処理を行なうので、その不適領域に割り当てられる付加情報を適確に認識できないことになるから、その不適領域については認識処理を行なうことなく、強制的に“1”または“0”とし、誤り訂正の仕組みで適正な付加情報を復元するようにするのがよい。
また、図21(B)に示す第2例のように追加部分だけでなく不適領域(図中の×印)をも避けて付加情報を割り当てるようにしてもよい。このように、追加部分と不適領域の双方を避けて元の埋込情報Faを割り当てる場合には、復号装置6側では、不適領域をスキップして復元処理を行なうことで、原理的には誤り訂正の仕組みを利用しなくても、追加領域分を除く適領域の情報から、全ての付加情報を的確に復元することができる。ただし、埋込強度微調整部448の処理にて適領域と判定されたとしても、実際の印刷物を対象とした復号装置6側での復元処理時には認識不能となることもあり得る。この点では、誤り訂正の仕組みを完全に排除するのではなく、簡単な方式の誤り訂正の仕組みを利用するとよい。
なお、パターン作成部456は、デジタルコード“1/0”を表す2つのパターン情報(パターン画像)の他に、第3のパターン情報をも生成する。この第3のパターン情報は、部分領域のスキャン順において、連続する不適領域の前にその連続数を示す情報をデジタルコードで埋め込む際のインデックスとなる情報であり、デジタルコード“1/0”を表す2つのパターン情報と異なるものであればよいが、好ましくはその差が顕著なものであるとよい。たとえば図22に示すように、デジタルデータの1ビットに対応する部分領域(たとえば8画素×8画素)内の全ての画素を最高濃度の黒とするものを使用することができる。
パターン選択部458は、埋込情報修正部838により修正された埋込情報Fbに基づいて、パターン作成部456が作成した3つのパターン情報のうちの何れか1つを選択して付加情報重畳処理部460に渡す。
こうすることで、付加情報重畳処理部460は、「使おうとする情報埋込方式に適していない」埋め込み対象画像の部分領域(不適領域)の前に位置する「使おうとする情報埋込方式に適している」埋め込み対象画像の部分領域(適領域)に、不適領域連続数情報をデジタルコードで埋め込む旨を示すインデックス情報を表す特定のパターンを記録し、その特定のパターンに引き続いて、「使おうとする情報埋込方式に適していない」埋め込み対象画像の部分領域(不適領域)の連続数をデジタルコードで埋め込みつつ、残りの適領域と不適領域とに、もしくは残りの適領域にのみ、元の埋込情報を分けて埋め込むことができる。
なお、図21の(A)および(B)の何れからも分かるように、不適領域の前に存在する適領域にインデックス情報と不適領域連続数情報とを割り当てるので、その割当てに対応する分の連続した適領域が不適領域の前に存在しなければ、この第3例の仕組みを適用することができないことになる。一方、不適領域の数はビットエラーレートBERと密接に関わるので、一般的には、埋込対象範囲内に存在する不適領域の数が適領域の数に比べるとかなり少なく、通常であれば、問題なくこの第3例を適用することができると考えられるが、場合によっては、前述の要件を満たさないことも起こり得る。この点においては、この第3例を適用した埋込処理を実行する前に、その適用が可能であるのか否かを判定し、可能である場合に限って適用するようにするのがよい。
<復号装置の構成;第2実施形態>
図23は、第3例の埋込強度微調整部448との組合せにおいて用いられる復号装置6の機能に着目した一構成例(第2実施形態の復号装置)を示すブロック図である。
図23は、第3例の埋込強度微調整部448との組合せにおいて用いられる復号装置6の機能に着目した一構成例(第2実施形態の復号装置)を示すブロック図である。
図示するように、第2実施形態の復号装置6の付加情報復元処理部602は、付加情報識別部626と付加情報復号部628との間に、不適領域連続数情報とそのインデックス情報とを抽出する不適領域情報抽出部627を備えている。
不適領域情報抽出部627は、付加情報復号部628を介して渡される付加情報が埋め込まれている処理対象範囲の画像データを処理対象として、先ずインデックス情報を抽出し、その後に続く不適領域連続数情報をさらに抽出し、この抽出した不適領域連続数情報に基づいて、インデックス情報および不適領域連続数情報が埋め込まれている部分領域(追加領域)並びに不適領域についての認識処理を割愛するように付加情報識別部626を制御する。「インデックス情報および不適領域連続数情報が埋め込まれている部分領域(追加領域)並びに不適領域」を纏めて認識不要領域ともいう。
なお、埋込対象範囲内のインデックス情報および不適領域連続数情報の分に関しては、認識処理を割愛させるので、付加情報識別部626から自動的にその分が間引かれた状態で認識処理結果を不適領域情報抽出部627が受け取るように構成することもできる。この場合、付加情報識別部626は、インデックス情報が埋め込まれている部分領域については間引き、不適領域連続数情報が埋め込まれている部分領域については、強制的に“1”または“0”とし、これら処理後の識別情報を不適領域情報抽出部627を介して付加情報復号部628に渡す。
あるいは、付加情報識別部626から認識処理を割愛している旨の情報を不適領域情報抽出部627が得て、その部分の間引きを不適領域情報抽出部627が行なうように構成することもできる。この場合、付加情報識別部626は、認識不要領域については、その旨のフラグを埋め込んで識別情報を不適領域情報抽出部627に渡す。不適領域情報抽出部627は、認識不要領域のうちインデックス情報と不適領域連続数情報が埋め込まれている追加領域の適領域については間引くとともに、不適領域については強制的に“1”または“0”としあるいは不適領域の分を間引いて、これら処理後の識別情報を付加情報復号部628に渡す。
<埋込強度変調処理手順;第3例>
図24は、図20に示した第3例の埋込強度微調整部448による部分領域ごとの埋込強度変調処理の具体的な処理手順(第3例の埋込強度変調処理手順)を説明するフローチャートである。
図24は、図20に示した第3例の埋込強度微調整部448による部分領域ごとの埋込強度変調処理の具体的な処理手順(第3例の埋込強度変調処理手順)を説明するフローチャートである。
第3例の埋込強度微調整部448は先ず、規定埋込方式や規定埋込強度に従って付加情報が埋め込まれた画像の付加情報の埋込対象範囲の全体をスキャン(S400)し、復号装置6と同様の処理をシミュレーションにより行なうことで、各部分領域に埋め込まれる付加情報が“1”であるか“0”であるかあるいは判別不能であるかを判定し、この領域別の適/不適の判定結果(詳しくはそれらフラグの情報)を識別情報格納部830に保存しておく(S410;詳細はS412〜S418)。すなわち、埋込対象画像全体をスキャンし、埋込対象画像の部分領域が、「使おうとする情報埋込方式に適している」か、「使おうとする情報埋込方式に適していない」かを判断する。これら処理は、第1例のステップS200,S210(詳細はS212〜S218)の処理と同様のものである。
次に、埋込強度微調整部448の埋込適否判定部832は、識別情報格納部830に保存されている付加情報識別部626による部分領域別の識別結果に基づいて、この第3例の手法が適用可能であるか否かを判定する(S420)。その判定手法は、埋込対象範囲内の適領域が、インデックス情報と不適領域連続数情報とを割り当てることができる状態にあるか否かを判定すればよい。具体的には、各ラインを連続させて全ての部分領域を一列に見た際に、不適領域によって分断されている個々の適領域の連続数の全てが、「インデックス情報の1ビット分+不適領域連続数情報のビット幅分」以上であるか否かを判断すればよい。なお、好ましくは、さらに、インデックス情報と不適領域連続数情報とを埋込対象範囲内に割り当てたとしても、元の埋込情報Faを割り当てるだけの余裕があるか否かも判断するのがよい。
第3例の手法が適用可能である場合には、埋込情報修正部838は、埋込情報Faに不適領域連続数情報とそのインデックス情報とが追加されるように、埋込情報Faに対して修正を加えることで埋込情報Fbを生成する(S420−YES、S422)。具体的には、埋込情報修正部838は、識別情報格納部830に保存されている付加情報識別部626による部分領域別の識別結果を参照しながら、各不適領域について、その不適領域の前の適領域に、その不適領域の不適領域連続数情報を割り込ませ、さらにその前にそのインデックス情報を割り込ませる。
この後、埋込適否判定部832は、第1例のステップS230〜S236と同様の処理を行なえばよい(S430〜S436)。
<付加情報識別処理手順;第2実施形態>
図25は、図23に示した第2実施形態の復号装置6による付加情報識別処理の具体的な処理手順(第2実施形態の付加情報識別処理)を説明するフローチャートである。
図25は、図23に示した第2実施形態の復号装置6による付加情報識別処理の具体的な処理手順(第2実施形態の付加情報識別処理)を説明するフローチャートである。
付加情報復元処理部602において、不適領域情報抽出部627は、付加情報復号部628を介して渡される付加情報が埋め込まれている処理対象範囲の画像データを処理対象として、部分領域の配列順にスキャンしていき、図22に示したインデックス情報を識別する(S120)。
この際には、付加情報識別部626におけるデジタルコードの認識処理(S131〜S133)と同様に、先ず、検出したブロックを縦横方向に4つの領域に分割した計算ウィンドウを設定する(S121)。この後、不適領域情報抽出部627は、計算ウィンドウを適用して、4画素×4画素の4つの各領域に含まれる全ての画素値の総和を求め(S122)、その4つの総和値R1,R2,R3,R4がインデックス情報を示すものと等価であるか否かに基づいて、そのブロックに埋め込まれている情報がインデックス情報であるかを判定する(S123)。
たとえば図22に示したように、部分領域(たとえば8画素×8画素)内の全ての画素を最高濃度(階調値=255)の黒とするものでインデックス情報が形成されているのであれば、R1≒R2≒R3≒R4≒4×4×255である場合、そのブロックには、さらに次の数ブロックに不適領域連続数情報が埋め込まれていることを示すインデックス情報が埋め込まれているものとする。
次に、不適領域情報抽出部627は、このインデックス情報を抽出できたときには、そのブロックに続く、予め定めされている不適領域連続数情報を追加する範囲(ビット幅)の部分領域について、付加情報のデジタルコードが“1”であるのか“0”であるのかを識別する(S125)。その識別手法は、付加情報識別部626における判別手法(1)〜(10)と同様であり、総和値R1,R2,R3,R4の大小関係から、そのブロックに埋め込まれている付加情報“1”であるか“0”であるかを切り分ければよい。
たとえば、不適領域情報抽出部627は、検出したブロックを縦横方向に4つの領域に分割した計算ウィンドウを設定する(S126)。この後、不適領域情報抽出部627は、計算ウィンドウを適用して、4つの各領域に含まれる全ての画素値の総和を求め(S127)、その4つの総和値R1,R2,R3,R4の大小関係に基づいて、そのブロックに埋め込まれている付加情報が“1”であるか“0”であるか、あるいは判別不能であるかを判定することで、インデックス情報の後に続く不適領域連続数情報を識別する(S128)。
なお、不適領域連続数情報は、画像形成装置5側の埋込強度微調整部448によるシミュレーションによって、データ再現性能に問題のないと考えられる適領域にのみ埋め込まれているので、ほぼ確実に、不適領域連続数情報を復元できると考えてよく、付加情報識別部626における判別手法での(11)の判別不能との判定を行なうことはないと考えてよい。
次に、不適領域情報抽出部627は、付加情報復号部628を介して渡される付加情報が埋め込まれている処理対象範囲の画像データを付加情報識別部626に渡すとともに、復元した不適領域連続数情報を参照して、インデックス情報および不適領域連続数情報のブロック(追加領域)並びに不適領域を含む認識不要領域についての認識処理を割愛するように付加情報識別部626を制御する(S130)。
付加情報識別部626は、不適領域情報抽出部627により指示された認識不要領域以外について(S130−NO)、第1実施形態における認識処理(S131〜S133)と同様にして付加情報の認識処理を行ない、その認識処理結果を不適領域情報抽出部627に渡す。付加情報識別部626は、認識不要領域については、その旨のフラグを埋め込んで識別情報を不適領域情報抽出部627に渡す(S130−YES,S134)。
不適領域情報抽出部627は、認識不要領域を除く適領域についての付加情報の認識処理結果を付加情報識別部626から受け取ると、先ず、認識不要領域のうちインデックス情報と不適領域連続数情報が埋め込まれている追加領域の適領域については間引く。また、たとえば、図21(A)に示したような付加情報の埋込手法(第1例)を適用している場合であれば、不適領域については、強制的に“1”または“0”とし、処理後の識別情報を付加情報復号部628に渡す(S136−YES,S137)。この場合、付加情報復号部628は、誤り訂正の仕組みを適用して適正な付加情報を復元する。
また、図21(B)に示したような付加情報の埋込手法(第2例)を適用している場合であれば、不適領域情報抽出部627は、付加情報識別部626から受け取った認識不要領域(追加領域と不適領域)の分を間引いた(不適領域を除く適領域についての)認識処理結果を、付加情報復号部628に渡す(S136−NO,S138)。この場合、付加情報復号部628は、誤り訂正を行なうか否かに関わらず、追加領域分を除く適領域のみの情報から、全ての付加情報を的確に復元することができる。
このように、第3例の埋込強度変調処理を適用した仕組みによれば、第1例と同様の効果を享受できるだけでなく、予め不適領域に関する情報を元の付加情報に追加して埋め込んでおくので、復号側では、その情報を使うことで、不適領域の認識処理を割愛することができるようになり、画像に埋め込まれている付加情報の復元処理時間を短縮することができる。
1…画像処理システム、3…画像入力端末、4…画像出力端末、5…画像形成装置、6…復号装置、7…データサーバ、9…ネットワーク、401…画像取得部、402…付加情報埋込処理部、408…画像出力処理部、409…画像データ格納部、412…画像データ入力部、414…画像データ解析部、416…画像データ補正部、420…パターンサイズ入力部、430…パターン減衰率設定部、432…パターン減衰率入力部、434…パターン減衰率計算部、440…埋込強度設定部、442…埋込強度入力部、444…最小埋込強度入力部、445…最大埋込強度入力部、446…埋込強度制御部、448…埋込強度微調整部、449…埋込強度調整部、450…付加情報パターン設定部、452…付加情報入力部、454…付加情報符号化部、456…パターン作成部、458…パターン選択部、460…付加情報重畳処理部、462…埋込位置制御部、464…埋込領域元情報取得部、466…パターン重畳部、468…切替制御部、482…画像出力部、601…画像取得部、602…付加情報復元処理部、604…復号処理経過監視部、605…復号処理経過提示部、607…再出力処理部、608…画像出力処理部、609…画像データ格納部、612…画像データ入力部、614…入力画像傾き補正部、621…埋込領域画像取得部、622…ブロックサイズ推定部、624…ブロック位置検出部、626…付加情報識別部、627…不適領域情報抽出部、628…付加情報復号部、801,802,803…付加情報復元処理部、821…埋込領域画像取得部、822…ブロックサイズ推定部、824…ブロック位置検出部、826…付加情報識別部、830…識別情報格納部、832…埋込適否判定部、834…領域別埋込強度調整部、838…埋込情報修正部
Claims (8)
- 機械可読コードを埋込対象範囲内の各部分領域に対応付けることで付加情報を画像中に埋め込む画像処理方法であって、
前記埋込対象範囲内の各部分領域に対して共通に設定すべき規定埋込強度を決定するとともに、この規定埋込強度を前記付加情報の復元性能の観点から各部分領域ごとに修正し、この修正された埋込強度で前記機械可読コードを画像中に埋め込む
ことを特徴とする画像処理方法。 - 機械可読コードを埋込対象範囲内の各部分領域に対応付けることで付加情報を画像中に埋め込む画像処理装置であって、
前記埋込対象範囲内の各部分領域に対して共通に設定すべき規定埋込強度を決定する埋込強度制御部と、
前記埋込強度制御部が決定した規定埋込強度を前記付加情報の復元性能の観点から各部分領域ごとに修正する埋込強度微調整部と、
前記埋込強度微調整部により修正された埋込強度で前記機械可読コードを画像中に埋め込む付加情報重畳処理部と
を備えたことを特徴とする画像処理装置。 - 前記埋込強度微調整部は、前記埋込対象範囲全体としての前記付加情報の復元性能が所定レベルを満たしており、かつ前記付加情報の復元性能が所定レベルを満たしていない部分領域である不適領域については、当該不適領域の埋込強度が前記規定埋込強度よりも低下するように修正する
ことを特徴とする請求項2に記載の画像処理装置。 - 前記埋込強度微調整部は、機械可読コードを当該不適領域には埋め込まないように当該不適領域についての埋込強度を修正する
ことを特徴とする請求項3に記載の画像処理装置。 - 前記埋込強度微調整部は、
前記埋込強度制御部により決定された規定埋込強度で機械可読コードを埋め込まれた画像を処理対象として、前記埋込対象範囲内の各部分領域を走査して、当該部分領域に埋め込まれている機械可読コードを識別できるか否かを判定する付加情報識別部と、
前記付加情報識別部の識別結果を保持する識別情報格納部と、
前記識別情報格納部に格納されている部分領域別の識別結果に基づいて、規定埋込強度での機械可読コードの埋込みの適否を判定する埋込適否判定部と、
前記埋込適否判定部の判定結果に基づいて、前記識別情報格納部に格納されている前記付加情報識別部による部分領域別の識別結果を参照しつつ、部分領域ごとに埋込強度を調整する領域別埋込強度調整部と
を有することを特徴とする請求項3または4に記載の画像処理装置。 - 前記埋込強度微調整部は、
前記埋込強度制御部により決定された規定埋込強度で機械可読コードを埋め込まれた画像を処理対象として、前記埋込対象範囲内の各部分領域を走査して、当該部分領域に埋め込まれている機械可読コードを識別できるか否かを判定する付加情報識別部と、
前記走査の都度、前記付加情報識別部による部分領域別の判定結果に基づいて、規定埋込強度での機械可読コードの埋込みの適否を判定する埋込適否判定部と、
前記埋込適否判定部の判定結果に基づいて、前記識別情報格納部に格納されている前記付加情報識別部による部分領域別の識別結果を参照しつつ、部分領域ごとに埋込強度を調整する領域別埋込強度調整部と
を有することを特徴とする請求項3または4に記載の画像処理装置。 - 入力された付加情報に機械可読コードを埋め込まない前記不適領域についての不適領域情報を追加する埋込情報修正部をさらに備え、
前記付加情報重畳処理部は、前記埋込情報修正部によって前記不適領域情報が追加された付加情報に基づいて、前記機械可読コードを画像中に埋め込む
ことを特徴とする請求項3または4に記載の画像処理装置。 - 機械可読コードを埋込対象範囲内の各部分領域に対応付けることで付加情報が埋め込まれた画像から前記付加情報を復元する画像処理装置であって、
機械可読コードを埋め込まない部分領域である不適領域についての不適領域情報を抽出する不適領域情報抽出部と、
前記不適領域情報抽出部により抽出された不適領域についての前記機械可読コードの認識処理を割愛しつつ、前記付加情報を復元する付加情報復元処理部と
を備えたことを特徴とする画像処理装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005254659A JP2007068098A (ja) | 2005-09-02 | 2005-09-02 | 画像処理方法および画像処理装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005254659A JP2007068098A (ja) | 2005-09-02 | 2005-09-02 | 画像処理方法および画像処理装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2007068098A true JP2007068098A (ja) | 2007-03-15 |
Family
ID=37929705
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005254659A Pending JP2007068098A (ja) | 2005-09-02 | 2005-09-02 | 画像処理方法および画像処理装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2007068098A (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009071416A (ja) * | 2007-09-11 | 2009-04-02 | Fuji Xerox Co Ltd | 画像生成装置、文書管理システム、文書管理プログラム |
JP2009267848A (ja) * | 2008-04-25 | 2009-11-12 | Canon Inc | 画像処理装置、方法、及び、プログラム |
JP2019009743A (ja) * | 2017-06-28 | 2019-01-17 | キヤノン株式会社 | 情報処理装置、その制御方法およびプログラム |
JP7451187B2 (ja) | 2020-01-23 | 2024-03-18 | キヤノン株式会社 | 画像処理装置、画像処理方法およびプログラム |
-
2005
- 2005-09-02 JP JP2005254659A patent/JP2007068098A/ja active Pending
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009071416A (ja) * | 2007-09-11 | 2009-04-02 | Fuji Xerox Co Ltd | 画像生成装置、文書管理システム、文書管理プログラム |
JP2009267848A (ja) * | 2008-04-25 | 2009-11-12 | Canon Inc | 画像処理装置、方法、及び、プログラム |
US8300925B2 (en) | 2008-04-25 | 2012-10-30 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method, and medium storing program thereof |
JP2019009743A (ja) * | 2017-06-28 | 2019-01-17 | キヤノン株式会社 | 情報処理装置、その制御方法およびプログラム |
US10992837B2 (en) | 2017-06-28 | 2021-04-27 | Canon Kabushiki Kaisha | Information processing apparatus, control method thereof, and storage medium |
JP7451187B2 (ja) | 2020-01-23 | 2024-03-18 | キヤノン株式会社 | 画像処理装置、画像処理方法およびプログラム |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4035717B2 (ja) | 画像処理装置及び画像処理方法 | |
US7536026B2 (en) | Image processing apparatus and method | |
JP4485585B2 (ja) | デジタル像符牒の処理方法及びシステム | |
JP4903068B2 (ja) | 可視的認証パターンを検出、解析および使用するための改良された技法 | |
JP4218920B2 (ja) | 画像処理装置及び画像処理方法並びに記憶媒体 | |
US8335014B2 (en) | Image forming apparatus, control method, and program for copy-forgery-inhibited dot pattern calibration | |
JP3813387B2 (ja) | 情報埋込方法および装置並びに記録媒体 | |
US7499565B2 (en) | Method of watermarking for binary images | |
AU2009200948B2 (en) | Image processing apparatus, image processing method and image processing program | |
JP4362538B2 (ja) | 画像処理装置、画像形成装置、画像送信装置、画像読取装置、画像処理システム、画像処理方法、画像処理プログラムおよびその記録媒体 | |
WO2008035401A1 (fr) | Dispositif d'intégration d'un filigrane électronique et dispositif de détection | |
JP2007068098A (ja) | 画像処理方法および画像処理装置 | |
JP4461487B2 (ja) | 画像処理方法および画像処理装置並びに真偽判定方法 | |
JP2005223574A (ja) | 画像処理方法および画像処理装置 | |
JP4311698B2 (ja) | 画像処理装置及び画像処理方法並びに記録媒体 | |
JP2000295468A (ja) | 画像処理装置 | |
JP2007312049A (ja) | 情報埋込処理システム、付加情報埋込装置、付加情報復元装置 | |
JP2009124300A (ja) | 透かし埋め込み付きjpeg符号化装置,透かし埋め込み付きjpeg符号化方法,透かし埋め込み付きjpeg符号化プログラム及びそのプログラムを記録した記録媒体、その透かし埋め込み付きjpeg画像データに対する改ざん検出装置,透かし埋め込み付きjpeg画像データに対する改ざん検出方法,透かし埋め込み付きjpeg画像データに対する改ざん検出プログラム及びそのプログラムを記録した記録媒体 | |
JP2007166227A (ja) | 画像処理装置、画像処理方法及び画像処理プログラム | |
JP2006093880A (ja) | 画像処理装置及びその制御方法、並びに、コンピュータプログラム及びコンピュータ可読記憶媒体 | |
JP2008148110A (ja) | 画像処理装置およびその制御方法 | |
JP2001352453A (ja) | 画像再生装置 | |
JP2003101760A (ja) | 画像処理装置及び画像処理方法 | |
JP2006094108A (ja) | 画像処理方法および画像処理装置、並びに付加情報解析方法および付加情報解析システム | |
JP2009071565A (ja) | 画像処理装置 |