JP2019012903A - 画像処理装置、画像出力装置、画像処理方法、及びプログラム - Google Patents

Abstract

【課題】画像形成不良が発生する可能性がある場合にも付加情報を適切に多重化する。【解決手段】一実施形態における画像処理装置は、異なる変調周期を有する画素の組み合わせで構成された周期パターンを使用して、画像情報に付加情報を多重化する。画像処理装置は、画像情報の画像形成に用いられる複数の色材のうちの、画像形成不良が発生する可能性がある色材を特定する特定手段と、画像情報の一部の、複数の色材のそれぞれに対応する色成分が、上記周期パターンとなるように、当該一部を変調する変調手段と、変調手段により画像情報の複数の部分に対して変調を行うことで、付加情報を多重化する多重化手段とを有する。上記変調手段は、複数の色材のうちの特定手段により特定された色材に対応する一部の色成分が上記周期パターンとならず、複数の色材のうちの特定手段により特定されていない色材に対応する色成分が上記周期パターンとなるように変調する。【選択図】図１４

Description

本発明は、画像情報に付加情報を多重化する技術、及び、多重化された画像情報から画像情報と付加情報を分離する技術に関する。

近年、電子透かし技術と称し、写真や絵画等の画像情報中に、著作者名や使用許可の可否等の付加情報を、視覚的に判別しづらいようにして多重化する技術が利用されている。例えば、特許文献１には、透明画像データを利用して付加情報を多重化する技術が開示されている。かかる技術では、印刷装置が透明トナーを有していない場合、あるいは、透明トナーが不足している場合には、その代わりに他色のトナーを使用して多重化を行っている。

特開２００９−９４９４９号公報

しかしながら、特許文献１のように、本来用いるべき透明トナーを他色で代用する場合、透明トナーに対する多重化情報と、代用された他色に対する多重化情報とが同色で印刷され、多重化情報が混合してしまうおそれがあった。これにより、多重化された付加情報が正しく復元できない可能性がある。すなわち、画像形成に必要なインクやトナーが不足した場合や、インクが正しく吐出できなかったり、トナーが正しく転写できなかったりする場合など、画像形成不良が発生した場合には、その印刷物から付加情報を正しく復元できないという課題があった。

本発明は上記課題を解決するためになされたものであり、画像形成不良が発生する可能性がある場合にも付加情報を適切に多重化することができる画像処理装置、画像出力装置、画像処理方法、及びプログラムを提供することを目的とする。また、そのようにして多重化された画像情報から画像情報と付加情報を分離することができる画像処理装置、画像出力装置、画像処理方法、及びプログラムを提供することを目的とする。

本発明の一実施形態における画像処理装置は、異なる変調周期を有する画素の組み合わせで構成された周期パターンを使用して、画像情報に付加情報を多重化する画像処理装置であって、前記画像情報の画像形成に用いられる複数の色材のうちの、画像形成不良が発生する可能性がある色材を特定する特定手段と、前記画像情報の一部の、前記複数の色材のそれぞれに対応する色成分が、前記周期パターンとなるように、当該一部を変調する変調手段と、前記変調手段により前記画像情報の複数の部分に対して変調を行うことで、前記付加情報を多重化する多重化手段と、を有し、前記変調手段は、前記複数の色材のうちの前記特定手段により特定された色材に対応する前記一部の色成分は前記周期パターンとならず、前記複数の色材のうちの前記特定手段により特定されていない色材に対応する色成分が前記周期パターンとなるように、前記一部を変調することを特徴とする。

また、本発明の一実施形態おける画像処理装置は、異なる変調周期を有する画素の組み合わせで構成された周期パターンを使用して画像情報に付加情報が多重化された多重化済み画像情報から、前記画像情報と前記付加情報を分離する画像処理装置であって、前記多重化済み画像情報から色材毎の周期パターンを抽出する抽出手段と、前記抽出された周期パターンのうち、所定の変調周期により画素値が変更された画素を含む周期パターンを特定する特定手段と、前記特定された周期パターンを合成する合成手段と、前記合成された周期パターンを使用して、前記多重化済み画像情報から前記画像情報と前記付加情報を分離する分離手段とを有することを特徴とする。

本発明によると、画像形成不良が発生する可能性がある場合にも付加情報を適切に多重化することができる画像処理装置、画像出力装置、画像処理方法、及びプログラムを提供することができる。また、そのようにして多重化された画像情報から画像情報と付加情報を分離することができる画像処理装置、画像出力装置、画像処理方法、及びプログラムを提供することができる。

本発明の一実施形態における画像処理システムの構成図である。 本発明の一実施形態におけるスマートフォンの構成図である。 本発明の一実施形態におけるプリンタの構成図である。 本発明の一実施形態における画像情報に付加情報を多重化して印刷する画像処理システムのデータフロー図である。 本発明の一実施形態における印刷画像を読み取って、付加情報を抽出する画像処理装置のデータフロー図である。 本発明の一実施形態における画像情報と付加情報の一例を示す図である。 本発明の一実施形態における付加情報を画像情報に埋め込むための周期パターンの一例を示す図である。 本発明の一実施形態における周期パターンを色成分毎に示した例を示す図である。 本発明の一実施形態における輝度信号（ＲＧＢ）から濃度信号（ＣＭＹＫ）への変換を行うための変換テーブルを示す図である。 本発明の一実施形態における周期パターンを構成する変調周期プラス画素、変調周期通常画素、及び変調周期マイナス画素の変調周期を示す図である 本発明の一実施形態における変調周期を反映した色成分で構成された変換テーブルを示す図である。 本発明の一実施形態におけるインクなしエラーが発生した色成分を特定するための色成分特定処理のフローチャートである。 本発明の一実施形態における３変換テーブル作成処理のフローチャートである。 本発明の一実施形態における周期パターンの埋め込み処理のフローチャートである。 本発明の一実施形態における変調周期の変調度合いを示す図である。 本発明の一実施形態におけるスキャン画像周期パターンを示す図である。 本発明の一実施形態における色成分毎のスキャン画像周期パターンを示す図である。 本発明の一実施形態における周期パターンの合成方法を説明する図である。 本発明の一実施形態におけるＫＭＣ合成周期パターンを示す図である。 本発明の一実施形態における付加情報分離処理のフローチャートである。

（第１の実施形態）
以下、図面を参照しながら、本実施形態における情報端末装置及びプリンタで構成される画像処理システムの構成について説明する。

図１は、本実施形態における画像処理システムの構成図である。スマートフォン４１０１、４１０３は、通信事業会社の回線を通してインターネット４１０４に接続されている。また、スマートフォン４１０１、４１０３は、ルーター４１０５を通じてメールサーバ４１０６とも接続されており、通信事業会社の提供するメールサービスを利用できる。スマートフォン４１０１は更に、無線によってプリンタ４１０２とも接続されている。この接続は、Ｗｉ‐Ｆｉ Ｄｉｒｅｃｔ（登録商標）等の通信方式を用いて実現される。

なお、本実施例では、ネットワークを構成する情報端末装置の一例としてスマートフォンをあげているが、携帯電話、タブレット端末、ＰＤＡ、ＰＣ等の情報端末装置を用いても構わない。例えば、スマートフォン４１０１の代わりにＰＣを用いる場合、ルーターを介してインターネット４１０４と接続するように構成してもよい。なお、このルーターはＰＣをインターネットに接続するために用いるものであり、その目的が果たせればよい。当然ながらルーター４１０５とは異なるものであってもよく、同一のものであってもよい。また無線やＵＳＢを介してプリンタ４１０２と接続してもよい。このように多様な形態で実現できることは自明であろう。

更に、スマートフォン４１０１とプリンタ４１０２の接続形態の一例として、機器どうしで直接通信する形態を用いて説明したが、本発明はこの接続形態に限定されるものではない。例えば、プリンタ４１０２を、ルーター等を介してインターネット４１０４に接続し、インターネット経由で両者が通信してもよい。なお、このルーターはプリンタ４１０２をインターネットに接続するために用いるものであり、その目的が果たせればよい。当然ながらルーター４１０５とは異なるものであってもよく、同一のものであってもよい。

図２は、本実施形態におけるスマートフォン４１０１の構成図である。ＣＰＵ４２０１は、装置全体の制御を司る。フラッシュメモリ４２０２は、様々なプログラムや、その他のデータを記憶する。なお、フラッシュメモリ４２０２の代わりに他の種類の不揮発性記憶装置（例えば、ハードディスク装置）が使われてもよい。ＲＡＭ４２０３は、プログラムのロード領域やＣＰＵ４２０１のワーク領域として使用される。また、スマートフォン４１０１は、メモリカード４２０５のカードリーダ／ライタ４２０４も有する。メモリカード４２０５は、読み取り可能な記憶媒体の一例である。カードリーダ／ライタ４２０４は、記憶媒体の駆動装置の一例である。

スマートフォン４１０１はさらに、操作部４２０６、表示部４２０７、撮像部４２０８、音声入力部４２０９、音声出力部４２１０を備える。操作部４２０６は、ユーザからの入力を受け付ける入力装置である。表示部４２０７はタッチスクリーンであってもよい。タッチスクリーンである場合、操作部と表示部双方の役割を果たす。撮像部４２０８は、カメラ機能を提供する機能部である。カメラは撮影用途のみではなく、例えば画像情報に付加情報を埋め込んだ多重化済み画像情報の印刷物を読み取り、多重化された付加情報を分離する処理の対象データとして取り込むためにも用いられる。なお、多重化された付加情報の分離処理は、フラッシュメモリ４２０２等にインストールされたプログラムによって実行できる。分離処理で使用するアルゴリズムは、公知の技術を利用する。スマートフォン４１０１は、携帯電話回線接続部４２１１も備えており、本構成要素を介して携帯電話回線網に接続できる。携帯電話回線接続部４２１１により、電話機能およびデータ通信機能を使用できる。

無線ＬＡＮインタフェイス４２１２は、例えば、ＩＥＥＥ８０２．１１ａなどの規格に対応した通信インタフェイスである。スマートフォン４１０１は無線ＬＡＮインタフェイス４２１２を介してＩＰ（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ）ネットワークに接続可能である。更に、無線ＬＡＮインタフェイス４２１２は、無線ＬＡＮアクセスポイントとしての機能も備えており、その機能を利用して、無線ＬＡＮインタフェイス４３０８を備えるプリンタ４１０２と接続する事もできる。有線デジタルインタフェイス４２１４は、ＵＳＢ、ＩＥＥＥ１３９４、ＨＤＭＩ（登録商標）等のデジタルインタフェイスであり、有線接続により外部機器と接続するために用いられる。プリンタ４１０２が対応するインタフェイスを備えていれば、無線ＬＡＮインタフェイス４２１２の代わりに本インタフェイスを用いて接続することもできる。スマートフォン４１０１内では、これらの構成要素がバス４２１３を介して接続されている。

なお、上記ではスマートフォン４１０１とプリンタ４１０２の接続形態の一例として、スマートフォン４１０１が無線ＬＡＮのアクセスポイントとしての機能を備えている場合を示した。しかし、本発明における接続形態は上記に限定されるものではなく、多様な接続形態を適用できる。例えば、プリンタ４１０２が無線ＬＡＮアクセスポイントとしての機能を備えていてもよい。スマートフォン４１０１とプリンタ４１０２とをルーターを介して接続してもよい。なお、このルーターはスマートフォン４１０１とプリンタ４１０２を接続するために用いるものであり、その目的が果たせればよい。当然ながらルーター４１０５とは異なるものであってもよく、同一のものであってもよい。

また、上記では不揮発性メモリの一例としてフラッシュメモリ４２０２を用いる例を示したが、代わりにハードディスク装置等を用いても良い。メモリカード４２０５及びカードリーダ／ライタ４２０４の代わりに他の種類の記憶媒体及び駆動装置を用いてもよい。利用可能な記憶媒体としては、磁気ディスクや半導体メモリ等、多様なものを適用できる。ＣＰＵ４２０１が実行するプログラムは、予めフラッシュメモリ４２０２あるいは代替となる不揮発性メモリにインストールされていてもよい。また、メモリカード４２０５あるいは代替となる他の記憶媒体に記憶しているプログラムを読み出してインストールしてもよい。あるいは、ネットワークを経由してその他の記憶装置からダウンロードしたプログラムをインストールしてもよい。

図３は、本実施形態におけるプリンタ４１０２の構成図である。プリンタ４１０２において、ＣＰＵ４３０１は、装置全体の制御を司る。ＲＯＭ４３０２は、プログラムを記憶している。ＲＡＭ４３０３は、ＣＰＵ４３０１のワークエリアとして使用される。ＣＰＵ４３０１は、ＲＯＭ４３０２に記憶されているプログラムを実行し、プリンタ４１０２が備える様々な機能を制御する。

無線ＬＡＮインタフェイス４３０８は、ＩＥＥＥ８０２．１１ａなどの規格に対応した無線ＬＡＮアクセスポイントとの通信を可能にする。プリンタ４１０２は、無線ＬＡＮインタフェイス４３０８を用いて、ＴＣＰ／ＩＰプロトコルを使用して他の機器と通信可能である。また、プリンタ４１０２は、無線ＬＡＮアクセスポイントとしての機能を備えるスマートフォン４１０１とも通信可能である。

有線デジタルインタフェイス４３１０は、ＵＳＢ、ＩＥＥＥ１３９４、ＨＤＭＩ等のデジタルインタフェイスであり、有線接続により外部機器と接続するために用いられる。プリンタ４１０２は、スマートフォン４１０１が対応するインタフェイスを備えていれば、無線ＬＡＮインタフェイス４３０８の代わりに本インタフェイスを用いて接続することもできる。

スマートフォン４１０１には、ユーザから印刷実行が命令された場合に記録対象の画像情報や付加情報、記録品位等の記録設定情報を取りまとめてプリンタ４１０２と通信するためのプリンタドライバ４３５１が設けられている。プリンタドライバ４３５１を用いてプリントジョブが発行されると、無線ＬＡＮインタフェイス４３０８を介してプリントジョブに関連するデータがＲＡＭ４３０３に格納される。

画像処理部４３０７は、インクなしエラーが発生した色成分を特定する色成分特定処理、及び変換テーブル作成処理を実行する。色成分特定処理及び変換テーブル作成処理の処理内容については、図１２及び図１３を参照して後述する。なお、本実施形態ではインクなしエラーについて説明するが、トナーなしエラーも同様に処理することができる。すなわち、本発明によると、インクやトナーを含む色材の色材なしエラーが発生した色成分を特定することができる。

次いで、画像処理部４３０７は、ＲＡＭ４３０３から画像データを読み込み、画像データ形式に対応したデコード処理を行う。その後、画像処理部４３０７は、画像解析、輝度信号（ＲＧＢ）から濃度信号（ＣＭＹＫ）への変換、スケーリング、ガンマ変換、ハーフトーニング等を行い、印刷データを生成してＲＡＭ４３０３に書き出す。輝度信号（ＲＧＢ）から濃度信号（ＣＭＹＫ）への変換については、図１４を参照して後述する。

ＲＡＭ４３０３に格納された印刷データが所定量に達すると、記録部４３０６が記録動作を実行する。記録部４３０６は、ＣＰＵ４３０１の制御によりＲＡＭ４３０３に格納されている印刷データを読み出し、読み出した印刷データに基づいて記録媒体上に印刷画像を記録する。すなわち、プリンタ４１０２は、記録媒体上に画像を形成する画像形成装置である。記録部４３０６は、印刷データを記憶するために、複数のインクまたはトナー（すなわち、色材）を使用する。また、記録部４３０６は、インクなしエラーの発生、印字ヘッドからのインク吐出不良の検知結果、及びインク残量不足の検知結果を管理し、画像処理部４３０７等からの問い合わせに対して、その情報を提供する。

なお、記録部４３０６は、トナーなしエラーの発生、トナーの転写不良検知結果、及びトナー残量不足の検知結果を管理し、その情報を提供することもできる。すなわち、記録部４３０６は、インク及びトナー等を含む色材について、色材なしエラーの発生、色材残量不足の検知結果、あるいは色材の吐出不良または転写不良の検知結果を管理し、その情報を提供することができる。また、その情報により、このような画像形成不良が発生する可能性のある色材を特定することができる。

操作部４３０４は、ユーザのキー入力を通じてプリンタ４１０２の電源のＯＮ／ＯＦＦや、プリントジョブのキャンセル等を受け付ける。表示部４３０５は、プリントジョブの進捗状況や紙詰まり等のエラーをユーザに通知する。プリンタ４１０２内では、これらの構成要素が、バス４３０９を介して接続されている。

図４は、本実施形態において、画像情報に付加情報を多重化して印刷する画像処理システムのデータフロー図である。ここでいう画像処理システムとは、図１を参照して説明した画像処理システムを指す。

入力端子４４０１は、多階調の画像情報Ｄ０１を入力するための端子である。入力端子４４０２は、多階調の画像情報Ｄ０１の中に埋め込まれる任意の大きさを持つ付加情報Ｘを入力するための端子である。付加情報Ｘとしては、画像情報Ｄ０１に関連する情報、例えば、画像情報Ｄ０１の著作権に関する情報や、画像情報Ｄ０１に関連しない情報、例えば、音声情報や、テキスト文書情報、その他別の画像情報等がある。入力端子４４０１は、画像形成部４４０３に接続されている。

画像形成部４４０３は、入力された画像情報Ｄ０１を、印刷用の解像度である幅Ｗ画素、高さＨ画素の大きさの変倍済み画像情報Ｄ０２に変換する。なお、大きさの変換方法としては、公知である最近隣補間、線形補間等のいずれの方法を用いてもよい。画像形成部４４０３は、付加情報多重化部４４０４に接続されており、変倍済み画像情報Ｄ０２は、付加情報多重化部４４０４に入力される。

付加情報多重化部４４０４は、印刷された際に埋め込まれた付加情報が目立たないように、変倍済み画像情報Ｄ０２に付加情報Ｘを埋め込み、多重化するための装置である。付加情報多重化部４４０４は、変倍済み画像情報Ｄ０２の中に付加情報Ｘを埋め込み、多重化した後、多重化済み画像情報Ｄ０３を出力する。付加情報多重化部４４０４は、印刷データ生成部４４０５に接続されており、多重化済み画像情報Ｄ０３は、印刷データ生成部４４０５に入力される。

印刷データ生成部４４０５は、多重化済み画像情報Ｄ０３から印刷データＤ０４を生成し、出力する。

なお、図４における各処理部は、スマートフォン４１０１及びプリンタ４１０２のいずれの装置に配置してもよい。例えば、付加情報の多重化処理を、プリンタ４１０２が上記画像処理の過程で実行してもよい。あるいは、スマートフォン４１０１にインストールされたプログラムによって実行してもよい。いずれの場合であっても、各装置に適した公知の技術を利用すればよい。すなわち、スマートフォン４１０１及びプリンタ４１０２のいずれの装置も画像処理装置として機能する。

また、多重化済み画像情報Ｄ０３の出力形態は、印刷データに限定されない。例えば、多重化済み画像情報Ｄ０３は電子データとして出力してもよい。電子データは、ディスプレイ等の表示機器で表示できる。また、電子データは、ネットワークや、メモリカード等の不揮発性メモリを介して配布することができる。すなわち、スマートフォン４１０１及びプリンタ４１０２は、多重化済み画像情報Ｄ０３の印刷データまたは電子データを出力する出力装置である。

図５は、図４の画像処理システムによる印刷画像を読み取って、付加情報を抽出する画像処理装置のデータフロー図である。

まず、イメージスキャナ４４５２が、記録媒体に記録された印刷画像、すなわち、印刷画像情報Ｄ１１を読み取って、スキャン画像情報Ｄ１２を生成する。イメージスキャナ４４５２としては、一般的なスキャナのみではなく、デジタルカメラやスマートフォンに搭載されたカメラ等を用いても良い。スキャン画像情報Ｄ１２は、付加情報分離部４４５３に入力される。

次いで、付加情報分離部４４５３は、公知技術を適用してスキャン画像情報Ｄ１２から画像情報Ｄ１３と付加情報Ｘを分離し、それぞれを出力端子４４５４及び４４５５に出力する。

なお、図５における各処理部は、スマートフォン４１０１及びプリンタ４１０２のいずれの装置に配置してもよい。すなわち、スマートフォン４１０１及びプリンタ４１０２のいずれの装置も、画像処理装置として機能する。

以上、図５を用いて印刷画像情報Ｄ１１から画像情報Ｄ１３と付加情報Ｘを分離するデータフローを説明したが、多重化済み画像情報の入力形態は印刷画像情報Ｄ１１に限定されない。例えば、多重化済み画像情報を電子データとして生成し、スキャン画像情報Ｄ１２の代わりに用いることもできる。あるいは、多重化済み画像情報を電子データとして生成し、ディスプレイ等により表示した表示画像を別のイメージスキャナで読み込み、スキャン画像情報Ｄ１２の代わりとして用いることもできる。

すなわち、本発明では、図４の多重化処理と図５の分離処理との間で多重化済み画像情報を引き渡すことができればよく、印刷物や電子データ等のどのような手段を経由してもよい。

図６は、本実施形態における画像情報と付加情報の一例を示す。

図６（ａ）において、人や山が描かれた画像が、画像情報Ｄ０１の一例４５０１である。

図６（ｂ）は、テキスト情報と座標情報を含む付加情報Ｘの一例４５０２を示す。テキスト情報は、画像の撮影日時、撮影場所、画像内の人物名などを含む。座標情報は、図６（ｄ）に示す分離結果の一例４５０５において、テキスト情報が画像情報Ｄ０１のどこに表示されるかを示す。画像情報Ｄ０１の外に表示されるテキスト情報は、座標情報を「なし」としている。

図６（ｃ）において、多重化実施領域４５０３を含む画像が、多重化済み画像情報Ｄ０３の一例４５０４である。この例では、画像情報Ｄ０１の一部の領域に、付加情報Ｘが多重化されている。

図６（ｄ）において、多重化済み画像情報Ｄ０３から分離した付加情報Ｘに基づいて、スマートフォン４１０１が画像情報Ｄ０１を表示した結果が、分離結果の一例４５０５である。座標が指定されたテキスト情報は、画像情報Ｄ０１内の指定座標に表示され、座標が指定されていないテキスト情報は、画像情報Ｄ０１の外に表示される。

なお、多重化済み画像情報Ｄ０３から分離した画像情報Ｄ１３と付加情報Ｘは、プリンタ４１０２により印刷し、印刷データとして出力してもよい。すなわち、スマートフォン４１０１及びプリンタ４１０２は、多重化済み画像情報Ｄ０３から分離した画像情報Ｄ１３と付加情報Ｘを出力する画像出力装置である。

次に、図７〜図１５を用いて、図４の付加情報多重化部４４０４による処理を詳細に説明する。

図７は、本実施形態における、付加情報を画像情報に埋め込むための周期パターンの一例を示す。周期パターン４６００は、変倍済み画像情報Ｄ０２の注目画素に対して、色成分の濃度値を設定する変調周期プラス画素４６０１、変調周期通常画素４６０２、及び、変調周期マイナス画素４６０３を含む。付加情報の埋め込み、すなわち、付加情報の多重化は、画像上の予め定められた領域内において、画像を構成する各色成分に対して周期パターン４６００を挿入することで実現される。また、周期パターンの組み合わせを複数用意することで任意の情報を埋め込むことが可能となる。その場合、付加情報多重化部４４０４は、付加情報Ｘに応じて周期パターンを決定する。

本実施形態では、画像情報の一部（図７では８×８画素）に対して、図７に示す周期パターンや、他の周期パターンとなるように画素値の変調が行われることで、付加情報の一部について多重化する。例えば周期パターンが２つであれば、符号「０」もしくは「１」が、周期パターンにより多重化される。周期パターンを多数設けることで、さらに多い情報量を画像情報の一部（例えば８×８画素）に多重化するようにしてもよい。そして、本実施形態では、画像情報の複数の部分（例えば８×８画素を１ブロックとしたときの複数のブロック）のそれぞれに対して、付加情報の一部が多重化される。そのため、該複数の部分により、付加情報の全体が表現される。

なお、変調周期プラス画素４６０１、変調周期通常画素４６０２、及び、変調周期マイナス画素４６０３については、図１０を参照して詳細に説明する。

図８は、本実施形態における周期パターンを色成分毎に示した例を示す。本実施形態では、画像形成に用いられる複数の色材のそれぞれに対応する色成分について、図７で示したような周期パターンもしくは他の周期パターンになるように、変調が行われる。ただし、図８は、イエローについては適切な画像形成が行われない可能性があるため変調が行われない場合の周期パターンを示す。

図８（ａ）は、イエローの周期パターン４７０１を示す。イエローの周期パターン４７０１は、全画素が変調周期通常画素４７０６で構成されている。図８（ｂ）〜（ｄ）はそれぞれ、マジェンタの周期パターン４７０２、シアンの周期パターン４７０３、及びブラックの周期パターン４７０４を示す。これらの各周期パターンは、変調周期プラス画素４７０５、変調周期通常画素４７０６、及び変調周期マイナス画素４７０７で構成されている。本実施形態では、色成分を使用するが、輝度成分や色差成分等を使用することも可能である。すなわち、本発明は、色成分値、輝度成分値、及び色差成分値を含む画素値を使用することができる。

次に、図９〜図１１を用いて、本実施形態における周期パターンの埋め込み方法について説明する。

図９は、本実施形態における輝度信号（ＲＧＢ）から濃度信号（ＣＭＹＫ）への変換を行うための変換テーブルを示す。付加情報多重化部４４０４は、図示した変換テーブルを使用して、変倍済み画像情報Ｄ０２における輝度信号を濃度信号へ変換する。本処理は、公知の技術ではあるが、例えば０〜２５５のＲＧＢ値の組み合わせの各グリッドに対して０〜２５５のＣＭＹＫ値を持つテーブルを予め用意しておき、ＲＧＢ値を基に変換テーブルからＣＭＹＫ値を求めることで、変換処理を実施する。例えば、グリッドＡにおいて、ＲＧＢ値が５５、３６、１２８である場合には、ＣＭＹＫ値は１８１、２０１、２１６、１４７に変換される。

図１０は、本実施形態における周期パターンを構成する変調周期プラス画素、変調周期通常画素、及び変調周期マイナス画素の変調周期を示す。図１０では、シアン成分の変調周期を例として、横軸を変換前シアン成分値（すなわち、変換前Ｃ値）とし、縦軸を変換後シアン成分値（すなわち、変換後Ｃ値）として、変調周期を示している。

変調周期プラス４８０２は、変調周期通常４８０１に対して色成分値をプラス側に変更する変調周期を表す。変調周期マイナス４８０３は、変調周期通常４８０１に対して色成分をマイナス側に変更する変調周期を表す。

例えば、変換前Ｃ値１６０に対する変換後Ｃ値は、変調周期通常４８０１では１６０、変調周期プラス４８０２では２００、変調周期マイナス４８０３では１１０となる。付加情報多重化部４４０４は、０〜２５５の変換前Ｃ値に対して図示された変調周期を用いて、変調周期通常画素、変調周期プラス画素、及び変調周期マイナス画素に使用するシアン成分値を決定することができる。付加情報多重化部４４０４は、各色成分に対して同様の処理を行い、全色成分に対する変調周期を反映した値を決定することができる。

図１１は、本実施形態における変調周期を反映した色成分で構成された変換テーブルを示す。図１１（ａ）に示す変調周期通常テーブル（全色成分）４９０１は、全色成分が変調周期通常で構成されており、図９と同じテーブルである。図１１（ｂ）に示す変調周期プラステーブル（全色成分）４９０２は、全色成分が変調周期プラスで構成されている。図１１（ｃ）に示す変調周期プラステーブル（ＣＭＫのみ）４９０３は、シアン、マジェンタ、ブラックが変調周期プラス、イエローが変調周期通常で構成されている。ＣＭＫのみの変調周期プラステーブル４９０３は、後述するように、イエローにインクなしエラーが発生した場合に使用される。

図１１に示したテーブル構成は一例であるが、輝度信号（ＲＧＢ）から濃度信号（ＣＭＹＫ）への変換時にこれらのテーブルを用いることで、全色成分もしくは一部の色成分に対して周期パターンを埋め込むことが可能となる。

次に、図１２〜図１４のフローチャートを用いて、本実施形態においてインクなしエラーが発生した場合の周期パターンの埋め込み処理について説明する。

図１２は、本実施形態における、インクなしエラーが発生した色成分を特定するための色成分特定処理のフローチャートを示す。色成分特定処理は、図３における画像処理部４３０７内の処理であり、ＣＰＵ４３０１によって実行される。すなわち、ＣＰＵ４３０１は、フローチャートの各ステップを実行する手段として機能する。

ステップＳ５００１で、ＣＰＵ４３０１は、全色成分（ＣＭＹＫ）に対するインクなしエラー情報を記録部４３０６から取得し、後述するように、各色成分についてインクなしエラーが発生したかどうか判断する。

まず、ステップＳ５００２で、ＣＰＵ４３０１は、ブラックインクにインクなしエラーが発生したかどうか判断する。発生した場合には、ステップＳ５００４で変数Ｋに０をセットし、発生していない場合には、ステップＳ５００３で変数Ｋに１をセットする。ＣＰＵ４３０１は、同様の処理を、ステップＳ５００５〜Ｓ５０１３でイエローインク、マジェンタインク及びシアンインクに対して実施し、変数Ｙ、Ｍ及びＣに値（１または０）をセットする。なお、各色成分の処理順序は、フローチャートに示した順番に限定されるものではない。

次に、ステップＳ５０１４で、ＣＰＵ４３０１は、３種類の変換テーブル作成処理（以下、３変換テーブル作成処理とも呼ぶ）を行う。３種類の変換テーブルとは、変調周期通常テーブル、変調周期プラステーブル、及び変調周期マイナステーブルである。

図１３は、本実施形態における３変換テーブル作成処理のフローチャートを示す。ここでは、変調周期通常テーブル、変調周期プラステーブル、及び変調周期マイナステーブルが、各色成分のインクなしエラーの発生の有無に応じて作成される。

ステップＳ５１０１で、ＣＰＵ４３０１は、変数Ｋが１であるか判断する。変数Ｋが１である場合、ブラックに対してインクなしエラーは発生していないため、ステップＳ５１０２に進み、変調周期プラステーブル４９０１のＫ値には変調周期プラス値を使用することを決定する。次いで、ステップＳ５１０３において、変調周期マイナステーブルのＫ値には、変調周期マイナス値を使用することを決定する。

一方、変数Ｋが１でない場合（すなわち、０である場合）、ブラックインクに対してインクなしエラーが発生しているため、ステップＳ５１０４に進み、変調周期プラステーブル４９０１のＫ値には変調周期通常値を使用することを決定する。次いで、ステップＳ５１０５において、変調周期マイナステーブルのＫ値にも、変調周期通常値を使用することを決定する。すなわち、インクなしエラーが発生している場合、変調周期プラステーブル及び変調周期マイナステーブルの両テーブルにおいて、変調周期通常値を使用することを決定する。

次いで、ステップＳ５１０６において、ＣＰＵ４３０１は、変調周期通常テーブルのＫ値として変調周期通常値を使用することを決定する。すなわち、変調周期通常テーブルでは、インクなしエラーの発生の有無に関わらず、変調周期通常値が使用される。

以上で、３種類の変換テーブルに使用するＫ値を決定した。同様に、ステップＳ５１０７〜Ｓ５１２４の処理で、ＣＰＵ４３０１は、イエロー、マジェンタ、及びシアンについても３種類の変換テーブルの作成に使用するＹ値、Ｍ値、及びＣ値を決定する。なお、各色成分の処理順序は、フローチャートに示した順番に限定されるものではない。

次いで、ステップＳ５１２５〜Ｓ５１２７において、変調周期通常テーブル、変調周期プラステーブル、及び変調周期マイナステーブルを作成する。変調周期通常テーブルに使用されるＫ値、Ｙ値、Ｍ値、Ｃ値は予め定められており、変調周期プラステーブル及び変調周期マイナステーブルに使用される値は、Ｋ値、Ｙ値、Ｍ値、Ｃ値毎に用意された図１０に示した変調周期を用いて決定される。

以上説明したように、３変換テーブル作成処理が行われる。ＣＰＵ４３０１は、フローチャートの各ステップを実行する手段として機能する。

図１４は、本実施形態における、周期パターンの埋め込み処理のフローチャートを示す。周期パターン埋め込み処理では、上述したように作成された３種類の変換テーブルが使用される。また、周期パターン埋め込み処理は、図３の画像処理部４３０７内の処理であり、ＣＰＵ４３０１によって実行される。特に、本処理は、図４の付加情報多重化部４４０４における輝度信号（ＲＧＢ）から濃度信号（ＣＭＹＫ）への変換処理として実施される。すなわち、ＣＰＵ４３０１、あるいは付加情報多重化部４４０４は、フローチャートの各ステップを実行する手段として機能する。

ステップＳ５２０１で、ＣＰＵ４３０１は、変倍済み画像情報Ｄ０２の全ての画素について、多重化済み画像情報Ｄ０３への変換処理が完了しているかどうか判断する。全ての画素の変換処理が完了していない場合には、ステップＳ５２０２に進む。一方、全ての画素の変換処理が完了している場合は、処理を終了する。

ステップＳ５２０２で、ＣＰＵ４３０１は、対象画素が、図７の周期パターンのどの画素に対応するか決定し、その画素の変調周期がプラスかどうか判定する。変調周期がプラスであれば、ステップＳ５２０３に進み、変調周期プラスの変換テーブルを選択する。一方、変調周期がプラスでない場合は、ステップＳ５２０４に進む。

ステップＳ５２０４で、ＣＰＵ４３０１は、対象画素の変調周期がマイナスかどうか判定する。変調周期がマイナスであれば、ステップＳ５２０５に進み、変調周期マイナスの変換テーブルを選択する。一方、変調周期がマイナスでもない場合は、ステップＳ５２０６に進み、変調周期通常の変換テーブルを選択する。

次いで、ステップＳ５２０７で、ＣＰＵ４３０１は、選択した変換テーブルを使用して輝度信号（ＲＧＢ）から濃度信号（ＣＭＹＫ）への変換処理を行う。次いで、ステップＳ５２０８で、ＣＰＵ４３０１は変換対象を次の画素に移動する。

以上の処理により、周期パターンの埋め込み処理が行われる。

本実施形態では、インクなしエラーが発生した場合のフローについて説明したが、インク残量不足の検知結果、もしくは印字ヘッドからのインク吐出不良の検知結果により同様の処理を実施することも可能である。また、トナーについても同様であり、インク及びトナー等を含む色材について同様の処理を実施することができる。

図１５は、本実施形態における変調周期の変調度合いを示す。特に、図１５では、変調周期通常の変調度合い５３０１と、変調周期プラスの変調度合い５３０２と、更にプラス信号を強調した変調周期プラス強調の変調度合い５３０３が示されている。付加情報多重化部４４０４は、周期パターンを埋め込む色成分に対して変調周期プラスの代わりに、変調周期プラス強調を用いることで変調度合いを調整し、埋め込む信号値を増幅することが可能である。そうすることで、埋め込んだ周期パターンを抽出しやすくすることができる。また、変調周期マイナスに関しても同様に変調度合いを調整し、信号値を強調することが可能である。

以上説明したように、付加情報多重化部４４０４による多重化処理が行われる。

次に、図１６〜図１９を用いて、本実施形態における付加情報分離処理について説明する。付加情報分離処理は、図５の付加情報分離部４４５３によって実施される。

図１６は、本実施形態におけるスキャン画像周期パターン５４０１を示す。スキャン画像周期パターン５４０１は、図５の付加情報分離部４４５３に入力されるスキャン画像情報Ｄ１２の周期パターンである。ここでは、スキャン画像情報Ｄ１２を、イエローインクなしエラーが発生した状態で印刷された多重化済み画像情報を読み取った画像とし、輝度信号（ＲＧＢ）で構成されているものとする。そして、スキャン画像情報Ｄ１２の輝度信号から周期パターンを抽出した結果が、スキャン画像周期パターン５４０１であり、変調周期プラス画素５４０２、及び変調周期通常画素５４０３で構成されている。スキャン画像周期パターン５４０１には、変調周期マイナス画素は含まれていない。

なお、周期パターンの抽出には既存技術を利用することができる。例えば、スキャン画像情報Ｄ１２は疑似階調処理により階調表現されているため、逆疑似階調処理である復元処理を施す。復元処理には一般的に、ローパスフィルタが用いられる。そして、復元後の情報を直交変換処理した後に、特定の周波数によって埋め込まれた付加情報を分離することで、周期パターンを抽出することができる。

次に、図１７を用いて、付加情報分離部４４５３の処理を説明する。図１７は、本実施形態における色成分毎のスキャン画像周期パターンを示す。図１７（ａ）は、イエロー周期パターン５５０１を示し、図１７（ｂ）は、マジェンタ周期パターン５５０２を示す。また、図１７（ｃ）は、シアン周期パターン５５０３を示し、図１７（ｄ）は、ブラック周期パターンを示す。

まず、付加情報分離部４４５３は、入力されたスキャン画像情報Ｄ１２を色フィルタ等の公知の技術を利用してＣＭＹＫの各色成分に分解する。そして、色成分毎に周期パターンを抽出する。すなわち、付加情報分離部４４５３は、色材毎の周期パターンを抽出する。周期パターンの抽出には、上述した既存技術が利用できる。図１７（ａ）〜（ｄ）は、抽出した各色成分の周期パターンを示す。各周期パターンは、図１６と同様に、３種類の画素（すなわち、変調周期プラス画素、変調周期通常画素、及び変調周期マイナス画素）で構成されている。

次に、付加情報分離部４４５３は、各色成分の周期パターンにおいて、変調周期プラス画素または変調周期マイナス画素が含まれているか確認する。インクなしエラー発生した色成分は、変調周期通常画素もしくはＮＵＬＬ値を有する画素で構成されているため、変調周期プラス画素もしくは変調周期マイナス画素が含まれていれば、インクなしエラーが発生していない色成分と判断できる。図１５に示した強調した変調周期プラス画素及び変調周期マイナス画素についても同様である。図１７（ａ）のイエロー周期パターン５５０１は、変調周期通常画素で構成されているため、インクなしエラーが発生していた可能性がある。

図１８は、本実施形態における周期パターンの合成方法を説明する図である。周期パターンの合成は、変調周期プラス画素、変調周期通常画素、変調周期マイナス画素、ＮＵＬＬ値を有する画素という順番の優先順位に従い、各色成分の周期パターンにおける対象画素について行われる。図１８に示す周期パターンの合成例５６０１では、各色成分（ＣＭＹＫ）の中で最も優先順位が高いものが選択されて、合成後の結果として示されている。なお、インクなしエラーが発生した可能性があると判断された色成分は、合成に使用されない。

図１８の例１では、シアン（Ｃ）成分において最も優先順位が高い変調周期プラス画素が用いられているため、合成後には、変調周期プラス画素が選択されている。例２では、シアン（Ｃ）成分及びイエロー（Ｙ）成分の変調周期通常画素が最も優先順位が高いので、合成後には、変調周期通常画素が選択されている。例３では、マジェンタ（Ｍ）成分の変調周期マイナス画素が最も優先順位が高いので、合成後には変調周期マイナス画素が選択されている。

図１９は、本実施形態におけるＫＭＣ合成周期パターン５７０１を示す。ＫＭＣ合成周期パターン５７０１は、図１７におけるマジェンタ周期パターン５５０２、シアン周期パターン５５０３、及びブラック周期パターン５５０４を、図１８を参照して説明した合成方法に従い合成した結果である。なお、イエロー周期パターン５５０１は、インクなしエラーが発生した可能性があるため、合成には使用されない。

以上説明したように、付加情報分離部４４５３は、合成周期パターンを抽出する。更に、付加情報分離部４４５３は、公知技術を適用して、抽出した合成周期パターンに基づいて画像情報Ｄ１３と付加情報Ｘを分離し、それぞれを出力端子４４５４及び４４５５に出力する。

図２０は、本実施形態における付加情報分離処理のフローチャートを示す。付加情報分離処理は、付加情報分離部４４５３によって実施される。すなわち、付加情報分離部４４５３は、フローチャートの各ステップを実行する手段として機能する。

まず、ステップＳ５８０１で、付加情報分離部４４５３は、多重化済み画像情報から色成分毎の周期パターンを抽出する。

次いで、ステップＳ５８０２で、付加情報分離部４４５３は、抽出した色成分毎の周期パターンから、変調周期プラス画素または変調周期マイナス画素を含む周期パターンを特定する。

次いで、ステップＳ５８０３で、付加情報分離部４４５３は、特定された周期パターンを、図１８を参照して説明したように合成する。

次いで、ステップＳ５８０４で、付加情報分離部４４５３は、合成した周期パターンを用いて、多重化済み画像情報から画像情報と付加情報を分離する。

このように、本実施形態によると、１または複数の色成分にインクなしエラーが発生した状態でも、インクなしエラーが発生していない他の色成分を用いて、画像情報へ付加情報を埋め込み、多重化することができる。さらに、インクなしエラーが発生した状態で画像情報に埋め込まれ、多重化された付加情報を分離することも可能となる。また、インク残量の検知結果、もしくは印字ヘッドからのインク吐出不良の検知結果により画像形成不良が発生する可能性がある場合にも同様に適用することができる。また、トナーについても同様であり、インク及びトナー等を含む色材についてかかる処理を適用することができる。

また、本実施形態では、画素単位の周期パターンに関して説明したが、複数画素から構成される領域単位に処理を行うことも可能である。また、画像情報が画像形成不良が発生する可能性がある色成分のみで出力される場合には、付加情報が多重化されないこととなるが、誤った情報を復元する可能性はなくなる。また、画像情報は通常、複数の色成分で構成されるため、他の色成分による情報の復元が可能である。更に、同じ付加情報を複数の領域に多重化することで、特定領域から情報が復元できない場合でも、他領域の情報を使用することができる。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムをネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１以上のプロセッサがプログラムを読出して実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

４４０１、４４０２ 入力端子
４４０３ 画像形成部
４４０４ 付加情報多重化部
４４０５ 印刷データ生成部

Claims (15)

1. 異なる変調周期を有する画素の組み合わせで構成された周期パターンを使用して、画像情報に付加情報を多重化する画像処理装置であって、
   前記画像情報の画像形成に用いられる複数の色材のうちの、画像形成不良が発生する可能性がある色材を特定する特定手段と、
   前記画像情報の一部の、前記複数の色材のそれぞれに対応する色成分が、前記周期パターンとなるように、当該一部を変調する変調手段と、
   前記変調手段により前記画像情報の複数の部分に対して変調を行うことで、前記付加情報を多重化する多重化手段と、
   を有し、
   前記変調手段は、前記複数の色材のうちの前記特定手段により特定された色材に対応する前記一部の色成分は前記周期パターンとならず、前記複数の色材のうちの前記特定手段により特定されていない色材に対応する色成分が前記周期パターンとなるように、前記一部を変調することを特徴とする画像処理装置。
2. 前記特定手段は、色材なしエラーの発生、色材残量不足の検知結果、あるいは色材の吐出不良または転写不良の検知結果により、前記画像形成不良が発生する可能性がある色材を特定することを特徴とする請求項１に記載の画像処理装置。
3. 前記異なる変調周期は、所定の変調周期に対して前記色成分をプラス側に変更する変調周期、前記所定の変調周期、及び前記所定の変調周期に対して前記色成分をマイナス側に変更する変調周期を含むことを特徴とする請求項１または２に記載の画像処理装置。
4. 前記変調手段は、前記色成分をプラス側に変更する変調周期、または、前記色成分をマイナス側に変更する変調周期の変調度合いを調整して、前記変調を行うことを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
5. 前記色成分が、輝度成分または色差成分であることを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
6. 請求項１乃至５のいずれか１項に記載の画像処理装置と、
   前記画像処理装置によって前記付加情報が多重化された多重化済み画像情報を出力する出力手段と
   を備えたことを特徴とする画像出力装置。
7. 異なる変調周期を有する画素の組み合わせで構成された周期パターンを使用して画像情報に付加情報が多重化された多重化済み画像情報から、前記画像情報と前記付加情報を分離する画像処理装置であって、
   前記多重化済み画像情報から色材毎の周期パターンを抽出する抽出手段と、
   前記抽出された周期パターンのうち、所定の変調周期により色成分が変更された画素を含む周期パターンを特定する特定手段と、
   前記特定された周期パターンを合成する合成手段と、
   前記合成された周期パターンを使用して、前記多重化済み画像情報から前記画像情報と前記付加情報を分離する分離手段と
   を有することを特徴とする画像処理装置。
8. 前記所定の変調周期は、前記色成分をプラス側に変更する変調周期、または、前記色成分をマイナス側に変更する変調周期であることを特徴とする請求項７に記載の画像処理装置。
9. 前記合成手段は、周期パターンに含まれる各画素の所定の優先順位に従って、前記特定された周期パターンを合成することを特徴とする請求項７または８に記載の画像処理装置。
10. 前記所定の優先順位は、前記色成分をプラス側に変更する変調周期を有する画素、前記色成分の通常の変調周期を有する画素、前記色成分をマイナス側に変更する変調周期を有する画素、ＮＵＬＬ値を有する画素の順番であることを特徴とする請求項９に記載の画像処理装置。
11. 前記色成分が、輝度成分または色差成分であることを特徴とする請求項７乃至１０のいずれか１項に記載の画像処理装置。
12. 請求項７乃至１１のいずれか１項に記載の画像処理装置と、
    前記画像処理装置によって分離された前記画像情報と前記付加情報を出力する出力手段と
    を備えたことを特徴とする画像出力装置。
13. 異なる変調周期を有する画素の組み合わせで構成された周期パターンを使用して、画像情報に付加情報を多重化する画像処理装置によって実行される画像処理方法であって、
    前記画像情報の画像形成に用いられる複数の色材のうちの、画像形成不良が発生する可能性がある色材を特定する特定工程と、
    前記画像情報の一部の、前記複数の色材のそれぞれに対応する色成分が、前記周期パターンとなるように、当該一部を変調する変調工程と、
    前記変調工程において前記画像情報の複数の部分に対して変調を行うことで、前記付加情報を多重化する多重化工程と、
    を含み、
    前記変調工程において、前記複数の色材のうちの前記特定工程において特定された色材に対応する前記一部の色成分が前記周期パターンとならず、前記複数の色材のうちの前記特定工程において特定されていない色材に対応する色成分が前記周期パターンとなるように、前記一部を変調することを特徴とする画像処理方法。
14. 異なる変調周期を有する画素の組み合わせで構成された周期パターンを使用して画像情報に付加情報が多重化された多重化済み画像情報から、前記画像情報と前記付加情報を分離する画像処理装置によって実行される画像処理方法であって、
    前記多重化済み画像情報から色材毎の周期パターンを抽出する抽出工程と、
    前記抽出された周期パターンのうち、所定の変調周期により色成分が変更された画素を含む周期パターンを特定する特定工程と、
    前記特定された周期パターンを合成する合成工程と、
    前記合成された周期パターンを使用して、前記多重化済み画像情報から前記画像情報と前記付加情報を分離する分離工程と
    を含むことを特徴とする画像処理方法。
15. コンピュータを、請求項１乃至５及び７乃至１１のいずれか１項に記載の画像処理装置、あるいは請求項６または１２に記載の画像出力装置として機能させるためのプログラム。