JP2006040260A - 印刷画像を自動的に分類するシステム - Google Patents

Abstract

【課題】印刷画像を自動的に分類できるシステムを提供する。
【解決手段】印刷画像を走査するスキャナーと、走査画像を格納しかつ予め定められた値のアレイを格納するメモリと、前記予め定められた値のアレイが印刷画像を生成する異なる画像マーキングプロセスを表わすメモリと、前記走査画像から１つのｎ×ｎピクセル・ブロックを選択し、前記ピクセル・ブロックのＤＣＴ係数のアレイを演算し、前記ＤＣＴ係数のアレイを前記予め定められた値のアレイと比較し、そして前記印刷画像を生成する画像マーキングプロセスを前記ＤＣＴ係数と前記予め定められた値のアレイとの比較に基づいて判定するためのプロッセサとを設ける。なお、前記演算されたＤＣＴ係数が、前記ピクセル・ブロックの空間的周波数および空間的配向を表わし、そして前記予め定められた値のアレイが印刷画像を生成する異なる画像マーキングプロセスを表わす。
【選択図】図８

Description

本発明は、一般的には、媒体上に画像を形成するために用いられるマーキングプロセスを自動的に識別する方法に関する。

従来の写真撮影（Ｐｈｏｔｏｇｒａｐｈｙ）、石版印刷（Ｌｉｔｈｏｇｒａｐｈｙ）、乾式複写（Ｘｅｒｏｇｒａｐｈｙ）、インクジェット印刷等の種々の画像生成法を用いて日々多数のカラーハードコピー画像が生成されている。これらの種々の媒体上で生成された画像は、種々の用途に使用するためにコピーしたり、あるいは電子表示を作成するために、爾後に走査されることが多い。走査処理は、オリジナルのハードコピー画像におけるカラー情報を正確に記録することが望ましい。典型的なスキャナーのスペクトルレスポンスは、典型的な観察者のそれに対応していないので、カラー画像を較正するために正しい媒体依存較正が用いられさえすれば、正確なカラー較正を得ることができる。正しくないスキャナー・カラー較正が用いられると、非常に大きなカラー誤差を生ずることになりうる。

基板上に保持された画像を走査する例えばカラースキャナーのようなスキャナーを正確に較正するためには、例えば写真撮影、インクジェット印刷、乾式複写、石版印刷等のようなマーキングプロセスおよび基板上に画像を形成するために用いられる例えばトナー、顔料、インク等のような材料に応じて、異なる較正変換が必要とされる。例えば、写真画像に対してスキャナーを較正するために用いられる較正変換は、インクジェット印刷画像に対してスキャナーを較正するために用いられる較正変換とは異なり、また乾式複写で形成された画像や石版印刷で形成された画像に対してスキャナーを較正するために用いられる較正変換とも異なる。これらのカテゴリーのそれぞれにおいて入力画像の粒子分類をより細かくすれば、さらなる精度が得られることにもなるであろう。
米国特許第５３４１２２６号 米国特許第５４１６６１３号 米国特許第５６８７３０３号 米国特許第５７６０９１３号 米国特許第５７６５０２９号 米国特許第５７７８０９２号 米国特許第５８５０４７４号 米国特許第６０３１６１８号 米国特許第６０６９９７３号 米国特許第６１４１１２０号 米国特許第６３５３６７５号

通常、画像を走査したいユーザーは、マーキングプロセスについての事前の認識によって、画像を形成するために用いられるマーキングプロセスを判定し、例えば写真撮影、インクジェット、乾式複写、あるいは石版印刷のようなマーキングプロセスを手動で識別し、そして適切な較正が使用できるようにマーキングプロセス情報を用いてスキャナーを設定する。手動識別は、異なるマシーン設定が推定されるユーザー・インタフェース上でハーフトーン対フォト対乾式複写コピーのような異なる記述を用いて行われるのが通常である。走査媒体のオペレータ識別は、不正なスキャナー較正を用いることによって生ずる色合いおよびカラー誤差の問題を排除することができる。しかし、この処理は厄介であるだけでなく、入力媒体を正しく識別することは、初心者のユーザーには容易に期待することはできない。

先に、付加的な情報やオペレータ入力を必要とすることなく媒体の識別を行う自動的方法が提案された。その提案された方法は、走査画像の空間特徴を解析しかつ対応する再生処理に対する走査媒体の種類と空間特性との間の強い相関関係を利用することにより作用する。必要とされているのは、自動媒体識別のための他の手法である。

ハードコピー上のカラー画像を走査する場合には、該当する媒体に関連した正しいカラー補正を提供するか、あるいは画像に該当するプロファイルをつけることが重要である。本発明による走査印刷媒体を分類する方法は、走査媒体を分類しかつ作成された対応するカラー較正プロファイルを走査文書に整合させるためにＪＰＥＧ／ＤＣＴ（離散余弦変換）を用いる。本発明の方法は、ほとんどの走査システムにおいて、大量のデータがＪＰＥＧ圧縮データの形で記述されるという事実を活用する。ＪＰＥＧドメイン（画像ドメインではなくて）におけるプロセス識別は圧縮された画像パスにおいて明らかな利点を有する。このことが達成されるようにするために、本発明者等は、ハフマン・コード（Ｈｕｆｆｍａｎ ｃｏｄｅｓ）およびエンコーデイング・コスト・マップ（Ｅｎｃｏｄｉｎｇ Ｃｏｓｔ Ｍａｐｓ）を介して、あるいは変換係数を介して、ＪＰＥＧ供給データに対して良く機能する分類器を見出した。

本発明に従って印刷画像を自動的に分類する方法は、印刷画像を走査し、走査画像から１つのｎ×ｎピクセル・ブロックを選択し、そのピクセル・ブロックのＤＣＴ係数のアレイを演算し、この場合、演算されたＤＣＴ係数がピクセル・ブロックの空間周波数および空間配向を表わし、ＤＣＴ係数を用いて印刷画像を生成するために用いられる異なる画像マーキングプロセスを識別するように構成された分類器にＤＣＴ係数のアレイを入力し、そしてＤＣＴ係数のアレイに基づいて、印刷画像を生成するために用いられた画像マーキングプロセスを判定することを含む。

本発明の他の態様に従って印刷画像を自動的に分類する方法は、印刷画像を走査し、走査画像から１つのｎ×ｎピクセル・ブロックを選択し、そのピクセル・ブロックのＤＣＴ係数のアレイを演算し、この場合、演算されたＤＣＴ係数がピクセル・ブロックの空間周波数および空間配向を表わしており、ＤＣＴ係数のアレイを予め定められた値のアレイと比較し、この場合、予め定められた値のアレイは印刷画像を生成するために用いられる異なる画像マーキングプロセスを表わしており、そしてＤＣＴ係数のアレイと予め定められた値のアレイとの比較に基づいて印刷画像を生成するために用いられた画像マーキングプロセスを判定することを含む。この方法では、すべてのＤＣＴ係数を用いるのではなくて、ＤＣＴ係数のアレイをサンプリングしてピクセル・ブロックの特徴組を生成し、そしてその特徴組を予め定められた値のアレイと比較して、印刷画像を生成するために用いられた画像マーキングプロセスを判定することを、さらに含んでいてもよい。

本発明の他の態様によれば、この方法は、ＤＣＴ係数のアレイを、ＤＣ項と、同様の放射状空間周波数を有するＤＣＴ係数の複数のセグメントと、同様の空間配向を有するＤＣＴ係数の複数のセグメントとにグループ化し、そして各セグメントに対して、そのセグメント内のすべてのＤＣＴ係数の絶対値を演算してピクセル・ブロックの特徴を生成し、この場合、特徴組がＤＣ項とすべてのセグメントの特徴を含むようにすることを、さらに含んでいてもよい。次に、印刷画像の既知の例でもって訓練されたニューラルネットワークに特徴組が入力される。この方法は、画像マーキングプロセスが、写真撮影による画像マーキングプロセス、石版印刷による画像マーキングプロセス、乾式複写による画像マーキングプロセスあるいはインクジェットによる画像マーキングプロセスであるかを判定する。画像マーキングプロセスが判定されると、その判定された画像マーキングプロセスに基づいて、印刷画像に対するカラー較正プロファイルが選択されうる。

この方法は、単一のカラーチャンネル、例えば、レッド、グリーン、およびブルーのうちの１つに対して用いることができる。あるいは、この方法は、３つのカラーチャンネルの全部に用いて、各カラーチャンネルに対するＤＣＴ係数をニューラルネットに入力することもできる。画像のＤＣＴ圧縮を既に行っているシステムでこの方法が実行される場合には、ＤＣＴ演算の全てまたは一部をこの方法で用いることができ、個別に演算する必要がない。

予め定められた値のアレイが印刷画像を生成するために用いられる異なる画像マーキングプロセスを表わしている場合には、その予め定められた値のアレイは、既知の画像の評価によって、あるいは試行錯誤による設計によって判定されうる。この方法は、一連の既知画像に適用され、特定の種類の画像マーキングプロセスに対応した値について、ＤＣＴ係数が収集されかつカテゴリー化される。

本発明の他の態様によれば、印刷画像を自動的に分類するシステムが、印刷画像を走査するためのスキャナーと、走査画像を格納しかつ予め定められた値のアレイを格納するためのメモリであって、前記予め定められた値のアレイが印刷画像を生成するために用いられる異なる画像マーキングプロセスを表わすメモリと、前記走査画像から１つのｎ×ｎピクセル・ブロックを選択し、前記ピクセル・ブロックのＤＣＴ係数のアレイを演算し、前記ＤＣＴ係数のアレイを前記予め定められた値のアレイと比較し、そして前記印刷画像を生成するために用いられた画像マーキングプロセスを前記ＤＣＴ係数と前記予め定められた値のアレイとの比較に基づいて判定するためのプロッセサであって、前記演算されたＤＣＴ係数が前記ピクセル・ブロックの空間周波数および空間配向を表わし、前記予め定められた値のアレイが印刷画像を生成するために用いられる異なる画像マーキングプロセスを表わすプロセッサを含んでいる。

ドキュメントを作成するのに用いられる印刷技術を判定するための方法は、離散余弦変換によって画像を解析する。下記の説明は、８×８ピクセル・ブロックを用いた標準のＪＰＥＧ圧縮データに基づいているが、任意のベースサイズ（例えばｎ×ｎのサイズのピクセル・ブロック）またはそれより大きいベースサイズ、例えば１６×１６のブロックまでの拡張は容易である。

ＪＰＥＧは、ジョイント・フォトグラフィック・エキスパーツ・グループ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）によって開発された画像圧縮標準規格である。ＪＰＥＧ圧縮は、カラー画像とともにグレースケール画像をも圧縮する。ＪＰＥＧは、カラー画像のレッド・グリーン・ブルー成分を３つの個別のグレースケール画像として圧縮することができる。ＪＰＥＧ処理は、入力画像を複数の８×８ピクセル・プロックに分割し、そして各ブロックの離散余弦変換（ＤＣＴ）を演算する（これによって６４の係数のマトリックスを生ずる）。量子化器を用いて、量子化マトリックスに従ってそのＤＣＴ係数を丸める。最後に、エンコーダを用いて、量子化された係数を出力ファイルに出力する（圧縮画像）。

離散余弦変換（ＤＣＴ）は、画像を画像の表示品位に対する重要性が異なる複数の部分（または周波数サブバンド）に分離するのを容易にする。ＤＣＴは離散フーリエ変換と類似していて、それと密接に関連しており、信号または画像を空間ドメインから周波数ドメインに変換する。入力画像ｆの場合、出力「画像」Ｆに対する係数は下記の数１に従って演算される。
入力画像ｆは８ピクセル幅×８ピクセル高さであり、ｆ（ｎ₁，ｎ₂）は行ｎ₁および列ｎ₂におけるピクセルの強度である。Ｆ（ｋ₁，ｋ₂）はＤＣＴアレイの行ｋ₁および列ｋ₂におけるＤＣＴ係数である。全てのＤＣＴ掛け算が実数である。ＤＣＴ入力は整数の８×８アレイである。このアレイは、各ピクセルのグレースケールレベルを含む。８ビット・ピクセルは０から２５５までのレベルを有する。ＤＣＴ係数の出力アレイは、−１０２４から１０２３までの範囲でありうる。ほとんどの画像の場合、信号エネルギーの多くが、ＤＣＴの左上のコーナーに現れる低い周波数にある。左上コーナーから右に移動する場合には、対応する係数は、増加する水平に配向された周波数を表わし、左上コーナーから下方に移動する場合には、対応する係数は、増加する垂直に配向された周波数を表わす。右上コーナー値は最も高い周波数の大きさを表わす。

選択された入力画像が走査され、そしてその走査された画像からの１つの８×８ピクセル・ブロックが解析のために選択される。図１は、例示的な８×８ピクセル・ブロックであり、図２は、ＤＣＴ係数に対応する規格化された出力のＤＣＴアレイである。図２を参照すると、８×８ピクセル・ブロックの最初のエレメント（＝３１３）はＤＣ項であり、そして他のエレメントは異なる空間周波数および異なる空間配向を有する余弦変換を表わしている。水平方向は、左から右への水平方向における増加周波数を表わし、垂直方向は、上から下への垂直方向における増加周波数を表わす。各セルの値は、入力ブロック内の対応する周波数成分の余弦変換を表わす。

この方法は、画像印刷方法が印刷媒体（基板とインクまたはトナー）と良く関連しているという観察に基づいている。従って、印刷された画像の微細構造を識別することにより、印刷技術を高い確信度をもって予測することができる。一般に使用されているマーキングプロセスに対する微細構造の差は、周波数ドメインで特に明白であり、従って、ＤＣＴはこの解析に良く適合している。ＤＣＴ係数のそれぞれは、入力画像が写真撮影によるものか、石版印刷によりものか、乾式複写によるものか、あるいはインクジェットによるものかを判定するために印刷方法を識別するように訓練された、あるいは試行錯誤により設計された分類器に入力することができる。ＤＣＴ係数のアレイは、画像を生成するために用いられたマーキングプロセスを推定するために分類器で直接使用することができる。例えば、分類器は、ＤＣＴ係数のアレイを異なる画像マーキングプロセスに対応する予め定められた値のアレイと比較して、印刷画像を生成するためにどの画像処理法が用いられたかを判定するように構成することができる。しかし、本発明では、それらの係数を分類器に直接与えるのではなくて、より小さい分類のための特徴空間を生成するためにＤＣＴ出力をさらにサンプリングすることを提案する。この提案された方法が図３および４に示されている。

６４のＤＣＴ係数のアレイが、１３のセグメントにグループ分けまたはサンプリングされ、それらのセグメントは図３および４において異なるシェーデイングで示されている。単一のエレメントＤＣ項の他に、図３には、同様の放射状空間周波数を有するＤＣＴ係数を一緒にグループ化する７つのリング状セグメントが定義されており、他方、図４には、同様の空間配向を有するＤＣＴ係数を一緒にグループ化する５つのウエッジ状セグメントが定義されている。各セグメントに対して、そのセグメントにおける全ての係数の絶対値の和が演算され、出力として用いられる。減少した特徴組は、１３のエントリー、すなわちｄｃ、ｒ１、ｒ２、ｒ３、ｒ４、ｒ５、ｒ６、ｒ７、ｗ１、ｗ２、ｗ３、ｗ４およびｗ５よりなり、図３および４に示された例に対応する値は、３１３、９４、７４、６８、２２８、１２９、１４９、６０、３２８、２０５、１０３、６２および９１にそれぞれ等しい。

異なる走査媒体は本質的に区別できる微細構造を有する。写真撮影によるコントーンの走査画像は、一般に石版印刷、乾式複写およびインクジェット印刷処理によって生成されるハーフトーン画像よりも微細構造的に、はるかにスムーズな外観を有する。さらに、ほとんどのインクジェットによる走査画像はａ周期性の分散された性質を有しており、他方、乾式複写および石版印刷による画像は、強い周期性の構造を有し、石版印刷による再生は、乾式複写画像よりも高い空間周波数および低いノイズを有する。異なる走査媒体と区別できるこれらの微細構造の性質は、対応するサンプルの離散余弦変換の結果によって良く表示される。上述のサンプリング法は、異なる媒体の区別可能な特徴を抽出し、異なる微細構造の配向ならびに周波数の差を強調するのに特に適している。次に、減少した特徴組を解析し、予め定められた値のアレイと比較して、印刷画像を生成するために用いられた画像マーキングプロセスを判定する。

減少した特徴組と異なる画像マーキングプロセスを表わす予め定められた値との間の解析および比較処理を容易にするために、フィードフォワード・ニューラルネットワークを用いることができる。グレースケール画像の場合には、単一のチャンネル、したがってＤＣＴ係数の単一のアレイが演算されうる。カラー処理の場合には、ＤＣＴ係数のアレイが、各カラーチャンネル（例えば、レッド、グリーンおよびブルー）について演算されうる。各アレイは、減少した特徴組を生成するために、サンプリングされうる。図５を参照すると、ニューラルネットワークが示されている。カラー画像の場合には、ニューラルネットワークへの入力（ＤＣＴ特徴）は３９の入力（それぞれ１３のエレメントの特徴組を有する３つのカラーチャンネル）と、８つの隠れニューロン（隠れ中間層）および４つの出力（分類カテゴリー）より成っており、この場合、３９の入力はレッド、グリーンおよびブルーのチャンネル全体からのサンプリングされたＤＣＴ出力であり、４つの出力は写真撮影、石版印刷、乾式複写およびインクジェットの４つの画像マーキングプロセスを表わす。

図６に示されている写真撮影による１つの画像、石版印刷による３つの画像、乾式複写による３つの画像、そしてインクジェットによる３つの画像の１０の画像が、この方法を評価するために使用された。訓練のために、２００の８×８ピクセル・ブロックが各画像からランダムに選択された。各選択されたブロックおよびＲＧＢチャンネルのそれぞれに対してＤＣＴ係数のアレイがそれぞれ演算された。その結果得られたＤＣＴアレイが、提案されたリング／ウエッジ・パターン・サンプリング法によって、さらに処理された。このサンプリングされたデータが、指定された出力（例えば、１、０、０、０は写真撮影の画像を表わす）と組み合わせて、図５に示されたニューラルネットワークを訓練するために用いられた。

適切な訓練の後で、１０の画像のそれぞれの全体の映像がテストのために用いられた。換言すれば、各８×８ピクセル・ブロックがそれのＤＣＴ値を演算され、そして分類器に対する入力としてサンプリングされた。平均カラーがペーパーホワイトかソリッドブラックのいずれかに近すぎた場合でも、訓練とテストの両方のために排除されたのは、全部の８×８ピクセル・ブロックの２０％より少なかったことに注目されたい。全部で３，０００，０００より多い８×８ピクセル・ブロックがテストされたが、その分類結果が図７に示されている。図７に示されている統計は、単一の８×８ピクセル・ブロックからの入力に基づいた分類器出力である。実際の適用のためには、１つより多いピクセル・ブロックを用いて決定すればよく、正しい分類比は、ここで示された９０％より高くさえなるであろう。

ＪＰＥＧ／ＤＣＴ出力の提案されたサンプリング法とニューラルネットワークとを組み合わせて、写真撮影、乾式複写、石版印刷およびインクジェットによる走査画像、および他のマーキングプロセス形式を分類するためのシステムを構築することができるであろう。テスト画像の１つから単一の８×８ピクセル・ブロックをランダムに選択しかつその８×８ピクセル・ブロックをこのシステムで処理することにより、正しい分類が９０％以上となる。ＤＣＴベースのＪＰＥＧは、デジタルスキャナーの必要不可欠な部分である画像圧縮のために広く用いられているから、ＤＣＴのハードウエアまたはソフトウエア実装は多くのスキャナーに対する画像パスで既に利用可能である。提案された手法は、自動走査媒体識別のための非常に実用的な解決を提供することができるであろう。圧縮のために演算されたＤＣＴ係数を用いることによって、あるいはこの演算の全てまたは一部を再使用することによって、マーキングプロセス分類の付加される演算負荷を最小限に抑えることができるであろう。

図８を参照すると、画像を自動的に分類するためのシステムのブロック図が示されている。このシステムは、印刷画像を走査するためのスキャナーを含んでいる。走査画像はメモリ１０に格納される。異なる画像マーキングプロセスを表わす予め定められた値のアレイもメモリ１０に格納される。プロッセサ１２０は、メモリ１１０に格納された走査画像から１つのｎ×ｎピクセル・ブロックを選択し、そのピクセル・ブロックのＤＣＴ係数のアレイを演算し、ＤＣＴ係数のアレイを予め定められた値のアレイと比較し、そしてその比較に基づいて、印刷画像を生成するために用いられた画像マーキングプロセスを判定する。

本発明をカラークキャナーに関して説明したが、本発明はそのような実施形態に限定されない。本発明は、遠隔地点で得られた走査画像データや、あるいはスキャナー以外の、例えばデジタルカメラのような機器によってハードコピー再生から得られた画像データにも適用できる。本発明は、例えばカラーコピー機のような任意のカラー再生装置でも実施できるが、上述した特定のカラーに限定されることを意図されたものではない。上述のように、ＪＰＥＧは、カラー画像のレッド・グリーン・ブルー成分を３つの別々のグレースケール画像として圧縮することができる。レッド・グリーン・ブルーは、ルミナンス・クロミナンス１・クロミナンス２またはシアン・マゼンタ・イエロー・ブラックで置き換えることもできる。ＪＰＥＧ圧縮は、種々のカラー・スペースに対して実行できるものであり、本発明の方法およびシステムはそれらの全てに対して機能する。

入力画像から例示的な８×８ピクセル・アレイである。 図１の入力画像に対応するＤＣＴアレイである。 空間周波数による図２のＤＣＴアレイのサンプリングを示している。 空間配向による図２のＤＣＴアレイのサンプリングを示している。 ３つのカラー・チャンネルからの特徴組がインプットされて分類カテゴリーを認定するニューラルネットワークを示している。 分類器を訓練するために用いられる１０の入力画像である。 訓練された分類器のテスト結果を示している。 走査媒体を分類するためのシステムのブロック図である。

符号の説明

１００ スキャナー
１１０ メモリ
１２０ プロッセサ

Claims (4)

1. 印刷画像を自動的に分類するシステムであって、
   印刷画像を走査するためのスキャナーと、
   走査画像を格納しかつ予め定められた値のアレイを格納するためのメモリであって、前記予め定められた値のアレイが印刷画像を生成するために用いられる異なる画像マーキングプロセスを表わすメモリと、
   前記走査画像から１つのｎ×ｎピクセル・ブロックを選択し、前記ピクセル・ブロックのＤＣＴ係数のアレイを演算し、前記ＤＣＴ係数のアレイを前記予め定められた値のアレイと比較し、そして前記印刷画像を生成するために用いられた画像マーキングプロセスを前記ＤＣＴ係数と前記予め定められた値のアレイとの比較に基づいて判定するためのプロッセサであって、前記演算されたＤＣＴ係数が前記ピクセル・ブロックの空間的周波数および空間的配向を表わし、前記予め定められた値のアレイが印刷画像を生成するために用いられる異なる画像マーキングプロセスを表わすプロセッサを具備した、印刷画像を自動的に分類するシステム。
2. 前記プロセッサが、前記ピクセル・ブロックの特徴組を生成するために前記ＤＣＴ係数のアレイをサンプリングし、かつ前記印刷画像を生成するために用いられた画像マーキングプロセスを判定するために前記特徴組を前記予め定められた値のアレイと比較する、請求項１に記載のシステム。
3. 前記サンプリングが、
   前記ＤＣＴ係数のアレイを、ＤＣ項と、同様の放射状空間的周波数を有するＤＣＴ係数の複数のセグメントと、同様の空間的配向を有するＤＣＴ係数の複数のセグメントとにグループ化し、そして
   各セグメントに対して、そのセグメント内のすべてのＤＣＴ係数の絶対値の和を演算することを含み、前記特徴組が前記ＤＣ項および全てのセグメントの特徴を含む、請求項２に記載のシステム。
4. 前記プロセッサが、前記特徴組および前記予め定められた値のアレイに応答して、前記印刷画像を生成するために用いられた画像マーキングプロセスを判定するニューラルネットワークを含んでいる、請求項３に記載のシステム。