JP2005348417A

JP2005348417A - 画像分類及びハーフトーン周波数検出のための方法及びシステム

Info

Publication number: JP2005348417A
Application number: JP2005164169A
Authority: JP
Inventors: Ying-Wei Lin; リンイン−ウェイ; Shen-Ge Wang; ワンシェン−ゴ; Beilei Xu; ベイレイ　シュイ
Original assignee: Xerox Corp
Current assignee: Xerox Corp
Priority date: 2004-06-04
Filing date: 2005-06-03
Publication date: 2005-12-15
Anticipated expiration: 2025-06-03
Also published as: US20050271277A1; JP4459864B2; US7424151B2

Abstract

【課題】画像分類及びハーフトーン周波数検出のための方法及びシステムを提供する。
【解決手段】印刷された画像の画像ブロックを、コントーン、ハーフトーン、又は誤差拡散のクラスに分類するためのシステム及び方法は、印刷された画像を走査し、輝度チャネル内の走査された画像からｎ対ｎ画素を選択し、画素ブロックの空間周波数及び空間配向を示す、画素ブロックのＤＣＴ係数のアレイを計算し、ＤＣＴ係数のアレイを、コントーン、ハーフトーン、及び誤差拡散クラスを示す所定値のアレイと比較し、ＤＣＴ係数の所定値のアレイとの比較に基づいて、画素ブロックの画像分類を判断することを含む。画像がハーフトーンであると判断された時には、次に、本方法は、ハーフトーン・スクリーンの周波数を判断するために、さらにＤＣＴ係数を評価する。
【選択図】図６

Description

本発明は、一般に、画像分類の方法に関連し、画像タイプが、コントーン、ハーフトーン、又は誤差拡散であるかを判断し、ハーフトーンの場合には、ハーフトーン周波数を判断するための方法に関する。

ハードコピー文書の走査から得られる文書画像データは、しばしば、各走査線が複数の画素を含む、複数の走査線の形式で記憶される。文書画像は、一般に、各領域が異なる性質を示す、複数の領域を含む。このタイプの画像データを処理する時には、データによって示される画像のタイプを知ることが役に立つ。たとえば、画像データは、グラフィック、テキスト、ハーフトーン、コントーン、又は他の認識された画像タイプを示す。画像データの１ページは、オールワン・タイプ又は画像タイプのある組み合わせであってもよい。複数の領域を含む文書画像を正確に処理するためには、各タイプの領域に、異なるアルゴリズムを適用すべきである。たとえば、テキスト領域は、印刷前にシャープ（明瞭）にされる（ｓｈａｒｐｅｎｅｄ）必要がある。しかしながら、ハーフトーンのピクチャ（絵）には、モアレを防止するために、最初にローパス・フィルタをかける必要がある。したがって、文書画像は、一般に、画像処理技術が最も効率的に適用可能な様に、その構成領域にセグメント化される必要がある。

本技術分野において、文書画像データの１ページを取り、該画像データを類似の画像タイプのウインドウに分離することが知られている。たとえば、画像データの１ページは、ハーフトーン化されたピクチャと該ピクチャについて記述する付随するテキストとを含んでいてもよい。画像データを効率的に処理するために、文書画像データの１ページを、第１のウインドウがハーフトーン化された画像を示し、第２のウインドウがテキストを示す、２つのウインドウに分離することが知られている。文書画像データのページの処理は、次に、該処理を処理中の画像データのタイプに合わせることによって、効率的に実行可能である。

文書画像セグメント化の伝統的な方法である、たとえば、画像データのセグメント化及び分類のための装置及び方法（ＡｐｐａｒａｔｕｓａｎｄＭｅｔｈｏｄｆｏｒＳｅｇｍｅｎｔｉｎｇａｎｄＣｌａｓｓｉｆｙｉｎｇＩｍａｇｅＤａｔａ）についてのファンら（Ｆａｎｅｔａｌ．）の特許文献７では、各画素を分類するために発見的ルールを使用し、次に、類似の画像タイプの「ウインドウ（ｗｉｎｄｏｗｓ）」を形成するために連結成分分析を使用する。特許文献１３は、ＢＩＳＥＧアルゴリズムと呼ばれる「背景（ｂａｃｋｇｒｏｕｎｄ）」を成長させることによってウインドウが生成される、代替的なアプローチを記述する。本方法は、「ウインドウ」が均一な背景によって分離される場所にある文書画像に適用可能である。画像のセグメント化を完了するために、各ウインドウは、コントーン又はハーフトーンに分類されなければならず、ハーフトーンの場合には、ハーフトーンのスクリーンが検出されなければならない。従来のアルゴリズムは複雑になる傾向があり、実行が難しい。画像をコントーン又はハーフトーンとして分類し、ハーフトーンの場合にはハーフトーンの周波数を判断するための単純な方法が必要とされる。
米国特許第５，３４１，２２６号米国特許第５，４１６，６１３号米国特許第５，６８７，３０３号米国特許第５，７６０，９１３号米国特許第５，７６５，０２９号米国特許第５，７７８，０９２号米国特許第５，８５０，４７４号米国特許第６，０３１，６１８号米国特許第６，０６９，９７３号米国特許第６，１４１，１２０号米国特許第６，３５３，６７５号米国特許出願公開第２００２００７６１０３号米国特許出願公開第２００３００７２４８７号米国特許出願公開第２００４０２６４７８１号米国特許出願公開第２００４０２６４７７１号ゴウラフ・シャルマ（ＧａｕｒａｖＳｈａｒｍａ）、シェン−ジェ・ワン（Ｓｈｅｎ−ＧｅＷａｎｇ）、ディープティ・シダバナハリ（ＤｅｅｐｔｈｉＳｉｄａｖａｎａｈａｌｌｉ）、ケイス・クノックス（ＫｅｉｔｈＫｎｏｘ）著「スキャナ較正へのＵＣＲのインパクト（"ＴｈｅＩｍｐａｃｔｏｆＵＣＲｏｎＳｃａｎｎｅｒＣａｌｉｂｒａｔｉｏｎ"）」ＩＳ＆Ｔの１９９８年ＰＩＣＳ会議予稿集、Ｐ．１２１〜１２４。

画像分類及びハーフトーン周波数検出のための方法及びシステムを提供する。

印刷された画像の画像ブロックを、コントーン、ハーフトーン、又は誤差拡散のクラスに分類するための方法及びシステムは、画素ブロックのＪＰＥＧ／ＤＣＴ（離散的コサイン変換）を使用する。本発明のシステム及び方法は、大半の走査システムにおいて大量のデータがＪＰＥＧ圧縮データの形式で記述されるという事実を使用する。ＤＣＴ係数は、画素ブロックを分類するために、コントーン、ハーフトーン、及び誤差拡散のクラスを示す、所定値のアレイと比較される。ブロックがハーフトーンであると判断された場合には、本システム及び方法は、スクリーンのハーフトーン周波数を判断するために、ＤＣＴ係数を使用する。ＤＣＴ係数は、特徴のセット及び特徴セットを所定値のアレイと比較するために使用されるニューラル・ネットワークにサンプリングされてもよい。次に、ウインドウ内のブロックの一部が、ウインドウ分類のためにポーリングされてもよい。本方法は、Ｂｉｓｅｇ等の自動ウインドウ化方法と組み合わされた時に、正確な文書画像セグメント化結果を出すことができ、実行が簡単かつ経済的である。

本発明による、印刷された画像の画像ブロックを、コントーン、ハーフトーン、又は誤差拡散のクラスに分類するためのシステムは、印刷された画像を走査するスキャナと、走査された画像を記憶するとともに、コントーン、ハーフトーン、及び誤差拡散のクラスを示す所定値のアレイを記憶するためのメモリと、輝度チャネル内の走査された画像からｎ対ｎブロックの画像を選択し（ＲＧＢ値は、容易にＬａｂ値に変換可能である）、画素ブロックの空間周波数及び空間配向を示す、画素ブロックのＤＣＴ係数のアレイを計算し、ＤＣＴ係数のアレイを、所定値のアレイは、コントーン、ハーフトーン、及び誤差拡散のクラスを示す、所定値のアレイと比較し、ＤＣＴ係数の所定値のアレイとの比較に基づいて、ピクセルブロックの画像分類を判断するプロセッサと、を含む。

本発明の１つの態様による、印刷された画像の画像ブロックを、コントーン、ハーフトーン、又は誤差拡散のクラスに分類するための方法は、印刷された画像を走査し、走査された画像からｎ対ｎブロックの画素を選択し、画素ブロックの空間周波数及び空間配向を示す、画素ブロックのＤＣＴ係数のアレイを計算し、ＤＣＴ係数を使用して、印刷された画像を、コントーン、ハーフトーン、及び誤差拡散の分類に分類するように構成された分類器に、ＤＣＴ係数のアレイを入力し、入力されたＤＣＴ係数に基づいて、画素ブロックの画像分類が、コントーン、ハーフトーン、又は誤差拡散であるかを判断することを含む。

本発明の他の態様による、印刷された画像の画像ブロックを、コントーン、ハーフトーン、又は誤差拡散のクラスに分類するための方法は、印刷された画像を走査し、輝度チャネル内の走査された画像からｎ対ｎブロックの画素を選択し、画素ブロックの空間周波数及び空間配向を示す、画素ブロックのＤＣＴ係数のアレイを計算し、ＤＣＴ係数のアレイを、コントーン、ハーフトーン、及び誤差拡散のクラスを示す所定値のアレイと比較し、ＤＣＴ係数と所定値のアレイとの比較に基づいて、画素ブロックの画像分類が、コントーン、ハーフトーン、又は誤差拡散であるかを判断することを含む。

本方法は、画素ブロックの特徴セットを生じさせるために、ＤＣＴ係数のアレイをサンプリングし、画素ブロックの画像分類を判断するために、特徴セットを所定値と比較することを、さらに含んでいてもよい。本発明の１つの態様によると、サンプリングステップは、ＤＣＴ係数のアレイを、ＤＣ項、類似の放射空間周波数を有するＤＣＴ係数のセグメントと、類似の空間配向を有するＤＣＴ係数のセグメントとにグループ化し、各セグメントについて、特徴セットがＤＣ項とすべてのセグメント特徴とを含む、画素ブロックの特徴を生じさせるために、セグメント内のすべてのＤＣＴ係数の絶対値の合計を計算することを含んでいてもよい。

画像がハーフトーン、コントーン、又は誤差拡散であるかを判断するために、ニューラル・ネットワークが、ＤＣＴ係数（又は特徴セット値）を所定値のアレイと比較するために使用されてもよい。所定値のアレイは、本システムを印刷された画像の既知の例を有するシステムに合わせることにより、又は発見的設計を通じて、判断されてもよい。

画像分類がハーフトーンであると判断された場合には、本システムは、ＤＣＴ係数のアレイを、ハーフトーン周波数を示す第２の所定値のアレイと比較し、ＤＣＴ係数の第２の所定値のアレイとの比較に基づいて、画素ブロックのハーフトーン周波数を判断する。

画像分類及びハーフトーン周波数検出のための単純な方法及びシステムを提供できる。

画像分類の方法は、離散コサイン変換（ＤＣＴ）を通じて、画像を分析する。以下の説明は、８対８画素ブロックを使用する標準的なＪＰＥＧ圧縮データに基づくが、任意のベース寸法（例：寸法ｎ対ｎの画素ブロック）又はより大きいベース寸法、たとえば、１６対１６ブロックへの拡張が容易である。

ＪＰＥＧは、共同写真専門家グループ（ＪｏｉｎｔＰｈｏｔｏｇｒａｐｈｉｃＥｘｐｅｒｔｓＧｒｏｕｐ）によって開発された画像圧縮標準である。ＪＰＧＥＧ圧縮は、カラー画像ばかりでなく、グレースケール画像も圧縮する。ＪＰＥＧは、カラー画像の赤−緑−青成分を、３つの個別のグレースケール画像として圧縮できる。ＪＰＥＧプロセスは、入力画像を８対８画素ブロックに分割し、次に、各ブロックの離散コサイン変換（ＤＣＴ）を計算する（この結果、６４の係数のマトリクスになる）。量子化マトリクスに従いＤＣＴ係数の端数を切り捨てるために、量子化器（ｑｕａｎｔｉｚｅｒ）が使用される。最後に、量子化された係数を出力ファイル（圧縮画像）に出力するために、エンコーダが使用される。

離散コサイン変換（ＤＣＴ）は、画像を、視覚品質について異なる重要度の部分（又はスペクトルのサブバンド）に分離することを助ける。ＤＣＴは離散型フーリエ変換に類似しているとともに密接に関連しており、空間領域（ｓｐａｔｉａｌｄｏｍａｉｎ）からの信号又は画像を、周波数領域（ｆｒｅｑｕｅｎｃｙｄｏｍａｉｎ）に変換する。入力画像については、出力「画像」Ｆについての係数ｆが、次の数式に従って、計算される。
入力画像ｆは、８画素幅対８画素高であり、ｆ（ｎ₁，ｎ₂）は、行ｎ₁及び列ｎ₂内の画素の強度である。Ｆ（ｋ₁，ｋ₂）は、ＤＣＴアレイの行ｋ₁及び列ｋ₂内のＤＣＴ係数である。すべてのＤＣＴ乗算は、実数である。ＤＣＴ入力は整数の８対８アレイである。このアレイは、各画素のグレースケール・レベルを含む。８ビット画素は、０〜２５５のレベルを有する。ＤＣＴ係数の出力アレイは、−１０２４〜１０２３の範囲の整数を含む。大半の画像について、信号エネルギーの多くは低周波数にあり、ＤＣＴの左上角に現れる。左上角から右に移動すると、対応する係数は、増加する水平方向の周波数を示し、左上角から下に移動すると、対応する係数は、増加する垂直方向の周波数を示す。右下角の値は、最も高い周波数の大きさを示す。

選択された入力画像が走査され、走査された画像からの８対８画素ブロックが、分類のために選択される。図１は、例示的な８対８画素ブロックであり、図２は、ＤＣＴ係数に対応する、正規化された出力のＤＣＴアレイである。図２を参照すると、８対８出力ブロックの第１の要素（＝３１３）は、ＤＣ項であり、他の要素は、異なる空間周波数及び異なる空間配向を備えるコサイン変換を示す。水平方向は、左から右に水平方向へ増加する周波数を示し、垂直方向は、上端から下端に垂直方向へ増加する周波数を示す。各セルの値は、入力ブロック内の対応する周波数成分のコサイン変換を示す。

ＤＣＴ係数のアレイは、画像クラスを判断するために、コントーン、ハーフトーン、及び誤差拡散の異なる画像クラスに対応する、所定値のアレイと比較できる。しかしながら、これらの係数を直接分類器に提供する代わりに、分類のためのより小さな特徴空間を生成するための、ＤＣＴ出力のさらなるサンプリングを提案する。提案されたサンプリング方法は、図３に図示されている。本アプローチの１つの利点は、分類器の構造が非常に規則的であることであり、それゆえ、記述及び実行が容易である。少数の特徴は、このアプローチを非常に経済的にする。

本分類方法は、２つのステップに分割できる。第１のステップでは、１つのブロックが、コントーン／クラスタ化されたドット・ハーフトーン／その他、に分類される。「その他（ｏｔｈｅｒ）」クラスは、誤差拡散であってもよい。このタスクには、輝度チャネルのみが使用される。画像は８対８画素ブロックに分割され、各８対８ブロックのＤＣＴが計算される。ＤＣＴ係数を図示する８対８アレイを、図３に示す。次に、「リング（ｒｉｎｇ）」内の係数の絶対値が合計される（図３参照）。図３では、交互の白黒領域が、８つのリングを形成する。

８つのリングがあり、８つの特徴を与える。次に、これらの特徴は、８つの入力、４つの隠れたノード、及び３つの出力を有する、単純なニューラル・ネットワークへの入力として使用される。ニューラル・ネットーワーク・べ−スの分類器が周知であり、たとえば、ティモテイ・マスターズ（ＴｉｍｏｔｈｙＭａｓｔｅｒｓ）著「Ｃ＋＋内の実用的なニューラル・ネットワーク手法」（"ＰｒａｃｔｉｃａｌＮｅｕｒａｌＮｅｔｗｏｒｋＲｅｃｉｐｅｓｉｎＣ＋＋"）等の多くの出版物中で見出される。

サンプル・テスト結果が、表１に示される。この結果から、分類の正確さが非常に高いことがわかり、本分類器は画像劣化に対して非常に強い。

本結果が、各ブロックが正確に分類された確率を示すことに留意すべきである。ウインドウを分類するために、ウインドウ内のブロックをポリングし、「勝者（ｗｉｎｎｅｒ）」を決定する必要がある。本ブロック分類の正確さが高いから、少数のブロックがポリングされればよい。これにより、ソフトウェア実行における、計算ロードの非常に大幅な減少となる。

画像レンダリングの目的のために、クラスタ化されたドット・ハーフトーンの周波数が、このタスクに合わされた他のニューラル・ネットワークを使用して、次に、検出される。実用的な適用のために、周波数を６つのバンドの１つに分類することが適切である。より精細な分類が必要な場合には、より多くのクラスが使用可能である。さらに、輝度チャネルのみが使用され、８対８ブロックＤＣＴが計算され、リング内の係数の絶対値が合計され、８つの特徴を形成する。改良された周波数検出の正確さについては、１６対１６ブロックＤＣＴが使用可能であり、１６の特徴を生成する。１６対１６ブロックを使用するサンプル・ハーフトーン周波数テスト結果が、表２に与えられる。
さらに、ウインドウ内のブロックの一部のみがポリングされる必要がある。本結果から、分類の正確さが非常に高いことがわかり、本分類器は画像劣化に対して非常に強い。

ハーフトーン、コントーン、及び誤差拡散を判断するために使用される所定値のアレイは、本システムを調整することによって判断されてもよい。本システムは、多数の既知の画像についてのＤＣＴ係数を計算することによって、調整される。

図６を参照すると、画像を自動的に分類するためのシステムのブロック図が示される。本システムは、印刷された画像を走査するためのスキャナ１００を含む。走査された画像は、メモリ１１０内に記憶される。メモリ１１０には、異なる画像クラスを示す所定値のアレイも記憶されている。プロセッサ１２０は、メモリ１１０に記憶された走査された画像から、ｎ対ｎブロックの画素を選択し、該画素ブロックのＤＣＴ係数のアレイを計算し、該ＤＣＴ係数のアレイを所定値のアレイと比較し、本比較に基づき、該画素ブロックが、コントーン、ハーフトーン、又は誤差拡散であるかを判断する。ハーフトーンの場合には、本システムは、さらにハーフトーン・スクリーンの周波数を判断する。

本発明のシステム及び方法は、画像のウインドウのクラスを判断するために適用されてもよい。ウインドウ内の画素ブロックのＤＣＴ係数が計算される。輝度チャネルの特徴のみが使用されることに留意されたい。ＤＣＴ係数がサンプリングされ、特徴ベクトルを形成するために、選択されたＤＣＴ係数の絶対値が合計される。分類器は、最初に、各画素ブロックを、コントーン／クラスタ化されたドット・ハーフトーン／他の又は誤差拡散、に分類する。次に、ウインドウのクラスを判断するために、画素ブロックの一部がポリングされる。そのクラスがクラスタ化されたハーフトーンであると判断された場合には、次に、その周波数をいくつかのバンドの１つに分類することによって、識別器はウインドウの周波数を判断する。各画素ブロックの周波数が判断され、ウインドウの周波数を判断するために、画素ブロックの一部がポリングされる。

ＤＣＴ係数又は特徴セットを入力し、それらを、ハーフトーン、コントーン、又は誤差拡散を示す所定値のアレイと比較するために、ニューラル・ネットワークが使用されてもよい。これにより、計算が容易になる。ハーフトーン・スクリーンの周波数（バンド内）を判断するために、第２のニューラル・ネットワークが使用されてもよい。周波数の範囲を示す第２の所定値のアレイは、第２のニューラル・ネットワーク内で、ＤＣＴ係数又は特徴セットと比較される。

提案された画像分類方法がＢｉｓｅｇウインドウ化方法と組み合わされている例を、図４及び５に示す。図４は、８５ＬＰＩ、１００ＬＰＩ、１３３ＬＰＩ、１５０ＬＰＩ、１７５ＬＰＩ、及び２００ＬＰＩのハーフトーン・スクリーンを使用して印刷された、６つのオリジナル画像を図示する。図５は、ウインドウ化を使用した分類結果を示す。本ウインドウ化及びブロック分類結果は極めて満足できるものである。正確なウインドウ分類の実行においては、困難はあるべきでない。

ＤＣＴベースのＪＰＥＧが、デジタル・スキャナ用の重要な部分である画像圧縮のために広く使用されるから、ＤＣＴのハードウェア又はソフトウェアの実施例が、多くのスキャナについて、画像パスにおいて、既に利用できる。本提案されたアプローチは、自動的に走査されたメディア識別について、非常に実用的な解決策を提供する。輝度チャネルのみが使用されているから、本システム及び方法は、計算の効率性をもたらす。画像の圧縮の前にＤＣＴ計算のすべて又は一部が実行されてもよく、個別に計算される必要はない。

本発明をカラー・スキャナについて述べてきたが、本発明は、このような実施の形態に限定されない。本発明は、遠隔地で捕捉された走査された画像データ、又はスキャナ以外の装置、たとえば、デジタル・カメラによるハードコピー複製から捕捉された画像データに適用されてもよい。本発明は、たとえば、カラー複写機等の任意のカラー複製装置で実行されてもよく、上述の特定の色に限定するように意図されたものではない。

入力画像からの例示的な８対８の画素アレイである。図１の入力画像に対応するＤＣＴアレイである。特徴セットを形成するための、輝度チャネルを使用する８対８画素ブロックのＤＣＴアレイのサンプリングを図示する。異なるハーフトーン・スクリーン周波数を有する、６つのオリジナルのハーフトーン画像を図示する。ウインドウ化と一緒に分類器を適用する結果を図示する。走査されたメディアを分類するためのシステムのブロック図である。

符号の説明

１００：スキャナ
１１０：メモリ
１２０：プロセッサ

Claims

印刷された画像の画像ブロックを、コントーン、ハーフトーン、又は誤差拡散のクラスに分類するためのシステムであって、
前記印刷された画像を走査するスキャナと、
前記走査された画像を記憶するとともに、コントーン、ハーフトーン、及び誤差拡散のクラスを示す所定値のアレイを記憶するメモリと、
輝度チャネル内の前記走査された画像からｎ対ｎ画素のブロックを選択し、
前記画素ブロックの空間周波数及び空間配向を示す、前記画素ブロックのＤＣＴ係数のアレイを計算し、
前記ＤＣＴ係数のアレイを、コントーン、ハーフトーン、及び誤差拡散のクラスを示す前記所定値のアレイと比較し、
前記ＤＣＴ係数と前記所定値のアレイとの比較に基づいて、前記画素ブロックの画像分類を判断する、
プロセッサと、を含む、
システム。
前記画像分類がハーフトーンであると判断された場合に、
前記プロセッサが、
前記ＤＣＴ係数のアレイを、ハーフトーン周波数を示す第２の所定値のアレイと比較し、
前記ＤＣＴ係数と前記第２の所定値のアレイとの比較に基づいて、前記画素ブロックのハーフトーン周波数を判断する、
請求項１に記載のシステム。
前記プロセッサが、前記走査された画像を、輝度チャネル内の前記走査された画像からの複数のｎ対ｎブロックの画素を含む、少なくとも１つのウインドウにセグメント化し、
前記ウインドウ内の各ｎ対ｎブロックの画素について、
前記プロセッサが、
前記画素ブロックの空間周波数及び空間配向を示す、前記画素ブロックのＤＣＴ係数のアレイを計算し、
前記ＤＣＴ係数のアレイを、コントーン、ハーフトーン、及び誤差拡散のクラスを示す所定値のアレイと比較し、
前記ＤＣＴ係数と前記所定値のアレイとの比較に基づいて、前記画素ブロックの画像分類を判断し、
前記ウインドウの前記画像分類を判断するために、前記ウインドウ内の前記画素ブロックの前記画像分類をポリングする、
請求項２に記載のシステム。
前記画素ブロックの特徴セットを生じさせるために、前記ＤＣＴ係数のアレイをサンプリングし、
前記画素ブロックの前記画像分類を判断するために、前記特徴セットを前記所定値のアレイと比較することによって、
前記プロセッサが、前記画素ブロックの画像分類を判断する、
請求項１に記載のシステム。