JP2005174363A - デジタル画像処理システム - Google Patents

Abstract

【課題】画像タイプの決定を円滑に行う画像処理システム。
【解決手段】ライン２６、３５上のデータは、平滑化フィルタ回路２７に入力される。画像タイプ検出信号は、デコーダー１００に送られ、ライン２６、３５上の画像タイプ検出信号を４つの画像タイプ区分（セパレーション）に分離し、各画像タイプ区分は、ドキュメント画像内での各画素の位置において特定の画像タイプが存在するかしないかをバイナリー信号で示す。画像タイプ区分信号の各々はその他３つから独立して処理される。各画像タイプ区分信号は、特定のオープンフィルタ１０２ａ〜１０２ｄに送られ、その出力の各々は、対応するクローズフィルタ１０４ａ〜１０４ｄに送られる。その出力の各々は、エンコーダー１０６で１つの信号に結合される。編成回路１０８は、不当な画像タイプ信号があった場合に処理選択信号を修正する。その結果は、画像処理制御装置に送られる。
【選択図】図２

Description

本発明は、概して、ドキュメント（文書）画像中の画像のタイプを識別するためにドキュメント画像を処理するシステムに関し、さらにドキュメントの既定位置のドキュメント画像に対する適切な画像タイプセグメンテーション要求を決定する方法に関する。

自動セグメンテーションは、画像タイプを識別し且つそのような画像タイプの正しい処理を識別する手段（ツール）として働く。

ストッフェル（Stoffel ）による特許文献１では、画像セグメンテーションの問題は、存在する画像データのタイプに関して画像処理システムに命令する関数、特に画素データストリームに対する自己相関関数を適用して、ハーフトーン（中間調）画像データの存在を決定することによって処理された。このような関数は、

と表される。ここで、
ｎ＝ビットあるいは画素数
ｐ＝画素電圧値
ｔ＝データストリームにおける画素の位置
である。

ストッフェルは、高密度及び低密度のハーフトーン、連続階調、及び／又は線の未知なる組み合わせを表す画像画素ストリームを自動的に処理して、画像を表す２値レベルの出力画素を提供する方法を述べている。ここで、高密度及び低密度のハーフトーンとしたが、高密度及び低密度とは、物理的な疎密を表すのではなく、信号として扱った場合における周波数の高低（例えば高周波数、低周波数）としてもよい。上記関数が画像画素ストリームに適用され、高密度ハーフトーン画像データを含むストリームの部分には、その結果信号において間隔の近接した多数のピークが示される。特許文献２では、自己相関関数は、ハーフトーン画像データストリームに対して、先にしきい値処理を施すことなく、画像密度特性を表すと予測される選択された時間遅延で計算される。自己相関システムで使用される算術関数は、ストッフェルの特許文献１で用いられた積算関数ではなく、論理関数と加算を用いる自己相関関数に近似している。得られた自己相関関数の谷を検出して、高密度ハーフトーン画像データが存在するかどうかが決定される。

シアウ（Shiau ）による特許文献３は、画像が実際には線画像として処理されることが好ましい時に、画像の一部をハーフトーンとして誤って特徴づけするという、自己相関関数の使用で特筆すべき固有の問題を扱っている。この欠点の例は、日本語の漢字と小文字のローマ字の処理において特に顕著である。これらの例において、自己相関関数は、文字画像にわたって共通のしきい値を適用する代わりに、画像をハーフトーンとして検出しそれに従って処理することがある。述べられた自己相関関数の算定は本質的に一次元的であり、走査線あるいは高速走査方向で周期的に微細なパターンが検出される毎に誤検出の問題は発生するであろう。同様に、シャドー（陰影）領域及びハイライト領域は、ハーフトーンとして検出されないことがよくあり、その後は均一なしきい値を適用して処理される。

特にシアウ（特許文献３）によってその特性を述べられた自動画像セグメンテーション領域において、ある画像タイプを別の画像タイプとして誤って特徴づけることを減少するために懸命に意義ある研究がなされたが、あいにくにも問題は困難を呈し続ける。画像タイプは正しい度合の特性で特徴づけられることができるが、画像内容もまた画像に影響を与える傾向がある。例えば、シアウの改良方法を使用しても、いくつかの漢字はハーフトーンとして認定され続ける。決定が２つの画像タイプ間で表面上ぐらつくと、画質が問題化する。この場合ドキュメントの趣旨が正確に表されることも時にはあるが、そうではないことがより一般的である。このようにして処理されたもの（アーチファクト）は、ドキュメントの最終的な使用者に対して大きな問題を提示する。

特許文献４は、オープン（開いていること）とクローズ（閉じていること）の形態学的操作を使用して、画像中のテキスト（文字、数字等）と線図形を区別し且つ導き出す方法及び装置を教示する。
米国特許第４，１９４，２２１号明細書 米国特許第４，８１１，１１５号明細書 特開平５−２２７４２５号（欧州特許出願公開第2 0 521 662 号、１９９３年１月７日公開） 米国特許第５，２０２，９３３号明細書

本発明は、上記従来技術の欠点を克服することを目的とする。

さらに本発明は、画像をセグメンテーションする方法と装置を提供して、ドキュメント画像にわたって画像タイプの決定を円滑に行うことを目的とする。

本発明の一態様によると、画像タイプ検出装置で画像を処理し、その出力によって画像の画像処理を制御する画像セグメンテーション装置と共に、さらに形態学的フィルタリング（filtering ）操作が提供される。該フィルタリング操作は、まず画像分類信号にノイズ（雑音）除去フィルタ操作を提供して画像分類信号領域内のノイズを除去し、続いてホール（孔）フィリング（充填）フィルタを提供して、画像分類結果における小さいギャップを埋める。

このようにドキュメント画像を考察した結果、画像の分類化は、カラー分離に類似するバイナリー（二値化）処理である、つまり検出はオンかオフかのどちらかであると考えられることが判ってきた。そのモデルを使用すると、シングル画像タイプに対しては、分類化の欠陥は、非検出が主である領域での時々の画像タイプの検出と規定されるノイズか、あるいは検出が主である領域での時々の画像タイプの非検出と規定されるホールかのどちらかとして特徴づけられることができる。例えば特許文献４で述べられたような形態学的フィルタリング方法及び装置は、主にある状態あるいはその他の状態である領域同士を合体させるように使用されることができる。よって、検出及び非検出領域は、時々の誤検出によって整理された途切れのない領域を残したままとなる。

ビデオ画像信号の形態にある画像データ（以下、画素という）は、アナログ及びデジタルのいずれの電圧による画像表現であってもよく、適切なソース（供給源）から与えられる。例えば、画像データ画素は、一般的にＣＣＤアレイと称される電荷結合素子の多感光面（photosite ）アレイのような、１つあるいはそれより多くの感光素子によって、画像を支持するオリジナル（原稿）を線毎にスキャニング（走査）することによって得られる。画像データの導出のために画像を有するオリジナルを線毎にスキャニングすることはよく知られており、本発明の一部をなすものではない。画像データは、ドキュメント創出アプリケーションソフトウェアに従ってプログラムされたコンピュータあるいはワークステーションによって、あるいはデータ記憶装置から導出されることができる。

内容の点で、オリジナルは、線、低密度ハーフトーン画像、高密度ハーフトーン画像、連続階調画像、あるいはそれらの組合わせで全体が構成されることができ、これらの構成要素の各々が「画像タイプ」である。各画像タイプは、それ独自の方法で処理されることが好ましい。例えばタイプ打ちされたページのようにオリジナルが線から構成される場合には、画像画素は、１つが非画像あるいはバックグラウンド（背景）領域、そしてもう１つが画像領域を表す２つの信号レベルのどちらか１つに変換され得る。これは、一般的には一定レベルのしきい値処理によって達成される。

連続階調画像は、写真を典型とするスクリーン処理されない画像を含む。走査すると、発生する画素の電圧信号は、写真を構成するグレーレベルを表す。これは、一般的には、ディザリング（dithering ，ディザ法）、スクリーニング（screening ，スクリーン処理）、あるいはハーフトーニング（halftoning，中間調化）と称される変動レベルのしきい値処理によって達成される。

絵画や情景に代表されるハーフトーン画像は、スクリーン処理によって複製されてたものである。これの一例は新聞の写真である。使用されるスクリーンは、高密度あるいは低密度スクリーンのいずれかであり得る。高密度スクリーンは、ここでは、１インチ当り１００サイクルあるいはそれより多い密度を有するものとして任意に定義し、一方低密度スクリーンは、１インチ当り１００サイクルより少ない密度を有するものと定義する。よってハーフトーン画像は、離散するドットのパターンを含み、該パターンの密度は使用されるスクリーニング（網かけ）の密度に依存する。高密度ハーフトーンは、プリンタに適切なスクリーンによってスクリーン処理を解除されたり再スクリーン処理されたりする。低密度ハーフトーンは、スクリーン処理を解除するためにより一層大きいフィルタを必要とする。この画像タイプは、エラー拡散によって最も良く複製される。

本発明の第一の態様は、検出された画像タイプに従ってデジタル画像の処理を制御するデジタル画像処理システムであって、画像ソースから、ドキュメント画像中に画像タイプの未知なる組合せを有するデジタル画像信号フォーマットで表されたドキュメント画像の少なくとも一部分を受け取り且つ記憶するバッファメモリと、各々が特定の画像タイプに対してデジタル画像を処理する複数の画像処理回路と、検出された画像タイプに従って前記複数の画像処理回路の出力を制御する制御信号を生成する画像処理制御装置と、データバッファからデジタル画像信号を受け取り、ドキュメント画像の一領域において存在する画像タイプを検出し、画像内の対応する位置で検出された画像タイプを表す各デジタル画像信号毎に検出信号を生成する画像セグメンテーション回路と、検出信号を、単一画像タイプの検出又は非検出を表す複数のバイナリー信号に変換する手段と、前記変換手段からバイナリー検出信号を受け取り、バイナリー検出信号を処理して、その所定のセットにおける全てのバイナリー検出信号が第一の状態を有する時はいつでも第一の状態を提供し、第一の状態であることを示す第一のフィルタ処理されたバイナリー検出信号を生成する第一フィルタと、を含む。

本発明の第二の態様は、上記第一の態様において、画像処理制御装置が画像タイプ検出信号の組み合わせを表すデジタル検出信号に応答すること、さらに、各画像タイプに対する第二バイナリーフィルタ処理検出信号を結合して、処理された画像タイプ検出信号にする手段を含むことを特徴とする。

本発明の第三の態様は、上記第一の態様において、各処理された画像タイプ検出信号を、機能上接続されたメモリ装置に記憶された１セットの妥当な信号量と比較して信号が妥当であるかどうかを決定し、信号が妥当でないと決定された場合に最後の妥当な信号をリピートする手段と、前記第一フィルタ処理されたバイナリー信号を前記第一フィルタから受け取り、第一フィルタ処理されたバイナリー検出信号を処理して、その所定セットにおける第一フィルタ処理されたバイナリー検出信号のうちのいずれかが第一の状態を有する時はいつでもその第一の状態を提供し、第二のフィルタ処理されたバイナリー検出信号を生成する第二フィルタと、を含み、前記第二フィルタが、画像処理制御装置に機能上連結されると共に、第二フィルタ処理されたバイナリー検出信号を検出された画像タイプを示すものとして画像処理制御装置に送ることを特徴とする。

本発明の第四の態様は、上記第二の態様において、各処理された画像タイプ検出信号を、機能上接続されたメモリ装置に記憶された１セットの妥当な信号量と比較して信号が妥当であるかどうかを決定し、信号が妥当でないと決定された場合に最後の妥当な信号をリピートする手段と、前記第一フィルタ処理されたバイナリー信号を前記第一フィルタから受け取り、第一フィルタ処理されたバイナリー検出信号を処理して、その所定セットにおける第一フィルタ処理されたバイナリー検出信号のうちのいずれかが第一の状態を有する時はいつでもその第一の状態を提供し、第二のフィルタ処理されたバイナリー検出信号を生成する第二フィルタと、を含み、前記第二フィルタが、画像処理制御装置に機能上連結されると共に、第二フィルタ処理されたバイナリー検出信号を検出された画像タイプを示すものとして画像処理制御装置に送ることを特徴とする。

本発明では、画像をセグメンテーションする方法及び装置が提供されることによって、ドキュメント画像にわたって画像タイプの決定が円滑に行われることができる。

図面を参照すると、図１は、ラスタ入力スキャナ、グラフィクスワークステーション、電子メモリ、あるいはその他の記憶素子等を含む多数のソースから導出され得る画像データの取扱方法を示している。画像データ入力からの画像画素ストリームは、データバッファ２０に供給される。画像画素線を一時的に記憶するのに十分なビット記憶容量を有し何らかの適切な製品として入手可能な直列入出力多（マルチ）列バッファからなるバッファ２０は、いくつかの線を含むブロックでの画像データの処理を可能にする。

画像データは、データバス２２経由で画像処理システムが利用できるようになる。この点での画像データは、未処理のグレーフォーマット、例えば一画素当り６−８ビットの状態にある。高密度ハーフトーン画像データの存在を検出するために、一次元の画像画素ブロックがバッファ２０からデータバス２２にアンロードされる。画像画素ブロックは、各画素群を所定のアルゴリズムを用いて自己相関し、その画像データがハーフトーンを含むか否かを決定するハーフトーン検出装置あるいは自己相関装置２４に渡される。ライン２６上の出力は、高密度及び低密度のハーフトーン画像データのいずれが検出されたかを示す。適切なブロックサイズは、１インチ当たり４００スポットで一度に１６画素、あるいは１インチ当たり３００スポットで一度に１２画素である。サンプルサイズが大きすぎると滲んだ結果を生ずる傾向を有し、逆にサンプルサイズが小さすぎると関数の良好なサンプルとして十分量のデータを含まない。どちらの場合もハーフトーン画像データの検出に不正確な結果を生じる。

線コピー及び／又は連続階調データの存在は、弁別装置３４によって決定される。弁別装置３４は、線コピーあるいは連続階調画像データの存在を示す出力をライン３５上に生成するように機能する。ハーフトーン検出と線コピー／連続調の弁別とを遂行する特定の装置は、特許文献３で述べられている。

本発明に従い且つ図１及び図２を参照すると、ライン２６及び３５上のデータは、平滑化フィルタ回路２７に入力され、該平滑化フィルタ回路２７は以下に述べられるように検出信号に動作する。図２では、分類あるいは画像タイプ検出信号は、まずデコーダ１００に送られ、該デコーダ１００は、ライン２６及び３５上の画像タイプ検出信号を４つの画像タイプ「セパレーション（区分）」に分離し、各画像タイプセパレーションは、ドキュメント画像内での各画素の位置において特定の画像タイプが存在するか存在しないかをバイナリー信号すなわちオン／オフ信号によって示す。画像タイプセパレーション信号の各々は、その他の（他の３つの）画像タイプセパレーション信号から独立して処理される。各画像タイプセパレーション信号は、まず特定のオープンフィルタ１０２ａ、１０２ｂ、１０２ｃあるいは１０２ｄに送られ、続いて各オープンフィルタの出力は、対応するクローズフィルタ１０４ａ、１０４ｂ、１０４ｃあるいは１０４ｄに送られる。各クローズフィルタの出力、つまり処理された画像タイプセパレーション信号は、処理選択の可能性のないことを表す１つの信号にエンコーダ１０６で結合され、該エンコーダ１０６では、典型的には、可能な画像タイプを表す１つの多ビット選択信号に４つの信号を結合できる。前例からの結果あるいはユーザの好みによって決定されるオプションでプログラムされたルックアップテーブルである可能性のある編成回路１０８は、不当な画像タイプ信号があった場合（２つのタイプが選択される場合、あるいは何も選択されない場合）に処理選択信号を修正するために設けられる。その結果は、図１でより良く示される画像処理制御装置２８に送られる。

図３及び図４は、オープンフィルタ１０４とクローズフィルタ１０６の動作の例を示す。図４の（Ａ）を参照すると、各オープンフィルタは、機能上、所定近傍の検出信号に対するバイナリー検出信号を記憶するのに適したバッファメモリ２００を含み（そこで検出信号は信号が処理を制御する画像中の位置あるいは画素にマッピング（写像）される。しかし、検出信号は処理に関する命令であって画像データに関するものではないことに注意すべきである）、該バッファメモリ２００は、考察中の信号を囲む３×３領域として例中に示されている。各記憶位置はＡＮＤゲート２０２に連結され、近傍における全ての検出信号がオンになればいつでもオン信号を生成する論理ＡＮＤファンクション（関数）によって処理される。図３の（Ａ）を参照すると、オープンフィルタは、検出に応答してエッジを浸食し、ノイズ（独立している単一検出信号のような）を消す。

図４の（Ｂ）を参照すると、各クローズフィルタは、機能上、所定近傍の検出信号に対してライン２０４上の浸食バイナリー検出信号を記憶するのに適したバッファメモリ２０６を含み、該バッファメモリ２０６は、考察中の画素を囲む３×３領域として示されている。各記憶位置は、ＯＲゲート２０８に連結されると共に、近傍の画素のいずれかがオンになればいつでもオン信号を生成する論理ＯＲファンクションによって処理される。図３の（Ｂ）では、クローズフィルタが、信号においてエッジを拡張し、ギザギザを平滑化し、（ここでは特に示されないが）オン信号における小さなギャップを埋める。オープン及びクローズフィルタファンクションは、参照として組み込まれている特許文献４において完全に述べられている。

異なる平滑化効果は、より大きなあるいはより小さな異なる近傍にも達成され、あるいはあるその他の方法で異なる近傍の画素を規定するであろうということが疑いなく理解されるであろう。近傍の望ましいサイズと形状は、画像のタイプに関連づけられることができると共にプログラム可能である。さらに、述べられた論理応答は、既定の領域における全ての信号が所定の状態を有する時に適用され、発明の原理は、信号のグループにおける所定数の信号が特定の状態を有する場合にも適用される。

適用されたフィルタリング機能の結果、調和処理がエンコーダの下流に必要になることが考えられ得る。よって、編成回路１０８は処理された検出信号の妥当性をチェックし、もし妥当でなければ、ある可能な実施例において最後の妥当な信号をリピートする。

画像処理制御装置２８は、特定モードにおけるデータの検出に従って、高密度ハーフトーン処理セクション３０、低密度処理ハーフトーンセクション３１、線画像処理セクション３２、及び連続階調処理セクション３３を含む画像処理セクションから、バス３６を介して出力バッファ３８へとデータをフローさせるためのスイッチとして実質的に働く。画像処理制御装置２８は、データバス３６を制御して、ハーフトーン検出装置２４あるいは弁別装置３４から渡された信号に従って各処理セクションからデータをフローさせる。各処理セクションは、全ての画像データをその機能に従って処理するが、適切に処理されたデータのみが出力バッファ３８に送られる。不適切に処理されたデータは処分される。

本発明を使用するドキュメント画像処理システムを示す。 図１のフィルタの構成要素の詳細を示す。 （Ａ）及び（Ｂ）は、オープンフィルタとクローズフィルタのファンクションを示す。 （Ａ）及び（Ｂ）は、オープンフィルタとクローズフィルタのファンクションを説明する。

符号の説明

２０ データバッファ
２４ 自己相関装置
２７ 平滑化フィルタ
２８ 画像処理制御装置
３０ 高密度ハーフトーン処理セクション
３１ 低密度ハーフトーン処理セクション
３２ 線画像処理セクション
３３ 連続階調処理セクション
３４ 弁別装置
３８ 出力バッファ
１０２ オープンフィルタ
１０４ クローズフィルタ
１０８ 編成回路
２００ バッファメモリ
２０２ ＡＮＤゲート
２０６ バッファメモリ
２０８ ＯＲゲート

Claims (1)

1. 検出された画像タイプに従ってデジタル画像の処理を制御するデジタル画像処理システムであって、
   画像ソースから、ドキュメント画像中に画像タイプの未知なる組合せを有するデジタル画像信号フォーマットで表されたドキュメント画像の少なくとも一部分を受け取り且つ記憶するバッファメモリと、
   各々が特定の画像タイプに対してデジタル画像を処理する複数の画像処理回路と、
   前記バッファメモリからデジタル画像信号を受け取り、ドキュメント画像の一領域において存在する画像タイプを検出し、画像内の対応する位置で検出された画像タイプを表す各デジタル画像信号毎に検出信号を生成する画像セグメンテーション回路と、
   前記検出信号を、単一画像タイプの検出又は非検出を表す複数のバイナリー信号に変換する手段と、
   前記変換手段からバイナリー検出信号を受け取り、バイナリー検出信号を処理して、その所定のセットにおける全てのバイナリー検出信号が第一の状態を有する時はいつでも第一の状態を提供し、第一の状態であることを示す第一のフィルタ処理されたバイナリー検出信号を生成する、前記画像タイプの各々に対応する複数の第一フィルタと、
   前記第一のフィルタ処理されたバイナリー信号を対応する前記第一フィルタから受け取り、第一フィルタ処理されたバイナリー検出信号を処理して、その所定セットにおける第一フィルタ処理されたバイナリー検出信号のうちの何れかが第一の状態を有する時はいつでもその第一の状態を提供し、第二のフィルタ処理されたバイナリー検出信号を生成する複数の第二フィルタと、
   前記複数の第二フィルタにより生成されたバイナリー検出信号の結合が、０または２以上の画像タイプを含んでいる場合には、該バイナリー検出信号の結合に基づいて、ルックアップテーブルを用いて、妥当な信号を出力する手段と、
   検出された特定モードの画像タイプに従って前記複数の画像処理回路の出力を制御する制御信号を生成する画像処理制御装置と、
   を含み、
   前記特定モードの画像タイプは、前記第二のフィルタ処理されたバイナリー検出信号もしくは出力された前記妥当な信号に基づいて決定される、
   デジタル画像処理システム。