JP2009278363A - 画像処理装置及び画像処理方法 - Google Patents

Abstract

【課題】エッジ強調が施された画像データを二値化した際の線の痩せを防止する。
【解決手段】入力画像データ２９０１に対して、オブジェクト毎の像域を像域分離処理部２９０２で分離する。像域分離処理により、文字領域と判定された領域については、ＭＴＦ補正部２９０４によって平滑化処理が施される。その後二値化処理部２９０５により二値化される。二値化データは、オブジェクトの種類毎に分割され、文字および線画はベクトル化されて、記憶部１１１に保存される。あるいは印刷出力される。
【選択図】図７

Description

本発明は、画像処理装置および画像処理方法に関し、特に他の画像処理装置により画像処理が施された画像データから、元の画像により忠実な画像データを復元できる画像処理装置及び画像処理方法に関する。

近年、イントラネット、およびインターネットなどの普及に伴い、従来複写用途で単体で利用していたディジタル複合機（ＭＦＰ）を、ネットワーク経由で利用することが可能となった。ネットワークに接続されたＭＦＰは、たとえば他のＭＦＰによりディジタル化された画像データをネットワーク経由で受信し、印刷したりファイリングしたりすることができる。

ＭＦＰでは、原稿をスキャナで読み取った画像データの品質を良好なものとするために、種々の画像処理を施すことがある。たとえば、原稿の文字の再現性を向上させるために、文字領域と写真領域とを分け、文字領域に対し、エッジ強調処理を行って文字の再現性を向上させる方法が提案されている（たとえば特許文献１等参照）。
特開平８−２７２９５２号公報

しかしながら、画像処理はＭＦＰの機種により異なっていることがあり、そのため或るＭＦＰが、異機種のＭＦＰによりディジタル化された画像データを印刷したりファイリングしたりすると、画像劣化をもたらすこともあり得る。たとえば上記特許文献に示される画像処理装置では、原稿画像が低濃度で、低コントラスト、いわゆる、ノイズが多い画像であっても、地肌（地のある下地）上の文字を良好に再現し、文字領域の黒孤立点ノイズを減少させることができる。このような機能を用いれば、当該装置単独で画像を出力した場合は、その出力画像の品質は向上するであろう。一方、そのような機能を持つ装置からの出力文字画像を、そのような機能を持たない装置からの出力文字画像と比較すると、改善されている部分以外も異なることがある。たとえば、エッジ強調処理により、二値化後の文字画像は、その線が痩せる。これは、一つの原稿を当該二機種のＭＦＰによりスキャン入力した場合、異なる画像が出力されることを意味している。これは、ＭＦＰが複写など、単独で用いられる場合には特に問題にはならないであろう。

しかし、ＭＦＰで原稿を読み込み、それを画像データとしてファイリングして再利用することを考えると、異なるＭＦＰで読み込まれた、本来同じであるべき画像（特に文字画像）が、異なる品質で出力されることになる。これは、ファイリングされた画像データの文字の再現性、および可読性の良否につながり、ファイリングされた文書の価値を低下させかねない。

本発明は上記従来例に鑑みて成されたもので、上記課題を解決した画像処理装置及び画像処理方法を提供することを目的とする。

さらに詳細には、画像データから特定された、オブジェクト種類が文字又は線画である領域の画像データの空間周波数特性を変換して平滑化処理を実施する。こうすることで、エッジ強調された文字又は線画を、エッジ強調されていない文字又は線画に比べて痩せることなく出力可能な画像処理装置及び画像処理方法を提供することを目的とする。

上述目的を達成するために、本発明は以下の構成を備える。

画像処理装置であって、画像データから、オブジェクト種類ごとの領域を特定する像域分離手段と、
画像データの空間周波数特性を変換する変換手段と、
前記変換手段で空間周波数特性が変換された画像データを二値化処理する二値化手段とを備え、
前記変換手段は、前記像域分離手段により特定された、オブジェクト種類が文字又は線画である領域の画像データの空間周波数特性を変換して平滑化処理を実施する。

本発明によれば、エッジ強調された文字又は線画を、エッジ強調されていない文字又は線画に比べて痩せることなく出力可能となり、ファイリングされた画像データの出力品質の劣化を防止できる。

［第１実施形態］
次に本発明に係る画像処理方法の第１実施形態を図面に基づいて説明する。図１は、本発明に係る画像処理システムを示すブロック図、図２は、図１におけるＭＦＰを示すブロック図である。

＜画像処理システム＞
図１において、本発明に係る画像処理システムは、ＬＡＮ１００が設けられたオフィス１０とＬＡＮ２００が設けられたオフィス２０とをインターネット１０４で接続した環境において使用される。

ＬＡＮ１０７には、記録装置としてのマルチファンクション複合機（ＭＦＰ）１００、ＭＦＰ１００を制御するマネージメントＰＣ１０１、ローカルＰＣ１０２、文書管理サーバ１０６、文書管理サーバ１０６のためのデータベース１０５が接続されている。

ＬＡＮ１０８には、記録装置としてのＭＦＰ１２０、ＭＦＰ１２０を制御するマネージメントＰＣ１２１、文書管理サーバ１０６、および文書管理サーバ１０６のためのデータベース１０５が接続されている。

ＬＡＮ１０７、１０８にはプロキシサーバ１０３が接続され、ＬＡＮ１０７、１０８はプロキシサーバ１０３を介してインターネット１０４に接続される。インターネット１０４の代わりに、専用線等を用いたイントラネットを用いてもよい。

ＭＦＰ１００は原稿から読み取った入力画像に対する画像処理の一部を担当する。ＭＦＰ１００は、処理結果としての画像データをＬＡＮ１０７を通じてマネージメントＰＣ１０１に入力する機能を持つ。あるいは、ローカルＰＣ１０２、もしくは不図示の汎用ＰＣから送信されるページ記述言語（以下、ＰＤＬ）で記述されたＰＤＬデータ（印刷データとも呼ぶ。）を解釈して、印刷データにより定義される画像を印刷するプリンタとして機能する。さらには、原稿から読み取った画像をローカルＰＣ１０２もしくは、不図示の汎用ＰＣに送信する機能をもつ。マネージメントＰＣ１０１は、画像記憶手段、画像処理手段、表示手段、入力手段等を含む通常のコンピュータであり、機能的にはこれら構成要素の一部がＭＦＰ１００と一体化して、画像処理システムの構成要素となっている。なお、本実施形態では、マネージメントＰＣを介してデータベース１０５において、下記に記載する登録処理などが実行されるものとするが、マネージメントＰＣで行われる処理をＭＦＰで実行するようにしても構わない。なお、画像記憶手段としては例えばストレージ、画像処理手段としては例えば画像処理ソフトウェアや画像処理用のハードウエア、表示手段としては例えばディスプレイやそのデバイスドライバ等が含まれる。入力手段としては例えばキーボードやポインティングデバイス、その他のデータ入力用デバイス等が含まれる。

ローカルＰＣはユーザが利用するコンピュータであり、文書管理サーバ１０６やＭＦＰ１００に対してサービスを要求し、またサービスを享受するクライアント端末として機能する。

ＭＦＰ１２０，２００は、ＭＦＰ１００と同様の機能を持つ。また、マネージメントＰＣ１１１は、マネージメントＰＣ１０１と同様の機能を有する。さらに、ＭＦＰ１００は、ＬＡＮ１０９によってマネージメントＰＣ１０１に直接接続されている。同様に、ＭＦＰ１２０は、ＬＡＮ１２２によってマネージメントＰＣ１２１に直接接続されている。ただし、ＭＦＰ１００とＭＦＰ１２０とは、後述するデータ処理部１１５で実現される画像処理の内容が異なる。また、ＭＦＰ２００は本発明が適用されたＭＦＰであり、これもまた画像処理の内容が異なる。

＜ＭＦＰ＞
図２において、ＭＦＰ１００は、図示しない自動原稿送り装置（以下、ＡＤＦ）を有する画像読み取り部１１０を備えている。画像読み取り部１１０は原稿台上に載置された原稿に光を照射し、原稿上の画像をレンズで固体撮像素子上に結像させる。固体撮像素子からは各素子で受光した輝度に応じた画像読み取り信号が出力され、その信号がディジタル化されて、所定解像度（例えば６００ｄｐｉ）および所定輝度レベル数（例えば８ビット）の画像データが生成される。画像データは、たとえばラスター形式のビットマップ画像データ（ラスターデータ）である。

ＭＦＰ１００は、記憶部（以下、ＢＯＸ）１１１および記録部１１２を有し、通常の複写機能を実行する際には、イメージデータをデータ処理部１１５によって複写用の画像処理して記録用データに変換する。複数枚複写の場合には、１ページ分の記録用データを一旦ＢＯＸ１１１に記憶保持した後、記録部１１２に順次出力して、記録紙上に記録画像を形成する。

ＭＦＰ１００は、ＬＡＮ１０７との接続のためのネットワークＩ／Ｆ１１４を有し、ローカルＰＣ１０２、もしくは他の汎用ＰＣ（不図示）からドライバを利用して出力するＰＤＬ言語を、記録部１１２によって記録し得る。ローカルＰＣ１０２からドライバを経由して出力されるＰＤＬデータは、ＬＡＮ１０７からネットワークＩ／Ｆ１１４を経てデータ処理部１１５に入力される。ＰＤＬデータはデータ処理部１１５により解釈され処理されることで記録可能な記録信号に変換され、記録部１１２により記録紙上に記録画像として記録される。

ＢＯＸ１１１は、画像読み取り部１１０からのデータやローカルＰＣ１０２からドライバを経由して出力されるＰＤＬデータをレンダリングしたデータを保存できる機能を有している。これは上述の複数部の複写に限られず、たとえば利用者により文書の保存を明示的に指示する入力あるいは命令を受け付けた場合などにも、印刷データがＢＯＸに保存される。

ＭＦＰ１００は、ＭＦＰ１００に設けられたキー操作部（入力部１１３）、あるいはマネージメントＰＣ１０１の入力部（キーボード、ポインティングデバイス等）を通じて操作される。これらの操作のために、データ処理部１１５は内部の制御部（図示せず。）によって所定の制御を実行する。

ＭＦＰ１００は表示部１１６を有し、操作入力の状態と、処理すべきイメージデータとを表示部１１６によって表示し得る。

ＢＯＸ１１１はネットワークＩ／Ｆ１１７を介して、マネージメントＰＣ１０１から直接制御し得る。ＬＡＮ１０９は、ＭＦＰ１００とマネージメントＰＣ１０１との間のデータの授受、制御信号授受に用いられる。

＜一般的なデータ処理部の構成＞
図１、図２に示した、ＭＦＰ１００のデータ処理部１１５について、本願発明を適用していない画像処理のための構成について図３及び図４を用いて説明する。

図３において、画像読み取り部１１０で読み取られた入力画像データ２５０１は、データ処理部１１５に入力され、スキャン画像処理２５００が実施される。まず、入力画像データ２５０１は、像域分離処理部２５０２に入力される。像域分離処理部２５０２は、画素単位にその画素の画像特性を示す像域フラグ２５０３を生成する。同時に、入力画像２５０１は、入力色処理部２５０４に入力される。入力色処理部２５０４は、周知の階調補正、色変化などを行う。入力色処理部２５０４で処理された画像データは、エッジ強調部２５０５に入力される。エッジ強調部２５０５では、像域分離処理部２５０２が生成した像域フラグ２５０３により、文字部とそれ以外（網点部や写真部）の部分でエッジ強調の程度を画素単位で切り換え、スキャン画像処理後データ２５０６を生成する。スキャン画像処理後データ２５０６はいったん記憶部１１１に記憶される。なお、像域フラグ２５０３も同様に記憶される。

その後、必要に応じ、記録部１１２に出力可能なデータ形式にデータ処理部１１５で変換される。この処理を、プリント処理２５１０とする。記憶部１１１に記憶されたスキャン処理後データ２５０６を、出力色処理部２５１１に入力する。出力色処理部２５１１では、記録部１１２の特性に合わせ、階調補正、色空間変換など周知の画像処理を実施する。このとき、記憶部１１１から読み出した、像域フラグ２５０３に応じて、文字部とそれ以外（網点部や写真部）の部分で色処理などを変更することが一般的である。特に、黒い文字部は、黒単色で出力することが望ましいからである。出力色処理部２５１１で色処理されたデータは誤差拡散処理部２５１２に入力される。ここで、記録部１１２で出力するためのプリント処理後データ２５１３を生成する。プリント処理後データ２５１３は、記録部１１２に送られ、出力用紙などに印字される。以上が、図３に示すＭＦＰ１００の説明である。

＜像域分離処理の構成＞
ここで、像域分離処理部２５０２について、図８を用いて説明する。入力画像データ３００１が、判定用信号生成部３００２に入力される。入力画像データは処理対象の画像データであり、対象画像データや着目画像データ等とも称する。たとえば、入力画像データがＲＧＢ信号（各８ビット）の場合、グレースケール信号（８ビット）を生成する。このとき、ＲＧＢからＧチャンネルのみを抜き出しても良いし、（Ｒ＋２×Ｇ＋Ｂ）／４などの演算により求めても良い。入力画像データのチャンネル数とビット数はこれに限るものではない。また、判定用信号生成方法、チャンネル数とビット数についても上記は一例に過ぎない。

判定用信号生成部３００２で生成された判定用信号は、文字判定部３００３、網点判定部３００４と網点内文字判定部３００５に入力され、網点判定、文字判定、網点内文字判定が実施される。それぞれの判定結果を属性フラグ生成部３００６で比較演算し、属性フラグを生成する。本実施形態では、文字フラグ３００７、網点フラグ３００８、網点内文字フラグ３００９を生成する場合について説明する。この属性フラグを基に、原稿画像に含まれる画像の特徴に応じて最適な画像処理を施す。属性フラグは画素単位で生成され、ビットマップ画像データに対応するビットマップ属性データが生成される。

次に、文字判定部３００３を、図９を用いて説明する。入力画像データ３００１は、判定用信号生成部３００２にて所定の判定信号にされた後、エッジ強調部３１０２にてエッジ強調処理を施される。ここでは、画像データの所望の周波数成分を、強調・抽出するデジタルフィルタ処理が行われる。ラプラシアンなどの２次微分フィルタなどが代表的な例である。

エッジ強調部３１０２から出力されたエッジ強調信号は、閾値判定部３１０３と閾値判定部３１０４に入力される。閾値判定部３１０３には正の値の閾値が、閾値判定部３１０４には負の値の閾値が設定されている。

２次微分フィルタを用いた場合、フィルタされた信号値には、正負の符号があり、本実施形態のように画像信号が輝度信号の場合には、文字の内側では正の値をとり、文字の外側では負の値をとる。よって、閾値判定部３１０３からは、正の閾値を超えた時判定される内エッジ信号、閾値判定部３１０４からは、負の閾値を下回った時判定される外エッジ信号がそれぞれ出力される。

閾値判定部３１０３から出力された内エッジ信号はエリア積算部３１０５へ、閾値判定部３１０４から出力された外エッジ信号はエリア積算部３１０６へ、それぞれ入力される。エリア積算部３１０５及び３１０６は、例えば３×３サイズからなり注目画素を含めた周辺３×３領域の画素の判定信号を加算する。

閾値判定部３１０７及び３１０８は、エリア積算部３１０５及び３１０６の出力結果を閾値と比較して判定結果を出力する。例えば、閾値としてそれぞれ２という値が設定されているとすると、閾値判定部３１０７は『着目画素の周辺３×３エリア内に内エッジと判定された画素が２個以上あるとき』に判定信号『１』を出力することになる。同様に、閾値判定部３１０８は『着目画素の周辺３×３エリア内に外エッジと判定された画素が２個以上あるとき』に判定信号『１』を出力することになる。

それぞれの判定した結果の一例を図１７に示す。入力信号（画像データ）３９０１は、白い下地中の文字エッジの一部を表す。入力画像データ３９０１をエッジ強調処理（３１０２）し、閾値判定部３１０４で閾値処理した結果が外エッジ信号３９０２である。文字エッジの外側を抽出している。外エッジ信号３９０２をエリア積算部３１０６で積算し、閾値判定部３１０８で閾値処理した結果が、外エッジ積算信号３９０４である。外エッジ信号３９０２が拡張されている。

入力画像データ３９０１をエッジ強調処理（３１０２）し、閾値判定部３１０３で閾値処理した結果が内エッジ信号３９０３である。文字エッジの内側を抽出している。内エッジ信号３９０３をエリア積算部３１０５で積算し、閾値判定部３１０７で閾値処理した結果が、内エッジ積算信号３９０５である。内エッジ信号３９０３が拡張されている。

ＬＵＴ部３１０９には、閾値判定部３１０３・３１０７・３１０８の信号が入力される。ＬＵＴ部３１０９には、それぞれの閾値判定部の出力結果に基づき所定の論理に従って判定結果を出力する役割を行っている。所定の論理とは、例えば以下のような論理となる。なお矢印の左側が条件であり、右側が着目画素に対応して与えられる判定結果の値である。
（１）注目画素が内エッジである → １
（２）上記（１）以外で、注目画素周辺５×５エリアに外エッジが２個以上ある → ０
（３）上記（１）（２）以外で、注目画素周辺５×５エリアに内エッジが２個以上ある → １
（４）上記（１）〜（３）のいずれにも該当しない → ０。

これをＬＵＴで表すと、図１８のようなテーブル４００１で表現できる。内エッジ判定、内エッジ判定のエリア積算判定、外エッジ判定のエリア積算判定の結果に応じて文字エッジ判定（最下行）が決定される。以上のように行うことで、文字エッジを好適に抽出することができる。

次に、網点判定部３００４を、図１０を用いて説明する。入力画像データ３００１は、判定用信号生成部３００２にて所定の判定信号にされた後、エッジ強調部３２０２にてエッジ強調処理を施される。ここでは、画像データの所望の周波数成分を、強調・抽出するデジタルフィルタ処理が行われる。ラプラシアンなどの２次微分フィルタなどが代表的な例である。

エッジ強調部３２０２から出力されたエッジ強調信号は、閾値判定部３２０３と閾値判定部３２０４に入力される。閾値判定部３２０３には正の値の閾値が、閾値判定部３２０４には負の値の閾値が設定されている。

２次微分フィルタを用いた場合、フィルタされた信号値には、正負の符号があり、本実施形態のように画像信号が輝度信号の場合には、網点内側では正の値をとり、網点外側では負の値をとる。よって、閾値判定部３２０３からは、正の閾値を超えた時判定される内エッジ信号、閾値判定部３２０４からは、負の閾値を下回った時判定される外エッジ信号がそれぞれ出力される。

閾値判定部３２０３から出力される内エッジ信号は、孤立量判定３２０５に入力される。閾値判定部３２０４から出力される外エッジ信号は、孤立量判定３２０６に入力される。

孤立量判定３２０５では、内エッジ信号についてパターンマッチング処理を行う。網点原稿には低線数のものから高線数のものまであるため、原稿によって網点ドットのサイズや間隔は異なる。そのため、どのような線数の網点でも検出できるように、パターンマッチングは複数のパターンにて行う。低線数の網点ドットに対しては、大きいパターンにてマッチングを行い、網点かどうかを検出する。高線数の網点ドットに対しては、小さいパターンにてマッチングを行い、網点かどうかを検出する。また、網点ドットは濃度によっても形状が変化するため、それに対応できるよう、マッチングにレベルをもたせるとよい。つまり、完全にパターンが一致しなくても、網点ドットが判定できることが望ましい。このとき、パターンマッチング結果は、ＨＩＧＨ／ＬＯＷで出力される。なお、パターンマッチング処理については、周知の技術を用いてもよく、これに限るものではない。孤立量判定部３２０５，３２０６は内エッジ信号および外エッジ信号それぞれに対し、孤立量判定結果として、高線数判定信号、低線数判定信号の２種類を出力する。

孤立量判定部３２０５、３２０６からは、たとえば高線数の判定信号がＯＲ処理部３２０７に、低線数の判定信号がＯＲ処理３２０８に入力される。そのためＯＲ処理３２０７以下では高線数の網点が、ＯＲ処理部３２０８以下では低線数の網点が検出される。ＯＲ処理部３２０７，３２０８は、着目画素の３×３領域内で孤立量判定信号のＨＩＧＨ／ＬＯＷのＯＲをとり、１画素でもＨＩＧＨがあれば着目画素の孤立量判定信号値をＨＩＧＨとしたＯＲ信号を出力する。

ＯＲ処理されたＯＲ信号は、積算処理部３２０９、３２１０に入力されて、積算信号として出力される。たとえば、積算処理部３２０９、３２１０では、ＯＲ処理後のＯＲ信号を複数のエリアを用いて積算する。たとえば、積算処理部３２０９では１１×１１、積算処理部３２１０では２１×２１の領域で積算する。サイズの違いは網点の線数に対応するためであり、低線数の網点ほど大きな領域を用いる。もちろん他のサイズであってもかまわない。

次に、積算処理された積算信号は閾値判定部３２１１、３２１２で閾値判定処理された上、網点判定部３２１３、３２１４にて網点かどうか判定され、網点信号１（３２１５）と網点信号２（３２１６）とが出力される。閾値判定部３２１１、３２１２は、積算された信号に対して、それぞれ閾値判定処理を行う。このときの閾値はそれぞれの線数毎に設定できる。例えば、閾値判定部３２１１には、閾値としてそれぞれ２０という値が設定されているとする。閾値判定部３２１１は「１１×１１エリア内に高線数に相当する孤立点と判定された画素が２０個以上あるとき」に判定信号「１」を出力する。同様に、閾値判定部３２１２には、閾値としてそれぞれ４０という値が設定されているとする。閾値判定部３２１２は「２１×２１エリア内に低線数に相当する孤立点と判定された画素が４０個以上あるとき」に、注目画素について判定信号「１」を出力する。これらが、線数毎の網点判定信号となる。

閾値判定部３２１１，３２１２から出力されたそれぞれのエリアに対する信号を基に、網点判定部３２１３、３２１４にて網点判定を行い、網点判定信号１（３２１５）、網点判定信号２（３２１６）を出力する。なおここでは上述した閾値判定部による処理をおこなってもよい。

次に、網点内文字判定部３００５を、図１１を用いて説明する。入力画像データ３００１は、判定用信号生成部３００２にて所定の判定信号にされた後、適応的スムージング処理部３３０１にて適応的にスムージング処理が施される。ここでは、適応的に文字／細線を除外しつつ、画像データの所望の周波数成分を平滑化するデジタルフィルタ処理が行われる。

適応的スムージング処理部３３０１から出力されたスムージング信号は、エッジ強調部３３０２にて、エッジ強調処理を施される。ここでは、画像データの所望の周波数成分を、強調・抽出するデジタルフィルタ処理が行われる。ラプラシアンなどの２次微分フィルタなどが代表的な例である。

エッジ強調部３３０２から出力されたエッジ強調信号は、閾値判定部部３３０３に入力される。閾値判定部３３０３には正の値の閾値が設定されている。

エッジ強調のために２次微分フィルタを用いた場合、フィルタされた信号値には、正負の符号があり、本実施形態のように画像信号が輝度信号の場合には、文字の内側では正の値をとり、文字の外側では負の値をとる。

網点内文字判定では、網点内の文字自体を抽出することを目的としているため、文字の外エッジは網点領域とみなし、文字の内エッジを抽出することで網点内文字としている。よって、閾値判定部３３０３には正の閾値を設定し、正の閾値を超えた時、内エッジ信号が出力されるものとする。

文字判定部３００３により得られた文字判定結果と、網点判定部３００４により得られた網点判定結果と、網点内文字判定部３００５により得られた網点内文字判定結果とから、属性フラグ生成部３００６にて属性フラグを生成する。上記結果から属性フラグを生成する例をあげる。
（１）網点信号：ＨＩＧＨ，文字信号：ＬＯＷ⇒画像属性：網点
（２）網点信号：ＬＯＷ，文字信号：ＨＩＧＨ⇒画像属性：文字
（３）網点信号：ＨＩＧＨ，網点内文字信号：ＨＩＧＨ⇒画像属性：網点内文字。

上記以外は画像属性はイメージ（ドット画像）とする。以上のように判断し、画像属性に応じて、エッジ強調量、色再現方法、画像形成方法などの種々の画像処理方法を制御することができる。なお、この像域分離では、文字属性は、文字ではないが文字同様に細線で描かれた画像、すなわち線画についても付与される。すなわち、上述の説明において文字とは線画を含む。以上が、像域分離処理部の説明である。

この結果、図３の構成においては、エッジ強調部２５０５により、文字（及び線画）領域に対してエッジ強調処理が施される。

＜その他の画像処理を行うＭＦＰ＞
このような画像処理システムで構成されるＭＦＰが、図１に示すようなネットワーク環境下で複数台使われる場合、ＭＦＰ１００とＭＦＰ１２０のそれぞれのデータ処理部１１５が全く同一の処理構成とは限らないことがある。図３と異なる構成の一例を図４に示す。図４は、ＭＦＰ１２０の一例である。

画像読み取り部１１０で読み取られた入力画像データ２６０１は、データ処理部１１５に入力され、スキャン画像処理２６００が実施される。まず、入力画像データ２６０１は、像域分離処理部２６０２に入力される。像域分離処理部２６０２は、画素単位にその画素の画像特性を示す像域フラグ２６０３を生成する。同時に、入力画像２６０１は、入力色処理部２６０４に入力される。入力色処理部２６０４は、周知の階調補正、色変換などを行う。

入力色処理部２６０４で処理された画像データは、平滑化処理部２６０５に入力される。ＭＦＰ１２０では、後で説明するプリント処理２６１０においてスクリーン（ディザ）処理を実施する。そのため、スクリーンとの干渉を避けるため、画像データにディスクリーニング処理（モアレ除去処理）をあらかじめ実施する必要がある。その一手段として、平滑化を実施する。このとき、像域分離処理部２６０２が生成した像域フラグ２６０３により、文字部とそれ以外（網点部や写真部）の部分で平滑化の程度を画素単位で切り換える。文字部については、シャープネスを維持したいため、平滑化しない。このようにして、スキャン画像処理後データ２６０６を生成する。スキャン画像処理後データ２６０６はいったん記憶部１１１に記憶される。なお、像域フラグ２６０３も同様に記憶される。

その後、必要に応じ、記録部１１２に出力可能なデータ形式にデータ処理部１１５で変換される。この処理を、プリント処理２６１０とする。記憶部１１１に記憶されたスキャン処理後データ２６０６を、出力色処理部２６１１に入力する。出力色処理部２６１１では、記録部１１２の特性に合わせ、階調補正、色空間変換など周知の画像処理を実施する。このとき、記憶部１１１から読み出した、像域フラグ２６０３に応じて、文字部とそれ以外（網点部や写真部）の部分で色処理などを変更することが一般的である。特に、黒い文字部は、黒単色で出力することが望ましいからである。次に、出力色処理部２６１１で色処理されたデータは、エッジ強調部２６１２に入力され、像域フラグ２６０３に応じて、画素単位でエッジ強調の程度を切り替える。特に、文字部は、文字の再現性向上のため、強めの強調を行うことが一般的である。エッジ強調部２６１２でエッジ強調されたデータは、スクリーン処理部２６１３と誤差拡散処理部２６１４に入力される。スクリーン処理部２６１３にて、画像データに対しスクリーン処理を実施する。同時に、誤差拡散処理部２６１４にて、画像データに対し誤差拡散処理を実施する。スクリーン処理部２６１３から出力される画像データと、誤差拡散処理部２６１４から出力される画像データは、セレクタ部２６１５に入力される。セレクタ部２６１５にて、像域フラグ２６０３に応じて、画素単位で切り換える。文字部については、誤差拡散処理を選択し、それ以外の部分については、スクリーン処理を選択することが一般的である。セレクタ部２６１５で選択された画像データを、プリント処理後データ２６１６とする。プリント処理後データ２６１６は、記録部１１２に送られ、出力用紙などに印字される。以上が、図４に示すＭＦＰ１２０の説明である。

以上のような、異なる画像処理構成のＭＦＰ（ＭＦＰ１００、ＭＦＰ１２０）でスキャン処理した２種類のスキャン処理後データ２５０６、２６０６を、図３で説明した処理を用い、ＢＯＸ保存する場合、次のような問題が発生する。図５を用いて説明する。

文字画像２７０１は、ＭＦＰ１００の入力画像データ２５０１、ＭＦＰ１２０の入力画像データ２６０１に相当する。ここでは説明のため、同一画像を用いる。文字画像２７０１を、ＭＦＰ１００（構成図３）で処理すると、スキャン画像処理後データ２５０６は、文字画像２７０２になる。同じく、ＭＦＰ１２０（構成図４）で処理すると、スキャン画像処理後データ２６０６は、文字画像２７０４になる。文字画像２７０２は、全面エッジ強調された画像である。特に、文字部の強調具合は、強めである。一方、文字画像２７０４は、像域フラグ２６０３に応じて、文字部はなにもせず、文字部を除いた部分すなわち文字部以外の部分のみ平滑化処理した画像である。そのため、下地のノイズ成分は平滑化される。そのため、全体的にすこしボケた感じがする画像となる。次に、文字画像２７０２、２７０４を二値化処理する。その結果を、文字画像２７０３と文字画像２７０５に示す。エッジ強調された文字画像２７０２の二値化処理結果が文字画像２７０３である。文字部はなにもせず、それ以外のところを平滑化した文字画像２７０４を二値化したものが文字画像２７０５である。

このとき、二値化した文字画像２７０３と文字画像２７０５を比較すると、文字の太さが異なるという問題が発生する。これは、エッジ強調した画像とそうでない画像とを同じ二値化処理を実施したために発生した問題である。この二値化データがベクトル化されるため、最終的な、ベクトル化文字も同様に太さが異なるという問題が発生する。この例では、説明のため、同一の固定閾値で二値化している。そのため、二値化処理までの画像処理の違いにより、二値化された文字の太さが異なるという問題が発生する。

この問題を、図６にて、模式的に説明する。文字画像の一部を切り取ったものを文字エッジ画像２８００に示す。文字エッジ画像２８００を、２８０１の位置において、信号値のプロファイルをとった図が２８２０である。プロファイル２８２１は、画素位置に対する輝度信号値を示している。次に、同じ文字エッジ画像２８００をエッジ強調し、同じ位置にてその信号値のプロファイルをとった図が２８１０である。プロファイル２８１１は、画素位置に対する輝度信号値を示している。画素値プロファイル２８１１と２８２１とを比較すると、文字のエッジ端での信号変化の急峻さが異なる。よって、同じ閾値２８１２、２８２２で二値化処理した場合、得られる二値化結果の太さが異なる。この例では、エッジ強調された文字の二値化結果、つまり、文字の幅は、２８１５となる。一方、エッジ強調していない文字の二値化結果は、つまり、文字の幅は、２８２５となる。この結果から、エッジ強調を実施した文字画像と、そうでない文字画像とで、二値化後の文字の太さが異なるという問題が明示される。

ここで、ＭＦＰの持つボックスに保存した文書データ（あるいは画像データ）は、そこから読み出されて他のＭＦＰやプリンタで印刷することができる。また、他のＭＦＰ等でベクトル化して再利用可能な形式で保存することもできる。その場合、ＭＦＰ１００のボックスに保存された画像データとＭＦＰ１２０のボックスに保存された画像データとは、ひとつの同じ原稿を読み取ったにもかかわらず太さの異なる文字画像として印刷されたり、ベクトル化される。そこで本実施形態の画像処理装置として機能するＭＦＰは、以下のような構成及び機能を持つことで、どのＭＦＰに保存された文書データであっても、原稿に近い文字を再現できる。

＜本実施形態のＭＦＰ＞
図７は、本実施形態に係るＭＦＰのデータ処理部１１５の画像処理機能のブロック図である。このＭＦＰは、インターネット１０４に接続されたり、或いはＬＡＮ１０７またはＬＡＮ１０８に接続される。

入力画像データ２９０１が、像域分離処理部２９０２に入力される。入力画像データ２９０１は、たとえばスキャナから読み込まれたものであってもよいが、ＭＦＰ１００およびＭＦＰ１２０等により既に画像処理が施された画像データである場合には、その画像処理にも関わらず、文字画像は元画像データのように再現される。

図７において、像域分離処理部２９０２は先に説明した処理と同様である。この処理により、文字や網点といった、入力画像の特性を画素単位で検出できる。同じく、入力画像データ２９０１が、入力色処理部２９０３に入力される。入力色処理部２９０４は、周知の階調補正、色変換などを行う。入力色処理部２９０４で処理された画像データは、平滑化処理部２９０４に入力される。

このとき、像域分離処理部２９０２が生成した像域フラグ２９１０により、文字部とそれ以外とで、ＭＴＦ補正の補正量を変更する。一般的には、先に説明した通り、文字も写真もシャープネスを上げるためにエッジ強調を実施するが、本実施形態においては、属性フラグが文字の場合には、ＭＴＦ補正部２９０４にて平滑化を実施する。ＭＴＦ補正部２９０４は、画像データの空間周波数特性を変換する処理と言い換えることもできる。また、文字以外の領域に対しては、通常の処理を実施することで、たとえば写真部の画像品位は維持される。特許文献に記載した先行技術では、画像の全面に対して平滑化処理するが、画像（写真等の領域）部の再現性を考慮すると、全面平滑化は適切な処理と言えない。

ＭＴＦ補正部２９０４でＭＴＦ補正された画像データは、二値化部２９０５に入力され、二値化処理される。本実施形態では、所定の固定的な閾値（固定閾値）で二値化する。平滑化により、文字エッジのコントラストが低下するので、二値化の固定閾値はそれを考慮し、通常より輝度信号値で低めに設定することが望ましい。

二値化部２９０５で生成された二値画像は、オブジェクト分割部２９０６に入力される。オブジェクト分割処理では、画像データが文字／写真、グラフィック、文字など、含まれるオブジェクトの種類に応じた矩形の領域に分類される。分割された画像領域は、それぞれが含むオブジェクトの種類に応じてベクトル化処理される。ベクトル化の対象は、文字（及び線画）である。なお文字は文字認識の対象として、文字認識処理を行っても良い。ベクトル化処理は、オブジェクト分割部２９０６により分類された文字（および線画）画像を対象としてベクトル化部２９０７により行われ、ベクトル化データ２９０８を得る。このベクトル化データ２９０８がＭＦＰ２００のボックス（記憶部１１１）に保存される。あるいは、二値化部２９０５で二値化した画像データを、記録部１１２により印刷出力しても良い。

この結果、ＭＦＰ２００の入力画像データが、スキャナであろうと、他のＭＦＰのボックスであろうと、元原稿上の文字を高い忠実度で再生することができる。

＜オブジェクト分割＞
ここで簡単にオブジェクト分割処理と、ボックスに保存されるデータについて説明する。オブジェクト分割処理では、入力画像データを、属性ごとに矩形ブロックに分割する。前述のように、矩形ブロックの属性としては、文字、写真、グラフィック（図面、線画、表など）がある。これら属性は本実施形態では、像域分離処理で判定される属性とは独立して判定されるが、もちろん像域フラグのビットマップを参照して行ってもよい。

さて、オブジェクト分割ステップにおいては、まず、入力画像データを白黒に２値化し、黒画素輪郭で囲まれる画素塊を抽出する。らに、このように抽出された黒画素塊の大きさを評価し、大きさが所定値以上の黒画素塊の内部にある白画素塊に対する輪郭追跡を行う。白画素塊に対する大きさ評価、内部黒画素塊の追跡というように、内部の画素塊が所定値以上である限り、再帰的に内部画素塊の抽出、輪郭追跡を行う。画素塊の大きさは、例えば画素塊の面積によって評価される。このようにして得られた画素塊に外接する矩形ブロックを生成し、矩形ブロックの大きさ、形状に基づき属性を判定する。

例えば、縦横比が１に近く、大きさが一定の範囲の矩形ブロックは文字領域矩形ブロックの可能性がある文字相当ブロックとする。近接する文字相当ブロックが規則正しく整列しているときに、これら文字相当ブロックを纏めた新たな矩形ブロックを生成し、新たな矩形ブロックを文字領域矩形ブロックとする。

また扁平な画素塊、もしくは、一定大きさ以上でかつ四角形の白画素塊を整列よく内包する黒画素塊をグラフィック領域矩形ブロック、それ以外の不定形の画素塊を写真領域矩形ブロックとする。

オブジェクト分割ステップでは、このようにして生成された矩形ブロックのそれぞれについて、図２３に例示する、属性等のブロック情報および入力ファイル情報を生成する。

図２３において、ブロック情報には各ブロックの属性、位置の座標Ｘ、座標Ｙ、幅Ｗ、高さＨ、ＯＣＲ情報が含まれる。属性は１〜３の数値で与えられ、値１は文字領域矩形ブロック、値２は写真領域矩形ブロック、値３はグラフィック領域矩形ブロックを示す。座標Ｘ、座標Ｙは入力画像における各矩形ブロックの始点のＸ、Ｙ座標（左上角の座標）である。幅Ｗ、高さＨは矩形ブロックのＸ座標方向の幅、Ｙ座標方向の高さである。ＯＣＲ情報は入力画像におけるポインタ情報の有無を示す。さらに入力ファイル情報として矩形ブロックの個数を示すブロック総数Ｎが含まれる。

これらの矩形ブロックごとのブロック情報は、特定領域たとえば文字およびグラフィック領域のベクトル化に利用される。またブロック情報によって、特定領域とその他の領域を合成する際の相対位置関係を特定でき、入力画像のレイアウトを損なわずにベクトル化領域とラスターデータ領域を合成することが可能となる。

ベクトル化処理は、たとえば画像データに対し、黒画素と白画素との境界を、黒画素を所定の方向に見るベクトルで記述することで行われる。ただし、ここままでは大きさが画素サイズであり、ラスタ方向とそれに直交する方向のベクトルだけで構成されるために、所定の規則にしたがって、複数のベクトルを合成する。たとえば、終点と始点と方向とが同一のベクトルを結合して一つのベクトルに合成し、また、直交するベクトルが所定の条件を満たすならば斜めのベクトルを合成する。このようにして輪郭ベクトルを示すベクトルデータが得られる。さらに輪郭ベクトルから、線の中心を示すベクトルと幅を示すデータとを組み合わせた心線ベクトルに変換することもできる。図形に関しては、その図形を示す関数（あるいは近似関数）と線の幅とに変換することもできる。

ここで得られるベクトルデータは、入力画像データがＭＦＰ１００のボックスから入力されたものであろうと、ＭＦＰ１２０のボックスから入力されたものであろうと、原稿に記録されていたように、同じ太さの文字や図形を示すことになる。これは、文字領域に対して平滑化処理をＭＴＦ補正部２９０４で施したためである。

＜登録の詳細設定＞
こうしてベクトル化されたデータは、たとえばＳＶＧ形式で保存される。この形式では、ベクタオブジェクトとイメージオブジェクトなど、属性毎に記述される。また文字認識が行われれば、文字属性の領域は、テキストオブジェクトとして記述され保存される。なお写真領域矩形ブロックについては、ベクトル化せず、イメージデータのままとする。

＜ＢＯＸ保存処理＞
オブジェクト分割の後、ベクトル化したデータを用いて、記憶部１１１に保存するＢＯＸ保存データへの変換処理を実行する。ベクトル化処理結果は、中間データの形式（本実施例ではドキュメント・アナリシス・アウトプット・フォーマット（以下、ＤＡＯＦ）と呼ぶことにする）で保存されている。ＤＡＯＦは、ヘッダ、レイアウト記述データ部、文字認識記述データ部、表記述データ部、画像記述データ部よりなる。ヘッダには、処理対象の入力画像に関する情報が保持される。レイアウト記述データ部には、入力画像中の矩形ブロックの属性である文字、線画、図面、表、写真等の情報と、これら属性が認識された各矩形ブロックの位置情報が保持される。文字認識記述データ部には、文字領域矩形ブロックのうち、文字認識して得られる文字認識結果が保持される。表記述データ部には、表の属性を持つグラフィック領域矩形ブロックの表構造の詳細が格納される。画像記述データ部には、グラフィック領域矩形ブロックにおけるイメージデータが、入力画像データから切り出して保持される。ベクトル化された領域については、画像記述データ部には、ベクトル化処理により得られたブロックの内部構造や、画像の形状や文字コード等あらわすデータの集合が保持される。一方、ベクトル化処理の対象ではない、特定領域以外の矩形ブロックでは、入力画像データそのものが保持される。

ＢＯＸへの保存用データへの変換処理は、ＤＡＯＦ形式のデータから文書構造ツリー生成を行い、文書構造ツリーを元に、ＤＡＯＦ内の実データを取得し、保存用データを生成する。作成される文書構造ツリーは例えば図２５に示すようなもので、根が文書全体を、葉が個々のブロックを、根と葉以外のノードがグループを表している。これは、画像上でみれば、図２４のような構造を示す。

文書構造ツリー生成処理は、まず矩形ブロック単位で、縦方向の関連性に基づいて、矩形ブロックを再グループ化する。ここで、関連性とは、距離が近い、ブロック幅（横方向の場合は高さ）がほぼ同一であることなどの特徴によって定義される。また、距離、幅、高さなどの情報はＤＡＯＦを参照して抽出する。

図２４のイメージデータでは、最上部で、矩形ブロックＴ１、Ｔ２が横方向に並列されている。矩形ブロックＴ１、Ｔ２の下には横方向セパレータＳ１が存在し、横方向セパレータＳ１の下に矩形ブロックＴ３、Ｔ４、Ｔ５、Ｔ６、Ｔ７が存在する。矩形ブロックＴ３、Ｔ４、Ｔ５は、横方向セパレータＳ１下側の領域における左半部において上から下に、縦方向に配列され、矩形ブロックＴ６、Ｔ７は、横方向セパレータＳ１下側の領域における右半部において上下に配列されている。

次に縦方向の関連性に基づくグルーピングの処理を実行する。これによって、図２４で言えば矩形ブロックＴ３、Ｔ４、Ｔ５が１個のグループ（矩形ブロック）Ｖ１にまとめられ、矩形ブロックＴ６、Ｔ７が１個のグループ（矩形ブロック）Ｖ２にまとめられる。グループＶ１、Ｖ２は同一階層となる。

次に、縦方向のセパレータの有無をチェックする。セパレータは、ＤＡＯＦ中でライン属性を持つオブジェクトであり、アプリケーションソフトウエア中で明示的にブロックを分割する機能をもつ。セパレータを検出すると、処理対象の階層において、入力画像の領域を、セパレータを境界として左右に分割する。図２４では縦方向のセパレータは存在しない。

次に、縦方向のグループ高さの合計が入力画像の高さに等しくなったか否か判断する。すなわち縦方向（例えば上から下へ。）に処理対象の領域を移動しながら、横方向のグルーピングを行うとき、入力画像全体の処理が終了したときには、グループ高さ合計が入力画像高さになることを利用し、処理の終了判断を行う。グルーピングが終了したときはそのまま処理終了し、グルーピングが終了していなかったときは次に進む。

次に、横方向の関連位に基づくグルーピングの処理を実行する。これによって、図２４では、矩形ブロックＴ１、Ｔ２が１個のグループ（矩形ブロック）Ｈ１にまとめられ、矩形ブロックＶ１、Ｖ２が１個のグループ（矩形ブロック）Ｈ２にまとめられる。グループＨ１、Ｈ２は同一階層となる。ここでも、処理開始直後はミクロブロック単位での判定となる。

次に横方向のセパレータの有無をチェックする。セパレータを検出すると、処理対象の階層において、入力画像の領域を、セパレータを境界として上下に分割する。図２４では横方向のセパレータＳ１が存在する。

以上の処理結果が図２５のツリーとして登録される。図２５において、入力画像Ｖ０は、最上位階層にグループＨ１、Ｈ２、セパレータＳ１を有し、グループＨ１には第２階層の矩形ブロックＴ１、Ｔ２が属する。グループＨ２には、第２階層のグループＶ１、Ｖ２が属し、グループＶ１には、第３階層の矩形ブロックＴ３、Ｔ４、Ｔ５が属し、グループＶ２には、第３階層の矩形ブロックＴ６、Ｔ７が属する。

最後に、横方向のグループ長合計が入力画像の幅に等しくなったか否か判断する。これによって横方向のグルーピングに関する終了判断を行う。横方向のグループ長がページ幅となっている場合は、文書構造ツリー生成の処理を終了する。横方向のグループ長がページ幅となっていないときは、先頭から再びもう一段上の階層で、縦方向の関連性チェックから繰り返す。もう一階層上で繰り返すとは、上述の説明における矩形ブロックを、矩形ブロックをグループ化して構成されたグループと読み替えて、上記処理を繰り返すことである。こうして階層的にグループ化が行われ、図２５に示すような文書構造ツリーが生成される。これが、ＤＡＯＦ形式のデータとともにボックスに保存される。また、保存される文書には、各オブジェクト毎に検索用のキーワードを付すこともできる。キーワードは、文字オブジェクト領域であればそこに含まれる文字列から選ばれる。文字以外であればそのオブジェクトの近傍の文字オブジェクト領域に含まれる文字列から選ばれる。

なお、ここではベクトル化を行ってから保存するものと説明したが、二値化した画像データをボックスに保存しても良い。

以上のように、入力画像データから文字部を抽出し、文字部に対して平滑化処理した後に二値化処理することで、好適な文字のベクトル化が実現できる。また、文字や線画については常に平滑化することで、画像処理システムの処理構成の影響を受けない。よって、処理構成によって、文字が太ったり、細ったりすることがなくなる。また、エッジ強調処理後に二値化すると、エッジ強調処理により文字が細くなりやすいが、平滑化し、適切な閾値を用いて二値化処理することで、文字の太さを元原稿における文字画像と同程度にすることができる。

なお、エッジ強調、および、平滑化処理のいずれもしないことも考えられるが、文字エッジの近傍領域でノイズ除去の効果がある平滑化処理を実施することが望ましい。これにより、ベクトル化時の近似処理にノイズ成分が入りにくく、好適な近似曲線が生成できる。特に、ハーフトーン文字など、文字であって、その文字の輪郭が滑らかでない文字については、平滑化処理の効果は大きい。つまり、文字のベクトル化に際して、文字部を抽出し、平滑化処理することで、文字の品位が大幅に向上できる。

なお本実施形態では画像データは各画素の輝度値から構成されるビットマップ画像データであるとしているが、輝度に変えて濃度で表現してもよい。すなわち濃度又は輝度であればよい。

［第２実施形態］
第１の実施形態では、二値化部２９０５において、固定閾値を用いて二値化処理したが、第２の実施形態では、変動閾値で処理する例を説明する。

図１２にその処理構成図を示す。図１２の処理構成は、第１の実施形態で説明した図７とほぼ同じ構成である。異なる処理は、新たに追加した閾値算出部３４０４と、固定閾値で二値化処理を実施した二値化処理部２９０５が閾値算出部３４０４から算出される変動閾値を用いて二値化処理を実施する二値化部３４０５の２つである。

閾値算出部３４０４は、ＭＴＦ補正部２９０４で使用するメモリを利用し、たとえばＭＴＦ補正が５×５の空間フィルタの場合、その５×５のエリアを利用し、平均輝度レベルを算出する。すなわち輝度の平均値を計算する平均値算出手段として機能する。そしてその平均輝度レベルに応じて、二値化処理部３４０５の閾値を変動させる。たとえば、入力画像データの下地に地色がある場合には、閾値を通常より下げるとよい。あるいは、像域分離処理部２９０２により生成される像域フラグを参照し、文字部を除外した平均輝度レベルを算出してもよい。そうすることで、下地の地色の影響を除去することが可能となる。

たとえば、閾値に所定の標準値（これは第１実施形態で用いる閾値であってよい。）を設けておき、予め定めておいた平均輝度の基準値から、算出された平均輝度レベルを引いた差を、閾値の標準値から差し引いて、その値を閾値として採用する。閾値の標準値や平均輝度の基準値は、実際の紙文書を読み込むなどして実験的に決定しておくことができる。

以上のように、二値化処理部３４０５で用いる閾値を閾値算出部３４０４で算出することで、入力画像データの下地の地色に影響されないベクトル化処理が実現できる。この場合、変動閾値を用いるため、均一な下地でだけでなく、グラデーションの下地に対しても有効である。

［第３実施形態］
第１の実施形態では、像域分離処理部２９０２が生成した像域フラグが文字の場合には、ＭＴＦ補正部２９０４にて平滑化を実施する例を説明した。第２の実施形態では、入力画像のエッジ部のＭＴＦ特性に応じて平滑化の実施の有無を決定する方法を説明する。

図１３にその処理構成図を示す。図１３の処理構成は、第１の実施形態で説明した図７とほぼ同じ構成である。異なる処理は、新たに追加したＭＴＦ判定部３５０９と、ＭＴＦ補正部３５０４の２つである。ＭＴＦ補正部３５０４は、ＭＴＦ補正部３５０９からの信号でＭＴＦ補正の程度を可変的に切り替える機能を持ち、像域分離処理部２９０２で生成される像域フラグにより平滑化とエッジ強調を切り替えるＭＴＦ補正部２９０４が置換された構成要素である。

ＭＴＦ判定部３５０９は、注目画素近傍の信号値変動からコントラストを算出し、注目画素がエッジ強調された画素か、平滑化された画素かを判定する処理である。ここで、コントラストを算出する方法の一例を図１９に示す。コントラストを算出するために、Ｎ×Ｍ（ＮとＭは整数）のエリアにおいて、注目画素を中心に、縦方向４１０４、横方向４１０３、斜め２方向４１０２、４１０５の４方向の信号値の勾配をみる。たとえば、注目画素を中心とするたとえば上下隣接する画素の画素値の差分をとる。
ｄ１＝｜（ｘ１、ｙ２）−（ｘ１、ｙ０）｜
ｄ２＝｜（ｘ０、ｙ１）−（ｘ２、ｙ１）｜
ｄ３＝｜（ｘ０、ｙ０）−（ｘ２、ｙ２）｜
ｄ４＝｜（ｘ０、ｙ２）−（ｘ２、ｙ０）｜
ｄ０＝ＭＡＸ（ｄ１、ｄ２、ｄ３、ｄ４）
ここでｄ０、ｄ１、ｄ２、ｄ３、ｄ４は、正の整数である。

この方法の場合、４方向の信号値勾配の中から、一番勾配が大きい値をとりだす。この最大値がＭＴＦ判定部３５０９の出力となる。この値をＭＴＦ補正部３５０４に送り、所定の値と比較し、ＭＴＦの補正レベルを制御する。たとえば、最大値ｄ０の値があらかじめ決めた基準値Ｐ０（Ｐ０は正の整数）より大きい場合に、注目画素は、エッジ強調されていると判断する。逆に、小さい場合には、平滑化されていると判断する。あるいは、所定の基準値をＰ１、Ｐ２（Ｐ１＜Ｐ２、Ｐ１、Ｐ２は正の整数）の二つ設け、Ｐ２より大きい時はエッジ強調、Ｐ１より小さい時は平滑化、その間のときはエッジ強調も平滑化もされていない（これを「通常」と呼ぶ）とする区分でもよい。このようにして、ＭＴＦ判定部３５０９により、入力画像データ２９０１のＭＴＦ特性が判定される。また、像域分離処理部２９０２により、注目画素の属性が判定され、両者の結果を受けて、ＭＴＦ補正部３５０４にて、ＭＴＦ補正を行う。

たとえば、以下のようなような場合が考えられる。
（１）像域分離処理部２９０２が文字、かつ、ＭＴＦ判定部３５０９がエッジ強調の場合
→ＭＴＦ補正部３５０４で平滑化補正（強）を実施する。
（２）像域分離処理部２９０２が文字、かつ、ＭＴＦ判定部３５０９が通常の場合
→ＭＴＦ補正部３５０４で平滑化補正（弱）を実施。
（３）像域分離処理部２９０２が文字、かつ、ＭＴＦ判定部３５０９が平滑化の場合
→ＭＴＦ補正部３５０４では補正をしない。
（４）像域分離処理部２９０２が文字以外、かつ、ＭＴＦ判定部３５０９がエッジ強調の場合
→ＭＴＦ補正部３５０４では補正をしない。
（５）像域分離処理部２９０２が文字以外、かつ、ＭＴＦ判定部３５０９が通常の場合
→ＭＴＦ補正部３５０４でエッジ強調補正（弱）を実施する。
（６）像域分離処理部２９０２が文字以外、かつ、ＭＴＦ判定部３５０９が平滑化の場合
→ＭＴＦ補正部３５０４でエッジ強調補正（強）を実施。

ここでは文字は線画を含む。このように、オブジェクト種類が文字又は線画の領域については、平滑化処理がされていない場合には、平滑化処理を行う。また、オブジェクト種類が文字以外の領域については、平滑化処理がされていない場合には、平滑化処理を行う。ここでは、ＭＴＦ補正部での処理を、強い平滑化処理、弱い平滑化処理、無処理の３段階にする例を示したが、これに限るものではない。平滑化補正のレベルを複数用意し、そのレベル数分の刻みでＭＴＦ判定の結果を区分してもよい。また、その区分も、均等の割合で区分する必要はない。

なお、上記の判定結果と補正処理方法の組み合わせは、これに限るものではない。さらに、本実施形態では３画素×３画素のエリアで信号値の勾配を見る方法を説明したが、これに限るものではない。また、信号値の勾配の算出方法も、これに限るものではない。たとえば、エリアを利用し、微分フィルタなどの空間フィルタ処理を用い、勾配を算出してもよい。

上記の説明では、画素単位の判定を行い、画素単位で処理を行ったが、たとえば、ＭＴＦ補正部３５０４の結果がエッジ強調であると連続する場合、その入力画像全体がエッジ強調画像と判定し、ある部分の判定結果を、画像全体の判定結果としてもよい。このときは、ＭＴＦ補正部３５０４の結果をカウントし、判断すればよい。

以上のように、入力画像データのＭＴＦ特性を判定し、その判定結果を基に、ＭＴＦ補正の補正方法を制御することで、文字の太さを好適に再現したベクトル化データが生成できる。また、ＭＴＦ特性の判定結果と像域分離処理から生成される属性フラグの両者を参照することで、文字部と写真部に対し、適切なＭＴＦ補正が可能となる。

[第４実施形態]
第３の実施形態では、ＭＴＦ判定部３５０９と像域分離処理部２９０２の結果に応じてＭＴＦ補正部３５０４の補正方法を制御する方法を説明した。第４の実施形態では、ＭＴＦ判定部３５０９と像域分離処理部２９０２の結果に応じて二値化処理を制御する方法を説明する。

図１４にその処理構成図を示す。図１４の処理構成は、第３の実施形態で説明した図１３とほぼ同じ構成である。ただしＭＴＦ判定部３５０９の判定結果を入力する処理が、ＭＴＦ補正部ではなく、二値化部３６０５になる。

本実施形態では、ＭＴＦ判定部から出力される多値の判定結果を用い、二値化部２９０５の閾値を可変させる。第３の実施形態で説明した通り、ＭＴＦ判定部３５０９は、Ｎ×Ｍ（ＮとＭは整数）のエリアを利用し、注目画素のコントラストを算出している。入力画像データ２９０１が多値画像データなので、ＭＴＦ判定部３５０９から出力される値（最大値ｄ０）も多値となる。ＭＴＦ判定部３５０９から出力される値が信号値の勾配値の場合を例に、図２０を用いて二値化の閾値の決定方法を説明する。

図２０は、ＭＴＦ判定部３５０９から出力される信号値の勾配値をＸ軸に、二値化部３６０５で用いる二値化閾値をＹ軸とし、両者の関係の一例を示す図である。たとえば、すでに平滑化された画像が入力画像データ２９０１の場合、ＭＴＦ判定部３５０９から出力される勾配値は小さく、たとえば４２０２の画素値になる。このとき、直線、もしくは曲線からなる関数４２０１に基づき、二値化閾値が対応付けられる。この場合、二値化閾値４２０４を得る。平滑化画像の文字を抽出する場合、平滑化によりコントラストが低下しているため、通常の閾値よりやや輝度信号レベルで低めに閾値を設定することが望ましい。それにより、文字の太りを抑制できる。

一方、エッジ強調された画像が入力画像データ２９０１の場合、ＭＴＦ判定部３５０９から出力される勾配値は大きく、たとえば４２０３の画素値になる。このとき、直線、もしくは曲線からなる関数４２０１に基づき、二値化閾値が対応付けられる。この場合、二値化閾値４２０５を得る。エッジ強調画像の文字を抽出する場合、エッジ強調によりコントラストが増加しているため、通常の閾値よりやや輝度信号レベルで高めに閾値を設定することが望ましい。それにより、文字の細りを抑制できる。

また、この二値化の制御は、像域分離処理２９０２の結果に連動してもよい。像域分離処理２９０２の結果が文字の場合はＭＴＦ判定部３５０９の判定結果連動する変動閾値を用い、そうでない場合は固定閾値でもよい。また、像域分離処理部２９０２の結果が文字でない場合でも、ＭＴＦ判定部３５０９の判定結果に連動させてもよい。その場合には、写真部を考慮した信号値の勾配と二値化閾値との関係を文字の時とは別に用意する方が好ましい。

以上のように、入力画像データのＭＴＦ特性を判定し、その判定結果を基に、二値化処理の閾値を制御することで、文字の太さを好適に再現したベクトル化データが生成できる。また、ＭＴＦ特性の判定結果と像域分離処理から生成される属性フラグの両者を参照することで、文字部と写真部に対し、適切な二値化処理が可能となる。

[第５実施形態]
第１の実施形態では、像域分離処理部２９０２の結果に応じて、文字とそれ以外でＭＴＦ補正部３５０４の補正方法を制御する方法を説明した。第５の実施形態では、文字をより詳細に区分した例を説明する。

文字の具体例を図２１に示す。ハーフトーン文字４３０１は、印刷物の文字であり、網点で形成されている。ハーフトーン文字４３０１は網点で形成されているため、文字エッジに網点の形状が残り、文字の輪郭部は滑らかではない。また、文字の内部についても網点の構造が残り、濃度によっては白抜けしたように見受けられる。これは、ハーフトーンを再現するために起こることで、避けられない現象である。このような文字をベクトル化処理すると、ベクトル化文字４３１１を得る。得られたベクトル化文字４３１１の輪郭部は、たとえば４３１３のようにガタつきや切れ目が多い。また、文字の内部も４３１２のように白抜けが発生する。つまり、文字は文字であっても、べた塗りの文字ではなく、網点などで形成されるハーフートーン文字（薄い黒文字や色文字がこれに相当する）をベクトル化処理すると、文字輪郭部にガタつきが発生したり、また、文字内部に白抜けが発生したりする。

この問題を解決する構成を図１５にその処理構成図を示す。図１５の処理構成は、第１の実施形態で説明した図７とほぼ同じ構成である。異なる処理は、像域分離処理部のみである。

像域分離処理部３７０２の構成を、図２２に示す。図２２は、図８と同じ処理構成である。異なるのは、属性フラグ生成部３００６（図２２では４４０６）と、そこで生成されるフラグの一部である。本実施形態で追加的に生成されるフラグは、網点文字フラグ４４０８である。

文字判定部３００３により得られた文字判定結果と、網点判定部３００４により得られた網点判定結果と、網点内文字判定部３００５により得られた網点内文字判定結果とから、属性フラグ生成部４４０６にて属性フラグを生成する。上記結果から属性フラグを生成する例をあげる。
（１）網点信号：ＨＩＧＨ，文字信号：ＬＯＷ⇒ 画像属性：網点
（２）網点信号：ＬＯＷ，文字信号：ＨＩＧＨ⇒ 画像属性：文字
（３）網点信号：ＨＩＧＨ，文字信号：ＨＩＧＨ⇒ 画像属性：網点文字
（４）網点信号：ＨＩＧＨ，網点内文字信号：ＨＩＧＨ⇒ 画像属性：網点内文字。

上記以外は画像属性はイメージ（ドット画像）とする。先にあげた問題を解決するのは、網点信号と文字信号がともにＨＩＧＨのとき、網点文字と判定することで実現できる。網点文字と判定された文字についても平滑化を実施することで、網点の白抜け、ガタつきを抑制可能となる。ハーフトーン文字４３０１を網点文字と認識し、平滑化処理を実施したのちベクトル化処理し、ベクトル化文字４３２１を得る。すなわち、本実施形態では、網点文字も文字として平滑化処理の対象とする。先に示したベクトル化文字４３１１と比較すると、文字の輪郭部のガタつきが低減し、文字内部の白抜けが発生していない。

なお、網点文字と通常のべた文字に対する平滑化の強度は、同一でもよいし、よりそれぞれ異なる強度にしてもよい。とくに、輪郭のガタつきや、低濃度のハーフトーン文字に対しては、強度を強めにした方がより効果が高い。

以上のように、通常の文字とハーフトーン文字とを識別し、ハーフトーン文字に対しても平滑化を実施することで、網点の白抜け、ガタつきを抑制できる。

[第６実施形態]
第５の実施形態では、像域分離処理部２９０２の結果に応じて、文字とそれ以外でＭＴＦ補正部３５０４の補正方法を制御する方法を説明した。第６の実施形態では、入力画像データ２９０１が持つＭＴＦ特性を考慮してＭＴＦ補正と二値化処理を実施する例を示す。

図１６にその処理構成図を示す。図１６は、第３の実施形態、第４の実施形態、および、第５の実施形態を統合したものである。

ＭＴＦ補正部３５０４は、像域分離処理部３７０２の結果により、文字部、網点文字部、写真部などに分離され、それぞれ適切なＭＴＦ補正をＭＴＦ補正部３５０４で実施する。また、このとき、ＭＴＦ判定部３５０９の結果を基に、入力画像データ２９０１がエッジ強調画像と推測される場合には、文字部に対し平滑化を行う。また、このとき、網点文字に対しても平滑化を行う。このときの平滑化の強度は、互いに異なる方が効果が高い。

二値化部２９０５は、ＭＴＦ判定部３５０９の判定から出力される信号値の勾配に応じて、二値化閾値を制御する。このとき、前述したＭＴＦ補正部３５０４でエッジ強調画像に対して平滑化を行っているため、エッジ強調画像であっても、第４の実施形態で説明したほど二値化の閾値を大きくする必要はない。このシステムにおける適切な値を用いればよい。なお、像域分離処理部３７０２の出力結果に応じ、文字部に対して前述の変動閾値を適用し、写真部に対して固定閾値を適用することで、文字と写真の両立が可能となる。

以上のように、ＭＴＦ補正部３５０４でＭＴＦ補正の程度を適切にし、また、ＭＴＦ判定部３５０９に結果に応じて、入力画像データ２９０１の強調状態を推測し、適切な二値化の閾値を設定することで、文字画像の品位が向上する。

なお本発明は、複数の機器（例えばホストコンピュータ、インタフェイス機器、リーダ、プリンタなど）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、複写機、ファクシミリ装置など）に適用してもよい。また本発明の目的は、前述の実施形態の機能を実現するプログラムを記録した記録媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータが記憶媒体に格納されたプログラムを読み出し実行することによっても達成される。この場合、記憶媒体から読み出されたプログラム自体が前述した実施形態の機能を実現することになり、そのプログラム自体およびプログラムを記憶した記憶媒体は本発明を構成することになる。

また、本発明には、プログラムの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム(OS)などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれる。さらに、記憶媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた場合についても、本発明は適用される。その場合、書き込まれたプログラムの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるCPUなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される。

本発明に係る画像処理システムを示すブロック図である。 ＭＦＰを示すブロック図である。 実施形態で説明するＭＦＰ画像処理の一例を説明する図である。 実施形態で説明するＭＦＰ画像処理の一例を説明する図である。 実施形態で説明するＭＦＰ画像処理の差により発生する文字画像の違いを説明する図である。 実施形態で説明するＭＦＰ画像処理の差により発生する文字画像の違いを説明する図である。 第１実施形態で説明する本発明の構成を説明する図である。 第１実施形態で説明するＭＦＰ画像処理の像域分離処理を説明する図である。 第１実施形態で説明するＭＦＰ画像処理の像域分離処理を説明する図である。 第１実施形態で説明するＭＦＰ画像処理の像域分離処理を説明する図である。 第１実施形態で説明するＭＦＰ画像処理の像域分離処理を説明する図である。 第２実施形態で説明する本発明の構成を説明する図である。 第３実施形態で説明する本発明の構成を説明する図である。 第４実施形態で説明する本発明の構成を説明する図である。 第５実施形態で説明する本発明の構成を説明する図である。 第６実施形態で説明する本発明の構成を説明する図である。 実施形態で説明するＭＦＰ画像処理の像域分離処理を説明する図である。 実施形態で説明するＭＦＰ画像処理の像域分離処理を説明する図である。 実施形態で説明する画素の信号値勾配の算出方法を説明する図である。 実施形態で説明する画素の二値化閾値の算出方法を説明する図である。 実施形態で説明する画像の一例を説明する図である。 実施形態で説明するＭＦＰ画像処理の像域分離処理を説明する図である。 オブジェクト分割情報したときの各属性のブロック情報および入力ファイル情報の一例を示す図である。 文書構造ツリー生成処理の対象となる文書を示す図である。 文書構造ツリーを示す図である。

Claims (14)

1. 画像データから、オブジェクト種類ごとの領域を特定する像域分離手段と、
   画像データの空間周波数特性を変換する変換手段と、
   前記変換手段で空間周波数特性が変換された画像データを二値化処理する二値化手段とを備え、
   前記変換手段は、前記像域分離手段により特定された、オブジェクト種類が文字又は線画である領域の画像データの空間周波数特性を変換して平滑化処理を実施することを特徴とする画像処理装置。
2. 前記二値化手段で二値化された画像データをベクトル化処理するベクトル化手段を、更に備えることを特徴とする請求項１に記載の画像処理装置。
3. オブジェクト種類が文字でも線画でもない領域の画像データに対し、前記変換手段によりエッジ強調処理を実施することを特徴とする請求項１に記載の画像処理装置。
4. 画像データの濃度又は輝度の平均値を算出する平均値算出手段をさらに備え、
   前記二値化手段は、前記平均値算出手段により算出された対象画像データの濃度又は輝度の平均値を基に決められた閾値を用いて、前記対象画像データを二値化処理することを特徴とする請求項１に記載の画像処理装置。
5. 前記平均値算出手段は、像域分離手段により特定された、所定のオブジェクト種類の領域を除いた領域の画像データを対象として濃度又は輝度の平均値を算出することを特徴とする請求項４に記載の画像処理装置。
6. 画像データに施された空間周波数特性の変換による画像処理の種類を判定する判定手段をさらに備え、
   前記変換手段は、前記像域分離手段により特定された領域のオブジェクトの種類と、前記判定手段により判定された、前記領域について施された画像処理の種類とに基づいて、当該領域の空間周波数特性を変換することを特徴とする請求項１に記載の画像処理装置。
7. 前記変換手段は、オブジェクトの種類が文字又は線画の領域に対して、該領域に施された画像処理が平滑化でなければ、当該領域の空間周波数特性を変換して平滑化することを特徴とする請求項６に記載の画像処理装置。
8. 前記変換手段は、オブジェクトの種類が文字でも線画でもない領域に対して、該領域に施された空間周波数特性の変換がエッジ強調でなければ、当該領域の空間周波数特性を変換してエッジ強調することを特徴とする請求項６又は７に記載の画像処理装置。
9. 画像データに施された空間周波数特性の変換による画像処理の種類を判定する判定手段をさらに備え、
   前記二値化手段は、前記判定手段により判定された画像処理の種類に応じた二値化閾値を用いて対象画像データを二値化処理することを特徴とする請求項１に記載の画像処理装置。
10. 前記二値化手段は、オブジェクトの種類が文字又は線画の場合の閾値として、オブジェクトの種類が文字でも線画でもない場合の閾値よりも大きな二値化閾値を用いることを特徴とする請求項９に記載の画像処理装置。
11. 前記二値化手段は、前記像域分離手段により特定される領域のオブジェクトの種類が文字又は線画であれば、前記判定手段により判定された画像処理の種類に応じた二値化閾値を用いて対象画像データを二値化処理し、前記像域分離手段により特定される領域のオブジェクトの種類が文字でも線画でもなければ、固定的な二値化閾値を用いて対象画像データを二値化処理することを特徴とする請求項９又は１０に記載の画像処理装置。
12. 前記文字には網点文字を含むことを特徴とする請求項１に記載の画像処理装置。
13. 像域分離手段と変換手段と二値化手段とを備えた画像処理装置における画像処理方法であって、
    像域分離手段が、画像データから、オブジェクト種類ごとの領域を特定する像域分離工程と、
    変換手段が、画像データの空間周波数特性を変換する変換工程と、
    二値化手段が、前記空間周波数特性が変換された画像データを二値化処理する二値化工程とを備え、
    前記変換工程では、前記像域分離工程により特定された、オブジェクト種類が文字又は線画である領域の画像データの空間周波数特性を変換して平滑化処理を実施することを特徴とする画像処理方法。
14. 画像データから、オブジェクト種類ごとの領域を特定する像域分離手段と、
    画像データの空間周波数特性を変換する変換手段と、
    前記空間周波数特性が変換された画像データを二値化処理する二値化手段としてコンピュータを機能させ、
    前記変換手段は、前記像域分離手段により特定された、オブジェクト種類が文字又は線画である領域の画像データの空間周波数特性を変換して平滑化処理を実施することを特徴とするプログラム。