JP2008123245A - 画像処理装置及び画像処理プログラム - Google Patents

Abstract

【課題】画像データに含まれる文字に適切な文字認識処理を施す。
【解決手段】非可逆圧縮方法で圧縮された画像データを取得し（Ｓ１０）、画像データに付加されている圧縮度を示す情報に応じて画像を分割するか否かを判定し（Ｓ１２）、画像を分割すると判定された場合に画像データを領域分割し（Ｓ１４）、分割された領域毎に文字品質を評価し（Ｓ１６，Ｓ１８）、評価された文字品質に基づいて、分割された領域毎に異なる画像処理を行う（Ｓ２０，Ｓ２２）。
【選択図】図２

Description

本発明は、画像処理装置及び画像処理プログラムに関する。

ＪＰＥＧ等の非可逆的な圧縮方法により圧縮された画像に含まれる文字情報に対する文字認識処理では、圧縮に伴う文字の品質の劣化により文字認識の精度が低下する問題がある。

そこで、圧縮処理による文字の劣化を考慮した文字パターンを含めて文字認識用の辞書に登録しておく方法が知られている。例えば、圧縮による文字のかすれや潰れを考慮した文字パターン（かすれ文字パターン／潰れ文字パターン）を登録する。

また、特許文献１には、かすれや潰れを含む文字品質の劣化した文字の認識処理が開示されている。認識対象となる文字全体を、文字品質の劣化に強い文字のグループと文字品質の劣化に弱いグループとに分け、後者については品質の劣化のない文字パターンから得られる特徴量のみならず、かすれや潰れを有する文字パターンからも特徴量を抽出して、これらの特徴量を含む辞書を設けることによって文字認識処理を高い確度で行うことを可能としている。

特開平０６−０６０２２７号公報

ところで、かすれ文字パターン／潰れ文字パターンを含む辞書を予め用意しておく方法では、文字認識用の辞書の規模が大きくなる。さらに、１文字の認識処理のための照合処理において照合しなくてはならない文字パターンの数が増え、処理速度の低下等を招くおそれがある。

また、文書の一部を仮認識して文書全体の文字の品質の劣化の度合いを判断し、文字品質が悪いと判断された場合に、本認識においてさらに文字毎に品質の劣化に弱いグループに属するか否かを判断する必要があり、処理が複雑化する問題がある。さらに、判断結果に応じて、認識に利用する辞書を切り替える必要があるために処理の負担が大きくなり、処理速度の低下等を招くおそれがある。

本発明は、非可逆圧縮方法で圧縮された画像データを取得する画像取得手段と、前記画像データに付加されている圧縮度を示す情報に応じて画像を分割するか否かを判定する判定部と、前記判定部において画像を分割すると判定された場合に前記画像データを領域分割する領域分割手段と、前記領域分割手段において分割された領域毎に文字品質を評価する文字品質評価手段と、前記文字品質評価手段において評価された文字品質に基づいて、前記領域分割手段において分割された領域毎に異なる画像処理を行う画像処理手段と、を備えることを特徴とする画像処理装置である。

このような画像処理装置は、コンピュータを、非可逆圧縮方法で圧縮された画像データを取得する画像取得手段と、前記画像データに付加されている圧縮度を示す情報に応じて画像を分割するか否かを判定する判定部と、前記判定部において画像を分割すると判定された場合に前記画像データを領域分割する領域分割手段と、前記領域分割手段において分割された領域毎に文字品質を評価する文字品質評価手段と、前記文字品質評価手段において評価された文字品質に基づいて、前記領域分割手段において分割された領域毎に異なる画像処理を行う画像処理手段と、を含む画像処理装置として機能させることを特徴とする画像処理プログラムによって実現することができる。

ここで、前記領域分割手段は、画像のレイアウト情報に基づいて領域分割を行うものとしてもよい。

また、前記圧縮度を示す情報は量子化テーブルに含まれる量子化係数であるものとしてもよい。ここで、前記判定部は、前記画像データの解像度に応じて、画像を分割するか否かの判定に用いる前記量子化テーブルの参照位置を変更するものとしてもよい。

本発明によれば、画像データの圧縮の度合いに応じて画像データを領域分割して、分割された領域毎に文字品質を評価して画像処理を施すことによって、適切に画質補正処理や文字認識処理を行うことができる。

１．装置構成
本発明の実施の形態における画像処理装置１００は、図１に示すように、制御部１０、記憶部１２、入力部１４、出力部１６及びインターフェース部１８を含んで構成される。制御部１０、記憶部１２、入力部１４、出力部１６及びインターフェース部１８は互いに情報伝達可能となるようにバス等の通信手段によって接続される。また、画像処理装置１００は、インターフェース部１８を用いて、通信手段（以下、例としてネットワーク１０２）を介して他の外部装置と接続可能である。

制御部１０は、記憶部１２に保存された画像処理プログラムを読み出して実行する。また、処理に必要なデータを入力部１４、ネットワーク１０２から取り込み、記憶部１２に格納する。また、処理に必要な場合には、記憶部１２に保持されたデータを読み出して処理に供する。さらに、処理結果を再び記憶部１２に格納し、必要に応じて出力部１６又はネットワーク１０２に出力する。

記憶部１２は、画像処理プログラム並びに高品質用辞書及び低品質用辞書等の各種データを格納及び保持する。また、入力部１４やインターフェース部１８から入力された画像データ等を一時的に格納及び保持する。記憶部１２としては、主として半導体メモリが用いられるが、例えば、ハードディスク、光ディスク、光磁気ディスク、磁気テープなどの記憶装置を用いることもできる。

入力部１４は、使用者が処理に必要なデータを入力する際に用いられる。入力部１４としては、例えば、キーボード等の文字入力装置やマウス、ライトペン等のポインティングデバイスを用いることができる。また、紙などの記録媒体に画像形成された画像データ等を電子データとして読み込む場合には、スキャナ等のドキュメント読取装置を備えてもよい。

出力部１６は、処理に必要なデータの入力を促す入力画面、制御部１０での処理結果を示す出力画面等を表示する。出力部１６としては、例えば、ディスプレイ、プリンタ等のドキュメント出力装置を用いることができる。

インターフェース部１８は、ネットワークインターフェース装置を含んで構成される。インターフェース部１８は、画像処理装置１００をネットワーク１０２と情報伝達可能に接続するために用いられる。インターフェース部１８は、リピータ・ハブ、ＬＡＮスイッチ、ルーター等の機能を含んでいてもよい。

なお、本実施の形態では、画像処理装置を１つのコンピュータで実現する態様で例示するが、これに限定されるものではなく、各部の機能を情報伝達可能に接続された複数の装置で実現してもよい。例えば、文字認識用の辞書を他のコンピュータの記憶部に格納及び保持させておき、ネットワーク等の通信手段を介して辞書にアクセスするようにしてもよい。このように、コンピュータでの処理を複数のコンピュータで分散処理できることは当業者であれば当然に理解できることである。

２．画像処理方法
本発明の実施の形態における画像処理方法について、図２のフローチャートを参照して説明する。画像処理は、画像処理装置１００の記憶部１２に記憶されている画像処理プログラムを制御部１０によって実行することによって、画像処理装置１００の各部を図２のフローチャートの各行程の処理を実現する手段として機能させることによって行われる。

ステップＳ１０では、画像形成装置１００において圧縮画像が取得される。制御部１０は、インターフェース部１８を用いて、他の装置からネットワークを介して送信されてくる圧縮された画像データを受信する。受信された画像データは、記憶部１２に格納及び保持される。

画像データは、文字情報を含む画像の電子データとする。また、画像データは、ＪＰＥＧ等の不可逆的な画像圧縮方法によって圧縮されたものとする。画像データには、画像を圧縮処理した際の量子化テーブル定義（ＤＱＴ：Ｄｉｆｉｎｅ Ｑｕａｎｔｉｚａｔｉｏｎ Ｔａｂｌｅｓ）が付加されている。

また、原稿画像を入力部１４のスキャナ等で読み取り、その原稿画像をＪＰＥＧ等の不可逆的な画像圧縮方法によって圧縮して画像データを生成してもよい。この場合も、画像を圧縮処理した際の量子化テーブル定義（ＤＱＴ：Ｄｉｆｉｎｅ Ｑｕａｎｔｉｚａｔｉｏｎ Ｔａｂｌｅｓ）を圧縮処理で得られた画像データに関連付けて記憶する。

ステップＳ１２では、取得した画像データの圧縮の度合いを判定する。画像データの圧縮の度合いは、画像データに付加されている量子化テーブル定義（ＤＱＴ：Ｄｉｆｉｎｅ Ｑｕａｎｔｉｚａｔｉｏｎ Ｔａｂｌｅｓ）を参照することによって、量子化テーブル定義に含まれる圧縮に関する係数に基づいて、画像データに含まれる文字形状がどの程度劣化しているのか（以降、文字の品質と称す）を統計的に推定することができる。

具体的には、制御部１０は、記憶部１２から取得した画像データに付加されている量子化テーブル定義を読み出し、量子化テーブルの内容に基づいて取得した画像データに含まれる文字の品質が高いと判断される場合にはステップＳ１４へ処理を移行させ、取得した画像データに含まれる文字の品質が低いと判断される場合にはステップＳ２６へ処理を移行させる。

具体的には、所定の周波数に対応する量子化係数が所定の閾値ＴＨよりも小さく、取得した画像データに含まれる文字の品質が高いと判断される場合にはステップＳ１４へ処理を移行させる。一方、量子化テーブル定義に含まれる所定の周波数に対応する量子化係数が所定の閾値ＴＨ以上であり、取得した画像データに含まれる文字の品質が低いと判断される場合にはステップＳ２６へ処理を移行させる。

このとき、文字のディテールの劣化の度合いは、量子化テーブルの高周波成分の量子化係数に依存するので、画像の解像度が低くなるほどより低い周波数に対応する量子化係数に基づいて文字の品質の評価を行うようにしてもよい。

また、画像情報を圧縮処理する際の量子化テーブル定義と画像情報に含まれている文字情報の劣化の度合いとの関係を予め調査し、その関係を記憶部１２に圧縮評価データベースとして登録しておき、受信した画像データに付加されている量子化テーブル定義に関係付けられている量子化係数に基づいてその画像データに含まれる文字形状の劣化の度合いを評価することができる。

また、画像データに含まれるであろう文字種（アルファベット、漢字、カタカナ、ひらがな等）、文字サイズ等に応じて、量子化テーブル定義と文字の劣化の度合いの関係を表す閾値ＴＨを変更してもよい。このように、文字種や文字サイズに応じて評価の方法を変更することによって、より正確に文字の劣化を評価することができる。

なお、ステップＳ１２における画像データの圧縮の度合いを判定するその他の手段として、圧縮前と圧縮後の画像データの大きさを比較するアプローチも知られているが、白紙のようにコンテンツとしての情報量が少ない画像の場合には、高い画質を意識した量子化テーブルを用いて圧縮をしても結果として圧縮画像データの大きさが小さくなったり、逆に情報量が多い画像の場合には圧縮率を優先した量子化テーブルを用いて圧縮をしても、圧縮画像データファイルの大きさが小さくならなかったりすることがあるため、必ずしも文字形状の劣化度合いを推測するために利用できるものであるとはいえない。

ステップＳ１４では、取得した画像データの領域分割処理が行われる。制御部１０は、記憶部１２からステップＳ１０で取得した画像データを読み出し、レイアウト解析処理により画像データのレイアウトを解析して、取得した画像データを領域分割する。

ステップＳ１６では、取得した画像データの各領域における文字の品質の推定処理が行われる。制御部１０は、ステップＳ１４の領域分割処理によって得られた領域のいずれか１つを着目領域として選択し、その着目領域に含まれる文字の品質を評価する。

具体的には、着目領域に高速フーリエ変換処理を施し、着目領域の画像データの空間周波数特性を求め、高周波成分が欠如している場合に文字の品質が劣化しているものと判断する。より具体的には、着目領域の空間周波数特性において、所定の周波数以上の成分がそれより小さい周波数成分に対して所定の割合以下である場合に高周波成分が欠如しており、文字の品質が劣化しているものと判定することができる。

また、着目領域の濃度の分布に基づいて文字の品質を評価してもよい。制御部１０は、着目領域の濃度ヒストグラムを求める。着目領域に含まれる画像データの高周波成分が欠如すると、画像に含まれる文字の輪郭のエッジが鈍り、文字を構成する画素の濃度のピーク値が低下するとともに、文字のエッジ近傍での濃度の階調が増加する。換言すると、画像データの濃度ヒストグラムのピークがなだらかになる。そこで、着目領域の濃度ヒストグラムの分散が所定の閾値以上である場合に周波成分が欠如しており、文字の品質が劣化しているものと判定することができる。

ステップＳ１８では、文字品質の判定結果に基づいて処理の分岐を行う。制御部１０は、ステップＳ１６において着目領域に含まれる文字の品質が劣化していないと判定した場合にはステップＳ２０へ処理を移行させ、そうでない場合にはステップＳ２２へ処理を移行させる。

ステップＳ２０では、着目領域に対して通常の画像処理が施される。例えば、文字を読みやすくするためのシャープネス処理であるとか、文字認識処理等が施される。文字認識処理を例にすれば、制御部１０は、着目領域の画像データを二値化して二値画像データを生成し、生成した二値画像データから個々の文字を切り出し、記憶部１２に予め格納及び保持されている高品質の文字パターンを登録した高品質用辞書を参照して、切り出した各文字と高品質用辞書に登録されている文字パターンとのマッチング処理を行うことによって各文字の認識を行う。

ステップＳ２２では、着目領域に対して低品質用の画像処理が施される。例えば、画像を圧縮することにより発生したブロックノイズを除去する処理であるとか、文字認識処理等が施される。文字認識処理を例にすれば、制御部１０は、着目領域の画像データを二値化して二値画像データを生成し、生成した二値画像データから個々の文字を切り出し、記憶部１２に予め格納及び保持されている低品質の文字パターン（かすれ文字パターンや潰れ文字パターン）を登録した低品質用辞書を参照して、抽出された各文字と低品質用辞書に登録されている文字パターンとのマッチング処理を行うことによって各文字の認識を行う。

なお、本実施の形態では、マッチング対象となるデータベースを高品質の文字用と低品質の文字用とに分けて用意し、圧縮された画像に含まれる文字の品質の推定に基づいてこれらのデータベースを使い分けて文字認識処理を行う態様としたがこれに限定されるものではない。ステップＳ２０における高品質の文字に対する処理及びステップＳ２２における低品質の文字に対する処理を異なるものとしてもよい。例えば、ステップＳ２０における高品質の文字に対する処理及びステップＳ２２における低品質の文字に対する処理において同一の文字パターンの辞書を用い、ステップＳ２２では抽出された文字画像に対してエッジ強調処理を施したうえで文字パターンのマッチング処理を行う等の処理としてもよい。

ステップＳ２４では、ステップＳ１４において領域分割された全領域についてステップＳ１６〜２２の処理が行われたか否かが判定される。制御部１０は、総ての領域について処理が終わっていない場合、既に処理に供された領域以外の領域を新たな着目領域として選択し、処理をステップＳ１６へ戻す。一方、総ての領域について処理が終了した場合、画像処理を終了する。

ステップＳ２６では、ステップＳ２２と同様の効果を得る処理を画像全面に対して実施する。すなわち、画像全面に対して画像を圧縮することにより発生したブロックノイズを除去する処理であったり、低品質文字を対象とした文字認識処理を施す等である。文字認識処理を例にすれば、制御部１０は、画像のレイアウトを解析して文字領域を抽出し、抽出された各文字領域を二値化して二値画像データを生成し、生成した二値画像データから個々の文字を切り出し、記憶部１２に予め格納及び保持されている低品質の文字パターン（かすれ文字パターンや潰れ文字パターン）を登録した低品質用辞書を参照して、抽出された各文字と低品質用辞書に登録されている文字パターンとのマッチング処理を行うことによって各文字の認識を行う。

このステップでも、ステップＳ２０における高品質の文字に対する処理と同一の文字パターンの辞書を用い、ステップＳ２６では抽出された文字画像に対してエッジ強調処理を施したうえで文字パターンのマッチング処理を行う等の処理としてもよい。このとき、ステップＳ２２に比べてより文字の劣化の影響が低減されるように前処理を強化してもよい。

本発明の実施の形態における画像処理装置の構成を示す図である。 本発明の実施の形態における画像処理方法のフローチャートである。

符号の説明

１０ 制御部、１２ 記憶部、１４ 入力部、１６ 出力部、１８ インターフェース部、１００ 画像処理装置、１０２ ネットワーク。

Claims (8)

1. 非可逆圧縮方法で圧縮された画像データを取得する画像取得手段と、
   前記画像データに付加されている圧縮度を示す情報に応じて画像を分割するか否かを判定する判定部と、
   前記判定部において画像を分割すると判定された場合に前記画像データを領域分割する領域分割手段と、
   前記領域分割手段において分割された領域毎に文字品質を評価する文字品質評価手段と、
   前記文字品質評価手段において評価された文字品質に基づいて、前記領域分割手段において分割された領域毎に異なる画像処理を行う画像処理手段と、
   を備えることを特徴とする画像処理装置。
2. 請求項１に記載の画像処理装置において、
   前記画像処理手段は、文字認識処理を含むことを特徴とする画像処理装置。
3. 請求項１に記載の画像処理装置において、
   前記画像処理手段は、フィルター処理を含むことを特徴とする画像処理装置。
4. 請求項１に記載の画像処理装置において、
   前記画像処理手段は、前記文字品質に応じて処理のパラメータを変更することを特徴とする画像処理装置。
5. 請求項１に記載の画像処理装置において、
   前記領域分割手段は、画像のレイアウト情報に基づいて領域分割を行うことを特徴とする画像処理装置。
6. 請求項１〜５のいずれか１つに記載の画像処理装置において、
   前記圧縮度を示す情報は量子化テーブルに含まれる量子化係数であることを特徴とする画像処理装置。
7. 請求項６に記載の画像処理装置において、
   前記判定部は、前記画像データの解像度に応じて、画像を分割するか否かの判定に用いる前記量子化テーブルの参照位置を変更することを特徴とする画像処理装置。
8. コンピュータを、
   非可逆圧縮方法で圧縮された画像データを取得する画像取得手段と、
   前記画像データに付加されている圧縮度を示す情報に応じて画像を分割するか否かを判定する判定部と、
   前記判定部において画像を分割すると判定された場合に前記画像データを領域分割する領域分割手段と、
   前記領域分割手段において分割された領域毎に文字品質を評価する文字品質評価手段と、
   前記文字品質評価手段において評価された文字品質に基づいて、前記領域分割手段において分割された領域毎に異なる画像処理を行う画像処理手段と、
   を含む画像処理装置として機能させることを特徴とする画像処理プログラム。

Images