JP2004199622A - 画像処理装置、画像処理方法、記録媒体およびプログラム - Google Patents

Abstract

【課題】任意かつ複数の背景色を有する画像から文字認識に好適な２値画像を生成する画像処理装置、画像処理方法、画像処理プログラムおよび記録媒体を提供する。
【解決手段】原画像から圧縮画像を生成し（ステップＳ１、Ｓ２）、同色とみなせる画素をランとして抽出し（ステップＳ３）、それらの連結成分を色ごとに求める（ステップＳ４）。この連結成分を文字候補とみなして近接する連結成分同士を統合して文字行を生成し、その後抽出された文字行から、過抽出部分を排除して文字行を出力する（ステップＳ５、Ｓ６、Ｓ７）。こうして得られた行領域データをもとに、文字認識に好適な２値画像を生成する（ステップＳ８）。
【選択図】 図２

Description

【０００１】
【発明の属する技術分野】
本発明は、背景色を有する多値画像から文字認識のための２値画像を生成する画像処理装置、画像処理方法、プログラムおよび記録媒体に関するものである。
【０００２】
【従来の技術】
近年、オフィスなどにある書類を電子化するニーズが高まってきている。これは、紙のままでは広い保管場所が必要となり、保管に多くのコストがかかるためである。電子化すべき文書が大量にある場合は、文書を見ながら一文字ずつキーボード入力するのに大変な労力がかかるため、文字認識技術を使ってある程度自動的に入力することが必要となる。ここで、現在、実用化されている文字認識手法のほとんどは、２値画像を対象としたものである。従って、カラー文書を入力したい場合でも、文字認識の前には２値画像を生成しなければならない。さらに、画像上のどこに文字があるかを正しく同定しなければ、適切な文字認識結果にはならない。そのため、この「２値化」と「文字領域抽出」は非常に重要な技術となる。
【０００３】
従来の画像処理装置は、カラー画像中の行を抽出し、文字認識が可能な２値画像を生成している（例えば、特許文献１参照）。ここでは、カラーの原画像を一旦２値化してから文字を抽出し、抽出した文字の黒画素位置から文字の平均色を求め、この平均色と原画像との差分画像を生成し、この差分画像を２値化し、得られた２値画像から文字行を抽出し、文字認識部へ渡している。
【０００４】
また、画像を構成する色を予め複数与えて（登録して）おき、画像内の全ての画素を、予め登録した複数の色のいずれに近いかを求めることで分類し、その結果をもとに、登録した色の中のうちでさらに指定した色のみを黒画素とした２値画像を作成しているものもある（例えば、特許文献２参照）。
【０００５】
さらに、カラーの原画像から取得された２値画像をもとに文字領域を含む行を抽出しているものもある（例えば、特許文献３参照）。
【０００６】
また、２値画像の品質を向上させて文字認識の精度を高めるために、同一とみなせる色の背景を持つ領域を分割抽出し、各領域を文字領域とみなし、領域ごとに２値化しているものもある（例えば、特許文献４参照）。
【０００７】
また、２値画像の品質を向上させて文字認識の精度を高めるために、同一とみなせる明度の背景を持つ領域を分割抽出し、各領域を文字領域とみなし、領域ごとに２値化しているものもある（例えば、特許文献５参照）。
【０００８】
【特許文献１】
特開２０００‐９９６２７号公報（図１など）
【０００９】
【特許文献２】
特開平１１‐３２８３０８号公報（図１など）
【００１０】
【特許文献３】
特開２０００‐６７１５８号公報（図２など）
【００１１】
【特許文献４】
特開２０００‐１３２６８９号公報（図６、図８など）
【００１２】
【特許文献５】
特開平１１‐２１３１６０公報（図など）
【００１３】
【発明が解決しようとする課題】
しかしながら、このような従来の画像処理装置では、任意かつ複数の背景色を有する多値画像から文字認識の前に２値画像を生成する点については配慮がなされていないという問題があった。
【００１４】
本発明は、このような問題を解決するためになされたもので、任意かつ複数の背景色を有する画像から文字認識に好適な２値画像を生成する画像処理装置、画像処理方法、画像処理プログラムおよび記録媒体を提供するものである。
【００１５】
【課題を解決するための手段】
請求項１に係る本発明の画像処理装置は、処理対象となる画像から多値画像を取得する画像取得手段と、前記画像取得手段により取得された多値画像から、圧縮画像を生成する圧縮画像生成手段と、前記圧縮画像生成手段により取得された圧縮画像から、略同一色相の画素列をランとして生成するラン生成手段と、前記ラン生成手段により生成されたランを統合して連結成分を生成する連結成分生成手段と、前記連結成分生成手段により生成された連結成分から、所定の選別条件を満足するものを選別する連結成分選別手段と、前記連結成分選別手段により選別された連結成分の外接矩形を統合する外接矩形統合手段と、前記外接矩形統合手段により統合された外接矩形が一つの文字列か否かを判定する文字列判定手段と、前記文字列判定手段により一つの文字列と判定された外接矩形の領域ごとに２値化処理を施して２値画像を生成する２値画像生成手段とを備えた構成を有している。
【００１６】
この構成により、文字列判定手段が一つの文字列と判定した外接矩形の領域（行領域ともいう）ごとに２値化処理を施すので、複数の背景色を有する原画像から文字認識に好適な２値画像を生成できる。
【００１７】
請求項２に係る本発明の画像処理装置は、請求項１において、前記２値画像生成手段には、前記一つの文字列と判定された外接矩形の領域を分割する領域分割手段と、前記領域分割手段により分割された分割領域ごとに２値化処理のための２値化閾値を求める閾値算出手段と、前記外接矩形の領域の各画素に対応する２値化閾値を、前記分割領域ごとに求めた２値化閾値を用いて補完する閾値補完手段とを備えた構成を有している。
【００１８】
この構成により、領域分割手段によって分割された分割領域ごとに２値化処理のための２値化閾値を求め、この２値化閾値を用いて分割領域内の画素の２値化閾値を補完するので、背景色が連続的に変化している原画像から文字認識に好適な２値画像を生成できる。
【００１９】
請求項３に係る本発明の画像処理装置は、請求項２において、前記領域分割手段が、前記一つの文字列と判定された外接矩形の領域を予め設定された大きさに分割する構成を有している。
【００２０】
この構成により、分割領域の大きさを算出する処理が不要となるので、画像処理時間を短縮できる。
【００２１】
請求項４に係る本発明の画像処理装置は、請求項２において、前記領域分割手段が、前記一つの文字列と判定された外接矩形の領域の大きさに応じ、前記分割領域の大きさを変更する構成を有している。
【００２２】
この構成により、分割領域の大きさを算出するための処理時間を要するものの、文字列の大きさに応じて領域分割を行うので、文字抽出精度の向上が期待される。
【００２３】
請求項５に係る本発明の画像処理装置は、請求項１において、前記２値画像生成手段には、前記一つの文字列と判定された外接矩形の領域で、２値化対象の画素の周囲に２値化閾値算出のための領域を前記画素ごとに設定する閾値算出領域設定手段と、前記閾値算出領域設定手段により設定された領域内の画素値を用い、前記画素の２値化閾値を算出する領域内閾値算出手段とを備えた構成を有している。
【００２４】
この構成により、２値化対象の画素ごとに異なる領域を設定して２値化閾値を算出するので、一つの行領域あるいは分割領域の２値化閾値を用いて各画素の２値化閾値を算出する構成に比べ、より精細に２値化閾値を設定できる。
【００２５】
請求項６に係る本発明の画像処理装置は、請求項１において、前記２値画像生成手段には、前記原画像の明度を反転させた反転画像を生成する明度反転画像生成手段と、前記一つの文字列と判定された外接矩形の領域の背景色を抽出する背景色抽出手段と、前記ランに含まれる画素の色を文字色とし、前記背景色抽出手段により抽出された背景色と前記文字色とを比較する色比較手段と、前記色比較手段による比較結果に応じて、２値化処理時に前記反転画像を参照するように設定する参照画像設定手段とを備えた構成を有している。
【００２６】
この構成により、２値化処理において背景色と文字色との比較結果から適宜、原画像または反転画像を参照することができるので、一つの文字列からなる行領域に複数の背景色が存在していても、明度情報と色情報とを併用することにより、文字認識に好適な２値画像を生成できる。
【００２７】
請求項７に係る本発明の画像処理装置は、請求項１において、前記２値画像生成手段には、前記ランに含まれる画素の色を文字色とし、２値化対象の黒画素の原画像上での色と前記文字色とを比較する画素値比較手段と、前記画素値比較手段による比較結果に応じて、前記２値化対象の黒画素を２値画像上で白画素に置き換える画素値置換手段とを備えた構成を有している。
【００２８】
この構成により、２値化対象の黒画素の原画像上での色と前記文字色とを比較して黒画素を白画素に置き換えるので、一つの文字列からなる行領域に複数の背景色が存在していても、明度情報と色情報とを併用することにより、例えば背景色の灰色が２値化処理で誤って黒画素として表現されることを回避できる。
【００２９】
請求項８に係る本発明の画像処理装置は、請求項１において、前記２値画像生成手段には、前記ランに含まれる画素の色を文字色とし、２値化対象の白画素の原画像上での色と前記文字色とを比較する画素値比較手段と、前記画素値比較手段による比較結果に応じて、前記２値化対象の白画素を２値画像上で黒画素に置き換える画素値置換手段とを備えた構成を有している。
【００３０】
この構成により、２値化対象の白画素の原画像上での色と前記文字色とを比較して白画素を黒画素に置き換えるので、一つの文字列からなる行領域に複数の背景色が存在していても、明度情報と色情報とを併用することにより、例えば背景色の灰色が２値化処理で誤って白画素として表現されることを回避できる。
【００３１】
請求項９に係る本発明の画像処理装置は、請求項８において、前記一つの文字列と判定された外接矩形の領域内の黒画素と白画素の比を計測する黒画素比計測手段を備え、前記画素値比較手段が、前記黒画素比計測手段による計測結果に応じて比較処理を行うか否かを決定する構成を有している。
【００３２】
この構成により、黒画素比計測手段による計測結果に応じて画素値を比較するので、不要な画素値比較処理を回避して画像処理時間を短縮することができる。
【００３３】
請求項１０に係る本発明の画像処理装置は、請求項８において、前記一つの文字列と判定された外接矩形の領域の大きさを判定する判定手段を備え、前記黒画素比計測手段が、前記判定手段による判定結果に応じて計測処理を行うか否かを決定する構成を有している。
【００３４】
この構成により、判定手段による外接矩形の領域の大きさの判定結果に応じて黒画素比を計測するので、不要な計測処理を回避して画像処理時間を短縮することができる。
【００３５】
請求項１１に係る本発明の画像処理装置は、請求項１において、前記２値画像生成手段には、前記一つの文字列と判定された外接矩形の領域に対応している原画像の一部領域に対して画像処理を施し、前記一部領域の画像を変換する画像変換手段を備えた構成を有している。
【００３６】
この構成により、２値化対象の領域に対して画像処理を施すので、２値化対象の一つの文字列を形成する文字が所定の大きさよりも小さい場合、適当な画像処理によって２値化による文字の潰れ、掠れ、あるいは黒画素の散乱的な出現などを回避できる。
【００３７】
請求項１２に係る本発明の画像処理装置は、請求項１１において、前記画像変換手段が、原画像の一部領域に対してエッジ強調処理を施す構成を有している。
【００３８】
この構成により、原画像の一部領域に対してエッジ強調処理を施すので、２値化対象の一つの文字列を形成する文字が所定の大きさよりも小さい場合、特に２値化による文字の潰れ、掠れを回避できる。
【００３９】
請求項１３に係る本発明の画像処理装置は、請求項１１において、前記画像変換手段が、原画像の一部領域に対して平滑化処理を施す構成を有している。
【００４０】
この構成により、原画像の一部領域に対して平滑化処理を施すので、２値化対象の一つの文字列を形成する文字が所定の大きさよりも小さい場合、特に２値化によって黒画素が散乱的に出現するのを回避できる。
【００４１】
請求項１４に係る本発明の画像処理装置は、請求項１１において、前記画像変換手段が、前記一つの文字列と判定された外接矩形の領域の大きさに応じ、画像処理を施すか否かを決定する構成を有している。
【００４２】
この構成により、２値化対象の一つの文字列の大きさに応じて画像処理を施すか否かを判断するので、不要な画像処理を回避して画像処理時間を短縮することができる。
【００４３】
請求項１５に係る本発明の画像処理方法は、処理対象となる画像から多値画像を取得する第１のステップと、第１のステップで取得された多値画像から、圧縮画像を生成する第２のステップと、第２のステップで取得された圧縮画像から、略同一色相の画素列をランとして生成する第３のステップと、第３のステップで取得されたランを統合して連結成分を生成する第４のステップと、第４のステップで統合された連結成分から、所定の選別条件を満足するものを選別する第５のステップと、第５のステップで選別された連結成分の外接矩形を統合する第６のステップと、第６のステップで統合された外接矩形が一つの文字列か否かを判定する第７のステップと、第７のステップで一つの文字列と判定された外接矩形の領域ごとに２値化処理を施して２値画像を生成する第８のステップとを実行している。
【００４４】
この方法により、第８のステップでは一つの文字列と判定した外接矩形の領域（行領域ともいう）ごとに２値化処理を施すので、複数の背景色を有する原画像から文字認識に好適な２値画像を生成できる。
【００４５】
請求項１６に係る本発明の画像処理方法は、請求項１５において、前記第８のステップでは、前記一つの文字列と判定された外接矩形の領域を分割する領域分割ステップと、前記領域分割ステップで分割された分割領域ごとに２値化処理のための２値化閾値を求める閾値算出ステップと、前記外接矩形の領域の各画素に対応する２値化閾値を、前記分割領域ごとに求めた２値化閾値を用いて補完する閾値補完ステップとを実行している。
【００４６】
この方法により、領域分割ステップで分割された分割領域ごとに２値化処理のための２値化閾値を求め、この２値化閾値を用いて分割領域内の画素の２値化閾値を補完するので、背景色が連続的に変化している原画像から文字認識に好適な２値画像を生成できる。
【００４７】
請求項１７に係る本発明の画像処理方法は、請求項１６において、前記領域分割ステップでは、前記一つの文字列と判定された外接矩形の領域を予め設定された大きさに分割している。
【００４８】
この方法により、分割領域の大きさを算出する処理が不要となるので、画像処理時間を短縮できる。
【００４９】
請求項１８に係る本発明の画像処理方法は、請求項１６において、前記領域分割ステップでは、前記一つの文字列と判定された外接矩形の領域の大きさに応じ、前記分割領域の大きさを変更している。
【００５０】
この方法により、分割領域の大きさを算出するための処理時間を要するものの、文字列の大きさに応じて領域分割を行うので、文字抽出精度の向上が期待される。
【００５１】
請求項１９に係る本発明の画像処理方法は、請求項１５において、前記第８のステップでは、前記一つの文字列と判定された外接矩形の領域で、２値化対象の画素の周囲に２値化閾値算出のための領域を前記画素ごとに設定する閾値算出領域設定ステップと、前記閾値算出領域設定ステップで設定された領域内の画素値を用い、前記画素の２値化閾値を算出する領域内閾値算出ステップとを実行している。
【００５２】
この方法により、２値化対象の画素ごとに異なる領域を設定して２値化閾値を算出するので、一つの行領域あるいは分割領域の２値化閾値を用いて各画素の２値化閾値を算出する構成に比べ、より精細に２値化閾値を設定できる。
【００５３】
請求項２０に係る本発明の画像処理方法は、請求項１５において、前記第８のステップでは、前記原画像の明度を反転させた反転画像を生成する明度反転画像生成ステップと、前記一つの文字列と判定された外接矩形の領域の背景色を抽出する背景色抽出ステップと、前記ランに含まれる画素の色を文字色とし、前記背景色抽出手段により抽出された背景色と前記文字色とを比較する色比較ステップと、前記色比較ステップで取得された比較結果に応じて、２値化処理時に前記反転画像を参照するように設定する参照画像設定ステップとを実行している。
【００５４】
この方法により、２値化処理において背景色と文字色との比較結果から適宜、原画像または反転画像を参照することができるので、一つの文字列からなる行領域に複数の背景色が存在していても、明度情報と色情報とを併用することにより、文字認識に好適な２値画像を生成できる。
【００５５】
請求項２１に係る本発明の画像処理方法は、請求項１５において、前記第８のステップでは、前記ランに含まれる画素の色を文字色とし、２値化対象の黒画素の原画像上での色と前記文字色とを比較する画素値比較ステップと、前記画素値比較ステップで取得された比較結果に応じて、前記２値化対象の黒画素を２値画像上で白画素に置き換える画素値置換ステップとを実行している。
【００５６】
この方法により、２値化対象の黒画素の原画像上での色と前記文字色とを比較して黒画素を白画素に置き換えるので、一つの文字列からなる行領域に複数の背景色が存在していても、明度情報と色情報とを併用することにより、例えば背景色の灰色が２値化処理で誤って黒画素として表現されることを回避できる。
【００５７】
請求項２２に係る本発明の画像処理方法は、請求項１５において、前記第８のステップでは、前記ランに含まれる画素の色を文字色とし、２値化対象の白画素の原画像上での色と前記文字色とを比較する画素値比較ステップと、前記画素値比較ステップで取得された比較結果に応じて、前記２値化対象の白画素を２値画像上で黒画素に置き換える画素値置換ステップとを実行している。
【００５８】
この方法により、２値化対象の白画素の原画像上での色と前記文字色とを比較して白画素を黒画素に置き換えるので、一つの文字列からなる行領域に複数の背景色が存在していても、明度情報と色情報とを併用することにより、例えば背景色の灰色が２値化処理で誤って白画素として表現されることを回避できる。
【００５９】
請求項２３に係る本発明の画像処理方法は、請求項２２において、前記第８のステップでは、前記一つの文字列と判定された外接矩形の領域内の黒画素と白画素の比を計測する黒画素比計測ステップを実行し、前記画素値比較ステップでは、前記黒画素比計測ステップで取得された計測結果に応じて比較処理を行うか否かを決定している。
【００６０】
この方法により、黒画素比計測ステップでの計測結果に応じて画素値を比較するので、不要な画素値比較処理を回避して画像処理時間を短縮することができる。
【００６１】
請求項２４に係る本発明の画像処理方法は、請求項２２において、前記第８のステップでは、前記一つの文字列と判定された外接矩形の領域の大きさを判定する判定ステップを実行し、前記黒画素比計測ステップでは、前記判定ステップで取得された判定結果に応じて計測処理を行うか否かを決定している。
【００６２】
この方法により、判定ステップでの外接矩形の領域の大きさの判定結果に応じて黒画素比を計測するので、不要な計測処理を回避して画像処理時間を短縮することができる。
【００６３】
請求項２５に係る本発明の画像処理方法は、請求項１５において、前記第８のステップでは、前記一つの文字列と判定された外接矩形の領域に対応している原画像の一部領域に対して画像処理を施し、前記一部領域の画像を変換する画像変換ステップを実行している。
【００６４】
この方法により、２値化対象の領域に対して画像処理を施すので、２値化対象の一つの文字列を形成する文字が所定の大きさよりも小さい場合、適当な画像処理によって２値化による文字の潰れ、掠れ、あるいは黒画素の散乱的な出現などを回避できる。
【００６５】
請求項２６に係る本発明の画像処理方法は、請求項２５において、前記画像変換ステップでは、原画像の一部領域に対してエッジ強調処理を施している。
【００６６】
この方法により、原画像の一部領域に対してエッジ強調処理を施すので、２値化対象の一つの文字列を形成する文字が所定の大きさよりも小さい場合、特に２値化による文字の潰れ、掠れを回避できる。
【００６７】
請求項２７に係る本発明の画像処理方法は、請求項２５において、前記画像変換ステップでは、原画像の一部領域に対して平滑化処理を施している。
【００６８】
この方法により、原画像の一部領域に対して平滑化処理を施すので、２値化対象の一つの文字列を形成する文字が所定の大きさよりも小さい場合、特に２値化によって黒画素が散乱的に出現するのを回避できる。
【００６９】
請求項２８に係る本発明の画像処理方法は、請求項２５において、前記画像変換ステップでは、前記一つの文字列と判定された外接矩形の領域の大きさに応じ、画像処理を施すか否かを決定している。
【００７０】
この方法により、２値化対象の一つの文字列の大きさに応じて画像処理を施すか否かを判断するので、不要な画像処理を回避して画像処理時間を短縮することができる。
【００７１】
請求項２９に係る本発明のプログラムは、コンピュータに、処理対象となる画像から多値画像を取得する第１のステップと、第１のステップで取得された多値画像から、圧縮画像を生成する第２のステップと、第２のステップで取得された圧縮画像から、略同一色相の画素列をランとして生成する第３のステップと、第３のステップで取得されたランを統合して連結成分を生成する第４のステップと、第４のステップで統合された連結成分から、所定の選別条件を満足するものを選別する第５のステップと、第５のステップで選別された連結成分の外接矩形を統合する第６のステップと、第６のステップで統合された外接矩形が一つの文字列か否かを判定する第７のステップと、第７のステップで一つの文字列と判定された外接矩形の領域ごとに２値化処理を施して２値画像を生成する第８のステップとを実行させている。
【００７２】
このプログラムにより、特に第８のステップで、一つの文字列と判定した外接矩形の領域（すなわち、行領域）ごとに２値化処理を施すので、複数の背景色を有する原画像から文字認識に好適な２値画像を生成できる。
【００７３】
請求項３０に係る本発明の記録媒体は、コンピュータに、処理対象となる画像から多値画像を取得する第１のステップと、第１のステップで取得された多値画像から、圧縮画像を生成する第２のステップと、第２のステップで取得された圧縮画像から、略同一色相の画素列をランとして生成する第３のステップと、第３のステップで取得されたランを統合して連結成分を生成する第４のステップと、第４のステップで統合された連結成分から、所定の選別条件を満足するものを選別する第５のステップと、第５のステップで選別された連結成分の外接矩形を統合する第６のステップと、第６のステップで統合された外接矩形が一つの文字列か否かを判定する第７のステップと、第７のステップで一つの文字列と判定された外接矩形の領域ごとに２値化処理を施して２値画像を生成する第８のステップとを実行させるためのプログラムを記録している。
【００７４】
この記録媒体により、特に第８のステップの実行で、一つの文字列と判定した外接矩形の領域（すなわち、行領域）ごとに２値化処理を施すので、複数の背景色を有する原画像から文字認識に好適な２値画像を生成できる。また、前記記録媒体を携帯して移動できるために、前記プログラムの配布や更新が容易である。
【００７５】
【発明の実施の形態】
以下、本発明の実施の形態について、図面を用いて説明する。
［第１の実施形態］
図１は、本発明の第１の実施形態に係る画像処理装置を示す。
図１において、画像入力部１０１は、処理対象の原画像（カラー画像を含む）を取得して格納するものであり、この画像入力部１０１により格納された原画像のデータは、圧縮画像生成部１０２と、文字判定部１０７に送出される。圧縮画像生成部１０２は、原画像データから圧縮画像を生成して格納するとともに、ラン生成部１０３、連結成分生成部１０４、連結成分選別部１０５、外接矩形統合部１０６、文字判定部１０７にそれぞれに送出する。ラン生成部１０３は、前記圧縮画像からランを生成し、生成したランを連結成分生成部１０４に送出するものである。連結成分生成部１０４は、前記ランから連結成分を生成し、生成した連結成分を連結成分選別部１０５に送出するものである。連結成分選別部１０５は、連結成分生成部１０４で得られた連結成分を選別して外接矩形統合部１０６に送出するものである。外接矩形統合部１０６は、連結成分選別部１０５で得られた連結成分の外接矩形を統合して、文字判定部１０７に送出するものである。
文字判定部１０７は、画像入力部１０１で入力された原画像データと、外接矩形統合部１０６で統合された外接矩形のデータとを取得し、この外接矩形から文字行を判定して、文字行と判定された座標を２値画像生成部１０８に送出するものである。２値画像生成部１０８は、前記文字行の領域ごとに、後述する判別分析法などを用いて２値化処理を施し、２値化処理した画像データを結果出力部１０８に送出するものである。結果出力部１０８は、２値化処理された画像データにより２値画像を出力するものである。
【００７６】
次に、図２を参照しながら本実施形態の画像処理方法を説明する。これは、文字列を含む行領域を１単位として２値化閾値を算出する方法である。
【００７７】
ステップＳ１（第１のステップに含まれる）では、画像入力部１０１により処理対象の原稿を原画像（カラー画像を含む）として取得する。この取得された原画像のデータは、画像入力部１０１から圧縮画像生成部１０２、文字判定部１０７、値画像生成部１０８に送出される。
【００７８】
ステップＳ２（第２のステップに含まれる）では、圧縮画像生成部１０２により前記原画像から圧縮画像を生成する。この圧縮画像は、ステップＳ３以降の画像処理を高速化するために生成される。また、この圧縮画像は、前記原画像において、ある色が細かい点の集合で表現されている場合の悪影響を防ぐために生成される。圧縮画像の生成方法には様々な方法があるが、ここでは「ブロックサイズ」として原画像の２×２画素を設定し、圧縮画像の1画素にまとめるものとする。また、圧縮画像の画素値は、原画像の２×２画素内で最も明度の低い画素値を用いることとする。すなわち、背景に対して暗い色の文字を抽出するために、ブロック内で最も明度の低い画素を抽出する。上述したように抽出された、ブロック内で最も明度の低い画素の画素値を、圧縮画像の該当画素の画素値として用いるものとし、前記圧縮画像にこの画素値を書き込む。
【００７９】
上述した画像圧縮処理の手順を繰り返して実行し、全てのブロックの画素に対する処理が終了すると、ステップＳ３に移行する。なお、背景に対して明るい色の文字を抽出する場合には、ブロック内で最も明度の高い画素を抽出し、上述した画像圧縮処理を実行する。さらに、背景に対して明るい色の文字（以下、明文字ともいう）と、背景に対して暗い色の文字（以下、暗文字ともいう）とを共に抽出したい場合は、明文字と暗文字の設定だけを変えて該当画素を再度抽出し、上述した画像圧縮処理の結果の論理和を取ればよい。
【００８０】
ステップＳ３（第３のステップに含まれる）では、ラン生成部１０３により、前記圧縮画像処理で得られた圧縮画像の各行ごとにランを求める処理（ラン生成処理）を実行する。なお、ラン（ｒｕｎ）とは、一般にある方向に連続して並ぶ同一濃淡レベルの画素列のことであり、この画素列の長さをランレングス（ｒｕｎ ｌｅｎｇｔｈ）という。例えば、２値の文書画像において、１次元方向に連続する白画素または黒画素のかたまり（ラン）を符号化の単位とする。
【００８１】
ここでは、水平方向に隣接する画素の色が互いに近い場合に、それらをまとめてランとする。また、色が近いことを判定する方法としては、例えば画素値の各成分（Ｒ、Ｇ、Ｂなど）の差の２乗和を計算し、これを画素間の色相違度（以下、色差という）とみなして、この値が予め定められた値よりも小さい場合に近い（略同一色相に含まれる）と判断するという方法を用いてもよい。さらに、抽出された各ランの色を定義するとき、ここではメジアン（複数のデータを昇順、または降順に整列した際の中央に位置する値）を用いる。なお、このメジアンの他に、例えば各ランの平均値、ランの長さによる加重平均値などを用いることが考えられる。
【００８２】
前記ラン生成処理の手順は以下のとおりである。まず、ある行（例えば、先頭行など）を注目行とし、各画素をランデータとして登録する。次いで、ランを統合する。このとき、左端のランを参照ランとし、その隣のランを注目ランとして、参照ランと注目ランとの色差を比較する。ここで、前記色差が予め決められた閾値以下の場合には、ラン同士を統合し、一つの長いランとして登録し、この統合したランを新しい参照ランとする。なお、統合後のランの色を設定するにはメジアンを用いる。一方、上述した色差と、予め決められた閾値とを比較した結果、色差が閾値以下でない場合、すなわち色差が閾値よりも大きい場合には、注目ランを新たな参照ランとする。次いで、上述したように統合された新しい参照ランか、または新しく定義された参照ラン（注目ラン）の右隣に、ランがあるか否かを判断する。ここで、新しい参照ランの右隣にランがある場合には、このランを新しい注目ランとして上述したランの統合を繰り返す。また、ここで、新しい参照ランの右隣にランがない場合には、統合を完全なものにするために、ラン統合を再度行うか否かを判断する。具体的には、前記左端のランを参照する処理から、前記右隣にランがあるか否かの判断処理に至るまでの一連の処理を実行した際、注目行のラン統合が１度でも行われたか否かを判断する。ここで、統合したランを新しい参照ランとする処理が１度も実行されなかった場合には、これ以上ランを統合する必要がないので、全ての行のランを抽出したと判断し、この行のラン統合をこれ以上繰り返して行わない。一方、前記注目行のラン統合が１度でも行われている場合には、再度、前記左端のランを参照する処理から、前記右隣にランがあるか否かの判断処理に至るまでの一連の処理を実行する。なお、全ての行におけるランの抽出作業が終了していない場合には、前記注目行を他行に変更して再度、前記ラン生成処理の手順を実行する。以上が前記ラン生成処理の手順である。
【００８３】
ステップＳ４（第４のステップに含まれる）では、連結成分生成部１０４により前記ランの連結成分を生成する。ここでは、ステップＳ３で取得されたランについて、上述した色差を用い、垂直方向に接するもの同士の色を比較し、色が近い場合には、両者を連結成分として統合する。
【００８４】
本実施形態の連結成分生成処理の手順は以下のとおりである。まず、連結成分生成部１０４に対し、前記ラン生成処理により生成されたランデータを入力し、このランデータを連結成分データとしてそのまま登録する。次いで、この連結成分データの中から互いに接触する二つの連結成分データを抽出する。次いで、この二つの連結成分データの色を比較する。ここでは、前記ラン生成処理と同じ方法で色差を求め、この色差を予め決められた閾値と比較する。ここで、前記色差が前記閾値以下の場合には、連結成分同士を統合して一つの連結成分とする。統合された連結成分にも色情報が必要であるが、これも前記ラン生成処理に準じるものとする。一方、前記色差が前記閾値以上の場合には、連結成分同士の統合を行わず、全ての連結成分の組み合せについて連結成分データの色を比較する。すなわち、全ての連結成分の組み合せが終了するまで、互いに接触する二つの連結成分の抽出処理から全ての連結成分の組み合せについて色を比較し、連結成分同士を統合するまでの処理を繰り返す。こうして全ての連結成分の組み合せが完了すると、さらに予め定めておいた回数だけ、上述した処理の手順を繰り返して統合を行う。以上が前記連結成分生成処理の手順である。前記連結成分生成処理によれば、図３に示すように、文字「す」、「り」を構成する一塊の画素が一つの連結成分として抽出できることになる。
【００８５】
ステップＳ５（第５のステップに含まれる）では、ステップＳ４で連結成分生成部１０４により生成された連結成分の中から、連結成分選別部１０５により、予め決められた条件（連結成分の大きさを含む）で連結成分を選別して削除する。これは、ステップＳ４で取得された連結成分の中には、文字でないものが含まれている可能性があるためである。例えば、所定の大きさよりも小さい連結成分はノイズである可能性が高く、これをそのまま後段の処理に渡すと精度の低下や処理速度の低下を招くおそれがある。ここでは、ある一定の大きさ以下の連結成分を選別して削除する。
【００８６】
本実施形態の連結成分選別処理の手順は以下のとおりである。まず、連結成分生成部１０４による連結成分生成処理で得られた連結成分の一つを取り出す。次いで、取り出された一つの連結成分が、予め決められた大きさ以下であるか否かを判断する。ここで、連結成分の大きさが所定の大きさ以下である場合には、ノイズとみなして連結成分データから削除する。また、前記一つの連結成分の大きさが所定の大きさより大きい場合には、当該連結成分の明度と、当該連結成分の周囲を取り巻く画素の明度とを比較する。ここでは、背景に対して明度の低い文字を抽出しようとしているので、連結成分の周囲に対して前記連結成分の明度が高い場合は、前記連結成分の明度が周囲より低い場合に比べ、文字である可能性が少ないことになる。そこで、連結成分より明度の高い画素数をカウントし、この明度の高い画素の割合が所定の割合より少ない場合には、当該連結成分が文字ではないと判断して連結データから削除する。なお、背景に対して明度の高い文字を抽出するときは、連結成分より明度の低い画素数をカウントすればよい。以上が前記連結成分選別処理の手順である。
【００８７】
ステップＳ６（第６のステップに含まれる）では、ステップＳ５で連結成分選別部１０５により選別された後の連結成分に対し、外接矩形統合部１０６によって前記連結成分における外接矩形の統合処理を施す。この処理は、文字矩形を統合して文字行領域を抽出するものである。 ここでは、隣接する矩形（外接矩形）のうち、サイズ、色とも予め決められた範囲内にあって似通っているものを統合し、グループ化する。なお、隣接する矩形のサイズが異なれば、同一行を構成する矩形同士ではないと推定できる。また、隣接する矩形の色が異なれば、同一行を構成する矩形同士ではないと推定できる。隣接する矩形の色に関しては、強調のために行の途中で文字色が変わっている場合もあるが、この場合でも強調部分は同一行として抽出され、それ以外もやはり同一行として抽出される。この場合の行は途中で途切れることになるが、文字認識のときに隣り合う行に対して順に認識処理を行えば、同一行とした場合と同じ結果が得られる。
【００８８】
本実施形態の外接矩形統合処理の手順は以下のとおりである。ここでは、行方向を横として説明する。まず、各連結成分の外接矩形を求める。次いで、求められた外接矩形からいずれか二つを選び、両外接矩形の座標値のうち、Ｙ方向（縦方向）に重なっている部分の長さを調べる。ここで、Ｙ方向に重なっている部分が存在しないか、あるいはＹ方向に重なっている部分が予め決められた長さよりも小さい場合には、この二つの外接矩形が同一行を構成する要素ではないと判断し、外接矩形同士の統合は行わない。また、前記二つの外接矩形のＹ方向に重なっている部分の長さが、予め決められた長さよりも大きい場合には、当該外接矩形の高さにより、Ｘ方向における統合する矩形間距離の最大値（Ｘ距離限界値）を求める。なお、外接矩形の高さを用いる理由は、高さの高い文字であれば、隣接する文字との距離も長くなる傾向にあるためである。勿論、外接矩形高さをそのままＸ距離限界値として設定してもよい。次いで、前記二つの外接矩形のＸ方向の距離と、Ｘ距離限界値とを比較する。ここで、前記二つの外接矩形のＸ方向の距離がＸ距離限界値よりも大きい場合には、前記二つの外接矩形が同一行の構成要素ではないと判断して統合を行わない。次いで、前記二つの外接矩形の色差が予め決められた値以上であるか否かを判断する。前記色差は、前記ラン生成処理に準じて求めるものとする。ここで、前記二つの外接矩形の色差が予め決められた値以上である場合には、前記二つの外接矩形が異なる行の文字を示す矩形であると判断して統合を行わない。次いで、上述した矩形のＹ成分の重なりが所定値より多く、かつ矩形のＸ成分の距離がＸ距離限界値より短く、かつ色差が所定値より小さい外接矩形は、同一行を構成する要素であると判断し、該当する二つの外接矩形を新しい外接矩形として登録する。この登録時には、矩形情報として色情報も必要になるが、これは各外接矩形の色情報をもとにして決定する。ここでは、前記ラン生成処理に準じてメジアンを用いることにする。こうして全ての外接矩形の統合が終了するまで処理を繰り返し、統合された矩形グループ（外接矩形からなる）が文字列候補として抽出されることとなる。以上が前記外接矩形統合処理の手順である。
【００８９】
ステップＳ７（第７のステップに含まれる）では、ステップＳ６で取得された文字列候補の外接矩形に対し、文字列判定部１０７により文字列か否かを判断する。これは、前記文字列候補に、図や写真の一部などを誤って統合するなどした、文字列でないものが含まれている場合があることによる。ここで、前記文字列候補が文字列か否かは、例えば外接矩形領域内のエッジ強度を計測し、所定の値以上の強いエッジが多数含まれている場合に文字列であると判断してもよい。
【００９０】
本実施形態の文字列判定処理の手順は以下のとおりである。まず、文字列候補の外接矩形を一つ選択する。次いで、選択した外接矩形の高さが予め決められた値以上か否かを判断する。ここで、前記外接矩形の矩形の高さが予め決められた値以上である場合は、前記外接矩形が文字列でないと判断する。また、前記外接矩形の矩形の高さが予め決められた値より小さい場合には、前記外接矩形の色情報と前記外接矩形の周囲の色情報とを比較する。ここで、背景（周囲）より明度の低い文字を抽出するときは、周囲の明度が外接矩形の明度より低い場合に、前記外接矩形が文字列でないと判断する。なお、背景より明度の高い文字を抽出するときは、上述した判断条件とは逆に、周囲の明度が外接矩形の明度より高い場合に、前記外接矩形が文字列でないと判断する。次いで、前記外接矩形の色情報と前記外接矩形の周囲の色情報との比較により、前記外接矩形が文字列であると判断した場合、さらに前記外接矩形内のエッジ強度が予め決められた値より強い画素数をカウントする。ここでは、エッジ強度の測定は原画像上で行うものとし、例えば３×３画素の形状と図４（ａ）、（ｂ）に示す係数を持つ空間フィルタを測定対象の画素を中心にして個別に適用する。そして、得られた結果の２乗和をもってエッジ強度とする。次いで、前記エッジ強度が予め決められた値より強い画素数の、前記外接矩形内の全画素数に対する比率が予め決められた値より小さい場合には、文字列でないと判断する。以上が前記文字列判定処理の手順であり、これによって文字行の領域が抽出できたことになる。
【００９１】
ステップＳ８（第８のステップに含まれる）では、ステップＳ７で文字列判定部１０７により前記比率から文字列であると判断された外接矩形に対して、２値画像生成部１０８により、前記外接矩形の行領域（文字行）ごとに２値化処理を施す。ここで、行領域以外の画素は一律に白とする。ここでは、判別分析方法（「コンピュータビジョン」第４章、丸善出版刊、谷内田正彦編を参照）を用いる。なお、前記コンピュータビジョンには、判別分析法について、「画像の２値化問題は、画像をパターン領域（クラス１）と背景領域（クラス２）の２クラスに分けることであるとし、濃度とヒストグラムを用いて最もクラス分離の良い濃度閾値を与えるようとするものである。」と記載されている。
【００９２】
本実施形態の２値画像生成処理では、上述したように既に求められている行領域ごとに判別分析法を用いて２値化処理するので、背景が２色の画像（図５に示す）に対しても、背景が単一色の画像と同様に２値化処理を実行することが可能となる。よって、背景が２色の画像から文字列を確実に抽出し、文字が黒画素で背景が白画素となるように表現できる（図６（ａ）に示す）。なお、背景が２色の画像（図５に示す）の全体に対し、判別分析法を用いて２値化処理を施したときは、文字が黒画素で背景が白画素となるように表現されない場合（図６（ｂ）に示す）がある。
【００９３】
ステップＳ９では、ステップＳ８で２値画像生成部１０８により生成された２値画像を、結果出力部１０９により例えばディスプレイ画面上あるいは記録紙上に出力する。
【００９４】
以上のように、本発明の第１の実施形態に係る画像処理装置は、処理対象となる画像からカラー画像（多値画像に含まれる）を取得する画像入力部１０１（画像取得手段に含まれる）と、画像入力部１０１により取得された多値画像から、圧縮画像を生成する圧縮画像生成部１０２（圧縮画像生成手段に含まれる）と、圧縮画像生成部１０２により取得された圧縮画像から、略同一色相の画素列をランとして生成するラン生成部１０３（ラン生成手段に含まれる）と、ラン生成部１０３により生成されたランを統合して連結成分を生成する連結成分生成部１０４（連結成分生成手段に含まれる）と、連結成分生成部１０４により生成された連結成分から、所定の選別条件を満足するものを選別する連結成分選別部１０５（連結成分選別手段に含まれる）と、連結成分選別部１０５により選別された連結成分の外接矩形を統合する外接矩形統合部１０６（外接矩形統合手段に含まれる）と、外接矩形統合部１０６により統合された外接矩形が一つの文字列か否かを判定する文字列判定部１０７（文字列判定手段に含まれる）と、文字列判定部１０７により一つの文字列と判定された外接矩形の領域ごとに２値化処理を施して２値画像を生成する２値画像生成部１０８（２値画像生成手段に含まれる）とを備えているので、カラー画像などの多値画像からカラー情報を抽出し、この情報を２値化によらず直接用いて文字抽出精度の向上を図ることができる。
【００９５】
［第２の実施形態］
図７は本発明の第２の実施形態に係る画像処理装置を示す。これは第１の実施形態とは、明度反転画像生成部３０１、背景色抽出部３０２、色比較部３０３、参照画像設定部３０４を除き、概ね同様の構成を有しているために、図１を用いると共に同一構成には同一符号を付与して説明を省略する。
【００９６】
図７において、明度反転画像生成部３０１は、画像入力部１０１から原画像（カラー画像を含む）を取得し、この原画像の明度を反転させて反転画像を生成して、背景色抽出部３０２へ送出するものである。背景色抽出部３０２は、文字列判定部１０７で取得された文字行のデータを用い、この文字行の行領域内で文字を構成するラン以外の画素値の平均値を計算することにより、前記文字の背景色を抽出するものである。色比較部３０３は、背景色抽出部３０２で取得された背景色と、前記行領域内の文字色とを比較し、比較結果を参照画像設定部３０４へ送出するものである。参照画像設定部３０４は、色比較部３０３による比較結果から、前記行領域内の文字色の明度が背景色の明度よりも高い場合には、２値画像生成部１０８で２値化を行うときに前記反転画像を参照するように設定するものである。
【００９７】
次に、図８を参照しながら本実施形態の画像処理方法を説明する。これは、第１の実施形態とはステップＳ２０１〜Ｓ２０６を除き、概ね同様の方法であるために、図２を用いると共に同一ステップには同一符号を付与して説明を省略する。
【００９８】
ステップＳ２０１では、明度反転画像生成部３０１により、ステップＳ１で取得された原画像の明度を反転させて反転画像を生成する。ここで生成された反転画像は、背景色抽出部３０２へ送出される。
【００９９】
ステップＳ２０２（背景色抽出ステップに含まれる）では、背景色抽出部３０２により、ステップＳ７で取得された文字行の行領域内で文字を構成するラン以外の画素値の平均値を計算して、前記文字の背景色を抽出する。例えば、第１の実施形態で示した行領域（図３に示す）では、白い帯で表現されている画素の平均値を求めることが背景色を求めることになる。ここで抽出された背景色のデータは、色比較部３０３へ送出される。
【０１００】
ステップＳ２０３（色比較ステップに含まれる）では、色比較部３０３により、ステップＳ２０２で取得された背景色と、前記行領域内の文字色とを比較する。なお、前記行領域内の文字色は、文字列を構成するランのある画素の平均色から求められている。この比較の結果は、参照画像設定部３０４へ送出される。
【０１０１】
ステップＳ２０４では、参照画像設定部３０４により、ステップＳ２０３による比較結果から、前記行領域内の文字色の明度が背景色の明度よりも高いか否かを判断する。ここで、前記行領域内の文字色の明度が背景色の明度よりも高い場合には、ステップＳ２０５へ進む。また、前記行領域内の文字色の明度が背景色の明度よりも低い場合には、ステップＳ２０６へ進む。
【０１０２】
ステップＳ２０５（参照画像設定ステップに含まれる）では、参照画像設定部３０４により、２値画像生成部１０８で２値化を行うときに前記反転画像を参照するように設定する。この後、ステップＳ８へ進む。
【０１０３】
ステップＳ２０６（参照画像設定ステップに含まれる）では、参照画像設定部３０４により、２値画像生成部１０８で２値化を行うときに前記原画像を参照するように設定する。この後、ステップＳ８へ進む。
【０１０４】
以上のように、本発明の第２の実施形態に係る画像処理装置は、２値画像生成部１０８（２値画像生成手段に含まれる）に、原画像の明度を反転させた反転画像を生成する明度反転画像生成部３０１（明度反転画像生成手段に含まれる）と、行領域（一つの文字列と判定された外接矩形の領域に含まれる）の背景色を抽出する背景色抽出部３０２（背景色抽出手段に含まれる）と、前記文字列のランに含まれる画素の色を文字色とし、背景色抽出部３０２により抽出された背景色と文字色とを比較する色比較部３０３（色比較手段に含まれる）と、色比較部３０３による比較結果に応じて、２値化処理時に前記反転画像を参照するように設定する参照画像設定部３０４（参照画像設定手段に含まれる）とを備えているので、明度が反転した文字が含まれる原画像でも、文字が黒画素で背景が白画素となった２値画像を取得できる。
【０１０５】
本実施形態によれば、背景色を抽出して文字色と比較し、文字色の明度が背景色より高い場合に、２値化を行うときの参照画像として明暗反転画像（図９（ａ）に示す）を用いるので、明度が反転した文字が含まれる原画像（図９（ｂ）に示す）でも、背景色に関らず、文字が黒画素となった２値画像（図９（ｃ）に示す）を得ることができる。図９（ｃ）では、文字列「ふつう」のある部分が原画像から２値化を行い、文字列「はんてん」のある部分が前記明度反転画像から２値化されている。これに対し、参照画像として前記明暗反転画像を用いず、原画像のみを用いて２値化した場合には、文字列「はんてん」が白画素となって文字認識に不都合が生じることとなる（図９（ｄ）に示す）。
【０１０６】
［第３の実施形態］
図１０は本発明の第３の実施形態に係る画像処理装置を示す。これは第１の実施形態とは、２値画像生成部１０８に含まれる画像変換部１０８１、領域分割部１０８２、閾値算出部１０８３、閾値補完部１０８４、画素値決定部１０８５を除き、概ね同様の構成を有しているために、図１を用いると共に同一構成には同一符号を付与して説明を省略する。
【０１０７】
図１０において、画像変換部１０８１は、文字列判定部１０７により取得された文字行領域に対応した、原画像の部分領域に画像処理（エッジ強調処理を含む）を施し、新たな部分領域画像を生成するものである。領域分割部１０８２は、画像変換部１０８１により取得された新たな部分領域画像を、文字行の高さを一辺とした領域に分割するものである。閾値算出部１０８３は、領域分割部１０８２により分割された領域内の画素値を用い、第１、第２の実施形態で述べた判別分析法によって各領域における２値化閾値を求めるものである。閾値補完部１０８４は、文字行内の各画素について、背景の連続的な色変化に追随した各画素の閾値を補完により求めるものである。画素値決定部１０８５は、閾値補完部１０８４により取得された各画素の閾値と、各画素の画素値とを比較することにより、２値画像の画素値（白黒）を決定するものである。
【０１０８】
次に、図１１を参照しながら本実施形態の画像処理方法を説明する。これは、文字列を含む行領域を分割し、分割領内で２値化閾値を算出する方法である。本実施形態は、第１の実施形態とはステップＳ８０１〜Ｓ８０８（図２のＳ８に替わる）を除き、概ね同様の方法であるために、図２を用いると共に同一ステップには同一符号を付与して説明を省略する。
【０１０９】
ステップＳ８０１（画素変換ステップに含まれる）では、ステップＳ７で取得された文字行領域に対応した、原画像の部分領域に対し、画像変換部１０８１により所定の画像処理を施して新たな部分領域画像を生成する。ここでは、エッジ強調処理を行うものとし、注目画素を中心とした周囲の画素（３×３画素）に対し、図１２（ａ）に示す係数を乗じて注目画素の画素値を置き換えることにより、原画像のエッジ強調をする。このエッジ強調処理は、行領域の文字が小さい場合に、生成される２値画像の文字が潰れ、あるいは掠れることを防止するものである。なお、上述したエッジ強調処理は、十分に大きな行領域では文字の潰れや掠れが発生し難いために、必要性が低くなる。また、エッジ強調処理の他に、例えば細かい黒画素が胡麻塩状に散乱して出現するときには、平滑化処理を用いてもよい。この平滑化処理では、上述した係数の代わりに図１２（ｂ）に示す係数を乗じて注目画素の画素値を置き換えることにより、細かい黒画素が減少する。さらに、行領域が所定の大きさ以上に大きいか否かを判断し、所定の大きさ以上に大きい場合には、エッジ強調処理を省く処理を追加してもよい。このような処理の追加することで、画像処理時間を短縮できる。
【０１１０】
ステップＳ８０２（領域分割ステップに含まれる）では、ステップＳ７で取得された行領域の内部を領域分割部１０８２により分割する。ここでは、分割領域に背景と文字との両方を含むので、文字行の高さが文字の大きさを代表していると考え、行の高さ（ｈ）を一辺とした正方形の領域に分割する（図１３に示す）。この他の領域分割方法としては、単純に固定画素数四方の大きさに分割する方法などが考えられる。なお、分割領域が大き過ぎると、背景色の変化に追随しずらくなり、分割領域が小さ過ぎると、分割領域内に背景しかないときは、背景のはずの画素値の範囲についても無理に閾値を決めることになるので、白画素で表現されるべき領域が胡麻塩状となった２値画像が生成されてしまう。
【０１１１】
ステップＳ８０３（閾値算出ステップに含まれる）では、ステップＳ８０２で分割された領域内の画素値を用い、閾値算出部１０８３によりそれぞれの分割領域における２値化閾値を求める。ここでは、２値化閾値を求める方法として判別分析法を用いる。
【０１１２】
ステップＳ８０４では、前記分割領域の全てについて２値化閾値が算出されたか否かを判断する。ここで、全ブロックの２値化閾値が算出された場合にはステップＳ８０５へ進む。
【０１１３】
ステップＳ８０５（閾値補完ステップに含まれる）では、前記行領域内の各画素について、閾値補完部１０８４により背景の色変化に追随した２値化閾値を求める。ここでは、注目画素と左右に隣接する領域の中心との距離をそれぞれｄ_１、ｄ_２、領域ごとに求めた閾値をｔ_１、ｔ_２としたとき、注目画素の閾値ｔ_ｐを次式（１）で計算する。
【数１】

なお、閾値の補完方法としては、この他に、ラグランジュ補完法、０次補完法（「コンピュータビジョン」ｐ．５１〜ｐ．５４、丸善出版刊、谷内田正彦編を参照）などを適宜選択して用いてもよい。例えば、分割領域の１辺の長さが文字行の高さより小さくなるように、格子状に分割した場合（図１４（ａ）に示す）には、ラグランジュ補完法が有効である。この場合、図１４（ｂ）に示すように、文字周辺の四つの格子の２値化閾値をｔ_１、ｔ_２、ｔ_３、ｔ_４として、上述した２値化閾値ｔ_ｐを求めた方法を用い、線分t_１、t_２上で、注目点Ｐと同じＸ座標をもつ座標上での２値化閾値t_１２を求める。同様にして２値化閾値t_３４を求め、最後に２値化閾値t_１２と２値化閾値t_３４に同じ方法を適用して、注目点Ｐの２値化閾値ｔ_ｐを求めればよい。
【０１１４】
ステップＳ８０６では、画素値決定部１０８５により、ステップＳ８０５で取得された各画素の２値化閾値と、各画素の画素値とを比較することにより、前記行領域内の２値画像の画素値（白黒）を決定する。
【０１１５】
ステップＳ８０７では、前記行領域内の全ての画素を２値化したか否かを判断する。ここで、全ての画素を２値化した場合にはステップＳ８０８へ進む。また、全ての画素を２値化していない場合にはステップＳ８０５へ戻る。
【０１１６】
ステップＳ８０８では、２値化対象の全ての行領域について、行領域内の全ての画素を２値化したか否かを判断する。ここで、２値化対象の全ての行領域について２値化処理が済んだ場合には、２値画像の生成が完了したので、ステップＳ９へ進む。また、２値化対象の全ての行領域について２値化処理が済んでいない場合には、ステップＳ８０１へ戻る。
【０１１７】
以上のように、本発明の第３の実施形態に係る画像処理装置は、２値画像生成部１０８（２値画像生成手段に含まれる）に、上述した行領域（一つの文字列と判定された外接矩形の領域に含まれる）を分割する領域分割部１０８２（領域分割手段に含まれる）と、領域分割部１０８２により分割された分割領域ごとに２値化処理のための２値化閾値を求める閾値算出部１０８３（閾値算出手段に含まれる）と、前記行領域の各画素に対応する２値化閾値を、前記分割領域ごとに求めた２値化閾値を用いて補完する閾値補完部１０８４（閾値補完手段に含まれる）とを備えているので、閾値補完部１０８４による精細な補完処理により、背景色が連続的に変化している原画像から文字認識に好適な２値画像を生成できる。
【０１１８】
また、本発明の第３の実施形態に係る画像処理装置は、２値画像生成部１０８に、上述した行領域に対応している原画像の一部領域に対して画像処理を施し、前記一部領域の画像を変換する画像変換部１０８１（画像変換手段に含まれる）を備えているので、２値化の前に原画像に画像処理を施すことにより、原画像の文字が小さいときに、２値化した画像で文字の掠れや潰れが生じ、あるいは細かい黒画素が胡麻塩状に散乱して出現することを改善できる。ここで、判別分析法を用いた場合には、２値化閾値の補完方法により処理時間が多少増加する傾向があるものの、正常な２値化画像を取得できる。
【０１１９】
なお、背景色が連続的に変化している原画像（図１５（ａ）に示す）に対しては、文字行の行領域を分割し、分割領域ごとに２値化閾値を求め、この２値化閾値の補完によって分割領域内の各画素の２値化閾値を決定して２値化処理するので、正常な２値化画像（図１５（ｂ）に示す）が得られる。これに対し、第１の実施形態に準じて行領域ごとに２値化処理した場合には、文字行における背景色の暗い部分では背景が黒画素となってしまい、正常な２値化画像が得られないことがある（図１５（ｃ）に示す）。
【０１２０】
［第４の実施形態］
図１６は本発明の第４の実施形態に係る画像処理装置を示す。これは第３の実施形態とは、２値画像生成部１０８に含まれる行高さ判定部１０８６、行内黒画素比計測部１０８７、画素値比較部１０８８、画素値置換部１０８９を除き、概ね同様の構成を有しているために、図１を用いると共に同一構成には同一符号を付与して説明を省略する。
【０１２１】
図１６において、行高さ判定部１０８６は、画素値決定部１０８５により決定された２値画像の画素値（白黒）により生成される２値画像について、処理対象の文字行の高さを判断するものである。行内黒画素比計測部１０８７は、前記２値画像を生成したときの文字行領域内の黒画素と白画素の比を計測するものである。画素値比較部１０８８は、前記２値画像における注目画素（黒画素）の原画像上での色と、文字を抽出する過程で既に取得されている文字色とを比較するものである。ここでは、色の３成分（Ｒ、Ｇ、Ｂ）の差の２乗和を用いて画素値を比較する。画素値置換部１０８９は、前記２値画像上の注目画素を白画素に置換するものである。
【０１２２】
次に、図１７を参照しながら本実施形態の画像処理方法を説明する。これは、第４の実施形態とは特にステップＳ８０６の後工程に、ステップＳ８１１〜Ｓ８１７を設けた点を除き、概ね同様の方法であるために、図２を用いると共に同一ステップには同一符号を付与して説明を省略する。
【０１２３】
ステップＳ８１１（判定ステップに含まれる）では、ステップＳ８０６で処理対象の行領域内の２値画像の画素値（白黒）を決定した後、すなわち明度情報から２値画像を生成した後、行高さ判定部１０８６により処理対象の文字行の高さが予め決められた高さよりも低いか否かを判断する。ここで、前記文字行の高さが予め決められた高さよりも高い場合にはステップＳ８１９へ進む。また、前記文字行の高さが予め決められた高さよりも低い場合にはステップＳ８１２の処理に進む。なお、文字行の高さが予め決められた高さよりも低い場合には、行領域内の文字が小さく、ストロークも細いことがある。このような文字の場合には、２値画像を微視的に見ると、背景色とストロークの色とが混合してしまい、文字色との差が大きくなり、後段の処理で前記文字のストロークが白画素に変換されることがある。そこで、ステップＳ８１１では、先に処理対象の文字行の高さを判断し、ステップＳ８１２を実行するか否かを決定する。
【０１２４】
ステップＳ８１２（黒画素比計測ステップに含まれる）では、行内黒画素比計測部１０８７により、２値画像における前記文字行内の黒画素と白画素の比（黒画素比）を計測する。なお、黒画素比が予め決められた値よりも小さい場合は、ストローク自体が細い文字から構成されているので、文字色が背景色と混合して白画素として表現されるおそれがある。一方、黒画素比が予め決められた値よりも小さい場合には、背景が誤って黒画素として表現される可能性は低いために、後段の処理で文字の黒画素を白画素化する処理を施す必要性は低い。そこで、ステップＳ８１２では先に処理対象の文字行の黒画素比を計測する。
【０１２５】
ステップＳ８１３（画素値比較ステップに含まれる）では、画素値比較部１０８８により、ステップＳ８１４で計測された黒画素比が予め決められた値よりも大きいか否かを判断する。ここで、前記黒画素比が予め決められた値よりも大きい場合はステップＳ８１９へ進む。また、前記黒画素比が予め決められた値よりも小さい場合にはステップＳ８１４へ進む。
【０１２６】
ステップＳ８１４では、画素値比較部１０８８により、２値画像における前記文字行内の注目画素が黒画素か否かを判断する。ここで、注目画素が黒画素の場合はステップＳ８１５に進む。また、注目画素が黒画素でない場合にはステップＳ８１８へ進む。
【０１２７】
ステップＳ８１５（画素値比較ステップに含まれる）では、画素値比較部１０８８により、２値画像における前記文字行内の注目画素の原画像上での色と、文字を抽出する過程で取得された文字色とを比較する。ここでは、色の３成分（Ｒ、Ｇ、Ｂ）の差の２乗和を用いて画素値を比較する。なお、ステップＳ８１５では、注目画素の色を求めているが、この他に、第３の実施形態（図１１のＳ８０１）で示した原画像変換を行ってから注目画素の画素値を求めてもよい。また、第３の実施形態で述べたように、文字行領域の大きさによっては前記原画像変換を行わない処理を追加してもよい。
【０１２８】
ステップＳ８１６では、画素値比較部１０８８により、ステップＳ８１５で取得された色の３成分の差の２乗和が、予め決められた値よりも大きいか否かを判断する。ここで、前記２乗和が予め決められた値よりも大きい場合は、誤って文字色以外の色を黒画素にしていると判断してステップＳ８１７へ進む。また。前記２乗和が予め決められた値よりも小さい場合にはステップＳ８１８へ進む。
【０１２９】
ステップＳ８１７（画素値置換ステップに含まれる）では、画素値置換部１０８９により、２値画像における前記文字行内の注目画素（黒画素）を白画素に置換する。
【０１３０】
ステップＳ８１８では、前記行領域内の全ての画素について、ステップＳ８１１〜Ｓ８１７の処理を施したか否かを判断する。ここで、全ての画素についてステップＳ８１１〜Ｓ８１７の処理を施した場合にはステップＳ８１９へ進む。また、前記行領域内の全ての画素について、ステップＳ８１１〜Ｓ８１７の処理を施していない場合にはステップＳ８１４へ戻る。なお、ステップＳ８１８は、ステップＳ８０７に相当する。
【０１３１】
ステップＳ８１９では、２値化対象の全ての行領域について、行領域内の全ての画素に対し、ステップＳ８１１〜Ｓ８１７の処理を施したか否かを判断する。ここで、２値化対象の全ての行領域について前記処理が完了した場合は、ステップＳ９へ進む。また、２値化対象の全ての行領域について前記処理が済んでいない場合には、ステップＳ８１１へ戻る。なお、ステップＳ８１９は、ステップＳ８０８に相当する。
【０１３２】
以上のように、本発明の第４の実施形態に係る画像処理装置は、２値画像生成部１０８（２値画像生成手段に含まれる）には、上述したランに含まれる画素の色を文字色とし、２値化対象の黒画素の原画像上での色と前記文字色とを比較する画素値比較部１０８８（画素値比較手段に含まれる）と、画素値比較部１０８８による比較結果に応じて、前記２値化対象の黒画素を２値画像上で白画素に置き換える画素値置換部１０８９（画素値置換手段に含まれる）とを備えているので、同一文字行に複数の背景色が存在する場合でも正常な２値画像が得られる。
【０１３３】
例えば、図１８（ａ）に示すように、背景色が「赤」、「青」の２色であるような文字行領域を２値化処理するとき、明度のみで２値画像を生成した場合には、図１８（ｃ）に示すように背景の一部が黒画素になってしまうことがある。これに対し、本実施形態のように明度と色情報とを併用し、２値化処理によって一旦黒画素になってしまった青い背景を白画素に置換することで、図１８（ｂ）に示すように正常な２値画像を生成できる。
【０１３４】
また、本発明の第４の実施形態に係る画像処理装置は、上述した行領域（一つの文字列と判定された外接矩形の領域に含まれる）内の黒画素と白画素の比を計測する行内黒画素比計測部１０８７（黒画素比計測手段に含まれる）を備え、画素値比較部１０８８が、行内黒画素比計測部１０８７による計測結果に応じて比較処理を行うか否かを決定するように構成しているので、不要な画素値比較処理を回避して画像処理時間を短縮することができる。
【０１３５】
さらに、本発明の第４の実施形態に係る画像処理装置は、上述した行領域の大きさを判定する行高さ判定部１０８６（判定手段に含まれる）を備え、行内黒画素比計測部１０８７が、行高さ判定部１０８６による判定結果に応じて計測処理を行うか否かを決定するように構成しているので、不要な計測処理を回避して画像処理時間を短縮することができる。
【０１３６】
なお、上述した実施形態では文字色と遠い色を白画素に置換した場合について説明したが、本発明はこの他に、文字色に近い白画素を黒画素に置換する処理を設けても同様の効果が得られるものである。この場合は、特に色あいが近いにも拘らず、やや明度が異なった画素が誤って背景とみなされて白画素になるのを防ぐことができる。さらに、本発明はこの他に、文字色だけでなく背景色を抽出し、各画素と文字色、背景色との色差を判断し、文字色に近ければ黒画素、背景色に近ければ白画素と置換しても同様の効果が得られるものである。
【０１３７】
［第５の実施形態］
図１９は本発明の第５の実施形態に係る画像処理装置を示す。これは第１の実施形態とは、２値画像生成部１０８に含まれる閾値算出領域設定部１０８５１、閾値算出部１０８５２、画素値決定部１０８５３を除き、概ね同様の構成を有しているために、図１を用いると共に同一構成には同一符号を付与して説明を省略する。
【０１３８】
図１９において、閾値算出領域設定部１０８５１は、文字列判定部１０７の文字列判定処理によって抽出された文字行の領域に対し、さらに行領域内の注目画素の２値化閾値を算出するための閾値算出領域を設定するものである。閾値算出部１０８５２は、閾値算出領域設定部１０８５１により設定された閾値算出領域内の画素値を用い、判別分析法によって２値化閾値を算出するものである。画素値決定部１０８５３は、閾値算出部１０８５２により算出された２値化閾値と、原画像における注目画素の画素値とを比較し、２値画像における注目画素の画素値を決定するものである。
【０１３９】
次に、図２０を参照しながら本実施形態の画像処理方法を説明する。これは、画素ごとに異なる閾値算出領域を設定して２値化閾値を算出する方法である。本実施形態は、第１の実施形態とはステップＳ８５１〜Ｓ８５５（図２のＳ８に相当する）を設けた点を除き、概ね同様の方法であるために、図２を用いると共に同一ステップには同一符号を付与して説明を省略する。
【０１４０】
ステップＳ８５１（閾値算出領域設定ステップに含まれる）では、ステップＳ７の文字列判定処理によって抽出された文字行の領域に対し、さらに閾値算出領域設定部１０８５１によって、行領域内の注目画素の２値化閾値を算出するための閾値算出領域を設定する。このとき、図２１に示すように、行領域内の注目画素の周囲を閾値算出領域として設定する。ここでは、閾値算出領域の広さは予め固定されているものとするが、これに限らず、文字行の高さや文字の太さに応じて適宜設定したものでもよい。
【０１４１】
ステップＳ８５２（領域内閾値算出ステップに含まれる）では、ステップＳ８５１で取得された閾値算出領域について、閾値算出部１０８５２により、設定範囲の画素値を用いて２値化閾値を算出する。ここでは、判別分析法を用いて２値化閾値を決定する。
【０１４２】
ステップＳ８５３では、画素値決定部１０８５３により、原画像における注目画素の画素値と、ステップＳ８５２で取得された２値化閾値とを比較し、２値画像における画素値を決定する。
【０１４３】
ステップＳ８５４では、前記行領域内の全ての画素について、ステップＳ８５１〜Ｓ８５３の処理を施したか否かを判断する。ここで、全ての画素についてステップＳ８５１〜Ｓ８５３の処理を施した場合にはステップＳ８５５へ進む。また、前記行領域内の全ての画素について、ステップＳ８５１〜Ｓ８５３の処理を施していない場合にはステップＳ８５１へ戻る。なお、ステップＳ８５４は、ステップＳ８０７に相当する。
【０１４４】
ステップＳ８５５では、２値化対象の全ての行領域について、行領域内の全ての画素に対し、ステップＳ８５１〜Ｓ８５３の処理を施したか否かを判断する。ここで、２値化対象の全ての行領域について前記処理が完了した場合は、ステップＳ９へ進む。また、２値化対象の全ての行領域について前記処理が済んでいない場合には、ステップＳ８５１へ戻る。なお、ステップＳ８５５は、ステップＳ８０８に相当する。
【０１４５】
以上のように、本発明の第５の実施形態に係る画像処理装置は、２値画像生成部１０８（２値画像生成手段に含まれる）には、上述した行領域（一つの文字列と判定された外接矩形の領域に含まれる）で、２値化対象の画素の周囲に２値化閾値算出のための領域を前記画素ごとに設定する閾値算出領域設定部１０８５１（閾値算出領域設定手段に含まれる）と、閾値算出領域設定部１０８５１により設定された領域内の画素値を用い、前記画素の２値化閾値を算出する閾値算出部１０８５３（領域内閾値算出手段に含まれる）とを備えているので、第１、第３の実施形態に示した画像処理方法と比べ、より精細に２値化閾値を設定することが期待できる。
【０１４６】
［第６の実施形態］
図２２は本発明の第６の実施形態に係る画像処理装置を示す。これは第１の実施形態とは、パーソナルコンピュータなどの汎用処理装置を用いて本発明の画像処理装置を構成し、画像処理機能をソフトウェアによって実現した点が相違している。
【０１４７】
図２２において、中央処理装置（ＣＰＵ）４０１は、装置全体を制御し、本実施形態の画像処理機能を実現するものである。メモリ４０２は、ＲＯＭやＲＡＭ等で構成され、ＣＰＵ４０１の制御プログラムを記憶するとともに、この制御プログラムがＣＰＵ４０１によって実行されるときにー時的に作成される情報等を保持するものである。ハードディスクドライブ４０３は、処理対象の原稿画像を記録したハードディスクを装着して読み込み、メモリ４０２あるいは他の記憶装置へ格納するのに用いられる。入力装置４０４は、キーボード、マウス、タッチパネル、スキャナ等で構成され、情報入力に用いられるものである。ＣＤ‐ＲＯＭドライブ４０５は、プログラムやデータ等を記録したＣＤ‐ＲＯＭ４０７を装着して読み込み、メモリ４０２へ格納するのに用いられる。出力装置４０６は、ＣＲＴ、液晶ディスプレイ（ＬＣＤ）、またはプリンタ等で構成され、入力装置４０４から入力された原画像、圧縮画像あるいは画像処理結果の２値画像などを表示、印刷するものである。ＣＤ‐ＲＯＭ４０７（記録媒体に含まれる）には、本実施形態の画像処理機能や処理手順を実現させるためのプログラムやデータ等が記録されている。上述した装置４０１〜４０６は、バスによって接続されている。
【０１４８】
さらに、上述した記録媒体として、ＣＤ‐ＲＯＭ４０７の他に、半導体媒体（例えば、ＲＯＭ、ＩＣメモリカード等）、光媒体（例えば、ディジタル・バーサタイル・ディスク（ＤＶＤ）、光磁気ディスク（ＭＯ）、ミニディスク（ＭＤ）、書き込み可能なＣＤ（ＣＤ‐Ｒ）等）、磁気媒体（例えば、磁気テープ、フレキシブルディスク（ＦＤ）等）などを用いてもよい。
【０１４９】
また、上述した記録媒体からインストールされたプログラム、換言すれば、上述の記録媒体に記憶されたプログラムとしては、本実施形態の画像処理機能を実現するために用いられる画像処理プログラムがある。ここでは、画像処理プログラムを予めＣＤ‐ＲＯＭ４０７等の記録媒体に書き込んでおき、このＣＤ‐ＲＯＭ４０７等をＣＤ‐ＲＯＭドライブ４０５などの媒体駆動装置に装着して読み込み、前記画像処理プログラムをメモリ４０２に格納し、ＣＰＵ４０１が実行することによって、本実施形態の画像処理機能を実現するものである。さらに、画像処理プログラムが半導体の記録媒体に記録されている場合には、直接、メモリ４０２ヘロードされ、実行されることとなる。
【０１５０】
なお、メモリ４０２へロードされた画像処理プログラムを実行することにより、本実施形態の画像処理機能が実現されるだけでなく、画像処理プログラムの指示に基づき、オペレーティングシステム等が実際の処理の一部または全部を行ない、その処理によって本実施形態の画像処理機能が実現されるようにしてもよい。
【０１５１】
次に、本実施形態に係る画像処理プログラムを説明する。これは、第１の実施形態における画像処理手順を実行させるものであるために、図２を用いる。前記画像処理プログラムは、ＣＰＵ４０１（コンピュータ装置に含まれる）に、図２に示すステップＳ１〜Ｓ９を実行させるものである。
【０１５２】
ステップＳ１では、入力装置４０４またはＨＤＤ４０３により、第１の実施形態に準じて処理対象の原画像（カラー画像を含む）を入力とする。この取得された原画像のデータは、メモリ４０２に送出される。ステップＳ２では、ＣＰＵ４０１により第１の実施形態に準じて前記原画像から圧縮画像を生成する。ステップＳ３では、ＣＰＵ４０１により第１の実施形態に準じて、前記圧縮画像処理で得られた圧縮画像の各行ごとにランを求める処理（ラン生成処理）を実行する。ステップＳ４では、ＣＰＵ４０１により第１の実施形態に準じて、前記ランの連結成分を生成する。ステップＳ５では、ＣＰＵ４０１により第１の実施形態に準じて、ステップＳ４で生成された連結成分の中から、予め決められた条件（連結成分の大きさを含む）で連結成分を選別して削除する。ステップＳ６では、ＣＰＵ４０１により第１の実施形態に準じて、ステップＳ５で選別された後の連結成分に対し、前記連結成分における外接矩形の統合処理を施す。ステップＳ７では、ＣＰＵ４０１により第１の実施形態に準じて、ステップＳ６で取得された文字列候補の外接矩形に対し、文字列か否かを判断する。ステップＳ８では、ＣＰＵ４０１により第１の実施形態に準じ、ステップＳ７で文字列であると判断された外接矩形に対して、前記外接矩形の行領域（文字行）ごとに２値化処理を施す。ステップＳ９では、ＣＰＵ４０１により第１の実施形態に準じて、ステップＳ８で生成された２値画像を出力装置４０６に出力させる。あるいは、ＨＤＤ４０３に取り付けられたハードディスクに前記２値画像を記録させる。
【０１５３】
なお、上述した実施形態では画像処理プログラムによって第１の実施形態に示した画像処理機能を実現した場合について説明したが、本発明はこの他に、第２乃至第５の実施形態に示した画像処理機能（図２、図８、図１１、図１７、図２０などに示す）のいずれかを画像処理プログラムによって実現することもできる。画像処理プログラムによっても、第１乃至第５の実施形態と同様の効果が得られるものである。さらに、前記画像処理プログラムをＣＰＵ４０１、メモリ４０２に予め設ける構成に比べ、前記画像処理プログラムを記録した記録媒体を携帯して移動できるために、前記画像処理プログラムの配布や更新が容易である。
【０１５４】
また、入力装置４０４、ＨＤＤ４０３などは、画像取得手段に含まれる。さらに、ＣＰＵ４０１などは、圧縮画像生成手段、ラン生成手段、連結成分生成手段、連結成分選別手段、外接矩形統合手段、文字列判定手段、２値画像生成手段、領域分割手段、閾値算出手段、閾値補完手段、閾値算出領域設定手段、領域内閾値算出手段、明度反転画像生成手段、背景色抽出手段、色比較手段、参照画像設定手段、画素値比較手段、画素値置換手段、画像変換手段に含まれる。
【０１５５】
［第７の実施形態］
図２３は本発明の第７の実施形態に係る画像処理装置を示す。これは第６の実施形態とは、画像処理の実行を指示するクライアント側と、実際に画像処理動作を行い、処理結果を返すサーバ側とを分離し、両者をネットワークによって接続した点が相違している。
【０１５６】
図２３のサーバ装置５００において、中央処理装置（ＣＰＵ）５０１は、装置全体を制御し、本実施形態の画像処理機能を実現するものである。メモリ５０２は、ＲＯＭやＲＡＭ等で構成され、ＣＰＵ５０１の制御プログラム（画像処理プログラムを含む）を記憶するとともに、この制御プログラムがＣＰＵ５０１によって実行されるときにー時的に作成される情報等を保持するものである。ハードディスクドライブ５０３は、本実施形態の画像処理機能を実現するための画像処理プログラムを記録したハードディスクを装着して読み込み、メモリ５０２へ格納するのに用いられる。また、ハードディスクドライブ５０３は、クライアントＰＣ５０６〜５０８から送信された処理対象の原画像データをハードディスクに格納するのに用いられる。ネットワークカード５０４は、サーバ装置５００をインターネット５０９（ネットワークに含まれる）へ接続するためのインタフェースであり、ルータ５０５およびインターネット５０９を介して他の通信装置（クライアントＰＣ５０６〜５０８を含む）と信号及びデータを遣り取りするものである。ルータ５０５は、インターネット５０９上におけるサーバ装置５００の接続先を振り分けるものである。上述した装置５０１〜５０５は、バスによって接続されている。
【０１５７】
図２３のクライアント・パーソナルコンピュータ（クライアントＰＣ）５０６〜５０８には、詳細に図示していないが、装置全体を制御するＣＰＵ、このＣＰＵの制御プログラムやデータを記憶するメモリ、ハードディスクやハードディスクドライブなどの記憶装置、キーボード、マウス、タッチパネル、スキャナなどの入力装置、ＣＲＴ、液晶ディスプレイ（ＬＣＤ）、プリンタなどの出力装置、および、クライアントＰＣをインターネット５０９（ネットワークに含まれる）へ接続するためのネットワーク接続装置を備えている。
【０１５８】
さらに、前記画像処理プログラムを記録した記録媒体として、ハードディスクの他に、半導体媒体（例えば、ＲＯＭ、ＩＣメモリカード等）、光媒体（例えば、シーディーロム（ＣＤ‐ＲＯＭ）、ディジタル・バーサタイル・ディスク（ＤＶＤ）、光磁気ディスク（ＭＯ）、ミニディスク（ＭＤ）、書き込み可能なＣＤ（ＣＤ‐Ｒ）等）、磁気媒体（例えば、磁気テープ、フレキシブルディスク（ＦＤ）等）などを用いてもよい。
【０１５９】
また、インターネット５０９などのネットワークは、サーバ装置５００、クライアントＰＣ５０６〜５０８などの通信装置間を結合するための伝送路であって、一般には、ケーブルで実現され、通信プロトコルにはＴＣＰ／ＩＰが使われる。但し、伝送路としてはケーブルだけでなく、それらの間の通信プロトコルが一致するものであれば無線、有線及び放送波のいずれでもよく、例えば、構内網（ＬＡＮ）、広域網（ＷＡＮ）、アナログ電話網、ディジタル電話網（ＩＳＤＮ）、パーソナルハンディホンシステム（ＰＨＳ）、携帯電話網、衛星通信網などを用いることができる。
【０１６０】
また、前記画像処理プログラムが半導体の記録媒体に記録されている場合には、前記画像処理プログラムは、ハードディスクドライブ５０３などの媒体駆動装置からではなく、直接、メモリ５０２ヘロードされ、実行されることとなる。
【０１６１】
なお、メモリ５０２へロードされた画像処理プログラムを実行することにより、本実施形態の画像処理機能が実現されるだけでなく、画像処理プログラムの指示に基づき、オペレーティングシステム等が実際の処理の一部または全部を行い、その処理によって本実施形態の画像処理機能が実現されるようにしてもよい。
【０１６２】
上述した構成により、インターネット５０９に接続されたクライアントＰＣ５０６〜５０８のいずれかが、画像処理を指示するメッセージと、処理対象画像および参照画像をサーバ装置５００に送る。サーバ装置５００側では、ルータ５０５、ネットワークカード５０４を経て、クライアントＰＣからの画像と画像処理の指示内容を受け取り、これをハードディスクドライブ５０３に装着されたハードディスクに格納する。ＣＰＵ５０１は、前記ハードディスクから前記指示内容を読み出したのち、前記ハードディスクに格納されている画像処理プログラムをメモリ５０２に読み出して、第１の実施形態に示した画像処理手順（図２に示す）を実行する。さらに、ＣＰＵ５０１は、再びインターネット５０９を通して画像処理結果をクライアントＰＣ５０６〜５０８のいずれかへ送信する。
【０１６３】
なお、前記画像処理プログラムは、ＣＰＵ５０１（コンピュータ装置に含まれる）に、図２に示すステップＳ１〜Ｓ９を実行させるものである。
【０１６４】
ステップＳ１では、ＨＤＤ５０３によってＨＤＤ５０３に装着されたハードディスクから処理対象の原画像（カラー画像を含む）を読み出し、第１の実施形態に準じてメモリ５０２に格納する。ステップＳ２では、ＣＰＵ５０１により第１の実施形態に準じて前記原画像から圧縮画像を生成する。ステップＳ３では、ＣＰＵ５０１により第１の実施形態に準じて、前記圧縮画像処理で得られた圧縮画像の各行ごとにランを求める処理（ラン生成処理）を実行する。ステップＳ４では、ＣＰＵ５０１により第１の実施形態に準じて、前記ランの連結成分を生成する。ステップＳ５では、ＣＰＵ５０１により第１の実施形態に準じて、ステップＳ４で生成された連結成分の中から、予め決められた条件（連結成分の大きさを含む）で連結成分を選別して削除する。ステップＳ６では、ＣＰＵ５０１により第１の実施形態に準じて、ステップＳ５で選別された後の連結成分に対し、前記連結成分における外接矩形の統合処理を施す。ステップＳ７では、ＣＰＵ５０１により第１の実施形態に準じて、ステップＳ６で取得された文字列候補の外接矩形に対し、文字列か否かを判断する。ステップＳ８では、ＣＰＵ５０１により第１の実施形態に準じ、ステップＳ７で文字列であると判断された外接矩形に対して、前記外接矩形の行領域（文字行）ごとに２値化処理を施す。ステップＳ９では、ステップＳ８で生成された２値画像をクライアントＰＣに返すために、ＣＰＵ５０１により、ネットワークカード５０４、ルータ５０５を介して前記２値画像のデータをインターネット５０９上に送出する。あるいは、ＣＰＵ５０１により、ＨＤＤ５０３に取り付けられたハードディスクに前記２値画像を記録させる。
【０１６５】
本実施形態によれば、画像処理は全てサーバ装置５００側で行うために、クライアントＰＣ５０６〜５０８側は画像処理プログラムを導入するための時間的コストを節約できるという効果も得られる。
【０１６６】
なお、上述した実施形態では画像処理プログラムによって第１の実施形態に示した画像処理機能を実現した場合について説明したが、本発明はこの他に、第２乃至第５の実施形態に示した画像処理機能（図２、図８、図１１、図１７、図２０などに示す）のいずれかを画像処理プログラムによって実現することもできる。画像処理プログラムによっても、第１乃至第５の実施形態と同様の効果が得られるものである。
【０１６７】
また、クライアントＰＣ５０６〜５０８、インターネット５０９、ＨＤＤ５０３などは、画像取得手段に含まれる。さらに、ＣＰＵ５０１などは、圧縮画像生成手段、ラン生成手段、連結成分生成手段、連結成分選別手段、外接矩形統合手段、文字列判定手段、２値画像生成手段、領域分割手段、閾値算出手段、閾値補完手段、閾値算出領域設定手段、領域内閾値算出手段、明度反転画像生成手段、背景色抽出手段、色比較手段、参照画像設定手段、画素値比較手段、画素値置換手段、画像変換手段に含まれる。
【０１６８】
【発明の効果】
以上説明したように、本発明は２値画像生成手段（２値画像生成部を含む）が、文字列判定手段（文字列判定部を含む）により行領域ごとに２値化処理を施して２値画像を生成することにより、複数の背景色を有する原画像から文字認識に好適な２値画像を生成できるという優れた効果を有する画像処理装置を提供することができるものである。
【図面の簡単な説明】
【図１】本発明の第１の実施形態に係る画像処理装置の構成を示すブロック図である。
【図２】本発明の第１の実施形態に係る画像処理方法を示すフローチャートである。
【図３】本発明の第１の実施形態に係る連結成分生成処理を説明する図である。
【図４】本発明の第１の実施形態に係るエッジ強調処理用のフィルタを示す図である。
【図５】本発明の第１の実施形態に係る処理対象の原画像を示す図である。
【図６】本発明の第１の実施形態に係る行領域ごとの画像処理結果を示す図である。
【図７】本発明の第２の実施形態に係る画像処理装置の構成を示すブロック図である。
【図８】本発明の第２の実施形態に係る画像処理方法を示すフローチャートである。
【図９】本発明の第２の実施形態に係る画像処理結果を示す図である。
【図１０】本発明の第３の実施形態に係る画像処理装置の構成を示すブロック図である。
【図１１】本発明の第３の実施形態に係る画像処理方法を示すフローチャートである。
【図１２】本発明の第３の実施形態に係るエッジ強調処理用のフィルタを示す図である。
【図１３】本発明の第３の実施形態に係る領域分割処理を説明する図である。
【図１４】本発明の第３の実施形態に係る閾値補完処理を説明する図である。
【図１５】本発明の第３の実施形態に係る画像処理結果を示す図である。
【図１６】本発明の第４の実施形態に係る画像処理装置の構成を示すブロック図である。
【図１７】本発明の第４の実施形態に係る画像処理方法を示すフローチャートである。
【図１８】本発明の第４の実施形態に係る画像処理結果を示す図である。
【図１９】本発明の第５の実施形態に係る画像処理装置の構成を示すブロック図である。
【図２０】本発明の第５の実施形態に係る画像処理方法を示すフローチャートである。
【図２１】本発明の第５の実施形態に係る閾値算出領域を示す図である。
【図２２】本発明の第６の実施形態に係る画像処理装置の構成を示すブロック図である。
【図２３】本発明の第７の実施形態に係る画像処理装置の構成を示すブロック図である。
【符号の説明】
１０１ 画像入力部
１０２ 圧縮画像生成部
１０３ ラン生成部
１０４ 連結成分生成部
１０５ 連結成分選別部
１０６ 外接矩形統合部
１０７ 文字列判定部
１０８ ２値画像生成部
１０９ 結果出力部

Claims (30)

1. 処理対象となる画像から多値画像を取得する画像取得手段と、前記画像取得手段により取得された多値画像から、圧縮画像を生成する圧縮画像生成手段と、前記圧縮画像生成手段により取得された圧縮画像から、略同一色相の画素列をランとして生成するラン生成手段と、前記ラン生成手段により生成されたランを統合して連結成分を生成する連結成分生成手段と、前記連結成分生成手段により生成された連結成分から、所定の選別条件を満足するものを選別する連結成分選別手段と、前記連結成分選別手段により選別された連結成分の外接矩形を統合する外接矩形統合手段と、前記外接矩形統合手段により統合された外接矩形が一つの文字列か否かを判定する文字列判定手段と、前記文字列判定手段により一つの文字列と判定された外接矩形の領域ごとに２値化処理を施して２値画像を生成する２値画像生成手段とを備えたことを特徴とする画像処理装置。
2. 前記２値画像生成手段には、前記一つの文字列と判定された外接矩形の領域を分割する領域分割手段と、前記領域分割手段により分割された分割領域ごとに２値化処理のための２値化閾値を求める閾値算出手段と、前記外接矩形の領域の各画素に対応する２値化閾値を、前記分割領域ごとに求めた２値化閾値を用いて補完する閾値補完手段とを備えたことを特徴とする請求項１に記載の画像処理装置。
3. 前記領域分割手段が、前記一つの文字列と判定された外接矩形の領域を予め設定された大きさに分割するように構成したことを特徴とする請求項２に記載の画像処理装置。
4. 前記領域分割手段が、前記一つの文字列と判定された外接矩形の領域の大きさに応じ、前記分割領域の大きさを変更するように構成したことを特徴とする請求項２に記載の画像処理装置。
5. 前記２値画像生成手段には、前記一つの文字列と判定された外接矩形の領域で、２値化対象の画素の周囲に２値化閾値算出のための領域を前記画素ごとに設定する閾値算出領域設定手段と、前記閾値算出領域設定手段により設定された領域内の画素値を用い、前記画素の２値化閾値を算出する領域内閾値算出手段とを備えたことを特徴とする請求項１に記載の画像処理装置。
6. 前記２値画像生成手段には、前記原画像の明度を反転させた反転画像を生成する明度反転画像生成手段と、前記一つの文字列と判定された外接矩形の領域の背景色を抽出する背景色抽出手段と、前記ランに含まれる画素の色を文字色とし、前記背景色抽出手段により抽出された背景色と前記文字色とを比較する色比較手段と、前記色比較手段による比較結果に応じて、２値化処理時に前記反転画像を参照するように設定する参照画像設定手段とを備えたことを特徴とする請求項１に記載の画像処理装置。
7. 前記２値画像生成手段には、前記ランに含まれる画素の色を文字色とし、２値化対象の黒画素の原画像上での色と前記文字色とを比較する画素値比較手段と、前記画素値比較手段による比較結果に応じて、前記２値化対象の黒画素を２値画像上で白画素に置き換える画素値置換手段とを備えたことを特徴とする請求項１に記載の画像処理装置。
8. 前記２値画像生成手段には、前記ランに含まれる画素の色を文字色とし、２値化対象の白画素の原画像上での色と前記文字色とを比較する画素値比較手段と、前記画素値比較手段による比較結果に応じて、前記２値化対象の白画素を２値画像上で黒画素に置き換える画素値置換手段とを備えたことを特徴とする請求項１に記載の画像処理装置。
9. 前記一つの文字列と判定された外接矩形の領域内の黒画素と白画素の比を計測する黒画素比計測手段を備え、前記画素値比較手段が、前記黒画素比計測手段による計測結果に応じて比較処理を行うか否かを決定するように構成したことを特徴とする請求項８に記載の画像処理装置。
10. 前記一つの文字列と判定された外接矩形の領域の大きさを判定する判定手段を備え、前記黒画素比計測手段が、前記判定手段による判定結果に応じて計測処理を行うか否かを決定するように構成したことを特徴とする請求項８に記載の画像処理装置。
11. 前記２値画像生成手段には、前記一つの文字列と判定された外接矩形の領域に対応している原画像の一部領域に対して画像処理を施し、前記一部領域の画像を変換する画像変換手段を備えたことを特徴とする請求項１に記載の画像処理装置。
12. 前記画像変換手段が、原画像の一部領域に対してエッジ強調処理を施すように構成したことを特徴とする請求項１１に記載の画像処理装置。
13. 前記画像変換手段が、原画像の一部領域に対して平滑化処理を施すように構成したことを特徴とする請求項１１に記載の画像処理装置。
14. 前記画像変換手段が、前記一つの文字列と判定された外接矩形の領域の大きさに応じ、画像処理を施すか否かを決定するように構成したことを特徴とする請求項１１に記載の画像処理装置。
15. 処理対象となる画像から多値画像を取得する第１のステップと、第１のステップで取得された多値画像から、圧縮画像を生成する第２のステップと、第２のステップで取得された圧縮画像から、略同一色相の画素列をランとして生成する第３のステップと、第３のステップで取得されたランを統合して連結成分を生成する第４のステップと、第４のステップで統合された連結成分から、所定の選別条件を満足するものを選別する第５のステップと、第５のステップで選別された連結成分の外接矩形を統合する第６のステップと、第６のステップで統合された外接矩形が一つの文字列か否かを判定する第７のステップと、第７のステップで一つの文字列と判定された外接矩形の領域ごとに２値化処理を施して２値画像を生成する第８のステップとを実行することを特徴とする画像処理方法。
16. 前記第８のステップでは、前記一つの文字列と判定された外接矩形の領域を分割する領域分割ステップと、前記領域分割ステップで分割された分割領域ごとに２値化処理のための２値化閾値を求める閾値算出ステップと、前記外接矩形の領域の各画素に対応する２値化閾値を、前記分割領域ごとに求めた２値化閾値を用いて補完する閾値補完ステップとを実行することを特徴とする請求項１５に記載の画像処理方法。
17. 前記領域分割ステップでは、前記一つの文字列と判定された外接矩形の領域を予め設定された大きさに分割することを特徴とする請求項１６に記載の画像処理方法。
18. 前記領域分割ステップでは、前記一つの文字列と判定された外接矩形の領域の大きさに応じ、前記分割領域の大きさを変更することを特徴とする請求項１６に記載の画像処理方法。
19. 前記第８のステップでは、前記一つの文字列と判定された外接矩形の領域で、２値化対象の画素の周囲に２値化閾値算出のための領域を前記画素ごとに設定する閾値算出領域設定ステップと、前記閾値算出領域設定ステップで設定された領域内の画素値を用い、前記画素の２値化閾値を算出する領域内閾値算出ステップとを実行することを特徴とする請求項１５に記載の画像処理方法。
20. 前記第８のステップでは、前記原画像の明度を反転させた反転画像を生成する明度反転画像生成ステップと、前記一つの文字列と判定された外接矩形の領域の背景色を抽出する背景色抽出ステップと、前記ランに含まれる画素の色を文字色とし、前記背景色抽出手段により抽出された背景色と前記文字色とを比較する色比較ステップと、前記色比較ステップで取得された比較結果に応じて、２値化処理時に前記反転画像を参照するように設定する参照画像設定ステップとを実行することを特徴とする請求項１５に記載の画像処理方法。
21. 前記第８のステップでは、前記ランに含まれる画素の色を文字色とし、２値化対象の黒画素の原画像上での色と前記文字色とを比較する画素値比較ステップと、前記画素値比較ステップで取得された比較結果に応じて、前記２値化対象の黒画素を２値画像上で白画素に置き換える画素値置換ステップとを実行することを特徴とする請求項１５に記載の画像処理方法。
22. 前記第８のステップでは、前記ランに含まれる画素の色を文字色とし、２値化対象の白画素の原画像上での色と前記文字色とを比較する画素値比較ステップと、前記画素値比較ステップで取得された比較結果に応じて、前記２値化対象の白画素を２値画像上で黒画素に置き換える画素値置換ステップとを実行することを特徴とする請求項１５に記載の画像処理方法。
23. 前記第８のステップでは、前記一つの文字列と判定された外接矩形の領域内の黒画素と白画素の比を計測する黒画素比計測ステップを実行し、前記画素値比較ステップでは、前記黒画素比計測ステップで取得された計測結果に応じて比較処理を行うか否かを決定することを特徴とする請求項２２に記載の画像処理方法。
24. 前記第８のステップでは、前記一つの文字列と判定された外接矩形の領域の大きさを判定する判定ステップを実行し、前記黒画素比計測ステップでは、前記判定ステップで取得された判定結果に応じて計測処理を行うか否かを決定することを特徴とする請求項２２に記載の画像処理方法。
25. 前記第８のステップでは、前記一つの文字列と判定された外接矩形の領域に対応している原画像の一部領域に対して画像処理を施し、前記一部領域の画像を変換する画像変換ステップを実行することを特徴とする請求項１５に記載の画像処理方法。
26. 前記画像変換ステップでは、原画像の一部領域に対してエッジ強調処理を施すことを特徴とする請求項２５に記載の画像処理方法。
27. 前記画像変換ステップでは、原画像の一部領域に対して平滑化処理を施すことを特徴とする請求項２５に記載の画像処理方法。
28. 前記画像変換ステップでは、前記一つの文字列と判定された外接矩形の領域の大きさに応じ、画像処理を施すか否かを決定することを特徴とする請求項２５に記載の画像処理方法。
29. コンピュータに、処理対象となる画像から多値画像を取得する第１のステップと、第１のステップで取得された多値画像から、圧縮画像を生成する第２のステップと、第２のステップで取得された圧縮画像から、略同一色相の画素列をランとして生成する第３のステップと、第３のステップで取得されたランを統合して連結成分を生成する第４のステップと、第４のステップで統合された連結成分から、所定の選別条件を満足するものを選別する第５のステップと、第５のステップで選別された連結成分の外接矩形を統合する第６のステップと、第６のステップで統合された外接矩形が一つの文字列か否かを判定する第７のステップと、第７のステップで一つの文字列と判定された外接矩形の領域ごとに２値化処理を施して２値画像を生成する第８のステップとを実行させるためのプログラム。
30. コンピュータに、処理対象となる画像から多値画像を取得する第１のステップと、第１のステップで取得された多値画像から、圧縮画像を生成する第２のステップと、第２のステップで取得された圧縮画像から、略同一色相の画素列をランとして生成する第３のステップと、第３のステップで取得されたランを統合して連結成分を生成する第４のステップと、第４のステップで統合された連結成分から、所定の選別条件を満足するものを選別する第５のステップと、第５のステップで選別された連結成分の外接矩形を統合する第６のステップと、第６のステップで統合された外接矩形が一つの文字列か否かを判定する第７のステップと、第７のステップで一つの文字列と判定された外接矩形の領域ごとに２値化処理を施して２値画像を生成する第８のステップとを実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。

Images