JP2004126741A

JP2004126741A - 画像補正方法

Info

Publication number: JP2004126741A
Application number: JP2002286766A
Authority: JP
Inventors: Yoshiyuki Matsuyama; 松山　好幸; Masato Nishizawa; 西澤　眞人; Chihiro Ueki; 植木　千尋
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 2002-09-30
Filing date: 2002-09-30
Publication date: 2004-04-22

Abstract

【課題】文字行の蛇行を補正できるとともに、文字要素自体の歪みも補正することができる画像補正方法を提供する。
【解決手段】画像の水平方向のヒストグラムを作成する第１のステップと、ヒストグラムの値が最大になる垂直画素位置を含む文字行を検出する第２のステップと、第２のステップにおいて検出された文字行において、文字行を構成する文字要素毎にその垂直方向の下端位置を検出する第３のステップと、第３のステップで算出された、文字要素毎の下端位置にもとづいて、画像を構成する各垂直ラインについて、補正すべき量を算出する第４のステップと、各垂直ラインを補正すべき量にもとづいて垂直方向に移動させる第５のステップとを行う。
【選択図】　図１

Description

【０００１】
【発明の属する技術分野】
本発明は、文書等の原稿をハンドスキャナ等で撮影した画像において生じる文字行等の蛇行を補正する画像補正方法に関する。
【０００２】
【従来の技術】
従来から、文書等の原稿をスキャナ等で撮影し、撮影された文字画像を用いてＯＣＲ（Ｏｐｔｉｃａｌ　Ｃｈａｒａｃｔｅｒ　Ｒｅｃｏｇｎｉｔｉｏｎ）処理を行って文字認識を行うための様々な技術が提案されている。
【０００３】
特にハンドスキャナ等の比較的小型のスキャナを用いて原稿上をなぞって画像を撮影するという方式の装置においては、使用者が原稿上を文字の配列（以下、文字行と記す）方向に対して平行な方向に直線的になぞることは難しく、どうしても蛇行してしまい、結果的に撮影される画像が原稿と比較して蛇行したものになってしまう。このため、蛇行度合いが大きい場合、文字の歪みが影響して以後のＯＣＲ処理において文字認識率が低下するという課題があった。
【０００４】
このような画像の蛇行を補正する方法としては、あらかじめ各文字画像（以下、文字要素と記す）毎に、その文字を構成する黒画素の列方向に連続したつながりの始点座標とその黒画素部分の長さからなるランレングスデータに変換し、隣接する２つの文字要素の画像を構成するランレングスデータのそれぞれの中心の列方向の位置のずれを２つの文字要素のそれぞれの中心の列方向のずれとし、そのずれに応じてランレングスデータの始点座標を変更することで蛇行した文字画像の補正を行う方法が提案されてきた（例えば、特許文献１参照。）。
【０００５】
【特許文献１】
特許第３１０８９７９号公報
【０００６】
【発明が解決しようとする課題】
しかしながら、前述のような画像補正方法においては、文字要素単位にシフトを行うために、文字毎の蛇行は補正できるものの、文字要素自体の歪みを補正することができず、結果的に後のＯＣＲ等の処理において、適切な文字認識ができない、という課題があった。
【０００７】
本発明は、このような課題に鑑み、文字行の蛇行を補正できるとともに、文字要素自体の歪みも補正することができる画像補正方法を提供することを目的とする。
【０００８】
【課題を解決するための手段】
本発明の画像補正方法は、２次元に配置された画素の集合体からなる画像の水平方向のヒストグラムを作成する第１のステップと、ヒストグラムの値が最大になる垂直画素位置を含む文字行を検出する第２のステップと、第２のステップにおいて検出された文字行について、文字行を構成する文字要素毎に、その画像における垂直方向の下端位置を検出する第３のステップと、第３のステップで検出された文字要素毎の下端位置に応じて、画像を構成する各垂直ラインについての位置補正量を得る第４のステップと、位置補正量に応じて、画像を構成する各垂直ラインを垂直方向に移動させる第５のステップとを備えたことを特徴としている。
【０００９】
このような構成により、ヒストグラムの値が最大になる垂直画素位置を含む文字行を検出して、その行について各文字要素毎にその垂直方向の下端位置を検出する処理を行うので、画像中の全文字行について演算処理を行う場合と比較して演算部の負荷を低減することができる。
【００１０】
また、このような構成により、画像を構成する全垂直ラインについて、垂直方向に移動させる補正を行うので、文字行の蛇行を補正できるのみならず、各文字要素の歪みをも補正することが可能となる。
【００１１】
また、第２のステップにおいて、ヒストグラムの値が最大になる垂直画素位置から、ヒストグラムの値が所定の範囲内となる垂直画素位置を検出することによって、文字行の検出を行う構成であることにより、簡易な方法で画像中に存在している最も水平方向に長い文字行の検出が可能となる。
【００１２】
さらに、第３のステップにおいて、文字要素毎の下端位置を直線で結んだ包絡線にもとづいて、位置補正量を得る構成であることにより、より簡易に文字要素の歪みを補正することができる画像補正方法を提供することが可能となる。
【００１３】
【発明の実施の形態】
以下、本発明の実施の形態について図面を用いて説明する。
【００１４】
本発明の実施の形態として、本発明の画像補正方法について説明する。
【００１５】
図１は、本発明の実施の形態における画像補正方法の処理ステップを示すフローチャートである。また、図２は、本発明の画像補正方法を実行するための装置の構成の一例を示す。
【００１６】
図２に示したように、本発明の実施の形態における画像補正装置４０は、文字や図形等の原稿を読み取って、その画像の撮影を行う画像入力部１と、画像入力部１に接続され、画像入力部１によって撮影された画像にもとづいて以降に説明する各種の処理を行うＣＰＵ２、画像入力部１によって撮影された画像の記憶を行う、フレームメモリである記憶手段３、さらに、ＣＰＵ２に接続され、各種の演算された結果情報や必要な情報を使用者に対して表示する表示部５から構成されている。
【００１７】
画像入力部１としては、光学的なデバイス等、公知のハンドスキャナ等に用いられるデバイスから選択したものを用いることができる。
【００１８】
記憶手段３はＣＰＵ２に接続されており、その記憶媒体としては、公知のフラッシュメモリ等を用いることができる。
【００１９】
表示部５は、公知のディスプレイデバイス、例えば、ＬＣＤ（Ｌｉｑｕｉｄ　Ｃｒｙｓｔａｌ　Ｄｉｓｐｌａｙ）、ＥＬ（Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｔ）およびＣＲＴ（Ｃａｔｈｏｄｅ　Ｒａｙ　Ｔｕｂｅ）等のデバイスから任意に選ぶことができる。
【００２０】
次に、本発明の実施の形態における画像補正方法の処理ステップについて、図１に従って説明する。
【００２１】
まず、画像入力部１で撮影された画像（以下、元画像と記す）が、ＣＰＵ２を介して記憶手段３にロード（展開）される（ステップＳ２９）。この元画像１０の一例を図３（ａ）に示す。図３（ａ）に示した元画像１０は、ハンドスキャナで撮影された、部分画像を合成して得られた画像であり、ハンドスキャナを使用者が手動でスキャンした際のスキャン方向と、文字の行方向とのなす角度の差が大きく影響して、文字行の方向が傾斜してしまっている。さらに、ハンドスキャナを用いて原稿上をなぞった際の軌跡が、文字行方向に対して蛇行したために、図３（ａ）に示した元画像１０は蛇行してしまっている。なお、本実施の形態において、元画像１０は、２次元に配置された画素の集合体であり、それぞれの画素の輝度値は多値（２５６階調）の白黒画像である。
【００２２】
また、本実施の形態においては、画像入力部１の撮影手段として、２５６×１６画素のＣＣＤを用い、画像を展開するための、記憶手段３としては、図３（ａ）において紙面に対して水平方向（横）×紙面に対して垂直方向（縦）＝１０００×４００画素のフレームメモリを用いた。
【００２３】
次に、ＣＰＵ２は、記憶手段３に記憶された元画像１０に対して、全体の画像の傾きを補正する処理を実行する（ステップＳ３０）。本発明は、この傾きを補正する処理についてなんら限定するものではなく、公知の方法を用いることができる。例えば、特開平１−１５６８８７号公報には、複数の角度に元画像１０を回転させ、行方向のヒストグラムを算出して、そのヒストグラムの幅が最も小さくなるような角度を、元画像１０を回転させるべき角度であるとして決定し、元画像１０を回転させる方法が開示されており、この方法を用いることもできるし、他の公知のいかなる方法を用いてもよい。
【００２４】
図３（ｂ）にこのような傾きを補正する処理を行った、傾き補正された画像１１の一例を示す。傾き補正された画像１１は、濃度値が「１」の黒画素と、濃度値が「０」の白画素とから構成された、いわゆる二値化された画像である例を示す。傾き補正された画像１１は、４つの文字行（図３（ｂ）中のＡ〜Ｄ）から構成されている。なお、本明細書中において、文字行とは、文字が記載された方向（例えば、図３（ｂ）中においてはＸ軸方向）の文字要素のつながりをいう。
【００２５】
傾き補正された画像１１と元画像１０とを比較すると、画像全体の傾きは補正されているものの、前述した蛇行は残存していることが分かる。以下、本実施の形態における画像の蛇行を補正する方法について、説明する。
【００２６】
再び図１に戻って、ＣＰＵ２は、最も行方向（図３（ｂ）におけるＸ軸方向）に長い文字行を検出するために、記憶手段３に記憶された傾き補正された画像１１について、図３（ｂ）中の各垂直画素位置について、各水平ライン毎に水平方向の黒画素の数をカウントして（濃度値を加算して）、積算ヒストグラムを算出する（ステップＳ３１）。
【００２７】
なお、本明細書中においては、元画像１０を構成する画像データにおける水平方向の画素の連なりを水平ラインと記し、垂直方向の画素の連なりを垂直ラインと記す。
【００２８】
図４は、図３（ｂ）に示した傾き補正された画像１１について、水平方向の積算ヒストグラムを算出した結果である。図４においては、横軸に画像の垂直方向の画素の位置を示し（図３（ｂ）においては、紙面に向かって左上の隅を原点Ｏとした例を示す）、縦軸には、黒画素の数をプロットしたものである。
【００２９】
図４から明らかなように、本実施の形態においては、算出された黒画素のヒストグラムは、４つの山部（Ａ〜Ｄ）に分かれていることが分かる。これらの山部は、それぞれ、図３（ｂ）に示した傾き補正された画像１１の、前述した４つの文字行（Ａ〜Ｄ）に対応している。
【００３０】
続いてＣＰＵ２は、前述のステップで算出された水平方向の積算ヒストグラムから、黒画素数が最大値となる垂直方向の画素位置を算出し、最大値を含む山部を、長さが最長の文字行であるとみなす（ステップＳ３２）。本実施の形態においては、山部Ｂが、黒画素数が最大値となる垂直方向の画素位置を含むので、文字行Ｂが最長の文字行であるとみなされる。
【００３１】
さらにＣＰＵ２は、長さが最大とみなされた山部Ｂについて、対応する文字行の垂直方向の幅を決定する（ステップＳ３３）。具体的には、黒画素数が最大値に対して所定の割合、Ｒ％になる垂直方向の画素位置範囲（図４において、Ｗで示される範囲）を最長文字行範囲Ｗとして決定する。Ｒは、隣接する文字行と分離できる値に設定する。実用的にはＲ＝３０程度に設定することで確実に文字行の分離を行うことが可能である。
【００３２】
ここまでの処理ステップによって、蛇行補正すべき量を決定するための垂直方向の最長文字行範囲Ｗを決定することができる。
【００３３】
次に、最長文字行範囲Ｗとして決定された垂直方向の画素位置範囲において、ＣＰＵ２は、図３（ｂ）に示した傾き補正された画像１１上を、原点からＸ軸方向に順次垂直１ライン毎に、図３（ｂ）における紙面に向かって下側からスキャンして、黒画素が初めに検出された位置を黒画素下端位置として決定する。この処理を全垂直ラインについて行う（ステップＳ３４）。
【００３４】
図５は、図３（ｂ）に示した傾き補正された画像１１の全垂直ラインについて、黒画素下端位置を検出した結果を示す図である。説明を簡単にするために、図５には、傾き補正された画像１１を重畳表示している。
【００３５】
図５を見て分かるように、文字行Ｂ（厳密にいえば最長文字行範囲Ｗ）について、文字行を構成する各文字要素毎に、最も下端の黒画素下端位置が検出されていることが分かる。
【００３６】
図１に戻って、次にＣＰＵ２は、図５に示した算出結果のうち、黒画素下端位置の紙面に向かって最も下側の点を結ぶ包絡線を算出して、垂直位置ずれ量として決定する（ステップＳ３５）。具体的には黒画素下端位置が「０」となる垂直ラインで挟まれた領域を１文字要素であると仮定して、各文字要素を構成する領域毎に、最も下側の黒画素下端位置を検出し、隣接する各文字毎の黒画素下端位置同士を直線で結んで、各垂直ライン毎に、垂直方向に補正すべき垂直位置ずれ量を算出する。図６に垂直位置ずれ量の検出結果の一例を示す。
【００３７】
次に、ＣＰＵ２は、図６に示した垂直位置ずれ量にもとづいて、各垂直ライン毎に垂直方向にずらすべき量を算出して、記憶手段３に記憶された各垂直ライン毎に、垂直方向にずらして処理を終了する（ステップＳ３６）。なお、このステップの後に、表示部５が、蛇行補正された画像を使用者に対して表示する構成であってもよい。
【００３８】
このように、本実施の形態の画像補正方法によれば、１文字とみなされる領域毎に黒画素下端位置を検出して、隣接する文字要素毎の黒画素下端位置同士をつなぐような包絡線を作成して、この垂直位置ずれ量にもとづいて全垂直ラインについてずらす補正を行うので、文字要素自体の歪みも改善することができる。
【００３９】
図７に、本実施の形態に示した画像補正方法にもとづいて処理を行った、蛇行補正された画像１３を示す。図７を見て分かるように、図３（ｂ）に示した傾き補正された画像１１と比較して、その文字行の蛇行の度合いが大幅に軽減している。本実施の形態に示したように、最も長い文字行にもとづいて補正すべき量を決定して、全画像を構成する垂直ラインについて補正を行うことにより、画像全体の蛇行を補正できることが確認できた。
【００４０】
このように、本実施の形態の画像補正方法によれば、最も長い文字行を、水平方向のヒストグラム算出によって検出して、その文字行について補正すべきずれ量を検出して、全画像について補正を行うので、画像を構成する全ての文字行についてずれ補正をする場合と比較して、処理を迅速に行うことが可能となる。
【００４１】
本実施の形態の画像補正方法を用いることにより、原稿の文字認識精度が向上したことを以下に記述する。
【００４２】
正読率の算出は、記憶手段３に記憶された画像にもとづいて、ＣＰＵ２でＯＣＲ処理を行い、その結果正しく認識された文字の割合を算出することにより行う。サンプルとしては、ランダムに名刺２０枚を用いて認識を行った。撮影し、ＯＣＲに供した文字数は、電話番号３９０文字、メールアドレスおよびＵＲＬは１０２６文字である。
【００４３】
まず、名刺中の電話番号の場合、補正を行わない場合の正読率に対して、本実施の形態の画像補正方法を行うことにより、約２０％正読率を向上することができた。
【００４４】
また、名刺中のメールアドレスおよびＵＲＬについても、補正を行わない場合の正読率に対して、本実施の形態の画像補正方法を行うことにより、約２５％正読率が向上しており、より高い正読率を得ることができた。
【００４５】
また、電話番号、メールアドレス、ＵＲＬ全体においても、補正を行わない場合の正読率に対して、本発明の画像補正を行った場合には正読率を約２３％向上することができた。これは、本発明の画像補正方法によれば、文字行の蛇行を補正できるとともに、文字自体の画像の歪みも補正することができるためであると考えられる。
【００４６】
【発明の効果】
以上述べたように、本発明の画像補正方法を用いれば、文字行の蛇行を補正できるとともに、文字画像自体の歪みも補正することができる。
【図面の簡単な説明】
【図１】本発明の実施の形態における画像補正方法の処理ステップを示すフローチャート
【図２】本発明の実施の形態における画像補正装置の構成の一例を示すブロック図
【図３】（ａ）は本発明の実施の形態における元画像の一例を示す図
（ｂ）は本発明の実施の形態における傾き補正された画像の一例を示す図
【図４】本発明の実施の形態における水平方向積算ヒストグラムの一例を示す図
【図５】本発明の実施の形態における黒画素下端位置の検出結果の一例を示す図
【図６】本発明の実施の形態における垂直位置ずれ量の検出結果の一例を示す図
【図７】本発明の実施の形態における蛇行補正された画像を示す図
【符号の説明】
１　画像入力部
２　ＣＰＵ（演算部）
３　記憶手段
５　表示部
１０　元画像
１１　傾き補正された画像
１３　蛇行補正された画像
４０　画像補正装置

Claims

２次元に配置された画素の集合体からなる画像の水平方向のヒストグラムを作成する第１のステップと、
前記ヒストグラムの値が最大になる垂直画素位置を含む文字行を検出する第２のステップと、
前記第２のステップにおいて検出された前記文字行について、前記文字行を構成する文字要素毎に、その前記画像における垂直方向の下端位置を検出する第３のステップと、
前記第３のステップで検出された前記文字要素毎の下端位置に応じて、前記画像を構成する各垂直ラインについての位置補正量を得る第４のステップと、
前記位置補正量に応じて、前記画像を構成する前記各垂直ラインを垂直方向に移動させる第５のステップとを備えたことを特徴とする画像補正方法。
前記第２のステップにおいて、前記ヒストグラムの値が最大になる垂直画素位置から、前記ヒストグラムの値が所定の範囲内となる垂直画素位置を検出することによって、前記文字行の検出を行うことを特徴とする請求項１に記載の画像補正方法。
前記第３のステップにおいて、前記文字要素毎の下端位置を直線で結んだ包絡線にもとづいて、前記位置補正量を得ることを特徴とする請求項１または請求項２に記載の画像補正方法。