JP2005196563A - 傾き補正装置、傾き補正方法、プログラムおよび記録媒体 - Google Patents

Abstract

【課題】画像データから抽出した文書要素のうち傾き検出に適切な文書要素の修正・選択を支援する傾き補正装置、傾き補正方法、プログラムおよび記録媒体を提供する。
【解決手段】原稿画像から文書要素を抽出し、該抽出された文書要素から前記原稿画像の傾きを求めるための特徴量を算出して、前記原稿画像の傾き角度を算出し、該算出された傾き角度をもとに前記原稿画像の傾きを補正して正立画像を得られなかった場合、前記抽出された文書要素に関する情報を表示し、該表示された文書要素に関する情報をユーザに修正させ、前記修正された文書要素に関する情報を用いて傾き角度を再計算する。
【選択図】図２

Description

本発明は、傾き補正装置、傾き補正方法、プログラムおよび記録媒体に関し、具体的には、読み込んだ画像の傾きを検出して補正を行うときのユーザインタフェースに関し、文字認識や画像編集の前処理に応用して好適である。

画像データを読み込む場合に、原稿の置き方や、スキャン系の不具合などにより入力した画像がずれたり、傾いたりすることがあり、その結果、読み込んだ画像データが正しく得られないという問題がでてくる。

これは、文字認識装置において文書や帳票の画像を処理する場合に特に問題となり、読み込んだ画像に傾きがあると認識率に悪影響を及ぼすことになるからである。
また、コピー、ファクシミリ、スキャナ等の画像入力機器一般において、画像を傾きのない状態で入力したいという要求は強い。

この画像の傾きを補正する技術として、例えば、特許文献１や特許文献２に示された技術が知られている。
この特許文献１の技術は、画像上の黒画素と白画素の境界の点を複数個抽出し、境界点の点列とし、この点列のＸ座標とＹ座標を２変数とする回帰直線の回帰係数を求め、回帰係数に対応する点列に対する相関係数を求める。回帰係数のヒストグラムを、当該回帰係数に対応した相関係数で重み付けして作成し、ヒストグラムの頂点に対応する回帰係数の値より画像の傾き角度を求めるようにしている。

また、特許文献２の技術は、スキャナで入力された画像の輪郭を抽出し、抽出された輪郭を直線近似して複数の直線を生成し、複数の直線の中から一つを傾き補正の基準となる直線として選択し、選択された直線が示す線分情報を基に傾き補正に必要な回転補正パラメータを算出する。この回転補正パラメータに基づいて、画像の傾きを回転補正する。
これにより、ユーザの操作がなく、もしくは簡単な操作のみで図形や文字の混在する原稿について傾きの補正を実現する。
特許第３３３８５３７号公報 特開２００２−７７５６６号公報

しかしながら、上述の従来の技術では、文書要素や補正の基準となる直線が適切に選択されれば正しく傾きが検出されるものの、一部の文書要素の抽出結果が不適切だった場合、その悪影響で傾き検出の結果が不適当なものになることがある。

本発明は、上述した実情を考慮してなされたものであって、画像データから抽出した文書要素のうち傾き検出に適切な文書要素の修正・選択を支援する傾き補正装置、傾き補正方法、プログラムおよび記録媒体を提供することを目的とする。

上記の課題を解決するために、請求項１の発明は、原稿画像から文書要素の抽出を行う文書要素抽出手段と、該抽出された文書要素から前記原稿画像の傾きを求めるための特徴量を算出して、前記原稿画像の傾き角度を算出する傾き算出手段を有して、該算出された傾き角度をもとに前記原稿画像の傾きを補正する傾き補正装置において、前記抽出された文書要素に関する情報を表示するとともに、ユーザから指定された文書要素に関する情報に対してユーザから指定された修正を実施し、該修正結果を表示に反映させる文書要素修正手段を有し、前記傾き算出手段は、前記修正された文書要素に関する情報を用いて傾き角度を再計算するようにしたことを特徴とする。

請求項２の発明は、請求項１に記載の傾き補正装置において、表示された文書要素に関する情報のうち、修正対象の文書要素を指定する修正対象指示手段を有し、前記文書要素修正手段は該指定された文書要素に対してユーザに修正を行わせるようにしたことを特徴とする。

請求項３の発明は、請求項１に記載の傾き補正装置において、表示された文書要素に関する情報のうち、修正対象外の文書要素を指定する修正対象外指示手段を有し、前記文書要素修正手段は該指定された文書要素以外の文書要素に対してユーザに修正を行わせるようにしたことを特徴とする。

請求項４の発明は、請求項２または３に記載の傾き補正装置において、前記修正対象指示手段または前記修正対象外指示手段で文書要素を指定する場合、該文書要素を含む範囲によって指定するようにしたことを特徴とする。

請求項５の発明は、請求項４に記載の傾き補正装置において、前記範囲の指定は、指定された２点を対角頂点とする矩形により範囲を指定することを特徴とする。

請求項６の発明は、請求項４または５に記載の傾き補正装置において、前記指定された範囲内に包含される文書要素が指定されたものとすることを特徴とする。

請求項７の発明は、請求項４または５に記載の傾き補正装置において、前記指定された範囲内に包含される文書要素およびこの範囲に部分的に掛かる文書要素が指定されたものとすることを特徴とする。

請求項８の発明は、請求項１乃至７のいずれかに記載の傾き補正装置において、前記文書要素修正手段における修正指示に関する情報の履歴を管理し、修正指示の取消および再実行を行わせる履歴管理手段を有することを特徴とする。

請求項９の発明は、請求項１乃至８のいずれかに記載の傾き補正装置において、表示された文書要素のうち、傾き補正の対象となる文書要素あるいは対象外の文書要素を選択する選択手段を有し、前記傾き算出手段は、前記選択された文書要素に関する情報を用いて傾き角度を再計算するようにしたことを特徴とする。

請求項１０の発明は、原稿画像から文書要素を抽出し、該抽出された文書要素から前記原稿画像の傾きを求めるための特徴量を算出して、前記原稿画像の傾き角度を算出し、該算出された傾き角度をもとに前記原稿画像の傾きを補正する傾き補正方法において、前記抽出された文書要素に関する情報を表示し、該表示された文書要素に関する情報を修正し、前記修正された文書要素に関する情報を用いて傾き角度を再計算するようにしたことを特徴とする。

請求項１１の発明は、コンピュータに、請求項１乃至９のいずれかに記載の傾き補正装置の機能を実行させるためのプログラムである。
請求項１２の発明は、請求項１１に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体である。

本発明によると、画像データから抽出した文書要素をユーザに対して提示し、その中から傾き角度算出に適切な文書要素を選択させ、また、適切な文書要素となるように修正させるようにしたので、不適切に抽出された文書要素による傾き検出への悪影響を排除することができる。したがって、適切な文書の傾きが求められるので、その傾きを用いて適正な補正画像を得ることができる。

以下、図面を参照して本発明の好適な実施形態について説明する。

図１は、本発明の傾き補正装置を適用した文字認識装置の概略ブロック図である。ここに示す文字認識装置２００は、スキャナ装置のような画像入力装置１００と液晶ディスプレイ等の表示装置３００を接続して、画像入力装置１００から読み取った画像にある文字を認識して文字コードに変換し、その認識結果を他のアプリケーションソフトウェアで使用できるようにする。その変換の際、認識途中における作業支援のために表示装置３００が使われる。

まず、画像入力手段２１０によって画像入力装置１００の原稿を２値画像として読み取って、傾き補正手段２２０に渡す。ここで、文字認識や文字識別に用いるには、正しい向きに置かれた原稿から読み取った画像データの方がよりよい性能を期待できる。したがって、ユーザはなるべく正しい向きに原稿を置くべきであるが、傾いた向きに原稿を置いてしまった場合には、正しい向きとなるように画像を回転するようにしてもよい。ただし、読み込んだままの画像データであってもある程度の性能はでるので、正しい向きに直さなくてもよい。
原稿から読み取った画像データ、または、正しい向きに直された画像データを、以下、原稿画像とよぶことにする。

または、画像入力装置１００は、スキャナ装置のような装置だけでなく、既に電子ファイリングされた記憶装置であってもよい。この場合には、画像入力手段２１０は記憶装置に電子ファイリングされた画像データを読み込む。

傾き補正手段（傾き補正装置）２２０は、後述の方法によって原稿画像の傾きを補正した画像データを作成する。
行切り出し手段２３０は、原稿画像または補正された原稿画像より文字行イメージを切り出す。
文字切り出し手段２４０は、文字行イメージより個々の文字画像を切り出すとともに文字画像の幅と高さの情報も抽出し、その情報も文字画像とともに特徴量抽出手段２５０へ渡す。

特徴量抽出手段２５０は、原稿画像中のエッジに方向コードを付与し、分割した画像領域ごとに、方向コードのヒストグラムを求め、その各ヒストグラム値を成分とするベクトルを特徴ベクトルとして抽出する。
マッチング手段２６０は、特徴量抽出手段２５０によって原稿画像から抽出された特徴ベクトルと、その抽出方法と同じ方法で予め各文字種の標準文字パターンより抽出されて認識辞書２７０に登録されている特徴ベクトルとの相違度を算出し、相違度の最も小さい文字を認識結果とする。
結果出力手段２８０は、この認識結果と原稿画像を表示装置３００に表示させ、所望の結果をユーザに選択または修正させて、最終的な認識結果を記憶装置や他のアプリケーションソフトウェアへ引き渡して、処理を終了する。

このような文字認識装置２００の全体的な構成および基本的処理内容は、従来の文字認識装置と同様であるが、傾き補正手段２２０は本発明の方法により傾いた画像を正立画像に補正するもので、その構成と処理内容は従来のものとは異なる。

なお、本実施形態では、文字認識装置へ本発明の傾き補正装置を適用しているが、２値画像やカラー画像を正立画像に補正する装置、例えば、画像識別、画像編集、文書ファイリング、文書処理、文書管理あるいは文書配信等を行う装置やシステムにも容易に適用可能である。
以下、傾き補正手段２２０について詳細に説明する。

＜実施形態１＞
図２は、傾き補正手段２２０の機能構成を示すブロック図である。同図において、傾き補正手段２２０は、文書要素抽出手段２２１、傾き算出手段２２２、補正可否問合せ手段２２３、文書要素修正手段２２４、履歴管理手段２２５とからなっている。

文書要素抽出手段２２１は、与えられた原稿画像の中から文字や罫線を含む矩形を文書要素として抽出する。文書要素の例としては、文字、罫線、絵図、写真などがあるが、文書画像の傾きを検出するときには文字や罫線の利用が一般的である。

例えば、主走査方向や副走査方向に黒画素が一定個数以上続く黒ランを抽出することによって罫線を抽出する。図３は、主走査方向に対して傾いた罫線の例である。図３（Ａ）は、右下がりに原稿が傾いた場合に、罫線が複数の黒ランに分かれてしまった例である。
また、図３（Ｂ）は、左下がりに原稿が傾いた場合に、罫線が複数の黒ランに分かれてしまった例である。

また、文字は、黒画素が連結している領域を包含する最小の矩形として抽出する。例えば、図４（Ａ）の４１〜４５は、黒画素が連結した領域を包含する最小の矩形を示している。

ここで抽出した文書要素の原稿画像中の位置、例えば、矩形の左上隅と右下隅のような文書要素を示す矩形の対角の座標値と、この文書要素が補正対象か否かの区分（詳細は後述）をＯＮとして、例えば、図５に示したデータ構造を持つ文書要素テーブルに記憶する。また、文書要素が線分の場合には、文書要素の原稿画像中の位置は線分の開始座標と終了座標とする。
この文書要素テーブルは、文書要素ごとに、原稿画像中の位置、外接矩形番号（詳細は後述）、補正対象か否かの区分および文書要素の特徴量（詳細は後述）を格納する。

傾き算出手段２２２は、特許文献１に開示されている公知の技術によって傾きを算出する。この特許文献１の傾き算出方法を以下に概説する。
まず、文書要素抽出手段２２１で抽出された文書要素ごとの特徴量を求めて、文書要素テーブルの該当領域へ記憶する。この特徴量は、文書要素が矩形で表される場合には矩形の左上隅の座標や矩形の中心座標、また、文書要素が罫線のような線分の時には、線分の開始座標や開始点と終了点の中間座標とする。

次に、原稿画像を一定の圧縮率で圧縮した画像上で黒画素が連結している領域をすべて包含する最小の矩形を求めて、近接した線分や矩形を統合した外接矩形を求める。ここで求めた外接矩形の原稿画像中の位置、例えば、外接矩形の左上隅と右下隅のような矩形の対角の座標値と、この外接矩形が補正対象か否かの区分（詳細は後述）をＯＮとして、例えば、図５に示したデータ構造を持つ外接矩形テーブルに記憶する。この外接矩形テーブルは、外接矩形ごとに、原稿画像中の位置、補正対象か否かの区分を格納する。

さらに、同じ外接矩形に含まれる矩形または線分に対して、外接矩形テーブルへ登録したときの外接矩形番号を文書要素テーブルの該当領域に記憶する。
例えば、図３（Ａ）および（Ｂ）の複数の黒ランに分かれた罫線は、図３（Ｃ）および（Ｄ）に示すようにそれらを包含した外接矩形（３１，３２）として表される。また、図４（Ａ）に示した矩形は、図４（Ｂ）に示すように統合した外接矩形（４６）として表される。

ここで、副走査方向に所定の距離内を１つの行（または主走査方向に所定の距離内を１つの列）としたときに、この行（または列）を外接矩形と考えてもよい。

この同じ外接矩形に含まれる文書要素の特徴量から回帰係数および相関係数を求める。この回帰係数を各外接矩形について計算し、これらの回帰係数に相関係数を重みとして掛けた値のヒストグラムを作成し、得られたヒストグラムのピークに対応する回帰係数の平均値あるいは中央値を原稿画像全体における回帰係数値ｂとし、この回帰係数値ｂを用いて、ｔａｎθ＝ｂから傾き角度θを計算する。または、単に、各外接矩形の回帰係数の平均値や中央値を原稿画像全体における回帰係数値ｂとして傾き角度θを計算してもよい。

図６は、上記の回帰係数値ｂの求め方を説明する図である。外接矩形６０に含まれる文書要素の矩形６１の特徴量６２の点列から、特徴量６２の近傍を通る回帰直線６３として計算する。ここで、特徴量６２は、矩形６１の中心にある点を示しているが、矩形の中心である必要はなく、矩形６１の左下隅あるいは左上隅等であってもよい。

補正可否問合せ手段２２３は、まず、傾き算出手段２２２で算出した傾き角度θに基づいて、原稿画像をアフィン変換等により逆方向に回転させて正立画像を作成する。
次に、この補正された画像を表示装置３００へ表示させ、傾き補正が所望通り行われたか否かをユーザに問い合わせる。
ユーザは、表示装置３００に表示された画像を見て、所望通りの画像に補正されたと判断したときには傾き補正が完了したことを入力し、所望通りに補正できていないと判断したときには傾き補正不可を入力する。
補正可否問合せ手段２２３は、この補正完了が入力されると、傾きが補正された画像データを原稿画像として行切り出し手段２３０へ渡す。また、補正不可が入力されると文書要素修正手段２２４を呼び出す。

文書要素修正手段２２４は、表示装置３００へ原稿画像を表示する。このとき、文書要素抽出手段２２１で抽出した文書要素の矩形または傾き算出手段２２２で抽出した外接矩形を上乗せして表示させることによりどの文書要素が傾き角度算出に不適切であったかをわかりやすくする。
なお、矩形の表示方法としては、文書要素の矩形だけを表示させてもよいが、文書要素の外接矩形を文書要素の矩形と置き換えて表示させても、あるいは文書要素の矩形を表示したまま外接矩形を上乗せして表示させるようにしてもよい。

例えば、図７に示したように原稿画像と外接矩形が表示された場合、ユーザは図７の外接矩形７１が不適切なものと判断して、図８（Ａ）の外接矩形８１または図８（Ｂ）の外接矩形（８２，８３）のように直すかまたは傾き角度を算出する対象の外接矩形から削除する。
また、図９（Ａ）のような文書要素の矩形（９１〜９６）の場合には、ユーザは図９（Ｂ）のような外接矩形（９７，９８）にまとめ直す操作を行う。

このために、文書要素修正手段２２４では、ポインティングデバイス等を使ったＧＵＩ（graphical user interface）による次のような操作指令を用いて文書要素の矩形や外接矩形の座標情報の修正を会話的に行う。これらの操作指令を必要なだけ実行することによって、傾き補正に有効な文書要素を選択する。

（イ）矩形の削除
削除する矩形または外接矩形をクリックして選択し、削除指令を入力する。これを実行すると矩形の場合には、文書要素テーブルの該当矩形の区分へＯＦＦを設定して、傾き補正の対象矩形としないようにする。また、外接矩形が削除対象となった場合には、外接矩形テーブルの該当外接矩形の区分へＯＦＦを設定して、この外接矩形に含まれる矩形を傾き補正の対象としないようにする。

（ロ）矩形の作成
表示されている原稿画像の中から傾き補正の対象とする文字や罫線を含んだ矩形を生成する場合、矩形作成指令を入力して矩形の始点からドラッグして所望の文字や罫線を含んだ矩形となるようにする。このとき、作成した矩形の中にすでに矩形が存在する場合には、含まれる矩形を包含する外接矩形となるように変形し、外接矩形の位置（外接矩形の対角の座標値）と、補正対象の区分をＯＮとして外接矩形テーブルへ新規登録する。さらに、この外接矩形に含まれる矩形の外接矩形番号を新規登録した外接矩形の番号に変更して文書要素テーブルを更新する。
また、作成した矩形の中に矩形が存在しない場合には、この作成矩形中に存在する黒画素が連結した領域を包含する最小の矩形となるように変形し、作成した矩形の位置（矩形の対角の座標値）と、補正対象の区分をＯＮとして文書要素テーブルへ新規登録する。

（ハ）矩形の拡大または縮小
表示されている矩形または外接矩形の大きさを変更する場合、矩形変更指令を入力して変更対象となる矩形領域をクリックし、その矩形の辺や隅をドラッグして所望の大きさの矩形となるようにする。このとき、変更した矩形の中にすでに矩形が存在する場合には、含まれる矩形を包含する外接矩形となるように変形し、外接矩形の位置（外接矩形の対角の座標値）と、補正対象の区分をＯＮとして外接矩形テーブルを更新する。さらに、この外接矩形に含まれる矩形の外接矩形番号を変更された外接矩形の番号に変更して文書要素テーブルを更新する。
また、変更した矩形の中に矩形が存在しない場合には、この変更した矩形中に存在する黒画素が連結した領域を包含する最小の矩形となるように変形し、変更対象となった矩形の位置（矩形の対角の座標値）と、補正対象の区分をＯＮとして矩形文書要素テーブルを更新する。

（ニ）矩形の分割
１つの矩形または外接矩形を１つ以上の矩形または外接矩形に分割する場合には、分割指令と分割位置や方向を入力して分割対象の矩形または外接矩形をクリックして選択する。このとき、分割対象が矩形の場合には、分割位置と方向によって分割された各矩形内に存在する黒画素が連結した領域を包含する最小の矩形となるように変形し、分割対象となった矩形を文書要素テーブルから削除するとともに、分割された各矩形の位置（矩形の対角の座標値）と、補正対象の区分をＯＮとして文書要素テーブルに新規登録する。この矩形が外接矩形に内包されていた場合には、新規に登録された矩形の外接矩形番号は、削除された矩形の外接矩形番号をそのまま維持する。
また、分割対象が外接矩形の場合には、分割位置と方向によって分割された各矩形内に存在する矩形を包含する外接矩形を新たに作成し、この外接矩形の位置（外接矩形の対角の座標値）と、補正対象の区分をＯＮとして外接矩形テーブルに新規登録する。さらに、この新規に作成された外接矩形に含まれる矩形の外接矩形番号を新規登録された外接矩形の番号に変更して文書要素テーブルを更新する。また、分割対象となった外接矩形を外接矩形テーブルから削除する。

例えば、図１０（Ａ）に示すように矩形（１０１〜１０６）とその外接矩形１００がある場合、矩形１０５を分割線１０７によって分割指令を出すと、図１０（Ｂ）に示すように「ｎｇ」の部分の矩形１０８と「ｂｏ」の部分の矩形１０９に分割される。これらの矩形（１０１〜１０４，１０６，１０８，１０９）は依然として外接矩形１００に包含されている。
図１０（Ｂ）の状態で、外接矩形１００に対して分割線１１０によって分割指令を出すと、図１０（Ｃ）に示すように外接矩形１００が外接矩形１１１と外接矩形１１２の２つに分割される。

（ホ）矩形の統合
複数の矩形または外接矩形をまとめて１つの外接矩形に統合する場合には、統合指令を入力して、統合対象の複数の矩形または外接矩形をクリックして選択する。この場合、統合対象の矩形または外接矩形を包含する外接矩形を作成し、外接矩形の位置（外接矩形の対角の座標値）と補正対象の区分をＯＮとして外接矩形テーブルへ新規登録する。このとき、統合対象の中に外接矩形が存在する場合には、その外接矩形を外接矩形テーブルから削除するとともに、その外接矩形に含まれていた文書要素の矩形の外接矩形番号を新規登録した外接矩形の番号に変更して文書要素テーブルを更新する。
また、統合対象の中に外接矩形が存在しない場合には、統合対象の矩形を包含する外接矩形を作成し、外接矩形の位置（外接矩形の対角の座標値）と補正対象の区分をＯＮとして外接矩形テーブルへ新規登録し、統合対象の矩形の外接矩形番号を新規登録した外接矩形の番号に変更して文書要素テーブルを更新する。

（へ）傾き補正に用いる矩形（文書要素）または外接矩形の選択
傾き補正の角度計算に用いられる文書要素の矩形または外接矩形を選択する場合、選択指令を入力して、選択対象の複数の矩形または外接矩形を個々にクリックするか、または、範囲（始点と対角の終点で表される矩形で範囲を示す）を指定する。
これらの選択された矩形または外接矩形を傾き補正の対象として、文書要素テーブルまたは外接矩形テーブルの該当する区分をＯＮにし、選択対象外となった矩形または外接矩形は区分をＯＦＦにして更新する。

上記の始点と終点で表される範囲で指定した場合、次の２つの選択方法がある。
（１）指定された範囲内に内包される矩形または外接矩形を選択する（図１１（Ａ）の斜線でマスクした文書要素）。
（２）指定された範囲内に内包されるか一部が含まれる矩形または外接矩形を選択する（図１１（Ｂ）の斜線でマスクした文書要素）。

逆に、選択された矩形または外接矩形を傾き補正の対象外として、文書要素テーブルまたは外接矩形テーブルの該当する区分をＯＦＦにし、選択されなかった矩形または外接矩形の区分をＯＮに更新するようにしてもよい。
この場合には、傾き角度算出に不適な文書要素をユーザに指示させることを想定しており、図絵や写真のように悪影響を及ぼすものを指示するときに使用する。

上述した操作指令は、最初に文書要素修正手段２２４が起動された段階では、表示された文書要素の矩形や外接矩形がすべて傾き補正角度を算出する対象となっていることを前提としている。
このため、傾き補正角度を算出するのに必要な文書要素を選択するためには、最初に上記（イ）や（へ）の操作指令を用いて不要な文書要素を選択して削除した後、必要な補正を行って傾き角度を算出するようにする。

（ト）傾き補正の実施
傾き補正実施指令を入力すると文書要素修正手段２２４の実行を終了して、傾き補正対象の矩形または外接矩形を用いて傾き算出手段２２２を実行し、補正可否問合せ手段２２３を実行する。傾きを補正された原稿画像がまだ所望の正立画像とならない場合には、文書要素修正手段２２４を実行させてより適切な文書要素の矩形または外接矩形を選択するようにして、所望の正立画像が得られるまで繰り返す。
このように傾き補正対象の矩形または外接矩形を修正することにより、不適切な特徴量を適切なものにでき、傾き検出の精度を向上させることができる。

次に、上記のようにして傾き補正対象の矩形または外接矩形が選択された後の傾き算出手段２２２および文書要素修正手段２２４について説明する。

上述の傾き算出手段２２２では、文書要素抽出手段２２１で抽出したすべての矩形を対象にして傾き角度を算出するように説明したが、傾き補正対象が選択された後では、次のように変更する。
まず、外接矩形テーブルを参照して、補正対象か否かの区分がＯＦＦの外接矩形をすべて探す。区分がＯＦＦであるすべての外接矩形に対し、文書要素テーブルを参照して、このＯＦＦの外接矩形番号を持つ文書要素の矩形を探し、この矩形の補正対象か否かの区分をＯＦＦにして文書要素テーブルを更新する。
次に、外接矩形テーブルを参照して、補正対象か否かの区分がＯＮの外接矩形をすべて探す。区分がＯＮであるすべての外接矩形に対し、文書要素テーブルを参照して、このＯＮの外接矩形番号を持つ文書要素の矩形を探し、この矩形の補正対象か否かの区分が設定されていない場合のみＯＮにして文書要素テーブルを更新する。
このようにして更新された文書要素テーブルの補正対象か否かの区分がＯＮの文書要素を対象として、特徴量を再計算するとともに外接矩形テーブルを再構築して傾き角度を算出する。

文書要素修正手段２２４では、文書要素テーブルの補正対象か否かの区分がＯＮの矩形、および（再構築された）外接矩形テーブルの補正対象か否かの区分がＯＮの外接矩形を対象として、原稿画像とこれらの矩形および外接矩形とを一緒に表示させてから上述の各種操作指令によって傾き角度算出に適切な選択・修正を行うようにする。

履歴管理手段２２５は、操作指令の間違に対する対処や、文書要素が多数ある場合の利便性の向上手段として操作指令の取り消し機能実現や、修正指令の履歴の管理を行う。
このために、上記の操作指令のいずれかを実行するときに、１つの実行あたり１つのノードを割り当てて木構造を作成する。このノードには、操作指令を実行する前の文書要素テーブルと外接矩形テーブルの内容を保持させるようにする。

この木構造による履歴管理方法について図１２を用いて説明する。例えば、（へ）の操作指令を行うとこれに対応するノードＮ１を作成し、文書要素テーブルと外接矩形テーブルをこのノードＮ１に保持させてから、（へ）の操作指令を実行する。
次に、（ハ）の操作指令を行うとこれに対応するノードＮ２を作成し、文書要素テーブルと外接矩形テーブルをこのノードＮ２に保持させてから、（ハ）の操作指令を実行する。
さらに、（イ）の操作指令を行うとこれに対応するノードＮ３を作成し、文書要素テーブルと外接矩形テーブルをこのノードＮ３に保持させてから、（イ）の操作指令を実行する。
ここで、（イ）の操作指令が間違っていた場合には、ノードＮ２の状態に戻す（この操作を「ｕｎｄｏ」という）。これによりノードＮ３に保持されていた文書要素テーブルと外接矩形テーブルをもとに戻すとともに、表示装置上の表示ももとへ戻す。
ノードＮ２の状態で、（ニ）の操作指令を行うとこれに対応するノードＮ４を作成し、文書要素テーブルと外接矩形テーブルをこのノードＮ４に保持させてから、（ニ）の操作指令を実行する。
このように、１つの操作指令を実行するたびにノードを木構造として作成するとともに、現状での文書要素テーブルと外接矩形テーブルを保持させておくので、ユーザが間違った指令を行ってももとの状態に容易に復帰できる。

上記の木構造で管理される操作指令の履歴を辿る操作指令には、「ｕｎｄｏ操作指令」と「ｒｅｄｏ操作指令」の２つがある。
「ｕｎｄｏ操作指令」は、上記の木構造のノードを上に遡るようにして、現在の操作指令より１つ前の状態に戻した表示をする。
「ｒｅｄｏ操作指令」は、上記の木構造の別の実行済みのノードへ移行する。例えば、図１２で、ノードＮ４が実行されて、「ｕｎｄｏ操作指令」でノードＮ２の状態に戻っていた場合、「ｒｅｄｏ操作指令」の指定によりノードＮ３またはＮ４のいずれかに戻ることができる。

以上のように傾きを求めるために有用な文書要素を対話的に獲得することで、自動処理のみでは適切に傾きを求めることが困難な場合にも適切に傾きを求めることができる。

次に、傾き補正手段２２０の処理手順について図１３のフローチャートをもとに説明する。

与えられた原稿画像の中から文字や罫線を含む矩形を文書要素（文字、罫線、絵図、写真など）として抽出し、抽出した文書要素の矩形の左上隅と右下隅の座標値（または、線分の開始座標と終了座標）と、この文書要素が補正対象か否かの区分をＯＮとして、文書要素テーブルに記憶する（ステップＳ２０１）。

抽出された文書要素ごとの特徴量を求めて、文書要素テーブルの該当領域へ記憶する。この特徴量は、文書要素が矩形で表される場合には矩形の左上隅の座標や矩形の中心座標、また、文書要素が罫線のような線分の時には、線分の開始座標や開始点と終了点の中間座標とする。
さらに、原稿画像を一定の圧縮率で圧縮した画像上で黒画素が連結している領域をすべて包含する最小の矩形を求めて、近接した線分や矩形を統合した外接矩形を求めて、ここで求めた外接矩形の左上隅と右下隅の座標値と、この外接矩形が補正対象か否かの区分をＯＮとして外接矩形テーブルに記憶するとともに、同じ外接矩形に含まれる矩形または線分に対して、外接矩形テーブルへ登録したときの外接矩形番号を文書要素テーブルの該当領域に記憶する（ステップＳ２０２）。

同じ外接矩形に含まれる文書要素の特徴量から回帰係数および相関係数を求める。この回帰係数を各外接矩形について計算し、これらの回帰係数に相関係数を重みとして掛けた値のヒストグラムを作成し、得られたヒストグラムのピークに対応する回帰係数の平均値あるいは中央値を原稿画像全体における回帰係数値ｂとし、この回帰係数値ｂを用いて、ｔａｎθ＝ｂから傾き角度θを計算する（ステップＳ２０３）。
または、単に、各外接矩形の回帰係数の平均値や中央値を原稿画像全体における回帰係数値ｂとして傾き角度θを計算してもよい。

算出した傾き角度θに基づいて、原稿画像をアフィン変換等により逆方向に回転させて正立画像を作成し（ステップＳ２０４）、この補正された画像を表示装置３００へ表示させ（ステップＳ２０５）、傾き補正が所望通り行われたか否かをユーザに問い合わせる（ステップＳ２０６）。

次に、ユーザが表示装置３００に表示された画像を見て、所望通りの画像に補正されたと判断して傾き補正完了を入力した場合（ステップＳ２０６の「可」）、傾き補正を完了した画像を呼び出し元へ渡して処理を終了する。
一方、ユーザが所望通りに補正できていないと判断して傾き補正不可を入力した場合（ステップＳ２０６の「否」）、原稿画像へ文書要素の矩形または外接矩形を上乗せして表示装置３００へ表示する（ステップＳ２０７）。
なお、矩形の表示方法としては、文書要素の矩形だけを表示させてもよいが、文書要素の外接矩形を文書要素の矩形と置き換えて表示させても、あるいは文書要素の矩形を表示したまま外接矩形を上乗せして表示させるようにしてもよい。

ユーザは、ポインティングデバイス等を使ったＧＵＩ（graphical user interface）による次のような操作指令を用いて文書要素の矩形や外接矩形の座標情報の修正を行う（ステップＳ２０８）。
（イ）矩形の削除（ロ）矩形の作成（ハ）矩形の拡大または縮小（ニ）矩形の分割
（ホ）矩形の統合（へ）補正対象の矩形または外接矩形の選択（ト）傾き補正実施
（チ）ｕｎｄｏ（リ）ｒｅｄｏ

ステップＳ２０８で（ト）の「傾き補正実施」の操作指令が入力されなかった場合（ステップＳ２０９のＮＯ）、操作指令によって変更された表示装置上の表示を修正するためにステップＳ２０７へ戻る。このときステップＳ２０７では、修正された文書要素（矩形または外接矩形）を反映した表示となる。

一方、ステップＳ２０８で（ト）の「傾き補正実施」の操作指令が入力された場合（ステップＳ２０９のＹＥＳ）、修正され選択された傾き補正対象の文書要素を用いて再度傾き角度を計算するためにステップＳ２０２へ戻る。
この場合、ステップＳ２０２以降では、補正対象となった文書要素に対してのみ特徴量の再計算と外接矩形テーブルを再構築して傾き角度を算出する。

実施形態１の変形例として、すべての文書要素を表示させてその中から傾き補正に必要な文書要素の修正を行うのではなく、抽出された文書要素のうち近傍にある複数の文書要素を同時に表示させて、その複数の文書要素に対して上述の実施形態１と同様に修正や削除をユーザに実行させるようにしてもよい。

＜実施形態２＞
上述の実施形態１では、原稿画像から抽出された文書要素はすべて傾き角度算出のために選択された文書要素であるものとし、これらすべての文書要素が修正等の指示対象であった。

本実施形態２では、文書要素修正手段２２４において、原稿画像と原稿画像から抽出されたすべての文書要素を表示し、ユーザはこの中から個々の文書要素を選択したり、または、図１１のように矩形の範囲で文書要素を選択する。
この範囲で選択する場合には、図１１（Ａ）のように矩形の範囲内に内包される文書要素に対してのみ選択されるとする方法と図１１（Ｂ）のように矩形の範囲に少しでも含まれる文書要素すべてが選択されるとする方法がある。
また、逆に、矩形の範囲外にある文書要素が選択されたとみなすようにしてもよい。この場合にも上記同様に図１１（Ａ）と図１１（Ｂ）の選択方法がある。
さらに、矩形の範囲を指定しないときには、すべての文書要素が選択されたものとみなしてもよい。

この選択された文書要素それぞれに対して、この文書要素の周辺の原稿画像および文書要素に関する情報（実施形態１における矩形および外接矩形）を表示させて、次の３つの状態をユーザに問い合わせる。

（１）傾き角度算出に適正な文書要素、
（２）傾き角度算出に使用するには修正が必要な文書要素、
（３）傾き角度算出に使用するには不適格な文書要素。

この問い合わせに対して、（２）の「傾き角度算出に使用するには修正が必要な文書要素」とユーザが指定した場合には、実施形態１における（イ）〜（ホ）および履歴管理の操作指令を用いて修正を行う。
また、（３）の「傾き角度算出に使用するには不適格な文書要素」と指定された場合には、実施形態１における（イ）の操作指令と同じ処理を行う。

修正すべき文書要素および不適格な文書要素がなくなるまで上記操作を行う。これが終了すると、実施形態１における（ト）の「傾き補正実施操作指令」を実行する。

実施形態２の変形例として、範囲指定により選択された文書要素それぞれについて上述の（１）〜（３）の問い合わせを行うのではなく、選択された文書要素のうち近傍にある複数の文書要素を同時に表示させて、その複数の文書要素に対して実施形態２と同様に修正や削除をユーザに実行させるようにしてもよい。

＜実施形態３＞
さらに、上述した実施形態の傾き補正装置の各機能をそれぞれプログラム化し、予めＣＤ−ＲＯＭ等の記録媒体に書き込んでおき、傾き補正装置の記録媒体読取装置にこの記録媒体を装着して、これらのプログラムをＣＰＵで実行することによって、本発明の目的が達成される。
この場合、記録媒体から読出されたプログラム自体が上述した実施形態を実現することになり、そのプログラムおよびそのプログラムを記録した記録媒体も本発明を構成することになる。

なお、記録媒体としては半導体媒体（例えば、ＲＯＭ、不揮発性メモリカード等）、光媒体（例えば、ＤＶＤ、ＭＯ、ＭＤ、ＣＤ−Ｒ等）、磁気媒体（例えば、磁気テープ、フレキシブルディスク等）のいずれであってもよい。
あるいは、インターネット等の通信ネットワークを介して記憶装置に格納されたプログラムをサーバコンピュータから直接供給を受けるようにしてもよい。この場合、このサーバコンピュータの記憶装置も本発明の記録媒体に含まれる。

また、ロードしたプログラムを実行することにより上述した実施形態の機能が実現されるだけでなく、そのプログラムの指示に基づき、オペレーティングシステムあるいは他のアプリケーションプログラム等と共同して処理することによって上述した実施形態の機能が実現される場合も含まれる。

このように上述した実施形態の機能をプログラム化して流通させることによって、コスト、可搬性、汎用性を向上させることができる。

本発明の傾き補正装置を適用した文字認識装置の概略ブロック図である。 傾き補正手段の機能構成を示すブロック図である。 文書要素として抽出した罫線とその外接矩形を示す図である。 文書要素として抽出した文字を表す矩形と近接した文字列の外接矩形を示す図である。 文書要素テーブルおよび外接矩形テーブルのデータ構造例である。 矩形、外接矩形、特徴量および回帰直線の関係を説明するための図である。 修正対象となる外接矩形を示す図である。 図７における外接矩形の修正結果を示す図である。 修正対象となる外接矩形とその修正結果を示す図である。 矩形分割を説明するための図である。 補正対象を範囲で選択するときに、どの文書要素が選択対象となるかを説明するための図である。 操作指令の履歴管理の動作を説明するための図である。 傾き補正手段の処理手順を示すフローチャートである。

符号の説明

１００…画像入力装置、２００…文字認識装置、２１０…画像入力手段、２２０…傾き補正手段、２２１…文書要素抽出手段、２２２…傾き算出手段、２２３…補正可否問合せ手段、２２４…文書要素修正手段、２２５…履歴管理手段、２３０…行切り出し手段、２４０…文字切り出し手段、２５０…特徴量抽出手段、２６０…マッチング手段、２７０…認識辞書、２８０…結果出力手段、３００…表示装置、４１〜４５…矩形、４６…外接矩形、６０…外接矩形、６１…矩形、６２…特徴量、６３…回帰直線、７１，８１，８２，８３…外接矩形、９１〜９５…矩形、９６〜９８…外接矩形、１００，１１１，１１２…外接矩形、１０１〜１０６，１０８，１０９…矩形、１０７，１１０…分割線。

Claims (12)

1. 原稿画像から文書要素の抽出を行う文書要素抽出手段と、該抽出された文書要素から前記原稿画像の傾きを求めるための特徴量を算出して、前記原稿画像の傾き角度を算出する傾き算出手段を有して、該算出された傾き角度をもとに前記原稿画像の傾きを補正する傾き補正装置において、前記抽出された文書要素に関する情報を表示するとともに、ユーザから指定された文書要素に関する情報に対してユーザから指定された修正を実施し、該修正結果を表示に反映させる文書要素修正手段を有し、前記傾き算出手段は、前記修正された文書要素に関する情報を用いて傾き角度を再計算するようにしたことを特徴とする傾き補正装置。
2. 請求項１に記載の傾き補正装置において、表示された文書要素に関する情報のうち、修正対象の文書要素を指定する修正対象指示手段を有し、前記文書要素修正手段は該指定された文書要素に対してユーザに修正を行わせるようにしたことを特徴とする傾き補正装置。
3. 請求項１に記載の傾き補正装置において、表示された文書要素に関する情報のうち、修正対象外の文書要素を指定する修正対象外指示手段を有し、前記文書要素修正手段は該指定された文書要素以外の文書要素に対してユーザに修正を行わせるようにしたことを特徴とする傾き補正装置。
4. 請求項２または３に記載の傾き補正装置において、前記修正対象指示手段または前記修正対象外指示手段で文書要素を指定する場合、該文書要素を含む範囲によって指定するようにしたことを特徴とする傾き補正装置。
5. 請求項４に記載の傾き補正装置において、前記範囲の指定は、指定された２点を対角頂点とする矩形により範囲を指定することを特徴とする傾き補正装置。
6. 請求項４または５に記載の傾き補正装置において、前記指定された範囲内に包含される文書要素が指定されたものとすることを特徴とする傾き補正装置。
7. 請求項４または５に記載の傾き補正装置において、前記指定された範囲内に包含される文書要素およびこの範囲に部分的に掛かる文書要素が指定されたものとすることを特徴とする傾き補正装置。
8. 請求項１乃至７のいずれかに記載の傾き補正装置において、前記文書要素修正手段における修正指示に関する情報の履歴を管理し、修正指示の取消および再実行を行わせる履歴管理手段を有することを特徴とする傾き補正装置。
9. 請求項１乃至８のいずれかに記載の傾き補正装置において、表示された文書要素のうち、傾き補正の対象となる文書要素あるいは対象外の文書要素を選択する選択手段を有し、前記傾き算出手段は、前記選択された文書要素に関する情報を用いて傾き角度を再計算するようにしたことを特徴とする傾き補正装置。
10. 原稿画像から文書要素を抽出し、該抽出された文書要素から前記原稿画像の傾きを求めるための特徴量を算出して、前記原稿画像の傾き角度を算出し、該算出された傾き角度をもとに前記原稿画像の傾きを補正する傾き補正方法において、前記抽出された文書要素に関する情報を表示し、該表示された文書要素に関する情報を修正し、前記修正された文書要素に関する情報を用いて傾き角度を再計算するようにしたことを特徴とする傾き補正方法。
11. コンピュータに、請求項１乃至９のいずれかに記載の傾き補正装置の機能を実行させるためのプログラム。
12. 請求項１１に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。