JP2007280345A - 画像処理装置、画像方向判別方法、および画像方向判別プログラム - Google Patents

Abstract

【課題】画像情報の方向の判定の処理速度を高速化するとともに、画像情報の方向を正確に判定できる画像処理装置、画像方向判別方法、および画像方向判別プログラムを提供する。
【解決手段】第１方向判定部１０２は、文書を示す文書画像情報における上下左右方向それぞれが文書の上方向である確信度を判定し、第２方向判定部１０３は、最も高い確信度が判定された第１方向と、２番目に高い確信度が判定された第２方向とが逆方向である場合、文書画像情報から抽出された文字行の配置位置に基づいて、文書の上方向が第１方向または第２方向のいずれであるかを判定する。
【選択図】 図１

Description

本発明は、画像処理装置、画像方向判別方法、および画像方向判別プログラムに関するものである。

従来、画像の方向を判定する方法としては、文書画像から文字を切り出し、その特徴量を抽出し、４方向の文字を持つ辞書と文字との類似度を求め、最も類似度の高い方向を画像の方向として判定する技術が一般に知られている。このような技術では、方向を判定するために切出された文字の４方向すべての類似度を加算して方向を判定するため、例えば“６”と“９”のようにある方向の類似度と逆方向の類似度が高い場合は、類似度が累積されることによって、文書画像の方向を誤認してしまうという問題があった。

このような問題を解決するものとして、画像情報から文字領域を切り出し、各文字について４方向に対して文字認識を行い、各方向の文字認識の類似度を求め、予め定められた閾値を超えた類似度のみを加算していき、最も高い値の類似度の方向を文書画像の方向として判定する方法が開示されている（特許文献１参照）。

特開２０００−１１３１０３号公報

しかしながら、上記特許文献１に記載された技術を用いて、切出した文字の４方向に対して文字認識を行なうと、ＣＰＵ（Central Processing Unit）にかかる負荷が高くなる。このため、パーソナルコンピュータに対して低スペックなＣＰＵしか搭載されていない画像機器（スキャナやコピー、デジタルカメラ等）では、ＯＣＲ（光学文字認識:Optical Charactor Recognition)処理を実行すると、処理速度が遅く、実用に耐えないという問題があった。

また、処理速度の高速化を図るために、画像情報の文字行のレイアウト情報を用いて、画像情報の方向を判定する方法も考案されている。しかしながら、この方法では上下左右の４つの方向を判定する際に画像情報の方向が上下方向か左右方向かは正確に判定できるが、上下方向と判定された画像情報の方向が上方向か下方向か、または左右方向と判定された画像情報の方向が右方向か左方向かの判定は、レイアウト情報の差異が小さいため、誤って判定してしまう場合があるという問題があった。

本発明は、上記に鑑みてなされたものであって、画像情報の方向の判定の処理速度を高速化するとともに、画像情報の方向を正確に判定できる画像処理装置、画像方向判別方法、および画像方向判別プログラムを提供することを目的とする。

上述した課題を解決し、目的を達成するために、請求項１にかかる発明は、文書を示す文書画像情報における上下左右方向それぞれが前記文書の上方向である確信度を判定する確信度判定手段と、前記確信度判定手段によって最も高い確信度が判定された第１方向と、２番目に高い確信度が判定された第２方向とが逆方向である場合、前記文書画像情報から抽出された文字行の配置位置に基づいて、前記文書の上方向が前記第１方向または前記第２方向のいずれであるかを判定する方向判定手段と、を備えることを特徴とする。

また、請求項２にかかる発明は、請求項１に記載の画像処理装置において、前記方向判定手段は、さらに前記確信度判定手段によって判定された上下左右方向すべての前記確信度が所定の閾値以下である場合に、前記文書画像情報から抽出された文字行の配置位置に基づいて、前記文書の上方向が前記第１方向または前記第２方向のいずれであるかを判定すること、を特徴とする。

また、請求項３にかかる発明は、請求項１または請求項２に記載の画像処理装置において、前記文字行の先頭の座標値および終端の座標値を抽出する座標抽出手段、をさらに備え、前記方向判定手段は、さらに前記座標抽出手段によって抽出された前記文字行の先頭の座標値および終端の座標値に基づいて、前記文書の上方向が前記第１方向または前記第２方向のいずれであるかを判定すること、を特徴とする。

また、請求項４にかかる発明は、請求項３に記載の画像処理装置において、前記座標抽出手段は、前記文書画像情報に含まれる複数の文字行それぞれの先頭の座標値および終端の座標値を抽出し、複数の先頭の座標値の度数分布および複数の終端の座標値の度数分布を求め、前記方向判定手段は、さらに前記座標抽出手段によって抽出された前記先頭の座標値の度数分布および前記終端の座標値の度数分布に基づいて、前記文書の方向が前記第１方向または前記第２方向のいずれであるかを判定すること、を特徴とする。

また、請求項５にかかる発明は、請求項１または請求項２に記載の画像処理装置において、前記文書画像情報中の複数の文字行を含む矩形領域の境界位置から文字行の先頭までの距離および終端までの距離を計測する座標抽出手段、をさらに備え、前記方向判定手段は、さらに前記座標抽出手段によって求められた前記先頭までの距離および前記終端までの距離に基づいて、前記文書の方向が前記第１方向または前記第２方向のいずれであるかを判定すること、を特徴とする。

また、請求項６にかかる発明は、請求項５に記載の画像処理装置において、前記座標抽出手段は、前記矩形領域の境界位置から前記矩形領域に含まれる複数の文字行それぞれの文字行の先頭までの距離の度数分布および文字行の終端までの距離の度数分布を求め、前記方向判定手段は、さらに前記座標抽出手段によって求められた前記先頭までの距離の度数分布および前記終端までの距離の度数分布に基づいて、前記文書の方向が前記第１方向または前記第２方向のいずれであるかを判定すること、を特徴とする。

また、請求項７にかかる発明は、文書を示す文書画像情報における上下左右方向それぞれが前記文書の上方向である確信度を判定する確信度判定ステップと、前記確信度判定ステップによって最も高い確信度が判定された第１方向と、２番目に高い確信度が判定された第２方向とが逆方向である場合、前記文書画像情報から抽出された文字行の配置位置に基づいて、前記文書の上方向が前記第１方向または前記第２方向のいずれであるかを判定する方向判定ステップと、を有することを特徴とする。

また、請求項８にかかる発明は、請求項７に記載された画像方向判別方法をコンピュータに実行させることを特徴とする。

請求項１にかかる発明によれば、確信度判定手段によって、文書を示す文書画像情報における上下左右方向それぞれが文書の上方向である確信度を判定し、方向判定手段によって、最も高い確信度が判定された第１方向と、２番目に高い確信度が判定された第２方向とが逆方向である場合、文書画像情報から抽出された文字行の配置位置に基づいて、文書の上方向が第１方向または第２方向のいずれであるかを判定することにより、文書画像情報に対して上下左右方向それぞれの確信度を求め、さらに文書画像情報の方向を２方向に限定して判定するため、文書画像情報の方向の判定の処理速度を高速化するとともに、文書画像情報の方向を正確に判定することができるという効果を奏する。

また、請求項２にかかる発明によれば、方向判定手段は、さらに確信度判定手段によって判定された上下左右方向すべての確信度が所定の閾値以下である場合に、文書画像情報から抽出された文字行の配置位置に基づいて、文書の上方向が第１方向または第２方向のいずれであるかを判定することにより、誤判定する可能性が高い場合に２方向に限定して文書画像情報の方向を判定するため、方向判定の精度を高めることができるという効果を奏する。

また、請求項３にかかる発明によれば、座標抽出手段によって、文字行の先頭の座標値および終端の座標値を抽出し、方向判定手段は、さらに座標抽出手段によって抽出された文字行の先頭の座標値および終端の座標値に基づいて、文書の上方向が第１方向または第２方向のいずれであるかを判定することにより、文字行の先頭および終端の座標値を用いて文書画像情報の方向を判定するため、文書画像情報の方向を正確に判定することができるという効果を奏する。

また、請求項４にかかる発明によれば、座標抽出手段は、文書画像情報に含まれる複数の文字行それぞれの先頭の座標値および終端の座標値を抽出し、複数の先頭の座標値の度数分布および複数の終端の座標値の度数分布を求め、方向判定手段は、さらに座標抽出手段によって抽出された先頭の座標値の度数分布および終端の座標値の度数分布に基づいて、文書の方向が第１方向または第２方向のいずれであるかを判定することにより、文字行の先頭および終端の座標値のばらつきを用いて文書画像情報の方向を判定するため、文書画像情報の方向を正確に判定することができるという効果を奏する。

また、請求項５にかかる発明によれば、座標抽出手段によって、文書画像情報中の複数の文字行を含む矩形領域の境界位置から文字行の先頭までの距離および終端までの距離を計測し、方向判定手段は、さらに座標抽出手段によって求められた先頭までの距離および終端までの距離に基づいて、文書の方向が第１方向または第２方向のいずれであるかを判定することにより、判定領域から文字行の先頭および終端までの距離を用いて文書画像情報の方向を判定するため、文書画像情報の方向を正確に判定することができるという効果を奏する。

また、請求項６にかかる発明によれば、座標抽出手段は、矩形領域の境界位置から矩形領域に含まれる複数の文字行それぞれの文字行の先頭までの距離の度数分布および文字行の終端までの距離の度数分布を求め、方向判定手段は、さらに座標抽出手段によって求められた先頭までの距離の度数分布および終端までの距離の度数分布に基づいて、文書の方向が第１方向または第２方向のいずれであるかを判定することにより、判定領域から文字行の先頭および終端までの距離のばらつきを用いて文書画像情報の方向を判定するため、文書画像情報の方向を正確に判定することができるという効果を奏する。

また、請求項７にかかる発明によれば、確信度判定ステップによって、文書を示す文書画像情報における上下左右方向それぞれが文書の上方向である確信度を判定し、方向判定ステップによって、最も高い確信度が判定された第１方向と、２番目に高い確信度が判定された第２方向とが逆方向である場合、文書画像情報から抽出された文字行の配置位置に基づいて、文書の上方向が第１方向または第２方向のいずれであるかを判定することにより、文書画像情報に対して上下左右方向それぞれの確信度を求め、さらに文書画像情報の方向を２方向に限定して判定するため、文書画像情報の方向の判定の処理速度を高速化するとともに、文書画像情報の方向を正確に判定することができるという効果を奏する。

また、請求項８にかかる発明によれば、請求項７に記載された画像方向判別方法をコンピュータに実行させることにより、文書画像情報に対して上下左右方向それぞれの確信度を求め、さらに文書画像情報の方向を２方向に限定して判定するため、文書画像情報の方向の判定の処理速度を高速化するとともに、文書画像情報の方向を正確に判定することができるという効果を奏する。

以下に添付図面を参照して、本発明にかかる画像処理装置、画像方向判別方法、および画像方向判別プログラムの最良な実施の形態を詳細に説明する。なお、本発明はこれらの実施の形態に限定されるものではない。

本実施の形態について、添付図面を参照して説明する。まず、本発明が適用される画像処理装置の構成例について説明する。図１は、本実施の形態にかかる画像処理装置の構成を示すブロック図である。なお、本実施の形態では、画像処理装置、例えばパーソナルコンピュータを一例として説明するが、原稿から画像情報を読取るスキャナを含む構成でもよいし、画像情報を格納するデータベースを含む構成でもよい。また、画像形成部を含むプリンタや複合機であってもよい。

本実施の形態にかかる画像処理装置１００は、画像情報取得部１０１と、第１方向判定部１０２と、第２方向判定部１０３と、方向補正部１０４と、画像情報出力部１０５と、を備えている。例えば、スキャナによって文書を読込む場合、任意の方向を上方向として一の文書の画像情報を作成する。従って、文書の上方向と、作成された画像情報の上方向とが異なる場合がある。しかし、画像情報を画面に表示する際には、文字が正立する方向に表示する必要があり、画像情報を印刷する際には、文字を一定の方向に印刷する必要がある。画像処理装置１００は、このような方向のずれを補正する。

画像情報取得部１０１は、スキャナによって読込まれた画像情報やネットワークを介して送信された画像情報を取得するものである。ここで、読込まれた画像情報は、文字を含む画像情報である（以下、文書画像情報という）。

第１方向判定部１０２は、画像情報取得部１０１によって取得された文書画像情報の上下左右方向それぞれが一の文書画像情報に対応する文書の上方向である確からしさの尺度を示す確信度を判定するものである。ここで、文書画像情報の方向とは、文字の方向を示すものである。例えば、文書画面情報に含まれる文字の傾きが０度、すなわち文字が正立している場合を上方向、９０度、すなわち文字が左に倒れている場合を左方向、１８０度、すなわち文字が倒立している場合を下方向、２７０度、すなわち文字が右に倒れているである場合を右方向という。また、第１方向判定部１０２は、文書画像情報に含まれる文字行を縦方向の文字行または横方向の文字行として抽出する。第１方向判定部１０２は、本発明における確信度判定手段を構成するものである。

第２方向判定部１０３は、第１方向判定部１０２によって判定された確信度が最も高い方向（確信度が１位の方向）と確信度が２番目に高い方向（確信度が２位の方向）に限定して、文書画像情報の方向を判定するものである。第２方向判定部１０３は、さらに文字行抽出部１０３１と、座標抽出部１０３２と、方向判定部１０３３と、を備えている。文字行抽出部１０３１は、第１方向判定部１０２によって抽出された文字行が縦方向か横方向かに従い、文書画像情報から文字行を抽出する。座標抽出部１０３２は、抽出された文字行の先頭と終端の座標値を求めてヒストグラムを生成する。方向判定部１０３３は、文字行の先頭の座標値と終端の座標値の分散の度合いによって文書画像情報の方向を判定する。第２方向判定部１０３は、本発明における方向判定手段を構成するものである。

方向補正部１０４は、第２方向判定部１０３によって判定された文書画像情報の方向に従って文書画像情報を回転させ補正するものである。画像情報出力部１０５は、方向補正部１０４によって補正された文書画像情報を印刷または画面に出力するものである。

次に、上述したように構成されている画像処理装置による方向判定・補正処理について説明する。図２は、画像情報取得部、第１方向判定部、第２方向判定部、方向補正部、画像情報出力部が行う方向判定・補正処理手順を示すフローチャートである。

画像情報取得部１０１は、画像情報を取得する（ステップＳ２０１）。第１方向判定部１０２は、方向判定処理１により上下左右方向それぞれの確信度を判定する（ステップＳ２０２）。詳細は後述する。第２方向判定部１０３は、上下左右方向の４方向の確信度のいずれか１つが所定の閾値以上か否かを判断する（ステップＳ２０３）。４方向の確信度のいずれか１つが所定の閾値以上であると判断した場合は（ステップＳ２０３：Ｙｅｓ）、第２方向判定部１０３は確信度が最も高い方向を文書画像情報の方向と判定する（ステップＳ２０４）。

４方向の確信度のいずれか１つ、すなわち４方向すべての確信度が所定の閾値以上でないと判断した場合は（ステップＳ２０３：Ｎｏ）、第２方向判定部１０３は１位の方向と２位の方向が上方向と下方向、または右方向と左方向の関係か否かを判断する（ステップＳ２０５）。

１位の方向と２位の方向が上方向と下方向、または右方向と左方向の関係であると判断した場合には（ステップＳ２０５：Ｙｅｓ）、第２方向判定部１０３は方向判定処理２により１位の方向と２位の方向のうちの１方向を文書画像情報の方向と判定する（ステップＳ２０６）。詳細は後述する。方向補正部１０４は、判定された方向に従って画像情報を回転して補正する（ステップＳ２０７）。なお、画像情報の回転補正は、画像情報の座標を回転して補正するのみではなく、画像情報がＰＤＦ（PortableDocumentFormat）であれば、画像情報の回転角度に関する情報をヘッダ部分に記載してもよい。また、画像情報がＥＸＩＦ（ExchangeableImageFileFormat）であれば、画像情報の回転角度に関する情報を付加情報として記載してもよい。画像情報を表示や印刷する際に、ビューワや印刷プログラムがＰＤＦやＥＸＩＦに対応している場合は、画像情報の座標を変更することなく、画像情報を回転させて表示または印刷することができる。

１位の方向と２位の方向が上方向と下方向、または右方向と左方向の関係でないと判断した場合には（ステップＳ２０５：Ｎｏ）、第２方向判定部１０３は文書画像情報の方向が不明であると判定する（ステップＳ２０８）。画像情報出力部１０５は、画像情報を画面やプリンタに出力する（ステップＳ２０９）。

このように、第１の方向判定処理において上下左右方向の確認度が所定の閾値を超えず、文書画像情報の方向を判定できない場合または文書画像情報の方向を誤認してしまうような場合に、第２の方向判定処理が第１の方向判定処理で文書画像情報の方向として可能性が高い２方向に限定して、第１の方向判定処理と異なる方法で再度文書画像情報の方向の判定を行うことによって、正確な文書画像情報の方向を判定することができる。また、第２の方向判定処理で判定する方向を限定することによって、正しい方向を判定する可能性が高くなるとともに、処理時間も短くなる。また、文書画像情報は判定された方向に従って回転されて補正されるため、画面に表示する際にユーザが見やすい方向、すなわち文字が正立するように表示することができる。また、印刷においても、一定の方向で印刷することができる。

次に、方向判定処理１について説明する。図３は、第１方向判定部が行う方向判定処理手順を示すフローチャートである。ここでは、処理内容を簡単に説明する。さらに詳細な説明は、既に出願されている特願２００５−０７７８７９号を参照する。

第１方向判定部１０２は、画像情報から横方向の文字行を抽出する（ステップＳ３０１）。次に、第１方向判定部１０２は、画像情報から縦方向の文字行を抽出する（ステップＳ３０２）。第１方向判定部１０２は、各文字行内部の矩形特徴を抽出する（ステップＳ３０３）。第１方向判定部１０２は、抽出された矩形特徴と辞書に記載された特徴とをマッチングする（ステップＳ３０４）。第１方向判定部１０２は、マッチングを上下左右方向それぞれに対して４回行ったか否かを判断する（ステップＳ３０５）。

マッチングを４回行っていないと判断した場合は（ステップＳ３０５：Ｎｏ）、第１方向判定部１０２は矩形の座標を変換、すなわち９０度回転する（ステップＳ３０６）。マッチングを４回行なったと判断した場合は（ステップＳ３０５：Ｙｅｓ）、第１方向判定部１０２は、各方向のうち、特徴の合致率が高い方向を当該文字行の方向とする（ステップＳ３０７）。第１方向判定部１０２は、方向ごとに文字行の数を計測する（ステップＳ３０８）。第１方向判定部１０２は、方向ごとの文字行の数から各方向の確信度を算出する（ステップＳ３０９）。

なお、方向判定処理１は、ここで記載された処理には限らず、他の処理によって各方向の確信度を求めてもよい。例えば、上述した処理より高速な方向判定処理を第１の方向判定処理として行うことによって、処理速度を全体としてさらに短縮することができる。

次に、方向判定処理２について説明する。図４は、第２方向判定部が行う方向判定処理手順を示すフローチャートである。

文字行抽出部１０３１は、文字行の判定領域を抽出する（ステップＳ４０１）。具体的には、第１方向判定部１０２において確信度が１位２位の文書画像情報の方向が上方向と下方向であった場合は、暫定的に上方向とみなして領域を抽出する。また、第１方向判定部１０２において確信度が１位２位の文書画像情報の方向が左方向と右方向であった場合は、暫定的に左方向とみなして領域を抽出する。図５は、文書画像情報の方向を判定する画像情報の一例を示す説明図である。例えば、図５において、点線で示す矩形領域５１は、文字行を切出す矩形領域として抽出される。

文字行抽出部１０３１は、切出した矩形領域５１から文字行を抽出する（ステップＳ４０２）。図６は、図５に示す文書画像情報から文字行を抽出した一例を示す説明図である。これは、第１方向判定部１０２において確信度が１位２位の文書画像情報の方向が上方向と下方向であり、方向判定処理１の結果に基づいて文字行を横方向に抽出した場合の例である。なお、文字行を抽出する際に、文字行の傾きを求め、求められた傾きを考慮して後述する先頭および終端の座標を求めてもよい。文字行の傾きは、文字行内の矩形の終点座標の分布の回帰直線によって求められる。回帰直線の求め方に関しては周知であるため、ここでは説明しないが、例えば、「工科系のための統計概論」（培風館）Ｉ・ガットマン、Ｓ・Ｓ・ウィルクス共著などに詳しい。

座標抽出部１０３２は、抽出された文字行の先頭の座標と終端の座標を抽出する（ステップＳ４０３）。図６に示す例では、各文字行の先頭位置（左側）のｘ座標と、終端位置（右側）のｘ座標を抽出する。方向判定部１０３３は、複数の文字行の先頭の座標値と終端の座標値からヒストグラムを生成する（ステップＳ４０４）。図６に示す例では、文字行の先頭のｘ座標のヒストグラムと終端のｘ座標のヒストグラムが生成される。方向判定部１０３３は、生成されたヒストグラムから分散を測定する（ステップＳ４０５）。具体的には、文字行の先頭の座標値の分散値と終端の座標値の分散値を計測する。

ここで、文字行の始点を示すヒストグラムの特徴は、（１）同じ座標値に集中する場合と、（２）インデント（字下げ位置）の座標値と本文の先頭の座標値の２箇所の集中する場合がある。また、文字行の終点を示すヒストグラムの特徴は、（１）座標値の分散が大きい場合と、（２）同じ座標値に集中する場合がある。なお、先頭の座標値も終端の座標値も同じ座標値に集中する場合には、ある程度文字行の数が多いと考えられるため、第１方向判定部１０２において確信度の高い方向が判定でき、所定の閾値を超えるため、ここでの判定の困難性は問題とならない。

次に、上述したヒストグラムの特徴を用い、方向判定部１０３３は計測した分散値を用いて条件式から方向を判定する（ステップＳ４０６）。具体的には、文字行の先端のｘ座標の平均値−先頭のｘ座標の分散値×２に外れた文字行の数と、文字行の終端のｘ座標の平均値−終端のｘ座標の分散値×２に外れた文字行の数を計数し、計数された数が多いほうが文字行の終点と判断される。図６に示す例では、文字行の終端（右側）のほうが、ｘ座標が分散しているため、多くの行数が計数される。よって、文字行の右側が終点であると判定する。この場合、文字は正立していると考えられ、画像情報の方向は上方向と判断される。

また、ステップＳ４０１において、判定領域として各段落（パラグラフ）を切出し、判定領域の最初の文字行の先頭の座標値と、最終の文字行の終端の座標値のヒストグラムを求めて文書画像情報の方向を判定してもよい。これにより、段落ごとに方向が異なる場合でも、正しい方向を判定することができる。

他の実施例として、文字行の先頭の座標値と終端の座標値の分散によって文字行の始点と終点を判定し、画像情報の方向を判定することに代えて、抽出された文字行を含む矩形領域を求め、矩形領域の境界位置から文字行の先端および終端までの距離を求め、その距離の分散によって画像情報の方向を判定する場合の処理を説明する。

第２方向判定部１０３３の座標抽出部１０３２は、上述した処理に代えて、抽出された文字行を含む矩形領域を求め、矩形領域の境界位置から文字行の先頭までの距離と終端までの距離を求める。また、座標抽出部１０３２は、矩形領域に含まれる複数の文字行の先頭までの距離と終端までの距離を求めてヒストグラムを生成する。方向判定部１０３３は、上述した処理に代えて、矩形領域から文字行の先頭まで距離と終端までの距離の分散の度合いによって文書画像情報の方向を判定する。

また、他の方向判定処理２について説明する。図７は、第２方向判定部が行う方向判定処理手順を示すフローチャートである。ここでは、第１方法判定部１０２によって判定された文字行の情報を利用して文書画像情報の方向を判定する。

文字行抽出部１０３１は、第１方向判定部１０２において確信度が１位と２位の方向と判定された文字行を選択する（ステップＳ７０１）。文字行抽出部１０３１は、選択された文字行を統合して簡易領域を作成する（ステップＳ７０２）。図８は、文字行を抽出し、簡易領域を生成した一例を示す説明図である。図８に示す例では、確信度が１位と２位、例えば文書画像情報の方向が上方向と下方向であり、方向判定処理１によって抽出された文字行８１等を統合して簡易領域８２を作成している。なお、確信度が１位と２位である複数文字行において、最小のｘ座標、ｙ座標と最大のｘ座標、ｙ座標を求め、最小のｘ座標、ｙ座標と最大のｘ座標、ｙ座標によって構成される矩形を判定領域としてもよい。

座標抽出部１０３２は、簡易領域から文字行ごとに先頭までの距離（以下、先頭距離という）および終端までの距離（以下、終端距離という）を計測する（ステップＳ７０３）。図８では、例えば文字行８１において、簡易領域８２から文字行８１の先頭までの距離が先頭距離８３である。また、簡易領域８２から文字行８１の終端までの距離が終端距離８４である。方向判定部１０３３は、先頭距離の分散、および終端距離の分散を測定する（ステップＳ７０４）。なお、この場合もヒストグラムを生成して分散を測定してもよい。

方向判定部１０３３は、条件式により文書画像情報の方向を判定する(ステップＳ７０５)。上述した文字行の先頭の座標および終端の座標と同様の特徴があるため、その特徴を用いた条件式で文書画像情報の方向を判定する。具体的には、先端距離の平均値−先頭距離の分散値×２に外れた文字行の数と、終端距離の平均値−終端距離の分散値×２に外れた文字行の数を計数し、計数された数が多いほうが文字行の終点と判断される。図８に示す例では、文字行の終端（右側）のほうが、文字行の終端距離が分散しているため、多くの行数が計数される。よって、文字行の右側が終点と判定する。この場合、文字は正立していると考えられ、文書画像情報の方向は上方向と判定される。

なお、上述した実施例では、第２方向判定部１０３では、第１方向判定部１０２において抽出された縦方向または横方向の文字行に基づいて、文字行の先頭の座標値や終端の座標値を求めたが、第２方向判定部１０３の文字行抽出部１０３１において独立に縦方向および横方向の文字行を抽出してもよい。この場合、座標抽出部１０３２では、縦方向の文字行の先端の座標値および終端の座標値、横方向の文字行の先端の座標値および終端の座標値を求め、４つの座標値について分散を求めることによって、文書画像情報の方向を判定する。

また、矩形領域から文字行の先端までの距離や終端までの距離を求める場合も同様に、縦方向の文字行の先端までの距離および終端までの距離、横方向の文字行の先端までの距離および終端までの距離を求め、４つの距離について分散を求めることによって、文書画像情報の方向を判定する。

図９は、本実施の形態にかかる画像処理装置のハードウェア構成を示す説明図である。図９に示すハードウェア構成は、本実施の形態にかかる処理をマイクロプロセッサ等のデジタル処理によって実行するものである。図９に示すように、画像処理装置１００は、ＰＣなどのコンピュータであり、画像処理装置１００の各部を制御するＣＰＵ９０２、ＣＰＵ９０２を起動するためのプログラムが記憶されるＲＯＭ（Read Only Memory）９０７、スキャナ９０１により読み取られた画像情報やオペレーティングシステム、アプリケーションプログラム等を記憶するハードディスク９０３、文字方向識別処理を行うためにハードディスク９０３に記憶された画像情報等を一時的に読み出して展開するワークエリアとして機能するＲＡＭ（Random Access Memory）９０６、画像情報や入力状況等を表示する表示装置９０４、画像情報等を印刷する印刷装置９０８、ＣＤ−ＲＯＭなどの各種光情報記録メディアに記憶されたプログラム等を読み取る光ディスクドライブ９０５等から構成されており、これらの各部間で送受信されるデータを図示しないバスコントローラが調整して動作する。

スキャナ９０１は、文書原稿を光学的に読取り電気信号である画像情報に変換する。ＣＰＵ９０２は、本発明にかかる画像方向判定プログラムを格納してあるＲＯＭ９０７またはハードディスク９０３から当該プログラムを読出してワークエリアＲＡＭ９０６において文書画像情報に対する画像処理を実行する。なお、ＣＤ−ＲＯＭやＦＤの記憶媒体からＣＤ−ＲＯＭ／ＦＤドライブ９０５によって当該プログラムを読出して実行してもよい。処理された画像情報は、ＣＰＵ９０２の指示によりハードディスク９０３に格納され、必要により表示装置９０４に表示され、印刷装置９０８によって出力される。

ここで、画像処理装置１００は、アプリケーションプログラムとして、画像方向判定プログラムをハードディスク９０３に記憶している。この意味で、ハードディスク９０３は、画像方向判定プログラムを記憶する記憶媒体として機能する。

また、一般的には、画像処理装置１００のハードディスク９０３にインストールされるアプリケーションプログラムは、ＣＤ−ＲＯＭなどの各種光情報記録メディアやＦＤ等の磁気メディア等の記憶媒体に記録され、記憶媒体に記録されたアプリケーションプログラムがハードディスク９０３にインストールされる。このため、ＣＤ−ＲＯＭなどの各種光情報記録メディアやＦＤ等の磁気メディア等の可搬性を有する記憶媒体も、画像方向判定プログラムを記憶する記憶媒体となり得る。さらには、画像方向判定プログラムは、例えば図示しない通信装置を介して外部から取り込まれ、ハードディスク９０３にインストールされてもよい。

本実施の形態にかかる画像処理装置の構成を示すブロック図である。 画像情報取得部、第１方向判定部、第２方向判定部、方向補正部、画像情報出力部が行う方向判定・補正処理手順を示すフローチャートである。 第１方向判定部が行う方向判定処理手順を示すフローチャートである。 第２方向判定部が行う方向判定処理手順を示すフローチャートである。 文書画像情報の方向を判定する画像情報の一例を示す説明図である。 図５に示す文書画像情報から文字行を抽出した一例を示す説明図である。 第２方向判定部が行う方向判定処理手順を示すフローチャートである。 文字行を抽出し、簡易領域を生成した一例を示す説明図である。 本実施の形態にかかる画像処理装置のハードウェア構成を示す説明図である。

符号の説明

１００ 画像処理装置
１０１ 画像取得部
１０２ 第１方向判定部
１０３ 第２方向判定部
１０４ 方向補正部
１０５ 画像情報出力部
１０３１ 文字行抽出部
１０３２ 座標抽出部
１０３３ 方向判定部

Claims (8)

1. 文書を示す文書画像情報における上下左右方向それぞれが前記文書の上方向である確信度を判定する確信度判定手段と、
   前記確信度判定手段によって最も高い確信度が判定された第１方向と、２番目に高い確信度が判定された第２方向とが逆方向である場合、前記文書画像情報から抽出された文字行の配置位置に基づいて、前記文書の上方向が前記第１方向または前記第２方向のいずれであるかを判定する方向判定手段と、
   を備えることを特徴とする画像処理装置。
2. 前記方向判定手段は、さらに前記確信度判定手段によって判定された上下左右方向すべての前記確信度が所定の閾値以下である場合に、前記文書画像情報から抽出された文字行の配置位置に基づいて、前記文書の上方向が前記第１方向または前記第２方向のいずれであるかを判定すること、を特徴とする請求項１に記載の画像処理装置。
3. 前記文字行の先頭の座標値および終端の座標値を抽出する座標抽出手段、をさらに備え、
   前記方向判定手段は、さらに前記座標抽出手段によって抽出された前記文字行の先頭の座標値および終端の座標値に基づいて、前記文書の上方向が前記第１方向または前記第２方向のいずれであるかを判定すること、を特徴とする請求項１または請求項２に記載の画像処理装置。
4. 前記座標抽出手段は、前記文書画像情報に含まれる複数の文字行それぞれの先頭の座標値および終端の座標値を抽出し、複数の先頭の座標値の度数分布および複数の終端の座標値の度数分布を求め、
   前記方向判定手段は、さらに前記座標抽出手段によって抽出された前記先頭の座標値の度数分布および前記終端の座標値の度数分布に基づいて、前記文書の方向が前記第１方向または前記第２方向のいずれであるかを判定すること、を特徴とする請求項３に記載の画像処理装置。
5. 前記文書画像情報中の複数の文字行を含む矩形領域の境界位置から文字行の先頭までの距離および終端までの距離を計測する座標抽出手段、をさらに備え、
   前記方向判定手段は、さらに前記座標抽出手段によって求められた前記先頭までの距離および前記終端までの距離に基づいて、前記文書の方向が前記第１方向または前記第２方向のいずれであるかを判定すること、を特徴とする請求項１または請求項２に記載の画像処理装置。
6. 前記座標抽出手段は、前記矩形領域の境界位置から前記矩形領域に含まれる複数の文字行それぞれの文字行の先頭までの距離の度数分布および文字行の終端までの距離の度数分布を求め、
   前記方向判定手段は、さらに前記座標抽出手段によって求められた前記先頭までの距離の度数分布および前記終端までの距離の度数分布に基づいて、前記文書の方向が前記第１方向または前記第２方向のいずれであるかを判定すること、を特徴とする請求項５に記載の画像処理装置。
7. 文書を示す文書画像情報における上下左右方向それぞれが前記文書の上方向である確信度を判定する確信度判定ステップと、
   前記確信度判定ステップによって最も高い確信度が判定された第１方向と、２番目に高い確信度が判定された第２方向とが逆方向である場合、前記文書画像情報から抽出された文字行の配置位置に基づいて、前記文書の上方向が前記第１方向または前記第２方向のいずれであるかを判定する方向判定ステップと、
   を有することを特徴とする画像方向判別方法。
8. 請求項７に記載された画像方向判別方法をコンピュータに実行させることを特徴とする画像方向判別プログラム。

Images