JP2005149114A - 画像傾き検出方法、装置、プログラム、記憶媒体および画像傾き補正方法、装置、プログラム並びに記録媒体 - Google Patents

Abstract

【課題】 自動処理のみでは適切な文書の傾きを求めることが困難な場合でも、適切に文書の傾きを求めることができる傾き検出方法および傾き補正方法を提供する。
【解決手段】 文書画像は文書要素抽出手段１０２で文字列や罫線、写真等の文書要素の抽出を受ける。特徴量算出手段１０３は抽出された文書要素それぞれについて、傾き、信頼度の計算を行う。傾き算出手段１０４は、算出された特徴量を基に画像全体の傾きを算出し、画像補正手段１０７は算出された傾きで画像を正しい向きに補正し、補正された画像は補正画像提示手段１０８でユーザに提示される。文書要素提示手段１０５は、補正画像上に順次文書要素をユーザに提示し、可否指示受領手段１０６はユーザから採用の可否を受ける。画像補正手段１０７は採用された文書要素の特徴量を基に再度傾き補正を行う。
【選択図】 図１

Description

本発明は、スキャナ等の画像入力装置で読み取った文書画像の傾き検出および傾き補正に関する。

文書画像に対する傾き検出技術として特許文献１などの方法が提案されている。特許文献１では、文書要素の抽出を行い、その結果を基に傾きを算出している。好適な処理がなされれば正しく傾きの検出が行われる。
特許第３３３８５３７号公報

しかしながら、一部の文書要素の抽出結果が不適切だった場合、その影響で傾き検出の結果が不適切なものになるという問題がある。
本発明は、上述した実情を考慮してなされたものであって、自動処理のみでは適切な文書の傾きを求めることが困難な場合でも、適切に文書の傾きを求めることができる傾き検出方法および傾き補正方法を提供することを目的とする。

上記の課題を解決するために、請求項１に記載の画像傾き検出方法は、文書画像から文書要素と文書要素の外接矩形とを抽出し、抽出した文書要素の傾き角と信頼度からなる特徴量を基に画像の傾きを検出する方法であって、求めた傾きが不適切な場合は前記抽出した文書要素を選択可能に提示して、選択された文書要素の特徴量から画像の傾きを決定することを特徴とする。
また、請求項２は、請求項１記載の画像傾き検出方法において、前記文書要素を選択可能に提示する際、文書要素の外接矩形を併せて提示することを特徴とする。
また、請求項３は、請求項１または２記載の画像傾き検出方法において、前記文書要素を選択可能に提示する際、文書要素あるいは外接矩形の提示箇所をハイライト表示で提示することを特徴とする。
また、請求項４は、請求項１、２または３記載の画像傾き検出方法において、前記文書要素を選択可能に提示する際、文書要素あるいは外接矩形の提示箇所の色を周囲の他の表示とは変えて提示することを特徴とする。
また、請求項５は、請求項１、２、３または４記載の画像傾き検出方法において、前記文書要素を選択可能に提示する際、文書要素あるいは外接矩形の近傍に信頼度を併せて表示することを特徴とする。
また、請求項６は、請求項１、２、３、４または５記載の画像傾き検出方法において、前記文書要素を選択可能に提示する際、文書要素の信頼度の値が大きい順に順次提示することを特徴とする。
また、請求項７は、請求項６記載の画像傾き検出方法において、前記文書要素を選択可能に提示する際、文書要素の信頼度が所定の値より大きいものを順次提示することを特徴とする。
また、請求項８は、請求項６または７記載の画像傾き検出方法において、前記文書要素を選択可能に提示する際、文書要素の信頼度が所定の値より大きいものを所定数だけ順次提示することを特徴とする。
また、請求項９の画像傾き補正方法は、請求項１乃至８のいずれか１項に記載の画像傾き検出方法で求めた傾きで画像の傾きを補正することを特徴とする。
また、請求項１０の画像傾き検出装置は、文書画像から文書要素と文書要素の外接矩形とを抽出し、抽出した文書要素の傾き角と信頼度からなる特徴量を基に画像の傾きを検出する装置であって、求めた傾きが不適切な場合は前記抽出した文書要素を選択可能に提示する文書要素提示手段と、前期選択された文書要素の特徴量から画像の傾きを補正する画像補正手段と、補正した画像を提示して求めた傾きが適当かをユーザに判断させる補正画像提示手段とを備え、前記ユーザの判断に応じて傾きを決定することを特徴とする。

また、請求項１１は、請求項１０記載の画像傾き検出装置において、前記文書要素提示手段は文書要素を提示する際、文書要素の外接矩形を併せて提示することを特徴とする。
また、請求項１２は、請求項１０または１１記載の画像傾き検出装置において、前記文書要素提示手段は文書要素あるいは外接矩形を提示する際、表示の態様を周囲の他の表示とは変えて提示することを特徴とする。
また、請求項１３は、請求項１０、１１または１２記載の画像傾き検出装置において、前記文書要素提示手段は文書要素を提示する際、文書要素あるいは外接矩形の近傍に信頼度を併せて表示することを特徴とする。
また、請求項１４は、請求項１０、１１、１２または１３記載の画像傾き検出装置において、前記文書要素提示手段は文書要素を提示する際、文書要素の信頼度の値が大きい順に順次文書要素あるいは外接矩形を提示することを特徴とする。
また、請求項１５の画像傾き補正装置は、請求項１０〜１４のいずれか１項に記載の画像傾き検出装置に、求めた傾きで画像の傾きを補正する画像補正手段を設けたことを特徴とする。
また、請求項１６は、コンピュータを、請求項１０、１１、１２、１３または１４に記載の画像傾き検出装置として機能させるためのプログラムである。
また、請求項１７は、コンピュータを、請求項１５に記載の画像傾き補正装置として機能させるためのプログラムである。
また、請求項１８は、請求項１６に記載の画像傾き検出プログラムを記録したコンピュータ読み取り可能な記録媒体である。
また、請求項１９は、請求項１７に記載の画像傾き補正プログラムを記録したコンピュータ読み取り可能な記録媒体である。

本発明によれば、効率よく適切に文書の傾きを求めて補正することが可能となる。

以下、図面を参照して、本発明の実施形態を詳細に説明する。図１は、本発明の傾き検出および傾き補正処理を実現するための機能構成を示す図である。画像入力手段１０１は処理対象となる画像を入力するためのものである。画像入力手段１０１で入力された文書画像は文書要素抽出手段１０２で文字列や罫線、写真等の文書要素の抽出を受ける。このとき、文書要素の外接矩形が抽出される。特徴量算出手段１０３は抽出された文書要素それぞれについて、傾き、信頼度の計算を行う。傾き算出手段１０４は、算出された特徴量を基に画像全体の傾きを算出し、画像補正手段１０７は算出された傾きで画像を正しい向きに補正する。そして、補正された画像は補正画像提示手段１０８でユーザに提示される。
文書要素提示手段１０５は、文書要素抽出手段１０２が抽出した文書要素をユーザに提示し、可否指示受領手段１０６はユーザから採用の可否を受ける。そして、画像補正手段１０７は採用された文書要素の特徴量を基に再度傾き補正を行う。データ記憶手段１０９は、傾き補正処理前あるいは処理後の画像データや処理中の中間結果等を記憶するものである、また必要に応じて本発明の傾き検出および傾き補正のためのプログラムを格納しておいてもよい。そして制御手段１１０は各処理の実行制御を行う。なお、１１１はデータ転送路および制御通信路である。

図２は、本発明の傾き検出および傾き補正処理を実現するためのハードウエア構成を示す図である。以下本装置と記す。
本装置は、情報処理を行うＣＰＵ２０２、情報を格納するＲＡＭ２０３及びＲＯＭ２０４等の一次記憶装置２０５、ＨＤＤ２０６（ハードディスクドライブ）等の二次記憶装置２０７、情報を保管したり外部に情報を配布したり外部から情報を入手するためのＣＤ−ＲＯＭ等のリムーバブルディスク装置２０８、外部の他のコンピュータと通信により情報を伝達するためのネットワークインターフェース２０９、処理経過や結果等をユーザに表示する表示装置２１０、紙原稿を光学的にスキャンするスキャナ２１１並びにユーザが本装置に命令や情報等を入力するためのキーボード、マウス等の標準入力装置２１２から構成されている。なお、表示装置２１０と入力のための標準入力装置２１２は、液晶表示装置（ＬＣＤ）と一体に構成したタッチパネル等を用いると入力や確認のための作業効率を向上させることができる。
このような本装置の構成では、ユーザが電源を投入するとＣＰＵ２０２がＲＯＭ２０４内のローダーというプログラムを起動させ、ＨＤＤ２０６よりオペレーティングシステムというコンピュータのハードウエアとソフトウエアとを管理するプログラムをＲＡＭ２０３に読み込み、このオペレーティングシステムを起動させる。このようなオペレーティングシステムは、ユーザの操作に応じてプログラムを起動したり、情報を読み込んだり、保存を行ったりする。オペレーティングシステムのうち代表的なものとしては、Ｗｉｎｄｏｗｓ（登録商標）、ＵＮＩＸ（登録商標）等が知られている。これらのオペレーティングシステム上で走る各種の処理プログラムをアプリケーションプログラムと呼んでいる。

ここで、本装置はアプリケーションプログラムとして、画像傾き検出および傾き補正処理プログラムをＨＤＤ２０６に記憶している。その意味で、ＨＤＤ２０６は画像傾き検出および傾き補正処理プログラムを記憶する記憶媒体として機能する。
また、一般的には、本装置のＨＤＤ２０６等の二次記憶装置２０７にインストールされる各種の処理プログラムは、ＣＤ−ＲＯＭ等の光情報記録メディアやＦＤ（フレキシブルディスク）等の磁気メディア等に記録され、この記録された各種の処理プログラムがＨＤＤ２０６等の二次記憶装置２０７にインストールされる。そのため、ＣＤ−ＲＯＭ等の光情報記録メディアやＦＤ等の磁気メディア等の可搬性を有する記憶媒体も、画像傾き検出および傾き補正処理プログラムを記憶する記憶媒体となり得る。さらには、画像傾き検出および傾き補正処理プログラムは、例えばネットワークインターフェース２０９を介して外部から取り込まれ、ＨＤＤ２０６等の二次記憶装置２０７にインストールされても良い。
なお、本装置は傾き検出および傾き補正のための専用装置として構成してもよいが、一般的なパーソナルコンピュータを用いて容易に実現可能である。したがって、一般のパーソナルコンピュータに本発明の画像傾き検出および傾き補正処理のプログラムをインストールすることにより、パーソナルコンピュータを文書画像傾き検出および傾き補正装置として機能させることができる。

図３は、本発明の傾き検出および傾き補正処理の流れを示す図である。まず、画像入力手段１０１によって文書画像を得る（ステップ３０１）。この画像入力手段１０１は文書を直接スキャナ２１１で読み取ってもよく、また既に二次記憶装置２０７に電子ファイリングされている画像ファイルの中からキーボードやマウス等の標準入力装置２１２を用いて選択してもよい。次に文書要素抽出手段１０２で文書要素の抽出を行う（ステップ３０２）。文書要素としては、文字あるいは文字列、罫線、絵図、写真などがあるが文書画像の傾き検出においては、文字列や罫線の利用が一般的である。例えば、特許文献１では文字（図９、図１０参照）および罫線（図７、図８参照）を利用した傾きの検出例が紹介されている。本実施例でも文字列、罫線を利用するが、原稿の水平方向（あるいは垂直方向）の基準となるものなら何でもよい。
次に、これらの文書要素の特徴量を求め（ステップ３０３）、求めた特徴量を用いて文書の傾きを求め（ステップ３０４）、必要であれば（傾いていれば）画像補正手段１０７により正立の向きに補正する（ステップ３０５）。これら一連の傾きを求める手法は特許文献１などの文献に開示されている。特許文献１では、文書要素の文字あるいは黒ランの代表位置を点列データとして回帰直線を求める。このときの回帰係数が特徴量（傾き角度）にあたる。また本実施例では特許文献１記載の相関係数の絶対値を信頼度として利用する。これらの特徴量（回帰係数および信頼度）は、ＨＤＤ２０６あるいはＲＡＭ２０３に格納され、必要に応じて表示装置２１０に表示される。
傾き補正後、補正画像提示手段１０８は補正画像を表示装置２１０に表示してユーザに提示する（ステップ３０６）。そして、可否指示受領手段１０６は傾き補正結果の可否を尋ねる（２０７ステップ）。この時、表示される補正画像には、補正した傾き角に近い特徴量の文書要素を表示するようにしてもよい。ユーザはこの補正画像で可であれば傾きの補正は完了となる。否であった場合は、引き続き文書要素提示手段１０５は、ステップ３０２で既に抽出されている文書要素を所定の順序でユーザに提示する（ステップ３０９）。

ここで、文書要素、外接矩形、特徴量について説明する。図４は文書要素、外接矩形、特徴量を説明する図である。同図において、外側の大きな矩形は外接矩形４００であり、この外接矩形４００の内部にある小さな矩形は文字の黒画素連結矩形４０１、この黒画素連結矩形４０１の中心にある点は文字の代表位置４０２を示している。代表位置４０２は矩形の中心である必要はなく、左下あるいは左上でもよい。代表位置４０２の近傍を通る直線は回帰直線４０３である。なお、本実施例では、この回帰直線４０３が、どの程度外接矩形４００内のすべての矩形の代表位置４０２の近くを通っているかの指標として相関係数を用いている。そして、画像全体の傾き角は、同一原稿紙面の文書要素の特徴量を用いて求める。特許文献１では、相関係数を重み付けした回帰係数でヒストグラムを作成し、ピークを与えるクラスの代表値を傾き角としている。
なお、文書要素の提示の方法としては、文書要素そのものを提示しても良いが、文書要素の外接矩形を提示することでユーザの視認性を向上させることができる。表示の方法は外接矩形を文書要素と置き換えて提示しても、あるいは文書要素を表示したまま外接矩形を追加して表示するようにしてもよい。図４には、黒画素連結矩形４０１が描かれているが、実際は文字のイメージが表示される。なお、文書要素の提示では、文書要素抽出時の画像（つまり傾き補正しない、入力されたままの画像）を表示する。この時、提示対象（文書要素、外接矩形など）をハイライト（高輝度）表示したり、周囲の他の表示とは色を変えて提示することで、ユーザの視認性を向上させることができる。
次に、可否指示受領手段１０６は、この文書要素を傾きを求めるための文書要素として用いることの可否を尋ねる（ステップ３１０）。可であればこの文書要素から得られる特徴量を用いて傾きを求める（ステップ３０４）。ステップ３１０で否の場合は、次の文書要素を提示する。提示する文書要素がなくなった場合はリジェクト（傾き不明）として処理を終了する（ステップ３０８）。

図５は文書要素提示（ステップ３０９）での画面表示の例を示している。同図では、傾き補正前の原稿画像と文書要素とが表示装置２１０の画面に表示されている。画面上部の複数の楕円は、文字の意味である。実際は文字のイメージが表示される。文書要素として、罫線の一部が表示されており、破線で外接矩形４００が併せて表示されている。これらは上で述べたように、高輝度や周囲の他の表示とは異なる色で表示する。また、外接矩形４００の近傍にはｒ＝０．９９７という表示がなされている。これは信頼度を示すものである。外接矩形４００が水平に表示されているということは、表示されている画像は、傾き補正前を意味している。ユーザは、文書要素が罫線であり、信頼度が１に極めて近いことから、この文書要素の持つ特徴量を傾き角とすることに大いに期待を持つことになるだろう。傾き検出の失敗の原因として文書要素が正しく抽出できない場合の悪影響がある。特にレイアウトが複雑な原稿であったり、撮像品質が良くない場合には、文書要素の抽出が不適切になりやすい傾向がある。本発明ではユーザに文書要素の抽出結果の可否を問うことにより、文書要素が正しく抽出できない場合の悪影響を排除することができる。また、文書要素の提示順は信頼度の高いものから順に行うことで、より少ない提示回数で正しい傾き角度を求めることができるようになる。このように提示した場合、後に提示される文書要素ほど傾きの検出に有用ではなくなるので、提示数については所定の数まで、または信頼度が所定の値以上の文書要素のみとすることで、リジェクトに達するまでの処理回数を短縮することができる。なお、傾き角が決まれば、原稿の傾きを正すにはアーフィン変換がよく知られている。計算量は多いが、画像データの各画素を平行移動および回転移動することで傾き補正処理は実現できる。

なお、以上の実施例では、文書要素等を信頼度の高いものから順に提示したが、文書要素の抽出時に信頼度の低い文書要素を破棄することで、提示する文書要素の数を減らすことができる。提示する文書要素の数が減れば、１個ずつ順次提示する必要もなくなり、ユーザは画面をスクロールして複数の文書要素から１つを効率よく選択することもできる。この時は、同時に提示する文書要素等の表示態様を信頼度に応じて変化させておけば、例えば赤で表示してある文書要素は高い信頼度を持っているとすれば、効率よく適切な文書要素の選択が可能となる。また、図５では、文書要素等と一緒に原稿イメージを表示しているが、原稿イメージの表示をやめることで表示に要する時間を節約することができる。
以上のように、傾きを求めるための特徴量として有用な文書要素を対話的に選択することで、自動処理のみでは適切に文書の傾きを求めることが困難な場合にも、適切に文書の傾きを求めることができるようになる。

本発明の傾き検出および傾き補正処理を実現するための機能構成を示す図である。 本発明の傾き検出および傾き補正処理を実現するためのハードウエア構成を示す図である。 本発明の傾き検出および傾き補正処理の流れを示す図である。 文書要素、外接矩形、特徴量を説明する図である。 文書要素提示での画面表示例を示す図である。

符号の説明

１０１ 画像入力手段
１０２ 文書要素抽出手段
１０３ 特徴量算出手段
１０４ 傾き算出手段
１０５ 文書要素提示手段
１０６ 可否指示受領手段
１０７ 画像補正手段
１０８ 補正画像提示手段
１０９ データ記憶手段
１１０ 制御手段
１１１ データ転送路および制御通信路
４００ 外接矩形
４０１ 文字黒画素連結矩形
４０２ 代表位置
４０３ 回帰直線

Claims (19)

1. 文書画像から文書要素と該文書要素の外接矩形とを抽出し、抽出した文書要素の傾き角と信頼度からなる特徴量を基に画像の傾きを検出する方法であって、求めた傾きが不適切な場合は前記抽出した文書要素を選択可能に提示して、選択された文書要素の特徴量から画像の傾きを決定することを特徴とする画像傾き検出方法。
2. 前記文書要素を選択可能に提示する際、文書要素の外接矩形を併せて提示することを特徴とする請求項１記載の画像傾き検出方法。
3. 前記文書要素を選択可能に提示する際、文書要素あるいは外接矩形の提示箇所をハイライト表示で提示することを特徴とする請求項１または２記載の画像傾き検出方法。
4. 前記文書要素を選択可能に提示する際、文書要素あるいは外接矩形の提示箇所の色を周囲の他の表示とは変えて提示することを特徴とする請求項１、２または３記載の画像傾き検出方法。
5. 前記文書要素を選択可能に提示する際、文書要素あるいは外接矩形の近傍に信頼度を併せて表示することを特徴とする請求項１、２、３または４記載の画像傾き検出方法。
6. 前記文書要素を選択可能に提示する際、文書要素の信頼度の値が大きい順に順次提示することを特徴とする請求項１、２、３、４または５記載の画像傾き検出方法。
7. 前記文書要素を選択可能に提示する際、文書要素の信頼度が所定の値より大きいものを順次提示することを特徴とする請求項６記載の画像傾き検出方法。
8. 前記文書要素を選択可能に提示する際、文書要素の信頼度が所定の値より大きいものを所定数だけ順次提示することを特徴とする請求項６または７記載の画像傾き検出方法。
9. 請求項１乃至８のいずれか１項に記載の画像傾き検出方法で求めた傾きで画像の傾きを補正する画像傾き補正方法。
10. 文書画像から文書要素と該文書要素の外接矩形とを抽出し、抽出した文書要素の傾き角と信頼度からなる特徴量を基に画像の傾きを検出する装置であって、求めた傾きが不適切な場合は前記抽出した文書要素を選択可能に提示する文書要素提示手段と、前期選択された文書要素の特徴量から画像の傾きを補正する画像補正手段と、補正した画像を提示して求めた傾きが適当かをユーザに判断させる補正画像提示手段とを備え、前記ユーザの判断に応じて傾きを決定することを特徴とする画像傾き検出装置。
11. 前記文書要素提示手段は文書要素を提示する際、文書要素の外接矩形を併せて提示することを特徴とする請求項１０記載の画像傾き検出装置。
12. 前記文書要素提示手段は文書要素あるいは外接矩形を提示する際、表示の態様を周囲の他の表示とは変えて提示することを特徴とする請求項１０または１１記載の画像傾き検出装置。
13. 前記文書要素提示手段は文書要素を提示する際、文書要素あるいは外接矩形の近傍に信頼度を併せて表示することを特徴とする請求項１０、１１または１２記載の画像傾き検出装置。
14. 前記文書要素提示手段は文書要素を提示する際、文書要素の信頼度の値が大きい順に順次文書要素あるいは外接矩形を提示することを特徴とする請求項１０、１１、１２または１３記載の画像傾き検出装置。
15. 請求項１０乃至１４のいずれか１項に記載の画像傾き検出装置に、求めた傾きで画像の傾きを補正する画像補正手段を設けたことを特徴とする画像傾き補正装置。
16. コンピュータを、請求項１０、１１、１２、１３または１４に記載の画像傾き検出装置として機能させるためのプログラム。
17. コンピュータを、請求項１５に記載の画像傾き補正装置として機能させるためのプログラム。
18. 請求項１６に記載の画像傾き検出プログラムを記録したコンピュータ読み取り可能な記録媒体。
19. 請求項１７に記載の画像傾き補正プログラムを記録したコンピュータ読み取り可能な記録媒体。

Images