JP2009272962A - 画像処理装置 - Google Patents

Abstract

【課題】読取画像の正立方向を自動判別することができる画像処理装置を提供する。
【解決手段】文字並び判別部１３は、読取画像内において横方向及び縦方向に延びる地色画素からなる白帯領域を検出し、横方向の白帯領域の数と、縦方向の白帯領域の数とを比較して、当該読取画像内の文字の並び方向を判別する。書出方向判別部１４は、この並び方向に基づいて文字領域の両端位置を求め、両端位置のばらつきに基づいて、文字の書出方向を判別する。また、縦書き又は横書きのいずれであるのかが記載様式として指定される。正立方向判別部１５は、これらの書出方向及び記載様式に基づいて、読取画像の正立方向を判別する。
【選択図】図７

Description

本発明は、画像処理装置に係り、更に詳しくは、文書原稿の光学読み取りを行って生成された読取画像の正立方向を判別する画像処理装置に関する。また、上記画像処理装置をコンピュータを用いて実現するためのコンピュータプログラムに関する。

一般に、デジタル複合機は、スキャナ、プリンタ、ファクシミリ通信部などを備え、紙媒体からなる文書原稿をスキャナにより光学的に読み取って、読取画像を生成することができる。この様にして生成された読取画像は、プリンタによって紙媒体に印刷され、ファクシミリ通信部によって他のファクシミリ装置へ送信され、あるいは、ディスプレイに表示させることができる。

スキャナによって生成された読取画像は上下左右の向きを有している。このため、読取画像に文字が含まれている場合、読取画像の向きと文字の向きとの関係が問題となる。文字には正しい向きがあり、本明細書では、文字が正しい向きで配置されている状態を正立状態と呼び、正立状態における文字の上方向を正立方向と呼ぶことにする。また、文書原稿や読取画像内に文字が含まれている場合、当該文字の正立方向を文書原稿や読取画像の正立方向と呼ぶことにする。さらに、読取画像の上方向と正立方向が一致している状態を正立状態、逆向きになっている状態を倒立状態と呼ぶ。

スキャナを用いて正立状態の読取画像を生成させるためには、文書原稿の正立方向を予め定められたスキャナの基準方向と一致させておく必要がある。原稿台に文書原稿を正しい向きで載置した場合には、正立状態の読取画像が生成されるが、例えば、この文書原稿を１８０°回転させて載置すれば、倒立状態の読取画像が生成される。このような倒立状態の読取画像が生成された場合、当該読取画像をディスプレイに正しく表示させるためには、当該読取画像をディスプレイ上に一旦表示させ、読取画像の正立方向がどの方向であるのかを閲覧者が判断し、読取画像を回転させて再表示させる必要があった。

そこで、読取画像の正立方向を自動判別することができれば、必要に応じて読取画像を回転させ、正立状態の読取画像に変換するという煩雑な作業をユーザが行う必要がなくなる。

ここで、文書原稿の傾きを補正する技術が既に知られている。この傾き補正は、スキャナの基準方向に対し、文書原稿の向きが僅かにずれてスキュー角が発生している場合に、矩形からなる文書原稿の端辺を検出し、当該スキュー角を補償するように読取画像を回転させる方法である。このような傾き補正は、９０°よりも十分に小さい角度を補償できるに過ぎず、読取画像の正立方向がいずれであるのかを判別しているわけではない。

また、読取画像の正立方向を自動判別するための方法として、パターンマッチングの技術が知られている（例えば特許文献１）。特許文献１に記載された自動判別方法は、９０°×ｎ（ｎ＝０〜３）回転させた基準文字パターンと、読取画像から切り出された文字パターンとを照合することによって、読取画像の正立方向を判別するものである。このようなパターンマッチング処理は、演算量が多いことから、処理能力の高い演算処理装置が必要であり、また、処理時間が長くなるという問題があった。
特許第３６３０７０５号公報

本発明は、上記の事情に鑑みてなされたものであり、読取画像の正立方向を自動判別することができる画像処理装置を提供することを目的とする。特に、演算負荷を顕著に増大させることなく、読取画像の正立方向の自動判別を可能にすることを目的とする。

第１の本発明による画像処理装置は、文書原稿の光学読み取りを行って、読取画像を生成する光学読取手段と、縦書き又は横書きのいずれかを記載様式として指定する記載様式指定手段と、上記読取画像における文字の並び方向を判別する文字並び判別手段と、上記並び方向に基づいて、上記読取画像における文字の書出方向を判別する書出方向判別手段と、上記書出方向及び記載様式に基づいて、上記読取画像の正立方向を判別する正立方向判別手段とを備えて構成される。

この画像処理装置では、まず文字の並び方向を判別し、この並び方向に基づいて文字の書出方向を判別している。このようにして求められた書出方向と、指定された記載様式とに基づいて、文書の正立方向を判別することができる。例えば、読取画像の上下左右の４方向のうち、いずれの方向が正立方向であるのかを判別することができる。また、読取画像の上下の２方向のいずれが正立方向であるのかを判別するものであってもよい。

第２の本発明による画像処理装置は、上記構成に加えて、上記文字並び判別手段が、上記読取画像を構成する縦方向及び横方向の画素列であって、画素値の和が白帯判定範囲内となる１又は２以上の画素列からなる白帯領域を検出する白帯領域検出手段を有し、これらの白帯領域の数に基づいて文字の並び方向を判別しするように構成される。この様な構成によれば、縦方向及び横方向の白帯領域を検出し、その数に基づいて、文字の並び方向を判別することができるので、複雑な演算処理を行うことなく、文字の並び方向を判別することができる。

第３の本発明による画像処理装置は、上記構成に加えて、上記文字並び判別手段が、上記読取画像を構成する縦方向及び横方向の画素列であって、画素値の和が白帯判定範囲内となる１又は２以上の画素列からなる白帯領域を検出する白帯領域検出手段を有し、これらの白帯領域の幅に基づいて文字の並び方向を判別するように構成される。この様な構成によれば、縦方向及び横方向の白帯領域を検出し、その幅に基づいて、文字の並び方向を判別することができるので、複雑な演算処理を行うことなく、文字の並び方向を判別することができる。

第４の本発明による画像処理装置は、上記構成に加えて、上記書出方向判別手段が、上記並び方向における文字の両端位置の偏差に基づいて書出方向を判別するように構成される。この様な構成によれば、複雑な演算処理を行うことなく、文字の書出方向を判別することができる。

第５の本発明による画像処理装置は、上記構成に加えて、上記書出方向判別手段が、幅が白ブロック判定レベルを超える上記白帯領域によって区切られた１又は２以上の文字ブロックを上記読取画像から抽出する文字ブロック抽出手段と、上記文字ブロック内における上記両端位置の偏差を検出する両端偏差検出手段とを有し、上記文字ブロックごとの上記両端位置の偏差に基づいて、上記読取画像における文字の書出方向を判別するように構成される。この様な構成によれば、複雑な演算処理を行うことなく、文字の書出方向を容易に判別することができる。

第６の本発明による画像処理装置は、上記構成に加えて、上記正立方向判別手段の判別結果を表示する表示手段を備えている。この様な構成により、読取画像の正立方向の判別結果をユーザに知らせることができる。

第７の本発明による画像処理装置は、上記構成に加えて、上記正立方向判別手段の判別結果に基づいて、上記読取画像を回転させる画像回転手段を備えて構成される。このような構成によれば、読取画像を回転させて、その上方向と正立方向とを一致させた正立状態にすることができる。従って、正立状態の読取画像を記憶装置に保存したり、印刷出力したり、ファクシミリ送信したり、ディスプレに表示したりすることができる。

第８の本発明による画像処理装置は、上記構成に加えて、言語種別を指定する言語種別指定手段を備え、上記正立方向判別手段が、上記書出方向、記載様式及び言語種別に基づいて、上記読取画像の正立方向を判別するように構成される。このような構成により、文書原稿に記載されている言語に応じて、正立方向を判別することができる。例えば、書出方向が右側となる言語の場合であっても正立方向を正しく判別することができる。

第９の本発明によるコンピュータプログラムは、光学読取装置による文書原稿の光学読み取りを制御し、読取画像を生成する光学読取ステップと、縦書き又は横書きのいずれかが記載様式として指定される記載様式指定ステップと、上記読取画像における文字の並び方向を判別する文字並び判別ステップと、上記並び方向に基づいて、上記読取画像における文字の書出方向を判別する書出方向判別ステップと、上記書出方向及び記載様式に基づいて、上記読取画像の正立方向を判別する正立方向判別ステップとを実行するための手順からなる。

本発明によれば、文字の並び方向を判別した後に文字の書出方向を判別し、当該書出方向と、縦書き又は横書きからなる記載様式とに基づいて、読取画像の正立方向を判別している。このため、読取画像の正立方向を容易に判別することができる。また、演算負荷を顕著に増大させることなく、このような自動判別を実現することができる。

特に、読取画像内で白帯領域を検出することによって文字の並び方向を判別し、この並び方向における文字の両端位置の偏差に基づいて書出方向を判別している。このため、演算負荷を顕著に増大させることなく、このような自動判別を実現することができる。

さらに、指定された言語種別に基づいて読取画像の正立方向を判別している。このため、文書原稿に記載されている言語に応じて正立方向を判別することができ、特殊な言語が記載されている場合であっても正立方向を正しく判別することができる。

実施の形態１．
図１は、本発明の実施の形態１による画像処理装置１００の一構成例を示したブロック図であり、画像処理装置の一例としてデジタル複合機が示されている。この画像処理装置１００は、主制御部１、スキャナ２、操作入力部３、端末通信部４、表示出力部５、プリンタ６、ファクシミリ通信部７及びデータ記憶部８により構成される。

主制御部１は、画像処理装置１００を構成する他のブロック２〜８を制御する制御手段であり、マイクロプロセッサ及びその周辺回路からなる。また、読取画像の正立方向を判別する正立方向判別処理や、判別された正立方向に基づいて読取画像を回転させ、その上方向と正立方向を一致させる正立化処理も主制御部１において行われている。これらの判別処理の詳細については後述する。

スキャナ２は、紙媒体からなる文書原稿に対し光を照射し、その反射光を受光することによって、文書原稿の画像情報を光学的に読み取って、読取画像を生成する光学読取装置である。生成された読取画像はデータ記憶部８に格納される。スキャナ２の原稿台には基準方向が予め定められており、この基準方向が、読取画像の上方向に対応づけられている。従って、文書原稿の正立方向をスキャナ２の基準方向と一致させるように原稿台に文書原稿を載置して光学読み取りを行えば、正立状態の読取画像が生成される。

なお、スキャナ２によって生成される読取画像は、多数のピクセル情報によって構成される画像情報、例えば、ビットマップデータであり、ＯＣＲ（Optical Character Reader）などのパターンマッチング法を利用してコード化された情報ではない。

操作入力部３は、各種情報を入力するための複数の操作キーからなる。ユーザがキー操作を行った場合、操作入力部３から主制御部１へキー操作信号が出力される。読取画像の正立状態を判別するために使用される文書原稿の記載様式や言語種別も、操作入力部３の操作キーを用いて入力される。

端末通信部４は、図示しないパーソナルコンピュータなどのユーザ端末装置と通信を行う通信手段である。例えば、画像処理装置１００の制御情報をユーザ端末装置から受信したり、印刷出力やファクシミリ送信の対象となる読取画像をユーザ端末装置から受信することができる。また、ユーザ端末装置のディスプレイに表示させる読取画像をユーザ端末装置へ送信することもできる。

表示出力部５は、各種情報を表示するための表示手段、例えば液晶表示装置である。この表示出力部５には、正立方向の判別結果を表示することができる。また、読取画像を表示させることもでき、正立方向の判別処理の結果に基づいて、正立化させた読取画像を表示させることができる。

プリンタ６は、画像情報を紙媒体に印刷するための印刷装置であり、レーザプリンタやインクジェットプリンタなどにより構成される。このプリンタ６は、読取画像の上方向が印刷用紙の特定方向と一致するように印刷出力する。

ファクシミリ通信部７は、公衆回線網（ＰＳＴＮ）に接続され、図示しない他のファクシミリ装置との間でファクシミリ通信を行う通信手段である。このファクシミリ通信部７は、読取画像のファクシミリ送信を行うことができる。

データ記憶部８は、読取画像を保持する記憶手段であり、書き込み可能な記憶手段、例えば半導体メモリやハードディスクを用いることができる。スキャナ２で読み取られた読取画像はデータ記憶部８に格納される。また、データ記憶部８から読み出された読取画像は、表示出力部５やユーザ端末装置のディスプレイに表示され、プリンタ６によって印刷出力され、あるいは、ファクシミリ通信部７によってファクシミリ送信される。

この画像処理装置１００では、読取画像の正立方向、つまり、読取画像に含まれる文字の上方向を自動判別することができる。この判別処理は、主制御部１によって行われる。例えば、スキャナ２により光学読み取りが行われた場合に、生成された読取画像について正立方向の判別処理が行われる。また、データ記憶部８内に保持されている読取画像の印刷出力や、ファクシミリ送信や、表示出力を行う際、当該読取画像について正立方向の判別処理が行われる。これらの判別結果は、表示出力部５に表示される。

図２及び図３は、読取画像の一例を示した図である。図２の（ａ）〜（ｄ）は、いずれも横書きの文字を含む読取画像であるが、それぞれの正立方向が異なっている。この図は、読取画像の上方向が紙面の上方向となるように示されており、（ａ）〜（ｄ）の正立方向は９０°ずつ異なっている。すなわち、読取画像の正立方向が、（ａ）では上方向、（ｂ）では左方向、（ｃ）では下方向、（ｄ）では右方向となっている。

同様にして、図３の（ａ）〜（ｄ）は、いずれも縦書きの文字を含む読取画像であるが、それぞれの正立方向が異なっている。この図も、読取画像の上方向が紙面の上方向となるように示されており、（ａ）〜（ｄ）の正立方向は９０°ずつ異なっている。すなわち、読取画像の正立方向が、（ａ）では上方向、（ｂ）では左方向、（ｃ）では下方向、（ｄ）では右方向となっている。

本実施の形態における正立方向判別処理では、文字の並び方向を判別し、当該並び方向に基づいて文字の書出方向を判別している。そして、文書原稿の記載様式と、文字の書出方向に基づいて、読取画像の正立方向を判別する。

記載様式とは、文字が横書き又は縦書きのいずれで記載されているのかの区別であり、操作入力部３を用いてユーザにより指定される。横書きとは、文字列が左右方向に延びる記載方法であり、通常、その書出方向は左方向となる。つまり、文字の書出方向を時計回りに９０°回転させた方向が文字の正立方向となる。一方、縦書きとは、文字列が上下方向に延びる記載方法であり、通常、その書出方向は上方向となる。つまり、文字の書出方向が文字の正立方向と一致している。このため、文書原稿の記載様式が既知であれば、読取画像の書出方向から、当該読取画像の正立方向を求めることができる。

図４〜図６は、読取画像の書出方向判別方法についての説明図である。図４は、図２（ａ）の読取画像から白帯領域５０ｈ，５０ｖが検出された状態を示した図である。図中のハッチングが付された領域が、白帯領域５０ｈ，５０ｖであり、ハッチングが付されていない領域が、文字帯領域５１ｈ，５１ｖである。また、図中の（ａ）には、横方向の白帯領域５０ｈ及び文字帯領域５１ｈによって読取画像が区分された様子が示されており、（ｂ）には、縦方向の白帯領域５０ｖ及び文字帯領域５１ｖによって読取画像が区分された状態が示されている。

白帯領域５０ｈ，５０ｖとは、読取画像内で縦方向又は横方向に整列している地色の画素からなる領域、つまり、文書原稿において一端から他端まで真っ直ぐに延びる文字のない領域である。地色とは、文字が表示されていない領域の色であり、通常は、文書原稿の媒体の色である。最も一般的な紙媒体の色は白であり、ここでは地色が白であるものとして説明する。なお、白帯領域５０ｈ，５０ｖ以外の領域である文字帯領域５１ｈ，５１ｖは、文字が記載されていると推定される領域である。

縦方向及び横方向の白帯領域５０ｈ，５０ｖの数を比較した場合、文字の並び方向が横方向であれば、横方向の白帯領域５０ｈの数の方が多くなり、文字の並び方向が縦方向であれば、縦方向の白帯領域５０ｖの数の方が多くなる。この例では、横方向の白帯領域５０ｈの数の方が多くなっていることから、文字の並び方向が横方向であるということを判別することができる。

図５は、図２（ａ）の読取画像から白ブロック５４及び文字ブロック５６が抽出された状態を示した図である。図４（ａ）の白帯領域５０ｈのうち、予め定められた閾値を超える幅を有する白帯領域５０ｈを白ブロック５４とする。また、文書原稿の両端に相当する白帯領域５０ｈは、その幅にかかわらず白ブロック５４とする。そして、これらの白ブロック５４に挟まれた領域を文字ブロック５６とする。このようにして抽出された文字ブロック５６には、２以上の文字帯領域５１ｈと、これらの文字帯領域５１ｈに挟まれた細い白帯領域５０ｈとが含まれている。つまり、各文字ブロック５６には、２行以上の文字がそれぞれ含まれている。

図６は、図４（ａ）の各文字帯領域５１ｈごとに両端位置が求められた状態を示した図であり、図中の文字領域５７は、文字帯領域５１ｈのうち、両端の余白部を除いた表示領域である。ここでは、各文字帯領域５１ｈごとに、最も左側に位置する文字色の位置と、最も右側に位置する文字色の位置が求められている。

次に、各文字ブロック５６ごとに両端位置のばらつきが求められ、これらのばらつきに基づいて、読取画像の書出方向が判別される。ここでは、左端位置のばらつきと右端位置のばらつきとを求めて、これらのばらつきを比較している。その結果、左端位置のばらつきの方が小さいことがわかり、読取画像の書出方向は左であると判別することができる。

このようにして、書出方向が上下左右の４方向のいずれであるのかを判別すれば、その判別結果と、記載様式に基づいて、読取画像の正立方向を判別することができる。つまり、記載様式が横書きであれば、書出方向を時計方向に９０°回転させた方向が正立方向となることがわかる。一方、記載様式が縦書きであれば、書出方向が正立方向であることがわかる。また、正立方向がわかれば、読取画像の上方向と正立方向とを一致させるように、読取画像を回転させれば、正立状態の読取画像が得られる。このような回転処理を正立化処理と呼ぶ。

図７は、図１の画像処理装置１００の要部について一構成例を示したブロック図であり、主制御部１により実行されるコンピュータプログラムとして実現される正立化処理の機能ブロックが示されている。この主制御部１は、傾き補正部１０、縮小処理部１１、画素値積算部１２、文字並び判別部１３、書出方向判別部１４、正立方向判別部１５及び画像回転部１６によって構成される。

また、図８及び図９は、図７の主制御部１による正立化処理の一例を示した図であり、正立化処理の対象となる読取画像の一例が示されている。

傾き補正部１０には、正立化処理の対象となる読取画像が入力される。傾き補正部１０は、スキュー角に基づいて、読取画像を回転させることにより、各読取画像のスキュー角を補償する補正処理を行っている。スキュー角とは、スキャナ２の基準方向に対する文書原稿の傾きであり、例えば、文書原稿の端辺をスキャナ２が読み取ることによって検知することができる。この傾き補正は、後段の文字並び判別部１３及び書出方向判別部１４における判別精度を向上させるために行われる処理であり、省略することもできる。

縮小処理部１１では、読取画像のデータ量を減少させる処理、例えば、読取画像を構成する画素数を減少させる処理や、各画素の階調数を減少させる処理が行われている。本実施の形態による正立化処理は、読取画像のデータ量を削減しても、判別精度が顕著に低下することはない。この縮小処理は、画素値積算部１２などにおける処理負荷を軽減するために行われる処理であり、省略することもできる。

画素値積算部１２は、縦方向及び横方向に整列する画素列について画素値６０ｈ，６０ｖを積算している。すなわち、縮小処理後の読取画像を構成する全画素を横方向に延びる多数の画素列に分割し、各画素列ごとに画素値の和６０ｈが求められる。同様にして、全画素を縦方向に延びる多数の画素列に分割し、各画素列ごとに画素値の和６０ｖが求められる。本実施の形態では、画素値として輝度が与えられていれば、当該輝度を最大輝度との差である黒レベルに変換し、画素列ごとに黒レベルの和を求めているものとする。

文字並び判別部１３は、読取画像内における文字の並び方向が横方向又は縦方向のいずれであるのかを判別している。この文字並び判別部１３は、白帯領域５０ｈ，５０ｖを検出する白帯検出部１３ａと、白帯領域５０ｈ，５０ｖの数を比較する白帯数比較部１３ｂによって構成される。

白帯検出部１３ａは、読取画像内において縦方向及び横方向に延びる白色の画素からなる白帯領域５０ｈ，５０ｖを検出している。この白帯領域５０ｈ，５０ｖは、画素値積算部１２によって求められた積算値６０ｈ，６０ｖが所定の白帯判定範囲内となる１又は隣接する２以上の画素列からなる。ここでは、上記積算値６０ｈ，６０ｖを所定の閾値（白帯判定レベル）と比較しているものとする。例えば、各画素値（黒レベル）の和が白帯検出レベルを下回っている画素列であって、１又は隣接する２以上の画素列によって構成される領域として、白帯領域５０ｈ，５０ｖが求められる。また、２つの白帯領域５０ｈ，５０ｖによって挟まれた領域として文字帯領域５１ｈ，５１ｖが求められる。

白帯数比較部１３ｂは、白帯領域５０ｈ及び５０ｖの数を比較し、文字の並び方向が横方向又は縦方向のいずれであるのかを判別している。すなわち、横方向の白帯領域５０ｈの数の方が多ければ、文字の並び方向が横方向であると判別する。一方、縦方向の白帯領域５０ｖの数の方が多ければ、文字の並び方向が縦方向であると判別する。図８の（ｂ）には、文字の並び方向が横方向であると判別された場合が示されている。

書出方向判別部１４は、文字の書出方向を判別している。すなわち、文字の並び方向が横方向であれば、書出方向が左右のいずれであるのかを判別し、文字の並び方向が縦方向であれば、書出方向が上下のいずれであるのかを判別する。この書出方向判別部１４は、文字ブロック抽出部１４ａ、両端偏差検出部１４ｂ及び偏差比較部１４ｃによって構成される。

文字ブロック抽出部１４ａは、文字並び判別部１３によって判別された文字の並び方向と同じ方向の白帯領域５０ｈのうち、所定の閾値（ブロック判定レベル）を超える幅を有するものを白ブロック５４とする。また、文字領域の全域にわたって、黒レベルが高い文字帯領域５１ｈを罫線ブロック５５とする。ここで、文字帯領域５１ｈのうち、領域内の画素値（黒レベル）の和を領域幅で割った値が、所定の閾値（罫線判定レベル）を超えるものを罫線ブロック５５としている。このようにして求められた白ブロック５４及び罫線ブロック５５によって区分された残りの各領域を文字ブロック５６とする。

両端偏差検出部１４ｂは、各文字ブロック５６内における文字領域５７の両端位置の偏差を求めている。この両端偏差検出部１４ｂでは、各文字帯領域５１ｈごとに、文字が記載されている文字領域５７が求められる。この文字領域５７は、文字帯領域５１ｈから文字が記載されていない両側の余白部分を除いた領域であり、その両端の位置によって特定される。そして、各文字ブロック５６ごとに、当該文字ブロック５６に属する各文字領域５７の両端位置の偏差が求められる。つまり、１つの文字ブロック５６に属する各文字領域５７の一端の位置についての偏差と、他端の位置についての偏差がそれぞれ求められる。ここでは、左端位置の標準偏差と、右端位置の標準偏差とがそれぞれ求められる。

偏差比較部１４ｃは、各文字ブロック５６における両端位置の偏差に基づいて、読取画像の書出方向を判別している。図８（ｂ）に示したように、複数の文字領域５７について両端の位置を比較すれば、文字が書き出される側の端部の位置は、他方の端部の位置に比べて揃っている。このため、読取画像内に含まれる各文字領域５７の両端位置の偏差に基づいて、書出方向を判別することができる。つまり、一端の位置についての偏差と、他端の位置についての偏差を求め、偏差の小さい方が、書出方向であると判別することができる。

ここでは、文字ブロック５６の面積を荷重として、各文字ブロック５６の左端位置の標準偏差の荷重和を求めることにより、読取画像の左端偏差を求めている。同様にして、文字ブロック５６の面積を荷重として、各文字ブロック５６の右端位置の標準偏差の荷重和を求めることにより、読取画像の右端偏差を求めている。この様にして求められた読取画像の左端偏差と右端偏差を比較すれば、左端偏差の方が小さくなっている。このため、書出方向は、左方向であると判別することができる。

また、偏差比較部１４ｃは、文字ブロック５６ごとに書出方向を求め、これらの書出位置に基づいて、読取画像の書出方向と判別するものであってもよい。つまり、まず、文字ブロック５６ごとに両端の偏差を比較することによって、文字ブロック５６ごとの書出方向が求められる。次に、求められた書出方向ごとに文字ブロック５６の面積の和を求め、面積の和がより大きい方を読取画像の書出方向と判別することができる。図８（ｂ）の例では、文字ブロック５６ごとに、書出方向が左右のいずれであるのかが判別される。そして、書出方向が左と判別された文字ブロック５６の面積の和と、右と判別された文字ブロック５６の面積の和とが比較される。その結果、前者の方が大きくなっていることから、書出方向は、左方向であると判別することができる。

さらに、書出方向の判別方法として、いずれの方法を採用する場合であっても、文字ブロック５６の面積に代えて、文字ブロック５６の高さを利用することもできる。

正立方向判別部１５は、書出方向及び記載様式に基づいて正立方向を判別している。記載様式が横書きの場合、求められた書出方向を時計方向に９０°回転させた方向が正立方向と判別され、記載様式が縦書きの場合には、求められた書出方向が正立方向と判別される。この判別結果は、表示出力部５に表示され、あるいは、端末通信部４を介してユーザ端末装置に送信され、ユーザ端末装置のディスプレイ上に表示される。

画像回転部１６は、読取画像の上方向と正立方向を一致させるように、当該読取画像を回転させることによって、正立状態の読取画像へ変換している。このようにして、正立化された読取画像は、表示出力部５、プリンタ６、ファクシミリ通信部７、端末通信部４又はデータ記憶部８へ出力される。

なお、画像回転部１６が長方形の読取画像を回転させる際、読取画像の長手方向を指定された方向にする条件と、文字の正立方向を一致させる条件のいずれを優先させてもよい。すなわち、読取画像の正立方向に基づいて読取画像を回転させ、読取画像が縦長及び横長のいずれになることも許容してもよい。また、読取画像が縦長及び横長のいずれであるのかは予め指定されており、読取画像の正立方向に基づいて更に１８０度回転させるものであってもよい。

図１０のステップＳ１０１〜Ｓ１０７は、図１の画像処理装置１００による動作の一例を示したフローチャートであり、正立化処理の動作が記載されている。このフローチャートは、操作入力部３のユーザ操作により、あるいは、ユーザ端末装置からの制御信号により、正立化処理が指示された場合に開始される。また、スキャナ２による文書原稿の光学読み取り時、プリンタ６による印刷出力時、ファクシミリ通信部７による送信時、あるいは、端末通信部４からの出力時に開始するようにすることもできる。

正立化処理の対象となる読取画像に対し、ステップＳ１０１〜Ｓ１０７の処理が順次に行われる。すなわち、スキュー角を補償する傾き補正処理（ステップＳ１０１）、データ量を削減するための縮小処理（ステップＳ１０２）、縦方向及び横方向の各画素列ごとに画素値を積算する画素値積算処理（ステップＳ１０３）、並びに、上記積算値に基づいて白帯領域５０ｈ，５０ｖを検出し、文字の並び方向を判別する文字並び判別処理（ステップＳ１０４）が行われる。

次に、文字の並び方向に基づいて書出方向判別処理が実行される（ステップＳ１０５）。つまり、文字領域５７の両端位置のばらつきが求められ、このばらつきに基づいて書出方向が判別される。そして、書出方向と記載様式に基づいて、読取画像の正立方向を判別する正立方向判別処理が実行される（ステップＳ１０６）。その後、この判別結果に基づいて、読取画像の上方向と正立方向が一致するように、読取画像の回転処理が行われる（ステップＳ１０７）。

本実施の形態による画像処理装置１００は、読取画像における文字の並び方向を判別し、この並び方向に基づいて文字の書出方向を判別している。そして、これらの書出方向及び記載様式に基づいて、読取画像の正立方向を判別している。このため、パターンマッチング技術を利用する従来の判別方法に比べて、処理負荷が軽く、短い処理時間で判別結果を得ることができる。

また、本実施の形態による画像処理装置１００は、読取画像内で縦方向及び横方向の画素列であって、概ね文書原稿の地色の画素からなる白帯領域５０ｈ，５０ｖを検出し、これらの白帯領域５０ｈ，５０ｖの数の比較結果に基づいて文字の並び方向を判別している。このため、文字の並び方向を容易に判別することができる。

また、本実施の形態による画像処理装置１００は、白帯領域５０ｈ，５０ｖによって区分された文字帯領域５１ｈ，５１ｖごとに、文字領域５７の両端位置を検出し、これらの両端位置の偏差に基づいて、読取画像における文字の書出方向を判別している。このため、文字の書出方向を容易に判別することができる。

特に、所定幅を超える白帯領域５０ｈ，５０ｖを白ブロック５４とし、白ブロック５４によって区切られた文字ブロック５６ごとに書出方向を判別し、これらの書出方向に基づいて、読取画像の書出方向を判別している。このため、文字の書出方向を正確に判別することができる。

実施の形態２．
図１１は、本発明の実施の形態２による画像処理装置１００の要部について一構成例を示した図であり、主制御部１により実行されるコンピュータプログラムとして実現される正立化処理の機能ブロックが示されている。図７のブロック図と比較すれば、正立方向判別部１５に言語種別が入力されている点で異なる。

この正立方向判別部１５は、書出方向、記載様式及び言語種別に基づいて、正立方向を判別している。言語種別は、文書原稿に含まれている文字の言語に関する情報であり、操作入力部３を用いて入力され、あるいは、データ記憶部８に予め格納されている。

一般的に横書きの場合の書出方向は左方向である。ところが、アラビア語のように、横書きの場合の書出方向が右側となる言語も存在する。このため、言語種別を指定することによって、正立方向判別部１５は、言語種別に応じた処理を行うことができる。すなわち、横書きの場合の書出方向が右側となる言語が指定されている場合、横書きの書出方向を反時計方向に９０°回転させた方向を正立方向と判別する。

なお、英語やドイツ語のように、文字の縦書きが行われない言語であれば、記載様式を指定する必要はない。つまり、記載様式として、一般的には、縦書き又は横書きの一方しか利用されない言語の場合、言語種別から記載様式を求めてもよい。

なお、上記実施の形態では、読取画像を構成する各画素の輝度を利用して正立方向の判別を行っている。このため、読取画像が、カラー画像、グレースケース画像、モノクロ画像のいずれの場合にも適用することができる。例えば、読取画像が、ＲＧＢ色空間のカラー画像情報であれば、まずＹＣｒＣｂ色空間のカラー画像情報に変換した後、Ｙ（輝度）成分に基づいて正立化処理が行われる。

また、読取画像がカラー画像の場合、操作入力部３やユーザ端末装置から文字色を指定して正立化処理を行うこともできる。例えば、白帯領域５０ｈ，５０ｖを検出する際、検出文字色以外は地色とみなすことにより、文書原稿中に写真などが含まれていた場合であっても、白帯領域５０ｈ，５０ｖ及び文字帯領域５１ｈ，５１ｖを正確に検出することができる。

実施の形態３．
上記実施の形態では、白帯領域５０ｈ及び５０ｖの数を比較することによって文字の並び方向を判別する画像処理装置の例について説明した。これに対し、本実施の形態では、白帯領域５０ｈ及び５０ｖの幅に基づいて文字の並び方向を判別する画像処理装置について説明する。

図１２は、実施の形態３による画像処理装置の主制御部１について一構成例を示したブロック図である。図７のブロック図と比較すれば、白帯数比較部１３ｂに代えて、白帯幅比較部１３ｃを備えている点で異なる。この白帯幅比較部１３ｃは、横方向及び縦方向の白帯領域５０ｈ，５０ｖの幅の平均値をそれぞれ求め、平均値のより大きい方向を文字の並び方向と判別する。

読取画像内の文字に等幅フォントが用いられ、文字が一定ピッチで配置されている場合には、文字の並び方向に隣接する文字間の空白によって、文字の並び方向と直交する方向に延びる白帯領域が形成される。従って、縦方向及び横方向の白帯領域の数を比較しても、文字並び方向を正確に判定できない場合がある。

このような場合を考慮して、白帯領域の幅に基づいて、並び方向を判別することもできる。一般に、並び方向に隣接する文字間の空白は、行間の空白よりも狭い。このため、文字の並び方向と直交する方向に延びる白帯領域の幅は、文字の並び方向に延びる白帯領域の幅よりも細くなる。従って、縦方向及び横方向について白帯領域の幅の平均値をそれぞれ求め、平均値のより大きい方向を文字の並び方向と判別することもできる。

なお、白帯領域の幅の平均値に代えて、幅の最小値を用いることもできる。また、数の比較結果と、幅の平均値の比較結果とに基づいて、文字の並び方向を判別することもできる。

なお、上記実施の形態では、白帯検出部１３ａが、縦方向及び横方向の各画素列について画素値の和を求める場合について説明したが、画素値の和には、画素値の平均も含まれることは言うまでもない。

本発明の実施の形態１による画像処理装置１００の一構成例を示したブロック図である。 横書きの文字を含む読取画像であって、正立方向が異なる読取画像の一例が示されている。 縦書きの文字を含む読取画像であって、正立方向が異なる読取画像の一例が示されている。 読取画像から白帯領域５０ｈ，５０ｖが検出された状態を示した図である。 図２（ａ）の読取画像から白ブロック５４及び文字ブロック５６が抽出された状態を示した図である。 図４（ａ）の各文字帯領域５１ｈごとに両端位置が求められた状態を示した図である。 図１の画像処理装置１００の要部について一構成例を示したブロック図である。 図７の主制御部１による正立化処理の一例を示した図である。 図７の主制御部１による正立化処理の一例を示した図である。 図１の画像処理装置１００による動作の一例を示したフローチャートであり、正立化処理の動作が記載されている。 本発明の実施の形態２による画像処理装置１００の要部について一構成例を示した図である。 実施の形態３による画像処理装置の主制御部１について一構成例を示したブロック図である。

符号の説明

１００ 画像処理装置
１ 主制御部
２ スキャナ
３ 操作入力部
４ 端末通信部
５ 表示出力部
６ プリンタ
７ ファクシミリ通信部
８ データ記憶部
１０ 傾き補正部
１１ 縮小処理部
１２ 画素値積算部
１３ 文字並び判別部
１３ａ 白帯検出部
１３ｂ 白帯数比較部
１４ 書出方向判別部
１４ａ 文字ブロック抽出部
１４ｂ 両端偏差検出部
１４ｃ 偏差比較部
１５ 正立方向判別部
１６ 画像回転部
５０ｈ，５０ｖ 白帯領域
５１ｈ，５１ｖ 文字帯領域
５４ 白ブロック
５５ 罫線ブロック
５６ 文字ブロック
５７ 文字領域
６０ｈ，６０ｖ 画素列の積算値
１００ 画像処理装置

Claims (9)

1. 文書原稿の光学読み取りを行って、読取画像を生成する光学読取手段と、
   縦書き又は横書きのいずれかを記載様式として指定する記載様式指定手段と、
   上記読取画像における文字の並び方向を判別する文字並び判別手段と、
   上記並び方向に基づいて、上記読取画像における文字の書出方向を判別する書出方向判別手段と、
   上記書出方向及び記載様式に基づいて、上記読取画像の正立方向を判別する正立方向判別手段とを備えたことを特徴とする画像処理装置。
2. 上記文字並び判別手段は、上記読取画像を構成する縦方向及び横方向の画素列であって、画素値の和が白帯判定範囲内となる１又は２以上の画素列からなる白帯領域を検出する白帯領域検出手段を有し、これらの白帯領域の数に基づいて文字の並び方向を判別することを特徴とする請求項１に記載の画像処理装置。
3. 上記文字並び判別手段は、上記読取画像を構成する縦方向及び横方向の画素列であって、画素値の和が白帯判定範囲内となる１又は２以上の画素列からなる白帯領域を検出する白帯領域検出手段を有し、これらの白帯領域の幅に基づいて文字の並び方向を判別することを特徴とする請求項１に記載の画像処理装置。
4. 上記書出方向判別手段は、上記並び方向における文字の両端位置の偏差に基づいて書出方向を判別することを特徴とする請求項１に記載の画像処理装置。
5. 上記書出方向判別手段は、幅が白ブロック判定レベルを超える上記白帯領域によって区切られた１又は２以上の文字ブロックを上記読取画像から抽出する文字ブロック抽出手段と、
   上記文字ブロック内における上記両端位置の偏差を検出する両端偏差検出手段とを有し、
   上記文字ブロックごとの上記両端位置の偏差に基づいて、上記読取画像における文字の書出方向を判別することを特徴とする請求項４に記載の画像処理装置。
6. 上記正立方向判別手段の判別結果を表示する表示手段を備えたことを特徴とする請求項１に記載の画像処理装置。
7. 上記正立方向判別手段の判別結果に基づいて、上記読取画像を回転させる画像回転手段を備えたことを特徴とする請求項１に記載の画像処理装置。
8. 言語種別を指定する言語種別指定手段を備え、
   上記正立方向判別手段は、上記書出方向、記載様式及び言語種別に基づいて、上記読取画像の正立方向を判別することを特徴とする請求項１に記載の画像処理装置。
9. 光学読取装置による文書原稿の光学読み取りを制御し、読取画像を生成する光学読取ステップと、
   縦書き又は横書きのいずれかが記載様式として指定される記載様式指定ステップと、
   上記読取画像における文字の並び方向を判別する文字並び判別ステップと、
   上記並び方向に基づいて、上記読取画像における文字の書出方向を判別する書出方向判別ステップと、
   上記書出方向及び記載様式に基づいて、上記読取画像の正立方向を判別する正立方向判別ステップとを実行するための手順からなるコンピュータプログラム。

Images