JP2004241827A - 画像処理装置、画像処理方法、画像処理プログラムおよび記憶媒体 - Google Patents
画像処理装置、画像処理方法、画像処理プログラムおよび記憶媒体 Download PDFInfo
- Publication number
- JP2004241827A JP2004241827A JP2003026240A JP2003026240A JP2004241827A JP 2004241827 A JP2004241827 A JP 2004241827A JP 2003026240 A JP2003026240 A JP 2003026240A JP 2003026240 A JP2003026240 A JP 2003026240A JP 2004241827 A JP2004241827 A JP 2004241827A
- Authority
- JP
- Japan
- Prior art keywords
- identification mark
- image
- identification
- image data
- relationship
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Abstract
【課題】手書きメモのような不定形の文書に対しても精度良く天地を識別し補正することができる画像処理装置、画像処理方法、画像処理プログラムおよび記憶媒体を提供する。
【解決手段】画像データを入力する画像入力部１と、天地関係を識別するための天地識別マークを記憶する天地識別マーク辞書部４と、画像入力部１が入力した画像データから、天地識別マーク辞書部４が記憶する天地識別マークと一致する天地関係識別マークを検出し、検出した天地識別マークに基づいて画像データの天地関係を識別する領域設定部２および天地マーク照合部３と、この識別結果に基づいて画像データの天地関係を正常な天地関係に補正する画像補正部５と、補正した画像データを出力する画像出力部６とを備える。
【選択図】 図１
【解決手段】画像データを入力する画像入力部１と、天地関係を識別するための天地識別マークを記憶する天地識別マーク辞書部４と、画像入力部１が入力した画像データから、天地識別マーク辞書部４が記憶する天地識別マークと一致する天地関係識別マークを検出し、検出した天地識別マークに基づいて画像データの天地関係を識別する領域設定部２および天地マーク照合部３と、この識別結果に基づいて画像データの天地関係を正常な天地関係に補正する画像補正部５と、補正した画像データを出力する画像出力部６とを備える。
【選択図】 図１
Description
【０００１】
【発明の属する技術分野】
本発明は、文書画像の天地（上下関係）を識別し、これを補正する画像処理装置、画像処理方法、画像処理プログラムおよび記憶媒体に関する。
【０００２】
【従来の技術】
従来、文書画像等の画像の天地関係（上下関係）を識別し、天地関係が逆の画像であった場合は正常な状態に補正する技術として種々の提案がなされている。
【０００３】
例えば、特許文献１に開示された技術では、画像の特徴を利用するようになっている。すなわち、行頭から行末へ所定幅内に含まれる黒画素数より大であるというレイアウト上の性質を利用し、イメージスキャナ等により読み取られ入力された画像を縦方向に適当な数切り出して、画像の天地関係を判別するようになっている。そして、画像の天地関係が逆と判別された場合には、画像を回転させて天地関係を正常な状態に補正している。
【０００４】
一方、文字認識技術を利用して天地関係を識別するものとしては、特許文献２に開示された技術がある。このものは、スキャナ等に読み取られ入力された原稿の画像データから文字を切り出してその特徴量を抽出し、抽出された特徴量を文字の回転角度に応じて変換して変換後の特徴量を辞書と比較照合することにより回転文字を認識し、また正常な天地の状態にするための回転角度を決定するようになっている。
【０００５】
また、同様の技術として他に、特許文献３〜６に開示されたものがある。
【０００６】
【特許文献１】
特開平１−１０５２６６号公報
【０００７】
【特許文献２】
特開平１−２５０１８４号公報
【０００８】
【特許文献３】
特開平８−２１２２９８号公報
【０００９】
【特許文献４】
特開平８−２７４９８０号公報
【００１０】
【特許文献５】
特開平８−２９３０００号公報
【００１１】
【特許文献６】
特開２０００−１１３１０３号公報
【００１２】
【発明が解決しようとする課題】
しかしながら、上記従来の技術はいずれもオフィスで通常用いられるようないわば定型の文書に対して天地を識別するものであり、例えば、不定形の文書である手書きのメモや、複雑なレイアウトの文書に対しては、精度良く天地を識別し補正をすることができないという問題がある。
【００１３】
例えば、特許文献１に開示された技術では、対象とする文書レイアウトが予め想定したものと合致した場合には期待した精度で天地を識別して補正をし得るが、手書きのメモ等の想定外の文書に対しては精度よく天地を識別して補正することができないという問題がある。
【００１４】
また、特許文献２に開示された技術では、同一文書画像に複数の向きの文字列が混在する場合には、精度よく天地を識別して補正することができないという問題がある。
【００１５】
本発明は、上記課題を解決するためになされたものであり、手書きメモのような不定形の文書に対しても精度良く天地を識別し補正することができる画像処理装置、画像処理方法、画像処理プログラムおよび記憶媒体を提供することを目的とする。
【００１６】
【課題を解決するための手段】
本発明の画像処理装置は、上記課題を解決するために、画像データを入力する画像入力手段と、天地関係を識別するための天地識別マークを記憶する天地識別マーク記憶手段と、前記画像入力手段が入力した画像データから、前記天地識別マーク記憶手段が記憶する天地識別マークと一致する天地関係識別マークを検出する天地識別マーク検出手段と、前記天地識別マーク検出手段が検出する天地識別マークに基づいて前記画像入力手段が入力した画像データの天地関係を識別する天地関係識別手段と、前記天地関係識別手段の識別結果に基づいて前記画像入力手段が入力した画像データの天地関係を正常な天地関係に補正する天地関係補正手段と、前記天地関係補正手段が天地関係を補正した画像データを出力する画像出力手段とを備たことを特徴としている。
【００１７】
この構成により、入力画像に記された天地識別マークを検出して天地方向を判別し、正常な天地方向に補正をするので、手書きメモのような不定形の文書の画像に対しても精度良く天地方向を識別し補正することができる。
【００１８】
また、本発明の画像処理装置は、上記課題を解決するために、前記天地識別マーク検出手段が、前記前記画像入力手段が入力した画像データから前記天地識別マーク記憶手段が記憶する天地識別マークと一致する天地関係識別マークを検出した場合に、前記画像データから天地関係識別マークを除去する天地識別マーク除去手段を備えたことを特徴としている。
【００１９】
この構成により、天地方向の補正をするとともに、入力画像データから天地識別マークを除去するようになっているので、天地識別マーク以外の本来の画像データのみを出力することができる。
【００２０】
また、本発明の画像処理装置は、上記課題を解決するために、前記天地識別マーク検出手段が前記天地識別マークを検出しない場合に、前記画像入力画像が入力した画像データに対して文字認識型の天地識別を行なう文字認識型天地識別手段を備えたことを特徴としている。
【００２１】
この構成により、入力画像から天地識別マークを検出することによる天地方向の判別と、天地識別マークが検出されない場合に行なう文字認識型の天地方向の判別との両方をすることができるので、天地識別マークが記されていない入力画像に対しても天地方向の判別をすることができる。
【００２２】
また、本発明の画像処理方法は、上記課題を解決するために、画像データを入力する画像入力ステップと、天地関係を識別するための天地識別マークを記憶する天地識別マーク記憶ステップと、前記画像入力ステップで入力した画像データから、前記天地識別マーク記憶ステップで記憶した天地識別マークと一致する天地関係識別マークを検出する天地識別マーク検出ステップと、前記天地識別マーク検出ステップで検出する天地識別マークに基づいて前記画像入力ステップで入力した画像データの天地関係を識別する天地関係識別ステップと、前記天地関係識別ステップの識別結果に基づいて前記画像入力ステップが入力した画像データの天地関係を正常な天地関係に補正する天地関係補正ステップと、前記天地関係補正ステップで天地関係を補正した画像データを出力する画像出力ステップとからなることを特徴としている。
【００２３】
このため、入力画像に記された天地識別マークを検出して天地方向を判別し、正常な天地方向に補正をするので、手書きメモのような不定形の文書の画像に対しても精度良く天地方向を識別し補正することができる。
【００２４】
また、本発明の画像処理方法は、上記課題を解決するために、前記天地識別マーク検出ステップは、前記前記画像入力ステップで入力した画像データから前記天地識別マーク記憶ステップで記憶する天地識別マークと一致する天地関係識別マークを検出した場合に、前記画像データから天地関係識別マークを除去する天地識別マーク除去ステップを備えたことを特徴としている。
【００２５】
このため、天地方向の補正をするとともに、入力画像データから天地識別マークを除去するようになっているので、天地識別マーク以外の本来の画像データのみを出力することができる。
【００２６】
また、本発明の画像処理方法は、上記課題を解決するために、前記天地識別マーク検出ステップで前記天地識別マークを検出しない場合に、前記画像入力ステップが入力した画像データに対して文字認識型の天地識別を行なう文字認識型天地識別ステップを備えたことを特徴としている。
【００２７】
このため、入力画像から天地識別マークを検出することによる天地方向の判別と、天地識別マークが検出されない場合に行なう文字認識型の天地方向の判別との両方をすることができるので、天地識別マークが記されていない入力画像に対しても天地方向の判別をすることができる。
【００２８】
また、本発明の画像処理プログラムは、上記課題を解決するために、コンピュータに、画像データを入力する画像入力機能と、天地関係を識別するための天地識別マークを記憶する天地識別マーク記憶機能と、前記画像入力機能が入力した画像データから、前記天地識別マーク記憶機能が記憶する天地識別マークと一致する天地関係識別マークを検出する天地識別マーク検出機能と、前記天地識別マーク検出機能が検出する天地識別マークに基づいて前記画像入力機能が入力した画像データの天地関係を識別する天地関係識別機能と、前記天地関係識別機能の識別結果に基づいて前記画像入力機能が入力した画像データの天地関係を正常な天地関係に補正する天地関係補正機能と、前記天地関係補正機能が天地関係を補正した画像データを出力する画像出力機能とを実現させることを特徴としている。
【００２９】
このため、入力画像に記された天地識別マークを検出して天地方向を判別し、正常な天地方向に補正をするので、手書きメモのような不定形の文書の画像に対しても精度良く天地方向を識別し補正することができる。
【００３０】
また、本発明の画像処理プログラムは、上記課題を解決するために、コンピュータに、前記天地識別マーク検出機能が、前記前記画像入力機能が入力した画像データから前記天地識別マーク記憶機能が記憶する天地識別マークと一致する天地関係識別マークを検出した場合に、前記画像データから天地関係識別マークを除去する天地識別マーク除去機能を実現させることを特徴としている。
【００３１】
このため、天地方向の補正をするとともに、入力画像データから天地識別マークを除去するようになっているので、天地識別マーク以外の本来の画像データのみを出力することができる。
【００３２】
また、本発明の画像処理プログラムは、上記課題を解決するために、コンピュータに、前記天地識別マーク検出機能が前記天地識別マークを検出しない場合に、前記画像入力機能が入力した画像データに対して文字認識型の天地識別を行なう文字認識型天地識別機能を実行させることを特徴としている。
【００３３】
このため、入力画像から天地識別マークを検出することによる天地方向の判別と、天地識別マークが検出されない場合に行なう文字認識型の天地方向の判別との両方をすることができるので、天地識別マークが記されていない入力画像に対しても天地方向の判別をすることができる。
【００３４】
また、本発明の記憶媒体は、上記課題を解決するために前記画像処理プログラムを記憶することを特徴としている。
【００３５】
このため、入力画像に記された天地識別マークを検出して天地方向を判別し、正常な天地方向に補正をするので、手書きメモのような不定形の文書の画像に対しても精度良く天地方向を識別し補正することができる。
【００３６】
また、天地方向の補正をするとともに、入力画像データから天地識別マークを除去するようになっているので、天地識別マーク以外の本来の画像データのみを出力することができる。
【００３７】
また、入力画像から天地識別マークを検出することによる天地方向の判別と、天地識別マークが検出されない場合に行なう文字認識型の天地方向の判別との両方をすることができるので、天地識別マークが記されていない入力画像に対しても天地方向の判別をすることができる。
【００３８】
【発明の実施の形態】
以下、本発明の好ましい実施形態を図面に基づいて説明する。
【００３９】
（第１の実施の形態）
【００４０】
図１は本発明の第１の実施の形態の画像処理装置１０の構成を示すブロック図である。
【００４１】
画像処理装置１０は、文書画像を入力する画像入力部１と、入力画像のうち処理対象領域を設定する領域設定部２と、予め定められた天地識別用のマークを記憶する天地マーク辞書部４と、入力画像に予め記された天地識別用のマークと天地マーク辞書部４が記憶する天地マークとを照合してこの結果に基づいて天地方向を判別する天地マーク照合部３と、天地マーク照合部３による判別結果に基づいて入力画像の天地を正常な天地方向に補正する画像補正部５と、補正された画像を出力する画像出力部６とから構成される。
【００４２】
画像入力部１は、例えばスキャナ等から構成され、画像処理装置１０に画像データを入力するものである。また、画像入力部１としては、ネットワーク上から画像データを入力するようなものであってもよい。
【００４３】
また、画像補正部５は入力画像に記された天地識別マークを除去した後に画像出力部６にデータを渡すようになっている。
【００４４】
図５（ａ）、（ｂ）、および図６（ａ）、（ｂ）は、本実施の形態で用いる天地識別マークの一例を示すものであり、天地識別マークを文書画像に記した状態を示すものである。図５（ａ）は天地方向が正常な入力画像を示し本実施の形態では北向きという。図５（ａ）に示す例では、一般に文書の余白とされる位置のうち文書の左上部に、天地識別マークとして▲マークを記すようにしている。また、図５（ｂ）は文書の向きが南向き、図６（ａ）は西向き、図６（ｂ）は東向きの状態を示す。
【００４５】
図７（ａ）、（ｂ）は天地マーク辞書部４の構成を模式的に示した図である。
【００４６】
まず、図７（ａ）に示す天地マーク辞書部４の構成は、天地マークの形状と位置と大きさにより天地マークを検出して入力画像の天地方向を判別するようになっている。図において、「パターン」は、天地識別マークの形状であり、２値配列として設置されている。また、「位置」は天地識別マーク（すなわちパターン）を検出する範囲を示し、解像度を考慮して座標情報へと変換されるものとする。例えば、識別番号１の「位置」である「左上３ｃｍ角以内」とは、文書の左上隅から縦方向と横方向にそれぞれ３ｃｍの範囲以内ということを表している。「倍率」は一定の範囲で天地識別マークの大きさの差異を吸収するための制御用パラメータであり、入力画像に記された天地識別マークの大小を許容するようになっている。「天地方向」は入力された画像が「識別番号」１〜４に分類したいずれかのパターンに合致した場合の天地方向の判別結果を意味する。
【００４７】
具体的には、識別番号１のケースでは、天地マーク辞書部４が記憶するパターン（▲）の０．５倍〜２倍の範囲の大きさの天地識別マーク（▲）が入力画像の左上３ｃｍ角以内の範囲で検出されれば、この入力画像の天地方向は「北向き」であると判別される。同様に、識別番号２〜４はそれぞれ「南向き」、「西向き」、「東向き」の場合を示す。
【００４８】
次に、図７（ｂ）に示す天地マーク辞書部４の構成では、天地マークの位置は制限せずに大きさの許容範囲を厳しく設定して天地マークを検出するようになっている。図７（ｂ）では、「位置」が「すべて」となっており、天地識別マークの検索を入力画像全体に渡り行うようになっている。また、「倍率」が０．９５〜１．０５となっており、図７（ａ）で説明した例と比べ範囲が狭くなっている。
【００４９】
なお、天地識別マークとしては「▲」マークに限定されることは無く、矢印マーク「↑」等を用いてもよい。その場合、例えば、図７（ａ）において、識別番号の５以降に矢印マーク「↑」を採用したパラメータを設定すればよい。また、天地マーク辞書部４の構成として図７（ａ）および図７（ｂ）に示す２つの例を説明したが、これらに示した具体的な値は一例であり、また、異なる天地識別マークを含む複数のパラメータ群の中から予め設定したパラメータ郡を用いるようにしてもよい。
【００５０】
次に、本実施の形態の画像処理装置１０の動作について図３に示すフローチャートに基づいて説明する。なお、以下の処理では図示しない制御部が全体の統括制御を行なうようになっている。
【００５１】
まず、画像入力部１に処理対象となる文書画像が入力されると（Ｓ１０１）、領域設定部２は天地マーク辞書部４が記憶する辞書の中から一つ（例えば、識別情報１のパラメータ）を取り出す（Ｓ１０２）。
【００５２】
次に、全ての識別情報について試行を行ったかを判別する（Ｓ１０３）。すなわち、天地マーク辞書として図７（ａ）の構成の辞書を用いた場合では、識別情報１〜識別情報４までの４つ全てについて、以下にＳ１０４〜Ｓ１０５で説明する領域設定処理とマーク検出処理を行ったかどうかをチャックする。全ての識別情報についてこれらの処理を終了した場合はＳ１１０に移り（Ｓ１０３、ＹＥＳ）、まだ全ての識別情報について領域設定処理とマーク検出処理を終えてない場合はＳ１０４に進み（Ｓ１０３、ＮＯ）、領域設定の処理を行なう。Ｓ１０４の領域設定処理では、Ｓ１０２で取り出した識別情報が含む「位置」のパラメータに基づいて入力画像上における天地識別マークの検出を行なうべき領域を設定する。なお、Ｓ１０４の領域設定処理では、天地マーク情報から位置情報を取り出し、入力画像の解像度に合わせて画素を基準とする領域情報へと変換し、これを処理対象領域として設定している。
【００５３】
次いで、Ｓ１０４で設定された領域に対して、Ｓ１０２で取り出した識別情報が含む「パターン」蘭の天地識別マークの形状（本実施形態では▲マーク）と合致するものの検出を行なう（Ｓ１０５）。ここでは、黒画素の連結成分を抽出し、その中から倍率条件に合うものを取り出し、画素配列としての照合を行なう。なお、この照合に先立って画素配列の大きさは正規化されるものとする。また、照合は、対応画素間の排他的論理和に従って行われる。すなわち、対応画素値が同一のときに１、同一でないときに０となる。これに基づいて定義された差異の値が予め定められた閾値よりも小であれば照合が取れたとみなす。
【００５４】
次いで、Ｓ１０６の検出結果が「合致するものあり」であれば（Ｓ１０６、ＹＥＳ）、Ｓ１０７に進み、「合致するもの無し」であれば（Ｓ１０６、ＮＯ）、Ｓ１０２に戻り今回とは別の識別情報を取り出す。具体的には、識別情報１について領域設定処理（Ｓ１０４）とマーク検出処理（Ｓ１０５）を行い検出ができなかったら、次は識別情報２について同様の処理を行なう。すなわち、Ｓ１０２〜Ｓ１０６の処理は記憶された識別情報の数だけ繰り返される。
【００５５】
Ｓ１０７では、入力画像の天地方向がどのような向きであるかを、Ｓ１０５のマーク検出で合致した際の識別情報の「天地方向」の欄から求める。
【００５６】
次いで、Ｓ１０８では、上記各処理の対象とした入力画像のデータ上から天地識別マークを除去する。すなわち、天地識別マークである黒画素の連結成分を除去する。
【００５７】
次いで、Ｓ１０７で行った天地方向の判別結果に基づいて天地方向を正常な方向に補正する（Ｓ１０９）。具体的には、画像の回転を行い、０度、９０度、１８０度、２７０度といった９０度の倍数の回転による天地方向の補正の他、３度や５度といった微小な角度での回転による微調整も行なう。
【００５８】
最後にＳ１０９で天地を補正された画像を出力して（Ｓ１１０）終了する。
【００５９】
なお、Ｓ１０５のマーク検出の処理は、本実施形態で採用したような画像配列のマッチングに限られず、ＯＣＲのように他の異なる特徴を抽出して照合するようにしてもよい。
【００６０】
以上説明したように、本実施の形態では、入力画像に記された天地識別マークを検出して天地方向を判別し、正常な天地方向に補正をするので、手書きメモのような不定形の文書の画像に対しても精度良く天地方向を識別し補正することができる。
【００６１】
また、本実施の形態では、天地方向の補正をするとともに、入力画像データから天地識別マークを除去するようになっているので、天地識別マーク以外の本来の画像データのみを出力することができる。
【００６２】
（第２の実施の形態）
【００６３】
本発明の第２の実施の形態に係る画像処理装置２０は、第１の実施の形態で説明した天地識別マークを用いた天地判定と、従来型の天地判定との両方の機能を備え、これらを自動的に切り替えるように構成したものである。なお、第１の実施の形態の画像処理装置１０と同一の構成要素については同一の符号を付し、その説明を一部省略する。また、画像処理装置２０全体の統括制御は図示しない制御部が行なうようになっている。
【００６４】
図２は第２の形態の画像処理装置２０の構成を示すブロック図である。
【００６５】
画像処理装置２０は、第１の実施の形態の画像処理装置１０で説明した画像入力部１と、画像補正部５と、画像出力部６を備える。また、天地マーク検出部７は、第１の実施の形態の画像処理装置１０で説明した領域設定部２と、天地マーク照合部３と、天地マーク辞書部４とから構成される。すなわち、領域設定部２と、天地マーク照合部３と、天地マーク辞書部４を一つにまとめたものが本実施の形態の天地マーク検出部７となる。
【００６６】
また、画像処理装置２０は文字認識型天地判定部８を備え、文字認識型天地判定部８は、従来型の天地判定、すなわち天地識別マークによらない天地判定を行なう。
【００６７】
切替制御部９は、画像入力部１から入力された画像の出力先を天地マーク検出部７または文字認識型天地判定部８のいずれかに切り替えるようになっている。具体的には、切替制御部９は、画像入力部１から入力された画像の出力先をまず先に天地マーク検出部７に出力して、第１の実施の形態と同様に、原稿画像に予め記された天地識別マークを検出することによる天地方向の判別を天地マーク検出部７に行わせる。そして、天地マーク検出部７が天地識別マークの検出をできなかった場合には、画像入力部１から入力された画像を文字認識型天地判定部８に出力して、文字認識型天地判定部８に従来型の天地判定を行なわせる。
【００６８】
次に、図４に示すフローチャートを参照して画像処理装置２０の動作を説明する。なお、Ｓ２０１〜Ｓ２１０は、第１の実施の形態で説明した動作Ｓ１０１〜Ｓ１１０（図３参照）と同じ処理をするようになっている。本実施形態の画像処理装置２０の動作は、入力画像から天地識別マークが検出されたかった場合に（Ｓ２０３、ＹＥＳ）、Ｓ２１１において文字認識型天地判定が行われるようになっている点において、第１の実施形態で説明した画像処理装置１０と異なっている。
【００６９】
図４において、まず、画像入力部１に処理対象となる文書画像が入力されると（Ｓ２０１）、天地マーク検出部７は、天地マーク検出部７が記憶する辞書の中から一つ（例えば、識別情報１のパラメータ）を取り出す（Ｓ２０２）。
【００７０】
次に、全ての識別情報について試行を行ったかを判別する（Ｓ２０３）。すなわち、天地マーク辞書として図７（ａ）の構成の辞書を用いた場合では、識別情報１〜識別情報４までの４つ全てについて、以下にＳ２０４〜Ｓ２０５で説明する領域設定処理とマーク検出処理を行ったかどうかをチェックする。全ての識別情報についてこれらの処理を終了した場合は後述するＳ２１１の処理を経た後Ｓ２０９に移り（Ｓ２０３、ＹＥＳ）、まだ全ての識別情報について領域設定処理とマーク検出処理を終えてない場合はＳ２０４に進み（Ｓ２０３、ＮＯ）、領域設定の処理を行なう。Ｓ２０４の領域設定処理では、Ｓ２０２で取り出した識別情報が含む「位置」のパラメータに基づいて入力画像上における天地識別マークの検出を行なうべき領域を設定する。なお、Ｓ２０４の領域設定処理では、天地マーク情報から位置情報を取り出し、入力画像の解像度に合わせて画素を基準とする領域情報へと変換し、これを処理対象領域として設定している。
【００７１】
次いで、Ｓ２０４で設定された領域に対して、Ｓ２０２で取り出した識別情報が含む「パターン」蘭の天地識別マークの形状（本実施形態では▲マーク）と合致するものの検出を行なう（Ｓ２０５）。ここでは、黒画素の連結成分を抽出し、その中から倍率条件に合うものを取り出し、画素配列としての照合を行なう。なお、この照合に先立って画素配列の大きさは正規化されるものとする。また、照合は、対応画素間の排他的論理和に従って行われる。すなわち、対応画素値が同一のときに１、同一でないときに０となる。これに基づいて定義された差異の値が予め定められた閾値よりも小であれば照合が取れたとみなす。
【００７２】
次いで、Ｓ２０６の検出結果が「合致するものあり」であれば（Ｓ２０６、ＹＥＳ）、Ｓ２０７に進み、「合致するもの無し」であれば（Ｓ２０６、ＮＯ）、Ｓ２０２に戻り今回とは別の識別情報を取り出す。具体的には、識別情報１について領域設定処理（Ｓ２０４）とマーク検出処理（Ｓ２０５）を行い検出ができなかったら、次は識別情報２について同様の処理を行なう。すなわち、Ｓ２０２〜Ｓ２０６の処理は記憶された識別情報の数だけ繰り返される。
【００７３】
Ｓ２０７では、入力画像の天地方向がどのような向きであるかを、Ｓ２０５のマーク検出で合致した際の識別情報の「天地方向」の欄から求める。
【００７４】
次いで、Ｓ２０８では、上記各処理の対象とした入力画像のデータ上から天地識別マークを除去する。すなわち、天地識別マークである黒画素の連結成分を除去する。
【００７５】
また、Ｓ２１１では、文字認識形の天地判定を行なう。詳細には、Ｓ１０２〜Ｓ１０６の処理が識別情報の数だけ繰り返される。Ｓ２０３において全ての識別情報の処理が終了したと判別されると、天地識別マークの検出による天地方法の判別から文字認識型の天地判別に切り替えるようになっている。
【００７６】
次いで、Ｓ２０７で行った天地方向の判別結果、またはＳ２１１で行った文字認識形天地判定の結果に基づいて天地方向を正常な方向に補正する（Ｓ２０９）。具体的には、画像の回転を行い、０度、９０度、１８０度、２７０度といった９０度の倍数の回転による天地方向の補正の他、３度や５度といった微小な角度での回転による微調整も行なう。
【００７７】
最後にＳ２０９で天地を補正された画像を出力して（Ｓ２１０）終了する。
【００７８】
以上説明したように、本実施の形態では、入力画像から天地識別マークを検出することによる天地方向の判別と、天地識別マークが検出されない場合に行なう文字認識型の天地方向の判別との両方をすることができるので、天地識別マークが記されていない入力画像に対しても天地方向の判別をすることができる。
【００７９】
（第３の実施の形態）
【００８０】
本発明は、コンピュータに実行させる画像処理プログラムとしても実現させることができる。すなわち、第１の実施の形態、または第２の実施の形態で説明したハードウェア構成を実現するための画像処理プログラムとして実施することができる。図８は、画像処理プログラムとして実行させるための構成を示す図である。
【００８１】
本発明を適用した画像処理プログラムは、コンピュータに、画像データを入力する画像入力機能と、天地関係を識別するための天地識別マークを記憶する天地識別マーク記憶機能と、前記画像入力機能が入力した画像データから、前記天地識別マーク記憶機能が記憶する天地識別マークと一致する天地関係識別マークを検出する天地識別マーク検出機能と、前記天地識別マーク検出機能が検出する天地識別マークに基づいて前記画像入力機能が入力した画像データの天地関係を識別する天地関係識別機能と、前記天地関係識別機能の識別結果に基づいて前記画像入力機能が入力した画像データの天地関係を正常な天地関係に補正する天地関係補正機能と、前記天地関係補正機能が天地関係を補正した画像データを出力する画像出力機能とを実行させるようになっている。
【００８２】
また、前記天地識別マーク検出機能が、前記前記画像入力機能が入力した画像データから前記天地識別マーク記憶機能が記憶する天地識別マークと一致する天地関係識別マークを検出した場合に、前記画像データから天地関係識別マークを除去する天地識別マーク除去機能を備える。
【００８３】
また、前記天地識別マーク検出機能が前記天地識別マークを検出しない場合に、前記画像入力機能が入力した画像データに対して文字認識型の天地識別を行なう文字認識型天地識別機能を実行させるようになっている。
【００８４】
図８において、ＣＤ−ＲＯＭ７００等の記録媒体に録された上記画像処理プログラムは、ＣＤ−ＲＯＭ７００を読み込むドライブ６００を介して補助記憶装置４００に読み込まれる。また、ＣＰＵ２００は、補助記憶装置４００やメモリ等の記憶装置３００との間でデータをやりとりしながら、あるいはコントローラ８００を介して接続されたネットワークを通じてネットワークに接続された他のコンピュータと連携しながら、画像処理プログラムを実行するようになっている。
【００８５】
また、上記画像処理プログラムは、ＣＤ−ＲＯＭ７００または補助記憶装置４００等の記録媒体に記憶させ、記憶媒体として提供することができる。
【００８６】
また、本発明は画像処理方法として提供することもでき、その場合、本発明に係る画像処理方法は、画像データを入力する画像入力ステップと、天地関係を識別するための天地識別マークを記憶する天地識別マーク記憶ステップと、前記画像入力ステップで入力した画像データから、前記天地識別マーク記憶ステップで記憶した天地識別マークと一致する天地関係識別マークを検出する天地識別マーク検出ステップと、前記天地識別マーク検出ステップで検出する天地識別マークに基づいて前記画像入力ステップで入力した画像データの天地関係を識別する天地関係識別ステップと、前記天地関係識別ステップの識別結果に基づいて前記画像入力ステップが入力した画像データの天地関係を正常な天地関係に補正する天地関係補正ステップと、前記天地関係補正ステップで天地関係を補正した画像データを出力する画像出力ステップとからなる。
【００８７】
前記天地識別マーク検出ステップは、前記前記画像入力ステップで入力した画像データから前記天地識別マーク記憶ステップで記憶する天地識別マークと一致する天地関係識別マークを検出した場合に、前記画像データから天地関係識別マークを除去する天地識別マーク除去ステップを備える。
【００８８】
また、前記天地識別マーク検出ステップで前記天地識別マークを検出しない場合に、前記画像入力ステップが入力した画像データに対して文字認識型の天地識別を行なう文字認識型天地識別ステップを備える。
【００８９】
上記画像処理プログラム、画像処理プログラムを記憶した記憶媒体、および画像処理方法においても、前述した実施形態１および実施形態２で説明したものと同様の効果を有する。すわなち、上記画像処理プログラム、画像処理プログラムを記憶した記憶媒体、および画像処理方法においても、入力画像に記された天地識別マークを検出して天地方向を判別し、正常な天地方向に補正をするので、手書きメモのような不定形の文書の画像に対しても精度良く天地方向を識別し補正することができるという効果、天地方向の補正をするとともに、入力画像データから天地識別マークを除去するようになっているので、天地識別マーク以外の本来の画像データのみを出力することができるという効果、入力画像から天地識別マークを検出することによる天地方向の判別と、天地識別マークが検出されない場合に行なう文字認識型の天地方向の判別との両方をすることができるので、天地識別マークが記されていない入力画像に対しても天地方向の判別をすることができるという効果を有する。
【００９０】
【発明の効果】
本発明によれば、手書きメモのような不定形の文書に対しても精度良く天地を識別し補正することができる画像処理装置、画像処理方法、画像処理プログラムおよび記憶媒体を提供することができる。
【図面の簡単な説明】
【図１】本発明の第１の実施形態に係る画像処理装置の構成を示すブロック図である。
【図２】本発明の第２の実施形態に係る画像処理装置の構成を示すブロック図である。
【図３】第１の実施の形態の動作を示すフローチャートである。
【図４】第２の実施の形態の動作を示すフローチャートである。
【図５】入力画像に記した天地識別マークと天地方向を示す図であり、（ａ）は入力画像が北向き、（ｂ）は入力画像が南向きの状態を示す。
【図６】入力画像に記した天地識別マークと天地方向を示す図であり、（ｃ）は入力画像が西向き、（ｄ）は入力画像が東向きの状態を示す。
【図７】（ａ）は天地マーク辞書のデータ構成の一方の例、（ｂ）は天地マーク辞書のデータ構成の他方の例を示す図である。
【図８】第３の実施の形態に係る画像処理プログラムの適用例を示す図である。
【符号の説明】
１ 画像入力部（画像入力手段）
２ 領域設定部（天地識別マーク検出手段）
３ 天地マーク照合部（天地関係識別手段）
４ 天地マーク辞書部（天地識別マーク記憶手段）
５ 画像補正部（天地関係補正手段、天地識別マーク除去手段）
６ 画像出力部（画像出力手段）
７ 天地マーク検出部（天地識別マーク検出手段、天地関係識別手段、天地識別マーク記憶手段、天地識別マーク除去手段）
８ 文字認識型天地判定部（文字認識型天地識別手段）
９ 切替制御部
【発明の属する技術分野】
本発明は、文書画像の天地（上下関係）を識別し、これを補正する画像処理装置、画像処理方法、画像処理プログラムおよび記憶媒体に関する。
【０００２】
【従来の技術】
従来、文書画像等の画像の天地関係（上下関係）を識別し、天地関係が逆の画像であった場合は正常な状態に補正する技術として種々の提案がなされている。
【０００３】
例えば、特許文献１に開示された技術では、画像の特徴を利用するようになっている。すなわち、行頭から行末へ所定幅内に含まれる黒画素数より大であるというレイアウト上の性質を利用し、イメージスキャナ等により読み取られ入力された画像を縦方向に適当な数切り出して、画像の天地関係を判別するようになっている。そして、画像の天地関係が逆と判別された場合には、画像を回転させて天地関係を正常な状態に補正している。
【０００４】
一方、文字認識技術を利用して天地関係を識別するものとしては、特許文献２に開示された技術がある。このものは、スキャナ等に読み取られ入力された原稿の画像データから文字を切り出してその特徴量を抽出し、抽出された特徴量を文字の回転角度に応じて変換して変換後の特徴量を辞書と比較照合することにより回転文字を認識し、また正常な天地の状態にするための回転角度を決定するようになっている。
【０００５】
また、同様の技術として他に、特許文献３〜６に開示されたものがある。
【０００６】
【特許文献１】
特開平１−１０５２６６号公報
【０００７】
【特許文献２】
特開平１−２５０１８４号公報
【０００８】
【特許文献３】
特開平８−２１２２９８号公報
【０００９】
【特許文献４】
特開平８−２７４９８０号公報
【００１０】
【特許文献５】
特開平８−２９３０００号公報
【００１１】
【特許文献６】
特開２０００−１１３１０３号公報
【００１２】
【発明が解決しようとする課題】
しかしながら、上記従来の技術はいずれもオフィスで通常用いられるようないわば定型の文書に対して天地を識別するものであり、例えば、不定形の文書である手書きのメモや、複雑なレイアウトの文書に対しては、精度良く天地を識別し補正をすることができないという問題がある。
【００１３】
例えば、特許文献１に開示された技術では、対象とする文書レイアウトが予め想定したものと合致した場合には期待した精度で天地を識別して補正をし得るが、手書きのメモ等の想定外の文書に対しては精度よく天地を識別して補正することができないという問題がある。
【００１４】
また、特許文献２に開示された技術では、同一文書画像に複数の向きの文字列が混在する場合には、精度よく天地を識別して補正することができないという問題がある。
【００１５】
本発明は、上記課題を解決するためになされたものであり、手書きメモのような不定形の文書に対しても精度良く天地を識別し補正することができる画像処理装置、画像処理方法、画像処理プログラムおよび記憶媒体を提供することを目的とする。
【００１６】
【課題を解決するための手段】
本発明の画像処理装置は、上記課題を解決するために、画像データを入力する画像入力手段と、天地関係を識別するための天地識別マークを記憶する天地識別マーク記憶手段と、前記画像入力手段が入力した画像データから、前記天地識別マーク記憶手段が記憶する天地識別マークと一致する天地関係識別マークを検出する天地識別マーク検出手段と、前記天地識別マーク検出手段が検出する天地識別マークに基づいて前記画像入力手段が入力した画像データの天地関係を識別する天地関係識別手段と、前記天地関係識別手段の識別結果に基づいて前記画像入力手段が入力した画像データの天地関係を正常な天地関係に補正する天地関係補正手段と、前記天地関係補正手段が天地関係を補正した画像データを出力する画像出力手段とを備たことを特徴としている。
【００１７】
この構成により、入力画像に記された天地識別マークを検出して天地方向を判別し、正常な天地方向に補正をするので、手書きメモのような不定形の文書の画像に対しても精度良く天地方向を識別し補正することができる。
【００１８】
また、本発明の画像処理装置は、上記課題を解決するために、前記天地識別マーク検出手段が、前記前記画像入力手段が入力した画像データから前記天地識別マーク記憶手段が記憶する天地識別マークと一致する天地関係識別マークを検出した場合に、前記画像データから天地関係識別マークを除去する天地識別マーク除去手段を備えたことを特徴としている。
【００１９】
この構成により、天地方向の補正をするとともに、入力画像データから天地識別マークを除去するようになっているので、天地識別マーク以外の本来の画像データのみを出力することができる。
【００２０】
また、本発明の画像処理装置は、上記課題を解決するために、前記天地識別マーク検出手段が前記天地識別マークを検出しない場合に、前記画像入力画像が入力した画像データに対して文字認識型の天地識別を行なう文字認識型天地識別手段を備えたことを特徴としている。
【００２１】
この構成により、入力画像から天地識別マークを検出することによる天地方向の判別と、天地識別マークが検出されない場合に行なう文字認識型の天地方向の判別との両方をすることができるので、天地識別マークが記されていない入力画像に対しても天地方向の判別をすることができる。
【００２２】
また、本発明の画像処理方法は、上記課題を解決するために、画像データを入力する画像入力ステップと、天地関係を識別するための天地識別マークを記憶する天地識別マーク記憶ステップと、前記画像入力ステップで入力した画像データから、前記天地識別マーク記憶ステップで記憶した天地識別マークと一致する天地関係識別マークを検出する天地識別マーク検出ステップと、前記天地識別マーク検出ステップで検出する天地識別マークに基づいて前記画像入力ステップで入力した画像データの天地関係を識別する天地関係識別ステップと、前記天地関係識別ステップの識別結果に基づいて前記画像入力ステップが入力した画像データの天地関係を正常な天地関係に補正する天地関係補正ステップと、前記天地関係補正ステップで天地関係を補正した画像データを出力する画像出力ステップとからなることを特徴としている。
【００２３】
このため、入力画像に記された天地識別マークを検出して天地方向を判別し、正常な天地方向に補正をするので、手書きメモのような不定形の文書の画像に対しても精度良く天地方向を識別し補正することができる。
【００２４】
また、本発明の画像処理方法は、上記課題を解決するために、前記天地識別マーク検出ステップは、前記前記画像入力ステップで入力した画像データから前記天地識別マーク記憶ステップで記憶する天地識別マークと一致する天地関係識別マークを検出した場合に、前記画像データから天地関係識別マークを除去する天地識別マーク除去ステップを備えたことを特徴としている。
【００２５】
このため、天地方向の補正をするとともに、入力画像データから天地識別マークを除去するようになっているので、天地識別マーク以外の本来の画像データのみを出力することができる。
【００２６】
また、本発明の画像処理方法は、上記課題を解決するために、前記天地識別マーク検出ステップで前記天地識別マークを検出しない場合に、前記画像入力ステップが入力した画像データに対して文字認識型の天地識別を行なう文字認識型天地識別ステップを備えたことを特徴としている。
【００２７】
このため、入力画像から天地識別マークを検出することによる天地方向の判別と、天地識別マークが検出されない場合に行なう文字認識型の天地方向の判別との両方をすることができるので、天地識別マークが記されていない入力画像に対しても天地方向の判別をすることができる。
【００２８】
また、本発明の画像処理プログラムは、上記課題を解決するために、コンピュータに、画像データを入力する画像入力機能と、天地関係を識別するための天地識別マークを記憶する天地識別マーク記憶機能と、前記画像入力機能が入力した画像データから、前記天地識別マーク記憶機能が記憶する天地識別マークと一致する天地関係識別マークを検出する天地識別マーク検出機能と、前記天地識別マーク検出機能が検出する天地識別マークに基づいて前記画像入力機能が入力した画像データの天地関係を識別する天地関係識別機能と、前記天地関係識別機能の識別結果に基づいて前記画像入力機能が入力した画像データの天地関係を正常な天地関係に補正する天地関係補正機能と、前記天地関係補正機能が天地関係を補正した画像データを出力する画像出力機能とを実現させることを特徴としている。
【００２９】
このため、入力画像に記された天地識別マークを検出して天地方向を判別し、正常な天地方向に補正をするので、手書きメモのような不定形の文書の画像に対しても精度良く天地方向を識別し補正することができる。
【００３０】
また、本発明の画像処理プログラムは、上記課題を解決するために、コンピュータに、前記天地識別マーク検出機能が、前記前記画像入力機能が入力した画像データから前記天地識別マーク記憶機能が記憶する天地識別マークと一致する天地関係識別マークを検出した場合に、前記画像データから天地関係識別マークを除去する天地識別マーク除去機能を実現させることを特徴としている。
【００３１】
このため、天地方向の補正をするとともに、入力画像データから天地識別マークを除去するようになっているので、天地識別マーク以外の本来の画像データのみを出力することができる。
【００３２】
また、本発明の画像処理プログラムは、上記課題を解決するために、コンピュータに、前記天地識別マーク検出機能が前記天地識別マークを検出しない場合に、前記画像入力機能が入力した画像データに対して文字認識型の天地識別を行なう文字認識型天地識別機能を実行させることを特徴としている。
【００３３】
このため、入力画像から天地識別マークを検出することによる天地方向の判別と、天地識別マークが検出されない場合に行なう文字認識型の天地方向の判別との両方をすることができるので、天地識別マークが記されていない入力画像に対しても天地方向の判別をすることができる。
【００３４】
また、本発明の記憶媒体は、上記課題を解決するために前記画像処理プログラムを記憶することを特徴としている。
【００３５】
このため、入力画像に記された天地識別マークを検出して天地方向を判別し、正常な天地方向に補正をするので、手書きメモのような不定形の文書の画像に対しても精度良く天地方向を識別し補正することができる。
【００３６】
また、天地方向の補正をするとともに、入力画像データから天地識別マークを除去するようになっているので、天地識別マーク以外の本来の画像データのみを出力することができる。
【００３７】
また、入力画像から天地識別マークを検出することによる天地方向の判別と、天地識別マークが検出されない場合に行なう文字認識型の天地方向の判別との両方をすることができるので、天地識別マークが記されていない入力画像に対しても天地方向の判別をすることができる。
【００３８】
【発明の実施の形態】
以下、本発明の好ましい実施形態を図面に基づいて説明する。
【００３９】
（第１の実施の形態）
【００４０】
図１は本発明の第１の実施の形態の画像処理装置１０の構成を示すブロック図である。
【００４１】
画像処理装置１０は、文書画像を入力する画像入力部１と、入力画像のうち処理対象領域を設定する領域設定部２と、予め定められた天地識別用のマークを記憶する天地マーク辞書部４と、入力画像に予め記された天地識別用のマークと天地マーク辞書部４が記憶する天地マークとを照合してこの結果に基づいて天地方向を判別する天地マーク照合部３と、天地マーク照合部３による判別結果に基づいて入力画像の天地を正常な天地方向に補正する画像補正部５と、補正された画像を出力する画像出力部６とから構成される。
【００４２】
画像入力部１は、例えばスキャナ等から構成され、画像処理装置１０に画像データを入力するものである。また、画像入力部１としては、ネットワーク上から画像データを入力するようなものであってもよい。
【００４３】
また、画像補正部５は入力画像に記された天地識別マークを除去した後に画像出力部６にデータを渡すようになっている。
【００４４】
図５（ａ）、（ｂ）、および図６（ａ）、（ｂ）は、本実施の形態で用いる天地識別マークの一例を示すものであり、天地識別マークを文書画像に記した状態を示すものである。図５（ａ）は天地方向が正常な入力画像を示し本実施の形態では北向きという。図５（ａ）に示す例では、一般に文書の余白とされる位置のうち文書の左上部に、天地識別マークとして▲マークを記すようにしている。また、図５（ｂ）は文書の向きが南向き、図６（ａ）は西向き、図６（ｂ）は東向きの状態を示す。
【００４５】
図７（ａ）、（ｂ）は天地マーク辞書部４の構成を模式的に示した図である。
【００４６】
まず、図７（ａ）に示す天地マーク辞書部４の構成は、天地マークの形状と位置と大きさにより天地マークを検出して入力画像の天地方向を判別するようになっている。図において、「パターン」は、天地識別マークの形状であり、２値配列として設置されている。また、「位置」は天地識別マーク（すなわちパターン）を検出する範囲を示し、解像度を考慮して座標情報へと変換されるものとする。例えば、識別番号１の「位置」である「左上３ｃｍ角以内」とは、文書の左上隅から縦方向と横方向にそれぞれ３ｃｍの範囲以内ということを表している。「倍率」は一定の範囲で天地識別マークの大きさの差異を吸収するための制御用パラメータであり、入力画像に記された天地識別マークの大小を許容するようになっている。「天地方向」は入力された画像が「識別番号」１〜４に分類したいずれかのパターンに合致した場合の天地方向の判別結果を意味する。
【００４７】
具体的には、識別番号１のケースでは、天地マーク辞書部４が記憶するパターン（▲）の０．５倍〜２倍の範囲の大きさの天地識別マーク（▲）が入力画像の左上３ｃｍ角以内の範囲で検出されれば、この入力画像の天地方向は「北向き」であると判別される。同様に、識別番号２〜４はそれぞれ「南向き」、「西向き」、「東向き」の場合を示す。
【００４８】
次に、図７（ｂ）に示す天地マーク辞書部４の構成では、天地マークの位置は制限せずに大きさの許容範囲を厳しく設定して天地マークを検出するようになっている。図７（ｂ）では、「位置」が「すべて」となっており、天地識別マークの検索を入力画像全体に渡り行うようになっている。また、「倍率」が０．９５〜１．０５となっており、図７（ａ）で説明した例と比べ範囲が狭くなっている。
【００４９】
なお、天地識別マークとしては「▲」マークに限定されることは無く、矢印マーク「↑」等を用いてもよい。その場合、例えば、図７（ａ）において、識別番号の５以降に矢印マーク「↑」を採用したパラメータを設定すればよい。また、天地マーク辞書部４の構成として図７（ａ）および図７（ｂ）に示す２つの例を説明したが、これらに示した具体的な値は一例であり、また、異なる天地識別マークを含む複数のパラメータ群の中から予め設定したパラメータ郡を用いるようにしてもよい。
【００５０】
次に、本実施の形態の画像処理装置１０の動作について図３に示すフローチャートに基づいて説明する。なお、以下の処理では図示しない制御部が全体の統括制御を行なうようになっている。
【００５１】
まず、画像入力部１に処理対象となる文書画像が入力されると（Ｓ１０１）、領域設定部２は天地マーク辞書部４が記憶する辞書の中から一つ（例えば、識別情報１のパラメータ）を取り出す（Ｓ１０２）。
【００５２】
次に、全ての識別情報について試行を行ったかを判別する（Ｓ１０３）。すなわち、天地マーク辞書として図７（ａ）の構成の辞書を用いた場合では、識別情報１〜識別情報４までの４つ全てについて、以下にＳ１０４〜Ｓ１０５で説明する領域設定処理とマーク検出処理を行ったかどうかをチャックする。全ての識別情報についてこれらの処理を終了した場合はＳ１１０に移り（Ｓ１０３、ＹＥＳ）、まだ全ての識別情報について領域設定処理とマーク検出処理を終えてない場合はＳ１０４に進み（Ｓ１０３、ＮＯ）、領域設定の処理を行なう。Ｓ１０４の領域設定処理では、Ｓ１０２で取り出した識別情報が含む「位置」のパラメータに基づいて入力画像上における天地識別マークの検出を行なうべき領域を設定する。なお、Ｓ１０４の領域設定処理では、天地マーク情報から位置情報を取り出し、入力画像の解像度に合わせて画素を基準とする領域情報へと変換し、これを処理対象領域として設定している。
【００５３】
次いで、Ｓ１０４で設定された領域に対して、Ｓ１０２で取り出した識別情報が含む「パターン」蘭の天地識別マークの形状（本実施形態では▲マーク）と合致するものの検出を行なう（Ｓ１０５）。ここでは、黒画素の連結成分を抽出し、その中から倍率条件に合うものを取り出し、画素配列としての照合を行なう。なお、この照合に先立って画素配列の大きさは正規化されるものとする。また、照合は、対応画素間の排他的論理和に従って行われる。すなわち、対応画素値が同一のときに１、同一でないときに０となる。これに基づいて定義された差異の値が予め定められた閾値よりも小であれば照合が取れたとみなす。
【００５４】
次いで、Ｓ１０６の検出結果が「合致するものあり」であれば（Ｓ１０６、ＹＥＳ）、Ｓ１０７に進み、「合致するもの無し」であれば（Ｓ１０６、ＮＯ）、Ｓ１０２に戻り今回とは別の識別情報を取り出す。具体的には、識別情報１について領域設定処理（Ｓ１０４）とマーク検出処理（Ｓ１０５）を行い検出ができなかったら、次は識別情報２について同様の処理を行なう。すなわち、Ｓ１０２〜Ｓ１０６の処理は記憶された識別情報の数だけ繰り返される。
【００５５】
Ｓ１０７では、入力画像の天地方向がどのような向きであるかを、Ｓ１０５のマーク検出で合致した際の識別情報の「天地方向」の欄から求める。
【００５６】
次いで、Ｓ１０８では、上記各処理の対象とした入力画像のデータ上から天地識別マークを除去する。すなわち、天地識別マークである黒画素の連結成分を除去する。
【００５７】
次いで、Ｓ１０７で行った天地方向の判別結果に基づいて天地方向を正常な方向に補正する（Ｓ１０９）。具体的には、画像の回転を行い、０度、９０度、１８０度、２７０度といった９０度の倍数の回転による天地方向の補正の他、３度や５度といった微小な角度での回転による微調整も行なう。
【００５８】
最後にＳ１０９で天地を補正された画像を出力して（Ｓ１１０）終了する。
【００５９】
なお、Ｓ１０５のマーク検出の処理は、本実施形態で採用したような画像配列のマッチングに限られず、ＯＣＲのように他の異なる特徴を抽出して照合するようにしてもよい。
【００６０】
以上説明したように、本実施の形態では、入力画像に記された天地識別マークを検出して天地方向を判別し、正常な天地方向に補正をするので、手書きメモのような不定形の文書の画像に対しても精度良く天地方向を識別し補正することができる。
【００６１】
また、本実施の形態では、天地方向の補正をするとともに、入力画像データから天地識別マークを除去するようになっているので、天地識別マーク以外の本来の画像データのみを出力することができる。
【００６２】
（第２の実施の形態）
【００６３】
本発明の第２の実施の形態に係る画像処理装置２０は、第１の実施の形態で説明した天地識別マークを用いた天地判定と、従来型の天地判定との両方の機能を備え、これらを自動的に切り替えるように構成したものである。なお、第１の実施の形態の画像処理装置１０と同一の構成要素については同一の符号を付し、その説明を一部省略する。また、画像処理装置２０全体の統括制御は図示しない制御部が行なうようになっている。
【００６４】
図２は第２の形態の画像処理装置２０の構成を示すブロック図である。
【００６５】
画像処理装置２０は、第１の実施の形態の画像処理装置１０で説明した画像入力部１と、画像補正部５と、画像出力部６を備える。また、天地マーク検出部７は、第１の実施の形態の画像処理装置１０で説明した領域設定部２と、天地マーク照合部３と、天地マーク辞書部４とから構成される。すなわち、領域設定部２と、天地マーク照合部３と、天地マーク辞書部４を一つにまとめたものが本実施の形態の天地マーク検出部７となる。
【００６６】
また、画像処理装置２０は文字認識型天地判定部８を備え、文字認識型天地判定部８は、従来型の天地判定、すなわち天地識別マークによらない天地判定を行なう。
【００６７】
切替制御部９は、画像入力部１から入力された画像の出力先を天地マーク検出部７または文字認識型天地判定部８のいずれかに切り替えるようになっている。具体的には、切替制御部９は、画像入力部１から入力された画像の出力先をまず先に天地マーク検出部７に出力して、第１の実施の形態と同様に、原稿画像に予め記された天地識別マークを検出することによる天地方向の判別を天地マーク検出部７に行わせる。そして、天地マーク検出部７が天地識別マークの検出をできなかった場合には、画像入力部１から入力された画像を文字認識型天地判定部８に出力して、文字認識型天地判定部８に従来型の天地判定を行なわせる。
【００６８】
次に、図４に示すフローチャートを参照して画像処理装置２０の動作を説明する。なお、Ｓ２０１〜Ｓ２１０は、第１の実施の形態で説明した動作Ｓ１０１〜Ｓ１１０（図３参照）と同じ処理をするようになっている。本実施形態の画像処理装置２０の動作は、入力画像から天地識別マークが検出されたかった場合に（Ｓ２０３、ＹＥＳ）、Ｓ２１１において文字認識型天地判定が行われるようになっている点において、第１の実施形態で説明した画像処理装置１０と異なっている。
【００６９】
図４において、まず、画像入力部１に処理対象となる文書画像が入力されると（Ｓ２０１）、天地マーク検出部７は、天地マーク検出部７が記憶する辞書の中から一つ（例えば、識別情報１のパラメータ）を取り出す（Ｓ２０２）。
【００７０】
次に、全ての識別情報について試行を行ったかを判別する（Ｓ２０３）。すなわち、天地マーク辞書として図７（ａ）の構成の辞書を用いた場合では、識別情報１〜識別情報４までの４つ全てについて、以下にＳ２０４〜Ｓ２０５で説明する領域設定処理とマーク検出処理を行ったかどうかをチェックする。全ての識別情報についてこれらの処理を終了した場合は後述するＳ２１１の処理を経た後Ｓ２０９に移り（Ｓ２０３、ＹＥＳ）、まだ全ての識別情報について領域設定処理とマーク検出処理を終えてない場合はＳ２０４に進み（Ｓ２０３、ＮＯ）、領域設定の処理を行なう。Ｓ２０４の領域設定処理では、Ｓ２０２で取り出した識別情報が含む「位置」のパラメータに基づいて入力画像上における天地識別マークの検出を行なうべき領域を設定する。なお、Ｓ２０４の領域設定処理では、天地マーク情報から位置情報を取り出し、入力画像の解像度に合わせて画素を基準とする領域情報へと変換し、これを処理対象領域として設定している。
【００７１】
次いで、Ｓ２０４で設定された領域に対して、Ｓ２０２で取り出した識別情報が含む「パターン」蘭の天地識別マークの形状（本実施形態では▲マーク）と合致するものの検出を行なう（Ｓ２０５）。ここでは、黒画素の連結成分を抽出し、その中から倍率条件に合うものを取り出し、画素配列としての照合を行なう。なお、この照合に先立って画素配列の大きさは正規化されるものとする。また、照合は、対応画素間の排他的論理和に従って行われる。すなわち、対応画素値が同一のときに１、同一でないときに０となる。これに基づいて定義された差異の値が予め定められた閾値よりも小であれば照合が取れたとみなす。
【００７２】
次いで、Ｓ２０６の検出結果が「合致するものあり」であれば（Ｓ２０６、ＹＥＳ）、Ｓ２０７に進み、「合致するもの無し」であれば（Ｓ２０６、ＮＯ）、Ｓ２０２に戻り今回とは別の識別情報を取り出す。具体的には、識別情報１について領域設定処理（Ｓ２０４）とマーク検出処理（Ｓ２０５）を行い検出ができなかったら、次は識別情報２について同様の処理を行なう。すなわち、Ｓ２０２〜Ｓ２０６の処理は記憶された識別情報の数だけ繰り返される。
【００７３】
Ｓ２０７では、入力画像の天地方向がどのような向きであるかを、Ｓ２０５のマーク検出で合致した際の識別情報の「天地方向」の欄から求める。
【００７４】
次いで、Ｓ２０８では、上記各処理の対象とした入力画像のデータ上から天地識別マークを除去する。すなわち、天地識別マークである黒画素の連結成分を除去する。
【００７５】
また、Ｓ２１１では、文字認識形の天地判定を行なう。詳細には、Ｓ１０２〜Ｓ１０６の処理が識別情報の数だけ繰り返される。Ｓ２０３において全ての識別情報の処理が終了したと判別されると、天地識別マークの検出による天地方法の判別から文字認識型の天地判別に切り替えるようになっている。
【００７６】
次いで、Ｓ２０７で行った天地方向の判別結果、またはＳ２１１で行った文字認識形天地判定の結果に基づいて天地方向を正常な方向に補正する（Ｓ２０９）。具体的には、画像の回転を行い、０度、９０度、１８０度、２７０度といった９０度の倍数の回転による天地方向の補正の他、３度や５度といった微小な角度での回転による微調整も行なう。
【００７７】
最後にＳ２０９で天地を補正された画像を出力して（Ｓ２１０）終了する。
【００７８】
以上説明したように、本実施の形態では、入力画像から天地識別マークを検出することによる天地方向の判別と、天地識別マークが検出されない場合に行なう文字認識型の天地方向の判別との両方をすることができるので、天地識別マークが記されていない入力画像に対しても天地方向の判別をすることができる。
【００７９】
（第３の実施の形態）
【００８０】
本発明は、コンピュータに実行させる画像処理プログラムとしても実現させることができる。すなわち、第１の実施の形態、または第２の実施の形態で説明したハードウェア構成を実現するための画像処理プログラムとして実施することができる。図８は、画像処理プログラムとして実行させるための構成を示す図である。
【００８１】
本発明を適用した画像処理プログラムは、コンピュータに、画像データを入力する画像入力機能と、天地関係を識別するための天地識別マークを記憶する天地識別マーク記憶機能と、前記画像入力機能が入力した画像データから、前記天地識別マーク記憶機能が記憶する天地識別マークと一致する天地関係識別マークを検出する天地識別マーク検出機能と、前記天地識別マーク検出機能が検出する天地識別マークに基づいて前記画像入力機能が入力した画像データの天地関係を識別する天地関係識別機能と、前記天地関係識別機能の識別結果に基づいて前記画像入力機能が入力した画像データの天地関係を正常な天地関係に補正する天地関係補正機能と、前記天地関係補正機能が天地関係を補正した画像データを出力する画像出力機能とを実行させるようになっている。
【００８２】
また、前記天地識別マーク検出機能が、前記前記画像入力機能が入力した画像データから前記天地識別マーク記憶機能が記憶する天地識別マークと一致する天地関係識別マークを検出した場合に、前記画像データから天地関係識別マークを除去する天地識別マーク除去機能を備える。
【００８３】
また、前記天地識別マーク検出機能が前記天地識別マークを検出しない場合に、前記画像入力機能が入力した画像データに対して文字認識型の天地識別を行なう文字認識型天地識別機能を実行させるようになっている。
【００８４】
図８において、ＣＤ−ＲＯＭ７００等の記録媒体に録された上記画像処理プログラムは、ＣＤ−ＲＯＭ７００を読み込むドライブ６００を介して補助記憶装置４００に読み込まれる。また、ＣＰＵ２００は、補助記憶装置４００やメモリ等の記憶装置３００との間でデータをやりとりしながら、あるいはコントローラ８００を介して接続されたネットワークを通じてネットワークに接続された他のコンピュータと連携しながら、画像処理プログラムを実行するようになっている。
【００８５】
また、上記画像処理プログラムは、ＣＤ−ＲＯＭ７００または補助記憶装置４００等の記録媒体に記憶させ、記憶媒体として提供することができる。
【００８６】
また、本発明は画像処理方法として提供することもでき、その場合、本発明に係る画像処理方法は、画像データを入力する画像入力ステップと、天地関係を識別するための天地識別マークを記憶する天地識別マーク記憶ステップと、前記画像入力ステップで入力した画像データから、前記天地識別マーク記憶ステップで記憶した天地識別マークと一致する天地関係識別マークを検出する天地識別マーク検出ステップと、前記天地識別マーク検出ステップで検出する天地識別マークに基づいて前記画像入力ステップで入力した画像データの天地関係を識別する天地関係識別ステップと、前記天地関係識別ステップの識別結果に基づいて前記画像入力ステップが入力した画像データの天地関係を正常な天地関係に補正する天地関係補正ステップと、前記天地関係補正ステップで天地関係を補正した画像データを出力する画像出力ステップとからなる。
【００８７】
前記天地識別マーク検出ステップは、前記前記画像入力ステップで入力した画像データから前記天地識別マーク記憶ステップで記憶する天地識別マークと一致する天地関係識別マークを検出した場合に、前記画像データから天地関係識別マークを除去する天地識別マーク除去ステップを備える。
【００８８】
また、前記天地識別マーク検出ステップで前記天地識別マークを検出しない場合に、前記画像入力ステップが入力した画像データに対して文字認識型の天地識別を行なう文字認識型天地識別ステップを備える。
【００８９】
上記画像処理プログラム、画像処理プログラムを記憶した記憶媒体、および画像処理方法においても、前述した実施形態１および実施形態２で説明したものと同様の効果を有する。すわなち、上記画像処理プログラム、画像処理プログラムを記憶した記憶媒体、および画像処理方法においても、入力画像に記された天地識別マークを検出して天地方向を判別し、正常な天地方向に補正をするので、手書きメモのような不定形の文書の画像に対しても精度良く天地方向を識別し補正することができるという効果、天地方向の補正をするとともに、入力画像データから天地識別マークを除去するようになっているので、天地識別マーク以外の本来の画像データのみを出力することができるという効果、入力画像から天地識別マークを検出することによる天地方向の判別と、天地識別マークが検出されない場合に行なう文字認識型の天地方向の判別との両方をすることができるので、天地識別マークが記されていない入力画像に対しても天地方向の判別をすることができるという効果を有する。
【００９０】
【発明の効果】
本発明によれば、手書きメモのような不定形の文書に対しても精度良く天地を識別し補正することができる画像処理装置、画像処理方法、画像処理プログラムおよび記憶媒体を提供することができる。
【図面の簡単な説明】
【図１】本発明の第１の実施形態に係る画像処理装置の構成を示すブロック図である。
【図２】本発明の第２の実施形態に係る画像処理装置の構成を示すブロック図である。
【図３】第１の実施の形態の動作を示すフローチャートである。
【図４】第２の実施の形態の動作を示すフローチャートである。
【図５】入力画像に記した天地識別マークと天地方向を示す図であり、（ａ）は入力画像が北向き、（ｂ）は入力画像が南向きの状態を示す。
【図６】入力画像に記した天地識別マークと天地方向を示す図であり、（ｃ）は入力画像が西向き、（ｄ）は入力画像が東向きの状態を示す。
【図７】（ａ）は天地マーク辞書のデータ構成の一方の例、（ｂ）は天地マーク辞書のデータ構成の他方の例を示す図である。
【図８】第３の実施の形態に係る画像処理プログラムの適用例を示す図である。
【符号の説明】
１ 画像入力部（画像入力手段）
２ 領域設定部（天地識別マーク検出手段）
３ 天地マーク照合部（天地関係識別手段）
４ 天地マーク辞書部（天地識別マーク記憶手段）
５ 画像補正部（天地関係補正手段、天地識別マーク除去手段）
６ 画像出力部（画像出力手段）
７ 天地マーク検出部（天地識別マーク検出手段、天地関係識別手段、天地識別マーク記憶手段、天地識別マーク除去手段）
８ 文字認識型天地判定部（文字認識型天地識別手段）
９ 切替制御部
Claims (10)
- 画像データを入力する画像入力手段と、
天地関係を識別するための天地識別マークを記憶する天地識別マーク記憶手段と、
前記画像入力手段が入力した画像データから、前記天地識別マーク記憶手段が記憶する天地識別マークと一致する天地関係識別マークを検出する天地識別マーク検出手段と、
前記天地識別マーク検出手段が検出する天地識別マークに基づいて前記画像入力手段が入力した画像データの天地関係を識別する天地関係識別手段と、
前記天地関係識別手段の識別結果に基づいて前記画像入力手段が入力した画像データの天地関係を正常な天地関係に補正する天地関係補正手段と、
前記天地関係補正手段が天地関係を補正した画像データを出力する画像出力手段とを備えたことを特徴とする画像処理装置。 - 前記天地識別マーク検出手段が、前記前記画像入力手段が入力した画像データから前記天地識別マーク記憶手段が記憶する天地識別マークと一致する天地関係識別マークを検出した場合に、前記画像データから天地関係識別マークを除去する天地識別マーク除去手段を備えたことを特徴とする請求項１に記載の画像処理装置。
- 前記天地識別マーク検出手段が前記天地識別マークを検出しない場合に、前記画像入力手段が入力した画像データに対して文字認識型の天地識別を行なう文字認識型天地識別手段を備えたことを特徴とする請求項１または請求項２に記載の画像処理装置。
- 画像データを入力する画像入力ステップと、天地関係を識別するための天地識別マークを記憶する天地識別マーク記憶ステップと、前記画像入力ステップで入力した画像データから、前記天地識別マーク記憶ステップで記憶した天地識別マークと一致する天地関係識別マークを検出する天地識別マーク検出ステップと、前記天地識別マーク検出ステップで検出する天地識別マークに基づいて前記画像入力ステップで入力した画像データの天地関係を識別する天地関係識別ステップと、前記天地関係識別ステップの識別結果に基づいて前記画像入力ステップが入力した画像データの天地関係を正常な天地関係に補正する天地関係補正ステップと、前記天地関係補正ステップで天地関係を補正した画像データを出力する画像出力ステップとからなる画像処理方法。
- 前記天地識別マーク検出ステップは、前記前記画像入力ステップで入力した画像データから前記天地識別マーク記憶ステップで記憶する天地識別マークと一致する天地関係識別マークを検出した場合に、前記画像データから天地関係識別マークを除去する天地識別マーク除去ステップを備えたことを特徴とする請求項４に記載の画像処理方法。
- 前記天地識別マーク検出ステップで前記天地識別マークを検出しない場合に、前記画像入力ステップが入力した画像データに対して文字認識型の天地識別を行なう文字認識型天地識別ステップを備えたことを特徴とする請求項４または請求項５に記載の画像処理方法。
- コンピュータに、画像データを入力する画像入力機能と、天地関係を識別するための天地識別マークを記憶する天地識別マーク記憶機能と、前記画像入力機能が入力した画像データから、前記天地識別マーク記憶機能が記憶する天地識別マークと一致する天地関係識別マークを検出する天地識別マーク検出機能と、前記天地識別マーク検出機能が検出する天地識別マークに基づいて前記画像入力機能が入力した画像データの天地関係を識別する天地関係識別機能と、前記天地関係識別機能の識別結果に基づいて前記画像入力機能が入力した画像データの天地関係を正常な天地関係に補正する天地関係補正機能と、前記天地関係補正機能が天地関係を補正した画像データを出力する画像出力機能とを実現させるための画像処理プログラム。
- コンピュータに、前記天地識別マーク検出機能が、前記前記画像入力機能が入力した画像データから前記天地識別マーク記憶機能が記憶する天地識別マークと一致する天地関係識別マークを検出した場合に、前記画像データから天地関係識別マークを除去する天地識別マーク除去機能を実現させるための請求項７に記載の画像処理プログラム。
- コンピュータに、前記天地識別マーク検出機能が前記天地識別マークを検出しない場合に、前記画像入力機能が入力した画像データに対して文字認識型の天地識別を行なう文字認識型天地識別機能を実行させるための請求項７または請求項８に記載の画像処理プログラム。
- 請求項７乃至９に記載の画像処理プログラムを記憶した記憶媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003026240A JP2004241827A (ja) | 2003-02-03 | 2003-02-03 | 画像処理装置、画像処理方法、画像処理プログラムおよび記憶媒体 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003026240A JP2004241827A (ja) | 2003-02-03 | 2003-02-03 | 画像処理装置、画像処理方法、画像処理プログラムおよび記憶媒体 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2004241827A true JP2004241827A (ja) | 2004-08-26 |
Family
ID=32954302
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003026240A Pending JP2004241827A (ja) | 2003-02-03 | 2003-02-03 | 画像処理装置、画像処理方法、画像処理プログラムおよび記憶媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2004241827A (ja) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006098590A (ja) * | 2004-09-29 | 2006-04-13 | Casio Comput Co Ltd | 画像投影装置、画像投影方法、及び画像位置補正プログラム |
| JP2007336143A (ja) * | 2006-06-14 | 2007-12-27 | Ricoh Co Ltd | 画像処理装置 |
| CN104820835A (zh) * | 2015-04-29 | 2015-08-05 | 岭南师范学院 | 一种试卷自动阅卷方法 |
| CN110070151A (zh) * | 2019-03-08 | 2019-07-30 | 杭州博世数据网络有限公司 | 一种基于图像识别技术的答题卡及考试系统 |
-
2003
- 2003-02-03 JP JP2003026240A patent/JP2004241827A/ja active Pending
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006098590A (ja) * | 2004-09-29 | 2006-04-13 | Casio Comput Co Ltd | 画像投影装置、画像投影方法、及び画像位置補正プログラム |
| JP2007336143A (ja) * | 2006-06-14 | 2007-12-27 | Ricoh Co Ltd | 画像処理装置 |
| CN104820835A (zh) * | 2015-04-29 | 2015-08-05 | 岭南师范学院 | 一种试卷自动阅卷方法 |
| CN104820835B (zh) * | 2015-04-29 | 2018-04-17 | 岭南师范学院 | 一种试卷自动阅卷方法 |
| CN110070151A (zh) * | 2019-03-08 | 2019-07-30 | 杭州博世数据网络有限公司 | 一种基于图像识别技术的答题卡及考试系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP1909215B1 (en) | Image region detection method, recording medium, and device therefor | |
| US20050121520A1 (en) | Code type determining method and code boundary detecting method | |
| US20040066969A1 (en) | Image processing method | |
| JP6116531B2 (ja) | 画像処理装置 | |
| JP2004241827A (ja) | 画像処理装置、画像処理方法、画像処理プログラムおよび記憶媒体 | |
| JP2006019893A (ja) | 画像歪み補正装置、画像読取装置、画像形成装置、プログラム及び記憶媒体 | |
| JP6624120B2 (ja) | 文字認識装置、文字認識方法、文字認識プログラム、及び文字認識プログラムを記録したコンピューター読み取り可能な記録媒体 | |
| JP4890112B2 (ja) | 画像処理装置及び画像処理方法 | |
| JP2002024838A (ja) | 画像処理装置及び画像処理方法並びに記憶媒体 | |
| JP4847378B2 (ja) | 画像処理装置、画像処理方法、プログラム及びコンピュータ読取可能な記録媒体 | |
| JP2000113106A (ja) | 文書画像処理装置 | |
| US7103220B2 (en) | Image processing apparatus, method and program, and storage medium | |
| JP2007328652A (ja) | 画像処理装置および画像処理プログラム | |
| JP4580520B2 (ja) | 文字認識方法および文字認識装置 | |
| JP3932201B2 (ja) | 帳票種識別装置および記録媒体 | |
| JPH11250179A (ja) | 文字認識装置および文字認識方法 | |
| JP2009272714A (ja) | 画像処理装置、画像処理方法、プログラム及びプログラムを記録した記録媒体 | |
| JP2008210327A (ja) | 文字画像出力システム及び文字画像出力方法 | |
| JPH04276888A (ja) | 文字読取装置 | |
| JP3915974B2 (ja) | 画像処理装置、画像処理方法、プログラム及び記録媒体 | |
| JPH06139338A (ja) | 指紋紋様分類装置 | |
| JPH10154191A (ja) | 帳票識別方法及び装置並びに帳票識別プログラムを記録した媒体 | |
| JP3756660B2 (ja) | 画像認識方法、装置および記録媒体 | |
| JPH05128308A (ja) | 文字認識装置 | |
| JP4571447B2 (ja) | 文字画像抽出プログラム、文字画像抽出方法および文字画像抽出装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050621 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070125 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070206 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070409 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20070508 |