JP2011186945A - 画像処理装置、画像処理方法及びプログラム - Google Patents

Abstract

【課題】縦書き文書に横書きの英数字等が混在する文書の文字認識において、精度よく文字認識を行うことを目的とする。
【解決手段】画像データに含まれる文字領域が縦書きか否かを判別する判別手段と、判別手段で縦書きであると判別された文字領域に対して文字認識を行う認識手段と、認識手段での文字認識の結果に基づき組版情報を抽出する抽出手段と、抽出手段で抽出された組版情報に基づき認識手段での文字認識の結果を組版する組版手段と、文字領域と、組版手段で組版された結果の領域と、を比較し、比較の結果に基づき一部の文字領域を回転させるか否かを判定する判定手段と、判定手段で一部の文字領域を回転させると判定された場合、文字領域を回転させる回転手段と、回転手段で回転させられた一部の文字領域に対して文字認識を行い、文字認識の結果に基づき組版情報を抽出し、抽出した組版情報に基づき文字認識の結果を組版する補正手段と、を有する。
【選択図】図３

Description

本発明は、画像処理装置、画像処理方法及びプログラムに関する。

縦書き文書に横書きの英数字等が混在している文書を文字認識すると、横書きの部分もそのまま縦書きとして認識するため、正しい認識結果が得られなかった。そこで、縦書き文書に横書きが混在している文書をそのまま縦書きとして文字認識し、リジェクトされた文字を回転して、文字認識する手法が提案されている（例えば、特許文献１）。また、知識処理を行って、候補単語がない場合に単語領域を回転して文字認識する手法が提案されている（例えば、特許文献２）。

特開昭６２−１２０５８６号公報 特開平５−１８９６０９号公報

しかしながら、特許文献１で提案される手法では、リジェクトされない文字は回転しないため、横書きの英数字で縦書きにしてもリジェクトされない文字（例えば、横書きでＮ、縦書きにすると乙と認識される）がある場合、正しい文字認識結果が得られなかった。
また、特許文献２で提案される手法では、知識処理を行うための辞書が必要であり、使用メモリが増大する問題があった。

本発明はこのような問題点に鑑みなされたもので、縦書き文書に横書きの英数字等が混在する文書の文字認識において、精度よく文字認識を行うことを目的とする。

そこで、本発明の画像処理装置は、画像データに含まれる文字領域が縦書きか否かを判別する判別手段と、前記判別手段で縦書きであると判別された文字領域に対して文字認識を行う認識手段と、前記認識手段での文字認識の結果に基づき組版情報を抽出する抽出手段と、前記抽出手段で抽出された組版情報に基づき前記認識手段での文字認識の結果を組版する組版手段と、前記文字領域と、前記組版手段で組版された結果の領域と、を比較し、比較の結果に基づき一部の文字領域を回転させるか否かを判定する判定手段と、前記判定手段で一部の文字領域を回転させると判定された場合、前記一部の文字領域を回転させる回転手段と、前記回転手段で回転させられた前記一部の文字領域に対して文字認識を行い、文字認識の結果に基づき組版情報を抽出し、抽出した組版情報に基づき前記文字認識の結果を組版する補正手段と、を有する。

本発明によれば、縦書き文書に横書きの英数字等が混在する文書の文字認識において、精度よく文字認識を行うことができる。

像処理装置のハードウェア構成の一例を示す図である。 本実施形態の処理を説明するための図である。 本実施形態の動作を説明するためのフローチャートである。 文字切り結果が複数あった場合の処理を説明するための図である。

以下、本発明の実施形態について図面に基づいて説明する。

＜実施形態１＞
図１は、画像処理装置のハードウェア構成の一例を示す図である。ＣＰＵ１０１は、ＲＯＭ１０２に格納されている制御プログラムに従って本装置全体の制御を行う。ＲＯＭ１０２は、制御プログラム等を格納する。ＲＡＭ１０３は、画像データ等を記憶する。外部記憶装置１０４は、磁気ディスク等の外部記憶装置である。ディスプレイ１０５は、例えば、文字の認識結果等を表示する。キーボード１０６は、オペレータの操作に応じて情報を入力する。ポインティングデバイス１０７は、例えばマウス等である。スキャナ１０８は、画像を読み取る。
なお、画像処理装置は、汎用的なコンピュータでも実施可能である。この場合、媒体等で提供される制御プログラムは、外部記憶装置１０４に記憶され、オペレータの指示等によりＣＰＵ１０１が制御プログラムに基づき処理を実行する。また、ネットワークインターフェース１０９は、図示しない遠隔地に存在する装置と通信し、プログラムやデータ等を読み込んだり、書き込んだりする。
なお、スキャナ１０８やディスプレイ１０５等は、インターフェイスを介して接続された構成でもよい。
ＣＰＵ１０１が、制御プログラムに基づき処理を実行することによって、画像処理装置の機能及び後述するフローチャートに係る処理が実現される。

図２は、本実施形態の処理を説明するための図である。（Ａ）は、縦書きの文書に横書きの英数字が混在する画像データの例である。日本語では、通常、縦書きの文書に英数字が含まれる場合は、右９０°回転した状態で記載されている。画像処理装置は、この画像データを文字認識すると、文字切り結果と、認識した結果の文字コードと、を出力する。（Ｂ）が（Ａ）の画像データを文字切りした結果であり、２０１〜２０７が文字切りの矩形である。（Ｃ）は、画像処理装置が、（Ｂ）の文字切り結果を文字認識した結果の文字コード（「日」「本」「」」「"」「も」「"」「●」）を組版した例である。
画像処理装置は、（Ｂ）の文字切り結果を囲む文字認識領域２００と、（Ｃ）の文字コードを組版した結果を囲む組版領域２１０と、を比較する。ここで、一致したときは、画像処理装置は、全て縦書きであると判断して、処理を終える。一致しないときは、画像処理装置は、横書きがあると判断し、１文字ずつ文字切りした領域と、組版した領域と、の大きさ、位置、形状（縦横比）を比較していく。画像処理装置は、２０１と２１１、２０２と２１２、・・・、２０７と２１７というように比較していくと、２０１と２１１、２０２と２１２は一致していると判断する。画像処理装置は、例えば、２０３と２１３は、縦横比が異なるので一致しないと判断する。そのようにして、画像処理装置は、２０３〜２０７が一致しないと判断し、この領域を囲む一部の領域２０８（点線で囲む領域）を回転対象領域と判断し、この領域の画像データを左９０°回転させる。画像処理装置が、前記領域を左９０°回転させた画像が（Ｄ）である。そして、画像処理装置は、（Ｄ）を文字認識する。文字認識の結果、文字コード（「Ｊ」「ａ」「ｐ」「ａ」「ｎ」）となったとする。この文字コードで、画像処理装置が組版した結果が、（Ｅ）になる。そして、画像処理装置は、（Ｂ）の領域２０８（左９０°回転させられる前の領域）と、（Ｅ）の組版領域２２０と、を比較し、各文字２０３と２２１、２０４と２２２、・・・、２０７と２２５を比較する。ここで、一致すれば、画像処理装置は、（Ｅ）の２２０の部分を文字認識を補正した結果とし、（Ｅ）を最終的な認識結果とする。図２の例では、英数字が右９０°回転しているが、左９０°回転している場合もあり得る。したがって、画像処理装置は、部分画像を左９０°回転、右９０°回転の両方向で画像回転させ、結果を比較する構成としてもよい。

図３は、本実施形態の動作を説明するためのフローチャートである。
ステップＳ３０１で、ＣＰＵ１０１は、画像データを入力する。次に、ステップＳ３０２で、ＣＰＵ１０１は、縦書きか横書きかを判別する。これは、ＣＰＵ１０１が、ステップＳ３０１で入力した画像を領域識別し、文字領域の行の方向等で判別する。また、ＣＰＵ１０１は、文字領域に縦書きか、横書きかが指定されている場合は、この指定によって、縦書きか横書きかを判別することができる。そして、ステップＳ３０２で、ＣＰＵ１０１は、横書きの場合、処理を終了する。ＣＰＵ１０１は、縦書きの場合、ステップＳ３０３に進み、縦書きのまま、文字認識を行う。ステップＳ３０４では、ＣＰＵ１０１は、文字認識結果から、組版情報（フォント、文字サイズ）を取得（又は抽出）する。そして、ステップＳ３０５では、その組版情報を使用して、文字認識結果の文字コードを組版する。そして、ステップＳ３０６で、ＣＰＵ１０１は、文字認識した画像領域の文字認識領域と、組版領域と、を比較する。ここで、文字認識領域と組版領域とが一致すれば、ＣＰＵ１０１は、横書きの英数字等は混在していなかったと判断し、処理を終了する。ここで、一致していなかった場合、ＣＰＵ１０１は、ステップＳ３０７に進む。
ステップＳ３０７では、ＣＰＵ１０１は、文字認識領域と組版領域との各文字の外接矩形領域を１文字ずつ比較する。ＣＰＵ１０１は、各文字の外接矩形の大きさや位置、形状（縦横比）を比較していく。ＣＰＵ１０１は、比較して、一致しない文字の領域を保存しておく。そして、ステップＳ３０８で、ＣＰＵ１０１は、一致しない文字領域があったか否かを判断する。一致しない文字領域がなかった場合、ＣＰＵ１０１は、ステップＳ３１６に進み、他の文字切り結果があるか否かを判定する。文字切り結果が複数ある場合は、後述する。ここで、他の文字切り結果があれば、ステップＳ３１７で、ＣＰＵ１０１は、文字認識結果を取得して、ステップＳ３０４からの処理を行う。ステップＳ３０８で、一致しない文字領域があった場合、ＣＰＵ１０１は、ステップＳ３０９に進む。ステップＳ３０９では、ＣＰＵ１０１は、一致しない文字領域を回転対象領域として、９０°回転する。日本語文書の場合、ＣＰＵ１０１は、通常、左９０°回転する。しかしながら、ＣＰＵ１０１は、右９０°回転してもよい。ＣＰＵ１０１は、一致しない領域を囲む領域を回転する。また、ＣＰＵ１０１は、他の回転対象領域として、一致している文字領域にはさまれた領域全てを囲む領域を回転対象領域としてもよい。そして、ステップＳ３１０で、ＣＰＵ１０１は、回転した領域を文字認識する。次に、ステップＳ３１１で、ＣＰＵ１０１は、文字認識結果の文字コードから、組版情報を取得する。そして、ステップＳ３１２で、ＣＰＵ１０１は、組版する。

そして、ＣＰＵ１０１は、ステップＳ３１３で、ステップＳ３０６と同じように文字認識領域と組版領域とを比較し、ステップＳ３１４で、文字認識領域と組版領域とが一致したかを判定する。ステップＳ３１４で、一致しなかった場合、ＣＰＵ１０１は、ステップＳ３１８で他の回転角度がないかを判断する。ＣＰＵ１０１は、最初に左９０°回転した場合、右９０°回転があるので、回転角度を変えて、ステップＳ３０９からの処理を行う。ステップＳ３１８で、他の回転角度がない場合、ＣＰＵ１０１は、ステップＳ３１９に進み、他の回転対象領域がないかを判定する。一致している文字領域にはさまれた領域全てを囲む領域を回転対象領域とする等、回転対象領域の範囲を変えることができる場合、ＣＰＵ１０１は、回転対象領域を変えて、ステップＳ３０９からの処理を行う。ステップＳ３１９で、他の回転対象領域がない場合は、ステップＳ３１６に進み、ＣＰＵ１０１は、他の文字切り結果があるかを判定し、なければ、終了する。他の文字切り結果があった場合、ステップＳ３１７で、ＣＰＵ１０１は、文字認識結果を収録して、ステップＳ３０４からの処理を行う。
ステップＳ３１４で、一致した場合は、ステップＳ３１５で、ＣＰＵ１０１は、回転対象領域を９０°回転して文字認識した結果を文字認識補正結果として、出力する。
以上説明したように、本実施形態によれば、ＣＰＵ１０１は、文字認識した領域と文字認識結果を組版した領域とを比較することにより、回転する領域を判断する。そして、ＣＰＵ１０１は、回転する領域を９０°回転して文字認識し、再度組版を行い、文字認識領域と比較することにより、縦書き文書に横書きの英数字等を混在している文書を精度よく文字認識することができる。

＜実施形態２＞
実施形態１では、画像データを縦書きで文字認識した結果、文字切り結果が１つの場合について、説明した。しかしながら、本実施形態では、文字切り結果が複数あった場合について、説明する。図４は、文字切り結果が複数あった場合の処理を説明するための図である。（Ａ）は、縦書きの文書に横書きの英数字が混在する画像データである。これを文字認識した結果、文字切り結果が（Ｂ）と（Ｃ）との２つ存在する。（Ｂ）は「Ｉｌｌ」の部分が１つに、（Ｃ）は、「Ｉｌｌ」の部分が「Ｉ」と「ｌｌ」の２つに分割された例である。この場合、ＣＰＵ１０１は、（Ｂ）、（Ｃ）それぞれについて、図３の３０４から３１４までの処理を行い、一致する場合、一致した結果を採用して処理を終える。
以上説明したように、本実施形態によれば、文字認識した結果に複数の文字切り結果があった場合でも、それぞれの文字認識結果を組版して比較することにより、精度よく文字認識結果を出力することができる。

＜その他の実施形態＞
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

以上、上述した各実施形態によれば、縦書き文書に横書きの英数字等が混在する文書の文字認識において、精度よく文字認識を行うことができる。

以上、本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。

１０１ ＣＰＵ

Claims (6)

1. 画像データに含まれる文字領域が縦書きか否かを判別する判別手段と、
   前記判別手段で縦書きであると判別された文字領域に対して文字認識を行う認識手段と、
   前記認識手段での文字認識の結果に基づき組版情報を抽出する抽出手段と、
   前記抽出手段で抽出された組版情報に基づき前記認識手段での文字認識の結果を組版する組版手段と、
   前記文字領域と、前記組版手段で組版された結果の領域と、を比較し、比較の結果に基づき一部の文字領域を回転させるか否かを判定する判定手段と、
   前記判定手段で一部の文字領域を回転させると判定された場合、前記一部の文字領域を回転させる回転手段と、
   前記回転手段で回転させられた前記一部の文字領域に対して文字認識を行い、文字認識の結果に基づき組版情報を抽出し、抽出した組版情報に基づき前記文字認識の結果を組版する補正手段と、
   を有する画像処理装置。
2. 前記補正手段は、前記組版した結果の領域と、前記回転手段で回転させられる前の文字領域と、を比較し、比較の結果、一致すると判断した場合、前記組版した結果を補正結果として出力する請求項１記載の画像処理装置。
3. 前記判定手段は、前記文字領域と、前記組版手段で組版された結果の領域と、を比較し、比較の結果、一致しないと判断した場合、一致しない文字領域を回転させると判定する請求項１又は２記載の画像処理装置。
4. 前記判定手段は、前記文字領域と、前記組版手段で組版された結果の領域と、を比較し、比較の結果、一致しないと判断した場合、前記文字領域の各文字の外接矩形と、前記組版手段で組版された結果の各文字の外接矩形と、の大きさ、位置、形状をそれぞれ比較し、一致しない文字領域を回転させる請求項３記載の画像処理装置。
5. 画像処理装置が実行する画像処理方法であって、
   画像データに含まれる文字領域が縦書きか否かを判別する判別ステップと、
   前記判別ステップで縦書きであると判別された文字領域に対して文字認識を行う認識ステップと、
   前記認識ステップでの文字認識の結果に基づき組版情報を抽出する抽出ステップと、
   前記抽出ステップで抽出された組版情報に基づき前記認識ステップでの文字認識の結果を組版する組版ステップと、
   前記文字領域と、前記組版ステップで組版された結果の領域と、を比較し、比較の結果に基づき一部の文字領域を回転させるか否かを判定する判定ステップと、
   前記判定ステップで文字領域を回転させると判定された場合、前記一部の文字領域を回転させる回転ステップと、
   前記回転ステップで回転させられた前記一部の文字領域に対して文字認識を行い、文字認識の結果に基づき組版情報を抽出し、抽出した組版情報に基づき前記文字認識の結果を組版する補正ステップと、
   を有する画像処理方法。
6. コンピュータを、
   画像データに含まれる文字領域が縦書きか否かを判別する判別手段と、
   前記判別手段で縦書きであると判別された文字領域に対して文字認識を行う認識手段と、
   前記認識手段での文字認識の結果に基づき組版情報を抽出する抽出手段と、
   前記抽出手段で抽出された組版情報に基づき前記認識手段での文字認識の結果を組版する組版手段と、
   前記文字領域と、前記組版手段で組版された結果の領域と、を比較し、比較の結果に基づき一部の文字領域を回転させるか否かを判定する判定手段と、
   前記判定手段で一部の文字領域を回転させると判定された場合、前記一部の文字領域を回転させる回転手段と、
   前記回転手段で回転させられた前記一部の文字領域に対して文字認識を行い、文字認識の結果に基づき組版情報を抽出し、抽出した組版情報に基づき前記文字認識の結果を組版する補正手段と、
   して機能させるプログラム。

Images