JP2018116424A - 画像処理装置及びプログラム - Google Patents

Abstract

【課題】画像の正立方向を決定するのに使用する文字として正立方向を決定する精度を高める文字を抽出する。【解決手段】画像処理装置１００は、画像情報を取得する画像情報取得部１０１と、画像情報により特定される画像に含まれる文字を複数の方向から認識する文字認識部１０２と、認識した文字の中から予め定められた条件を満たす文字を方向毎に抽出する文字抽出部１０３と、複数の方向のうち、方向毎に抽出された文字が特定の条件を満たす方向を、画像の正立方向として決定する正立方向決定部１０６とを備える。【選択図】図２

Description

本発明は、画像処理装置及びプログラムに関する。

例えば、特許文献１には、入力文字画像の中から、漢字などの文字認識の精度が高い文字を選択的に抽出して、これに対して文字方向判別を行い、文字選択の条件としては、切り出された文字領域の黒画素率、文字領域の長辺対短辺比、文字領域の画素（文字）サイズ等に範囲を設定し、切り出された文字画像がこれらの条件を満たすかどうかを判断し、条件を満たす文字については、文字方向判定を行う文書画像補正装置が開示されている。

特開平１１−３３８９７３号公報

画像に含まれる文字を認識して画像の正立方向を判定する場合がある。例えば写真から認識された文字は、本来文字ではないにもかかわらず誤って文字として認識されたものであり、正立方向を判定する際のノイズとなる。正立方向の判定はこのようなノイズを除外して行うことが望ましい。
本発明の目的は、画像の正立方向を決定するのに使用する文字として正立方向を決定する精度を高める文字を抽出することにある。

請求項１に記載の発明は、画像情報を取得する取得手段と、前記画像情報により特定される画像に含まれる文字を複数の方向から認識し、認識した文字の中から予め定められた条件を満たす文字を当該方向毎に抽出する抽出手段と、前記複数の方向のうち、当該方向毎に抽出された文字が特定の条件を満たす方向を、前記画像の正立方向として決定する決定手段とを備える画像処理装置である。
請求項２に記載の発明は、前記抽出手段は、認識した文字の中から予め定められた文字を除外した残りの文字を、前記予め定められた条件を満たす文字として抽出することを特徴とする請求項１に記載の画像処理装置である。
請求項３に記載の発明は、前記予め定められた文字は、少なくとも２方向から読んだときの読みのそれぞれが何れかの文字を正立方向から読んだときの読みと一致する文字であることを特徴とする請求項２に記載の画像処理装置である。
請求項４に記載の発明は、前記予め定められた文字は、一方向から読んだときの読みと他の方向から読んだときの読みとが一致する文字であることを特徴とする請求項２に記載の画像処理装置である。
請求項５に記載の発明は、前記抽出手段は、予め定められた文字パターンとの一致度が特定の条件を満たす文字を、前記予め定められた条件を満たす文字として抽出することを特徴とする請求項１乃至４の何れか１項に記載の画像処理装置である。
請求項６に記載の発明は、前記抽出手段は、前記一致度が高いものから順に予め定められた数の文字を、前記予め定められた条件を満たす文字として抽出することを特徴とする請求項５に記載の画像処理装置である。
請求項７に記載の発明は、前記決定手段は、前記複数の方向のうち、当該方向毎に抽出された文字の前記一致度に基づく値が最も高い方向を、前記画像の正立方向として決定することを特徴とする請求項５又は６に記載の画像処理装置である。
請求項８に記載の発明は、前記決定手段は、前記複数の方向のうち、当該方向毎に抽出された文字の前記一致度に基づく値が最も高い方向と２番目に高い方向とについて、当該一致度に基づく値の差が予め定められた閾値以下の場合には、前記画像の正立方向を不定とすることを特徴とする請求項５乃至７の何れか１項に記載の画像処理装置である。
請求項９に記載の発明は、コンピュータに、画像情報を取得する機能と、前記画像情報により特定される画像に含まれる文字を複数の方向から認識し、認識した文字の中から予め定められた条件を満たす文字を当該方向毎に抽出する機能と、前記複数の方向のうち、当該方向毎に抽出された文字が特定の条件を満たす方向を、前記画像の正立方向として決定する機能とを実現させるためのプログラムである。

請求項１記載の発明によれば、画像の正立方向を決定するのに使用する文字として正立方向を決定する精度を高める文字を抽出することができる。
請求項２記載の発明によれば、予め定められた文字を用いて正立方向を決定する場合と比較して、正立方向を決定する精度を高めることができる。
請求項３記載の発明によれば、少なくとも２方向から読んだときの読みのそれぞれが何れかの文字を正立方向から読んだときの読みと一致する文字を用いて正立方向を決定する場合と比較して、正立方向を決定する精度を高めることができる。
請求項４記載の発明によれば、一方向から読んだときの読みと他の方向から読んだときの読みとが一致する文字を用いて正立方向を決定する場合と比較して、正立方向を決定する精度を高めることができる。
請求項５記載の発明によれば、一致度を考慮せずに抽出した文字を用いて正立方向を決定する場合と比較して、正立方向を決定する精度を高めることができる。
請求項６記載の発明によれば、一致度の高さによらず抽出した文字を用いて正立方向を決定する場合と比較して、正立方向を決定する精度を高めることができる。
請求項７記載の発明によれば、方向毎に抽出された文字の一致度を考慮せずに正立方向を決定する場合と比較して、正立方向を決定する精度を高めることができる。
請求項８記載の発明によれば、一致度に基づく値の差を考慮せずに正立方向を決定する場合と比較して、正立方向を誤って決定することを抑制することができる。
請求項９記載の発明によれば、画像の正立方向を決定するのに使用する文字として正立方向を決定する精度を高める文字を抽出する機能を、コンピュータにより実現できる。

本実施の形態に係る画像処理装置のハードウェア構成例を示す図である。 本実施の形態に係る画像処理装置の機能構成例を示したブロック図である。 （ａ）〜（ｄ）は、画像に含まれる文字を認識する方向の一例を説明するための図である。 （ａ）〜（ｄ）は、正立方向を決定する処理の具体例を説明するための図である。 画像処理装置が正立方向を決定する手順の一例を示したフローチャートである。 本実施の形態を適用可能なコンピュータのハードウェア構成例を示した図である。

以下、添付図面を参照して、本発明の実施の形態について詳細に説明する。

＜画像処理装置のハードウェア構成＞
まず、本実施の形態に係る画像処理装置１００のハードウェア構成について説明する。図１は、本実施の形態に係る画像処理装置１００のハードウェア構成例を示す図である。本実施の形態に係る画像処理装置１００は、例えば、画像読み取り機能（スキャン機能）、印刷機能（プリンタ機能）、複写機能（コピー機能）及びファクシミリ機能等の各種の画像処理機能を備えた、いわゆる複合機である。

図示するように、本実施の形態に係る画像処理装置１００は、制御部１１０と、ＨＤＤ（Hard Disk Drive）１２０と、操作パネル１３０と、画像読取部１４０と、画像形成部１５０と、通信インタフェース（以下、「通信Ｉ／Ｆ」と表記する）１６０とを備える。なお、これらの各機能部はバス１７０に接続されており、このバス１７０を介してデータの授受を行う。

制御部１１０は、画像処理装置１００の各部の動作を制御する。この制御部１１０は、ＣＰＵ（Central Processing Unit）１１０ａ、ＲＡＭ（Random Access Memory）１１０ｂ、ＲＯＭ（Read Only Memory）１１０ｃにより構成される。
ＣＰＵ１１０ａは、ＲＯＭ１１０ｃ等に記憶された各種プログラムをＲＡＭ１１０ｂにロードして実行することにより、画像処理装置１００における各機能を実現する。ＲＡＭ１１０ｂは、ＣＰＵ１１０ａの作業用メモリ等として用いられるメモリ（記憶部）である。ＲＯＭ１１０ｃは、ＣＰＵ１１０ａが実行する各種プログラム等を記憶するメモリ（記憶部）である。

ＨＤＤ１２０は、各種データを記憶する記憶部である。ＨＤＤ１２０には、例えば、画像読取部１４０の画像読み取りによって生成された画像データや、通信Ｉ／Ｆ１６０によって外部から受信した画像データ等が記憶される。

操作パネル１３０は、各種の情報を表示すると共に、各種の機能を用いた動作を行うためのユーザからの操作を受け付ける。操作パネル１３０としては、例えばタッチパネルディスプレイを例示することができる。

画像読取部１４０は、用紙等の記録材（原稿）に形成されている画像を読み取って、読み取った画像を示す画像情報（画像データ）を生成する。ここで、画像読取部１４０は、例えばスキャナーであり、光源から原稿に照射した光に対する反射光をレンズで縮小してＣＣＤ（Charge Coupled Devices）で受光するＣＣＤ方式や、ＬＥＤ光源から原稿に順に照射した光に対する反射光をＣＩＳ（Contact Image Sensor）で受光するＣＩＳ方式のものを用いるとよい。より具体的には、画像読取部１４０は、例えば、撮像素子の移動方向（副走査方向）に直交する主走査方向単位に原稿を読み取って、画像情報を生成する。

画像形成部１５０は、用紙等の記録材に画像を形成する印刷機構である。ここで、画像形成部１５０は、例えばプリンターであり、感光体に付着させたトナーを記録材に転写して像を形成する電子写真方式や、インクを記録材上に吐出して像を形成するインクジェット方式のものを用いるとよい。

通信Ｉ／Ｆ１６０は、不図示のネットワークを介して他の装置との間で各種データの送受信を行う通信インタフェースである。

そして、この画像処理装置１００では、制御部１１０による制御の下、画像読取部１４０によってスキャン機能が実現され、画像形成部１５０によってプリンター機能が実現され、画像読取部１４０及び画像形成部１５０によってコピー機能が実現され、画像読取部１４０、画像形成部１５０及び通信Ｉ／Ｆ１６０によってファクシミリ機能が実現される。

＜画像処理装置の機能構成＞
次に、本実施の形態に係る画像処理装置１００の機能構成について説明する。図２は、本実施の形態に係る画像処理装置１００の機能構成例を示したブロック図である。

画像処理装置１００は、画像情報を取得する画像情報取得部１０１と、画像情報により特定される画像に含まれる文字を認識する文字認識部１０２と、認識した文字の中から正立方向の決定に用いる文字を抽出する文字抽出部１０３とを備える。ここで、正立方向とは、その画像中の文字が正しく読める方向である。
また、画像処理装置１００は、正立方向の決定において対象外の文字として予め定められた文字（以下、対象外文字と称する）の情報を格納する対象外文字格納部１０４と、文字抽出部１０３が抽出した文字について一致度の平均値を計算する平均一致度計算部１０５と、一致度の平均値を基に画像の正立方向を決定する正立方向決定部１０６とを備える。

画像情報取得部１０１は、画像読取部１４０が原稿上の画像を読み取って生成した画像情報を取得する。

文字認識部１０２は、画像情報取得部１０１が取得した画像情報により特定される画像（即ち、画像読取部１４０によって読み取られた原稿上の画像）に含まれる文字を、複数の方向（例えば、４方向）から認識する。

図３（ａ）〜（ｄ）は、画像に含まれる文字を認識する方向の一例を説明するための図である。文字認識部１０２は、画像１１に対して、図３（ａ）〜（ｄ）に示す４方向のそれぞれから文字を認識する。

ここで、図３（ａ）に示す画像１１は０度の方向にあるものとする。より具体的には、図３（ａ）に示す０度の方向は、画像１１の頂点ａ１及び頂点ａ２からなる一辺が図中上側に向いている方向である。付言すると、文字認識部１０２は、画像読取部１４０の画像読み取り（スキャン）の方向、言い換えると、画像読み取りの主走査方向や副走査方向に基づいて、０度の方向を決定する。

また、図３（ｂ）に示す画像１１は、９０度の方向にある。より具体的には、９０度の方向は、０度の方向を時計回りに９０度回転させた方向であり、画像１１の頂点ａ１及び頂点ａ２からなる一辺が図中右側に向いている方向である。図３（ｃ）に示す画像１１は、１８０度の方向にある。より具体的には、１８０度の方向は、０度の方向を時計回りに１８０度回転させた方向であり、画像１１の頂点ａ１及び頂点ａ２からなる一辺が図中下側に向いている方向である。図３（ｄ）に示す画像１１は、２７０度の方向にある。より具体的には、２７０度の方向は、０度の方向を時計回りに２７０度回転させた方向であり、画像１１の頂点ａ１及び頂点ａ２からなる一辺が図中左側に向いている方向である。

このようにして、文字認識部１０２は、画像読取部１４０により生成された画像情報に対して０度の方向を設定する。また、０度の方向から回転させることにより、他の３方向（９０度の方向、１８０度の方向、２７０度の方向）を設定する。そして、各方向から文字認識を行う。

なお、文字認識には、例えばＯＣＲ（Optical Character Recognition）が用いられる。ＯＣＲとは、画像データ上にある文字を解析し、コンピュータで扱われる文字データに変換する技術である。認識される文字には、平仮名、片仮名、漢字、アルファベットの他、例えば、数字、記号、マーク等も含まれるものとする。

文字抽出部１０３は、文字認識部１０２が認識した文字の中から予め定められた条件を満たす文字を複数の方向の方向毎に抽出する。ここで抽出される文字は、正立方向の決定に用いられる。
より具体的には、文字抽出部１０３は、まず、文字認識部１０２が認識した文字から対象外文字を除外し、残りの文字を抽出する。さらに、文字抽出部１０３は、対象外文字を除外した残りの文字のうち、一致度が高いものから順に予め定められた数の文字を抽出する。

ここで、一致度とは、予め定められた文字パターンと比較した場合に一致している度合を示す値である。一般に、ＯＣＲ等により文字認識を行う場合、文字認識を行った文字毎に一致度が割り当てられる。付言すると、一致度は、文字認識による認識結果の確からしさを示す度合、言い換えると、文字認識による認識結果を確信できる度合であり、確信度として捉えることもできる。この一致度（確信度）が高いほど、文字認識の信頼性が高いと判断される。

付言すると、文字抽出部１０３は、対象外文字を除外した残りの文字のうち、予め定められた文字パターンとの一致度が特定の条件を満たす文字を抽出するものとして捉えることもできる。ここでの特定の条件は、例えば、一致度が高いものから順に予め定められた数の文字であること、といえる。

対象外文字格納部１０４は、対象外文字の情報を格納する。対象外文字の情報については、ユーザ等により予め設定される。
ここで、対象外文字とは、例えば、少なくとも２方向から文字として認識される文字である。文字として認識される場合とは、予め定められた文字パターンと比較した場合の一致度が予め定められた閾値を超える場合といえる。言い換えると、対象外文字は、例えば、少なくとも２方向から読んだときの読みのそれぞれが、何れかの文字（例えば、文字パターンとして用意されている複数の文字のうちの何れかの文字）を正立方向から読んだときの読みと一致する文字、として捉えることもできる。

具体的には、例えば、数字の「１」は、正立方向から認識した場合に「１」と認識されるが、正立方向から時計回りに１８０度回転した１８０度の方向から認識した場合にも「１」と認識される場合がある。即ち、正立方向、１８０度の方向から読んだときの読みのそれぞれが、「１」の読みと一致する。同様に、数字の「８」は、正立方向から認識した場合に「８」と認識されるが、正立方向から時計回りに１８０度回転した１８０度の方向から認識した場合にも「８」と認識される場合がある。即ち、正立方向、１８０度の方向から読んだときの読みのそれぞれが、「８」の読みと一致する。

また、数字の「６」は、正立方向から認識した場合に「６」と認識されるが、正立方向から時計回りに１８０度回転した１８０度の方向から認識した場合には「９」と認識される場合がある。即ち、正立方向から読んだときの読みは「６」の読みと一致し、１８０度の方向から読んだときの読みは「９」の読みと一致する。

このような文字は単純な構成である場合が多く、一致度は高い値になる傾向があるものの、正立方向の判定に用いた場合には正立方向が誤って判定されることが考えられる。そのため、このような文字は正立方向を判定する際のノイズとなり、対象外文字として設定することにより、正立方向の判定から除外される。

また、例えば、数字の「１」や「８」等の対象外文字は、一方向から読んだときの読みと他の方向から読んだときの読みとが一致する文字といえる。言い換えると、これらの文字は、一方向から認識した場合の認識結果と他の方向から認識した場合の認識結果とが一致する文字といえる。

さらに説明すると、上述したように、例えば、数字の「１」は、正立方向から読んだときの読みと正立方向から時計回りに１８０度回転した１８０度の方向から読んだときの読みとが一致する文字といえる。同様に、数字の「８」も、正立方向から読んだときの読みと正立方向から時計回りに１８０度回転した１８０度の方向から読んだときの読みとが一致する文字といえる。他には、例えば、アルファベットの「Ｏ」や「Ｘ」などが例示される。

平均一致度計算部１０５は、文字抽出部１０３が複数の方向の方向毎に抽出した予め定められた数の文字について、一致度の平均値を計算する。より具体的には、例えば、各方向において５つの文字が抽出された場合、平均一致度計算部１０５は、それぞれの方向において、５つの文字の一致度の平均値を計算する。なお、本実施の形態において、一致度の平均値は、一致度に基づく値の一例として用いられる。

正立方向決定部１０６は、平均一致度計算部１０５が計算した一致度の平均値を基に、複数の方向から画像の正立方向を決定する。ここで、正立方向決定部１０６は、複数の方向のそれぞれで計算された一致度の平均値を比較する。そして、正立方向決定部１０６は、複数の方向のうち、一致度の平均値が最も高い値を示す方向を、画像の正立方向として決定する。ただし、一致度の平均値の最も高い値と２番目に高い値との差が予め定められた閾値以下の場合には、複数の方向の中で優位性が現れないため、画像の正立方向を不定とする。

付言すると、正立方向決定部１０６は、複数の方向のうち、文字抽出部１０３により方向毎に抽出された文字が特定の条件を満たす方向を、画像の正立方向として決定するものとして捉えることもできる。ここでの特定の条件は、例えば、抽出された文字の一致度の平均値が最も高い値を示すこと、といえる。

そして、図２に示す画像処理装置１００を構成する各機能部は、ソフトウェアとハードウェア資源とが協働することにより実現される。具体的には、画像処理装置１００を図１に示したハードウェア構成にて実現した場合、例えば、ＲＯＭ１１０ｃに格納されているＯＳのプログラムやアプリケーション・プログラムが、ＲＡＭ１１０ｂに読み込まれてＣＰＵ１１０ａに実行されることにより、画像情報取得部１０１、文字認識部１０２、文字抽出部１０３、平均一致度計算部１０５、正立方向決定部１０６等の各機能が実現される。また、対象外文字格納部１０４は、例えばＨＤＤ１２０等の記憶手段により実現される。

また、本実施の形態では、取得手段の一例として、画像情報取得部１０１が用いられる。抽出手段の一例として、文字認識部１０２、文字抽出部１０３が用いられる。決定手段の一例として、正立方向決定部１０６が用いられる。

＜正立方向を決定する処理の具体例＞
次に、画像処理装置１００が正立方向を決定する処理について、具体例を挙げて説明する。図４（ａ）〜（ｄ）は、正立方向を決定する処理の具体例を説明するための図である。ここで、図４（ａ）〜（ｄ）に示す画像１１はそれぞれ、図３（ａ）〜（ｄ）に示す画像１１に対応する。そして、画像１１に含まれる文字を、図３（ａ）〜（ｄ）に示す４方向から認識して正立方向を決定するものとして説明する。

まず、図４（ａ）を参照しながら、０度の方向から文字認識を行う場合の処理について説明する。
ここで、文字認識部１０２は、画像１１に対して０度の方向から文字を認識する。その結果、例えば、「５１８」、「連番」、「Ａ４」、「カラー出力」、「テストデータ」等の文字が認識される。また、写真の画像（写真の画像情報から得られる画像）１２においても、本来文字でないにもかかわらず、誤って文字として認識されるものが存在する。

次に、文字抽出部１０３は、文字認識部１０２が認識した文字から、対象外文字を除外する。ここでは、例えば、「５１８」の「１」や「８」の文字が対象外文字として除外される。次に、文字認識部１０２は、対象外文字を除外した残りの文字のうち、一致度が高いものから順に予め定められた数（図４に示す例では、「５」）の文字を抽出する。

図４（ａ）に示す例では、一致度が上位となる５つの文字は、太線で囲んだ「連」、「番」、「Ａ」、「テ」、「ト」である。文字抽出部１０３はこれら５つの文字を抽出する。ここで、例えば、写真の画像１２において誤って文字として認識されたものは、予め定められた文字パターンとの一致度は低い。そのため、一致度が上位となる文字を抽出することにより、画像１２において誤って文字として認識されたものが抽出される可能性は低くなる。

次に、平均一致度計算部１０５は、抽出された５つの文字の一致度の平均値を計算する。図４（ａ）に示す例では、「連」、「番」、「Ａ」、「テ」、「ト」の一致度はそれぞれ、「７４」、「７４」、「６６」、「６３」、「６０」である。これらの平均値は「６７．４」と計算される。

同様に、図４（ｂ）〜（ｄ）に示す３方向においても、文字の認識が行われる。そして、対象外文字が除外されて、一致度の上位５つの文字が抽出される。ここで、各方向で同一の文字が抽出されるとは限らない。例えば、０度の方向では、「連」、「番」、「Ａ」、「テ」、「ト」の５つの文字が抽出されたが、９０度の方向では、これら５つの文字とは別の文字（例えば、図４（ｂ）の太線で囲む「５」、「カ」、「ラ」、「デ」、「タ」の文字）が抽出される。

さらに説明すると、画像１１の正立方向は０度の方向であるため、他の３方向で文字を認識した場合には、文字が正しく認識されない。例えば、図４（ｂ）に示すように「連」の文字を９０度の方向から認識したとしても、「連」の文字は時計回りに９０度回転しているため、「連」として認識されるわけではなく、該当する文字がないとして不定になったり、他の文字として認識されたりする。また、「連」が他の文字として認識されたとしても、文字パターンとの一致度は低くなり、文字認識の信頼性は低い。

結果として、例えば、９０度の方向、１８０度の方向、２７０度の方向の一致度の平均値はそれぞれ、「２７．７」、「４０．４」、「３９．０」と計算される。
正立方向決定部１０６は、４方向のそれぞれで計算した一致度の平均値を比較して、最も高い値である「６７．４」の方向、即ち、０度の方向を、画像１１の正立方向として決定する。

ただし、正立方向決定部１０６は、一致度の平均値の最も高い値と２番目に高い値との差が予め定められた閾値以下の場合には、複数の方向の中で優位性が現れないため、画像１１の正立方向を不定とする。図４に示す例では、最も高い値「６７．４」と２番目に高い値「４０．４」との差が計算される。ここで、両者の差は「２７．０」である。例えば、閾値が「１０．０」の場合には、画像１１の正立方向は不定とはならず、０度の方向が正立方向として決定される。

＜正立方向を決定する手順の説明＞
次に、画像処理装置１００が正立方向を決定する手順について説明する。図５は、画像処理装置１００が正立方向を決定する手順の一例を示したフローチャートである。

まず、画像情報取得部１０１は、画像読取部１４０が原稿上の画像を読み取って生成した画像情報を取得する（ステップ１０１）。次に、文字認識部１０２は、文字認識を行う複数の方向のうちの１方向を選択し、選択した１方向において画像の文字認識を実行する（ステップ１０２）。次に、文字抽出部１０３は、文字認識部１０２により認識された文字から対象外文字を除外する（ステップ１０３）。次に、文字抽出部１０３は、対象外文字を除外した残りの文字から、一致度が高いものから順に予め定められた数の文字を抽出する（ステップ１０４）。

次に、平均一致度計算部１０５は、文字抽出部１０３が抽出した予め定められた数の文字について、一致度の平均値を計算する（ステップ１０５）。次に、正立方向決定部１０６は、文字認識を行う全ての方向について、ステップ１０２〜ステップ１０５の処理が終了したか否かを判定する（ステップ１０６）。ここでは、例えば、０度、９０度、１８０度、２７０度の４方向の全てで、ステップ１０２〜ステップ１０５の処理が終了したか否かの判定が行われる。

ステップ１０６において、まだステップ１０２〜ステップ１０５の処理を終了していない方向があれば（ステップ１０６でＮｏ）、文字認識部１０２は、画像を時計回りに９０度回転し（ステップ１０７）、ステップ１０２に移行する。ステップ１０２に移行した後、文字認識部１０２は、９０度回転後の新たな方向にて文字認識を実行する。

一方、ステップ１０６において、全ての方向についてステップ１０２〜ステップ１０５の処理が終了していれば（ステップ１０６でＹｅｓ）、正立方向決定部１０６は、全ての方向の方向毎に計算された一致度の平均値を比較し、一致度の平均値が最も高い方向を、画像の正立方向として決定する（ステップ１０８）。ここで、一致度の平均値について最も高い値と２番目に高い値との差が予め定められた閾値以下の場合、正立方向決定部１０６は画像の正立方向を不定とする。そして、本処理フローは終了する。

以上説明したように、本実施の形態に係る画像処理装置１００は、画像に含まれる文字を複数の方向から認識する。また、複数の方向の方向毎に、認識した文字の中から対象外文字を除外するとともに、一致度が高いものから順に予め定められた数の文字を抽出する。そして、方向毎に抽出した予め定められた数の文字について一致度の平均値を計算し、計算した平均値が最も高い方向を画像の正立方向として決定する。

例えば対象外文字や写真から誤って認識された文字などは、正立方向を決定する場合のノイズとなる。このような文字を使用して正立方向を決定すると、本来の正立方向とは異なる方向を正立方向として決定してしまう場合がある。本実施の形態では、対象外文字を除外するとともに、一致度の高いものから順に抽出された文字を基に正立方向を決定することにより、極力ノイズが除外された状態で画像の正立方向が決定されることとなる。

また、本実施の形態において、平均一致度計算部１０５は、文字抽出部１０３が抽出した予め定められた数の文字について一致度の平均値を計算したが、計算するのは一致度の平均値に限られない。平均一致度計算部１０５は、例えば、予め定められた数の文字について一致度の合計値を計算してもよい。この場合、正立方向決定部１０６は、例えば、複数の方向のそれぞれで計算された一致度の合計値を比較し、一致度の合計値が最も高い値の方向を画像の正立方向として決定する。

また、本実施の形態では、対象外文字を除外した後に、一致度の高い文字を抽出することとしたが、このような構成に限られない。例えば、一致度の高い文字を抽出した後に、対象外文字を除外してもよい。この場合に、一致度の高い文字として抽出した文字の中に対象外文字が含まれていれば、例えば、対象外文字の代わりに、まだ抽出していない文字の中で一致度の最も高い文字が新たに補充されて、一致度の平均値が計算される。また、例えば、新たに文字を補充せずに、一致度の高い文字として抽出した文字から対象外文字を除外して残った文字だけを用いて、一致度の平均値を計算してもよい。

さらに、本実施の形態では、対象外文字を除外するとともに一致度の高い文字を抽出することとしたが、両者を併用せずに、何れか一方のみを行うこととしてもよい。
即ち、画像処理装置１００は、画像に含まれる文字を複数の方向から認識し、認識した文字の中から対象外文字を除外して、残りの文字を予め定められた条件を満たす文字として抽出する。そして、抽出した文字について一致度の平均値を計算することにより、複数の方向から画像の正立方向を決定してもよい。
また、画像処理装置１００は、画像に含まれる文字を複数の方向から認識し、認識した文字のうち一致度が高いものから順に予め定められた数の文字を、予め定められた条件を満たす文字として抽出する。そして、抽出した文字について一致度の平均値を計算することにより、複数の方向から画像の正立方向を決定してもよい。

＜適用可能なコンピュータの説明＞
ところで、本実施の形態に係る画像処理装置１００による処理は、例えば、ＰＣ（Personal Computer）等の汎用のコンピュータにおいて実現してもよい。そこで、この処理をコンピュータ２００で実現するものとして、そのハードウェア構成について説明する。この場合、例えば、画像処理装置１００等により生成された画像情報がコンピュータ２００に送信されることにより、コンピュータ２００において画像情報に対する処理が行われる。

図６は、本実施の形態を適用可能なコンピュータ２００のハードウェア構成例を示した図である。なお、本実施の形態において、コンピュータ２００は、画像処理装置の一例として用いられる。

コンピュータ２００は、演算手段であるＣＰＵ２０１と、記憶手段であるメインメモリ２０２及び磁気ディスク装置（ＨＤＤ）２０３とを備える。ここで、ＣＰＵ２０１は、ＯＳやアプリケーション等の各種プログラムを実行する。また、メインメモリ２０２は、各種プログラムやその実行に用いるデータ等を記憶する記憶領域であり、磁気ディスク装置２０３は、図２に示す各機能部を実現するためのプログラムを格納する。そして、このプログラムがメインメモリ２０２にロードされ、このプログラムに基づく処理がＣＰＵ２０１により実行されることで、各機能部が実現される。
さらに、コンピュータ２００は、外部との通信を行うための通信インタフェース（Ｉ／Ｆ）２０４と、ビデオメモリやディスプレイ等からなる表示機構２０５と、キーボードやマウス等の入力デバイス２０６とを備える。

より具体的には、ＣＰＵ２０１が、画像情報取得部１０１、文字認識部１０２、文字抽出部１０３、平均一致度計算部１０５、正立方向決定部１０６等を実現するプログラムを、例えば磁気ディスク装置２０３からメインメモリ２０２に読み込んで実行することにより、これらの機能部が実現される。また、対象外文字格納部１０４は、例えば、磁気ディスク装置２０３により実現される。

また、本発明の実施の形態を実現するプログラムは、通信手段により提供することはもちろん、ＣＤ−ＲＯＭ等の記録媒体に格納して提供することも可能である。

なお、上記では種々の実施形態および変形例を説明したが、これらの実施形態や変形例どうしを組み合わせて構成してももちろんよい。
また、本開示は上記の実施形態に何ら限定されるものではなく、本開示の要旨を逸脱しない範囲で種々の形態で実施することができる。

１００…画像処理装置、１０１…画像情報取得部、１０２…文字認識部、１０３…文字抽出部、１０４…対象外文字格納部、１０５…平均一致度計算部、１０６…正立方向決定部

Claims (9)

1. 画像情報を取得する取得手段と、
   前記画像情報により特定される画像に含まれる文字を複数の方向から認識し、認識した文字の中から予め定められた条件を満たす文字を当該方向毎に抽出する抽出手段と、
   前記複数の方向のうち、当該方向毎に抽出された文字が特定の条件を満たす方向を、前記画像の正立方向として決定する決定手段と
   を備える画像処理装置。
2. 前記抽出手段は、認識した文字の中から予め定められた文字を除外した残りの文字を、前記予め定められた条件を満たす文字として抽出すること
   を特徴とする請求項１に記載の画像処理装置。
3. 前記予め定められた文字は、少なくとも２方向から読んだときの読みのそれぞれが何れかの文字を正立方向から読んだときの読みと一致する文字であること
   を特徴とする請求項２に記載の画像処理装置。
4. 前記予め定められた文字は、一方向から読んだときの読みと他の方向から読んだときの読みとが一致する文字であること
   を特徴とする請求項２に記載の画像処理装置。
5. 前記抽出手段は、予め定められた文字パターンとの一致度が特定の条件を満たす文字を、前記予め定められた条件を満たす文字として抽出すること
   を特徴とする請求項１乃至４の何れか１項に記載の画像処理装置。
6. 前記抽出手段は、前記一致度が高いものから順に予め定められた数の文字を、前記予め定められた条件を満たす文字として抽出すること
   を特徴とする請求項５に記載の画像処理装置。
7. 前記決定手段は、前記複数の方向のうち、当該方向毎に抽出された文字の前記一致度に基づく値が最も高い方向を、前記画像の正立方向として決定すること
   を特徴とする請求項５又は６に記載の画像処理装置。
8. 前記決定手段は、前記複数の方向のうち、当該方向毎に抽出された文字の前記一致度に基づく値が最も高い方向と２番目に高い方向とについて、当該一致度に基づく値の差が予め定められた閾値以下の場合には、前記画像の正立方向を不定とすること
   を特徴とする請求項５乃至７の何れか１項に記載の画像処理装置。
9. コンピュータに、
   画像情報を取得する機能と、
   前記画像情報により特定される画像に含まれる文字を複数の方向から認識し、認識した文字の中から予め定められた条件を満たす文字を当該方向毎に抽出する機能と、
   前記複数の方向のうち、当該方向毎に抽出された文字が特定の条件を満たす方向を、前記画像の正立方向として決定する機能と
   を実現させるためのプログラム。

Images