JP2005202834A - 文字認識システム、文字認識方法及び文字認識プログラム - Google Patents

Abstract

【課題】 撮像領域を容易に変更できる撮像手段を用いて撮像された画面における文字認識処理性能の低下を解決する文字認識システム、文字認識方法及びプログラムを提供する。
【解決手段】 撮像部２により撮像された画像データに対して画像処理部３が画像処理を行い、文字領域検出部６はその画像処理された画像に文字領域が存在するか否かを判定するための処理を行う。文字領域が存在すると判定したとき、文字列のスキュー及び文字列の解像度を計算し、所定の閾値より低い場合は再度の画像処理を行い、所定の閾値より高い場合はそのまま文字認識を行う。
【選択図】図１

Description

本発明は文字認識技術に係り、特に撮像された画像データを再構成することにより撮像された画像データに含まれている文字を認識する文字認識システム、文字認識方法及び文字認識プログラムに関する。

従前の文字認識システムの画像を撮像するための撮像手段として、フライングスポットスキャナ、レーザースキャナ、半導体イメージスキャナ等に代表される走査型センサー、及びデジタルカメラやＣＣＤカメラ等に代表されるエリアセンサーがある。

通常用いられるフラットベッドスキャナを用いた画像読み取りを行う場合、撮像されるべき対象となる領域は予め定められており、この撮像されるべき対象領域を外れたものを読込むことはできない。このため、この対象領域を外れた文字に対して文字認識を行うことはできなかった。

これに対し、デジタルカメラ等に代表される撮像領域を容易に変更することができる撮像手段は、読取り対象物の位置を予め指定する必要がないため、読取り対象物の位置に関する制限は緩和された。しかし、比較的容易に画像を撮像することができる反面、カメラフォーカスの焦点が合わなかったり、画像がスキューしたり（傾いたり）、光源の影響を受けてしまい画像の明るさにムラが出る場合があるため、文字認識処理に悪影響を与える可能性がある。また、デジタルカメラでは一度に撮像できる視野に限度があるため、読取り対象物全体を一度の操作で撮像することが困難である場合があり、仮に読取り対象物を一度の操作で撮像した場合であっても、その撮像のための解像度が小さすぎるため撮像画面の文字が潰れるという問題が生じる虞がある。

また、文書や文字を含む撮像対象を画像データで取り込んだ場合、その文字を含む部分も画像データとして扱われるため、テキストデータとして記憶するよりもかなり大きな記憶容量が必要とされ、必要に応じて再度テキストデータとして入力しなければならないというオペレータにとって不便な問題点がある。この問題点を解決するため、取り込んだ画像に含まれる文字情報をテキストデータに変換する映像入力に関する技術がある（特許文献１参照）。この特許文献１においては、文字情報の有する画像を取り込み、その取り込んだ際における画像のサイズから文字情報が認識できない場合、その取り込んだ画像をズームアップするといった光学的な画像処理を行った後に文字認識をすることにより高画質の静止画像からテキストデータを容易に抽出するものである。
特開平９−８３７８９号公報（第７頁、図１４Ｃ）

デジタルカメラに代表される撮像領域を容易に変更することができる撮像手段を用いて文字認識システムを構成した場合、読取り対象物の位置に関する制限を著しく緩和する反面、撮像した画像の品質劣化に基づく文字認識処理性能の低下という問題点が生じる。

そこで、本発明は上記問題点を解決するためになされたものであり、ＰＤＡ、携帯電話やデジタルカメラに代表される撮像領域を容易に変更することができる撮像手段を用いて撮像した画面に生じる画像中における文字認識処理の性能の低下を解決する文字認識システム、文字認識方法及びプログラムを提供することを目的とする。

上記問題点を解決するために、本発明の文字認識システムは、所定の範囲の領域を撮像し、第１の解像度を有する画像データを出力する画像撮像手段と、画像撮像手段により撮像された画像データに対して文字列を含む文字領域があるか否かを検出する文字領域検出手段と、文字領域検出手段により検出された画像データの文字領域における文字列を文字認識する文字認識手段と、画像データを文字認識手段により文字認識するための解像度を有するか否かを判別する画像解像度判別手段と、画像解像度判別手段により、画像データが文字認識するための解像度を有しないと判別された場合、画像撮像手段により撮像された画像の解像度を第１の解像度よりも解像度が高い第２の解像度に変換する画像処理手段とを具備することを特徴としている。

次に、本発明の文字認識方法は、所定の範囲の領域を撮像し、第１の解像度を有する画像データを出力する画像撮像ステップと、撮像された画像データに対して文字列を含む文字領域があるか否かを検出する文字領域検出ステップと、検出された画像データの文字領域における文字列を文字認識する文字認識ステップと、画像データを文字認識するための解像度を有するか否かを判別する画像解像度判別ステップと、画像解像度判別ステップにより、画像データが文字認識するための解像度を有しないと判別された場合、撮像された画像の解像度を第１の解像度よりも解像度が高い第２の解像度に変換する画像処理ステップとを具備することを特徴としている。

さらに、本発明の文字認識プログラムは、コンピュータに、所定の範囲の領域を撮像し、第１の解像度を有する画像データを出力する画像撮像機能と、撮像された画像データに対して文字列を含む文字領域があるか否かを検出する文字領域検出機能と、検出された画像データの文字領域における文字列を文字認識する文字認識機能と、画像データを文字認識するための解像度を有するか否かを判別する画像解像度判別機能と、画像解像度判別機能により、画像データが文字認識するための解像度を有しないと判別された場合、撮像された画像の解像度を第１の解像度よりも解像度が高い第２の解像度に変換する画像処理機能とを実現させることを特徴としている。

本発明によれば、撮像領域を容易に変更することができる撮像手段を用いて撮像された画面における文字認識処理性能の低下を解決し、文字認識可能な撮像画面を得ることができる。

本発明に係る文字認識システムは、撮像された画像に文字が含まれている場合、当該文字領域を検出するとともに、この文字領域内における文字の認識を行うために、撮像された画像に対して「２値化処理」又は「ラベリング処理」などのデジタル処理（これら二つの処理に限られないものとする。）を行うものである。撮像した画像に文字領域があるか否かを判別する。

以下の実施例１においては、撮像するための手段及び文字画像を文字認識することができように再構成するための手段が一体化されている文字認識システムについて、実施例２においては、撮像するための手段及び文字画像を文字認識することができように再構成するための手段が一体化せずに分離している文字認識システムについて記載する。

まず、実施例１に係る文字認識システム１の構成について図１を参照して説明する。

図１は、実施例１に係る文字認識システム１の構成を示すブロック図である。本発明に係る文字認識システム１は、所定の範囲の領域を画像として撮像する撮像部２と、文字認識処理の終了条件を手動的に又は自動的に入力する入力部３と、撮像部２により撮像された画像中に文字領域があるか否かを判別する文字領域検出部４と、文字領域検出部４により検出された文字領域の文字を文字認識する文字認識部５と、撮像部２により撮像された画像に対して文字領域検出処理又は文字認識処理を実行するための画像処理を行う画像処理部６と、画像処理部６による処理結果をオペレータに表示するための表示部７と、画像処理部６による処理結果を記憶するための記憶部８と、これらの各部を制御する制御部９と、バッファ部１０とから構成されている。

撮像部２は画像を撮像するためのものであり、例えばＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）、携帯電話、デジタルカメラやＣＣＤカメラに代表されるエリアセンサを配するものである。また撮像される画像領域を自動的に制御するために、レンズなどの光学系の撮像装置の一部又は全体を制御する機構を付加してもよい。本発明の文字認識システム１において、制御部９は、撮像の際に撮像部２を制御し、撮像の対象となる画像領域を拡大し、縮小し、回転し、及び光学系の焦点の調整をする処理のうち少なくとも一つを制御する。

入力部３は後記する文字認識処理に先立ち必要な様々な条件の設定を手動的に又は自動的に行うためのものである。入力部３は、キーボードの他に音声認識装置を備えた音声入力装置、オペレータの視線を検知して入力を行う視線入力装置、又はオペレータの指の動きや位置を検知してデータの入力を行うためのデータグローブ等が該当する。さらに、入力部３による撮像の対象領域の指定方法としては、例えば多角形領域の各頂点座標や、四角形領域の対角する一組の頂点座標、円及び楕円領域の中心座標と半径等を入力することである。また、場合に応じてはこの指定はオペレータが直接手動で入力するのではなく、文字認識システム１自体にプログラムにより予め設定されているものであってもよい。

表示部４は文字認識の結果や画像処理途中の画像データを表示するためのものである。表示部４は、ＴＶモニター、液晶表示装置、又は白板や銀幕に投影するプロジェクター装置が該当する。

画像処理部５は、オペレータの指示により、撮像部２により撮像された画像に対して様々な画像処理を行うものである。例えば、画像の２値化処理、ラベリング処理、ノイズ除去、エッジ検出、画像のアフィン変換、明度変換、彩度変換、色相変換、画素値の多値化、カラー画像に対する色補正、動画像処理におけるオプティカルフロー検出等である。また必要に応じてステレオマッチングも行うことができる。また、この画像処理部５では、上記した様々なデジタル信号による処理が行われることにより、撮像部２により撮像された画像の拡大・縮小・回転・逆透視変換を行うことができる。これは撮像部２により撮像されるときにオペレータにより撮像の対象領域に対して光学的な拡大・縮小・回転が行われなかった場合でも、画像処理部５ではデジタル信号による処理が行われるため、事後的に画像処理部５においても撮像部２により撮像された画像に対して拡大・縮小・回転ができる。

文字領域検出部６は、画像処理部５による画像処理の結果得た画像情報と画像処理部５により画像処理が済んだ画像とに基づいて文字領域の検出を行うものである。この画像処理部５による画像処理の結果得た情報とは、画像処理部５が撮像部２により撮像された画像データに対して２値化処理した原画像、その画像にラベリング処理した画像の数、座標、画像そのもの及び外接矩形等の情報である。この検出に当っては必要に応じて文字領域検出部６及び文字認識部７が連携し、文字認識処理結果をフィードバックすることにより正確に文字領域の検出を行うように文字領域検出部６を構成してもよい。文字領域検出方法としては、例えば新聞や雑誌等のように文字が多数記載されている場合、画像処理の結果得られる２値画像に対して、文字画像（黒画素）の連結部分に対してラベル付けを行い（ラベリング処理）、ラベル画像に対して連結部分であるセグメントの抽出を行い、セグメント群の密度を計算する。このセグメント密度が所定の閾値より大きい領域を文字領域と判定することにより行われる。

またこの文字領域検出処理と同時に、ラベリング処理した画像の外接矩形の中心座標群に対して回帰分析（最小二乗近似）等の手法を適用してラベリング処理した画像中の文字列に対して一次直線近似を行うことにより、文字方向を推定しておくことも重要である。一般的に、画像処理部５が複数枚撮像された画像データを連結する際、撮像部２により撮像された画像中の文字列に限定して連結するが、このとき、印刷物における文字方向の推定は、文字列は一直線状に配置されているようにラベル画像の外接矩形の中心座標に対して回帰分析（最小二乗近似）の手法を適用することにより実現される。

文字認識部７では、文字領域検出部６で文字領域であると検出された文字群の画像から一文字ずつ文字画像の検出切出し処理を行い、この画像群に対して文字認識手法に応じた特徴抽出を行う。必要に応じて、特徴選択や特徴次元数削減を行い、複合類似度法、部分空間法及びＬＶＱ（Ｌｅａｒｎｉｎｇ Ｖｅｃｔｏｒ Ｑｕａｎｔｉｚａｔｉｏｎ）法など既存の文字認識方法により文字認識処理を行う。

記憶部８は、撮像部２により撮像された画像データ、画像処理部５により画像処理が未だ終了していない中間状態である画像データ、画像処理部５により画像処理が終了した画像データの他、画像処理部５による画像処理の結果得た様々な情報、及び制御部９の制御の下バッファ部１０に記憶されているデータが記憶されるものである。画像処理部５による画像処理の結果得た様々な情報とは、撮像部２により撮像された画像に対して２値化処理した画像、その２値化処理した画像にラベリング処理した画像の情報、座標の位置、又は２値化処理により生じた外接矩形の情報や外接矩形そのものである。

制御部９は、上記した撮像部２、入力部３、表示部４、画像処理部５、文字領域検出部６、文字認識部７、及び記憶部８を制御するとともに、各種データの計算・編集や各種データ間の転送を行うものである。また、本発明の文字認識システム１においては、撮像部２により撮像される対象となる画像領域を制御するものとする。

バッファ部１０は、制御部９が各処理部での処理結果を一時的に記憶するためのワーク領域であり、表示部４に表示される画像未処理の画像データ、画像処理の中間状態の画像データ又は画像処理済み等の画像データは、制御部９が各処理部における処理をバッファ部１５内にて実行した画像データ、又は記憶部８から読み込んでこのバッファ部１５内に展開したデータであるとする。

次に、実施例１に係る文字認識システム１の動作について図２を参照して説明する。

図２は、本発明の文字認識システム１の動作を説明するフローチャートである。オペレータの指示により、入力部２からオペレータの要求する画像領域、画像データを得るための条件及び文字認識システム１による文字認識処理の終了条件が入力されたときに文字認識システム１はＳ２以降の処理を開始し（Ｓ１のＹＥＳ）、オペレータの指示により、入力部２からオペレータの要求する画像領域、画像データを得るための条件及び文字認識システム１による文字認識処理の終了条件が入力されていないとき（Ｓ１のＮＯ）、文字認識システム１はオペレータからの画像領域及び文字認識処理の終了条件の入力指示を待つ。この「オペレータの要求する画像領域」とは、オペレータが自己の所望する映像をデジタルカメラ等の撮像手段を用いて画像として撮像する対象となる領域である。さらに、この「文字認識システム１による文字認識処理の終了条件」とは、上記したオペレータの要求する画像領域、画像範囲を得るためにオペレータ自身により入力される又は予め設定されている条件である。例えば、撮像部２によりオペレータ自身が所望する同一の範囲の映像を三回撮像し、所定の画像処理を実行して文字領域検出処理をした結果文字領域を検出することができなかったときに撮像部２により撮像された画像には文字領域はないものとして文字認識処理を強制的に終了させるという条件である。

文字認識システム１は、オペレータによりＳ１で入力された撮像回数を表わすパラメータｎを初期設定する（Ｓ２）。制御部９は撮像部２を制御し、オペレータの指示により入力部２において入力された所望の条件に基づいて領域指定された映像を画像として撮像する（Ｓ３）。文字認識システム１は、このとき撮像回数ｎをインクリメントし（Ｓ４）、この撮像した画像を画像データとして記憶部８に記憶する。このとき、画像処理部５は撮像部２により撮像された画像に対して２値化処理やラベリング処理などの画像処理を行う（Ｓ５）。

文字領域検出部６は、画像処理部５により２値化処理された原画像（Ｓ３により撮像された画像）、この原画像にラベリング処理した情報、座標の位置、外接矩形の情報及び画像処理部５により画像処理した後の画像データに基づき、Ｓ３で撮像した画像の中に文字があるか否かを判別するために文字領域の検出を行う（Ｓ６）。

この文字領域検出処理の結果、文字領域検出部６はＳ３で撮像した画像に文字を有する文字領域を検出せず、Ｓ１で入力された文字認識処理の終了条件（例えば、撮像回数ｎがオペレータによりＳ１において入力された、文字認識システム１における文字認識処理を終了するための条件を示す値を超えたとき）を満たしたとき（Ｓ７のＮＯ、Ｓ８のＹＥＳ）、文字認識システム１は、表示部４に、文字認識処理をすることができなかった旨の最終結果を表示し（Ｓ１５）、文字認識システム１の文字認識処理は終了する。

文字認識システム１は、Ｓ３において撮像された画像に文字領域を検出することができなく、Ｓ１で入力された文字認識処理の終了条件（例えば、撮像回数ｎがオペレータによりＳ１において入力された、文字認識システム１における文字認識処理を終了するための条件を示す値を超えたとき）が満たされていないとき（Ｓ８のＮＯ）、Ｓ１で入力された文字認識処理の終了条件を満たすまで、制御部９により撮像部２を再制御させて再度撮像を行い、Ｓ４からＳ７までの処理を繰り返す。また、文字認識システム１は、Ｓ１５において文字認識処理をすることができなかった旨の結果を表示しているが、このとき、文字認識システム１は文字認識処理を継続するかそれとも文字認識処理を終了するかの判断をオペレータに求めるように構成してもよいものとする。

上記文字領域検出処理の結果、文字領域検出部６はＳ３で撮像した画像に文字を有する文字領域を検出したとき（Ｓ７のＹＥＳ）、画像処理部５は、この文字領域を検出した画像データに対し、文字列のスキュー（撮像軸と撮像対象画像との間に生じた傾きによる画像に表れている文字列の傾き）及び文字の解像度を算出する（Ｓ９）。制御部９は、画像処理部５がこの算出した文字の解像度が所定の閾値より低いと判定したとき（Ｓ１０のＹＥＳ）、Ｓ６で文字領域を検出した画像データ全体に対してスキュー除去処理、明度変換処理、彩度変換処理、色相変換処理や当該画像全体の解像度を上げる解像度変換処理を行う（Ｓ１１）。この「所定の閾値」とは、文字認識システム１に予め設定されている値であり、文字領域検出部６が文字領域を検出したときに、その検出した文字領域における文字列の部分を文字認識することができるか否かを判別するために設けられた値であり、例えばこの閾値は２００ｄｐｉ（ｄｏｔ ｐｅｒ ｉｎｃｈ）であるが、この閾値は特にこの値に限定されない。

Ｓ１１による処理が終わると、又はＳ９にて算出した文字の解像度が所定の閾値よりも高いとき（Ｓ１０のＮＯ）、文字認識部７はその文字領域に現れている文字列の文字認識を行う（Ｓ１２）。文字認識部７が検出された文字領域に対して文字認識をすることができなかったとき（Ｓ１３のＮＯ）、Ｓ６で文字領域を検出した画像データ全体に対して線形補間、スプライン補間又は擬似的な高解像度処理等の画像処理を行う（Ｓ１４）。

文字認識システム１は、文字領域の情報と文字認識済みの文字情報とに基づき、Ｓ６で検出された文字領域における文字認識をした後（Ｓ１３のＹＥＳ）、表示部４に、文字認識処理をすることができた旨及びその最終的な文字認識結果を表示し（Ｓ１５）、文字認識システム１の文字認識処理は終了する。

このように、本発明の実施例１によれば、文字認識システム１は、オペレータにより予め設定された所定の条件に従い、撮像部２により撮像された画像に対して画像処理を行い、この画像処理を行った画像データに対して文字領域の存在の有無を検出する。文字領域を検出することができたとき、文字領域の文字列が文字認識可能な解像度を有しているか否かを判定し、その解像度が所定の閾値を超えているときに文字認識部７は文字認識を行う。その解像度が所定の閾値を超えていないときは、文字認識を行うことができる画像データになるまでさらに画像処理を行った後に、その画像データの文字認識を行う。

これにより、デジタルカメラに代表される撮像領域を容易に変更することができる撮像手段を用いて撮像された画面に現れる文字を認識する際に、文字認識処理をする上で問題となっていた文字認識処理の困難性の問題点を解消することができ、撮像した画像に表れる文字列に対して文字認識を容易に行うことができる。

次に、実施例２に係る文字認識システムの構成について図３ないし図５を参照して説明する。

実施例２に係る文字認識システム１１は、図３に示す撮像処理装置１２（ｋ）（ｋ；ｋは自然数であるとし、以下の説明において撮像処理装置１２（ｋ）を「撮像処理装置１２」という。）、文字画像再構成処理装置１３及び画像蓄積サーバ１４から構成されるものである。画像蓄積サーバ１４は、撮像処理装置１２から送信された画像データや画像に関する情報又は文字画像再構成処理装置１３から送信された画像データや画像に関する情報が一時的に又は半永久的に蓄積されるサーバである。

図４は、実施例２に係る文字認識システム１１の一部である撮像処理装置１２の構成を示すブロック図である。実施例２に係る文字認識システム１１において、撮像処理装置１２は一つ（ｋ＝１）であってもよいし、複数（ｋは２以上の自然数）存在してもよいものとする。実施例２に係る撮像処理装置１２は、文字認識システム１１における文字認識処理のための終了条件を手動的に又は自動的に入力する入力部１５と、所定の範囲の領域を画像として撮像する撮像部１６と、画像結果をオペレータに表示するための表示部１７と、画像結果を記憶するための記憶部１８と、撮像部１６により撮像された画像に対して文字領域検出処理又は文字認識処理をより容易にするための画像処理を行う画像処理部１９と、撮像部１６に撮像された画像を送信するとともに、文字画像再構成処理装置１３により再構成処理された画像を受信する通信処理部２０と、これらの各部を制御する制御部２１と、バッファ部２２から構成されているものである。通信処理部２０以外の構成部分については、実施例１で説明したため、ここではこれらの説明は省略する。

図５は、実施例２に係る文字認識システム１１の一部である文字画像再構成処理装置１３の構成を示すブロック図である。実施例２に係る文字画像再構成処理装置１３は、文字認識システム１における終了条件を手動的に又は自動的に入力する入力部２３と、画像結果をオペレータに表示するための表示部２４と、画像結果を記憶するための記憶部２５と、文字画像再構成処理装置１３にて再構成処理された画像や撮像された画像に対して文字認識することができなかった旨のメッセージを送信するとともに、撮像処理装置１２により送信された画像を受信する通信処理部２６と、通信処理部２６にて受信した画像に対して文字領域検出処理又は文字認識処理をより容易にするための画像処理を行う画像処理部２７と、通信処理部２６にて受信した画像中に文字領域があるか否かを判別する文字領域検出部２８と、文字領域検出部２８により検出された文字領域の文字列を文字認識する文字認識部２９と、これらの各部を制御する制御部３０と、バッファ部３１から構成されているものである。通信処理部２６以外の構成部分については、実施例１で説明したため、ここではこれらの説明は省略する。また、画像結果をオペレータに表示するための表示部２４は、図４の文字画像再構成処理装置１３にある必要は特になくてもよいものとする。

実施例２における通信処理部２０及び通信処理部２６は、画像や制御信号を高速にやり取りするために、データ圧縮／伸長機能を備え、また通信データの漏洩を防ぐために何らかの暗号化処理及び暗号化解読処理を付加する構成としてもよい。具体的には、撮像処理部１２における通信処理部２０は文字画像再構成処理装置１３へ送信する対象となる画像データに対して暗号化処理を行い、文字画像再構成処理装置１３における通信処理部２６はその暗号化されて送信された画像データを解読するために暗号化解読処理を行うように構成してもよい。

次に、実施例２に係る撮像処理装置１２の動作について図６を参照して説明する。

図６は、本発明の撮像処理装置１２の動作を説明するフローチャートである。オペレータの指示により、入力部１５からオペレータの要求する画像領域、画像データを得るための条件、並びに撮像処理装置１２による撮像処理及び文字画像再構成処理装置１３による画像再構成処理の終了条件が入力されたときに撮像処理装置１２はＳ２２以降の処理を開始し（Ｓ２１のＹＥＳ）、オペレータの指示により、入力部１５からオペレータの要求する画像領域、画像データを得るための条件及び文字認識処理の終了条件が入力されていないとき（Ｓ２１のＮＯ）、撮像処理装置１２はオペレータからの画像領域及び文字認識処理の終了条件の入力指示を待つ。この「撮像処理装置１２による撮像処理及び文字画像再構成処理装置１３による画像再構成処理の終了条件」とは、実施例１と同様にオペレータが自己の所望する映像をデジタルカメラ等の撮像手段を用いて画像として撮像する対象となる画像領域、画像範囲を得るためにオペレータ自身により入力される又は予め設定されている条件のことである。例えば、撮像部１６によりオペレータ自身が所望する同一の範囲の映像を三回撮像し、所定の画像処理を実行して文字領域検出処理をした結果文字領域を検出することができなかったときに撮像部１６により撮像された画像には文字領域はないものとして文字認識処理を終了させるという条件である。

図６において、撮像処理装置１２は、オペレータによりＳ２１で入力された撮像回数を表わすパラメータｎを初期設定する（Ｓ２２）。制御部２１は撮像部１６を制御し、オペレータの指示により入力部１５において入力された所望の条件に基づいて指定された領域を画像として撮像する（Ｓ２３）。撮像処理装置１２は撮像回数ｎをインクリメントし（Ｓ２４）、この撮像した画像を画像データとして記憶部２５に記憶する。このとき、オペレータの指示により、画像処理の指示が入力されたとき（Ｓ２５のＹＥＳ）、画像処理部１９は撮像部１６により撮像された画像に対して２値化処理やラベリング処理などの画像処理を行う（Ｓ２６）。

撮像処理装置１２は、Ｓ２６において画像処理をしたことを示すための識別子を画像処理後の画像データに付与する（Ｓ２７）。一方、オペレータの指示により、画像処理の指示が入力されていないとき（Ｓ２５のＮＯ）、撮像処理装置１２はこのままＳ２３において撮像した画像データを文字画像再構成処理装置１３に送信する（Ｓ２８）。

次に、実施例２に係る文字画像再構成処理装置１３の動作について図７を参照して説明する。

図７は、本発明の文字画像再構成処理装置１３の動作を説明するフローチャートである。撮像処理装置１２がＳ２８において送信した画像データを受信したときに画像再構成処理を開始し（Ｓ３１のＹＥＳ）、撮像処理装置１２から画像データを受信していないとき（Ｓ３１のＮＯ）、文字画像再構成処理装置１３は撮像処理装置１２からの画像データを受信するまで文字画像再構成処理をせずに待つ。

制御部３０は撮像処理装置１２により付与された画像処理の識別子の有無に基づき、Ｓ３１で受信した画像データが撮像処理装置１２により２値化処理やラベリング処理などの画像処理がされたか否かを判別する（Ｓ３２）。この判別の結果、Ｓ３１で受信した画像データが撮像処理装置１２により２値化処理やラベリング処理などの画像処理がされた画像データではないとき（Ｓ３３のＮＯ）、画像処理部２７はＳ３１において撮像処理装置１２から受信した画像データに対して２値化処理やラベリング処理などの画像処理を行う（Ｓ３４）。

一方、Ｓ３２の判別の結果、制御部３０が撮像処理装置１２により付与された画像処理の識別子の有無に基づき、Ｓ３１で受信した画像データが撮像処理装置１２により２値化処理やラベリング処理などの画像処理がされた画像データであるとき（Ｓ３２のＹＥＳ）、文字領域検出部２８は、画像処理部２７により２値化処理された原画像（Ｓ３１で受信した画像データ）、この原画像にラベリング処理した情報、座標の位置、外接矩形の情報及び画像処理部２７により画像処理した後の画像データに基づき、Ｓ３１で受信した画像の中に文字があるか否かを判別するために文字領域の検出を行う（Ｓ３５）。

この文字領域検出処理の結果、文字領域検出部２６はＳ３１で受信した画像に文字を有する文字領域を検出せず、撮像処理装置１２におけるＳ２１で入力された撮像処理装置１２による撮像処理及び文字画像再構成処理装置１３による画像再構成処理の終了条件（例えば、撮像回数ｎがオペレータによりＳ２１において入力された、文字認識システム１１における文字認識処理を終了するための条件を示す値を超えたとき）を満たしたとき（Ｓ３６のＮＯ、Ｓ３７のＹＥＳ）、文字画像再構成処理装置１３は、表示部２４に、画像処理再構成処理をすることができなかった旨の結果を表示し（Ｓ４５）、この旨のメッセージを撮像処理装置１２に送信し（Ｓ４６）、文字画像再構成処理装置１３の画像再構成処理は終了する。また、文字画像再構成処理装置１３は、Ｓ４５において画像再構成処理をすることができなかった旨の結果を表示しているが、このとき、文字画像再構成処理装置１３は文字認識処理を継続するかそれとも文字認識処理を終了するかの判断をオペレータに求めるように構成してもよい。

文字画像再構成処理装置１３は、撮像処理装置１２による撮像処理及び文字画像再構成処理装置１３による画像再構成処理の終了条件（例えば、撮像回数ｎがオペレータによりＳ２１において入力された、文字認識システム１１における文字認識処理を終了するための条件を示す値を超えたとき）を満たしていないとき（Ｓ３７のＮＯ）、撮像処理装置１２に対して再度撮像する旨のメッセージを転送し（Ｓ３８）、文字画像再構成処理装置１３の画像再構成処理は終了する。

Ｓ３５の文字領域検出処理の結果、文字領域検出部２６はＳ３１で受信した画像に文字を有する文字領域を検出したとき（Ｓ３６のＹＥＳ）、画像処理部２７は、この文字領域を検出した画像データに対し、文字列のスキュー及び文字の解像度を算出する（Ｓ３９）。制御部３０は、画像処理部２５がこの算出した文字の解像度が所定の閾値より低いと判定したとき（Ｓ４０のＹＥＳ）、Ｓ３４で文字領域を検出した画像データ全体に対してスキュー除去処理、明度変換処理、彩度変換処理、色相変換処理や当該画像全体の解像度を上げる解像度変換処理を行う（Ｓ４１）。この「所定の閾値」とは、文字認識システム１１に予め設定されている閾値であり、文字領域検出部６が文字領域を検出したときに、その検出した文字領域における文字列の部分を文字認識することができるか否かを判別するために設けられた閾値であり、例えばこの閾値は２００ｄｐｉ（ｄｏｔ ｐｅｒ ｉｎｃｈ）という値であるが、この閾値は特にこの値に限定されない。さらに、上記Ｓ４１の処理について、本実施例２ではスキュー除去処理、明度変換処理、彩度変換処理、色相変換処理や当該画像全体の解像度を上げる解像度変換処理を行うとしたが、撮像処理装置１２で撮像された当該画像全体の解像度を切り替えるという処理がＳ４１で行われるため、これらの処理が総て行われる必要は特になく、これらの処理のうち少なくとも一つが行われるように構成してもよい。

Ｓ４１による処理が終わると、又はＳ３９にて算出した文字の解像度が所定の閾値よりも高いとき（Ｓ４０のＹＥＳ）、文字認識部２９はその文字領域に現れている文字列の文字認識を行う（Ｓ４２）。文字認識部２９が検出された文字領域に対して文字認識をすることができなかったとき（Ｓ４３のＮＯ）、Ｓ３４で文字領域を検出した画像データ全体に対して線形補間、スプライン補間又は擬似的な高解像度処理等の画像処理を行う（Ｓ４４）。

文字画像再構成処理装置１３は、文字領域の情報と文字認識済みの文字情報とに基づき、Ｓ３５で検出された文字領域における文字領域をした後（Ｓ４３のＹＥＳ）、表示部２４に、文字認識処理をすることができた旨及びその最終的な文字認識結果を表示し（Ｓ４５）、文字画像再構成処理装置１３の文字画像再構成処理は終了する。

このように、本発明の実施例２によれば、複数の撮像処理装置１２及び単一の文字画像再構成処理装置１３により構成される文字認識システム１１において、撮像処理装置１２は、撮像部１６により撮像された画像に対してオペレータの指示があるときは画像処理を行い、画像処理をしたことを表わす識別子を撮像した画像に付与し、この識別子及び画像データを文字画像再構成処理装置１３に転送する。文字画像再構成処理装置１３は、撮像処理装置１２により撮像された画像を受信し、この画像領域における文字領域の存在の有無を検出する。撮像処理装置１２で画像処理がされていないと判定したときは、文字画像再構成処理装置１３における画像処理部２７が画像処理を行う。文字領域検出部２８が文字領域を検出することができたとき、文字領域の文字列が文字認識可能な解像度を有しているか否かを判定し、その解像度が所定の閾値を超えているときに文字認識部２９は文字認識を行う。その解像度が所定の閾値を超えていないときは、文字認識を行うことができる画像データになるまでさらに画像処理を行った後に、その画像データの文字認識を行う。文字画像再構成処理装置１３は、文字認識した結果を撮像処理装置１２に転送する。

これにより、デジタルカメラに代表される撮像領域を容易に変更することができる撮像手段を用いて撮像された画面に現れる文字を認識する際に、文字認識処理をする上で問題となっていた文字認識処理の困難性の問題点を解消することができ、撮像した画像に表れる文字列に対して文字認識を容易に行うことができる。

さらに、実施例１における文字認識システム１を撮像処理装置１２と文字画像再構成処理装置１３とに通信処理部２４を介して分離したことにより、撮像処理装置１２の小型化を図ることができ、携帯に便利であるという作用効果を奏する。この他、通信処理により二つの処理装置が接続されることにより、これら二つの処理装置の物理的な距離に関する制約が緩和される。

なお、本発明は、上記実施の形態に限定されるものでなく、その要旨を逸脱しない範囲で種々変形して実施できる。例えば、撮像部２により撮像された画像がＳ１０にて画像処理の対象となるのか、又はＳ１１にて文字認識処理の対象となるのかを判定するための「閾値」は、上記実施例１においては文字認識システム１に予め設定されている値であると記載したが、オペレータの指示により、事後的に変更されてもよいものとする。

また、上記実施例２においては、文字画像再構成処理装置１３はＳ４２で文字認識した結果を撮像処理装置１２に送信すると説明したが、文字画像再構成処理装置１３はＳ４２で文字認識した結果を撮像処理装置１２に転送せずに、表示部２４にその文字認識結果を表示するようにしてもよい。

さらに、撮像処理装置１２及び文字画像再構成処理装置１３の通信処理部２４にタイムシェアリング機能を持たせ、又は複数の撮像部から転送されてくる画像をバッファリングする記憶装置を付加することにより、単一の文字画像再構成処理装置１３で複数の撮像処理装置１２から転送されてくる複数の画像に対して画像再構成処理を行うことができる。

実施例１に係る文字認識システム１の機能ブロック図。 実施例１に係る文字認識システム１の動作を説明するフローチャート。 実施例２に係る文字認識システム１１の構成を示すブロック図。 実施例２に係る撮像処理装置１２の機能ブロック図。 実施例２に係る文字画像再構成処理装置１３の機能ブロック図。 実施例２に係る撮像処理装置１２の動作を説明するフローチャート。 実施例２に係る文字画像再構成処理装置１３の動作を説明するフローチャート。

符号の説明

１、１１・・・文字認識システム、２、１６・・・撮像部、３、１５、２３・・・入力部、４、１７、２４・・・表示部、５、２０、２７・・・画像処理部、６、２８・・・文字領域検出部、７、２９・・・文字認識部、８、１８、２５・・・記憶部、９、２１、３０・・・制御部、１０、２２、３１・・・バッファ部、１２・・・撮像処理装置、２０、２６・・・通信処理部、１３・・・文字画像再構成処理装置、１４・・・画像蓄積サーバ

Claims (6)

1. 所定の範囲の領域を撮像し、第１の解像度を有する画像データを出力する画像撮像手段と、
   前記画像撮像手段により撮像された画像データに対して文字列を含む文字領域があるか否かを検出する文字領域検出手段と、
   前記文字領域検出手段により検出された画像データの文字領域における文字列を文字認識する文字認識手段と、
   前記画像データを前記文字認識手段により文字認識するための解像度を有するか否かを判別する画像解像度判別手段と、
   前記画像解像度判別手段により、前記画像データが前記文字認識するための解像度を有しないと判別された場合、前記画像撮像手段により撮像された画像の解像度を前記第１の解像度よりも解像度が高い第２の解像度に変換する画像処理手段とを具備することを特徴とする文字認識システム。
2. 前記画像処理手段は、前記画像撮像手段により撮像された画像データに対し、明度変換、彩度変換、色相変換のうち少なくとも一つの画像変換を行うことを特徴とする請求項１記載の文字認識システム。
3. 所定の範囲の領域を撮像し、第１の解像度を有する画像データを出力する画像撮像ステップと、
   前記撮像された画像データに対して文字列を含む文字領域があるか否かを検出する文字領域検出ステップと、
   前記検出された画像データの文字領域における文字列を文字認識する文字認識ステップと、
   前記画像データを前記文字認識するための解像度を有するか否かを判別する画像解像度判別ステップと、
   前記画像解像度判別ステップにより、前記画像データが前記文字認識するための解像度を有しないと判別された場合、前記撮像された画像の解像度を前記第１の解像度よりも解像度が高い第２の解像度に変換する画像処理ステップとを具備することを特徴とする文字認識方法。
4. 前記画像処理ステップは、前記画像撮像手段により撮像された画像データに対し、明度変換、彩度変換、色相変換のうち少なくとも一つの画像変換を行うことを特徴とする請求項３記載の文字認識方法。
5. コンピュータに、
   所定の範囲の領域を撮像し、第１の解像度を有する画像データを出力する画像撮像機能と、
   前記撮像された画像データに対して文字列を含む文字領域があるか否かを検出する文字領域検出機能と、
   前記検出された画像データの文字領域における文字列を文字認識する文字認識機能と、
   前記画像データを前記文字認識するための解像度を有するか否かを判別する画像解像度判別機能と、
   前記画像解像度判別機能により、前記画像データが前記文字認識するための解像度を有しないと判別された場合、前記撮像された画像の解像度を前記第１の解像度よりも解像度が高い第２の解像度に変換する画像処理機能とを実現させるための文字認識プログラム。
6. 前記画像処理機能は、前記画像撮像機能により撮像された画像データに対し、明度変換、彩度変換、色相変換のうち少なくとも一つの画像変換を行うことを特徴とする請求項５記載の文字認識プログラム。

Images