JP2005122609A - 撮像物認識装置 - Google Patents

Abstract

【課題】 カメラで表示物を撮像してその内容を認識する撮像物認識装置を用いる場合、表示物の位置あわせが難しく、表示物を撮像した画像の画質によっては、表示物を認識できない場合があった。
【解決手段】 カメラ２が撮像した画像を認識して情報を抽出できるかどうかにより、画像の結像状態を判定する画面状態検出部６を備えて、判定した画面の結像状態をディスプレイ３に表示することにより、表示物を撮像して得た画像の結像状態を利用者が確認できるようにした。
【選択図】 図１

Description

この発明は、表示物の画像を撮像し、その画像を認識して情報を抽出する装置に係るものであり、特に適切に画像を認識するように表示物と装置との位置関係を調整する技術に関する。

従来、携帯電話は筐体サイズの制約から、テンキーを用いて文字入力するしかなかった。しかし近年、カメラ付きの携帯電話市場が急速に拡大しており、携帯電話への文字入力を効率化する目的として、携帯電話のカメラで撮像したバーコードを読み取り、バーコード中の文字、画像、音楽データなどを自動的に入力するバーコード読取機能やＵＲＬ（Ｕｎｉｆｏｒｍ Ｒｅｓｏｕｒｃｅ Ｌｏｃａｔｏｒ）、メールアドレスなどの文字を読み取る文字認識機能が注目されている。

このようなカメラを用いた認識装置は、任意の距離にある表示物を認識しうるものではなく、ピントが合う距離にカメラの位置を合わせて撮像する必要がある。そのため、利用者は、例えば携帯電話の液晶画面に撮像物をプレビュー表示させて、携帯電話を表示物に近づけたり、遠ざけたりしながら使用しているのが実情である。このような位置合わせの方法は、利用者にとってきわめて使いづらいものであり、このような認識機能がせっかく携帯電話の使い勝手を向上する機能であるにもかかわらず、テンキーによる文字入力の代替手段として日常的に認識機能を用いて文字入力や情報入力を行うまでには至っていなかった。

一方、カメラと表示物との位置合わせを行うための技術としては、カメラから表示物までの距離を測定し、適切な距離範囲に存在する場合に、振動を与えることによりユーザに通知する方法がある（例えば、特許文献１）。

特開平１１−３２８２９６公報 「光学情報読取装置」

従来の光学情報読取装置によれば、表示物までの距離をセンサで測定して、カメラの位置合わせを行うこととしている。したがってこのような構成を実現するには、距離測定用のセンサを搭載する必要がある。新たに距離測定用センサを搭載する構成を採用すると、部品点数の増加とそれに伴うコストの増加を招く。また携帯電話は筐体サイズが限られており、表面にセンサを露出させる余裕もなく、さらに重量の増加も商品の魅力を高める意味では逆効果となる。

また、表示物にはさまざまな粒度（表示物の特徴の抽出のしやすさ）のものがある。すなわち、粒度の粗い表示物（表示物の特徴を抽出する上でそれほど高い解像度が要求されない表示物）では、それほど厳密にピントが合っていなくても画像を認識する上では支障がない場合もあれば、粒度が細かい表示物（表示物の特徴を抽出する上で高い解像度が要求される表示物）を認識するには、相当厳密にピントを合わせなければ正しく認識できないこともある。このように、現実の表示物は多様性に富んでおり、それに対して距離のみでピントを合わせることは現実的でない。この発明は、かかる問題を解決することを目的とする。

この発明に係る撮像物認識装置は、表示物を撮像する画像入力手段と、
前記画像入力手段が撮像した画像における前記表示物の読取度合いを評価する読取度合い評価手段と、
前記結像評価手段が識別した読取度合いを利用者に報知する報知手段と、
前記画像入力手段が撮像した画像から前記表示物を認識する認識手段と、
を備えたものである。

このように、この発明に係る撮像物認識装置は、撮像した画像における表示物の読取度合いに応じて、バーコードや文字などの表示物とデジタルカメラなどの画像入力手段との位置関係が適切かどうかを利用者に報知するようにしたので、距離計測用のセンサなど、距離を取得する部品を用いなくとも、利用者が適切に位置合わせを行って最適な表示物の画像を取得し、効率的に表示物から情報を入力することができるのである。

以下、この発明の実施の形態について、図を用いて説明する。
実施の形態１．
図１は、この発明の実施の形態１による撮像物認識装置の構成を示すブロック図である。図において、撮像物認識装置１は、カメラ２、ディスプレイ３、操作キー４、画像認識部５、画像状態検出部６、記憶部７、制御部８から構成されている。

カメラ２は、たとえばＣＣＤ（Ｃｈａｒｇｅｄ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）カメラなどのカメラであり、感光素子が組み込まれていて、これらが電荷(静電気)を蓄え次々に転送することによって撮像した画像を電気信号として出力する部位である。図２は、撮像物認識装置１の背面図であって、図の撮像物認識装置１の背面にカメラ２が装着された例を示すものである。ただし、カメラ２は必ずしも撮像物認識装置１の背面に装着されている必要はなく、例えば、ヒンジ機構などを有していて自由にカメラの向きを回動して正面側にある表示物と背面側にある表示物とを撮像できるような構成となっていてもよい。

ディスプレイ３は、例えば液晶ディスプレイによって構成されており、カメラ２が撮像した画像（動画又は静止画）を表示するようになっており、カメラ２のファインダーとしても機能するものである。

操作キー４は、撮像物認識装置１に装着されているテンキーである。図３は撮像物認識装置１の正面図であって、ディスプレイ３は撮像物認識装置１の液晶ディスプレイによって構成されていること、及び、テンキー４の装着状態を示す図である。

画像認識部５はカメラ２が撮像した表示物を認識する部位である。また画像状態検出部６は、カメラ２が撮像した表示物の画像の読取度合いを判定して、その状況をディスプレイ３などの報知手段に報知する部位である。なお、画像認識部５及び画像状態検出部６は、後述する制御部８と別体の要素として構成してもよいが、制御部８とコンピュータソフトウェアとを組み合わせて各部位に該当する機能を実行するように構成してもよい。また制御部８がＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ：特定用途向けＩＣ）を用いた回路として構成されている場合は、回路の一部に画像認識部５と画像状態検出部６に相当する機能を組み込むようにしておいてもよい。

記憶部７は、カメラ２が撮像した画像を記憶するメモリであって、ランダム・アクセス・メモリや不揮発性記憶装置であるフラッシュメモリなどによって構成される。制御部８はＣＰＵ（中央演算装置）またはＡＳＩＣによって構成されており、撮像物認識装置１全体の動作を制御する部位である。バス９は、カメラ２、ディスプレイ３、操作キー４、画像認識部５、画像状態検出部６、記憶部７、制御部８の各部位間の電気信号を伝送するための伝送路である。

なおカメラ２は請求項１における画像入力手段に対応する。ディスプレイ３と画像状態検出部６は請求項１における報知手段に対応する。また画像認識部５は請求項１における認識手段に対応する。

次に、撮像物認識装置１の使用方法を図を用いて説明する。まず利用者は撮像物認識装置１の背面に装着されたカメラ２を表示物にかざして、表示物を撮像する。例えば図４は、撮像物認識装置１によって表示物を撮像する様子を示す図であって、図４は、利用者は利用者の手１０で撮像物認識装置１を把持し、表示物であるバーコード１１を撮像する様子を示すものである。図５は、利用者がバーコード１１の撮像を開始した場合のディスプレイ３の表示内容の例を示す拡大図である。図において、ディスプレイ３の液晶表示領域３ａには、モード表示部３ｂと読取度合いインジケータ３ｃ、位置合わせ用グリッド３ｄが表示されており、さらにカメラ２によって撮像された現在のバーコード１１のイメージが表示されている。このうち、読取度合いインジケータ３ｃは、バーコード１１の画像のピントが合っているかどうかを示す表示領域であり、この例では２つの矩形を結合して表示している。

利用者は、図５のようなディスプレイを見ながら、表示物であるバーコード１１を適切に認識するように撮像物認識装置１を移動する。図６は、読取度合いインジケータ３ｃの表示の遷移を示す連続拡大図である。図において、状態１は読取度合いインジケータ３ｃの２つの矩形表示（アイコン）のどちらも強調表示されていない、あるいは矩形の枠のみが表示されている状態である。図の状態２は、２つのアイコンのうち１つだけが強調表示、あるいは何らかの色で着色された状態を示すものである。状態３は、２つのアイコンの双方が強調表示、あるいは何らかの色で着色された状態を示すものである。

読取度合いインジケータ３ｃの２つのアイコンが強調表示されている状態で、利用者は操作キー４の中のいずれかのボタンに割り振られている決定ボタンを押下すると、撮像物認識装置１は撮像されている画像の内容であるバーコード１１をデコードして、図７に示すようにデコード結果３ｅを表示する。また図６の状態３が一定時間継続した場合に、自動的にバーコード１１のデコードを開始するような構成としてもよい。利用者はデコード結果３ｅを視認することで、撮像物認識装置１が適切に表示物であるバーコード１１の内容を認識したかどうかを確認する。

このように、表示物であるバーコード１１の読取度合いを利用者に報知する読取度合いインジケータ３ｃを備えたことにより、利用者は現在の撮像物認識装置１が表示物に対して適切な位置にあるかどうかを把握でき、容易に撮像物認識装置１の位置を調整しうるのである。

また、この例では、２つの矩形形状から構成されるアイコンの表示を変更することで、段階的に画像の読取度合いを表示するようにした。撮像物認識装置１の目的は、表示物の画像を撮像して内容を認識することにある。したがって内容が認識であるのであれば、表示物を撮像して得た画像の画質の詳細を気にする必要は本来なく、画像の結像状態を良好な状態に保つことは、表示物から情報を抽出するための手段に過ぎない。したがって、利用者は撮像物認識装置１の位置が適切かどうかさえ認知すれば十分である。このことから、段階的に撮像状況を報知することによって、操作方法を単純にし、より使いやすくしているのである。

なお、この例では２つのアイコンが全く強調表示されない、１つのアイコンのみ強調表示されている、２つのアイコンが強調表示されている、という３つのステータスを表すようにしている。しかしながら、より多くのステータスを表示するようにしてもよいことはいうまでもない。

さらに、この例では、表示物であるバーコード１１の画像（プレビュー画像）の近くに読取度合いインジケータ３ｃを表示することとしているので、バーコード１１の実際の画像を見ながら読取度合いインジケータ３ｃを通じて読取度合いをほぼ同時に確認できる。したがって利用者はディスプレイ３のみを見つめていれば、適切かつ簡便に撮像物認識装置１の位置合わせを行うことができるのであり、極めて使い勝手のよい撮像物認識機能を提供するのである。

続いて、撮像物認識装置１１の動作を図を用いて説明する。図８は、撮像物認識装置１１の処理を示したフローチャートである。図のステップＳＴ１０１において、制御部８はカメラ２を介して表示物であるバーコード１１を撮像し、その画像を記憶部７に記憶させる。ここではその結果として、図９に示すようなバーコード１１の画像を取得したものとする。図９のバーコード画像は、例えば表示物であるバーコード１１から撮像物認識装置１までの距離が短すぎて焦点が合わないために、鮮明さを欠いている。

次に、ステップＳＴ１０２において、画像状態検出部６は、図９のバーコード画像を図１０に示すように一定間隔ｄで横方向にスキャンし、デコードが成功したスキャンライン数を求める。そしてこのスキャンライン数が所定値以上かどうかを判定することを通じて、表示物であるバーコード１１の読取度合いを判定する。その結果、読取度合いが許容できるものであるならば、ステップＳＴ１０４に進む（ステップＳＴ１０２：Ｙｅｓ）。また許容できるものでなければ、ステップＳＴ１０３に進む（ステップＳＴ１０３：Ｎｏ）。ここでは、図９のバーコード画像が鮮明さを欠いているために、デコードが成功したスキャンライン数は０であるとし、その結果、ステップＳＴ１０３に進むこととする。

このように、撮像物認識装置１は、複雑なアルゴリズムによる画像処理を施して読取度合いを識別するのではなく、バーコード読み取りに適したスキャンラインによるデコードの成否に基づいて、画像の読取度合いを取得することとしたので、少ない演算量で高速に読取度合いを取得することができる。

なお、各スキャンラインのデコードの成否に替えて、各スキャンラインと交差するエッジを検出するようにしてもよい。すなわち、各スキャンライン上で隣り合う画素間で濃度値（画素値）の差を算出し、このスキャンラインの走査において画素値間の差が所定値以上となる回数に基づいて読取度合いを判定するのである。このような方法によっても、デコードの成否と同様に少ない演算量で画像の読取度合いは十分に把握できる。

続いて、ステップＳＴ１０３において、画像状態検出部６は、デコードが成功したスキャンコード数に対応して、読取度合いインジケータ３ｃの表示を変更する。ここでは、例えばスキャンコード数が０の場合は図６の状態１を表示する。スキャンコード数が１及び２の場合は、図６の状態２を表示する。そしてスキャンコード数が３以上となった場合には、図６の状態３を表示するものとする。そうすると、図９に示した現在のバーコード画像ではデコードに成功したスキャンコード数が０だから、状態１のように読取度合いインジケータ３ｃが表示されることになる。利用者は、読取度合いインジケータ３ｃの状態を確認して、撮像物認識装置１の位置を変更する。

一方、撮像物認識装置１はステップＳＴ１０１に戻り、制御部８はカメラ２を介して再びバーコード１１の画像を撮像する（ステップＳＴ１０１）。この結果、例えば図１１に示すようなバーコード画像を得たものとする。図１１のバーコード画像は、図９のバーコード画像ほどではないにせよ、未だ鮮明さを欠いた画像である。撮像物認識装置１は、図９のバーコード画像の場合と同じように、図１１のバーコード画像からデコードに成功したスキャンライン数を求め、このスキャンライン数が３以上かどうかを判定する（ステップＳＴ１０２）。この画像も鮮明さに欠いているが、それでも１つのスキャンラインでデコードが成功したものとする。しかし、スキャンライン数が基準となる３未満なので、画像状態検出部６は読取度合いインジケータ３ｃを状態２のように表示する。利用者は、再び読取度合いインジケータ３ｃの状態を確認して、撮像物認識装置１の位置を変更する。

その間、再び撮像物認識装置１はステップＳＴ１０１に戻り、制御部８はカメラ２を介して再びバーコード１１の画像を撮像する（ステップＳＴ１０１）。この結果、例えば図１１に示すようなバーコード画像を得たものとする。図１２のバーコード画像は、画質がかなり改善されている。撮像物認識装置１は、図９、図１１のバーコード画像と同じように、図１２のバーコード画像からデコードに成功したスキャンライン数を求め、このライン数が３以上かどうかを判定する（ステップＳＴ１０２）。ここではデコードに成功したスキャンライン数が３であるものとする。そうすると、ステップＳＴ１０４に進み、制御部８は、画像認識部５を呼び出して、バーコード画像のデコードを行わせる。

続くステップＳＴ１０５において、画像認識部５はデコードしたバーコードの内容を図７の３ｅのように表示する。これによって、表示物であるバーコード１１が撮像物認識装置１によって適切に認識されたことを利用者は確認する。

以上から明らかなように、この発明の実施の形態１の撮像物認識装置によれば、表示物であるバーコードを撮像して、その画像の読取度合いを利用者に報知することとしたので、利用者は報知される読取度合いに応じて撮像物認識装置を、バーコードの読み取りが適切に行える位置に容易に移動でき、その結果、バーコード読み取りを通じて、効率的に情報入力を行うことができるのである。

また、バーコードの認識を行う画像認識部５と画像の結像状態を識別する画像状態検出部６を別個の部位として構成し、一定の読取度合いとなるまでバーコード認識を行わないこととし、その間、画像の結像状態だけを取得して読取度合いインジケータ３ｃに表示することとしたので、画像の撮像から画像の結像状態の報告までのターンアラウンドを短くできる。その結果、利用者の操作に対するレスポンスが良好な撮像物認識装置を構成しうるのである。

さらに、バーコードの認識を行う画像認識部５と画像の結像状態を識別する画像状態検出部６を別個の部位として構成したので、画像状態検出部６は画像の結像状態を識別するために、画像認識部５とは独立した判断方法を採用することが可能となる。したがって、例えば、すでに説明したようなスキャンライン上のエッジを検出するような方法の他、エッジの先鋭度やオートフォーカスカメラで使用しているピントの一致度情報に基づいて結像状態を判断してもよい。

なお、画像認識部５と画像状態検出部６とを別個の部位として構成することは必須ではない。つまり、両者を一体不可分として構成し、毎回画像認識部５によってバーコード読み取りを行う構成としていても、距離測定センサを用いずに撮像物の内容を認識するというこの発明の特徴が失われるものではない。

なお、上記の撮像物認識装置１では、ディスプレイ３に読取度合いインジケータ３ｃを表示して、表示物の画像の読取度合いを報知することとしたが、この他にも、例えば「適切な位置にあります」のような音声ガイドを出力するようにしてもよい。撮像物認識装置１が携帯電話である場合には、受話スピーカや着信音用スピーカを有しているので、音声を出力することは容易である。またディスプレイ３以外のＬＣＤ部品（例えば、通常では受話した場合に点滅するようなＬＣＤ）を点滅させることで、適切な位置に撮像物認識装置１があることを報知するようにしてもよい。

実施の形態２．
実施の形態１では、撮像物認識装置１を用いてバーコードを読み取る場合について説明した。これに対して、この発明の実施の形態２では、同じく撮像物認識装置１を用いて２次元バーコードを読み取る例について説明する。２次元バーコードを読みとるために必要となる撮像物認識装置１の構成は実施の形態１で説明したものと同様であって、画像認識部５及び画像状態検出部６の処理が異なる。そこで、以下においては撮像物認識装置１の動作についてのみ説明することとする。

図１３は、撮像物認識装置１が２次元バーコードを読みとる処理を表すフローチャートである。図において、図８と同一の符号を付した処理は実施の形態１と同様であるので、実施の形態２特有の処理を行う部分についてのみ説明することとし、他は説明を省略する。また２次元バーコードの例として、図１４に示すような２次元バーコード１２を読みとることとする。

まず図１３のステップＳＴ１０１において、実施の形態１と同様に撮像物認識装置１は２次元バーコード１２を撮像する。その結果、図１５に示すようなバーコードの画像を取得したものとする。図１５のバーコード画像は、例えばバーコード１２から撮像物認識装置１までの距離が短すぎて焦点が合わないために、鮮明さを欠いたものとなっている。

次に、ステップＳＴ２０１において、画像状態検出部６は、２次元バーコード画像の読み取りを行う。２次元バーコードの読取方法は「ＪＩＳ Ｘ ０５１０：１９９９ ２次元コードシンボル−ＱＲコード−基本仕様」に記載されている。これによれば、
（１）ＱＲコード（２次元バーコード）の３つの隅にある位置検出シンボルを検出して、画像中のＱＲコードの位置を検出する。
（２）内部の読み取りとデコードを行う。
という２つのステップを経てデコードすることとされている。またこの規格によれば、ＱＲコードには誤り訂正コードが付加されているので、（２）の処理に伴ってデータ部のデコードの際に、全体データに対して正しくデコードができたデータ部の割合を算出することも可能である。

そこで、この例では、画像状態検出部６は、上記の２つのステップのうち（１）のみの処理を行うこととする。そして位置検出シンボルの検出を行うことができた場合はステップＳＴ２０２に進む（ステップＳＴ２０１：Ｙｅｓ）。しかし図１５に示すバーコードの画像は鮮明でないため、位置検出シンボルの検出に失敗することになり、ステップＳＴ１０３に進む（ステップＳＴ２０１：Ｎｏ）。ステップＳＴ１０３では、実施の形態１と同様に読取度合いインジケータ３ｃの２つのアイコンを全く強調表示しない図６の状態１のようにする。利用者は、読取度合いインジケータ３ｃの状態を確認して、撮像物認識装置１の位置を変更する。

このように、位置検出シンボルの検出可否に基づいて読取度合いを判断し、読取度合いインジケータに反映して利用者に報知することで、２次元バーコードから情報を読みとることが可能か否かを利用者が直接的に確認しながら、撮像物認識装置１の位置を調整することが可能となる。

その間、撮像物認識装置１はステップＳＴ１０１に戻り、２次元バーコード１２の次の画像を撮像する。図１６は、新たに撮像された２次元バーコードの画像の例であり、図１５の画像に比べると若干鮮明さが増している。次に撮像物認識装置１は、この画像から位置検出シンボルの検出を行う（ステップＳＴ２０１）。そうすると、図１６では符号１３、１４、１５で示される位置検出シンボルを抽出することができる。その結果、ステップＳＴ１０４に進む（ステップＳＴ２０１：Ｙｅｓ）。

ステップＳＴ１０４では、画像認識手段５が２次元バーコード１２をデコードする。そして、ＱＲコードに付加されている誤り訂正コードを用いて、デコード割合を算出する。続くステップＳＴ２０２において、算出したデコード割合が所定値、例えば５０％以上かどうかを評価する。図１６の２次元バーコードの画像の場合、位置検出シンボルに囲まれた内部の画像はあまり鮮明でなく、デコード割合も５０％に満たないものとする。そして、デコード割合が５０％未満の場合は、ステップＳＴ１０３に進む（ステップＳＴ２０２：Ｎｏ）。ステップＳＴ１０３では、読取度合いインジケータ３ｃのアイコンを１つだけ強調表示して、図６の状態２のようにする。

このように、デコード割合から読取度合いを判断して、その状況を読取度合いインジケータに表示して利用者に報知するので、利用者は２次元バーコード読み取りが可能な状況にあるかどうかを直接的に確認しながら、撮像物認識装置１の位置を調整することが可能となる。

また、図６に示した単に読取度合いインジケータ３ｃのように、単純な報知方法だけでなく、例えば、デコードに適した位置に早く到達できるように、今までの認識処理（ステップＳＴ１０４）で最もデコード割合が高かった場合の画像内における２次元バーコードの位置を記憶部７に記憶させておき、ディスプレイに２次元バーコードのプレビューを表示する際に、最もデコード割合が高かった２次元バーコードの位置を記憶部７から読み出して表示してもよい。図１７の矩形３ｆはこのようにして得られた矩形であり、過去に何度か試行されたデコード処理のうちで最もデコード割合の高かったときの２次元バーコードの画像内における位置を示すものである。なお、矩形３ｆの位置よりもさらにデコード割合が高い試行があった場合には、矩形３ｆの位置を更新するようにしておく。

なおこの場合の記憶部７は、請求項１３の最適位置記憶手段の例をなすものである。

このような領域を明示して利用者に報知することで、２次元バーコードのプレビュー画像がこの矩形３ｆの近くに表示され、サイズも矩形３ｆと同程度であれば、２次元バーコード１２が認識されやすくなることを直感的に理解できるようになり、より簡単に位置合わせを行うことができる。

図１３のフローチャートの説明に戻る。撮像物認識装置１は、利用者が撮像物認識装置１の位置を調整している間に、ステップＳＴ１０１に戻り、２次元バーコード１２の次の画像を撮像する。図１８は、このようにして得た新しい２次元バーコードの画像の例である。次にステップＳＴ２０１で、図１８の２次元バーコード画像から位置検出シンボル１３、１４、１５を検出する。図１８の２次元バーコード画像においても位置検出シンボル１３〜１５ははっきりと表示されているからステップＳＴ１０４に進み（ステップＳＴ２０１：Ｙｅｓ）、ステップＳＴ１０４で２次元バーコードのデコードを行う。そしてその結果、デコード割合が５０％以上となったものとすると、この場合はステップＳＴ１０５に進む（ステップＳＴ２０２：Ｙｅｓ）。そしてステップＳＴ１０５において、２次元バーコードのデコード結果を表示する。図１９は、２次元バーコードのデコード結果を表示したディスプレイ３の状態を示す図である。

以上から明らかなように、この発明の実施の形態２の撮像物認識装置によれば、表示物である２次元バーコードを撮像して、その画像の読取度合いを利用者に報知することとしたので、利用者は報知される読取度合いに応じて撮像物認識装置を、２次元バーコードの読み取りが適切に行える位置に容易に移動でき、その結果、２次元バーコード読み取りを通じて、効率的に情報入力を行うことができるのである。

さらに２次元バーコードの認識を行う画像認識部５と、画像の結像状態を識別する画像状態検出部６を別個の部位として構成し、画像状態検出部６ではＱＲコードの位置検出シンボルの検出のみを行って、その都度、画像の読取度合いを表示するようにしたので、画像の撮像から画像の結像状態の報告までのターンアラウンドを短くできる。その結果、利用者の操作に対するレスポンスが良好な撮像物認識装置を構成しうるのである。

なおステップＳＴ１０４で、２次元バーコードのデコード割合をパーセンテージで表現したものを記憶しておき、ステップＳＴ１０３でこのデコード割合をディスプレイ３に表示するようにしてもよい。こうすることで、基準（この例では５０％）をクリアするまでにどの程度調整を行えばよいかを利用者が知ることになり、調整が容易になる。

また画像状態検出部６において、位置検出シンボルを検出した場合に、合わせて相互の垂直位置・水平位置を検出し、それぞれの垂直位置と水平位置とを比較することで、回転（２次元バーコード全体が画像平面内で傾いている状態）が発生していると判断した場合には、そのことをディスプレイ３を介して利用者に報知するようにしてもよい。

具体的にいえば、位置検出シンボルの画像内での水平座標と垂直座標を取得し、それぞれの位置検出シンボルの座標値の差を求めて、この差が一定値を超えた場合に、回転が発生していると判断する。また座標位置の評価を行う対象は、位置検出シンボルには限られない。すなわち、例えば表示物の左上隅、右上隅、左下隅、右下隅の点などの基準点の位置を求めて、それぞれの水平座標と垂直座標を評価するようにしてもよい。

２次元バーコード読み取りを効率的に行うには、画像の回転を一定範囲内に抑制する必要があるが、このように回転を検出して利用者に報知することで、利用者は適切に回転した状態を是正することができる。

さらに、画像状態検出部６において、２次元バーコードの上端と下端、左端と右端とをそれぞれ検出し、上端の長さと下端の長さ、左端の長さと右端の長さとを比較して、２次元バーコードの表示面がカメラ２に対して傾いていることを検出し、そのことをディスプレイ３を介して利用者に報知するようにしてもよい。具体的にいえば、例えば表示物の左上隅、右上隅、左下隅、右下隅の点などの基準点の位置を求めて、それぞれの水平座標間の差および垂直座標間の差を評価する。

ここで、例えば左上隅、右上隅、左下隅、右下隅をそれぞれＰ１、Ｐ２、Ｐ３、Ｐ４とする。そうすると、表示物の表示面がカメラの撮像面に対して平行であれば、Ｐ１とＰ２の水平座標間の差と、Ｐ３とＰ４の水平座標の差は、２次元バーコードの場合、ほぼ等しくなるはずである。そこでＰ１とＰ２の水平座標間の差と、Ｐ３とＰ４の水平座標間の差が一定値以上食い違った場合に、表示物の表示面がカメラの撮像面に対して傾斜していると判断するのである。

２次元バーコードの認識率は、２次元バーコードを真正面から撮像した場合が当然最もよく、効率的に認識されるので、表示面が傾いていることを報知することで、利用者は適切に傾斜を是正し、効率的に認識操作を行うことができる。

また、読取度合いインジケータ３ｃは複数の矩形を列挙して、現在の読取度合いを表現することとしているが、デコード割合をパーセンテージ（”数値”％などの文字列）で表示してもよい。

実施の形態３．
実施の形態１及び２による撮像物認識装置はバーコードや２次元バーコードを認識することを目的とするものであった。一方、バーコードや２次元バーコードの認識機能と同じように携帯電話に装着されているデジタルカメラを用いて、印刷物などに表示されている文字を認識する機能も提案され始めてきている。このような文字認識機能においても、適切に文字を認識する上で、文字を撮像した画像の読取度合いが問題になる。そこで、この発明の実施の形態３では、表示物として文字を対象とした場合の構成例について説明する。

図２０は、この発明の実施の形態３による撮像物認識装置の構成を示すブロック図である。図において、撮像物認識装置１６は、実施の形態１及び２における撮像物認識装置１と同様にカメラ２、ディスプレイ３、操作キー４、画像認識部５、画像状態検出部６、記憶部７、制御部８を備えており、さらにこれに加えて認識辞書１７を新たな構成要素として追加している。認識辞書１７は、文字の形状と文字との対応付けを記憶する辞書データであって、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）などの不揮発性メモリやＣＤ−ＲＯＭドライブなどの記憶媒体に記憶されている。なお、認識辞書１７は撮像物認識装置１６の筐体内に一体不可分で実装されている必要は必ずしもなく、例えば撮像物認識装置１６が無線通信機能を有してインターネットなどを経由し、外部機器にアクセスすることができる場合は、その外部機器から認識辞書１６をロードするようにしておいてもよい。

その他、図２０において、図１と同一の符号を付した構成要素については、実施の形態１と同様であるので説明を省略する。また撮像物認識装置１６の具体的な背面図及び正面図は、図２及び図３で示した撮像物認識装置１の背面図及び正面図と同様であるので、省略する。

次に、撮像物認識装置１６の使用の方法を説明する。図２１は撮像物認識装置１６の使用方法を示した図であって、図に示すように利用者は手１０で撮像物認識装置１６を把持し、背面のカメラ２によって例えば表示物である文字１８を撮像する。利用者が図２１のように撮像物認識装置１６によって文字１８を撮像すると、撮像物認識装置１６のディスプレイ３にはそのことを示す表示がなされる。図２２は、撮像物認識装置１６が文字認識を開始すると、表示されるディスプレイ３の表示内容の例を示す拡大図である。図において、文字画像１８はカメラ２によって撮像されたものである。

また、矩形３ｇは読取度合いインジケータであって、現在撮像されている文字の画像の状態を示す表示領域である。実施の形態１及び２では、読取度合いインジケータは２つの矩形から構成されていたが、この例では３つの矩形から構成されるものとする。図２３は、読取度合いインジケータ３ｇの遷移状態を示す連続拡大図である。図において、状態１は読取度合いインジケータ３ｇを構成する３つの矩形表示（アイコン）の何れも強調表示されていない、あるいは矩形の枠のみが表示されている状態である。図の状態２は、３つのアイコンのうち１つだけが強調表示、あるいは何らかの色で着色された状態を示すものである。状態３は、２つのアイコンが強調表示、あるいは何らかの色で着色された状態を示すものである。そして状態３は、３つのアイコンがすべて強調表示、または何らかの色で着色された状態を示すものである。

次に、撮像物認識装置１６の動作を図を用いて説明する。図２４は、撮像物認識装置１６の動作を表したフローチャートである。図のステップＳＴ３０１において、制御部８はカメラ２を通して文字１８を撮像する。ここでは図２５に示すような文字１８の画像が得られたものとする。

続いてステップＳＴ３０２において、画像状態検出部６は図２５の画像から文字領域を抽出する。そのためにはまず、入力画像の輝度情報をもとに、２値画像を求める。そしてここで得られた２値画像の黒画素の数を水平方向に加算して、黒画素ヒストグラムを求める。次に、黒画素の頻度数が一定値以上となる連続部分を文字列の上端および下端として文字領域を求める。なお、左端と右端については、画像領域の左端と右端をそのまま用いる。その結果、図２６の矩形１９内の領域が文字領域として抽出されたものとする。

次に、ステップＳＴ３０３において、画像状態検出部６は、ステップＳＴ３０２において抽出した文字領域の高さが基準値を超えているかどうかを評価する。そして読み取り対象となる画像内の文字高さが基準値以下となる場合にステップＳＴ３０３に進み、基準値を超える場合には、ステップＳＴ３０５に進む。これは、文字高さが不十分な場合には、文字の構成要素の照合のために必要となる解像度が得られず、撮像物認識装置１６と表示物である文字１８との位置関係の調整が必要だからである。なお、ここでは図２６の矩形１９の高さを画素数に基づいて算出することとし、得られた高さが１０画素であるとする。そして、基準値を１５画素とする。その結果、この矩形の高さは基準値以下となるので、ステップＳＴ３０４に進む（ステップＳＴ３０３：Ｎｏ）。なお、基準値を超える場合については、後述する。

ステップＳＴ３０４において、画像状態検出部６は、ディスプレイ３の読取度合いインジケータ３ｇを状態１として表示する。これによって利用者は、撮像物認識装置１６と文字１８との位置関係が不適切であることを確認して、位置関係の調整を行う。

このように、読み取り対象となる画像内の文字高さが十分でない場合には、そのことを読取度合いインジケータ３ｇに表示して利用者に報知することとしたので、文字の構成要素の照合のために必要な解像度が得られない場合に、利用者はそのことを確認でき、位置関係を是正できる。

なお、この例では、横書き文字を前提に説明しているので、まずは文字の大きさを表す要素として文字の高さを基準に読取度合いを判定している。しかし縦書き文字を前提にした場合には、文字の大きさを表す要素として文字の幅を基準に読取度合いを判定するようにしてもよい。

その一方で、撮像物認識装置１６の制御部８は、カメラ２を介して再び文字１８を撮像する（ステップＳＴ３０１）。その結果、図２７に示すような画像が得られたものとする。続いて、画像状態検出部６は、文字領域の抽出を行う（ステップＳＴ３０２）。その結果、図２８の矩形２０のような文字領域を抽出したものとする。そして、画像状態検出部６は、この矩形２０の高さを求める。その結果、矩形２０の高さは２０画素であったものとする。この場合は、基準値の１５画素を超えているので、ステップＳ３０５に進む（ステップＳＴ３０３：Ｙｅｓ）。

ステップＳＴ３０５において、画像状態検出部６は、文字毎の文字矩形を抽出する。そこでまず画像状態検出部６は、図２７の画像を２値化して、図２９に示すような画像を得る。そして、この２値化された画像において黒画素数を垂直方向に加算し、黒画素ヒストグラムを求める。ついで、この黒画素ヒストグラムを水平方向にスキャンし、黒画素の頻度数が一定値以上となる連続部分を各文字の領域と判断して、文字毎の矩形領域として抽出する。なおこの処理では、新たに各矩形領域の左端と右端のみを決定し、上端と下端については、ステップＳＴ３０２で抽出した文字領域矩形の上端と下端を用いるようにする。図３０は、このようにして得られた文字毎の矩形領域を示す図である。図の矩形２１、２２、２３はそれぞれ、画像の黒画素分布の状況から独立した文字領域であると認識された矩形領域である。この図から明らかなように矩形２１と矩形２３は、人間が認識する個別の文字には対応していない。これは文字１８を撮像した画像である図２７に示した画像が不鮮明であるため、文字毎に領域を分解できないためである。

ステップＳＴ３０６において、画像状態検出部６は、上述したような文字毎の矩形に分解できない場合を排除するために、ステップＳＴ３０５で抽出した文字毎の矩形のうち、水平方向長さが最大の矩形を選択して、その矩形の垂直方向長さと水平方向長さとの比（縦横比）を算出し、この縦横比が基準値（例えば２．０）以下となるかどうかを評価する。例えば、図３０の場合は、矩形２３が選択される。矩形２３の縦横比が３．０であるとすると、基準値以下とはならないために、ステップＳＴ３０７に進む（ステップＳＴ３０６：Ｎｏ）。なお、基準値以下となる場合については後述する。

ステップＳＴ３０７において、画像状態検出部６は、ディスプレイ３の読取度合いインジケータ３ｇを状態２として表示する。これによって利用者は、撮像物認識装置１６と文字１８との位置関係が不適切であることを確認して、位置関係の調整を行う。

このように、文字毎の領域の縦横比を求めて、その縦横比が所定値より大きい場合に、表示物の画像が適切な読取度合いにないと判断して、そのことを読取度合いインジケータ３ｇに表示して利用者に報知することとしたので、利用者は文字の読取度合いが適切になるように表示物である文字と撮像物認識装置１との位置関係を調整することができる。

その後、撮像物認識装置１６の制御部８は、カメラ２を介して再び文字１８を撮像する（ステップＳＴ３０１）。その結果、図３１に示すような画像が得られたものとする。続いて、画像状態検出部６は、文字領域の抽出を行う（ステップＳＴ３０２）。その結果、図３２の矩形２４のような文字領域を抽出したものとする。そして、画像状態検出部６は、この矩形２４の高さを求める。その結果、矩形２４の高さは１８画素であったものとする。この場合は、基準値の１５画素を超えているので、ステップＳ３０５に進む（ステップＳＴ３０３：Ｙｅｓ）。そして図３３に示すように文字毎の矩形領域２５〜３２（以下、文字矩形２５〜３２と呼ぶ）を抽出する（ステップＳＴ３０５）。次に、文字毎の矩形のうち、水平方向長さが最大の矩形を選択して、その矩形の垂直方向長さと水平方向長さとの比（縦横比）を算出する。ここでは、矩形３１の水平方向長さが最大であるとして、その縦横比を求めたところ、１．２であったとする。画像状態検出部６は、この縦横比が基準値（２．０）以下となるので、ステップＳＴ３０８に進む（ステップＳＴ３０６：Ｙｅｓ）。

ステップＳＴ３０８において、画像認識部５は、文字を照合する処理として、文字矩形２５〜３２のそれぞれから得られる特徴値と、認識辞書１７に記憶されている文字の特徴値との一致度を求め、文字矩形毎に最も一致度の高い文字を選択して、その一致度をその文字矩形の一致度とする。

続くステップＳＴ３０９において、画像認識部５は、ステップＳＴ３０８で求めた各文字矩形の一致度が基準値を超えるかどうかを評価する。文字矩形２５〜３２の各文字についてそれぞれの一致度を単純に基準値と比較してもよいが、ここでは、左端と右端の文字矩形、すなわち文字矩形２５と文字矩形３２だけを基準値と比較するようにする。一般にカメラで撮像した画像は端部に近づくほど歪みなどの影響によって劣化する。したがって端部に近い位置にある文字矩形についての照合処理の評価値が低くなる傾向が強い。そこで、端部に近い位置の文字矩形の照合における一致度が基準値を超えていれば、文字列全体としても、所定の基準以上で照合しうるものと考えることができる。

このように、カメラで撮像した画像の性質に基づいて、画像の端部に近い文字のみを選択して、基準値と比較することとしたので、少ない演算量で画像の読取度合いを判定でき、その結果、利用者に対するレスポンスの向上を実現できるのである。

なお、画像認識部５ではなく、画像状態検出部６がステップＳＴ３０８が両端の文字矩形２５と３２について認識辞書１７を参照して一致度を算出しておき、ステップＳＴ３０９でその２つの文字矩形の一致度が基準値を超えるかどうかを評価するようにしてもよい。こうすることで、最も演算量を要する認識辞書１７を参照しての照合処理の回数を大きく減らすことができ、利用者に対するレスポンスを向上させることができる。

この結果として、文字矩形２５と文字矩形３２のいずれか一方の一致度が基準値以下の場合は、ステップＳＴ３１０に進み（ステップＳＴ３０９：Ｎｏ）、読取度合いインジケータ３ｇを状態３に表示する。この場合には、ステップＳＴ３０１に戻って、撮像物認識装置１６の位置を再び調整する。一方、文字矩形２５と文字矩形３２の双方の一致度が基準値を超えた場合には、ステップＳＴ３１１に進み（ステップＳＴ３０９：Ｙｅｓ）、各文字に最も一致度が高かった認識辞書１７の文字を結果表示する。

以上から明らかなように、この発明の実施の形態３の撮像物認識装置によれば、表示物である文字までの距離を測定する距離測定センサのような部品を必要とせずに、撮像物認識装置と表示物である文字との距離を適切に調節して、文字認識をすることができるのである。

また、文字領域の高さ、各文字の縦横比、文字列の両端の文字の一致度などによって、段階的に文字を撮像して得た画像の状態を判定して、その状況を利用者に報知することとしたので、利用者は撮像物認識装置を文字認識に最適な位置に移動することが容易になるのである。

さらに、画像認識部５と画像状態検出部６とを別個の構成要素として構成し、さらに文字領域の高さ、各文字の縦横比の評価、あるいは場合によっては、文字列の両端の文字の一致度を画像状態検出部６に評価させる構成としたので、画像の結像状態を高速に判定し、利用者に対するレスポンスを良好にすることができる。

実施の形態４．
実施の形態１乃至３による撮像物認識装置は、表示物を撮像した画像の読取度合いを読取度合いインジケータを通して利用者に報知することで、利用者にその状態を確認しながら撮像物認識装置と表示物との位置関係を調整せしめるものであった。しかし読取度合いインジケータのような方法で画像の状態を確認させる以外に、表示物の画像の認識を試行してみて、認識が失敗した場合に、なぜ認識が失敗したかを利用者が判断するための判断材料となる情報を提示する構成を採用してもよい。この発明の実施の形態４による撮像物認識装置は、かかる特徴を有するものである。

図３４は、この発明の実施の形態４による撮像物認識装置の構成を示すブロック図である。図の撮像物認識装置３３は、カメラ２、ディスプレイ３、操作キー４、画像認識部５、記憶部７、制御部８、画像切り出し部３４から構成されており、画像切り出し部３４を除いては、実施の形態１による撮像物認識装置１の相当する構成要素と同様である。また画像切り出し部３４は、撮像された画面の一部を切り出す部位であるが、制御部８によって実行されるコンピュータプログラムとして構成してもよい。またこの画像切り出し部は、請求項１８における画像切り出し手段の例に相当するものである。

また、図３５は撮像物認識装置３３のディスプレイ３に表示される画面の例を示す図である。図において、２次元バーコード３５はカメラ２によって撮像され、その一部だけがディスプレイ３に表示されている。点線矩形枠３ｆは、この発明の実施の形態４による撮像物認識装置１が認識対象とする範囲を利用者に案内するために、ディスプレイ３に表示されているガイドラインである。以降の説明において、点線矩形枠３ｆを、ガイドライン３ｆと呼ぶこととする。

次に、撮像物認識装置１の処理を図を用いて説明する。図３６は撮像物認識装置１の処理を示すフローチャートである。図のステップＳＴ４０１において、カメラ２で撮像された２次元バーコード３５の画像は一旦、記憶部７に格納されるとともに、ディスプレイ３に表示される。当初は撮像物認識装置１の電源を入れただけ、あるいは撮像物認識装置１が携帯電話などである場合には、２次元バーコード読み取り機能を起動しただけの状態であるので、利用者は特に表示物である２次元バーコードと撮像物認識装置１との位置関係には気を使っていない。したがって図３４のように２次元バーコード３５の一部だけしか表示されていない状態が生じうる。

続いてステップＳＴ４０２において、制御部８は、例えば操作キー４を用いて、利用者が撮像物認識装置１に対して認識指示を行ったかどうかを調べる。認識指示とは、利用者がディスプレイ３に２次元バーコード３５が表示されている状態を見ながら行う操作をいう。利用者が操作キー４を押下すると、操作キー４は割り込み信号を発生させて制御部８にイベントを通知する。制御部８は、割り込み処理によってそれまで行っていた処理を中断し、操作キー４から通知されたイベントを一旦バッファ（記憶部７の中に待ち行列として設けられることが多い）に格納した後、中断したそれまでの処理を再開する。ステップＳＴ４０２では、このバッファに操作キー４の押下に基づくイベントが記憶されているかどうかを調べることで、認識指示の有無を判断する。

その結果、認識指示がない場合は、ステップＳＴ４０１に戻る（ステップＳＴ４０２：Ｎｏ）。そして再びカメラ２によって撮像された画像をディスプレイ３に表示し、認識指示の有無を調べる、という処理を繰り返す。その間に、利用者はガイドライン３ｆに合わせて２次元バーコード３５が撮像されるように撮像物認識装置３３の位置を調整する。図３７は、このような状態のディスプレイ３の様子を表す図である。そして、ガイドライン３ｆ内部に２次元バーコード３５が表示されている状態で、利用者が認識指示を行ったものとする。この場合は、ステップＳＴ４０３に進む（ステップＳＴ４０２：Ｙｅｓ）。

ステップＳＴ４０３において、画像切り出し部３４は、カメラ２で撮像された画像からガイドライン３ｆの内部の部分画像を切り出す。そして、ステップＳＴ４０４において、画像認識部５は、切り出した部分画像内の２次元バーコードを認識する。

続くステップＳＴ４０５において、画像認識部５による２次元バーコードの認識が成功したかどうかを評価する。その結果失敗した場合は、ステップＳＴ４０６に進む（ステップＳＴ４０５：Ｎｏ）。ステップＳＴ４０６では、制御部８はガイドライン３ｆの内部の画像を拡大して、ディスプレイ３に表示する。図３８は、画像認識部５による認識が失敗した場合に表示される画面の例を示した図である。利用者はこの画面の状況を確認した上で、次回に読み取りできるように撮像物認識装置３３の位置を調整する。その後、撮像物認識装置３３はステップＳＴ４０１に戻る。

このように、２次元バーコードを拡大して表示することで、利用者は画像の状況を目視により容易に確認できる。その結果、カメラ２で撮像した画像そのままの大きさでは、利用者が認知できなかった阻害要因を素早く判断して修正し、再試行することが可能となるのである。

一方、画像認識部５による２次元バーコードの認識が成功した場合には、ステップＳ４０８に進む（ステップＳＴ４０５：Ｙｅｓ）。この場合は、実施の形態２のステップＳＴ１０５と同様の処理を行い、その後処理を終了する。

以上から明らかなように、この発明の実施の形態４の撮像物認識装置によれば、認識処理が失敗した場合に、失敗した原因を利用者が認知できるように原因となった画像を表示することとしたので、利用者は原因を修正して再試行することが容易になるのである。

なお、この例ではガイドライン３ｆを固定として画像切り出しを行うこととしたが、２次元バーコードの場合は位置検出シンボルによって表示位置を特定できるので、画像切り出しを行う領域を動的に決定するようにしてもよい。すなわち、位置検出シンボルに基づいて２次元バーコードの表示領域を特定し、この表示領域を画像切り出し部３４が切り出すようにするのである。そして画像認識部５がこの領域の認識に失敗した場合に、２次元バーコードが表示されている領域の拡大画像をディスプレイ３に表示する。

こうすることで、利用者が画像の位置合わせを行う必要がなくなる上、拡大画像を通じて、撮像物の認識を阻害する要因を発見しやすくなるため、利用者は素早く判断して修正し、再試行することが可能となるのである。

また２次元バーコードの画像をディスプレイ３に表示しうる最大の大きさに拡大する以外に、例えば現在の２次元バーコードの画像を所定の比率（例えば水平・垂直双方に１０％ずつ）で拡大するようにしてもよい。

この発明は、例えばデジタルカメラ機能を搭載した携帯情報端末に適用することができる。

この発明の実施の形態１による撮像物認識装置の構成を示すブロック図である。 この発明の実施の形態１の撮像物認識装置の背面図である。 この発明の実施の形態１の撮像物認識装置の正面図である。 この発明の実施の形態１の撮像物認識装置によって表示物を撮像する様子を示す図である。 この発明の実施の形態１の撮像物認識装置のディスプレイの表示内容の例を示す拡大図である。 この発明の実施の形態１の読取度合いインジケータの遷移状態を示す連続拡大図である。 この発明の実施の形態１の撮像物認識装置が画像認識した状態のディスプレイの表示内容の例を示す図である。 この発明の実施の形態１の撮像物認識装置の処理を示すフローチャートである。 この発明の実施の形態１の撮像物認識装置が撮像したバーコードの画像の例を示す図である。 この発明の実施の形態１の撮像物認識装置におけるバーコードのスキャンラインの構成を示す図である。 この発明の実施の形態１の撮像物認識装置が撮像したバーコードの別の画像の例を示す図である。 この発明の実施の形態１の撮像物認識装置が撮像したバーコードの別の画像の例を示す図である。 この発明の実施の形態２の撮像物認識装置の処理のフローチャートである。 この発明の実施の形態２で読みとる２次元バーコードの例を示す図である。 この発明の実施の形態２の撮像物認識装置が撮像した２次元バーコードの画像の例を示す図である。 この発明の実施の形態２で読みとる２次元バーコードの別の例を示す図である。 この発明の実施の形態２の撮像物認識装置のディスプレイを示す図である。 この発明の実施の形態２で読みとる２次元バーコードの別の例を示す図である。 この発明の実施の形態２による２次元バーコードのデコード結果を表示したディスプレイ３の状態を示す図である。 この発明の実施の形態３による撮像物認識装置の構成を示すブロック図である。 この発明の実施の形態３の撮像物認識装置によって表示物を撮像する様子を示す図である。 この発明の実施の形態３の撮像物認識装置のディスプレイの表示内容の例を示す拡大図である。 この発明の実施の形態３の読取度合いインジケータの遷移状態を示す連続拡大図である。 この発明の実施の形態３の撮像物認識装置の処理を示すフローチャートである。 この発明の実施の形態３の撮像物認識装置が撮像した文字の画像の例を示す図である。 この発明の実施の形態３の撮像物認識装置が撮像した文字の画像から抽出した文字領域の例を示す図である。 この発明の実施の形態３の撮像物認識装置が撮像した文字の別の画像の例を示す図である。 この発明の実施の形態３の撮像物認識装置が撮像した文字の別の画像から抽出した文字領域の例を示す図である。 この発明の実施の形態３の撮像物認識装置が撮像した文字の画像を２値化した画像の例を示す図である。 この発明の実施の形態３の撮像物認識装置が撮像した文字の画像から抽出した文字毎の領域の例を示す図である。 この発明の実施の形態３の撮像物認識装置が撮像した文字の別の画像の例を示す図である。 この発明の実施の形態３の撮像物認識装置が撮像した文字の別の画像から抽出した文字領域の例を示す図である。 この発明の実施の形態３の撮像物認識装置が撮像した文字の別の画像から抽出した文字毎の領域の例を示す図である。 この発明の実施の形態４の撮像物認識装置の構成を示すブロック図である。 この発明の実施の形態４の撮像物認識装置の画面の例を示した図である。 この発明の実施の形態４の撮像物認識装置の処理を示すフローチャートである。 この発明の実施の形態４の撮像物認識装置の別の画面の例を示した図である。 この発明の実施の形態４の撮像物認識装置の認識後に表示される画面の例を示した図である。

符号の説明

１，１６，３４ 撮像物認識装置、
２ カメラ、
３ ディスプレイ、
４ 操作キー
５ 画像認識部、
６ 画像状態検出部、
７ 記憶部、
８ 制御部、
１７ 認識辞書。

Claims (21)

1. 表示物の画像を撮像する画像入力手段と、
   前記画像入力手段が撮像した画像における前記表示物の読取度合いを評価して出力する読取度合い評価手段と、
   前記読取度合い評価手段が出力した読取度合いを利用者に報知する報知手段と、
   前記画像入力手段が撮像した画像から前記表示物を認識する認識手段と、
   を備えたことを特徴とする撮像物認識装置。
2. 前記報知手段は、前記読取度合いを段階的に利用者に報知することを特徴とする請求項１に記載の撮像物認識装置。
3. 前記報知手段は、前記読取度合いとともに前記画像入力手段が撮像した画像を表示することを特徴とする請求項１に記載の撮像物認識装置。
4. 前記認識手段は、前記読取度合いが所定の状態となった場合に、前記表示物を認識することを特徴とする請求項１に記載の撮像物認識装置。
5. 前記読取度合い評価手段は、前記画像における前記表示物の位置を特定する基準点を求めて、それら基準点の垂直位置又は水平位置のずれから前記画像の回転を検出し、
   前記報知手段は、前記画像の回転の発生を利用者に報知することを特徴とする請求項１に記載の撮像物認識装置。
6. 前記読取度合い評価手段は、前記画像に前記表示物が表示されている位置を特定する基準点を求め、それら基準点間の距離から表示物の傾斜を検出し、
   前記報知手段は、前記画像の傾斜の発生を利用者に報知することを特徴とする請求項１に記載の撮像物認識装置。
7. 前記画像入力手段は、バーコードを前記表示物として撮像し、
   前記認識手段は、前記バーコードをデコードすることを特徴とする請求項１に記載の撮像物認識装置。
8. 前記読取度合い評価手段は、前記バーコードにおいてデコード可能なスキャンライン数に基づいて前記読取度合いを決定することを特徴とする請求項７に記載の撮像物認識装置。
9. 前記読取度合い評価手段は、前記画像入力手段が撮像した画像に水平方向スキャンラインを設定し、そのスキャンライン上の隣接する画素間で濃度差が所定値以上となる画素をエッジとして検出して、検出されたエッジの数に基づいて前記読取度合いを決定することを特徴とする請求項７に記載の撮像物認識装置。
10. 前記読取度合い評価手段は、前記画像入力手段が撮像した画像に垂直方向スキャンラインを設定し、そのスキャンライン上の隣接する画素間で濃度差が所定値以上となる画素をエッジとして検出して、検出されたエッジの数に基づいて前記読取度合いを決定することを特徴とする請求項７に記載の撮像物認識装置。
11. 前記画像入力手段は、２次元バーコードを前記表示物として撮像し、
    前記認識手段は、前記２次元バーコードをデコードすることを特徴とする請求項１に記載の撮像物認識装置。
12. 前記読取度合い評価手段は、前記２次元バーコードの位置検出シンボルを検出するとともに、この位置検出シンボルの検出の有無に基づいて前記読取度合いを決定することを特徴とする請求項１１に記載の撮像物認識装置。
13. 前記認識手段は、前記２次元バーコードをデコードするとともに、そのデコード結果とＱＲコードの誤り訂正コードとからデコード割合を算出し、
    前記読取度合い評価手段は、前記デコード割合に基づいて前記読取度合いを決定することを特徴とする請求項１１又は１２の撮像物認識装置。
14. 前記２次元バーコードの画像内位置とその位置における前記２次元バーコードのデコード割合とを記憶する最適位置記憶手段を備え、
    前記認識手段は、前記デコード割合を算出した後、そのデコード割合が前記最適位置記憶手段に記憶されている前記画像内位置のデコード割合より高い場合に、今回のデコード割合と今回デコードした２次元バーコードの画像内位置を前記最適位置記憶手段に記憶させ、
    前記報知手段は、前記読取度合いを利用者に報知するとともに、前記画像入力手段が撮像した画像と、前記最適位置記憶手段により記憶されている前記画像内位置と、を表示することを特徴とする請求項１１の撮像物認識装置。
15. 文字パターンと文字とを記憶する文字認識辞書を備え、
    前記画像入力手段は、文字を表示物として撮像し、
    前記認識手段は、前記文字認識辞書を参照して前記表示物の文字を文字認識することを特徴とする請求項１に記載の撮像物認識装置。
16. 前記報知手段は、前記画像入力手段が撮像した画像から文字の表示領域を抽出し、その領域の大きさに基づいて前記表示物の読取度合いを利用者に報知することを特徴とする請求項１５に記載の撮像物認識装置。
17. 前記報知手段は、前記画像入力手段が撮像した画像から各文字の表示領域を抽出し、その領域の縦横比に基づいて前記表示物の読取度合いを利用者に報知することを特徴とする請求項１５に記載の撮像物認識装置。
18. 前記報知手段は、前記画像入力手段が撮像した画像からこの画像の端部に近い文字領域の文字パターンと前記文字認識辞書に記憶される文字パターンとを照合して一致度を算出し、この一致度に基づいて前記表示物の読取度合いを利用者に報知することを特徴とする請求項１５に記載の撮像物認識装置。
19. 表示物を撮像する画像入力手段と、
    前記画像入力手段が撮像した画像から前記表示物を認識し、認識成否を出力する認識手段と、
    前記画像入力手段が撮像した画像の所定の領域を切り出し画像として切り出す画像切り出し手段と、
    前記画像入力手段が撮像した画像を表示するとともに、前記認識手段が前記表示物の認識に失敗した場合に、前記画像切り出し手段が切り出した切り出し画像を表示する報知手段と、
    を備えたことを特徴とする撮像物認識装置。
20. 前記報知手段は、前記画像入力手段が撮像した画像とともに前記表示物の認識に適する画像内の表示物の位置を示すガイドラインを表示し、
    前記画像切り出し手段は、前記ガイドラインの内部の領域を前記切り出し画像として切り出すことを特徴とする請求項１９に記載の撮像物認識装置。
21. 前記画像切り出し手段は、前記表示物が表示されている領域を前記切り出し画像として切り出し、
    前記報知手段は、前記切り出し画像に表示される表示物を拡大して表示することを特徴とする請求項１９に記載の撮像物認識装置。

Images