JP2014063300A - 文字認識装置及び文字認識処理方法並びにプログラム - Google Patents

Abstract

【課題】撮影画像内に特殊な文字情報が含まれていたとしてもそれを正常に認識できるようにする。
【解決手段】撮像装置１の制御部１１は、指定位置（現在位置）に応じてその現在位置を含む地図情報を取得すると、この取得した地図情報内の文字情報を文字認識用辞書１３ｃに登録する。この場合、撮影画像内の文字情報と文字認識用辞書１３ｃ内の文字情報とを照合して文字認識を行った結果、正常に認識することができなかった場合に、地図情報内の文字情報を文字認識用辞書１３ｃに登録する。
【選択図】 図２

Description

本発明は、撮影画像内の文字情報を文字認識用辞書を用いて文字認識する文字認識装置及び文字認識処理方法並びにプログラムに関する。

従来、撮影画像内の文字情報を文字認識用の辞書を用いて文字認識する技術としては、撮影画像内のＵＲＬ（Uniform Resource Locator）情報を抽出し、それによってＷｅｂページをアクセスして閲覧可能とする技術のほか、例えば、街中の広告や駅名などをカメラ付の携帯端末によって撮影し、その撮影画像をコンピュータ装置に転送すると、このコンピュータ装置は、撮影画像内から文字情報を抽出しながら文字認識を行い、その認識結果に基づいて所定のデータベースを検索することにより、目的とする情報として、例えば、広告詳細情報や駅近辺の観光スポット情報などを取得して送信元の携帯端末に転送するようにした技術が開示されている（特許文献１参照）。

特開２００４−３２６４７３号公報

上述した特許文献の技術にあっては、コンピュータ装置側で文字認識処理を行う技術であり、大型のコンピュータ装置（例えば、地域用の電子案内板）に、地域性の強い地名や特殊な単語（例えば、店名や人名）なども含めた膨大な情報を文字認識用の辞書に予め登録しておけば、それらを正常に文字認識することが可能となるが、文字認識処理を小型の携帯端末側で行うものとするならば、汎用的ないしは基本的な一般辞書のみを用いて文字認識を行うしかなく、地域性の強い地名などを正常に認識することはできず、その結果、観光スポットなどの詳細情報を得ることはできないという問題が起きる。

本発明の課題は、撮影画像内に特殊な文字列の情報が含まれていたとしてもそれを正常に認識できるようにすることである。

上述した課題を解決するために本発明の文字認識装置は、
撮影画像内の文字情報と文字認識用辞書内の文字情報とを照合して文字認識を行う文字認識装置であって、
位置の指定に応じてその指定位置を含む地図情報を取得する地図取得手段と、
前記取得手段により取得された地図情報内の文字情報を前記文字認識用辞書に登録するための制御を行う登録制御手段と、
を備えたことを特徴とする文字認識装置である。

上述した課題を解決するために本発明の文字認識処理方法は、
位置の指定に応じてその指定位置を含む地図情報を取得するステップと、
撮影画像内の文字情報と文字認識用辞書内の文字情報とを照合して文字認識を行う文字認識用の辞書に、前記取得された地図情報内の文字情報を登録するための制御を行うステップと、
を含むことを特徴とする文字認識処理方法である。

上述した課題を解決するために本発明のプログラムは、
コンピュータに対して、
撮影画像内の文字情報と文字認識用辞書内の文字情報とを照合して文字認識を行う機能と、
位置の指定に応じてその指定位置を含む地図情報を取得する機能と、
前記取得された地図情報内の文字情報を文字認識用辞書に登録するための制御を行う機能と、
を実現させるためのプログラムである。

本発明によれば、撮影画像内に特殊な文字列の情報が含まれていたとしてもそれを正常に認識することができ、認識率の大幅な向上を期待することが可能となる。

文字認識装置として適用した文字認識機能付き撮像装置１が利用可能な通信システムを示した図。 文字認識機能付き撮像装置１の基本的な構成要素を示したブロック図。 （１）〜（３）は、路線バスの前面上部に表示されている行先の案内（方向幕）を撮像部１５によってズーム撮影した場合の表示画面例を示した図。 （１）〜（３）は、電柱の広告を撮影した場合の表示画面例を示した図。 文字認識用辞書１３ｃを説明するための図。 地図情報サーバ装置３から受信取得した周辺地図情報内に含まれている文字情報を説明するための図。 地図情報サーバ装置３から受信取得した周辺地図情報内の文字情報のうち、所定ジャンルに属する文字情報を選択して地域辞書ｓｄ内に追加登録する場合を具体的に説明するための図。 モード変更キー１４ａの操作によりナビケーションモードに切り替えられた際に実行開始されるフローチャート。 図８の動作に続くフローチャート。 地域辞書登録処理（図９のステップＡ２３）を詳述するためのフローチャート。

以下、図１〜図１０を参照して本発明の本実施形態を説明する。
本実施形態は、文字認識装置として文字認識機能付き撮像装置に適用した場合を例示したもので、図１は、文字認識機能付き撮像装置１が利用可能な通信システムを示した図である。
撮像装置１は、静止画像のほかに動画像の撮影も可能なデジタルコンパクトカメラであり、撮像機能、計時機能、画像再生機能などの基本的な機能のほかに、本実施形態においては、文字認識機能、ＧＰＳ（Global Positioning System）測位機能、無線通信機能、ナビゲーション機能を備えている。

文字認識機能は、撮像機能により撮影した撮影画像内の文字情報を切り出して文字認識する機能で、撮影画像内の文字情報と文字認識用辞書内の文字情報とを照合することによって文字認識を行う。ＧＰＳ測位機能は、ＧＰＳ衛星４を利用して現在位置を受信測位する機能である。無線通信機能は、例えば、無線ＬＡＮ（Local Area Network）通信機能で、高速大容量の通信が可能な無線通信モジュールで、最寄りの無線ＬＡＮルータ（図示省略）を介して公衆通信網（インターネットなど）２に接続可能となっている。この場合、撮像装置１は、公衆通信網２を介して地図情報サーバ装置３に接続されると、撮像装置１と地図情報サーバ装置３との間ではデータの送受信が可能となる。撮像装置１は、現在位置を公衆通信網２を介して地図情報サーバ装置３に送信して地図情報の送信を要求すると、地図情報サーバ装置３は、それに応答して現在位置を含む周辺地図情報を生成して撮像装置１に送信するようにしている。ナビゲーション機能は、地図情報サーバ装置３から受信した周辺地図情報を経路図として案内表示する機能である。

地図情報サーバ装置３は、日本全国の地図情報を記憶管理する地図データベース５を備えた業者側のサーバ装置であり、地図情報の要求に応じてその要求元の撮像装置１に対して地図情報を提供するサービスを全国規模で行う。地図データベース５の内容は、例えば、定期的あるいは道路や施設の追加、変更、削除などに応じて頻繁に地図情報の更新が行われるもので、地図情報サーバ装置３は、撮像装置１から地図情報の要求を受けた際に、最新の周辺地図情報を要求元の撮像装置１に送信するようにしている。

図２は、文字認識機能付き撮像装置１の基本的な構成要素を示したブロック図である。
制御部１１は、電源部（二次電池）１２からの電力供給によって動作し、記憶部１３内の各種のプログラムに応じてこの撮像装置１の全体動作を制御するもので、この制御部１１には図示しないＣＰＵ（中央演算処理装置）やメモリなどが設けられている。記憶部１３は、例えば、ＲＯＭ、フラッシュメモリなどを有する構成で、後述する図８〜図１０に示した動作手順に応じて本実施形態を実現するためのプログラムや各種のアプリケーションなどが格納されているプログラムメモリ１３ａと、この撮像装置１が動作するために必要となる各種の情報（例えば、フラグなど）を一時的に記憶するワークメモリ１３ｂと、文字認識用辞書１３ｃなどを有している。なお、記憶部１３は、例えば、ＳＤカード、ＩＣカードなど、着脱自在な可搬型メモリ（記録メディア）を含む構成であってもよく、図示しないが、通信機能を介してネットワークに接続されている状態においては所定のサーバ装置側の記憶領域を含むものであってもよい。

操作部１４は、押しボタン式のキーとして、撮影可能な状態とする撮影モード、撮影済み画像を再生する再生モード、現在位置から目的地までの地図（経路図）を案内表示するナビケーションモードを任意に切り替えるモード変更キー１４ａ、撮影開始を指示するシャッタキー１４ｂ、露出やシャッタスピードなどの撮影条件の設定操作などを行うための各種のキー（図示省略）を備え、制御部１１は、この操作部１４から操作キーに対応して出力される入力操作信号に応じて、例えば、モード変更処理、撮影処理、撮影条件の設定処理などを行う。

撮像部１５は、図示省略したが、光学レンズからの被写体像が撮像素子（ＣＣＤやＣＭＯＳなど）に結像されることにより被写体を高精細に撮影可能なカメラ部を構成するもので、撮影レンズ（例えば、ズームレンズ）、撮像素子、ストロボ、各種のセンサ、アナログ処理部、デジタル処理部を有している。そして、撮像部１５は、静止画像のほかに動画像の撮影も可能なもので、光電変換された画像信号（アナログ値の信号）は、色分離やＲＧＢの色成分毎のゲイン調整などが行われた後、デジタル値のデータに変換される。デジタル変換された画像データは、色補間処理（デモザイク処理）が施されて表示部１６にフルカラー表示される。また、本実施形態においては、光学ズーム機能処理、デジタルズーム機能、オートフォーカス処理（ＡＦ処理）、露出調整処理（ＡＥ処理）、オートホワイトバランス調整処理（ＡＷＢ）、画像圧縮処理、画像復元処理なども実行可能となっている。

表示部１６は、例えば、縦横比（横４：縦３）の異なる画面を有した高精細液晶ディスプレイあるいは有機ＥＬ（Electro Luminescence）ディスプレイで、撮影画像（ライブビュー画像）を表示するモニタ画面（ライブビュー画面）となったり、撮影済み画像を再生する再生画面となったりする。無線通信部１７は、上述の無線ＬＡＮ通信機能を構成し、ＧＰＳ測位部１８は、上述のＧＰＳ測位機能を構成するもので、制御部１１は、ＧＰＳ測位部１８から受信取得した現在位置を無線通信部１７から地図情報サーバ装置３に対して送信し、それに応じて地図情報サーバ装置３から送信されてくる現在位置を含む地図情報を無線通信部１７を介して受信取得するようにしている。

図３は、路線バスの前面上部に表示されている行先の案内板（方向幕）を撮像部１５によってズーム撮影した場合の表示画面例を示した図である。
図３（１）は、路線バスの行先案内板（方向幕）を撮影対象としてその行先案内「△△病院経由 ○○駅」を撮影した場合で、制御部１１は、その撮影画像を取得して台形歪補正などを施した後、図３（２）に示すようにその撮影画像を表示部１６のライブビュー画面に表示させるようにしている。この場合、制御部１１は、撮影画像内から文字情報を抽出して文字認識用辞書１３ｃを用いてその行先を認識すると、この行先をＧＰＳ測位部１８から取得した現在位置と共に地図情報サーバ装置３に送信することによって周辺地図情報の送信を要求する。

地図情報サーバ装置３は、撮像装置１から地図情報の要求を受信すると、その現在位置から行先までの距離（例えば、直線距離）を算出し、その算出距離に応じた縮尺の周辺地図情報を生成してその要求元の撮像装置１に送信するようにしている。撮像装置１は、地図情報サーバ装置３から周辺地図情報を受信取得すると、図３（３）に示すような周辺地図情報（経路図）を表示部１６に表示させるが、その際、現在地（図中、黒丸）と行先（図中、星印）をポイント指定することによって地図上でその位置を案内表示するようにしている。

図４は、電柱の広告を撮像部１５によってズーム撮影した場合の表示画面例を示した図である。
図４（１）に示すような電柱の広告（「○○医院」）が撮影されると、その撮影画像は、図４（２）に示すように表示部１６に表示されるが、この場合においても制御部１１は、上述した場合と同様に、撮影画像内の文字情報を抽出すると共に文字認識用辞書１３ｃを用いてその行先（○○医院）を文字認識し、地図情報サーバ装置３からこの行先と現在位置を含む周辺地図情報を受信取得して図４（３）に示すような経路図を表示部１６に表示させる。なお、電柱の広告を撮影対象とする場合に限らず、図４（１）に示すような広告チラシなどを撮影対象としてもよい。

図５は、文字認識用辞書１３ｃを説明するための図である。
文字認識用辞書１３ｃは、一般用の一般辞書ｍｄと、地域別の地域辞書ｓｄを有する構成で、汎用的ないしは基本的な一般辞書ｍｄに対して補助的（補充的）な辞書として地域辞書ｓｄを有している。この一般辞書ｍｄは、製品出荷時に予め用意されていた辞書であり、図示省略したが、平仮名・片仮名・単漢字などの１文字毎の辞書のほかに、文字列からなる固有名詞などが登録されている単語辞書などを有している。なお、文字認識時には、一般辞書ｍｄ内の標準字形（基本パターン）や文字コード列（複数個の文字のコード情報の連なり）と照合して特徴量の一致度の大きい順に認識候補として選択するが、文字認識の仕方は任意である。

地域辞書ｓｄは、一般辞書ｍｄのように製品出荷時に予め用意されている辞書ではなく、必要に応じて生成されたユーザ辞書であり、その辞書内容も必要に応じて更新される。すなわち、この地域別の地域辞書ｓｄは、例えば、地域性の強い単語を地域別に収集したもので、一般辞書ｍｄに登録されていない固有名詞などの単語（例えば、地域性の強い特殊な単語）が必要に応じて追加登録されたものである。この地域辞書ｓｄのヘッダ領域には、図示のように該当地域を識別するための情報としてその位置情報、地域名などが記憶されている。また、地域辞書ｓｄは、「文字コード列」、「名称」、「重み」の各項目を有し、「文字コード列」は、例えば、地域性の強い特殊な単語を構成する複数個の文字コードの連なりを示し、「名称」は、その単語を示している。「重み」は、後述するが、その値が大きいほど、地域性の強い単語であることを示すもので、制御部１１は、地域辞書ｓｄを用いて文字認識を行う場合に、「重み」の大きい順に優先的に文字認識を行うようにしている。

図６は、地図情報サーバ装置３から受信取得した周辺地図情報内に含まれている文字情報を説明するための図である。
周辺地図情報内に含まれている文字情報としては、その地図内の施設や場所を示す「名称」とその「位置情報」を有する構成で、図示の例は、「名称」として“○○工場”、“△△公園”、“○△薬局”、…に対応してその「位置情報（経緯度）」を有している。制御部１１は、撮影画像内から文字情報を抽出して、文字認識用辞書１３ｃ（一般辞書ｍｄ、地域辞書ｓｄ）を用いて文字認識を行った結果、その文字情報（行先）を正常に認識することができなかった場合に、その際、周辺地図情報内に含まれている各文字情報（各施設や場所の名称など）のうち、所定ジャンルの文字情報を選択して地域辞書ｓｄ内に追加登録した後、再度、この地域辞書ｓｄを使用して文字認識を行うようにしている。

図７は、周辺地図情報内の文字情報のうち、所定ジャンルに属する文字情報を選択して地域辞書ｓｄ内に追加登録する場合を具体的に説明するための図である。
例えば、撮影画像内の文字情報が「○○工場」の場合に、一般辞書ｍｄを用いて「工場」の部分については正常に認識できたが、「○○」の部分については、一般辞書ｍｄ及び地域辞書ｓｄを用いても正常に認識できなかったものとすると、制御部１１は、正常認識された「工場」からその施設が属するジャンル（例えば、会社）を特定するようにしている。

そして、制御部１１は、周辺地図情報内に含まれている文字情報の中から、特定したジャンル（例えば、会社）に該当する文字情報として、例えば、工場、製作所、作業所、株式会社、有限会社などが含まれている文字情報を選択し、その文字情報からジャンルを示す情報（工場、製作所、作業所、株式会社など）を除いた文字情報を地域辞書ｓｄ内に登録するが、その際、同一の文字情報が同一の地域辞書ｓｄ内に登録されていないことを条件に、当該地域辞書ｓｄ内に追加登録するようにしている。例えば、「○○工場」の中から「○○」の部分が地域辞書ｓｄ内に登録されていなければ、この「○○」の文字情報が地域辞書ｓｄ内に追加登録される。

同様に、図７に示すように撮影画像内の文字情報が「○△薬局」の場合に、「薬局」については正常に認識できたが、「○△」については正常に認識できなかったものとすると、正常認識された「薬局」からその施設が属するジャンル（例えば、店舗）を特定し、周辺地図情報内に含まれている文字情報のうち、特定したジャンル（例えば、店舗）に該当する文字情報を選択して地域辞書ｓｄ内に追加登録するようにしている。この場合、「○△薬局」の中から「○△」の部分が地域辞書ｓｄ内に追加登録される。

次に、本実施形態における撮像装置１の動作概念を図８〜図１０に示すフローチャートを参照して説明する。ここで、これらのフローチャートに記述されている各機能は、読み取り可能なプログラムコードの形態で格納されており、このプログラムコードにしたがった動作が逐次実行される。また、ネットワークなどの伝送媒体を介して伝送されてきた上述のプログラムコードに従った動作を逐次実行することもできる。すなわち、記録媒体のほかに、伝送媒体を介して外部供給されたプログラム／データを利用して本実施形態特有の動作を実行することもできる。なお、図８〜図１０は、撮像装置１の全体動作のうち、本実施形態の特徴部分の動作概要を示したフローチャートであり、この図８〜図１０のフローから抜けた際には、全体動作のメインフロー（図示省略）に戻る。

図８及び図９は、モード変更キー１４ａの操作によりナビケーションモードに切り替えられた際に実行開始されるフローチャートである。
先ず、撮像装置１の制御部１１は、シャッタキー１４ｂの操作待ち状態においてシャッタキー１４ｂが操作されると（図８のステップＡ１でＹＥＳ）、撮像部１５から撮影画像を取得し（ステップＡ２）、この撮影画像に対して台形歪補正処理などの前処理（ステップＡ３）を施した後に、撮影画像を解析して撮影対象（例えば、バスの方向幕、電柱などに貼り付けた広告、広告チラシなど）を特定し、ワークメモリ１３ｂ内に撮影対象を一時記憶しておく（ステップＡ４）。なお、この場合、文字情報を囲む周辺形状や位置関係などから撮影対象を特定するようにしているが、これに限らず、文字情報の認識結果も参照して撮影対象を特定するようにしてもよい。

次に、撮影画像の解析結果に基づいて撮影画像内から文字情報の画像部分を切り出すが（ステップＡ５）、その際、文字の集合配列状態などから文字部分を特定して文字情報の切り出しを行うが、その切り出し方は任意である。これによって文字情報を切り出すと、その文字情報を構成する各文字を１文字毎に指定しながら文字認識用辞書１３ｃ（一般辞書ｍｄ）を用いて文字認識する処理（ステップＡ６）を行い、その結果、撮影画像内の文字情報を正常に文字認識することができたか（認識ＯＫか）を調べる（ステップＡ７）。なお、正常な文字認識とは、施設や場所の名称を所定の閾値以上の精度で文字認識することができた場合である（以下、同様）。

いま、正常に認識することができたときには（ステップＡ７でＹＥＳ）、通信環境に応じて現在位置を取得可能であるかを調べる（ステップＡ８）。ここで、通信環境が悪く、現在位置を取得不可能であれば（ステップＡ８でＮＯ）、その旨を示すエラー表示（ステップＡ９）を行った後、ナビケーションモードが解除されたかを調べ（ステップＡ１５）、ナビケーションモードのままであれば（ステップＡ１５でＮＯ）、上述のステップＡ１に戻って撮影指示待ち状態となる。

また、現在位置を取得可能であれば（ステップＡ８でＹＥＳ）、ＧＰＳ測位部１８を介して現在位置を取得し（ステップＡ１０）、この現在位置及び認識結果（行先）を地図情報サーバ装置３に送信することによって周辺地図情報の送信要求を行う（ステップＡ１１）。ここで、地図情報サーバ装置３は、受信した現在位置と行先に基づいてその間の距離を算出し、その算出距離に応じた縮尺の周辺地図情報を生成して、要求元の撮像装置１に送信する。撮像装置１は、地図情報サーバ装置３から周辺地図情報を受信すると（ステップＡ１２）、図３（３）あるいは図４（３）に示すように、受信した周辺地図情報を表示部１６に表示させて地図（経路図）を描画すると共に（ステップＡ１３）、現在位置及び行先を案内するために地図（経路図）にスポット表示させる（ステップＡ１４）。そして、ナビケーションモードが解除されるまで（ステップＡ１５でＮＯ）、上述のステップＡ１に戻って撮影指示待ち状態となる。

一方、一般辞書ｍｄを用いて文字認識を行った結果（ステップＡ６）、撮影画像内の文字情報を正常に認識することができなければ（ステップＡ７でＮＯ）、図９のフローに移り、上述の場合と同様に、通信環境に応じて現在位置を取得可能であるかを調べる（ステップＡ１６）。ここで、現在位置の取得が不可能であれば（ステップＡ１６でＮＯ）、図８のステップＡ９に移り、その旨を示すエラー表示を行うが、現在位置の取得が可能であれば（ステップＡ１６でＹＥＳ）、ＧＰＳ測位部１８を介して現在位置を取得し（ステップＡ１７）、この現在位置を含む地域と近接する地域に該当する各地域辞書ｓｄを全て指定する（ステップＡ１８）。この場合、地域辞書ｓｄ内の地域識別情報を参照して該当する各地域辞書ｓｄを指定するが、その結果、該当する地域辞書ｓｄが一つでも有ったかを調べる（ステップＡ１９）。

いま、該当する地域辞書ｓｄが有れば（ステップＡ１９でＹＥＳ）、その地域辞書ｓｄを用いて文字認識を行い（ステップＡ２０）、正常に認識することができたか（認識ＯＫか）を調べる（ステップ２１）。いま、正常に認識ができたときには（ステップＡ２１でＹＥＳ）、図８のフローに移り、地図情報を受信取得して描画する処理（ステップＡ１１〜Ａ１４）を行う。一方、該当する地域辞書ｓｄが無い場合には（ステップＡ１９でＮＯ）、現在位置を地域識別情報として新たな地域辞書を新規作成（ステップＡ２２）した後、地域辞書登録処理に移る（ステップＡ２３）。また、地域辞書ｓｄを用いた文字認識でも正常に認識することができなかったときには（ステップＡ２１でＮＯ）、地域辞書登録処理に移る（ステップＡ２３）。

図１０は、地域辞書登録処理（図９のステップＡ２３）を詳述するためのフローチャートである。
先ず、制御部１１は、図８のステップＡ４で特定した撮影対象を読み出し取得（ステップＢ１）した後、現在位置と撮影対象の種類を地図情報サーバ装置３に送信して周辺地図情報の送信を要求する（ステップＢ２）。地図情報サーバ装置３は、撮像装置１からの要求に応じて現在位置を含む周辺地図情報を生成して送信するが、その際、撮影対象（例えば、バスの方向幕、電柱などに貼り付けた広告、広告チラシなど）を判別し、バスの方向幕であれば、現在位置から所定距離（例えば、半径５ｋｍ）の領域内の周辺地図情報を生成し、電柱などに貼り付けた広告あるいは広告チラシであれば、現在位置から所定距離（例えば、半径２ｋｍ）の領域内の周辺地図情報を生成して送信する。

撮像装置１は、地図情報サーバ装置３から周辺地図情報を受信取得すると（ステップＢ３）、上述の処理（図８のステップＡ６）で撮影画像内の文字情報を一般辞書ｍｄを用いて認識した結果、部分的に認識されたか、つまり、認識された部分が有るかを調べる（ステップＢ４）。いま、認識部分が有れば（ステップＢ４でＹＥＳ）、その認識部分に基づいてその施設が属するジャンル（例えば、認識部分が「工場」であれば、会社）を特定し、そのジャンルを検索対象として指定するが（ステップＢ５）、認識部分が無ければ（ステップＢ４でＮＯ）、全ジャンルを検索対象として指定する（ステップＢ６）。そして、受信した周辺地図情報内に含まれている全ての文字情報の中から指定ジャンルに属する各文字情報を選択する（ステップＢ７）。例えば、周辺地図情報内の文字情報が図６の場合に、指定ジャンルが会社であれば、１番目の文字情報「○○工場」は選択されるが、２番目の文字情報「△△公園」〜４番目の文字情報「×○病院」は選択されない。

これによって選択した各文字情報（例えば、○○工場、○×製作所、△×工場、○×株式会社など）のうち先頭の文字情報（○○工場）から順次指定し（ステップＢ８）、未指定の文字情報が残っているかを調べるが（ステップＢ９）、最初は先頭の文字情報を指定した場合で、未指定の文字情報が残っていれば（ステップＢ８でＹＥＳ）、この指定文字情報のうち、一般辞書ｍｄに登録されている部分以外の単語を分離抽出し（ステップＢ１０）、抽出することができたかを調べる（ステップＢ１１）。ここで、例えば、指定文字情報が「東京工場」で、一般辞書ｍｄに登録されている部分以外の単語が抽出されなかったときには（ステップＢ１１でＮＯ）、上述のステップＢ８に戻って、次の文字情報（例えば、○×製作所）を指定するが、指定文字情報が「○○工場」で、一般辞書ｍｄに登録されている部分以外の単語（例えば、○○）が抽出されたときには（ステップＢ１１でＹＥＳ）、上述の図９のステップＡ１８で指定した地域辞書ｓｄ内に同一の単語（○○）が登録されているかを調べる（ステップＢ１２）。

指定した地域辞書ｓｄ内に同一の単語が登録されていれば（ステップＢ１２でＹＥＳ）、その単語に対応付けられている「重み」の値に「１」を加算してその値を更新する重み加算処理（ステップＢ１３）を行った後、上述のステップＢ８に戻って次の文字情報を指定するが、指定した地域辞書ｓｄ内に同一の単語が登録されていない場合、あるいは図９のステップＡ２２で地域辞書ｓｄを新規に作成した場合には、ステップＢ１２でＮＯと判断されるので、その単語を地域辞書ｓｄ内に追加登録すると共に（ステップＢ１４）、その「重み」の項目に初期値「１」を登録（ステップＢ１５）した後、上述のステップＢ８に戻って次の文字情報を指定する。以下、同様の動作が繰り返されて、全ての文字情報を指定し終わり、未指定文字情報が無ければ（ステップＢ９でＮＯ）、図１０のフローから抜ける。このように地図情報内の文字情報を一つずつ指定しながら地域辞書ｓｄ内の文字情報と照合した結果、指定文字情報が地域辞書ｓｄ内に記憶されていなければ、地域辞書ｓｄ内に追加登録すると共にその重みとして、その初期値を登録し、また、記憶されていれば、その文字情報に対応付けられている重みを更新するようにしている。

このようにして地域辞書登録処理（図９のステップＡ２３）が終わると、登録処理後の地域辞書ｓｄを使用して再度の文字認識を行い（ステップＡ２４）、正常に認識されたかを調べる（ステップＡ２５）。いま、地域辞書ｓｄには地域辞書登録処理により新たな文字情報が登録されたので、再度の文字認識では正常に認識されることが多いが、撮影状態などの理由で正常に認識することができなかったときには（ステップＡ２５でＮＯ）、図８のステップＡ９に移り、その旨を示すエラー表示を行う。また、正常に認識できたときには（ステップＡ２５でＹＥＳ）、図８のフローに移り、地図情報を受信取得して描画する処理を行う（ステップＡ１１〜Ａ１４）。

以上のように、本実施形態において撮像装置１の制御部１１は、指定位置（現在位置）に応じてその現在位置を含む地図情報を取得すると、この取得した地図情報内の文字情報を文字認識用辞書１３ｃに登録するようにしたので、撮影画像内に特殊な文字情報（地域性の強い文字情報）が含まれていたとしても常に最新の地図情報に基づいて文字認識用辞書１３ｃの内容が更新されるためにその文字情報を正常に認識することができ、認識率の大幅な向上を期待することが可能となる。

制御部１１は、撮影画像内の文字情報と文字認識用辞書１３ｃ内の文字情報とを照合して文字認識を行った結果、正常に認識することができなかった場合に、地図情報内の文字情報を文字認識用辞書１３ｃに登録するようにしたので、認識不能となった特殊な文字情報を登録することができる。

地図情報内の文字情報を文字認識用辞書１３ｃに登録させた後に、その文字認識用辞書１３ｃを用いて再度の文字認識処理を行うようにしたので、一度、認識不能となった後でも正常に認識することができ、認識率の大幅な向上を期待することが可能となる。

制御部１１は、取得した地図情報内の文字情報の中から所定の文字情報を選択して文字認識用辞書１３ｃに追加登録するようにしたので、必要な文字情報を選んで登録することができる。

制御部１１は、撮影画像内の文字情報と文字認識用辞書１３ｃ内の文字情報とを照合した結果、その撮影画像内の文字情報の一部が正常認識された場合に、その正常認識された部分からジャンル（例えば、店舗、会社など）を特定し、そのジャンルに属する文字情報を地図情報の中からを選択して文字認識用辞書１３ｃに追加登録するようにしたので、同一ジャンルに属する文字情報だけを文字認識用辞書１３ｃに追加登録することができ、不必要な文字情報の登録を避けることができる。

制御部１１は、文字認識の結果、地図情報内の文字情報が文字認識用辞書１３ｃ内に記憶されていないことを条件として、その文字情報を文字認識用辞書１３ｃに追加登録するようにしたので、同一の文字情報を重複して登録されることを確実に避けることができる。

文字認識用辞書１３ｃは、一般辞書ｍｄと地域辞書ｓｄとを有し、制御部１１は、地図情報内の文字情報が一般辞書ｍｄ、地域辞書ｓｄに記憶されているか否かを判別する際に、地域別の複数の地域辞書ｓｄのうち指定位置（現在位置）に関係する地域辞書を選択してその判別を行うようにしたので、現在位置を含む地域とその周辺の地域の地域辞書ｓｄを選択して文字認識することができ、全ての地域辞書を対象とする場合に比べて認識処理を効率良く行うことが可能となる。

制御部１１は、ＧＰＳ測位部１８から取得した現在位置を含む地図情報を取得するようにしたので、地図情報として経路図を取得してナビゲーション表示する場合に適したものとなる。

制御部１１は、撮影画像を解析してその撮影対象の種類を特定し、その種類に応じた領域の地図情報を取得するようにしたので、例えば、撮影対象がバスの方向幕であれば、現在位置から半径５ｋｍの領域内の周辺地図情報、また、電柱などに貼り付けた広告あるいは広告チラシであれば、現在位置から半径２ｋｍの領域内の周辺地図情報を取得することができる。

制御部１１は、文字認識の認識結果を行先として、この行先から指定位置（現在位置）までの経路を案内する地図情報を取得するようにしたので、行先への経路をナビゲーション表示する場合に、行先を効率良く認識することが可能となる。

制御部１１は、現在位置と行先との距離に応じた縮尺の地図情報を取得するようにしたので、行先に応じて適切な縮尺の地図を表示させることができる。

制御部１１は、地図情報内の文字情報を一つずつ指定しながら地域辞書ｓｄ内の文字情報と照合した結果、指定文字情報が地域辞書ｓｄ内に記憶されているか否かを判別し、その指定文字情報が記憶されていなければ、地域辞書ｓｄ内に追加登録すると共にその重みとして、その初期値を登録し、また、記憶されていれば、その文字情報に対応付けられている重みを更新する処理を行うようにしたので、その重みの値が大きいほど、地域性の強い単語であることとなり、撮影画像内の文字情報と地域辞書ｓｄ内の文字情報とを照合する場合に、重みの値が大きい順に優先的に文字認識を行うことにより、認識率を向上させることができる。

なお、上述した実施形態においては、指定位置として現在位置を取得する場合を例示したが、任意に入力された位置を指定位置としてもよい。すなわち、操作部１４のキーを操作することにより任意の位置を入力指定するようにしてもよい。例えば、外出先や旅行先などで撮影した撮影画像が記録保存されている場合において、その中から任意に読み出した画像の撮影場所をユーザ操作によって地図上で位置指定するようにしてもよい。この場合、撮像装置１は、指定位置を地図情報サーバ装置３に送信した後、その指定位置を含む地図情報を受信して、その地図情報内の文字情報を地域辞書ｓｄに追加登録するようにしてもよい。これによって、いつでも自由に撮影画像を読み出してその撮影場所を含む地図情報や観光情報などを表示することができるほか、その撮影地域の単語などを地域辞書ｓｄへの追加登録することが可能となる。

上述した実施形態においては、文字認識を行った結果、撮影画像内の文字情報を正常に認識できなかった場合に、現在位置を含む周辺地図情報を取得してその地図情報内の文字情報を地域辞書ｓｄに追加登録する辞書登録処理を行うようにしたが、これとは逆に現在位置を含む周辺地図情報を取得して辞書登録処理を行った後に、その辞書を用いて文字認識処理を開始するようにしてもよい。これによって地域辞書ｓｄを用いた再度の文字認識処理（図９のステップＡ２４）は不要となる。

上述した実施形態においては、文字認識を行った結果、撮影画像内の文字情報を正常に認識することができた認識部分からジャンルを特定し、周辺地図情報内の文字情報のうち、そのジャンルに属する文字情報を選択して地域辞書ｓｄに追加登録するようにしたが、これに限らず、例えば、ユーザ操作によりジャンルを任意に指定しておき、辞書登録処理時にその指定ジャンルに属する文字情報を選択して地域辞書ｓｄに追加登録するようにしてもよい。

上述した実施形態においては、現在位置から行先までの経路図をナビゲーション表示するようにしたが、経路図と共にその行先に関する詳細情報を表示したり、所要時間を表示したり、経路図以外の情報を案内表示したりするようにしてもよい。例えば、撮影画像内の文字情報が観光地名などであれば、その観光に関する情報として入場料、利用時間などの詳細情報を案内表示したり、飲食店などの店舗名であれば、その店舗に関する情報としてメニュー、込み具合、サービス内容などの詳細情報を案内表示したりするようにしてもよい。

上述した実施形態においては、文字認識用辞書１３ｃを一般辞書ｍｄと地域辞書ｓｄに分けるようにしたが、一般辞書ｍｄと地域辞書ｓｄを分けずに同じ辞書としてもよい。

上述した実施形態においては、地図情報サーバ装置３から周辺地図情報をその都度受信取得するようにしたが、撮像装置１側において地図情報が内部記憶されている場合やＳＤカードなどに外部記憶されている場合には、周辺地図情報をその記憶先から直接読み出し取得するようにしてもよい。

また、上述した実施形態においては、文字認識装置として、撮像装置に適用した場合を示したが、これに限らず、例えば、カメラ機能付きパーソナルコンピュータ・ＰＤＡ（個人向け携帯型情報通信機器）・音楽プレイヤーなどであってもよい。

また、上述した実施形態において示した“装置”や“部”とは、機能別に複数の筐体に分離されていてもよく、単一の筐体に限らない。また、上述したフローチャートに記述した各ステップは、時系列的な処理に限らず、複数のステップを並列的に処理したり、別個独立して処理したりするようにしてもよい。

以上、この発明の実施形態について説明したが、この発明は、これに限定されるものではなく、特許請求の範囲に記載された発明とその均等の範囲を含むものである。
以下、本願出願の特許請求の範囲に記載された発明を付記する。
（付記）
（請求項１）
請求項１に記載の発明は、
撮影画像内の文字情報と文字認識用辞書内の文字情報とを照合して文字認識を行う文字認識装置であって、
位置の指定に応じてその指定位置を含む地図情報を取得する地図取得手段と、
前記取得手段により取得された地図情報内の文字情報を前記文字認識用辞書に登録するための制御を行う登録制御手段と、
を備えたことを特徴とする文字認識装置である。
（請求項２）
請求項２に記載の発明は、請求項１に記載の文字認識装置において、
前記登録制御手段は、前記文字認識の結果、正常に認識することができなかった場合に、地図情報内の文字情報を前記文字認識用辞書に登録するための制御を行う、
ようにしたことを特徴とする文字認識装置である。
（請求項３）
請求項３に記載の発明は、請求項２に記載の文字認識装置において、
前記地図情報内の文字情報を前記文字認識用辞書に登録された後に、その文字認識用辞書を使用して再度の文字認識処理の実行を指示する再認識手段を更に備える、
ようにしたことを特徴とする文字認識装置である。
（請求項４）
請求項４に記載の発明は、請求項１〜請求項３のいずれかに記載の文字認識装置において、
前記取得手段により取得された地図情報内の文字情報の中から所定の文字情報を選択する選択手段を更に備え、
前記登録制御手段は、前記選択手段により選択された文字情報を前記文字認識用辞書に追加登録するための制御を行う、
ようにしたことを特徴とする文字認識装置である。
（請求項５）
請求項５に記載の発明は、請求項４に記載の文字認識装置において、
前記文字認識の結果、撮影画像内の文字情報のうち、正常に認識された部分からその部分が属するジャンルを特定するジャンル特定手段を更に備え、
前記選択手段は、前記取得手段により取得された各地図情報のうち、前記ジャンル特定手段によって特定されたジャンルに属する文字情報を選択する、
ようにしたことを特徴とする文字認識装置である。
（請求項６）
請求項６に記載の発明は、請求項１〜請求項５のいずれかに記載の文字認識装置において、
前記文字認識の結果、地図情報内の文字情報が前記文字認識用辞書内に記憶されているか否かを判別する判別手段を更に備え、
前記登録制御手段は、前記判別手段によって記憶されていないと判別された場合に、前記地図情報内の文字情報を前記文字認識用辞書に追加登録するための制御を行う、
ようにしたことを特徴とする文字認識装置である。
（請求項７）
請求項７に記載の発明は、請求項６に記載の文字認識装置において、
前記文字認識用辞書は、一般用の一般辞書と地域用の地域辞書を有し、
前記判別手段は、地図情報内の文字情報が前記一般辞書及び地域辞書に記憶されているか否かを判別する際に、地域別の複数の前記地域辞書のうち前記指定位置に関係する地域辞書を選択してその判別を行う、
ようにしたことを特徴とする文字認識装置である。
（請求項８）
請求項８に記載の発明は、請求項１〜請求項７のいずれかに記載の文字認識装置において、
現在位置を取得する位置取得手段を更に備え、
前記地図取得手段は、前記位置取得手段によって取得された現在位置を前記指定位置として、その現在位置を含む地図情報を取得する、
ようにしたことを特徴とする文字認識装置である。
（請求項９）
請求項９に記載の発明は、請求項１〜請求項７のいずれかに記載の文字認識装置において、
ユーザ操作により前記指定位置を入力指定する位置入力手段を更に備え、
前記地図取得手段は、前記位置入力手段によって入力された指定位置を含む地図情報を取得する、
ようにしたことを特徴とする文字認識装置である。
（請求項１０）
請求項１０に記載の発明は、請求項１〜請求項９のいずれかに記載の文字認識装置において、
撮影画像を解析してその撮影対象の種類を特定する撮影対象特定手段を更に備え、
前記地図取得手段は、前記撮影対象特定手段により特定された撮影対象の種類に応じた領域内の地図情報を取得する、
ようにしたことを特徴とする文字認識装置である。
（請求項１１）
請求項１１に記載の発明は、請求項１〜請求項１０のいずれかに記載の文字認識装置において、
前記地図取得手段は、文字認識の認識結果を行先として、この行先から前記指定位置までの経路を案内する地図情報を取得する、
ようにしたことを特徴とする文字認識装置である。
（請求項１２）
請求項１２に記載の発明は、請求項１１に記載の文字認識装置において、
前記地図取得手段は、前記指定位置と前記行先との距離に応じた縮尺の地図情報を取得する、
ようにしたことを特徴とする文字認識装置である。
（請求項１３）
請求項１３に記載の発明は、請求項１〜請求項１２のいずれかに記載の文字認識装置において、
前記登録制御手段は、前記地図情報内の文字情報を一つずつ指定しながら前記文字認識用辞書内の文字情報と照合した結果、前記指定文字情報が前記文字認識用辞書内に記憶されているか否かを判別し、その指定文字情報が記憶されていなければ、前記文字認識用辞書内に追加登録すると共にその重み情報としてその初期値を登録し、記憶されていれば、その文字情報に対応付けられている前記重み情報を更新する処理を行い、
前記撮影画像内の文字情報と文字認識用辞書内の文字情報とを照合する場合に、前記重み情報の値が大きい順に優先的に文字認識を行う、
ようにしたことを特徴とする文字認識装置である。
（請求項１４）
請求項１４に記載の発明は、
位置の指定に応じてその指定位置を含む地図情報を取得するステップと、
撮影画像内の文字情報と文字認識用辞書内の文字情報とを照合して文字認識を行う文字認識用の辞書に、前記取得された地図情報内の文字情報を登録するための制御を行うステップと、
を含むことを特徴とする文字認識処理方法である。
（請求項１５）
請求項１５に記載の発明は、
コンピュータに対して、
撮影画像内の文字情報と文字認識用辞書内の文字情報とを照合して文字認識を行う機能と、
位置の指定に応じてその指定位置を含む地図情報を取得する機能と、
前記取得された地図情報内の文字情報を文字認識用辞書に登録するための制御を行う機能と、
を実現させるためのプログラムである。

１ 撮像装置
２ 公衆通信網
３ 地図情報サーバ装置
４ ＧＰＳ衛星
５ 地図データベース
１１ 制御部
１３ 記憶部
１３ａ プログラムメモリ
１３ｃ 文字認識用辞書
１４ 操作部
１５ 撮像部
１６ 表示部
１７ 無線通信部
１８ ＧＰＳ測位部
ｍｄ 一般辞書
ｓｄ 地域辞書

Claims (15)

1. 撮影画像内の文字情報と文字認識用辞書内の文字情報とを照合して文字認識を行う文字認識装置であって、
   位置の指定に応じてその指定位置を含む地図情報を取得する地図取得手段と、
   前記取得手段により取得された地図情報内の文字情報を前記文字認識用辞書に登録するための制御を行う登録制御手段と、
   を備えたことを特徴とする文字認識装置。
2. 前記登録制御手段は、前記文字認識の結果、正常に認識することができなかった場合に、地図情報内の文字情報を前記文字認識用辞書に登録するための制御を行う、
   ようにしたことを特徴とする請求項１に記載の文字認識装置。
3. 前記地図情報内の文字情報を前記文字認識用辞書に登録された後に、その文字認識用辞書を使用して再度の文字認識処理の実行を指示する再認識手段を更に備える、
   ようにしたことを特徴とする請求項２に記載の文字認識装置。
4. 前記取得手段により取得された地図情報内の文字情報の中から所定の文字情報を選択する選択手段を更に備え、
   前記登録制御手段は、前記選択手段により選択された文字情報を前記文字認識用辞書に追加登録するための制御を行う、
   ようにしたことを特徴とする請求項１〜請求項３のいずれかに記載の文字認識装置。
5. 前記文字認識の結果、撮影画像内の文字情報のうち、正常に認識された部分からその部分が属するジャンルを特定するジャンル特定手段を更に備え、
   前記選択手段は、前記取得手段により取得された各地図情報のうち、前記ジャンル特定手段によって特定されたジャンルに属する文字情報を選択する、
   ようにしたことを特徴とする請求項４に記載の文字認識装置。
6. 前記文字認識の結果、地図情報内の文字情報が前記文字認識用辞書内に記憶されているか否かを判別する判別手段を更に備え、
   前記登録制御手段は、前記判別手段によって記憶されていないと判別された場合に、前記地図情報内の文字情報を前記文字認識用辞書に追加登録するための制御を行う、
   ようにしたことを特徴とする請求項１〜請求項５のいずれかに記載の文字認識装置。
7. 前記文字認識用辞書は、一般用の一般辞書と地域用の地域辞書を有し、
   前記判別手段は、地図情報内の文字情報が前記一般辞書及び地域辞書に記憶されているか否かを判別する際に、地域別の複数の前記地域辞書のうち前記指定位置に関係する地域辞書を選択してその判別を行う、
   ようにしたことを特徴とする請求項６に記載の文字認識装置。
8. 現在位置を取得する位置取得手段を更に備え、
   前記地図取得手段は、前記位置取得手段によって取得された現在位置を前記指定位置として、その現在位置を含む地図情報を取得する、
   ようにしたことを特徴とする請求項１〜請求項７のいずれかに記載の文字認識装置。
9. ユーザ操作により前記指定位置を入力指定する位置入力手段を更に備え、
   前記地図取得手段は、前記位置入力手段によって入力された指定位置を含む地図情報を取得する、
   ようにしたことを特徴とする請求項１〜請求項７のいずれかに記載の文字認識装置。
10. 撮影画像を解析してその撮影対象の種類を特定する撮影対象特定手段を更に備え、
    前記地図取得手段は、前記撮影対象特定手段により特定された撮影対象の種類に応じた領域内の地図情報を取得する、
    ようにしたことを特徴とする請求項１〜請求項９のいずれかに記載の文字認識装置。
11. 前記地図取得手段は、文字認識の認識結果を行先として、この行先から前記指定位置までの経路を案内する地図情報を取得する、
    ようにしたことを特徴とする請求項１〜請求項１０のいずれかに記載の文字認識装置。
12. 前記地図取得手段は、前記指定位置と前記行先との距離に応じた縮尺の地図情報を取得する、
    ようにしたことを特徴とする請求項１１に記載の文字認識装置。
13. 前記登録制御手段は、前記地図情報内の文字情報を一つずつ指定しながら前記文字認識用辞書内の文字情報と照合した結果、前記指定文字情報が前記文字認識用辞書内に記憶されているか否かを判別し、その指定文字情報が記憶されていなければ、前記文字認識用辞書内に追加登録すると共にその重み情報としてその初期値を登録し、記憶されていれば、その文字情報に対応付けられている前記重み情報を更新する処理を行い、
    前記撮影画像内の文字情報と文字認識用辞書内の文字情報とを照合する場合に、前記重み情報の値が大きい順に優先的に文字認識を行う、
    ようにしたことを特徴とする請求項１〜請求項１２のいずれかに記載の文字認識装置。
14. 位置の指定に応じてその指定位置を含む地図情報を取得するステップと、
    撮影画像内の文字情報と文字認識用辞書内の文字情報とを照合して文字認識を行う文字認識用の辞書に、前記取得された地図情報内の文字情報を登録するための制御を行うステップと、
    を含むことを特徴とする文字認識処理方法。
15. コンピュータに対して、
    撮影画像内の文字情報と文字認識用辞書内の文字情報とを照合して文字認識を行う機能と、
    位置の指定に応じてその指定位置を含む地図情報を取得する機能と、
    前記取得された地図情報内の文字情報を文字認識用辞書に登録するための制御を行う機能と、
    を実現させるためのプログラム。

Images