JP2014063318A - 文字認識装置、文字認識装置の制御方法、制御プログラム、および制御プログラムを記録したコンピュータ読み取り可能な記録媒体 - Google Patents

Abstract

【課題】手軽な操作で文字認識および所望の処理を実行する。
【解決手段】文字認識装置（１）は、指および文字を含む画像を取得するカメラ（４）と、取得した画像から認識した指のジェスチャーが複数のジェスチャーのいずれと一致しているかを判定するジェスチャー判別部（１０）と、指によって示される位置の文字を認識する文字認識処理部（１３）とを備え、当該ジェスチャーと対応付けられた処理を認識した文字に対して実行する。
【選択図】図１

Description

本発明は、画像に含まれる文字を認識する文字認識装置等に関する。

文字認識装置は、光学式文字認識などの技術を用いて、画像に含まれる文字を文字認識する。文字認識装置がカメラを搭載することにより、ユーザは、外出中に見かけた店舗の看板、書類などに記載された文字を該カメラを用いて撮像し、該文字を文字認識させることができる。

しかしながら、この場合、ユーザは、撮像された画像における、どの領域が文字認識の対象となる文字領域に該当するのかを文字認識装置に対して指定する必要がある。

文字領域を指定する機能を搭載した文字認識装置としては、例えば、撮像した画像を表示画面に表示し、該画像の一部の領域をマーカーで囲む、塗りつぶすなどのユーザからの操作を操作部にて受け付けることにより、上記文字領域を指定する機能を搭載した文字認識装置が公開されている。

また、カメラが備えているモニター画面に表示される枠内に、文字認識の対象となる文字を含むようにしてユーザが撮像することにより、上記文字領域を指定する機能を搭載した文字認識装置が公開されている。

また、撮像された画像に対して、ユーザが何も指定せずに、文字認識装置が自動的に上記文字領域を抽出する機能を搭載した文字認識装置が公開されている。

また、文字領域を指定する機能を搭載した文字認識装置として、下記の特許文献１〜３が開示されている。

特許文献１には、ＣＣＤカメラから撮像画像を入力し、撮像画像を表示器に表示し、タッチパネルから入力ペンにより画像範囲を指定させ、指定された範囲の表示画像から文字をパターン認識処理する端末装置が開示されている。

特許文献２には、カメラによって取り込まれた文書の画像、および文書の領域を指し示しているカメラ視野内の指の画像を処理して、該画像から、該文書中の指し示されている領域で参照されているウェブページを判別する装置が開示されている。

特許文献３には、月を意味する文字列を文字認識することで紙カレンダーの月を認識し、認識した月に対応する予定データを取得し、指領域の先端部で直線が遮られている日付枠を検出することで、予定データの表示形式及び表示期間を決定するカレンダー装置が開示されている。

特開平１１−２８２８３６号公報（１９９９年１０月１５日公開） 特表２００５−５０７５２６号公報（２００５年３月１７日公表） 特開２０１２−４３３４８号公報（２０１２年３月１日公開）

特許文献１に係る文字認識装置は、カメラによって画像が撮像された後、文字認識の対象となる文字領域をユーザが入力ペンにより指定する必要がある。したがって、文字認識を実行するまでの手順が煩雑になるという問題がある。

特許文献２、３に係る文字認識装置は、カメラの被写体にユーザの指が置かれ、該指によって指定される範囲を上記文字領域として取得するため、撮像後にユーザが上記文字領域を指定するための操作を省略することができる。しかしながら、特許文献２、３に係る発明は、文字認識された文字を利用して行う処理の内容が予め決まっている。したがって、ユーザが、文字認識された文字を利用して、上記処理以外の処理を実行させたい場合、不都合である。

また、仮に、文字認識された文字を利用する処理の種類を選択することができる機能が文字認識装置に搭載されていたとしても、ユーザは、上記文字領域を指定する操作と、上記処理の種類を指定する操作の２つの操作を続けて行う必要がある。したがって、文字認識の後に続けて、文字認識された文字を利用した作業を行いたい場合、手順が煩雑になるという問題がある。

本発明は、上記の問題点に鑑みてなされたものであり、その目的は、手軽な操作で、文字認識およびユーザの所望の処理を実行することができる文字認識装置等を提供することにある。

上記の課題を解決するために、本発明の一態様に係る文字認識装置は、画像に含まれる文字を認識する文字認識装置であって、指および文字を含む画像を取得する画像取得手段と、上記画像取得手段が取得した画像から、指部分と、当該指部分と隣接する文字部分との位置情報からジェスチャーを認識するジェスチャー認識手段と、上記ジェスチャー認識手段が認識した指のジェスチャーが、予め記憶している複数のジェスチャーのいずれと一致しているかを判定する指ジェスチャー判定手段と、上記ジェスチャー認識手段が認識した指によって示される位置の文字または一連の文字群を認識する文字認識手段と、上記指ジェスチャー判定手段が一致していると判定したジェスチャーと対応付けられた処理を、上記文字認識手段によって認識された文字または一連の文字群に対し実行する処理実行手段と、を備えている。

また、本発明の一態様に係る文字認識装置の制御方法は、画像に含まれる文字を認識する文字認識装置の制御方法であって、指および文字を含む画像を取得する画像取得ステップと、上記画像取得ステップが取得した画像から、指部分と、当該指部分と隣接する文字部分との位置情報からジェスチャーを認識するジェスチャー認識ステップと、上記ジェスチャー認識ステップが認識した指のジェスチャーが、予め記憶している複数のジェスチャーのいずれと一致しているかを判定する指ジェスチャー判定ステップと、上記ジェスチャー認識ステップが認識した指によって示される位置の文字または一連の文字群を認識する文字認識ステップと、上記指ジェスチャー判定ステップが一致していると判定したジェスチャーと対応付けられた処理を、上記文字認識ステップによって認識された文字または一連の文字群に対し実行する処理実行ステップと、を含む。

なお、上記ジェスチャー認識手段が認識する指部分、上記ジェスチャー認識ステップで認識する指部分は、指の形状であってもよいし、指の動きであってもよい。

本発明の一態様によれば、ユーザは、ジェスチャーで所望の文字領域を示すという手軽かつ直感的な操作のみで、文字認識および認識した文字に対する所望の処理を実行させることができるという効果を奏する。

本発明の実施形態に係る文字認識装置の構成を示す概略ブロック図である。 上記文字認識装置に登録されているジェスチャーの一例を示す外観図であり、（ａ）はジェスチャーが画面上部から指し示す場合を示す図であり、（ｂ）はジェスチャーが画面下部から指し示す場合を示す図であり、（ｃ）はジェスチャーが領域を指で挟む場合を示す図である。 上記文字認識装置に登録されているジェスチャーの一例を示す図である。 上記ジェスチャーの種類と上記文字認識装置が実行する処理との対応関係を示すテーブルである。 上記文字認識装置における処理の流れの一例を示したフローチャートである。

本発明の一実施形態について、図１〜図５に基づいて以下に詳細に説明する。

（文字認識装置１の構成）
図１は、本実施形態に係る文字認識装置１の構成を示す概略ブロック図である。文字認識装置１は、図１に示すように、制御部２、記憶部３、カメラ（画像取得手段）４、通信部（通信手段）５、表示部６、および、操作部７を備えている。

文字認識装置１は、撮像によって取得した画像が含む文字を文字認識する機能を備えた情報処理装置である。文字認識装置１は、パーソナルコンピュータ、携帯電話、スマートフォン、タブレットＰＣ、ゲーム機器などの情報処理装置であってもよい。

制御部２は、文字認識装置１の全体を統括して制御するものであり、例えばＣＰＵ（Central Processing Unit）等で構成することができる。制御部２は、記憶部３、カメラ４、通信部５、および、表示部６のそれぞれを制御する。制御部２の詳細な構成については後述する。

記憶部３は、制御部２が実行する（１）各部の制御プログラム、（２）ＯＳ（Operation System）プログラム、（３）アプリケーションプログラム、および、（４）これらプログラムを実行するときに読み出す各種データを記憶するものである。記憶部３は、フラッシュメモリなどの不揮発性の記憶装置によって構成される。また、記憶部３は、制御部２が上述の各種プログラムを実行する過程でデータを一時的に保持するための作業領域として、ＲＡＭ（Random Access Memory）などの揮発性の記憶装置によって構成される領域を有している。なお、記憶部３は、必ずしも文字認識装置１内に備えられる必要はなく、文字認識装置１に着脱可能な外部記憶装置、または、通信部５を介して通信可能なネットワーク上の外部記憶装置として、文字認識装置１に接続される構成であってもよい。

そして、記憶部３は、特に、指画像パターン、指画像ジェスチャー対応テーブル、辞書データベース、メモ（文字）などを記憶する。

カメラ４は、操作部７にて受け付けるユーザの操作に基づき、文字、背景、人物などの物体を被写体として撮像する、通常のカメラが有する機能を備えている。特に、カメラ４は、指および文字を含む対象を被写体として撮像する。そして、カメラ４は、上記撮像によって取得した画像を制御部２に出力する。また、カメラ４は、複数の画像を定期的に撮像する機能を備えていてもよい。また、カメラ４は、映像を撮像する機能を備えていてもよい。この場合、操作部７にて受け付けるユーザの操作に従い、カメラ４は、複数の画像、または、映像を撮像する。なお、カメラ４は、背景、人物などを撮像する場合と、文字認識を目的として文字を撮像するための撮像の場合とで、処理の一部を切り替える機能を備えていてもよい。

また、カメラ４は、取得した映像をリアルタイムに制御部２に出力してもよい。

通信部５は、文字認識装置１が通信ネットワークを介してインターネット通信を行うための通信インターフェースである。文字認識装置１では、通信部５を介して、文字認識された文字をキーとして、インターネットから情報を検索するようになっている。

表示部６は、制御部２の指示に基づいて画像を表示する表示装置である。ＬＣ（Liquid Crystal）表示パネル、ＥＬ（Electro Luminescence）表示パネル等を表示部６として適用することができる。なお、図示していないが、制御部２または表示部６の内部には、ＶＤＰ（Video Display Processor）およびＶＲＡＭ（Video RAM）等の画像を表示するために必要な構成が適宜設けられている。また、表示部６は、画像表示と操作入力との両機能を備えるタッチパネルであってもよい。文字認識装置１では、表示部６は、文字認識された文字を利用した処理を実行した結果を表示するようになっている。また、表示部６は、カメラ４のモニター画面を兼ねる構成である。

操作部７は、文字認識装置１のユーザの操作を受け付けるものであり、典型的には、物理キー、キーボード、タッチパネルなどである。なお、表示部６がタッチパネルである場合、表示部６が操作部７の機能を兼ねる構成である。

（制御部２の詳細な構成）
制御部２の構成について詳細に説明する。制御部２は、ジェスチャー判別部（ジェスチャー認識手段、指ジェスチャー判定手段）１０、画像結合部（結合手段）１１、文字切出部（文字認識手段）１２、文字認識処理部（文字認識手段）１３、キーワード検索部（処理実行手段）１４、辞書検索部（処理実行手段）１５、および、記憶処理部（処理実行手段）１６を備えている。

ジェスチャー判別部１０は、カメラ４によって指および文字を含む対象が被写体として撮像されたとき、カメラ４から、該物体が被写体として写っている画像を取得し、該画像から、該指が示しているジェスチャーが、予め文字認識装置１に登録されたジェスチャーであるか否かを決定する。

具体的には、ジェスチャー判別部１０は、上記画像から指の輪郭に沿った領域である指領域を画像として切り出し、該指領域が示している指のジェスチャーをパターン認識などの技術を用いて判別する。

例えば、記憶部３は、指のジェスチャーの外観を示す指画像パターンを記憶している。そして、記憶部３は、上記指画像パターンと、上記指画像パターンに対応する指のジェスチャーの種類とを対応付けた指画像ジェスチャー対応テーブルを記憶している。このとき、文字認識処理部１３は、切り出された上記指領域の画像と最も類似度が高い画像パターンを上記指画像パターンから検索する。そして、文字認識処理部１３は、上記指画像ジェスチャー対応テーブルを参照し、最も類似度が高いと判定された画像パターンに対応するジェスチャーを上記指領域が示す指のジェスチャーの候補である判定する。そして、ジェスチャー判別部１０は、上記候補の類似度が所定の値を下回っている場合、上記候補が予め文字認識装置１に登録されていないジェスチャーであると決定する。一方、上記候補の類似度が所定の値以上である場合、上記候補が予め文字認識装置１に登録されているジェスチャーであると決定する。

なお、記憶部３は、上記指領域と文字領域との相対的な位置を記憶部３に記憶してもよい。この場合、ジェスチャー判別部１０は、上記指のジェスチャーと、上記指および隣接する文字領域の相対的な位置とから、ジェスチャーを判定する。上記の構成によれば、指のみによる判定、または、文字領域のみによる判定よりも、判定精度を高めることができる。

本実施形態において、予め文字認識装置１に登録されているジェスチャーは、ジェスチャーＡ（第２ジェスチャー）、ジェスチャーＢ（第２ジェスチャー）、ジェスチャーＣ（第３ジェスチャー）、ジェスチャーＤ（第１ジェスチャー）の４種類である。ジェスチャーＡ〜Ｄの外観などの詳細については後述する。なお、本実施形態では登録されているジェスチャーは４つとして説明するが、ジェスチャーの数は４つに限られるものではなく、いくつであってもよい。

なお、ジェスチャー判別部１０がジェスチャーの種類を判別する方法は、上述のようなパターン認識の方法に限定されない。

また、ジェスチャー判別部１０がジェスチャーの種類を判別するための画像は、カメラ４によって撮像された画像に限られず、ウェブページから取得した画像などであってもよい。

また、ジェスチャー判別部１０が備える機能をカメラ４が備えていてもよい。この場合、カメラ４は、上記指がしばらく静止している状態をトリガとして、指および文字を含む対象を被写体として撮像する機能をさらに備えていてもよい。

画像結合部１１は、ジェスチャー判別部１０によって予め文字認識装置１に登録されたジェスチャーであると決定されたジェスチャーが、文字領域を囲むジェスチャーであった場合、カメラ４によって撮像された複数の画像または映像をカメラ４から取得し、該画像または映像を結合する。ここで、文字領域を囲む動作を開始する上記ジェスチャーは、上記ジェスチャーＤに対応する。画像結合部１１が実行する具体的な処理の内容については、後述する。

文字切出部１２は、ジェスチャー判別部１０によって、上記指領域が示すジェスチャーが予め文字認識装置１に登録されたジェスチャーであると決定された場合、上記ジェスチャーの種類に応じて、異なる方法で、上記画像から一部の領域を切り出す。文字切出部１２が実行する上記切り出し処理の詳細については、後述する。

文字認識処理部１３は、文字切出部１２が取得した文字領域を含む画像に対し、文字認識処理を実行する。そして、文字認識処理部１３は、文字認識された文字または一連の文字群を文字コードとして取得する。上記一連の文字群は上記文字領域が含む英単語などである。文字認識処理部１３は、文字認識の方法として、光学式文字認識（以下、ＯＣＲ（Optical Character Recognition）と称する）などの技術を用いる。

キーワード検索部１４は、ジェスチャー判別部１０によって予め文字認識装置１に登録されたジェスチャーであると決定されたジェスチャーが、指で上部から文字を指図するジェスチャーであった場合、上記文字コードに対応する文字または一連の文字群をキーとして、通信部５を介し、インターネットから情報を検索する（以下、キーワード検索と称する）。ここで、指で上部から文字を指図する上記ジェスチャーは、上記ジェスチャーＡに対応する。そして、キーワード検索部１４は、得られたキーワード検索の結果を表示部６に表示する。

辞書検索部１５は、ジェスチャー判別部１０によって予め文字認識装置１に登録されたジェスチャーであると決定されたジェスチャーが、指で下部から文字を指図するジェスチャーであった場合、記憶部３に記憶されており、用語と用語の説明とを対応付けて作成された辞書データベースから、上記文字コードに対応する文字または一連の文字群をキーとして用語を検索する（以下、辞書検索と称する）。ここで、指で下部から文字を指図する上記ジェスチャーは、上記ジェスチャーＢに対応する。そして、辞書検索部１５は、得られた辞書検索の結果を表示部６に表示する。なお、記憶部３に格納されている辞書データベースの種類は、特に限定されず、国語辞典、英和辞典、和英辞典、百科事典、または、技術用語辞典などの用語を含むデータベースであってもよい。

記憶処理部１６は、ジェスチャー判別部１０によって予め文字認識装置１に登録されたジェスチャーであると決定されたジェスチャーが、２本の指で文字を挟むジェスチャーであった場合、または、上記ジェスチャーＤであった場合、上記文字コードに対応する文字または一連の文字群をメモとして記憶部３に記憶する（以下、メモ記録と称する）。ここで、２本の指で文字を挟む上記ジェスチャーは、上記ジェスチャーＣに対応する。なお、記憶処理部１６は、操作部７にて受け付けるユーザの操作に基づき、ユーザが指定する任意のタイミングで、上記メモの内容を記憶部３から読み出し、表示部６に表示してもよい。

（文字切出部１２）
文字切出部１２が実行する上記切り出し処理の詳細について説明する。

図２の（ａ）〜（ｃ）は、それぞれ、文字認識装置１に登録されているジェスチャーの一例を示す外観図である。図４の（ａ）〜（ｃ）に示す各ジェスチャーは、文字認識装置１の表示部６に表示されている。

図２の（ａ）は、指で上部から文字を指図するジェスチャーを示したものであり、上記ジェスチャーＡに対応するものである。この場合、文字切出部１２は、上記指の先端の直下にある文字または一連の文字群を切り出すことにより生成した画像を、文字認識の対象となる文字領域として、文字認識処理部１３に出力する。

図２の（ｂ）は、指で下部から文字を指図するジェスチャーを示したものであり、上記ジェスチャーＢに対応するものである。この場合、文字切出部１２は、上記指の先端の直上にある文字または一連の文字群を切り出すことにより生成した画像を、文字認識の対象となる文字領域として、文字認識処理部１３に出力する。

図２の（ｃ）は、２本の指で文字を挟むジェスチャーを示したものであり、上記ジェスチャーＣに対応するものである。この場合、文字切出部１２は、２本の指の先端に挟まれた部分にある文字または一連の文字群を切り出すことにより生成した画像を、文字認識の対象となる文字領域として、文字認識処理部１３に出力する。

（画像結合部１１）
画像結合部１１が実行する具体的な処理の内容について説明する。

図３は、文字認識装置１に登録されているジェスチャーの一例を示す外観図であり、ユーザが、指、または、指およびカメラ４を移動させることにより、文字領域を囲むジェスチャーを示したものである。

まず、領域指定により文字領域の取り込みを行うとき、ユーザは、カメラ４に対して領域を指で囲む動作を開始するジェスチャーを提示する。このとき、ジェスチャー判別部１０は、上記ジェスチャーが、予め文字認識装置１に登録されたジェスチャーＤの一部であると判定する。

次に、ユーザは、図３に示すように、新聞紙５０の上でカメラ４を移動させながら指を移動させ、文字領域を囲むことにより、文字認識の対象となる文字領域を指定する。カメラ４は、上記移動の際、上記文字領域の一部を定期的に画像として撮像、または、映像として撮像することにより、上記文字領域の一部をそれぞれ含む複数の画像または映像を取得する。そして、ユーザは、領域を指で囲む動作を終了することを示すジェスチャーをカメラ４に対して提示する。このとき、カメラ４は、上記画像または映像の取得を終了する。

一方、画像結合部１１は、上記複数の画像または映像を結合する。具体的には、画像結合部１１は、上記複数の画像、または、上記映像をサンプリングすることにより取得した複数の画像の間で、重複した領域をマッチングさせ、マッチングした領域を基に、該複数の画像を繋ぎ合わせる。上記領域を繋ぎ合わせる際に、画像結合部１１は、上記ジェスチャーＤを含む画像を始点に、領域指定が終了したことを示す上記ジェスチャーを含む画像を終点にして、それぞれの画像を繋ぎ合わせる。そして、画像結合部１１は、上記複数の画像または映像を結合することによって生成した１枚の画像を文字切出部１２に出力する。

（変形例）
上記の構成では、文字認識装置１は、カメラ４によって指および文字を含む対象が被写体として撮像されたとき、カメラ４から該物体が被写体として写っている画像を取得し、該画像からジェスチャーを判別する。したがって、制御部２が備える各ブロックが指のジェスチャーを判別するためには、予め、カメラ４にて画像または映像が撮像されている必要があった。

そこで、カメラ４が写している映像をリアルタイムに制御部２に出力し、制御部２は、入力された映像を連続的に判別するように構成してもよい。

上記の構成によれば、例えば、カメラ４に写しながら文字に指をかざすと同時に、リアルタイムで、辞書検索部１５にて翻訳された単語を表示させることができる。

また、上記の構成によれば、細かい指の動きのパターン（指の上下往復、左右往復など）をジェスチャーの種類として判断できるようになる。例えば、上記の領域を指で囲む動作を開始するジェスチャー、上記の領域を指で囲む動作を終了することを示すジェスチャーは、特別な指の形状だけでなく、細かい指の動き（紙面等を人差指で叩く動作など）で定義することができ、ジェスチャー判別部１０によって判定することができる。また、指の形状は変わらないが、その周りの文字領域の位置が相対的に変化することをもって、囲む動作中、という判定をジェスチャー判別部１０が行うことができる。

さらに、上記の構成によれば、カメラ４がリアルタイムで指を認識することにより、操作部７にて受け付けるユーザの操作の一部を代替することができる。

（ジェスチャーと処理との対応関係）
図４は、文字認識装置１に登録されているジェスチャーの種類と、該ジェスチャーに応じて、文字認識装置１が実行する処理との対応関係を示すテーブルである。

図４に示すように、上部から文字を指図するジェスチャー（ジェスチャーＡに対応）がカメラ４によって撮像された場合、キーワード検索部１４は、キーワード検索を実行する。また、下部から文字を指図するジェスチャー（ジェスチャーＢに対応）がカメラ４によって撮像された場合、辞書検索部１５は、辞書検索を実行する。また、２本の指で文字を挟むジェスチャー（ジェスチャーＣに対応）、または、領域を指で囲むジェスチャー（ジェスチャーＤに対応）がカメラ４によって撮像された場合、記憶処理部１６は、文字または一連の文字群をメモに記録する。

なお、文字認識装置１は、文字をメモとして記録する場合、例えば、新聞の切り抜きのように、画像レイアウトを保持してもよいし、文字認識後のテキスト文字のみを記録してもよい。また、文字認識装置１は、２本の指で文字を挟むジェスチャー、または、領域を指で囲むジェスチャーを認識した後に、特別な指のパターンを判別し、その判別結果に基づいて、上記のような異なる記録方法を選択することができるように構成されていてもよい。

このように、文字認識装置１は、ジェスチャー判別手段によって判別された上記ジェスチャーの種類に応じて、文字認識処理部１３によって文字認識された文字を利用した、異なる処理を実行するようになっている。

なお、本実施形態において、文字認識装置１に予め登録されているジェスチャーは、上記ジェスチャーＡ〜Ｄであるが、文字認識装置１に登録可能なジェスチャーの種類は、上記ジェスチャーＡ〜Ｄに限定されない。

また、文字認識装置１が実行する処理は、上述の各処理に限定されない。

また、上記ジェスチャーの種類と、該ジェスチャーに応じて文字認識装置１が実行する処理との対応関係は、一例を示したものであり、本発明の適用範囲はこれらの対応関係に限定されない。

（処理の流れ）
図５は、文字認識装置１における処理の流れの一例を示したフローチャートである。

まず、カメラ４によって指および文字を含む対象が被写体として撮像される（Ｓ１）。このとき、ジェスチャー判別部１０は上記指および文字を含む対象が被写体として写っている画像を取得する。

次に、ジェスチャー判別部１０は、上記画像から指の輪郭に沿った領域である指領域を切り出す（Ｓ２）。

そして、ジェスチャー判別部１０は、上記指領域が示すジェスチャーが、予め文字認識装置１に登録されたジェスチャーであるか否かを判定する（Ｓ３）。すなわち、上記指領域が示すジェスチャーが、ジェスチャーＡ、ジェスチャーＢ、ジェスチャーＣ、ジェスチャーＤの４種類のうち、何れか１つに該当するか、もしくは、上記４種類のジェスチャーの何れにも該当しないかを判定する。

上記ジェスチャーが、予め文字認識装置１に登録されたジェスチャーであった場合（Ｓ３でＹｅｓ）、すなわち、上記指領域が示すジェスチャーが、上記４種類のジェスチャーの何れか１つに該当する場合、処理はステップＳ４に進む。

一方、上記ジェスチャーが、予め文字認識装置１に登録されていなかった場合（Ｓ３でＮｏ）、すなわち、上記指領域が示すジェスチャーが、上記４種類のジェスチャーの何れにも該当しない場合、処理はステップＳ１に戻る。

そして、画像結合部１１は、ジェスチャー判別部１０によって判別されたジェスチャーが、文字領域を囲むジェスチャー（すなわち、ジェスチャーＤ）であるか否かを判定する（Ｓ４）。

上記ジェスチャーが、文字領域を囲むジェスチャーであった場合（Ｓ４でＹｅｓ）、処理はステップＳ５に進む。

一方、上記ジェスチャーが、文字領域を囲むジェスチャーでなかった場合（Ｓ４でＮｏ）、処理はステップＳ６に進む。

そして、画像結合部１１は、撮像された複数の画像または映像をカメラ４から取得し、該画像または映像を結合する（Ｓ５）。

そして、文字切出部１２は、ジェスチャー判別部１０によって判別されたジェスチャーの種類に応じて、異なる方法で、上記画像から一部の領域を切り出す（Ｓ６）。例えば、上記指領域が示すジェスチャーがジェスチャーＡであった場合、文字切出部１２は、画像に含まれる指の先端の直下にある文字または一連の文字群を文字領域として切り出す。

そして、文字認識処理部１３は、文字切出部１２によって切り出された文字領域に対し、文字認識を実行する（Ｓ７）。そして、文字認識処理部１３は、文字認識された文字または一連の文字群を文字コードとして取得する。

続けて、ジェスチャー判別部１０は、判別したジェスチャーの種類に応じて、上記文字コードを利用する処理を選択する（Ｓ８）。

具体的には、ジェスチャー判別部１０によって判別されたジェスチャーが、指で上部から文字を指図するものであった場合（Ｓ８でジェスチャーＡ）、ジェスチャー判別部１０は、キーワード検索部１４に対し、キーワード検索の実行を指示する。

そして、キーワード検索部１４は、ジェスチャー判別部１０からの上記指示をトリガとして、上記文字コードに対応する文字または一連の文字群を用いて、キーワード検索を実行する（Ｓ９）。

また、ジェスチャー判別部１０によって判別されたジェスチャーが、指で下部から文字を指図するものであった場合（Ｓ８でジェスチャーＢ）、ジェスチャー判別部１０は、辞書検索部１５に対し、辞書検索の実行を指示する。

そして、辞書検索部１５は、ジェスチャー判別部１０からの上記指示をトリガとして、上記文字コードに対応する文字または一連の文字群および記憶部３に記憶されている辞書データベースを用いて、単語検索を実行する（Ｓ１０）。

また、ジェスチャー判別部１０によって判別されたジェスチャーが、２本の指で文字を挟むものであった場合（Ｓ８でジェスチャーＣ）、または、文字領域を指で囲むものであった場合（Ｓ８でジェスチャーＤ）、ジェスチャー判別部１０は、記憶処理部１６に対し、メモ記録の実行を指示する。

そして、記憶処理部１６は、ジェスチャー判別部１０からの上記指示をトリガとして、上記文字コードに対応する文字または一連の文字群をメモとして記憶部３に格納する（Ｓ１１）。

（まとめ）
本発明の一態様に係る文字認識装置は、画像に含まれる文字を認識する文字認識装置であって、指および文字を含む画像を取得する画像取得手段（カメラ４）と、上記画像取得手段が取得した画像から、指部分と、当該指部分と隣接する文字部分との位置情報からジェスチャーを認識するジェスチャー認識手段（ジェスチャー判別部１０）と、上記ジェスチャー認識手段が認識した指のジェスチャーが、予め記憶している複数のジェスチャーのいずれと一致しているかを判定する指ジェスチャー判定手段（ジェスチャー判別部１０）と、上記ジェスチャー認識手段が認識した指によって示される位置の文字または一連の文字群を認識する文字認識手段（文字認識処理部１３）と、上記指ジェスチャー判定手段が一致していると判定したジェスチャーと対応付けられた処理を、上記文字認識手段によって認識された文字または一連の文字群に対し実行する処理実行手段（キーワード検索部１４、辞書検索部１５、記憶処理部１６）と、を備えている。

また、本発明の一態様に係る文字認識装置の制御方法は、画像に含まれる文字を認識する文字認識装置の制御方法であって、指および文字を含む画像を取得する画像取得ステップ（Ｓ１）と、
上記画像取得ステップが取得した画像から、指部分と、当該指部分と隣接する文字部分との位置情報からジェスチャーを認識するジェスチャー認識ステップ（Ｓ２、Ｓ３）と、上記ジェスチャー認識ステップが認識した指のジェスチャーが、予め記憶している複数のジェスチャーのいずれと一致しているかを判定する指ジェスチャー判定ステップ（Ｓ３、Ｓ４）と、上記ジェスチャー認識ステップが認識した指によって示される位置の文字または一連の文字群を認識する文字認識ステップ（Ｓ７）と、上記指ジェスチャー判定ステップが一致していると判定したジェスチャーと対応付けられた処理を、上記文字認識ステップによって認識された文字または一連の文字群に対し実行する処理実行ステップ（Ｓ９、Ｓ１０、Ｓ１１）と、を含む。

なお、上記ジェスチャー認識手段が認識する指部分、上記ジェスチャー認識ステップで認識する指部分は、指の形状であってもよいし、指の動きであってもよい。

上記の構成によれば、上記文字認識装置は、指および文字を含む画像において、指によって示される位置の文字（または一連の文字群）を認識し、指のジェスチャーと対応付けられた処理を、認識した文字（または一連の文字群）に対して実行する。ここで、一連の文字群とは、例えば英語の文章における英単語等である。

これにより、上記文字認識装置は、指のジェスチャーのみによって所望の文字を認識し、認識した文字に対し所望の処理を実行することができる。

よって、ユーザは、ジェスチャーで所望の文字領域を示すという手軽かつ直感的な操作のみで、文字認識および認識した文字に対する所望の処理を連続的に実行させることができるという効果を奏する。

さらに、上記画像取得手段は互いの画像の一部に共通部分がある複数の画像を取得し、上記文字認識装置は、上記複数の画像のそれぞれに含まれる指のジェスチャーが、上記複数のジェスチャーのうちの１つである第１ジェスチャー（ジェスチャーＤ）と一致していると上記指ジェスチャー判定手段が判定した場合、上記共通部分を重ね合わせることにより上記複数の画像を結合する結合手段（画像結合部１１）を備えていてもよい。

上記の構成によれば、上記文字認識装置は、互いの画像の一部に共通部分がある複数の画像を取得し、上記複数の画像のそれぞれに含まれる指のジェスチャーが、上記複数のジェスチャーのうちの１つであった場合、上記共通部分を重ね合わせることにより上記複数の画像を結合する。

よって、ユーザは、一度の撮像では撮像範囲に収まらないような撮像対象についても、容易に文字認識の対象範囲を設定することができるという効果を奏する。

さらに、上記文字認識装置は、通信ネットワークを介して外部の機器と通信する通信手段（通信部５）を備え、上記処理実行手段（キーワード検索部１４）は、上記ジェスチャー認識手段が認識した指のジェスチャーが、上記複数のジェスチャーのうちの１つである第２ジェスチャー（ジェスチャーＡ）と一致していると上記指ジェスチャー判定手段が判定した場合、上記文字認識手段によって認識された文字または一連の文字群をキーとして、上記通信手段を介して上記通信ネットワークから情報を検索してもよい。

上記の構成によれば、上記文字認識装置は、認識した指のジェスチャーが、上記複数のジェスチャーのうちの１つであった場合、認識された文字（または一連の文字群）をキーとして、通信ネットワークから情報を検索する。

よって、ユーザは、ジェスチャーで所望の文字を示すという手軽かつ直感的な操作のみで、文字認識および認識した文字をキーとして通信ネットワークから情報を検索することができるという効果を奏する。

さらに、上記文字認識装置は、用語と用語の説明とを対応付けて作成された辞書データベースを備え、上記処理実行手段（辞書検索部１５）は、上記ジェスチャー認識手段が認識した指のジェスチャーが、上記複数のジェスチャーのうちの１つである第３ジェスチャー（ジェスチャーＢ）と一致していると上記指ジェスチャー判定手段が判定した場合、上記文字認識手段によって認識された文字または一連の文字群をキーとして、上記辞書データベースの用語を検索してもよい。

上記の構成によれば、上記文字認識装置は、認識した指のジェスチャーが、上記複数のジェスチャーのうちの１つであった場合、認識された文字（または一連の文字群）をキーとして、用語と用語の説明とを対応付けて作成された辞書データベースから用語を検索する。

よって、ユーザは、ジェスチャーで所望の文字を示すという手軽かつ直感的な操作のみで、文字認識および認識した文字をキーとして辞書検索することができるという効果を奏する。

さらに、上記文字認識装置は、文字を記憶する記憶部を備え、上記処理実行手段（記憶処理部１６）は、上記ジェスチャー認識手段が認識した指のジェスチャーが、上記複数のジェスチャーのうちの１つである第４ジェスチャー（ジェスチャーＣ）と一致していると上記指ジェスチャー判定手段が判定した場合、上記文字認識手段によって認識された文字または一連の文字群を上記記憶部に記憶してもよい。

上記の構成によれば、上記文字認識装置は、認識した指のジェスチャーが、上記複数のジェスチャーのうちの１つであった場合、認識された文字（または一連の文字群）記憶する。

よって、ユーザは、ジェスチャーで所望の文字を示すという手軽かつ直感的な操作のみで、文字認識および認識した文字を記憶することができるという効果を奏する。

なお、上記文字認識装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記各手段として動作させることにより上記文字認識装置をコンピュータにて実現させる上記文字認識装置の制御プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。

本発明は上述した実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能である。すなわち、請求項に示した範囲で適宜変更した技術的手段を組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。

（ソフトウェアによる実現例）
最後に、文字認識装置１の各ブロック、特に制御部２は、集積回路（ＩＣチップ）上に形成された論理回路によってハードウェア的に実現してもよいし、ＣＰＵ（Central Processing Unit）を用いてソフトウェア的に実現してもよい。

後者の場合、文字認識装置１は、各機能を実現するプログラムの命令を実行するＣＰＵ、上記プログラムを格納したＲＯＭ（Read Only Memory）、上記プログラムを展開するＲＡＭ（Random Access Memory）、上記プログラムおよび各種データを格納するメモリ等の記憶装置（記録媒体）などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアである文字認識装置１の制御プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、上記文字認識装置１に供給し、そのコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。

上記記録媒体としては、一時的でない有形の媒体（non-transitory tangible medium）、例えば、磁気テープやカセットテープ等のテープ類、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやＣＤ−ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤ／ＣＤ−Ｒ等の光ディスクを含むディスク類、ＩＣカード（メモリカードを含む）／光カード等のカード類、マスクＲＯＭ／ＥＰＲＯＭ／ＥＥＰＲＯＭ（登録商標）／フラッシュＲＯＭ等の半導体メモリ類、あるいはＰＬＤ（Programmable logic device）やＦＰＧＡ（Field Programmable Gate Array）等の論理回路類などを用いることができる。

また、文字認識装置１を通信ネットワークと接続可能に構成し、上記プログラムコードを通信ネットワークを介して供給してもよい。この通信ネットワークは、プログラムコードを伝送可能であればよく、特に限定されない。例えば、インターネット、イントラネット、エキストラネット、ＬＡＮ、ＩＳＤＮ、ＶＡＮ、ＣＡＴＶ通信網、仮想専用網（Virtual Private Network）、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、この通信ネットワークを構成する伝送媒体も、プログラムコードを伝送可能な媒体であればよく、特定の構成または種類のものに限定されない。例えば、ＩＥＥＥ１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ（Asymmetric Digital Subscriber Line）回線等の有線でも、ＩｒＤＡやリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＩＥＥＥ８０２．１１無線、ＨＤＲ（High Data Rate）、ＮＦＣ（Near Field Communication）、ＤＬＮＡ（Digital Living Network Alliance）、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。

本発明は、画像に含まれる文字を文字認識する文字認識機能を搭載した情報処理装置に利用することができる。特に、パーソナルコンピュータ、携帯電話、スマートフォン、タブレットＰＣ、ゲーム機器などの様々な情報処理装置に幅広く適用することができる。

１ 文字認識装置
３ 記憶部
４ カメラ（画像取得手段）
５ 通信部（通信手段）
１０ ジェスチャー判別部（ジェスチャー認識手段、指ジェスチャー判定手段）
１１ 画像結合部（結合手段）
１２ 文字切出部（文字認識手段）
１３ 文字認識処理部（文字認識手段）
１４ キーワード検索部（処理実行手段）
１５ 辞書検索部（処理実行手段）
１６ 記憶処理部（処理実行手段）

Claims (8)

1. 画像に含まれる文字を認識する文字認識装置であって、
   指および文字を含む画像を取得する画像取得手段と、
   上記画像取得手段が取得した画像から、指部分と、当該指部分と隣接する文字部分との位置情報からジェスチャーを認識するジェスチャー認識手段と、
   上記ジェスチャー認識手段が認識した指のジェスチャーが、予め記憶している複数のジェスチャーのいずれと一致しているかを判定する指ジェスチャー判定手段と、
   上記ジェスチャー認識手段が認識した指によって示される位置の文字または一連の文字群を認識する文字認識手段と、
   上記指ジェスチャー判定手段が一致していると判定したジェスチャーと対応付けられた処理を、上記文字認識手段によって認識された文字または一連の文字群に対し実行する処理実行手段と、を備えていることを特徴とする文字認識装置。
2. 上記画像取得手段は互いの画像の一部に共通部分がある複数の画像を取得し、
   上記複数の画像のそれぞれに含まれる指のジェスチャーが、上記複数のジェスチャーのうちの１つである第１ジェスチャーと一致していると上記指ジェスチャー判定手段が判定した場合、上記共通部分を重ね合わせることにより上記複数の画像を結合する結合手段をさらに備えていることを特徴とする請求項１に記載の文字認識装置。
3. 通信ネットワークを介して外部の機器と通信する通信手段をさらに備え、
   上記処理実行手段は、上記ジェスチャー認識手段が認識した指のジェスチャーが、上記複数のジェスチャーのうちの１つである第２ジェスチャーと一致していると上記指ジェスチャー判定手段が判定した場合、上記文字認識手段によって認識された文字または一連の文字群をキーとして、上記通信手段を介して上記通信ネットワークから情報を検索することを特徴とする請求項１または２に記載の文字認識装置。
4. 用語と用語の説明とを対応付けて作成された辞書データベースをさらに備え、
   上記処理実行手段は、上記ジェスチャー認識手段が認識した指のジェスチャーが、上記複数のジェスチャーのうちの１つである第３ジェスチャーと一致していると上記指ジェスチャー判定手段が判定した場合、上記文字認識手段によって認識された文字または一連の文字群をキーとして、上記辞書データベースの用語を検索することを特徴とする請求項１から３のいずれか１項に記載の文字認識装置。
5. 文字を記憶する記憶部をさらに備え、
   上記処理実行手段は、上記ジェスチャー認識手段が認識した指のジェスチャーが、上記複数のジェスチャーのうちの１つである第４ジェスチャーと一致していると上記指ジェスチャー判定手段が判定した場合、上記文字認識手段によって認識された文字または一連の文字群を上記記憶部に記憶することを特徴とする請求項１から４のいずれか１項に記載の文字認識装置。
6. 画像に含まれる文字を認識する文字認識装置の制御方法であって、
   指および文字を含む画像を取得する画像取得ステップと、
   上記画像取得ステップが取得した画像から、指部分と、当該指部分と隣接する文字部分との位置情報からジェスチャーを認識するジェスチャー認識ステップと、
   上記ジェスチャー認識ステップが認識した指のジェスチャーが、予め記憶している複数のジェスチャーのいずれと一致しているかを判定する指ジェスチャー判定ステップと、
   上記ジェスチャー認識ステップが認識した指によって示される位置の文字または一連の文字群を認識する文字認識ステップと、
   上記指ジェスチャー判定ステップが一致していると判定したジェスチャーと対応付けられた処理を、上記文字認識ステップによって認識された文字または一連の文字群に対し実行する処理実行ステップと、を含むことを特徴とする文字認識装置の制御方法。
7. 請求項１から５のいずれか１項に記載の文字認識装置が備えるコンピュータを動作させる制御プログラムであって、上記コンピュータを上記の各手段として機能させるための制御プログラム。
8. 請求項７に記載の制御プログラムを記録したコンピュータ読み取り可能な記録媒体。

Images