JP2012103749A - 文字認識装置、文字認識システム、文字認識方法及びプログラム - Google Patents

Abstract

【課題】携帯端末の撮影画像を対象とした文字認識において、文字認識の回数の増大を防ぎつつその認識精度を確保する。
【解決手段】撮影画像取得部１１１は、携帯端末で撮影された撮影画像を取得する。文字認識部１１２は、撮影画像取得部１１１が取得した撮影画像を、回転角を０度、９０度及び２７０度とした計３方向に回転させて、各撮影画像に対して文字認識を行う。認識結果出力部１１３は、文字認識部１１２により行われた文字認識の結果を出力する。文字認識部１１２は、互いに直交する４方向のうち回転角を１８０度に回転させての文字認識を行わない。撮影対象の原稿等を撮影時にユーザが視認できるような携帯端末での撮影において、天地逆となった文字を撮影する可能性は低いと考えられるし、１８０度回転しても形状が変わらない文字が多数含まれる原稿等について文字認識しないことで、最終的な認識精度に悪影響を及ぼすことを防ぐことができる。
【選択図】図４

Description

本発明は、画像を回転させながら行う文字認識に関する。

ＯＣＲ（Optical Character Recognition）と呼ばれる光学文字認識において、その認識精度を向上させるために、文字認識の対象とする画像を様々な回転角で回転させながら文字認識を行う技術がある。特許文献１は、文字認識ができなかった場合に、文字認識に成功するまで入力イメージを所定角度ずつ（例えば、９０度ずつ）回転させて文字認識を繰り返すことを開示している。特許文献２は、回転角を０度、９０度、１８０度及び２７０度という、互いに直交する４方向に画像を回転させて文字認識を行うことを開示している。

特開平１１−２５０１７８号公報 特開平８−２１２２９８号公報

特許文献１，２が開示する技術によれば、文字認識に用いられる原稿がセットされる方向に関係なく、文字認識に成功することができる。一方で、特許文献１が開示する技術では、原稿がセットされる方向や、回転角をどの順番とするかによって、文字認識に成功するまでに多くの処理時間を要することがある。特許文献２が開示する技術では、常に４方向の文字認識を行うことで、文字認識に係る処理負荷が大きくなることがある。一方で、この処理負荷の軽減のために回転角の数を減らそうとしても、撮像画像にどのような姿勢で文字が含まれているかが事前に明らかでなければ、文字認識の精度を維持したままこれを実現することは困難である。或る回転角の文字認識を除外しようとしても、当該回転角が画像の天地方向と文字の天地方向とが一致するなど、文字認識において最適な回転角に対応するものであった場合には、複数の回転角で文字認識を行っても最終的な認識精度は低下するからである。
これに対し、本発明の目的は、携帯端末の撮影画像を対象とした文字認識において、文字認識の回数の増大を防ぎつつその認識精度を確保することである。

上述した課題を解決するため、本発明の文字認識装置は、携帯端末での撮影により得られる撮影画像を取得する撮影画像取得部と、前記撮影画像取得部が取得した撮影画像を、回転角を０度、９０度及び２７０度とした計３方向に回転させて、各撮影画像に対して文字認識を行う文字認識部と、前記文字認識部により行われた文字認識の結果を出力する認識結果出力部とを備えることを特徴とする。

本発明の好ましい態様において、前記文字認識部は、前記撮影画像に含まれる一の文字列を含む矩形領域を切り出して、切り出した矩形領域を、前記回転角を０度、９０度及び２７０度として回転させて当該矩形領域に対する文字認識を行い、前記取得した撮影画像に含まれるすべての文字列について当該文字認識を行う。
本発明の別の好ましい態様において、前記撮影画像取得部は、回転処理が施されていない撮影画像を前記携帯端末から取得する。

また、本発明の文字認識装置は、携帯端末での撮影により得られる撮影画像を取得する撮影画像取得部と、撮影時における前記携帯端末の姿勢を特定する姿勢特定部と、前記姿勢特定部が特定した姿勢が決められた条件を満たす場合には、前記撮影画像取得部が取得した撮影画像を、回転角を０度、９０度及び２７０度とした計３方向に回転させて、各撮影画像に対して文字認識を行い、前記特定した姿勢が前記条件を満たさない場合には、前記取得した撮影画像を、回転角を０度、９０度、１８０度及び２７０度とした計４方向に回転させて、各撮影画像に対して文字認識を行う文字認識部と、前記文字認識部により行われた文字認識の結果を出力する認識結果出力部とを備えることを特徴とする。

また、本発明の文字認識装置は、携帯端末で撮影された撮影画像を取得する撮影画像取得部と、前記携帯端末の種別を特定する種別特定部と、前記種別特定部が特定した種別が決められた条件を満たす場合には、前記撮影画像取得部が取得した撮影画像を、回転角を０度、９０度及び２７０度とした計３方向に回転させて、各撮影画像に対して文字認識を行い、前記特定した種別が前記条件を満たさない場合には、前記取得した撮影画像を、回転角を０度、９０度、１８０度及び２７０度とした計４方向に回転させて、各撮影画像に対して文字認識を行う文字認識部と、前記文字認識部により行われた文字認識の結果を出力する認識結果出力部とを備えることを特徴とする。

また、本発明の文字認識システムは、携帯端末が有している撮影部と、前記撮影部の撮影により得られる撮影画像を取得する撮影画像取得部と、前記撮影画像取得部が取得した撮影画像を、回転角を０度、９０度及び２７０度とした計３方向に回転させて、各撮影画像に対して文字認識を行う文字認識部と、前記文字認識部により行われた文字認識の結果を出力する認識結果出力部と、前記認識結果出力部により出力された文字認識の結果を提示する提示部とを有することを特徴とする。

また、本発明の文字認識方法は、文字認識装置の制御部が、携帯端末での撮影により得られる撮影画像を取得する撮影画像取得ステップと、前記制御部が、前記撮影画像取得ステップで取得した撮影画像を、回転角を０度、９０度及び２７０度とした計３方向に回転させて、各撮影画像に対して文字認識を行う文字認識ステップと、前記制御部が、前記文字認識ステップで行った文字認識の結果を出力する結果出力ステップとを有することを特徴とする。
また、本発明のプログラムは、コンピュータに、携帯端末での撮影により得られる撮影画像を取得する撮影画像取得ステップと、前記撮影画像取得ステップで取得した撮影画像を、回転角を０度、９０度及び２７０度とした計３方向に回転させて、各撮影画像に対して文字認識を行う文字認識ステップと、前記文字認識ステップで行われた文字認識の結果を出力する結果出力ステップとを実行させるためのものである。

本発明によれば、携帯端末の撮影画像を対象とした文字認識において、文字認識の回数の増大を防ぎつつその認識精度を確保することができる。

文字認識システムの構成を示す図 文字認識装置の構成を示すブロック図 携帯端末の構成を示すブロック図 文字認識装置の制御部が実現する機能構成を示す機能ブロック図 携帯端末が実現する機能構成を示す機能ブロック図 ＯＣＲ処理の対象と撮影画像を説明する図 撮影時の携帯端末の様子を説明する図 ＯＣＲ処理の対象と撮影画像を説明する図 文字認識システムにおいて実行される処理の手順を示すシーケンス図 文字認識装置の制御部が実現する機能構成を示す機能ブロック図 文字認識システムにおいて実行される処理の手順を示すシーケンス図 文字認識装置の制御部が実現する機能構成を示す機能ブロック図 文字認識システムにおいて実行される処理の手順を示すシーケンス図

以下、図面を参照しつつ本発明の一実施形態について説明する。
［実施形態の構成］
図１は、文字認識システム１の構成を示す図である。
図１に示すように、文字認識システム１は、文字認識装置１０と携帯端末２０とを備える。文字認識装置１０と携帯端末２０とは、通信網ＮＷを介して互いに通信可能に接続されている。通信網ＮＷは、移動通信網やインターネット、ゲートウェイ等を含む通信網である。文字認識装置１０は、例えば通信会社よって管理されるサーバであり、携帯端末２０から受信した撮影画像に基づいて文字認識を行い、その結果に応じた情報を携帯端末２０に対して提供するサービスを行うものである。携帯端末２０は、撮影機能を有し、ユーザが携帯可能な端末装置であり、ここでは携帯電話端末である。携帯端末２０は、文字認識装置１０により提供されるサービスを受けるユーザによって所有されるものである。
なお、図１には携帯端末２０を１つだけ記載しているが、実際には更に多数の携帯端末２０が文字認識システム１に含まれる。また、携帯端末２０は、携帯電話端末のほか、スマートフォンやＰＤＡ（Personal Digital Assistant）、携帯ゲーム機等でもよく、撮影機能を有している携帯可能な端末装置であればよい。

図２は、文字認識装置１０の構成を示すブロック図である。図２に示すように、文字認識装置１０は、制御部１１と、通信部１２と、記憶部１３とを備える。
制御部１１は、ＣＰＵ（Central Processing Unit）を含む演算装置やメモリを備え、記憶部１３に記憶されたプログラムを読み出して実行することにより、文字認識装置１０の各部を制御する。通信部１２は、通信網ＮＷに接続するためのインタフェースである。記憶部１３は、例えばハードディスク装置を備え、ＯＣＲプログラム１３１や、ＯＣＲプログラム１３１を用いて実行可能な光学文字認識処理（以下、「ＯＣＲ処理」という。）に必要となる文字パターンファイルや辞書ファイル等の情報を記憶する。

図３は、携帯端末２０の構成を示すブロック図である。図３に示すように、携帯端末２０は、制御部２１と、操作部２２と、無線通信部２３と、撮影部２４と、表示部２５と、記憶部２６とを備える。
制御部２１は、ＣＰＵを含む演算装置やメモリを備え、記憶部２６に記憶されたプログラムを読み出して実行することにより携帯端末２０の各部の動作を制御する。操作部２２は、テンキー等の複数の操作子を備え、ユーザによる操作子の操作を受け付けて、その操作に応じた操作信号を制御部２１に出力する。無線通信部２３は、無線通信回路やアンテナを備え、通信網ＮＷに接続するためのインタフェースである。撮影部２４は、ＣＣＤ（Charge Coupled Device）等の撮像素子を備え、撮影し、その撮影により得られる二次元の撮影画像を生成する。表示部２５は、例えば液晶駆動回路や液晶ディスプレイを備え、画像の表示により情報に応じた内容を報知する。記憶部２６は、例えばＥＥＰＲＯＭ（Electronically Erasable and Programmable ROM）を備え、文字認識装置１０が提供されるサービスを受けるために必要なアプリケーションプログラム等を記憶する。加速度センサ２７は、いわゆる３軸加速度センサであり、携帯端末２０に作用する加速度を検出し、その検出結果を制御部２１に出力する。
なお、携帯端末２０は、上記構成以外にも、受話音声を収音するマイクや送話音声を放音するスピーカ等、携帯電話端末が通常有している構成を備える。また、加速度センサ２７は後述する変形例１に係る構成で用いられるものであるから、この実施形態では省略してもよい。

図４は、文字認識装置１０の制御部１１が実現する機能構成を示す機能ブロック図である。
制御部１１はＯＣＲプログラム１３１を実行することにより、撮影画像取得部１１１、文字認識部１１２及び認識結果出力部１１３に相当する機能を実現する。
撮影画像取得部１１１は、携帯端末２０での撮影により得られる撮影画像を取得する。詳しくは後述するが、携帯端末２０は撮影部２４により撮影して得た撮影画像を、文字認識装置１０宛てに送信する。撮影画像取得部１１１は、このようにして携帯端末２０により送信された撮影画像が通信部１２により受信されると、受信された撮影画像を取得する。

文字認識部１１２は、撮影画像取得部１１１が取得した撮影画像に基づいてＯＣＲ処理を行って、文字コード（例えば、ASCII、Unicode、Shift_JIS等）を生成する。具体的には、文字認識部１１２は、撮影画像取得部１１１が取得した撮影画像のほか、この撮影画像（回転角を０度とする。）を時計回りに９０度回転させた撮影画像（回転角を９０度とする。）、及び時計回りに２７０度（つまり、反時計回りに９０度）回転させた撮影画像（回転角を２７０度とする。）のそれぞれに対して、ＯＣＲ処理を行う。このように、文字認識部１１２は、撮影画像取得部１１１が取得した撮影画像を、回転角を０度、９０度及び２７０度とした計３方向に回転させて、各撮影画像に対してＯＣＲ処理を行う。回転角が９０度又は２７０度である撮影画像は、回転角が０度である撮影画像の天地方向と左右方向とを入れ替えたものである。
なお、本実施形態では、回転角が０度の撮影画像は、携帯端末２０により生成された当初のものと同一であり、特に、回転処理が施されていないものである。

また、文字認識部１１２は、撮影画像取得部１１１が取得した撮影画像（回転角が０度）を、時計回りに１８０度回転させた撮影画像に対してＯＣＲ処理を行わない。回転角を１８０度として回転した撮影画像は、回転角が０度である撮影画像の天地方向を逆とするように回転させられたものである。文字認識部１１２が、互いに直交する４方向に対応する回転角（つまり、０度、９０度、１８０度及び２７０度）のうち、１８０度の撮影画像に対するＯＣＲ処理のみを除外する理由について詳しくは後述する。
なお、撮影画像を或る回転角で回転することは、撮影画像に含まれる文字列（又は、文字）もこれと同じ回転角で回転することと同義である。また、文字認識部１１２が回転処理後の撮影画像から文字コードを生成する処理は、周知の方法を用いることができる。具体的には、文字認識部１１２は、例えば撮影画像に対して二値化処理を施し、文字列を含む矩形領域を切り出すことで文字列を抽出し、記憶部１３に記憶された文字パターンファイルや辞書ファイル等を用いて、この矩形領域に対して文字認識を行う。

認識結果出力部１１３は、文字認識部１１２により行われたＯＣＲ処理の結果を出力する。ここでは、認識結果出力部１１３は、計３方向の回転角で回転された各撮影画像に対するＯＣＲ処理の結果から、文字認識の結果の確信度を算出する。確信度は、ＯＣＲ処理の対象となった文字と、認識結果の文字との特徴点がどの程度一致しているか否かを示す比率であり、文字認識の結果の正確さの指標となるパラメータである。確信度は、周知の方法で算出されればよい。認識結果出力部１１３は、ここでは、確信度が最大であった回転角のＯＣＲ処理の結果を採用して、例えばその文字コードを文字認識の結果として出力する。認識結果出力部１１３が出力した文字認識の結果は通信部１２に供給され、通信部１２により携帯端末２０に送信される。
なお、認識結果出力部１１３が出力する文字認識の結果は、文字コードに限定されるものでなく、例えば、文字コードにより表される文字列を検索語として所定の検索エンジンを用いての検索結果であってもよい。また、この文字列に関連付けて外部サーバ等にあらかじめ蓄積しておいたコンテンツであってもよく、本発明における文字認識の結果は特定のものに限定されない。

図５は、携帯端末２０が実現する機能構成を示す機能ブロック図である。
携帯端末２０は、記憶部２６に記憶されたプログラムを実行することにより、撮影画像生成部２０１と、撮影画像送信部２０２と、認識結果受信部２０３と、提示部２０４とに相当する機能を実現する。このうち、撮影画像生成部２０１は、制御部２１及び撮影部２４の協働により実現され、撮影画像送信部２０２及び認識結果受信部２０３は、それぞれ制御部２１及び無線通信部２３の協働により実現され、提示部２０４は、制御部２１及び表示部２５の協働により実現される。
撮影画像生成部２０１は、撮影部２４による撮影結果に基づいて撮影画像を生成する。撮影画像生成部２０１は、必要であれば、撮影画像とともに文字認識装置１０に送信する各種の付加情報（例えば、メタ情報）を撮影画像に含める処理も併せて行う。
撮影画像送信部２０２は、撮影画像生成部２０１により生成された撮影画像を、文字認識装置１０宛てに送信する。本実施形態においては、文字を含む（つまり、文字が記述された）媒体が携帯端末２０の撮影対象になることを想定する。文字を含む媒体は、いかなるものでもよいが、例えば、手書き文字が記述された原稿のほか、雑誌やポスター、看板、商店の陳列棚に配置された各商品を説明する札等が挙げられる。以下では、これらを、「原稿等」と総称する。

認識結果受信部２０３は、認識結果出力部１１３により出力された文字認識の結果を通信網ＮＷから受信する。
提示部２０４は、認識結果受信部２０３により受信された文字認識の結果をユーザに対して提示する。

図６は、ＯＣＲ処理の対象となる携帯端末２０の撮影画像を説明する図である。図６（ａ）は、回転角が０度である撮影画像IMG(0)であり、図６（ｂ）は、回転角が９０度である撮影画像IMG(90)であり、図６（ｃ）は、回転角が２７０度である撮影画像IMG(270)であり、図６（ｄ）は、回転角が１８０度である撮影画像IMG(180)である。ここでは、撮影画像IMG(0)において、撮影画像の天地方向（紙面上下方向）と、文字を意味する画像（文字画像）との天地方向とが一致する。続いて、文字認識部１１２において回転角を１８０度とした撮影画像に対するＯＣＲ処理を除外する理由を、図６等を参照しつつ説明する。

第１に、本発明では、携帯端末により撮影された撮影画像に基づいて文字認識装置が文字認識を行うことを前提としている。この前提が存在するから、撮影画像の天地方向と原稿等に記述された文字の天地方向とが互いに逆となる、つまり、回転角が０度の撮影画像に、文字の天地方向が逆となった姿勢で含まれる可能性は極めて低いと考えられる。この根拠について、図７を参照しつつ説明する。
図７は、携帯端末２０による原稿等Ｐの撮影時の様子を、携帯端末２０の側面（ただし、携帯端末２０の図１に現れている面を正面とする。）の方向からみたものを表す。携帯端末２０は、一般的な携帯電話端末と同様、携帯端末２０の背面に撮影部２４の撮影レンズが設けられている。図７に示すように、原稿等Ｐの撮影時には、ユーザは原稿等Ｐを直接又は表示部２５により視認したまま、携帯端末２０の図中ａ部分を把持して、撮影を行う。このとき、通常は、図７の右側に原稿等の上部があり、左側に原稿等の下部がある。
このような携帯端末２０の姿勢で撮影が行われた場合、図６（ａ）に示す撮影画像IMG(0)が得られ、文字の天地方向と撮影画像の天地方向とがほぼ一致する。また、携帯端末２０の取り扱いにおいては、ユーザから見て左右方向の撮影範囲を広げるために、表示部２５の表示面の向きを、同一平面内で左右のいずれかにおよそ９０度回転させて撮影することがある。この場合、図６（ｂ）に示す撮影画像IMG(90)や図６（ｃ）に示す撮影画像IMG(270)が撮影により得られる。一方で、図７に示す携帯端末２０の姿勢から、表示部２５の表示面の向きを同一平面内で１８０度回転させるようにその姿勢が変化させられることは、ユーザが図中ａ部分を把持しづらいことや、ユーザが原稿等Ｐの天地方向を逆にした状態で視認することが不自然であることから、稀であると考えられる。

以上のように、撮影機能を有する携帯端末のユーザによる利用を考えた場合、文字認識装置１０は、０度，９０度及び２７０度という計３方向の回転角で撮影画像を回転させてＯＣＲ処理を行えば、十分な認識精度で（例えば、確信度が閾値以上となるように）ＯＣＲ処理を行うことができるといえる。つまり、図６（ａ）に示す撮影画像IMG(0)が携帯端末２０で撮影された場合、文字認識装置１０は、これ以外に、図６（ｂ）に示す撮影画像IMG(90)、及び図６（ｃ）に示す撮影画像IMG(270)をＯＣＲ処理の対象とし、図６（ｄ）に示す撮影画像IMG(180)をＯＣＲ処理の対象としない。
このような理由から、携帯端末２０の撮影画像に対してＯＣＲ処理を行う場合、従来のように、１８０度を含めた互いに直交する４方向の回転角を採用しなくとも実用上差し支えない、という知見を発明者らは得た。ＯＣＲ処理に際して、従来技術に比べて、１つの回転角の撮影画像に対するＯＣＲ処理を行わないようにすることで、ＯＣＲ処理に関して文字認識装置１０に強いられる処理負荷を軽減することができる。既に説明したが、文字認識装置１０は、複数の携帯端末２０からの撮影画像に基づいてＯＣＲ処理を行うサーバとして機能するものであることからも、この処理負荷の軽減による効果は大きい。特に、１８０度という回転角が除外されるので、この除外が文字の認識精度に与える影響はその他の回転角に比べてかなり小さくなるはずである。
なお、いわゆるスキャナや原稿自動送り装置（ＡＤＦ：Auto Document Feeder）等を用いてＯＣＲ処理の対象とする原稿等を読み取る（撮影する）場合、原稿等があらかじめ決められた姿勢から天地方向が逆となった状態で、ユーザによりセットされることが考えられる。よって、固定タイプの装置や、撮影時に原稿等をユーザが視認できないような装置で撮影画像を得る場合には、回転角を１８０度とした撮影画像に対するＯＣＲ処理を省略することの不都合が、本発明のように携帯端末で撮影した場合に比べて大きいと考えられる。このことからも、文字認識システム１によれば、携帯端末で撮影した撮影画像に基づいてＯＣＲ処理を行うという前提が存在することで、文字認識の結果に悪影響を与えることを防いで、ＯＣＲ処理で採用される回転角を減らすことができる。

第２に、回転角が１８０度の撮影画像に対してＯＣＲ処理を施すことが、逆に、文字認識の精度を低下させてしまう原因となることがある。例えば、「Ｓ」や「ｓ」（アルファベットのエス）や「ｌ」（アルファベットの小文字のエル）、また、「Ｏ」や「ｏ」（アルファベットのオー）「８」、「Ｂ」等の文字は、その天地方向を入れ替えるように回転させられても、字体が同じであるか又はほぼ同じである。原稿等にこの類の文字が多く含まれる場合に、回転角を１８０度として回転させた撮影画像に対するＯＣＲ処理を行ったときには、回転角が０度及び１８０度の文字認識の結果の確信度がともに高くなって、文字の天地方向が撮影画像の天地方向と逆となる（つまり、図６（ｄ）の例。）結果を、文字認識装置１０が採用してしまう可能性がある。これでは、好ましくないＯＣＲ処理の結果がユーザに提供されるという不都合が生じるおそれがある。また、例えば、文字の天地方向に基づいて撮影画像の天地方向を自動調整する技術に適用した場合、この自動調整が正しく行われないことも考えられる。このように、従来技術のように、１８０度を含めた４方向の回転角とするという具合に、ＯＣＲ処理を行う撮影画像の回転角を増加させても、必ずしも、最終的な文字認識の結果に好適に作用するとは限らない。
以上の２点を主な理由として、文字認識装置１０では、回転角を１８０度とした撮影画像に対するＯＣＲ処理を除外している。なお、以上説明した２点の理由は、折り畳み可能なタイプの携帯電話端末や、スライドタイプの携帯電話端末、スマートフォンやデジタルカメラ等、撮影機能を有している様々な携帯端末で共通する内容と言える。

また、図８の例は、図６に示す状態から、表示部２５の表示面を９０度回転させた姿勢の携帯端末２０で原稿等が撮影された場合の、各回転角の撮影画像を例示したものである。図８に示す撮影画像を得るための撮影は、図６に示したものと同じ原稿等を用いて行われている。この場合であっても、図８（ａ）〜（ｃ）に示すように、文字認識装置１０は回転角を０度，９０度，２７０度という計３方向の回転角で撮影画像を回転させて、各撮影画像IMG(0)、IMG(90),IMG(270)に対するＯＣＲ処理を行い、図８（ｄ）に示すような、回転角を１８０度とした撮影画像IMG(180)に対するＯＣＲ処理を行わない。

［実施形態の動作］
次に、本実施形態の動作について説明する。図９は、文字認識システム１において実行される処理の手順を示すシーケンス図である。
まず、携帯端末２０のユーザが、文字認識装置１０により提供されるサービスを受けようと考えると、操作部２２を操作して、それに必要なアプリケーションプログラムの起動を携帯端末２０に対して指示する。制御部２１は、この指示に応じた操作信号を操作部２２から受け取ると、このアプリケーションプログラムを記憶部２６から読み出して実行する。次に、制御部２１は、撮影部２４の撮影機能を起動させる。ユーザは表示部２５に表示される撮影内容を見ながら、図７に示したように原稿等に撮影部２４の撮影レンズを向け、やがて撮影指示を意味する操作部２２の操作を行う。制御部２１は、操作部２２により撮影指示の操作が受け付けられると、撮影部２４によって原稿等を撮影し、撮影画像を生成する（ステップＳ１）。制御部２１は、生成した撮影画像を無線通信部２３によって文字認識装置１０宛てに送信する（ステップＳ２）。このとき、制御部２１は、携帯端末２０の電子メールアドレス等、ＯＣＲ処理の認識結果を受け取るために必要な情報も併せて送信する。また、ここでは、制御部２１は、生成した撮影画像に対して回転処理等の加工を施さないものとする。

文字認識装置１０の制御部１１は、携帯端末２０により送信された撮影画像（回転角が０度）を通信部１２により受信し、これを取得する。すなわち、制御部１１及び通信部１２は、撮影画像受信部として機能する。
次に、制御部１１は、回転角が０度の撮影画像について、この撮影画像に含まれる文字列を抽出し、抽出した文字列のそれぞれに対してＯＣＲ処理を行う（ステップＳ３）。制御部１１は、文字列ごとにＯＣＲ処理を行って文字コードを生成する。これにより、制御部１１は、回転角が０度である撮影画像に対するＯＣＲ処理が完了する。
次に、制御部１１は、回転角を９０度とした撮影画像について、この撮影画像に含まれる文字列を抽出し、抽出した文字列のそれぞれに対してＯＣＲ処理を行う（ステップＳ４）。具体的には、制御部１１は、ステップＳ２の処理に応じて受信した撮影画像に回転処理を施し、回転角が９０度である撮影画像を生成する。そして、制御部１１は、ステップＳ３と同じ手順でＯＣＲ処理を行う。これにより、制御部１１は、回転角を９０度とした撮影画像に対するＯＣＲ処理が完了する。
次に、制御部１１は、回転角が２７０度である撮影画像について、この撮影画像に含まれる文字列を抽出し、抽出した文字列のそれぞれに対してＯＣＲ処理を行う（ステップＳ５）。具体的には、制御部１１は、ステップＳ２の処理に応じて受信した撮影画像に回転処理を施し、回転角が２７０度である撮影画像を生成する。そして、制御部１１は、ステップＳ３，４と同じ手順でＯＣＲ処理を行う。これにより、制御部１１は、回転角が２７０度である撮影画像に対するＯＣＲ処理が完了する。

なお、制御部１１が実行するステップＳ３〜Ｓ５の処理ステップの順番は適宜入れ替えられてもよい。また、制御部１１は、撮影画像に含まれる一の文字列を含む矩形領域（図６（ａ）に示す破線の矩形領域を参照。）を切り出して、切り出した矩形領域を回転角を０度、９０度及び２７０度にそれぞれ回転させながら、矩形領域に対するＯＣＲ処理を行う。そして、制御部１１は、取得した撮影画像に含まれるすべての文字列についてこのようなＯＣＲ処理を行うようにしてもよい。

次に、制御部１１は、ステップＳ３〜Ｓ５のＯＣＲ処理の結果に基づいて、文字認識の結果の確信度を算出し、確信度が最も高い回転角のＯＣＲ処理の結果を生成する（ステップＳ６）。例えば、制御部１１は、生成した文字コードを含む文字認識の結果を生成し、携帯端末２０を送信先と指定して、文字認識の結果を通信部１２により送信する（ステップＳ７）。すなわち、制御部１１及び通信部１２は、認識結果送信部として機能する。

携帯端末２０の制御部２１は、ステップＳ７の処理で文字認識装置１０により送信された文字認識の結果を通信部１２により受信する。受信した内容を表示部２５に表示させることで、文字認識の結果をユーザに対して提示する（ステップＳ８）。例えば、制御部２１は、受信した文字コードにより表される文字列を表示部２５に一覧表示させる。
これ以外にも、文字認識システム１によれば、文字認識装置１０は、ＯＣＲ処理の結果に基づいて、コンテンツを検索したりする等の、更に別のサービスを提供することができる。

以上説明した文字認識システム１において、文字認識装置１０は、回転角を０度，９０度及び２７０度とした計３方向の回転角で回転させた撮影画像に対して、それぞれＯＣＲ処理を行い、回転角を１８０度とした撮影画像に対するＯＣＲ処理を行わない。文字認識システム１では、携帯端末２０により撮影された撮影画像を用いて、文字認識装置１０がＯＣＲ処理を行う前提が存在するので、４方向の回転角とする従来の文字認識処理よりも文字認識の回数の増大を防ぎつつその認識精度を確保することができる。その理由は既に説明したとおりであるが、携帯端末を用いた撮影において、文字の天地方向を逆にした姿勢の原稿等を撮影する可能性がかなり低いと考えられるし、また、回転角を１８０度として回転してもその形状が変わらない文字が多数含まれる原稿等であっても、それに対するＯＣＲ処理の文字認識の結果が、文字認識装置１０における最終的な認識結果に悪影響を及ぼすことを抑えられるからである。

［変形例］
本発明は、上述した実施形態と異なる形態で実施することが可能である。本発明は、例えば、以下のような形態で実施することも可能である。また、以下に示す変形例は、各々を適宜に組み合わせてもよい。
［変形例１］
上述した実施形態では、文字認識装置１０はいかなる場合であっても、０度，９０度及び２７０度という計３方向の回転角で回転させた撮影画像に対してＯＣＲ処理を行い、回転角を１８０度として回転させた撮影画像に対するＯＣＲ処理を行わなかった。これに対し、文字認識装置１０が回転角を１８０度とした撮影画像に対するＯＣＲ処理の要否を判断し、必要と判断した場合に、このＯＣＲ処理を例外的に行うようにしてもよい。

例えば、文字認識装置１０は、携帯端末２０で撮影が行われたときの携帯端末２０の姿勢が決められた条件を満たす場合には、回転角を１８０度とした撮影画像に対するＯＣＲ処理を除外するが、それ以外の場合には、このＯＣＲ処理を行ってもよい。
続いて、この変形例の文字認識装置１０及び携帯端末２０の構成について説明する。
携帯端末２０の制御部２１は、加速度センサ２７により検出された加速度に基づいて、撮影時における携帯端末２０の姿勢を検知する。具体的には、制御部２１は、加速度センサ２７により検出された加速度に基づいて、例えば重力方向を特定し、図７に示される姿勢でユーザにより携帯端末２０が把持されているか否かといった姿勢を特定する。例えば、制御部２１が図７に示されるような携帯端末２０の姿勢を特定した場合、上記実施形態と同様、回転角を１８０度とした撮影画像に対するＯＣＲ処理は不要である。一方、携帯端末２０の姿勢が、原稿等の文字の天地方向を逆にして撮りうるようなものであれば、回転角を１８０度とした撮影画像に対するＯＣＲ処理が必要と考えられる。この姿勢は、例えば、図７に示す携帯端末２０の姿勢から表示面を同一平面内でおよそ１８０度回転させたものである。
制御部２１は、加速度センサ２７により検出された加速度に基づいて、携帯端末２０の姿勢を示す姿勢情報を生成し、これを撮影画像とともに文字認識装置１０に送信する。例えば、制御部２１は、撮影画像のメタ情報として撮影画像に姿勢情報を記述し、Ｅｘｉｆ（Exchangeable Image File Format）形式の撮影画像の付加情報として姿勢情報を加えてもよい。この付加情報は、少なくとも姿勢情報を含む。

図１０は、この変形例の文字認識装置１０の制御部１１が実現する機能構成を示す機能ブロック図である。
図１０に示すように、制御部１１はＯＣＲプログラム１３１を実行することにより、撮影画像取得部１１１と、文字認識部１１２と、認識結果出力部１１３と、姿勢特定部１１４とに相当する機能を実現する。撮影画像取得部１１１及び認識結果出力部１１３の機能は、上述した実施形態と同じであるから、ここではその説明を省略する。
姿勢特定部１１４は、撮影画像取得部１１１により取得された撮影画像から姿勢情報を抽出し、この姿勢情報が示す姿勢を特定する。この姿勢情報は、携帯端末２０の制御部２１が加速度センサ２７の検出結果に基づいて生成したものである。
文字認識部１１２は、姿勢特定部１１４で特定された姿勢が決められた条件（以下、「姿勢条件」という。）を満たす場合には、回転角を１８０度とした撮影画像に対するＯＣＲ処理を行わないようにし、姿勢条件を満たさない場合には、回転角を１８０度とした撮影画像に対するＯＣＲ処理を行う。例えば、携帯端末２０の姿勢と、回転角を１８０度とした撮影画像に対するＯＣＲ処理の要否とを対応付けたテーブルが予め記憶部１３に記憶される構成とし、文字認識部１１２は、このテーブルにおいて姿勢特定部１１４が特定した姿勢に対応付けられた内容を参照して、姿勢条件を満たすか否かを判断する。なお、この姿勢条件は、例えば、姿勢情報が示す姿勢が、文字を天地方向が逆の状態である可能性があるか否かを判別するためにあらかじめ決められたものである。

図１１は、この変形例の文字認識システムにおいて実行される処理の手順を示すシーケンス図である。以下の説明において、上述した実施形態と同じ処理ステップについてはその説明を適宜簡略化する。
まず、携帯端末２０の制御部２１は、撮影部２４により撮影した撮影画像を生成する（ステップＳ１１）。次に、制御部２１は、加速度センサ２７で検出された加速度に基づいて、撮影時における携帯端末２０の姿勢を特定して、その姿勢を示す姿勢情報を生成する（ステップＳ１２）。そして、制御部２１は、撮影画像及び姿勢情報を文字認識装置１０宛てに送信する（ステップＳ１３）。

文字認識装置１０の制御部１１は、上述した実施形態のステップＳ３〜Ｓ５と同様に、回転角を０度，９０度及び２７０度の３つとして、各撮影画像に対してＯＣＲ処理を行う（ステップＳ１４〜Ｓ１６）。次に、制御部１１は、撮影画像から姿勢情報を抽出し、この姿勢情報が示す姿勢を特定して、これが姿勢条件を満たすか否かを判断する（ステップＳ１７）。制御部１１は、特定した姿勢が姿勢条件を満たすと判断した場合（ステップＳ１７；ＹＥＳ）、回転角を１８０度としたＯＣＲ処理を行わないで、ステップＳ１９の処理に進む。一方、制御部１１は、姿勢条件を満たさないと判断した場合（ステップＳ１７；ＮＯ）、回転角を１８０度としたＯＣＲ処理を行って（ステップＳ１８）、ステップＳ１９の処理に進む。
そして、制御部１１は、３方向又は４方向の回転角のＯＣＲ処理に基づいて、文字認識の結果を生成し（ステップＳ１９）、通信部１２により携帯端末２０宛てに送信する（ステップＳ２０）。携帯端末２０の制御部２１は、文字認識装置１０により送信された文字認識の結果を通信部１２により受信すると、その内容を表示部２５に表示させてユーザに対して提示する（ステップＳ２１）。
以上説明したこの変形例の構成によれば、撮影時の携帯端末２０の姿勢から、回転角を１８０度としたＯＣＲ処理が必要と推測される場合に限り、文字認識装置１０はそのＯＣＲ処理を行う。これにより、従来技術よりもＯＣＲ処理の回数を減らすことができるし、また、最終的な文字認識の精度を更に向上させることができると考えられる。

［変形例２］
変形例１の構成から、回転角を１８０度としたＯＣＲ処理の要否の判断に用いる条件を変更してもよい。具体的には、文字認識装置１０は、携帯端末２０の種別に応じてこのＯＣＲ処理を必要と判断した場合にのみ、このＯＣＲ処理を行う。
続いて、この変形例の文字認識装置１０及び携帯端末２０の構成について説明する。
まず、携帯端末２０は、撮影画像を送信する際に、自身の携帯端末の種別を示す種別情報を文字認識装置１０に送信する。例えば、携帯端末２０は、撮影機器メーカ名や撮影機器モデル名等の種別を示す種別情報を送信する。Ｅｘｉｆ形式の撮影画像にあっては、このような種別情報がメタ情報に含められるので、これと同様の手法を用いて携帯端末２０は種別情報を送信してもよい。
なお、種別情報は、携帯端末２０が携帯電話端末であるのか、スマートフォンであるか等のあらかじめ区分されたどの種別なのかを識別できるものであればよい。

図１２は、文字認識装置１０の制御部１１が実現する機能構成を示す機能ブロック図である。図１２に示すように、制御部１１はＯＣＲプログラム１３１を実行することにより、撮影画像取得部１１１と、文字認識部１１２と、認識結果出力部１１３と、種別特定部１１５とに相当する機能を実現する。撮影画像取得部１１１及び認識結果出力部１１３の機能は、上述した実施形態と同じであるから、ここではその説明を省略する。
種別特定部１１５は、撮影画像取得部１１１により取得された撮影画像から種別情報を抽出し、この種別情報が示す種別を特定する。
文字認識部１１２は、種別特定部１１５が特定した種別が決められた条件（以下、「種別条件」という。）を満たすか否かを判断する。文字認識部１１２は、種別条件を満たす場合には、回転角を１８０度とした撮影画像に対するＯＣＲ処理を行わないようにし、種別条件を満たさない場合には、回転角を１８０度とした撮影画像に対するＯＣＲ処理を行う。例えば、携帯端末２０の種別と、回転角を１８０度とした撮影画像に対するＯＣＲ処理の要否とを対応付けたテーブルが予め記憶部１３に記憶される構成とし、文字認識部１１２は、このテーブルにおいて種別特定部１１５が特定した種別に対応付けられた要否を参照して、種別条件を満たすか否かを判断する。なお、この種別条件は、種別情報が示す種別の携帯端末が、回転角を１８０度とした撮影画像に対するＯＣＲ処理を要するタイプのものであることを示すものであればよい。

この変形例の文字認識システム１において、携帯端末２０の種別条件を用いているのは以下の理由に基づく。図７に示すようなタイプの携帯電話端末の場合、図７に示すａの部分がユーザにより把持されるから、文字の天地方向を逆にした状態で撮影される可能性が低い。一方、スマートフォンのように、天地方向を逆にした姿勢としても見かけの形状の変化が少ない携帯端末は、ユーザによる携帯端末の持ちにくさに関して姿勢ごとの差異が少ないと考えられる。よって、このような携帯端末は、一般的な携帯電話端末等に比べて、文字の天地方向を逆にした状態で撮影される可能性が相対的に高くなると考えられる。このように、本変形例では、携帯端末２０（又はその筐体）の外観等を考慮して定められた種別条件に応じて、回転角が１８０度であるＯＣＲ処理の要否が定められている。

続いて、この変形例の文字認識システムの動作について説明する。図１３は、この変形例の文字認識システムにおいて実行される処理の手順を示すシーケンス図である。この変形例の動作は、変形例１と大半が共通するから、変更部分を主に説明する。
制御部２１は、ステップＳ１２に相当する処理を実行しないで、ステップＳ１３ａの処理で、撮影画像とともに種別情報を文字認識装置１０に送信する。
ステップＳ１７ａの処理では、制御部１１は、携帯端末２０から取得した種別情報に基づいて携帯端末２０の種別を特定し、特定した種別が種別条件を満たすか否かを判断する。そして、制御部１１は、種別条件を満たし，ステップＳ１７ａの処理で「ＹＥＳ」と判断した場合には、回転角を１８０度とした撮影画像に対するＯＣＲ処理を行わないようにし、種別条件を満たさず、ステップＳ１７ａの処理で「ＮＯ」と判断した場合には、回転角を１８０度とした撮影画像に対するＯＣＲ処理を行う。
以上の文字認識装置１０によれば、携帯端末２０の種別から、回転角を１８０度としたＯＣＲ処理が必要と推測される場合に限り、そのＯＣＲ処理を行う。これにより、従来技術よりもＯＣＲ処理の回数を減らすことができるし、また、最終的な文字認識の精度を更に向上させることができると考えられる。
なお、文字認識装置１０の管理者等によりあらかじめ３方向の回転角とするか、又は４方向の回転角とするかが決められ、文字認識装置１０がこの条件に従ってもよい。

［変形例３］
上述した実施形態では、文字認識装置１０は、０度，９０度及び２７０度という３方向の回転角についてＯＣＲ処理を行っていたが、文字認識システム１が例えば特定の動作モードで動作する場合には、これを２方向としてもよい。例えば、ユーザの利き腕が「右」である場合、０度及び２７０度という２つの回転角とし、ユーザの利き腕が「左」である場合、０度及び９０度という２つの回転角とするという具合である。このようにできる理由は、ユーザの腕が延びる方向の回転軸を中心とした腕の可動範囲に応じて、携帯端末２０の姿勢が傾けられる方向がある程度限られるからである。
この場合、ユーザが予め自身の利き腕を携帯端末２０に登録しておき、携帯端末２０が撮影画像の送信指示にこの利き腕を示す情報を送信する。一方、文字認識装置１０は、この情報に基づいて利き腕を特定し、９０度又は２７０度のどちらかを選択して、ＯＣＲ処理を行う。

また、本発明において、０度、９０度、１８０度及び２７０度という回転角での回転処理は、この回転角を指定した回転処理であればよい。
また、上述した実施形態において、文字認識装置１０は、撮影部２４で撮影した当初の撮影画像を、回転角が０度である撮影画像として扱っていた。これに対し、例えば、文字認識装置１０又は携帯端末２０が、撮影により得られた撮影画像を解析して、文字列が延びている方向（つまり、文字列の文字が連なる方向）を、矩形の画像領域である撮影画像のいずれかの辺（長辺又は短辺）に一致させるように補正し、この補正後の撮影画像を、回転角が０度である撮影画像と扱ってもよい。このように、撮影画像に微小な回転処理を加える補正後の撮影画像を回転角が０度である撮影画像と見做しても、本発明において差し支えない。

［変形例４］
本発明において、携帯端末の撮影により得られる撮影画像は、携帯端末が内蔵する撮影部により得たものであってもよいし、携帯端末に装着された外部の撮影装置により得たものであってもよい。これらのいずれであっても、携帯端末での撮影により撮影画像が得られることに変わりないからである。
また、本発明の文字認識装置は、携帯端末で撮影された撮影画像を取得すればよいから、携帯端末と通信接続される態様のほか、例えば、携帯端末に内蔵されたものとすることも可能である。また、本発明の文字認識システムは、撮影部での撮影から文字認識の結果までの提示の一連の処理を行う、携帯端末によって実現されてもよい。また、本発明は、上述したように画像を回転させながら文字認識を行う文字認識方法として特定することもできる。
また、上述した文字認識装置１０及び携帯端末２０が実現する各機能は、複数のプログラムの組み合わせによって実現され、又は、複数のハードウェア資源の協働によって実現されうる。

１…文字認識システム、１０…文字認識装置、１１…制御部、１１１…撮影画像取得部、１１２…文字認識部、１１３…認識結果出力部、１１４…姿勢特定部、１１５…種別特定部、１２…通信部、１３…記憶部、１３１…ＯＣＲプログラム、２０…携帯端末、２０１…撮影画像生成部、２０２…撮影画像送信部、２０３…認識結果受信部、２０４…提示部、２１…制御部、２２…操作部、２３…無線通信部、２４…撮影部、２５…表示部、２６…記憶部、２７…加速度センサ

Claims (8)

1. 携帯端末での撮影により得られる撮影画像を取得する撮影画像取得部と、
   前記撮影画像取得部が取得した撮影画像を、回転角を０度、９０度及び２７０度とした計３方向に回転させて、各撮影画像に対して文字認識を行う文字認識部と、
   前記文字認識部により行われた文字認識の結果を出力する認識結果出力部と
   を備えることを特徴とする文字認識装置。
2. 前記文字認識部は、
   前記撮影画像に含まれる一の文字列を含む矩形領域を切り出して、切り出した矩形領域を、前記回転角を０度、９０度及び２７０度として回転させて当該矩形領域に対する文字認識を行い、前記取得した撮影画像に含まれるすべての文字列について当該文字認識を行う
   ことを特徴とする請求項１に記載の文字認識装置。
3. 前記撮影画像取得部は、回転処理が施されていない撮影画像を前記携帯端末から取得する
   ことを特徴とする請求項１又は２に記載の文字認識装置。
4. 携帯端末での撮影により得られる撮影画像を取得する撮影画像取得部と、
   撮影時における前記携帯端末の姿勢を特定する姿勢特定部と、
   前記姿勢特定部が特定した姿勢が決められた条件を満たす場合には、前記撮影画像取得部が取得した撮影画像を、回転角を０度、９０度及び２７０度とした計３方向に回転させて、各撮影画像に対して文字認識を行い、
   前記特定した姿勢が前記条件を満たさない場合には、前記取得した撮影画像を、回転角を０度、９０度、１８０度及び２７０度とした計４方向に回転させて、各撮影画像に対して文字認識を行う文字認識部と、
   前記文字認識部により行われた文字認識の結果を出力する認識結果出力部と
   を備えることを特徴とする文字認識装置。
5. 携帯端末で撮影された撮影画像を取得する撮影画像取得部と、
   前記携帯端末の種別を特定する種別特定部と、
   前記種別特定部が特定した種別が決められた条件を満たす場合には、前記撮影画像取得部が取得した撮影画像を、回転角を０度、９０度及び２７０度とした計３方向に回転させて、各撮影画像に対して文字認識を行い、
   前記特定した種別が前記条件を満たさない場合には、前記取得した撮影画像を、回転角を０度、９０度、１８０度及び２７０度とした計４方向に回転させて、各撮影画像に対して文字認識を行う文字認識部と、
   前記文字認識部により行われた文字認識の結果を出力する認識結果出力部と
   を備えることを特徴とする文字認識装置。
6. 携帯端末が有する撮影部と、
   前記撮影部の撮影により得られる撮影画像を取得する撮影画像取得部と、
   前記撮影画像取得部が取得した撮影画像を、回転角を０度、９０度及び２７０度とした計３方向に回転させて、各撮影画像に対して文字認識を行う文字認識部と、
   前記文字認識部により行われた文字認識の結果を出力する認識結果出力部と、
   前記認識結果出力部により出力された文字認識の結果を提示する提示部と
   を備えることを特徴とする文字認識システム。
7. 文字認識装置の制御部が、携帯端末での撮影により得られる撮影画像を取得する撮影画像取得ステップと、
   前記制御部が、前記撮影画像取得ステップで取得した撮影画像を、回転角を０度、９０度及び２７０度とした計３方向に回転させて、各撮影画像に対して文字認識を行う文字認識ステップと、
   前記制御部が、前記文字認識ステップで行った文字認識の結果を出力する結果出力ステップと
   を有することを特徴とする文字認識方法。
8. コンピュータに、
   携帯端末での撮影により得られる撮影画像を取得する撮影画像取得ステップと、
   前記撮影画像取得ステップで取得した撮影画像を、回転角を０度、９０度及び２７０度とした計３方向に回転させて、各撮影画像に対して文字認識を行う文字認識ステップと、
   前記文字認識ステップで行われた文字認識の結果を出力する結果出力ステップと
   を実行させるためのプログラム。

Images