JP2016139320A - 情報端末装置 - Google Patents

Abstract

【課題】外乱がある場合であっても、撮像した画像から撮像対象を高精度に認識可能な特徴情報を算出することのできる 情報端末装置を提供する。
【解決手段】撮像部2は撮像を行い撮像画像を得る。分離部3は、前記撮像画像に対して特徴点検出に対する外乱の補正を行い第一の補正画像を生成すると共に、前記撮像画像に対して特徴量算出に対する外乱の補正を行い第二の補正画像を生成する。検出部4は、前記第一の補正画像より特徴点を検出し、その座標情報を得る。算出部5は、前記第二の補正画像において前記座標情報に該当する各位置より特徴量を算出することで、前記撮像画像に対する特徴情報を得る。
【選択図】図１

Description

本発明は、撮像部により撮像された対象を認識するのに利用できる特徴情報を算出する情報端末装置に関し、特に、特徴点検出に用いる画像と特徴量算出に用いる画像とを分離することで、外乱に対する頑健性を向上させる情報端末装置に関する。

画像から対象を認識する技術は、配布や提示が容易な媒体に記載されたアナログ情報からデジタル情報に変換させることが可能であり、利用者の利便性を向上させることができる。当該技術としては、以下の非特許文献１のものが公開されている。

非特許文献１では、画像から特徴点を検出し、特徴点周辺から特徴量（局所画像特徴量）を算出した上で、事前に蓄積しておいた特徴量と照合することによって、対象の種類および相対的な位置関係を認識する。

一方、上記のような特徴点及び特徴量に基づく認識に関してさらに、認識精度を向上させる技術や頑健性を獲得する技術としては、以下の特許文献１〜３のようなものが公開されている。

特許文献１では、同一の対象を撮像した複数の画像間における特徴点の誤対応を低減するため、特徴点を頂点としたドロネー三角形分割とトポロジー評価によって認識率向上を図る。

特許文献２では、特徴量の判別性能を評価することによって、有効な特徴量を選別する手法を開示している。

特許文献３では、特徴点およびエッジの位置関係の類似度を判定することで、特徴点の対応付けを高精度化する。

特開２０１４−１２７０６８号公報 特開２０１４−１３４８５８号公報 特開２０１４−１２６８９３号公報

D. G. Lowe, "Object recognition from local scale-invariant features", Proc. of IEEE International Conference on Computer Vision (ICCV), pp.1150-1157, 1999.

しかしながら、以上のような非特許文献１や特許文献１〜３といった従来技術には、利用者の撮像の仕方が認識精度に大きく影響するという課題があった。具体的には、ボケやブレ、テカリなどの外乱によって十分な数の特徴点を検出できないと認識処理が全く機能しないという課題がある。

ここで、当該課題への対策として、ウィナーフィルタ(Wiener filter)やルーシーリチャードソンフィルタ(Lucy-Richardson filter)等の画像復元の既存手法を前処理として適用するということも考えられる。しかし、当該前処理を施すとリンギング状の特有のノイズが発生するため、特徴点を検出できたとしても特徴量を正しく算出できず認識できないという新たな問題を引き起こしてしまう。

本発明の目的は、上記従来技術の課題に鑑み、撮像の仕方その他に起因する外乱がある場合であっても、撮像した画像から撮像対象を高精度に認識可能な特徴情報を算出することのできる情報端末装置を提供することにある。

上記目的を達成するため、本発明は、情報端末装置であって、撮像を行い撮像画像を得る撮像部と、前記撮像画像に対して特徴点検出に対する外乱の補正を行い第一の補正画像を生成すると共に、前記撮像画像に対して特徴量算出に対する外乱の補正を行い第二の補正画像を生成する分離部と、前記第一の補正画像より特徴点を検出し、その座標情報を得る検出部と、前記第二の補正画像において前記座標情報に該当する各位置より特徴量を算出することで、前記撮像画像に対する特徴情報を得る算出部と、を備えることを特徴とする。

本発明によれば、特徴点検出に対する外乱の補正と特徴量算出に対する外乱の補正とを分けて実施したうえで特徴点検出及び特徴量算出を行うので、撮像の仕方その他に起因する外乱がある場合であっても、撮像した画像から撮像対象を高精度に認識可能な特徴情報を算出することができる。

一実施形態に係る情報端末装置の機能ブロック図である。 情報端末装置のうち特に分離部、検出部及び算出部で処理される各情報の模式的な例を示すと共に、当該処理の流れを模式的に説明するための図である。

図１は、一実施形態に係る情報端末装置の機能ブロック図である。情報端末装置1は、撮像部2、分離部3、検出部4、算出部5、記憶部6、認識部7及び提示部8を備える。 情報端末装置1としては撮像部2を備える任意の情報端末を利用することができ、携帯端末の他、タブレット型端末、デスクトップ型又はラップトップ型のコンピュータその他を利用することができる。

図２は、情報端末装置1の各部（特に、分離部3、検出部4及び算出部5）で処理される各情報の模式的な例と当該処理の流れとを示す図である。以下、図２を適宜参照しながら、図１の情報端末装置1の各部の処理内容を説明する。

（撮像部2について）
撮像部2は、撮像対象を撮像して、その撮像画像を分離部3へ出力する。ここで、撮像対象には、記憶部6にその特徴量が予め記憶され認識部7によって認識される予め既知の認識対象が含まれるよう、ユーザ等が撮像部2により撮像を行う。認識対象は物体その他の任意の対象であってよく、例えば、特徴等が既知の模様を持つマーカーや印刷物、立体物等であってよい。撮像部2としては、携帯端末に標準装備されるデジタルカメラ等を用いることができる。

図２の例では、[1]に記憶部6に予め参照画像PIC10によりその特徴量が抽出され記憶された認識対象R1（例として矢印状の形状を有する）が示され、矢印線L12で結ぶように[2]に当該認識対象R1を対象OBJ1として実際に撮像した撮像画像PIC1が示されている。

（分離部3について）
分離部3は、撮像部2で撮像された撮像画像の外乱を補正して補正画像を生成する。この際、外乱の種類に応じて２種類の別個の補正を行い、２種類の補正画像をそれぞれ生成する。具体的には、検出部4における検出処理に適した第一の補正画像と、算出部5における算出処理に適した第二の補正画像と、を生成する。第一の補正画像は検出部4に出力され、第二の補正画像は算出部5に出力される。

以下、（１）、（２）と見出しを設けて、当該２種類の補正処理をそれぞれ説明する。

（１）第一の補正画像
検出部4での検出処理に適した第一の補正画像生成においては、ボケやブレ等の外乱によって特徴点を得ることが困難であるという前提に立ち、特徴点座標を正確に再構成するため、外乱の種別や強度を推定し、当該強度に応じた補正処理を行う。当該推定及び補正はそれぞれ以下の通りである。

（１−１）推定
外乱の推定については、点広がり関数（PSF; Point Spread Function）を推定する既存手法を利用することができる。点広がり関数は点光源を撮像した撮像画像の輝度分布に相当し、ボケ及びブレとその強度を統一的に記述するものであるので、点広がり関数を推定することによりボケ及びブレとその強度とを統一的に推定することができる。

あるいは、周波数領域に変換し高周波の有無若しくは割合を基準として判断してもよい。すなわち、高周波成分が少ないほど外乱の度合いが大きいとして推定してよい。ここで、高周波成分の方向分布により、外乱の種類を特定方向のブレ又は特に方向性のないボケ等として推定することもできる。あるいは、検出部4における検出処理と同様の処理を、補正を適用しない撮像画像（撮像部2の出力）に対して適用し、検出された特徴点数を基準とすることもできる。すなわち、当該検出された特徴点数が少ないほど外乱の度合いが大きいとして推定してよい。ここで、特徴点（の周辺）が特定方向のエッジとして構成されている場合等であれば、上記と同様に外乱におけるボケ・ブレの方向等を推定することもできる。

（１−２）補正
外乱の補正については、PSFのデコンボリューション演算によりボケ・ブレを低減する。あるいは、ラプラシアンフィルタ等を使った鮮鋭化を適用してもよい。フィルタの形状やサイズはボケの種類や強度に応じて変化させてもよい。

上記では外乱としてボケ・ブレの推定及び補正について説明したが、これに代えて、またはこれに加えて、外乱としてホワイトバランスや露光調整の乱れを推定及び補正してもよい。当該推定及び補正には、撮像画像に対するヒストグラム調整等の既存技術を利用することができる。

なお、当該補正により生成される第一の補正画像を対象として、検出部4において特徴点を過剰に検出できるよう、当該補正は強めに適用することが好ましい。これは、以下のような観点に基づく。

すなわち、分離部3及び検出部4において仮に正確な特徴点の情報を再構成できなくとも、さらに後段にある認識部7で記憶部6の特徴量と照合するため、不正確な情報の影響は当該照合において排除可能である。一方、本来は特徴点であるのにもかかわらず検出部4で検出漏れとなると、後段側の構成においても当該検出漏れに対処することは不可能である。このような観点より、補正を強めに適用することが好ましい。

なお、外乱が発生していない若しくは軽微であると判定される場合は、補正処理を省略し、撮像部2で得た撮像画像をそのまま第一の補正画像として検出部4へと出力するようにしてもよい。当該判定は、推定した外乱の大きさに対して所定の閾値判定等により行えばよい。

また、撮像部2により得た撮像画像に外乱が発生していない若しくは軽微であることが事前に既知であるような場合（例えば、撮像者の撮像スキルが高いことが既知の場合）には、上記の閾値判定も省略し、補正処理を常に省略して撮像部2の撮像画像をそのまま第一の補正画像として出力してもよい。

（２）第二の補正画像
一方、算出部5での算出処理に適した第二の補正画像生成においては、反射光やホワイトノイズ等の外乱によって特徴量の整合性が失われるという前提に立ち、特徴量を正確に再構成するため、外乱の種別や強度を推定し、当該強度に応じた補正処理を行う。外乱ごとの当該推定及び補正はそれぞれ以下の通りである。

（２−１）ホワイトノイズ等の外乱
ホワイトノイズ等の強度推定については、周波数領域の高周波成分の均一性を基準とし、より均一なほどノイズが大きいとして推定すればよい。同外乱の補正については、推定された強度に応じたウィンドウサイズのメディアンフィルタによりホワイトノイズを低減すればよい。

（２−２）反射光の外乱
反射光については、高輝度領域および当該周辺領域において特徴量を正確に算出できないため、高輝度領域および当該周辺領域から特徴量を算出しないようマスク領域を設定する。当該マスク領域は、輝度に対する閾値判定によって設定すればよい。さらに領域の形状及び／又は大きさ等を考慮して設定してもよい。

（２−３）細かな文字領域に対するマスク領域の設定
上記のように反射光に対して設定したのと同様の、特徴量の算出対象から除外されるマスク領域を、細かな文字領域に対して設定するようにしてもよい。なお、細かな文字領域は上記のホワイトノイズ等や反射光とは異なり、ユーザの撮像等に起因する外乱ではないが、後段の認識部7における認識の精度を低下させる原因となりうるという点からは、外乱と同様に対処すべきものとなる。具体的には以下のような事情で、細かな文字領域は認識精度低下の原因となりうる。

例えば、高速化・省メモリ化の観点から、検出する特徴点数（算出部5で算出する特徴量数）に上限を設定している場合、文字領域に特徴点が多く出過ぎてしまうと、本来取るべき特徴点（及び当該特徴点に対応する特徴量）が取れないため、認識率が低下する傾向がある。具体例としては、認識対象がある特定の飲料商品の瓶であり、ユーザが実際にその瓶を撮影した際に、栄養成分その他に関して記載された食品表示の箇所にある細かな文字領域より、多数の特徴点が検出される場合が挙げられる。

なお、後段の記憶部6では当該瓶の特徴量を、細かな文字領域となっている食品表示欄以外の箇所（当該瓶の模様やロゴ等の箇所で、大きな文字が含まれていてもよい）より予め算出したうえで記憶していることが前提である。ここで、細かな文字領域において特徴量を検出したとしても、同じような特徴量が多数検出され、認識性能に劣った特徴量となってしまうことがあるという考察に基づき、記憶部6に記憶させる管理者等が細かな文字領域を排除したうえで記憶させるものとする。

細かな文字領域の検出処理に関しては、OCR(光学文字認識)分野等における既存手法で文字領域を検出し、当該検出された文字領域のサイズに対して閾値判定で小さいと判定された場合に、細かな文字領域であるものとして判断するようにすればよい。ここで、文字領域の検出に際しては、文字認識の処理は省略してもよい。

以上、撮像画像に対してホワイトノイズ等を低減する処理を施した画像において、反射光の領域及び／又は細かな文字の領域として処理対象から除外すべきマスク領域の情報を紐付けた画像が、第二の補正画像として算出部5へと出力される。後述する算出部5では、マスク領域内にある特徴点からは特徴量を算出しない。

なお、外乱が発生していない若しくは軽微である場合は、補正処理を省略して撮像部2の撮像画像をそのまま第二の補正画像として出力してもよい。省略するか否かは推定した外乱の大きさに対する閾値判定によればよい。ホワイトノイズ等及び反射光のそれぞれの外乱につき、個別に省略するか否かを判断するようにしてもよい。

また、撮像部2により得た撮像画像に外乱が発生していない若しくは軽微であることが事前に既知であるような場合には、上記の閾値判定も省略し、補正処理を常に省略して撮像部2の撮像画像をそのまま第二の補正画像として出力してもよい。

以上、分離部3の処理に関して図２の例では、[2]の撮像画像PIC1より矢印線L23で示すように生成された第一の補正画像COR1が[3]に示され、[2]の撮像画像PIC1より矢印線L25で示すように生成された第二の補正画像COR2が[5]に示されている。

図２に例示するように、撮像画像PIC1には外乱としてボケ・ブレ等BL1があるが、第一の補正画像COR1ではボケ・ブレ等BL1が消失ないし低減している。また、撮像画像PIC1には外乱としてホワイトノイズ等WH1と反射光の領域RF1とがあるが、第二の補正画像COR2ではホワイトノイズ等WH1が消失ないし低減すると共に、反射光の領域RF1及びその周辺領域がマスク領域M1として区別を与えられている。

（検出部4について）
検出部4は、分離部3で補正して得られた第一の補正画像から認識対象の特徴点を検出する。当該検出する特徴点には、認識対象におけるコーナーなどの特徴的な点を利用できる。検出部4において検出された複数の特徴点座標は、座標情報として算出部5へ出力する。検出手法としては、SIFT(Scale-Invariant Feature Transform)やSURF(Speeded Up Robust Features)などの特徴的な点を検出する既存手法が利用できる。

なお、検出部4では第一の補正画像を対象として特徴点を検出するので、当該画像に認識対象以外の領域があれば、当該領域から認識対象以外の特徴点が検出されうる。ただし、認識対象以外の特徴点に関しては、その特徴量が後段の認識部7においては照合されない可能性が高い。

図２の例では、[3]の第一の補正画像COR1を対象として検出部4が検出した結果の例が、矢印線L34で示す[4]において座標情報POS1として示されている。当該例示される座標情報POS1は「○」で示す5か所の座標の情報となっており、全て[2]の対象OBJ1を構成するエッジとなっている。上記のように一般には、対象以外からも特徴点は検出されうる。

（算出部5について）
算出部5は、検出部4で検出された特徴点座標を中心として、分離部3で補正して得られた第二の補正画像から特徴量を算出する。算出部5において算出された複数の特徴量は特徴情報として認識部7へ出力する。算出手法としては、SIFT(Scale-Invariant Feature Transform)やSURF(Speeded Up Robust Features)などの特徴的な量を算出する既存手法が利用できる。

図２の例では、算出部5の処理が[6]に示されている。すなわち、矢印線L46で示すように、検出部4にて得た座標情報POS1で指定される一連の座標位置において、矢印線L56で示すように分離部3にて得た第二の補正画像COR2を対象（特徴量を算出するための局所領域の画素の参照対象）として特徴量を算出することで、一連の特徴量F1が得られている。さらに、矢印線L16に示すように、後段の認識部7では特徴量F1を用いることで、撮像画像PIC1における対象OBJ1が認識対象R1に該当するものであるとの認識結果を得ることができる。

本発明においてはこのように、従来技術とは異なり、特徴点検出と特徴量算出とを異なる画像（それぞれ第一の補正画像と第二の補正画像）で実施する。従って、検出処理に適した第一の補正画像生成が撮像画像を著しく劣化させたとしても、第二の補正画像を対象とする特徴量算出は影響を受けないという効果が得られる。これにより、撮像画像が外乱の影響を受けている場合であっても、特徴点を頑健に検出したうえで外乱の影響を低減した特徴量を算出部5において算出することができ、後段の認識部7において頑健に認識を実施することができる。

（記憶部6について）
記憶部6は、事前に１つ以上の所定の認識対象から特徴量を算出し提示情報と紐づけて認識対象毎に対象情報として記憶しておく。当該紐付ける提示情報は、後段の提示部8において例えば拡張現実表示を行うためのものとして、認識対象に応じた所定の情報（画像、映像、音声、テキストその他）を紐付けておくことができる。例えば認識対象が特定の商品であれば、対応するクーポン情報を提示情報として紐付けておくことができる。

なお、事前に算出される特徴量に関しては、認識対象に人工的な外乱を加えたうえで算出し、記憶部6に記憶するようにしてもよい。人工的外乱を加えた後、分離部3における第二の補正画像の生成処理におけるのと同等の補正処理を適用した上で、特徴量を算出・記憶することもできる。これらの際、人工的な外乱の種別や強度に応じて複数の特徴量を格納してもよい。すなわち、特徴量を人工的な外乱の種別や強度と紐付けて記憶するようにしてもよい。認識部7へ特徴量を出力する際には、分離部3における第二の補正画像の生成処理の際に推定された外乱の種別や強度に応じた特徴量に限定することにより、認識部7での認識精度を向上させるようにしてもよい。すなわち、外乱によって特徴量自体が変化する場合もあるので、認識率向上に寄与する。また、外乱が大きいのに小さいと誤判定された場合の備えにもなる。

なお、上記のように人工的な外乱を加えたうえで特徴量を算出し、記憶するに際して、特徴量を算出するための特徴点の座標に関しても、人工的な外乱を加えた後に分離部3における第一の補正画像の生成処理におけるのと同等の補正処理を適用した認識対象の画像より検出しておけばよい。

（認識部7について）
認識部7は、算出部5で算出された特徴情報と記憶部6に記憶された特徴情報とを比較することで、撮像部2で得た撮像画像内における認識対象を認識する。すなわち、記憶部6で記憶されている1つ以上の所定の認識対象のいずれに、撮像画像内の対象が該当するのかを特定する。認識部7ではさらに、特定した認識対象に対応する提示情報を記憶部6から読み込み、提示部8へと出力する。

ここで、特徴情報同士を比較する際には、各種の周知手法を利用することができ、算出部5の算出した特徴情報に最も近い特徴情報を記憶部6の中から決定し、対応する認識対象を特定することができる。例えば、RANSAC(Random Sample Consensus)等により、特徴情報を構成している各特徴量をそれぞれ個別にマッチングすることを試みながら外れ値を排除することで、全体として最もマッチングしているものを特定する手法を用いてもよい。あるいは、BoVW（バグオブビジュアルワード）のヒストグラム同士の類似度を算出してもよい。

なお、認識部7は、特徴情報の対応関係から認識対象と撮像部2の相対的位置関係を計算し提示情報の一つとして出力してもよい。この場合、上記の個別のマッチングにより対応関係を求めると共に、記憶部6に特徴量を記憶しておくに際してさらにその画像情報の座標情報を紐付けて予め記憶しておき、撮像画像における一連の座標との間で周知の平面射影変換の関係を求めることにより、相対的位置関係を計算することができる。

（提示部8について）
提示部8は、認識部7が出力した提示情報をユーザに対して提示する。当該提示の態様は、提示情報の種類に応じた態様で提示すればよい。例えば画像、映像、テキスト等であれば表示し、音声であれば再生すればよく、これらの組み合わせで提示してもよい。具体的にどのように提示するかに関しても、提示情報内に定義しておき、記憶部6に予め記憶させておけばよい。

当該提示する際、提示情報が画像、映像等の表示するものであれば、撮像部2で得た撮像画像に重畳させて提示するようにしてもよい。認識部7において相対的位置関係を計算した場合であれば、周知の拡張現実表示により、撮像画像内に実在する立体のように提示するようにしてもよい。この場合、当該提示する立体の情報を予め記憶部6に記憶させておけばよい。

以上、本発明によれば、撮像対象を撮像部2で撮像することで、ユーザは提示部8を参照し、撮像対象に関連する情報を読み取る等して知ることができる。また、特徴点検出に用いる画像と特徴量算出に用いる画像を分離することで、撮像画像に外乱が加わる場合であっても高精度な認識が可能となる。

以下、本発明における補足的事項を（１）〜（６）として説明する。

（１）図１に示した情報端末装置1の各部2〜8のうちの任意の一部分を、情報端末装置1には備わらない外部構成として、例えば外部のサーバが当該一部分の機能を担うようにしてもよい。例えば、記憶部6及び／又は認識部7の機能を外部のサーバ等が担うようにしてもよい。このような場合も、情報端末装置1と当該外部のサーバとの間で通信を行い必要な情報を送受することで、以上説明したような情報端末装置1の機能と同様の機能を実現することができる。

（２）図１に示した情報端末装置1では、各部2〜8を全て備えることで最終的に提示部8において提示情報をユーザに提示する処理を行うものとしたが、その途中までの処理を行う構成のみを備えて情報端末装置1を提供することも可能である。

例えば、情報端末装置1が算出部5までの各部2〜5を備える構成の場合、情報端末装置1では撮像画像より外乱に対して頑健な特徴情報を算出することが可能である。当該算出した特徴情報は、各部6〜8による認識処理及び提示処理以外の用途にも利用可能である。

また例えば、情報端末装置1が認識部7までの各部2〜7を備える構成の場合、情報端末装置1では撮像画像より外乱に対して頑健に撮像対象の認識結果を得ることができる。この場合、記憶部6では認識対象に対して提示情報を紐付けて記憶しておかなくともよい。当該得た認識結果は、提示部8による提示情報の提示以外の用途にも利用可能である。

（３）情報端末装置1では、リアルタイムの映像を処理対象としてもよいし、ある1時刻の画像のみを処理対象としてもよい。すなわち、撮像部2において一連の撮像画像をリアルタイムに撮像されている映像の各時刻におけるフレームとして得て、提示部8における情報提示までの一連の処理をリアルタイムで実施するようにしてもよいし、撮像部2においてユーザ指示に従ってある1時刻のみの撮像画像を得て、当該1つの撮像画像のみを対象として提示部8における情報提示までの一連の処理を実施するようにしてもよい。

（４）本発明は、コンピュータを情報端末装置1の各部2〜8の全て又はその任意の一部分として機能させるプログラムとしても提供可能である。当該コンピュータには、CPU(中央演算装置)、メモリ及び各種I/Fといった周知のハードウェア構成のものを採用することができ、CPUが情報端末装置1の各部の機能に対応する命令を実行することとなる。

（５）分離部3において第二の補正画像を生成するに際し、細かな文字領域をマスク領域として設定する場合、以下のような種々の実施形態が可能である。

（５−１）マスクとして設定された細かな文字領域の情報を前もって検出部4に出力しておき、検出部4では第一の補正画像より特徴点を検出するに際して、当該細かな文字領域は、検出処理を試みる対象から省略するようにしてもよい。この場合、マスク領域における特徴点算出処理を省略できるので、処理を高速化することができる。

（５−２）さらに、検出部4で上記のように省略した結果、特徴点数が不足してしまうこともありうる。不足しているか否かは、検出した特徴点数が所定数以下であるか否かで判定すればよい。不足していると判定された場合には、検出部4では細かな文字領域であるものとして処理対象から省いた領域に対して、特徴点の検出処理を行うことで、特徴点数を補充するようにしてもよい。

（５−３）上記のように特徴点数を補充する際は、細かな文字領域としてマスクされた全体を一括で対象として特徴点を検出するようにしてもよいし、優れた特徴量が算出される可能性の高い特徴点から逐次的に検出して、検出された総数が所定数（上記の不足判定数と同じ数でもよいし、別の数でもよい）に到達する又は当該所定数を超えるまで当該逐次的に検出することを継続するようにしてもよい。

上記のように逐次的に検出することを継続する際は、マスクされた細かな文字領域のうち、文字サイズが大きい領域から順次、検出処理を行うようにすればよい。ここで、領域の文字サイズの判断に関しては、分離部3でマスク設定する際にマスク領域内の各領域のサイズを求めているので、当該求めたサイズの情報に従って判断することが可能である。

（６）上記（５）とは異なり、細かな文字領域をマスク領域として最初から設定することを必ずしも必要とはしないが、上記（５−３）と同様の結果（優れた認識結果）を得るべく、次のようにしてもよい。すなわち、検出部4にて検出される特徴点の個数が所定閾値を超える場合、算出部5において、特徴量を算出する個数が当該所定閾値を超えないように、撮像画像においてより細かい文字領域であると判定される領域にある位置より順次、特徴量を算出する対象から除外するようにしてもよい。こうして、細かい文字領域における認識性能の悪い特徴量を排除ないし制限することが可能となる。ここで、文字領域における文字の細かさ（小ささ）は上述のように、文字領域を検出したうえでそのサイズの小ささとして求めればよい。また、当該除外することは、検出部4の特徴点検出の時点で実施するようにしてもよい。当該（６）及び（５）は組み合わせて実施してもよい。

1…情報端末装置、2…撮像部、3…分離部、4…検出部、5…算出部、6…記憶部、7…認識部、8…提示部

Claims (13)

1. 撮像を行い撮像画像を得る撮像部と、
   前記撮像画像に対して特徴点検出に対する外乱の補正を行い第一の補正画像を生成すると共に、前記撮像画像に対して特徴量算出に対する外乱の補正を行い第二の補正画像を生成する分離部と、
   前記第一の補正画像より特徴点を検出し、その座標情報を得る検出部と、
   前記第二の補正画像において前記座標情報に該当する各位置より特徴量を算出することで、前記撮像画像に対する特徴情報を得る算出部と、を備えることを特徴とする情報端末装置。
2. 前記分離部は、前記第一の補正画像を生成するに際して、前記撮像画像における前記特徴点検出に対する外乱の種別及び強度を推定し、当該推定結果に応じた補正を行うことを特徴とする請求項１に記載の情報端末装置。
3. 前記分離部は、前記特徴点検出に対する外乱の種別をボケ及び／又はブレとして推定することを特徴とする請求項２に記載の情報端末装置。
4. 前記分離部は、点広がり関数を推定することで、前記撮像画像における前記特徴点検出に対する外乱の種別及び強度を推定することを特徴とする請求項２に記載の情報端末装置。
5. 前記分離部は、前記撮像画像において特徴点の検出を行い、当該検出された特徴点の個数に基づいて前記外乱の強度を推定することを特徴とする請求項２に記載の情報端末装置。
6. 前記分離部は、前記第二の補正画像を生成するに際して、前記撮像画像におけるホワイトノイズの強度を推定し、当該推定した強度に応じたホワイトノイズの低減を行うことを特徴とする請求項１ないし５のいずれかに記載の情報端末装置。
7. 前記分離部は、前記第二の補正画像を生成するに際して、前記撮像画像における高輝度領域及びその周辺領域を反射光の領域としてマスク領域に設定し、且つ／又は、前記撮像画像における閾値判定で細かい文字の領域と判定される領域をマスク領域に設定し、
   前記算出部では、前記特徴量を算出するに際して、前記マスク領域内にある位置からの算出は行わないことを特徴とする請求項１ないし６のいずれかに記載の情報端末装置。
8. 前記検出部にて検出される特徴点の個数が所定閾値を超える場合、前記算出部では、前記特徴量を算出する個数が当該所定閾値を超えないように、前記撮像画像においてより細かい文字領域であると判定される領域にある位置より順次、前記特徴量を算出する対象から除外することを特徴とする請求項１ないし７のいずれかに記載の情報端末装置。
9. 前記分離部は、
   前記撮像画像に対して特徴量算出に対する外乱の補正を行うことを省略して前記撮像画像をそのまま前記第二の補正画像として生成する、または、
   前記撮像画像に対する特徴量算出に対する外乱の大きさを推定し、当該推定した外乱が小さいと判定される場合に、前記撮像画像に対して特徴量算出に対する外乱の補正を行うことを省略して前記撮像画像をそのまま前記第二の補正画像として生成する、ことを特徴とする請求項１ないし８のいずれかに記載の情報端末装置。
10. 前記分離部は、前記撮像画像に対する特徴点算出に対する外乱の大きさを推定し、当該推定した外乱が小さいと判定される場合に、前記撮像画像に対して特徴点算出に対する外乱の補正を行うことを省略して前記撮像画像をそのまま前記第一の補正画像として生成することを特徴とする請求項１ないし８のいずれかに記載の情報端末装置。
11. １つ以上の所定の認識対象につきそれぞれ算出した特徴量を、各認識対象の特徴情報として記憶する記憶部と、
    前記算出部が算出した特徴情報が、前記記憶部の記憶しているいずれの特徴情報に該当するかを特定することにより、前記撮像画像に撮像されている認識対象を特定する認識部と、をさらに備えることを特徴とする請求項１ないし１０のいずれかに記載の情報端末装置。
12. 前記記憶部は、所定の認識対象の画像に対して人工的な外乱を加えたうえで算出した特徴量を、又は、所定の撮像対象の画像に対して人工的な外乱を加えさらに補正したうえで算出した特徴量を、当該加えた人工的な外乱の種別及び／又は強度と紐付けて記憶し、
    前記分離部は、前記第二の補正画像を生成するに際して、前記撮像画像における前記特徴量算出に対する外乱の種別及び／又は強度を推定し、
    前記認識部は、前記算出部が算出した特徴情報が、前記記憶部の記憶しているいずれの特徴情報に該当するかを特定するに際して、前記分離部が前記推定した外乱の種別及び／又は強度に紐付いた特徴情報の中から特定することを特徴とする請求項１１に記載の情報端末装置。
13. 前記記憶部はさらに、各認識対象に対応する提示情報を記憶し、
    前記認識部はさらに、前記特定した認識対象に対応する提示情報を前記記憶部より読み出し、
    前記読み出した提示情報を提示する提示部をさらに備えることを特徴とする請求項１１または１２に記載の情報端末装置。