JP2019008441A - 情報処理装置及びプログラム - Google Patents

Abstract

【課題】画像から対象を高精度に認識するのに適した特徴情報を算出することのできる情報処理装置を提供する。【解決手段】情報処理装置10であって、撮像対象が撮像されている画像に複数の加工処理を施しそれぞれの加工画像を得る加工部2と、前記加工画像のそれぞれより特徴情報を算出する算出部3と、前記算出された特徴情報と所定の複数の認識対象に関して予め記憶されている特徴情報とを照合することにより、前記画像における撮像対象が当該所定の複数の認識対象のいずれに該当するかを認識する認識部4と、を備えることを特徴とする。【選択図】図１

Description

本発明は、画像から対象を高精度に認識するのに適した特徴情報を算出することのできる情報処理装置及びプログラムに関する。

画像から対象を認識する装置は、配布や提示が容易な媒体に記載されたアナログ情報からデジタル情報に変換させることが可能であり、利用者の利便性を向上させることができる。例えば、非特許文献１では、画像から特徴点を検出し、特徴点周辺から局所画像特徴量を算出した上で、事前に蓄積しておいた局所画像特徴量と照合することによって、対象の種類および相対的な位置関係を認識する。

さらに、認識精度を向上させる装置や頑健性を獲得する装置としては、以下のようなものが公開されている。非特許文献２では、画像を2軸回転で変形した上でSIFT特徴量を抽出し特徴点の対応付けを高精度化する。特許文献１では、特徴点の誤対応を低減するため、特徴点を頂点としたドロネー三角形分割とトポロジー評価によって認識率向上を図る。特許文献２では、特徴量の判別性能を評価することによって、有効な特徴量を選別する手法を開示している。特許文献３では、特徴点およびエッジの位置関係の類似度を判定することで、特徴点の対応付けを高精度化する。

特開２０１４−１２７０６８号公報 特開２０１４−１３４８５８号公報 特開２０１４−１２６８９３号公報

D. G. Lowe, "Object recognition from local scale-invariant features", Proc. of IEEE International Conference on Computer Vision (ICCV), pp.1150-1157, 1999. J.-M. Morel and G. Yu: "ASIFT: A new framework for fully affine invariant image comparison", SIAM J. Imaging Sciences, 2, 2, pp. 438-469, 2009.

しかしながら以上のような従来技術は、高精度な認識を行うためにはそれぞれ以下のような課題を有していた。

非特許文献１および特許文献１、特許文献２、特許文献３では、特徴点が十分に検出できないと精度が低下するという問題がある。特に、特徴点がもともと少ない対象については精度が大幅に低下する。また、類似した対象が存在する場合、差異がある領域から特徴が算出されないと誤認識する恐れがあるという問題がある。非特許文献２では、回転の変形により特徴点を検出しやすくなる場合があるため、上記問題を一部解決する。しかし、回転の変形に係る処理時間の増加および特徴点数の増加による処理時間の増加が問題となる。また、対象が複数存在する場合に対応できないという問題がある。

上記従来技術の課題に鑑み、本発明は、画像から対象を高精度に認識するのに適した特徴情報を算出することのできる情報処理装置及びプログラムを提供することを目的とする。

上記目的を達成するため、本発明は、情報処理装置であって、撮像対象が撮像されている画像に複数の加工処理を施しそれぞれの加工画像を得る加工部と、前記加工画像のそれぞれより特徴情報を算出する算出部と、前記算出された特徴情報と所定の複数の認識対象に関して予め記憶されている特徴情報とを照合することにより、前記画像における撮像対象が当該所定の複数の認識対象のいずれに該当するかを認識する認識部と、を備えることを特徴とする。また、本発明は、コンピュータを前記情報処理装置として機能させるプログラムであることを特徴とする。

本発明によれば、加工画像の利用により、画像から対象を高精度に認識するのに適した特徴情報を算出することができる。

一実施形態に係る情報処理装置の機能ブロック図である。 一実施形態に係る情報処理装置の動作のフローチャートである。 第二実施形態が好適な例として、立体形状の同一認識対象を様々な角度において認識可能とする例を示す図である。 図３の例に対応する例として、平面射影変換の加工処理を各k回目のループ処理において階層的に定義しておく例を示す図である。 図２の実施形態を前提にさらなる追加処理を行う実施形態のフローチャートである。 図５の実施形態を適用した模式例を、筐体として構成される撮像対象に関して示すものである。 図５の実施形態を適用した模式例を、前輪として構成される第一認識対象及び後輪として構成される第二認識対象に関して示すものである。

以下、図面を参照して本発明を説明する。本発明は、一例では拡張現実表示を実現する場合のように、情報処理装置10として携帯端末を利用し、撮像対象を任意の物体とする場合に好適である。しかし、本発明の情報処理装置は、携帯端末に限られるものではなく、撮像部1を備えたものであればどのような情報処理装置でもよく、例えば、デスクトップ型、ラップトップ型又はその他のコンピュータなどでもよい。また、撮像部1以外の一部若しくは全てをサーバーに設置し、情報を適宜、ネットワーク上の通信でやり取りしてもよい。同様に、撮像部1を外部構成としてもよく、例えばネットワーク上のサーバー等から取得した画像を対象として本発明を適用してもよい。

図１は、一実施形態に係る情報処理装置10の機能ブロック図である。情報処理装置10は、撮像部1、加工部2、算出部3、認識部4及び記憶部5を備える。当該各部の概要は以下の通りである。

撮像部1は、ユーザによる撮像操作等を受け付けることによって撮像対象を撮像して、その撮像画像を加工部2へ出力する。撮像対象には予め既知の認識対象が含まれる。認識対象は例えば、特徴等が既知の模様を持つマーカーや印刷物、立体物等であってよい。撮像部1を実現するハードウェアとしては、携帯端末には標準装備されていることの多いデジタルカメラを用いることができる。

加工部2は、撮像部1で撮像された撮像画像に１種類以上の加工処理を適用し、当該適用した加工処理ごとの加工画像を得て、算出部3へと出力する。例えば3種類の加工処理M101,M102,M103を適用するものとして予め設定されている実施形態であれば、撮像画像Pに当該3種類の加工処理M101,M102,M103を適用して3つの加工画像Q101,Q102,Q103が得られ、算出部3へと出力されることとなる。なお、当該複数の加工処理の中には、何も加工しない処理、すなわち、撮像画像をそのまま加工画像とする処理が含まれていてもよい。

ここで、当該適用する加工処理の種類や適用順番などは、所定の種類の加工処理や、所定規則による所定順番での加工処理といったものを、実施形態に応じて予め設定しておく。なお、当該所定規則の適用の一例として、図１中に線L2で示されているように、認識部4での認識結果に基づく加工部2への指示という形で適用されるものがある。加工部2の各実施形態の詳細は後述する。

算出部3は、まず加工部2で得られされた加工画像のそれぞれから認識対象の特徴点を検出する。当該検出する特徴点には、認識対象におけるコーナーなどの特徴的な点を利用できる。検出手法としては、SIFT (Scale-Invariant Feature Transform)やSURF (Speeded Up Robust Features)などの特徴的な点を検出する既存手法が利用できる。後述する統合化された特徴情報の算出においては、検出された特徴点座標は複数の加工情報間で共有し、特徴点の検出漏れを抑制してもよい。

算出部3では次に、当該検出された特徴点座標を中心として、それぞれの加工画像から局所画像特徴量を算出する。算出部3で以上のように算出された複数の特徴点および局所画像特徴量は、各加工画像における特徴情報として認識部4へ出力する。例えば３つの加工画像Q101,Q102,Q103が得られている場合であれば、３つの対応するそれぞれの特徴情報f101,f102,f103が認識部4へ出力される。局所画像特徴量の算出手法としては、SIFT(Scale-Invariant Feature Transform)やSURF(Speeded Up Robust Features)などの特徴的な量を算出する既存手法が利用できる。

認識部4は、算出部3で算出された特徴情報と記憶部5に記憶された特徴情報との類似度を求めることで、類似度最大に該当するものとして撮像部1で得た撮像画像における撮像対象の認識結果を得る。すなわち、記憶部5で記憶されているリファレンスとしての1つ以上の所定の撮像対象のいずれに、クエリとしての撮像画像内の対象が該当するのかを特定する。ここで、特徴情報同士を比較する際には、各種の周知手法を利用することができ、例えば、RANSAC(Random Sample Consensus)等により、特徴情報を構成している各特徴量をそれぞれ個別にマッチングすることを試みながら外れ値を排除することで、全体として最もマッチングしているものを特定する手法を用いてもよい。

ここで、撮像部1でクエリとして得た撮像画像Pが加工されて得られた１つ以上の加工画像Qi(i=1,2,...)における特徴情報fi(i=1,2,...)と、記憶部5で記憶しておくリファレンスとしての対象Oj(j=1,2,...)における特徴情報Fj(i=1,2,...)と、の類似度スコアscore(fi,Fj)を求めたうえで、当該類似度スコアの最大値を与えるようなペア(加工画像Qmax_i, 対象Omax_j)を特定することで、認識部4の認識結果を得ることができる。式で書けば以下の通りである。

すなわち本発明においては、撮像画像Pに対応する対象は記憶部5に記憶されている対象Omax_jである旨（通常の意味での認識結果）と、当該最大類似度を与えているのは撮像画像Pから得られた加工画像Qmax_iである旨（及び対応する加工部2における加工処理が加工処理Mmax_iである旨）が、認識結果に含まれて得られることとなる。

なお、上記の認識結果は後述する実施形態Aにおけるものであり、後述する実施形態Bでは別形式での認識結果が得られることとなる。

記憶部5は、事前にリファレンスとしての認識対象のそれぞれから算出された特徴情報を記憶しておき、上記説明した認識部4での認識処理の参照に供する。当該記憶しておく特徴情報の算出は、算出部3におけるのと同一種類の手法を用いる。

図２は、一実施形態に係る情報処理装置10の動作のフローチャートである。図示する通り、ステップS2〜S5,S7はループ（繰り返し）処理となっているが、各ステップの説明の際に当該時点におけるループ処理の回数をk(k=1,2, ...)として参照することとする。各ステップの処理内容は以下の通りである。

ステップS1では、撮像部1が認識対象の撮像を行い撮像画像Pを得て加工部2に出力したうえで、ステップS2へと進む。ステップS2では、加工部2が当該得られた撮像画像Pに対して所定の複数の加工処理を行い、各加工処理に応じた加工画像を得て算出部3へと出力したうえで、ステップS3へと進む。ここで、ステップS2における加工処理は、加工部2の各実施形態における当該ループ処理k回目に応じた所定種類K(k)個の加工処理M(k,i)(i=1, 2, ..., K(k))であり、各加工処理に応じた加工画像Q[M(k,i)]が出力される。当該加工処理M(k,i)の具体例としての、加工部2の各実施形態は後述する。

ステップS3では、直近のステップS2にて上記得られた各加工画像Q[M(k,i)]より算出部3がその特徴情報f[M(k,i)]を算出して認識部4へと出力したうえで、ステップS4へと進む。ステップS4では、直近のステップS3にて上記得られた各特徴情報f[M(k,i)]と、記憶部5にて各認識対象Ojに関して記憶されている特徴情報Fjと、の類似度スコアscore(f[M(k,i)],Fj)が最大となるものを、前述の式(1)の通りに認識部4が求めることによって認識結果を得てから、ステップS5へと進む。ここで、当該k回目のループ処理のステップS4において得られた認識結果を、加工処理M(k,imax(k))の加工画像Q(k,imax(k))とリファレンスの認識対象Ojmax(k)）との間で類似度スコアが最大であったものとして符号表記する。

また、ステップS3及びS4の別の実施形態として、次のようにしてもよい。すなわち、ステップS3では得られた各特徴情報f[M(k,i)]を一連の加工処理M(k,i) (i=1, 2, ..., K(k))の間で統合したものとして撮像画像Pの統合された特徴情報f[k]を求めて認識部4へと出力するようにし、ステップS4では認識部4が当該統合された特徴情報f[k]と各認識対象Ojに関して記憶されている特徴情報Fjと、の類似度スコアscore(f[k],Fj)が最大となるもの(j=jmax(k))を認識結果Ojmax(k)を出力するようにしてもよい。

ここで、説明の明確化のため、ステップS3及びS4の前者の実施形態（加工処理ごとの個別の特徴情報f[M(k,i)]で類似度評価などを行うもの）を実施形態A、後者の実施形態（一連の加工処理の間で統合された特徴情報f[k]で類似度評価などを行うもの）を実施形態Bと呼ぶこととする。

ステップS5では、認識部4が当該k回目の時点において最終的な認識結果に相当するものが得られているか否かの判断を行い、得られている肯定判断の場合はステップS6へと進み、得られていない否定判断の場合はステップS7へと進む。

ステップS5における判断は、実施形態に応じて当該時点の回数kが所定上限値に到達しているか否かで判断してもよいし、当該k回目の時点までのステップS4で得られている一連の最大類似度スコアのうち所定閾値を超えるものがあるか否かで判断してもよい。なお、当該時点での回数kの所定上限値としては「1」を設定する実施形態も可能であり、この場合、ステップS7を経由した2回目以降のループ処理は行われない。

ステップS6では、以上の各k回のループ処理における一連のステップS4で得られた認識結果の中から選ぶことで認識部4が最終的な認識結果を出力したうえで、図２のフローは終了する。当該選ばれる最終的な認識結果は、最後のステップS4における結果であってもよいし、一連のステップS4における最大類似度スコアを与えているものであってもよい。図１では、当該選ばれた最終的な認識結果の出力が線L1で示されている。

ステップS7では、実施形態Aが適用される場合、認識部4が直近のステップS4においてループ処理k回目に関して得た認識結果（加工画像M(k,imax(k))及びリファレンスの認識対象Ojmax(k)）の間で類似度スコアが最大となったという認識結果）に基づき、加工部2に対して次のループ処理k+1回目における加工処理M(k+1,i)(i=1, 2, ..., K(k+1))を指定してから、ステップS2へと戻る。こうして、ループ処理k+1回目におけるステップS2では、加工部2は当該直近のk回目のステップS7で認識部4より当該指定された加工処理M(k+1,i)(i=1, 2, ..., K(k+1))を行って各加工画像を得て、継続するステップS3,S4でも当該k+1回目の加工画像や特徴情報に応じた同様の処理が継続されることとなる。

また、ステップS7では、実施形態Bが適用される場合も上記の実施形態Aの場合と同様に、その認識結果（統合された特徴情報f[k]との類似スコア算出で対象Ojmax(k)が最大類似度となったという認識結果）に基づいて、ループ処理k+1回目における加工処理M(k+1,i)(i=1, 2, ..., K(k+1))を指定するようにしてもよい。当該指定する例としては後述する補足（２）の実施形態が挙げられる。

以上、図２のフローチャートを説明した。当該フローは加工部2による加工処理や、当該加工処理の認識部4による指定処理の一般的な形を与える一実施形態となっているが、以下では、これら加工や指定についての具体的な各実施形態を説明する。

第一実施形態は、k=1の初回の時点でステップS5からステップS6へと至り2回目以降のループ処理は行わず、且つ、実施形態Bが適用されるものである。

第一実施形態では、具体的にステップS2における加工部2の加工処理として予め設定した一種類以上の解像度変換を適用する。第一実施形態は次のような考察に基づくものである。すなわち、後段のステップS3の算出部3による特徴点算出は、僅かな画像の相違から分布が変化するという性質があるので、1枚の撮像画像PのみからN個の特徴点を算出するより、異なる解像度に変換されたM枚の加工情報からそれぞれN/M個の特徴点を算出する方が、同一のN個の特徴点において対応付けに効果的な特徴点算出が期待できる、という考察である。

また、第一実施形態のステップS3における算出部3による統合された特徴情報の算出は具体的には、座標が重複する特徴を統合するようにすればよい。すなわち、解像度変換した各加工画像間では座標位置の対応関係が既知であるで、第一解像度の第一加工画像における第一特徴点と、第二解像度の第二加工画像における第二特徴点とが、当該位置関係の変換の適用により閾値判定で同位置にあると判定される場合には、第一特徴点の第一特徴量と第二特徴点の第二特徴量とを平均した一つの特徴量を、当該互いに対応する特徴点の特徴量として求めるようにすればよい。ここでは２枚の異なる解像度加工画像間での統合を説明したが、３枚以上の画像間でも全く同様に座標位置の対応関係の閾値判定により、平均化した特徴量を求めることができる。当該統合により、必要最低限の特徴を選別でき、特徴点数の増加を抑制できるため処理時間の高速化も期待できる。

なお、第一実施形態のステップS2における加工部2での解像度変換に際しては、認識部4での認識に既存技術である幾何検証も利用する実施形態においては、撮像画像のアスペクト比を維持するような一連の解像度変換を用いることが望ましい。ただし、僅かなアスペクト比の変化は幾何検証の閾値設定で許容できるため、あえてアスペクト比を所定範囲内において変化させることで特徴点分布の変化を促すこともできる。例えば、一画素だけ異なる複数の解像度に変換するようにしてもよい。具体例を挙げると、当初の撮像画像が640×480画素である場合に、641×480画素、640×481画素、641×481画素といった解像度変換された加工画像を出力するようにしてもよい。639×480画素といったように１画素だけ減らす加工画像を出力してもよい。

第二実施形態は、実施形態Aが適用されるものである。

具体的に、第二実施形態では、加工処理として予め設定した一つ以上の平面射影変換（ホモグラフィ行列による変換）を適用する。第二実施形態は次のような考察に基づくものである。すなわち、後段の算出部3において特徴量算出は相対的な位置関係（撮像部1を構成するカメラに対する姿勢等の位置関係）によって値が変化するため、撮像画像からそのまま特徴量を算出するより、記憶部5に記憶された特徴量が算出された際の位置関係と同じ位置関係となるように平面射影変換された加工画像から特徴量を算出する方が、対応付けに効果的な特徴量算出が期待できるという考察である。

例えば、立体形状の同一認識対象を様々な角度から撮影した画像から算出された特徴量が、同一認識対象の異なる姿勢におけるものとして（形式上はそれぞれ異なる認識対象であるものとして）記憶部5に記憶されている場合、撮像対象を撮像した撮像画像からは正対した領域からの特徴量のみが正しく判定されうるが、正対していない領域からの特徴量は記憶部5に保持された特徴量とは一致しない。斜めから撮像するような射影変換を撮像情報に適用した加工画像を生成することで、認識部4での対応付けに効果的な特徴量算出が期待できる。

図３は、第二実施形態が好適な例として、当該立体形状の同一認識対象を様々な角度において認識可能とする例を示す図である。すなわち、撮像画像Pには直方体状の筐体を備える家電品が認識対象として撮像されているものとする。第二実施形態において予め設定されている複数の平面射影変換の中に、平面射影変換M1,M2,M3があったものとし、各変換M1,M2,M3（ホモグラフィ行列による変換）を撮像画像Pに適用した結果が図示する通りの加工画像Q1,Q2,Q3であったものとする。この場合、加工画像Q1,Q2,Q3はそれぞれ、撮像画像Pに撮像されている直方体状の筐体において、上面、左側面、右側面を撮像画像Pの場合よりもより正対した状態に変換するものとなっている。従って、記憶部5に予め当該上面、左側面、右側面が正対した状態の当該筐体におけるリファレンス画像からそれぞれ特徴情報を算出したものを記憶しておけば、第二実施形態においてこれら各面の高精度な認識が可能となる。

また特に、一般に撮像画像Pにおいて撮像対象の姿勢は未知であるが、第二実施形態においては一連の平面射影変換行列を予め設定しておくことで、少なくともいずれかの変換が図３のように概ね正対させる変換となり、記憶部5で記憶されている特徴情報と類似する特徴情報が得られるようにする確率を高めることができる。当該設定しておく一連の平面射影行列の中には、少なくとも平面の向きを変えるもの（カメラの光軸回り以外での回転成分を含むことでカメラ中心からの距離を変化させるような回転を含むもの）が含まれていることが好ましい。

以上の第二実施形態を図２のフローにおいてループ処理回数k≧2以降に適用する場合、各k回に適用する複数の平面射影変換をツリー状に定義しておくことで、段階的・反復的な認識部4による認識精度向上が期待できる。すなわち、図２のステップS7においては、当該k回目のループ処理において最大類似度スコアを与えた平面射影変換としての加工処理M(k,imax(k))の近傍の変換が行われるような加工処理をk+1回目に適用すべきものとして定義しておけばよい。すなわち、k回目の各加工処理M(k,i)(i=1, 2, ..., K(k))について、その近傍の加工を与える加工処理をk+1回目に適用すべきものとして定義しておけばよい。

図４は、図３の例に対応する例として、平面射影変換の加工処理を各k回目のループ処理において階層的に定義しておく例を示す図である。例えばk=1回目のループ処理で図３でも説明した通りの加工画像Q1（筐体の上面を概ね正対（正面化）させる変換M1におけるもの）が最大類似度を与えたのであれば、続くk=2回目のループ処理においては、変換M1の近傍で変換する例えば３つの変換M11,M12,M13を加工適用対象として設定しておくことで、上面の概ね正対した状態でさらに上面がより正対状態に近くなる加工画像がQ11,Q12,Q13のいずれかにおいて得られる可能性を高めることができる。

すなわち、図４の例より明らかなようにループ回数kが小さい間は複数の変化の大きな粗い平面射影変換が適用され、ループ回数kが大きくなるにつれ類似度最大で選択されたk-1回目の平面射影変換の近傍で変化の小さな平面射影変換が適用されるように、各k回における加工処理をツリー状に定義しておけばよい。

なお、変換M11,M12,M13は当初の撮像画像Pに適用することで加工画像Q11,Q12,Q13がそれぞれ得られるようなものとして定義しておいてもよいし、前提となる加工画像Q1をさらに当該変換M11,M12,M13で変換することで加工画像Q11,Q12,Q13がそれぞれ得られるようなものとして定義しておいてもよい。加工部2による加工処理も当該定義しておいたのと同様の方式で加工してよい。

図５は、図２の実施形態を前提にさらなる追加処理を行う実施形態のフローチャートである。当該実施形態は、撮像画像Pにおける撮像対象の一部（以下説明する「第一対象」）を認識した結果に基づいて段階的に加工処理を施すことで、撮像対象のさらに別の一部（特に、当初の撮像画像Pにおいては認識が困難であった別の一部としての、以下説明する「第二対象」）をも認識可能とするものである。以下、図５の各ステップを説明する。

ステップS11では、情報処理装置10が図２のフロー全体を行うことにより、撮像画像Pにおける第一対象の認識結果を得てから、ステップS12へと進む。当該ステップS11は、図２のフローを平面射影変換で加工する第二実施形態によって実現するのが好ましい。

ステップS12では、加工部2が撮像部1で得た撮像画像P（対応する図２のフローのステップS1で得たもの）を第二対象の認識に適した状態となるように加工した加工画像を得たうえで、ステップS13へと進む。

ステップS12における加工部2の加工は、次のようにすればよい。前提として、ステップS11における第一対象の認識において追加処理として、第一対象の撮像部1のカメラ中心に対する位置姿勢を表す平面射影変換H1を認識部4において求めておくものとする。当該平面射影変換H1は、既存技術である幾何検証や、あるいは拡張現実分野における既存技術としての正方マーカーの位置姿勢認識でなされているのと同様の手法により、記憶部5に記憶しておく特徴情報における座標と撮像画像Pにおける認識対象の対応する座標との変換関係を与えるものとして、求めることができる。あるいは、別実施形態として、ステップS11における第一対象の認識で最も高い類似度を与えた加工処理における平面射影変換行列を、近似的にH1に該当するものとして採用するようにしてもよい。当該別実施形態では、上記のように座標の変換関係を追加的に求める処理が省略可能となる。

また前提として、記憶部5では、ステップS11で認識された第一対象に紐づけて、第二対象を正対化する平面射影変換行列H2の情報を予め登録しておくものとする。すなわち、画像Pに対して上記２つの平面射影変換の積H2*H1による変換を適用することで、第二対象が正対化（及び拡大化）されることが可能となるように、行列H2を登録しておくものとする。行列H2はすなわち、第一対象と第二対象との位置関係に基づいて与えられるものであり、第一対象が所定サイズでカメラ（撮像部1のカメラ中心）に対して正対した状態の画像（撮像画像Pを行列H1で変換した画像H1(P)）をさらに行列H2で変換することによって、第二対象が所定サイズでカメラ（撮像部1）に対して正対した状態の画像H2*H1(P)を得ることができるものである。

ステップS12では加工部2は当該登録された行列H2とステップS11で求まっている行列H1との積H2*H1を撮像画像Pに適用することで、第二対象が正対・拡大された加工画像H2*H1(P)を得てから、ステップS13へと進む。

ステップS13では、当該加工画像H2*H1(P)より算出部3が特徴情報を算出し、且つ、認識部4が当該算出された特徴情報と記憶部5に記憶された特徴情報との類似度照合を行うことにより、第二対象が何であるかを認識する。ステップS14では、認識部4が以上のように得た第二対象の認識結果を出力して、図５のフローは終了する。

なお、記憶部5では第一対象に対して、所定の行列H2と、対応する第二対象の候補としての複数の対象の特徴情報を登録しておき、ステップS13では当該複数の候補となる第二対象からいずれに該当するかを特定することができる。すなわち、第二対象は複数を登録しておきこれらの中から認識結果を得るが、行列H2は当該複数登録されたものについて共通のものを記憶部5に登録しておく。

図６及び図７は図５の実施形態を適用した模式例をそれぞれ示すものである。図６では、撮像画像Pに対して図５の実施形態で加工処理M1が適用され筐体（図３，４の例と同様の筐体）の上面F1が概ね正対した状態の画像Q1において、当該上面が認識される。当該認識結果において行列H1が求まると共に、認識された上面F1（第一対象）に対応して予め記憶されている行列H2を用いることで、第二対象としての側面F2が拡大・正対状態となった加工画像Q20=H2*H1(P)が得られ、当該加工画像Q20において側面F2が第二対象として高精度に認識される。

上記の図６の例では第一対象と第二対象が筐体において互いに辺を共有する面（すなわち、互いに辺を共有し隣接している上面F1及び側面F2）として近接していたが、全く同様に、空間的に離れた第一対象と第二対象とを図５の実施形態によって認識することも可能である。図７は当該空間的に離れた第一対象と第二対象の例であり、車両（不図示）の前輪W1が第一対象として加工画像WQ1（なお、図７では正対状態に変換する行列H1が加工画像WQ1を得る行列と一致していた場合が示されている）において認識されたうえで、当初の撮像画像Pではサイズが小さく且つ後方側に歪んで存在していたために認識が困難であった後輪W2が拡大・正対化された加工画像WQ2=H2*H1(P)において認識可能となる例である。

例えば図７のような例であれば、前輪W1の拡大正対状態から後輪W2の拡大正対状態へと変換する行列H2を固定的なものとして記憶部5に登録しておき、第一対象としての前輪W1及び第二対象としての後輪W2のそれぞれの種類が複数の候補のいずれかに該当するものとして記憶部5に記憶しておき、情報端末装置10による認識を行うことができる。さらに既存技術である拡張現実による重畳で、撮像画像Pにおいて小さく歪んだ後輪W2に対して高精度な重畳表示を行うことも応用例として可能である。

以上、本発明によれば、撮像画像を加工することで複数の加工画像を生成し、それぞれから算出した特徴情報を利用することにより、撮像画像における撮像対象を高精度に認識することが可能となる。以下、本発明における説明上の補足を述べる。

（１）本発明の各実施形態は種々の組み合わせも可能である。例えば、第一実施形態（解像度変換）で認識部4において最良の認識結果（類似度スコア最大）を得た際の加工情報M201を利用して、第二実施形態（平面射影変換）の適用を行うようにしてもよい。この場合、第二実施形態において撮像部1が出力し認識対象とされる撮像画像Pを、加工情報M201を適用したものに置き換えたうえで、以上説明した通りの第二実施形態を適用すればよい。

（２）また、第一実施形態（解像度変換）はk=1の初回の時点でステップS5からステップS6へと至り2回目以降のループ処理は行わないものとしたが、変形例としてk≧2以降の繰り返し処理を解像度変換に関して行うこともできる。この場合、特徴情報f[k]は各解像度の加工画像を統合したものとして得るようにするが、統合された情報ひとつひとつがどの解像度変換から生成されたのかを保持しておき、RANSAC等でインライアと判定された特徴情報が最も多く含まれる解像度の近傍解像度の加工を次のk+1回目の繰り返し処理で適用するように、図４を用いて平面射影変換に関して説明したのと同様のツリー構造を、解像度変換に関して予め設定しておけばよい。なお、特徴情報f[k]を各解像度の加工画像を統合したものとして得る際に、平均することによって統合したのであれば、平均した際の重み付け係数をカウントすることによって、RANSAC等でインライアと判定された特徴情報が最も多く含まれる解像度を決定するようにすればよい。

（３）また、平面射影変換をツリー状に階層的に繰り返し適用する第二実施形態において、第一実施形態におけるような統合された特徴情報f[k]を用いるようにしてもよい。この場合も、解像度変換を繰り返し適用することを説明した上記の（２）と同様に、統合された特徴情報のひとつひとつがどの平面射影変換から生成されたのかを保持（平均の場合はその重みを保持）しておき、RANSAC等でインライアと判定された特徴情報が最も多く含まれる平面射影変換の近傍平面射影変換の加工を次のk+1回目の繰り返し処理で適用するようにすればよい。

（４）情報処理装置10は一般的な構成のコンピュータとして実現可能である。すなわち、CPU（中央演算装置）、当該CPUにワークエリアを提供する主記憶装置、ハードディスクやSSDその他で構成可能な補助記憶装置、キーボード、マウス、タッチパネルその他といったユーザからの入力を受け取る入力インタフェース、ネットワークに接続して通信を行うための通信インタフェース、表示を行うディスプレイ、カメラ及びこれらを接続するバスを備えるような、一般的なコンピュータによって情報処理装置10を構成することができる。さらに、図１に示す情報処理装置10の各部の処理はそれぞれ、当該処理を実行させるプログラムを読み込んで実行するCPUによって実現することができるが、任意の一部の処理を別途の専用回路等（GPUを含む）において実現するようにしてもよい。撮像部1は、当該ハードウェアとしてのカメラによって実現できる。

10…情報処理装置、1…撮像部、2…加工部、3…算出部、4…認識部、5…記憶部

Claims (11)

1. 撮像対象が撮像されている画像に複数の加工処理を施しそれぞれの加工画像を得る加工部と、
   前記加工画像のそれぞれより特徴情報を算出する算出部と、
   前記算出された特徴情報と所定の複数の認識対象に関して予め記憶されている特徴情報とを照合することにより、前記画像における撮像対象が当該所定の複数の認識対象のいずれに該当するかを認識する認識部と、を備えることを特徴とする情報処理装置。
2. 前記加工部では、前記複数の加工処理として複数種類の解像度変換を行うことを特徴とする請求項１に記載の情報処理装置。
3. 前記加工部で行う複数種類の解像度変換は、前記画像の縦画素数及び／又は横画素数に所定画素数の増加及び／又は減少を加えることによって、アスペクト比を所定範囲内で変化させるものを含むことを特徴とする請求項２に記載の情報処理装置。
4. 前記算出部では、前記加工画像のそれぞれより特徴点及び特徴量を算出し、当該加工画像間において座標が対応する特徴点における特徴量を平均することにより、複数の加工画像において統合された前記画像に対応する特徴情報を算出し、
   前記認識部では、当該統合された前記画像に対応する特徴情報に基づいて、前記いずれに該当するか認識することを特徴とする請求項１ないし３のいずれかに記載の情報処理装置。
5. 前記加工部では、複数の平面射影変換による変換処理を施すことにより、前記それぞれの加工画像を得ることを特徴とする請求項１に記載の情報処理装置。
6. 前記施す複数の平面射影変換の中には、少なくとも平面の向きを変えるものが含まれている請求項５に記載の情報処理装置。
7. 前記加工部、前記算出部及び前記認識部は互いに連携して反復処理を行い、反復処理のｋ回目における前記認識部による認識結果に基づいて、反復処理の次のｋ＋１回目における前記加工部による前記複数の加工処理が設定されることを特徴とする請求項１ないし６のいずれかに記載の情報処理装置。
8. 前記加工部では、複数の平面射影変換による変換処理を施すことにより、前記それぞれの加工画像を得ており、
   反復処理のｋ回目における前記認識部による認識結果において該当した加工画像に対して施された平面射影変換の近傍の変換として設定される所定の複数の平面射影変換が、前記加工部における反復処理の次のｋ＋１回目において施されることを特徴とする請求項７に記載の情報処理装置。
9. 前記認識部では前記画像における撮像対象が当該所定の複数の認識対象のうち第一対象に該当するものである旨を認識したうえでさらに、
   前記加工部ではさらに当該第一対象に対応する所定の加工処理を前記画像に対して行った第一加工画像を得て、
   前記算出部ではさらに当該第一加工画像より特徴情報を算出し、
   前記認識部はさらに、当該第一加工画像より算出された特徴情報に基づいて、前記画像における撮像対象であって前記第一対象とは異なる第二対象を認識することを特徴とする請求項１ないし８のいずれかに記載の情報処理装置。
10. 前記加工部で前記第一加工画像を得る際に用いる所定の加工処理は、前記画像を撮像したカメラに対して前記第一対象を正対状態とする第一変換と、第一対象と第二対象との所定の位置関係に基づく第二変換と、を合成したものである請求項９に記載の情報処理装置。
11. コンピュータを請求項１ないし１０のいずれかに記載の情報処理装置として機能させることを特徴とするプログラム。