JP2016045538A - 情報処理装置、画像判定方法、及びプログラム - Google Patents

Abstract

【課題】判定精度を向上させること。【解決手段】参照画像Ｐrの第１特徴点と特定位置との位置関係を示す位置情報と、入力画像Ｐinの各小領域に対応するカウント値とを記憶し、入力画像Ｐinの第２特徴点のうち第１特徴点に類似する第２特徴点に当該第１特徴点を一致させた場合に特定位置にある小領域を特定し、当該小領域に対応するカウント値を増加させる処理を、各第１特徴点について実行し、カウント値の最大値Ｍａｘが設定した閾値Ｔｈより大きい場合に、入力画像Ｐinに参照画像Ｐrが含まれると判定し、最大値Ｍａｘが閾値Ｔｈより小さく、カウント値の分布が一の方向に延伸した形状であるとき、当該一の方向に沿って最大値Ｍａｘを基準とする設定した範囲内のカウント値の合算値Ｓｕｍが閾値Ｔｈより大きい場合に、入力画像Ｐinに参照画像Ｐrが含まれると判定する情報処理装置１０が提供される。【選択図】図１

Description

本発明は、情報処理装置、画像判定方法、及びプログラムに関する。

様々な分野で画像のマッチング技術が広く利用されるようになってきた。例えば、顔認証や生体認証の分野では、可視光カメラや赤外線カメラで撮像した画像とテンプレート画像とをマッチングする技術が利用されている。より一般的な用途では、カメラ付き携帯端末やデジタルカメラで撮像した画像とランドマークの画像とをマッチングする技術が利用されている。

画像同士のマッチングには、例えば、入力画像の特徴点における特徴量（以下、局所特徴量）と、参照画像の特徴点における局所特徴量とを比較して、入力画像の特徴点に対応する参照画像の特徴点（以下、対応点）を探索する手法が利用される。探索により発見された対応点の集合を統計処理することで入力画像中における参照画像の存在や参照画像の位置を認識できる。なお、対応点の探索は、画像の重畳表示などにも利用される。

上記のような対応点の探索には、例えば、ＳＩＦＴ（Scale-Invariant Feature Transform）、ＳＵＲＦ（Speeded Up Robust Features）、ＢＲＩＥＦ（Binary Robust Independent Elementary Features）などの特徴が利用される。ＳＩＦＴやＳＵＲＦを利用すると高精度に対応点を検出することができる。但し、ＳＩＦＴやＳＵＲＦの局所特徴量はデ−タサイズが大きく、ＳＩＦＴやＳＵＲＦを利用すると探索時の計算負荷が高くなる。

一方、ＢＲＩＥＦは、特徴点の周囲に設定された複数の画素ペアのそれぞれについて計算された画素間の輝度差に基づく局所特徴量で表現される。例えば、輝度差の符号（正負）に対応するビット値の集合が局所特徴量として利用される。従って、ＢＲＩＥＦはＳＩＦＴやＳＵＲＦに比べて少ない計算量で高速に抽出することができ、探索にかかる計算負荷の軽減に寄与する。ＢＲＩＥＦを利用すると、サーバ装置などに比べて計算能力の低い携帯端末でも入力画像から高速に局所特徴量を抽出することが可能になる。

なお、ＢＲＩＥＦと同様に画素間の輝度差に基づく局所特徴量を用いて画像の特徴を表現する他の特徴としては、例えば、ＯＲＢ（Oriented Fast and Rotated BRIEF）やＦＲＥＡＫ（Fast Retina Keypoint）がある。ＯＲＢは、画素ペアの配置を決める際に多数の画像に基づく学習を利用する。ＦＲＥＡＫは、画素ペアの配置を決める際に人間の網膜パターンに関する情報を利用する。ＯＲＢやＦＲＥＡＫを利用した場合も入力画像から高速に局所特徴量を抽出することができる。

また、記憶画像の特徴点に対応する対応特徴点を入力画像から抽出し、記憶画像の特徴点の位置関係情報に基づいて投票点を算出し、投票点を入力画像に投票する方法（以下、提案方法）が提案されている。この提案方法では、投票点が集中し、かつ、投票数が多いほど、入力画像と記憶画像との類似度が高いと判定される。

特開２０１２−８３８５５号公報

David G.Lowe, "Distinctive image features from scale-invariant keypoints", International Journal of Computer Vision, 60, 2 (2004), pp.91-110 H.Bay,T.Tuytelaars, and L.V.Gool, "SURF:Speed Up Robust Features", Proc. of Int. Conf. of ECCV, 2006 M. Calonder, V. Lepetit, C. Strecha, and P. Fua., "BRIEF: Binary Robust Independent Elementary Features.", In Proceedings of the European Conference on Computer Vision (ECCV), 2010 Alexandre Alahi, Raphael Ortiz, Pierre Vandergheynst, "FREAK: Fast Retina Keypoint", In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2012 E. Rublee, V. Rabaud, K. Konolige, and G. Bradski, "ORB: An efficient alternative to SIFT or SURF", In Proceedings of the IEEE International Conference on Computer Vision (ICCV), 2011

上記の提案方法を適用した場合、記憶画像を撮影した際の撮影方向と入力画像を撮影した際の撮影方向とが大きく異なる場合、両画像が同じ対象物を撮影した画像であっても、投票点の分布が拡がってしまい、類似度が低いと判定されるリスクがある。

例えば、対象物を正面から撮影した記憶画像と、対象物を載置した面上で４５度回転した方向から同じ対象物を撮影した入力画像との類似度を計算する場合、入力画像中で対象物の正面が占める領域は、記憶画像中で対象物の正面が占める領域に比べて小さくなる。この場合、記憶画像中の特徴点の位置関係情報に基づいて投票点を算出すると、水平方向に投票点の分布が拡がる。その結果、投票点が１カ所に集中せず、分布のピーク位置でも投票数が多くならず、類似度が低いと判定されることがある。

そこで、１つの側面によれば、本発明の目的は、判定精度を向上させることが可能な情報処理装置、画像判定方法、及びプログラムを提供することにある。

本開示の１つの側面によれば、参照画像の特徴を表す複数の第１特徴点それぞれと参照画像の特定位置との位置関係を示す位置情報と、入力画像を複数の小領域に分けた場合の各小領域の位置を示す領域情報と、各小領域に対応するカウント値とを記憶する記憶部と、入力画像の特徴を表す複数の第２特徴点のうち第１特徴点に類似する第２特徴点を特定し、当該第２特徴点に当該第１特徴点を一致させた場合に位置情報が示す特定位置にある小領域を特定し、当該小領域に対応するカウント値を増加させる処理を、各第１特徴点について実行し、カウント値の最大値が設定した閾値より大きい場合に、入力画像に参照画像が含まれると判定する演算部と、を有する情報処理装置が提供される。演算部は、最大値が閾値より小さく、カウント値の分布が一の方向に延伸した形状であるとき、当該一の方向に沿って最大値を基準とする設定した範囲内のカウント値を合算して合算値を計算し、合算値が閾値より大きい場合に、入力画像に参照画像が含まれると判定する。

また、本開示の他の１つの側面によれば、コンピュータが、参照画像の特徴を表す複数の第１特徴点それぞれと参照画像の特定位置との位置関係を示す位置情報と、入力画像を複数の小領域に分けた場合の各小領域の位置を示す領域情報と、各小領域に対応するカウント値とを取得し、入力画像の特徴を表す複数の第２特徴点のうち第１特徴点に類似する第２特徴点を特定し、当該第２特徴点に当該第１特徴点を一致させた場合に位置情報が示す特定位置にある小領域を特定し、当該小領域に対応するカウント値を増加させる処理を、各第１特徴点について実行し、カウント値の最大値が設定した閾値より大きい場合に、入力画像に参照画像が含まれると判定し、判定の処理において、最大値が閾値より小さく、カウント値の分布が一の方向に延伸した形状であるとき、当該一の方向に沿って最大値を基準とする設定した範囲内のカウント値を合算して合算値を計算し、合算値が閾値より大きい場合に、入力画像に参照画像が含まれると判定する画像判定方法が提供される。

また、本開示の他の１つの側面によれば、コンピュータに、参照画像の特徴を表す複数の第１特徴点それぞれと参照画像の特定位置との位置関係を示す位置情報と、入力画像を複数の小領域に分けた場合の各小領域の位置を示す領域情報と、各小領域に対応するカウント値とを取得し、入力画像の特徴を表す複数の第２特徴点のうち第１特徴点に類似する第２特徴点を特定し、当該第２特徴点に当該第１特徴点を一致させた場合に位置情報が示す特定位置にある小領域を特定し、当該小領域に対応するカウント値を増加させる処理を、各第１特徴点について実行し、カウント値の最大値が設定した閾値より大きい場合に、入力画像に参照画像が含まれると判定し、判定の処理において、最大値が閾値より小さく、カウント値の分布が一の方向に延伸した形状であるとき、当該一の方向に沿って最大値を基準とする設定した範囲内のカウント値を合算して合算値を計算し、合算値が閾値より大きい場合に、入力画像に参照画像が含まれると判定する処理を実行させるためのプログラムが提供される。

本発明によれば、判定精度を向上させることが可能になる。

第１実施形態に係る情報処理装置の一例を示した図である。 第２実施形態に係るシステムの一例を示した図である。 第２実施形態に係る端末装置が有する機能を実現可能なハードウェアの一例を示した図である。 第２実施形態に係る端末装置が有する機能の一例を示したブロック図である。 第２実施形態に係る画素ペア情報の一例を示した図である。 第２実施形態に係る入力画像の特徴点と特徴領域について説明するための図である。 第２実施形態に係る特徴量の計算について説明するための図である。 第２実施形態に係るサーバ装置が有する機能の一例を示したブロック図である。 第２実施形態に係る参照画像情報（参照画像管理テーブル）の一例を示した図である。 撮影方向の例について説明するための図である。 第２実施形態に係る参照画像情報（隣接画像管理テーブル）の一例を示した図である。 第２実施形態に係る参照画像情報（特徴量管理テーブル）の一例を示した図である。 第２実施形態に係る参照画像の特徴点と特徴領域について説明するための図である。 第２実施形態に係る投票処理について説明するための図である。 第２実施形態に係る物体の端部から中心までの距離について説明するための図である。 第２実施形態に係る判定処理（最大検出、水平判定、左右判定）について説明するための図である。 第２実施形態に係る判定処理（集約、判定、有無判断）について説明するための図である。 第２実施形態に係る判定用情報（集約範囲調整用パラメータ）の一例を示した図である。 第２実施形態に係る端末装置の動作について説明するためのフロー図である。 第２実施形態に係る端末装置の動作のうち、特徴量の計算に関する動作について説明するためのフロー図である。 第２実施形態に係るサーバ装置の動作について説明するためのフロー図である。 第２実施形態に係るサーバ装置の動作のうち、参照画像の探索に関する動作について説明するためのフロー図である。 第２実施形態に係るサーバ装置の動作のうち、隣接する参照画像に基づく判定に関する動作について説明するためのフロー図である。 第２実施形態の一変形例（変形例＃１）に係る参照画像情報（隣接画像管理テーブル）の一例を示した図である。 第２実施形態の一変形例（変形例＃１）に係るサーバ装置の動作のうち、隣接する参照画像に基づく判定に関する動作について説明するためのフロー図である。 第２実施形態の一変形例（変形例＃２）に係るサーバ装置の動作のうち、隣接する参照画像に基づく判定に関する動作について説明するためのフロー図である。 第２実施形態の一変形例（変形例＃３）に係るサーバ装置の動作のうち、隣接する参照画像に基づく判定に関する動作について説明するためのフロー図である。 第３実施形態に係る判定方法の一例を示した図である。 第３実施形態に係るサーバ装置の動作のうち、参照画像の探索に関する動作について説明するための第１のフロー図である。 第３実施形態に係るサーバ装置の動作のうち、参照画像の探索に関する動作について説明するための第２のフロー図である。

以下に添付図面を参照しながら、本発明の実施形態について説明する。なお、本明細書及び図面において実質的に同一の機能を有する要素については、同一の符号を付することにより重複説明を省略する場合がある。

＜１．第１実施形態＞
図１を参照しながら、第１実施形態について説明する。図１は、第１実施形態に係る情報処理装置の一例を示した図である。なお、図１に例示した情報処理装置１０は、第１実施形態に係る情報処理装置の一例である。

図１に示すように、情報処理装置１０は、記憶部１１及び演算部１２を有する。
記憶部１１は、ＲＡＭ（Random Access Memory）などの揮発性記憶装置、或いは、ＨＤＤ（Hard Disk Drive）やフラッシュメモリなどの不揮発性記憶装置である。演算部１２は、ＣＰＵ（Central Processing Unit）やＤＳＰ（Digital Signal Processor）などのプロセッサである。但し、演算部１２は、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）などの電子回路であってもよい。演算部１２は、例えば、記憶部１１又は他のメモリに記憶されたプログラムを実行する。

記憶部１１は、参照画像Ｐ_rの特徴を表す複数の第１特徴点それぞれと参照画像Ｐ_rの特定位置との位置関係を示す位置情報と、入力画像Ｐ_inを複数の小領域に分けた場合の各小領域の位置を示す領域情報と、各小領域に対応するカウント値とを記憶する。

特定位置は、例えば、参照画像Ｐ_rの中心である。位置情報は、第１特徴点を始点として中心を終点とするベクトルで表現できる。図１に例示した投票マップＭＰは領域情報の一例である。投票マップＭＰは、入力画像Ｐ_inと同じサイズの領域を区切った複数の枡目により入力画像Ｐ_inに設定した小領域を表す情報である。つまり、投票マップＭＰの枡目は小領域の一例である。投票マップＭＰに記載の数値はカウント値の一例である。

演算部１２は、入力画像Ｐ_inの特徴を表す複数の第２特徴点のうち第１特徴点に類似する第２特徴点を特定する。第２特徴点を特定する処理は、対応する特徴点同士を探索する処理（対応点探索）である。第１特徴点及び第２特徴点の特徴は、例えば、ＳＩＦＴ、ＳＵＲＦ、ＢＲＩＥＦ、ＯＲＢ、ＦＲＥＡＫなどの特徴量により表現できる。また、第１特徴点と第２特徴点との類似度は特徴量同士の距離で表現できる。そのため、演算部１２は、両特徴点について距離を計算し、距離が最小となる特徴点の組を、対応する特徴点として特定することができる。特徴量がビット列で表現されている場合、距離は、例えば、ビット列同士の排他的論理和で表現できる。

演算部１２は、特定した第２特徴点に、類似する第１特徴点を一致させた場合に位置情報が示す特定位置にある小領域を特定する。演算部１２は、特定した小領域に対応するカウント値を増加させる。演算部１２は、上記の第２特徴点の特定、小領域の特定、及びカウント値の増加に係る処理を、各第１特徴点について実行する。

入力画像Ｐ_inと参照画像Ｐ_rとが同じであればカウント値が一カ所に集中する。少なくとも入力画像Ｐ_inと参照画像Ｐ_rとに同じ被写体が写っていれば、カウント値の分布は一カ所に高いピークを持つ。そこで、演算部１２は、カウント値の最大値Ｍａｘが設定した閾値Ｔｈより大きい場合に、入力画像Ｐ_inに参照画像Ｐ_rが含まれると判定する。

但し、両画像に同じ被写体が写っていても、それぞれ撮影した方向が異なる場合、カウント値の分散（ピークを中心とする散らばり具合）が大きくなる。図１の例は、参照画像Ｐ_rに被写体の正面が写っており、入力画像Ｐ_inに被写体の正面と右側面とが写っている場合を示している。つまり、参照画像Ｐ_rの撮影方向を基準として、入力画像Ｐ_inの撮影方向は、被写体の載置面（図面の横方向に対応する。）上で右方向に一定角度だけ回転した方向にある。

この場合、カウント値の分布は横方向への分散が大きくなる。カウント値を増加させる処理の回数は同じであるから、横方向へ分散した分だけピークのカウント値が小さくなる。その結果、参照画像Ｐ_rと同じ被写体を写した入力画像Ｐ_inであるのに、カウント値の最大値Ｍａｘが閾値Ｔｈより小さくなり、入力画像Ｐ_in中に参照画像Ｐ_rが含まれないと判定されることがある。

そこで、演算部１２は、最大値Ｍａｘが閾値Ｔｈより小さく、カウント値の分布が一の方向に延伸した形状であるとき、当該一の方向に沿って最大値Ｍａｘを基準とする設定した範囲内のカウント値を合算して合算値Ｓｕｍを計算する。図１の例は横方向にカウント値の分布が延伸する場合を示している。但し、実際には撮影方向が上下に異なる場合には縦方向にカウント値の分布が延伸する。つまり、撮影方向が異なる場合、一の方向にカウント値の分布が延伸する。

上記の合算対象の範囲は、例えば、最大値Ｍａｘを中心として一の方向に沿って予め設定した小領域分の長さと、一の方向と垂直方向に予め設定した小領域分の幅とで決まる範囲に設定される。あるいは、合算対象の範囲は、最大値Ｍａｘの小領域から連続し、カウント値が予め設定した閾値（後述する二値化閾値ＴｈＢなど）より大きい小領域を含む範囲に設定することもできる。

演算部１２は、合算値Ｓｕｍが閾値Ｔｈより大きい場合に、入力画像Ｐ_inに参照画像Ｐ_rが含まれると判定する。合算値Ｓｕｍが閾値Ｔｈより大きくなる程度に最大値Ｍａｘ周辺にカウント値が集中していなければ、入力画像Ｐ_inに参照画像Ｐ_rが含まれると判定されない。さらに、両画像で同じ被写体を含まない場合には、一の方向にカウント値の分布が延伸した形状となる可能性は低いため、誤判定のリスクは低い。

ここで、図１の例について、一の方向に延伸した形状であるかを判定する方法について述べる。この例において、演算部１２は、最大値Ｍａｘが閾値Ｔｈより小さい場合、投票マップＭＰのカウント値と二値化閾値ＴｈＢ（この例では３）とを比較し、二値化閾値ＴｈＢがカウント値より大きい場合に１、小さい場合に０とする。そして、演算部１２は、１とした範囲の横幅ＷＢと縦幅ＨＢとの比ＷＢ／ＨＢを計算し、比ＷＢ／ＨＢが形状判定閾値ＴｈＨＷより大きいか否かを判定する。

比ＷＢ／ＨＢが形状判定閾値ＴｈＨＷより大きい場合、演算部１２は、合算値Ｓｕｍの計算（集約）を実行する（集約ＯＫ）。一方、比ＷＢ／ＨＢが形状判定閾値ＴｈＨＷより小さい場合、演算部１２は、合算値Ｓｕｍの計算（集約）を実行せず（集約ＮＧ）、入力画像Ｐ_inに参照画像Ｐ_rが含まれないと判定する。

集約ＯＫの場合、演算部１２は、合算値Ｓｕｍと閾値Ｔｈとを比較する。そして、演算部１２は、合算値Ｓｕｍが閾値Ｔｈより大きい場合には入力画像Ｐ_inに参照画像Ｐ_rが含まれると判定し、小さい場合には入力画像Ｐ_inに参照画像Ｐ_rが含まれないと判定する。このような方法を適用することで、演算部１２は、一の方向に延伸した形状であるかを判定できる。

上記のように、カウント値の合計値Ｓｕｍを利用して判定を行えるようにすることで、参照画像Ｐ_rと同じ被写体を含む異なる方向から撮影した入力画像Ｐ_inに対して正しく類似判断を行うことが可能になる。また、カウント値の分布形状の判定をさらに行っているため、類似判断の正確性もさらに高まっている。結果として、撮影方向の異なる参照画像Ｐ_rを多数用いずとも正しく画像認識できるようになり、参照画像Ｐ_rの保持に用いる記憶容量の節約効果や処理負荷の低減効果が得られる。さらに、１枚の入力画像Ｐ_inに対して照合する参照画像Ｐ_rの数を減らすことができるため、処理速度も高速化され、短い時間で認識結果を応答することが可能になる。

以上、第１実施形態について説明した。
＜２．第２実施形態＞
次に、第２実施形態について説明する。

［２−１．システム］
図２を参照しながら、第２実施形態に係るシステムについて説明する。図２は、第２実施形態に係るシステムの一例を示した図である。

図２に示すように、第２実施形態に係るシステムは、端末装置１００及びサーバ装置２００を含む。なお、携帯電話、スマートフォン、デジタルカメラ、パーソナルコンピュータなどのデバイスは、端末装置１００の一例である。また、アプリケーションサーバやコンテンツマネジメントシステムなどは、サーバ装置２００の一例である。

端末装置１００は、無線基地局ＢＳ及びネットワークＮＷを介してサーバ装置２００にアクセスすることができる。例えば、無線基地局ＢＳは、移動体通信用の基地局や無線ＬＡＮ（Local Area Network）用の基地局などである。また、ネットワークＮＷは、移動体通信の基幹回線網やＷＡＮ（Wide Area Network）などである。

第２実施形態に係るシステムは、例えば、ユーザが端末装置１００を利用して撮像した撮像画像をサーバ装置２００が管理する写真管理サービスなどに適用できる。また、第２実施形態に係るシステムは、写真管理機能を有するＳＮＳ（Social Networking Service）などのソーシャルメディアサービスにも適用可能である。ここでは、説明の都合上、写真管理サービスを例に説明を進める。もちろん、第２実施形態に係るシステムの適用対象となりうるサービスの範囲はこれに限定されない。

多くの場合、画像の管理には、時間情報や位置情報が用いられる。例えば、撮影日時に応じて画像をグループ化する方法や、ＧＰＳ（Global Positioning System）を利用して撮影時に取得した位置情報に基づき同じ地域で撮影された画像をグループ化する方法などがある。このような方法により画像をグループ化しておけば、ユーザが記憶している撮影時間や撮影場所の情報をヒントに、後日、所望の画像を容易に見つけ出すことが可能になる。また、イベントなどの情報をもとに画像を検索できるようにするため、「家族旅行」や「結婚式」などのタグを画像に付してタグ毎に画像を整理する方法もある。

上記の方法はいずれも画像の管理に有用である。第２実施形態に係るシステムは、さらに画像管理の有用性を高めるため、画像から特定物（以下、ランドマーク）を自動認識し、その認識結果を画像にタグ付けする仕組みを提供する。例えば、端末装置１００を利用して旅行先で撮影した画像から、サーバ装置２００がランドマーク（例えば、有名な寺や城など）を自動認識してタグを付与する。この仕組みによれば、ランドマークを指定した画像検索や、ランドマークを基準とする画像の自動整理を実現することができる。

ランドマークの認識は、ランドマークの画像（以下、参照画像）と類似する画像が入力画像に含まれるか否かを判定する処理に基づいて行われる。なお、参照画像としては、ランドマークを正面から撮影した画像の他、様々な角度から撮影した画像が利用されることもある。また、様々なサイズで撮影したランドマークの画像が利用されることもある。このように、同じランドマークに対して複数の参照画像が利用されることで、認識の失敗や誤認識の発生を低減することができる。但し、多くの参照画像を利用すれば、演算負荷や参照画像を保持するための記憶容量も増加するため、限られた数の参照画像を利用して効率的に精度を高める工夫をすることが好ましい。こうした工夫については後述する。

ランドマークの認識は、例えば、次のような手順で行われる。
まず、端末装置１００が、ランドマークの認識対象とする入力画像に対して複数の特徴点を設定する。但し、特徴点の位置は予め設定されているものとする。特徴点を配置する方法としては、例えば、予め決められた間隔で等間隔に配置する方法や、ランダムに決められた不規則な配置パターンで配置する方法などがある。なお、サーバ装置２００において参照画像に設定される特徴点と同じ配置方法で入力画像に特徴点が設定される。

特徴点を設定した端末装置１００は、入力画像に設定した特徴点の周辺領域（以下、特徴領域）から特徴量を抽出する。特徴領域としては、例えば、特徴点を中心とする矩形領域（例えば、一辺が４８画素の矩形領域）が利用される。また、特徴量としては、例えば、ＢＲＩＥＦ、ＳＩＦＴ、ＳＵＲＦ、ＣＡＲＤ、ＦＲＥＡＫ、ＢＲＩＳＫなどを利用可能である。以下では、ＢＲＩＥＦを利用する方法について例示する。

端末装置１００が抽出した特徴量はサーバ装置２００に送信される。サーバ装置２００は、参照画像に設定した特徴点について特徴領域から特徴量を抽出する。但し、予め抽出された参照画像の特徴量をサーバ装置２００が保持している場合、サーバ装置２００は、保持している特徴量を利用する。サーバ装置２００は、特徴量を利用して入力画像の特徴領域と参照画像の特徴領域との類似度を計算し、類似度が高い特徴領域に対応する特徴点の組を抽出する。

特徴点の組を抽出したサーバ装置２００は、抽出した特徴点の組について統計処理を実行し、入力画像中に参照画像が含まれるか否かを判定する。なお、統計処理としては、例えば、後述する投票処理などを利用可能である。サーバ装置２００は、全ての参照画像について判定処理を実行して入力画像中に含まれる参照画像を特定する。参照画像を特定したサーバ装置２００は、特定した参照画像に対応するランドマークの情報を端末装置１００に送信する。

このように、第２実施形態に係るシステムでは、ランドマークの認識に係る主な処理をサーバ装置２００が実行する。
上記のように、第２実施形態に係るシステムでは、端末装置１００からサーバ装置２００へと入力画像を送らず、特徴量だけを送る仕組みとしているため、個人情報である入力画像がネットワークＮＷなどを介して端末装置１００の外部へ漏れる心配がない。

また、ＢＲＩＥＦなどの特徴量を利用するため、端末装置１００に過度な負荷をかけずにサービスの提供を受けることができる。つまり、第２実施形態に係るシステムを適用すれば、ユーザが気軽に安心して利用できる情報サービスを提供することが可能になる。

以上、第２実施形態に係るシステムについて説明した。以下、このシステムに含まれる端末装置１００及びサーバ装置２００について、さらに説明する。
［２−２．ハードウェア］
図３を参照しながら、端末装置１００が有する機能を実現することが可能なハードウェアについて説明する。図３は、第２実施形態に係る端末装置が有する機能を実現可能なハードウェアの一例を示した図である。

端末装置１００が有する機能は、例えば、図３に示すハードウェア資源を用いて実現することが可能である。つまり、端末装置１００が有する機能は、コンピュータプログラムを用いて図３に示すハードウェアを制御することにより実現される。

図３に示すように、このハードウェアは、主に、ＣＰＵ９０２と、ＲＯＭ（Read Only Memory）９０４と、ＲＡＭ９０６と、ホストバス９０８と、ブリッジ９１０とを有する。さらに、このハードウェアは、外部バス９１２と、インターフェース９１４と、入力部９１６と、出力部９１８と、記憶部９２０と、ドライブ９２２と、接続ポート９２４と、通信部９２６とを有する。

ＣＰＵ９０２は、例えば、演算処理装置又は制御装置として機能し、ＲＯＭ９０４、ＲＡＭ９０６、記憶部９２０、又はリムーバブル記録媒体９２８に記録された各種プログラムに基づいて各構成要素の動作全般又はその一部を制御する。ＲＯＭ９０４は、ＣＰＵ９０２に読み込まれるプログラムや演算に用いるデータなどを格納する記憶装置の一例である。ＲＡＭ９０６には、例えば、ＣＰＵ９０２に読み込まれるプログラムや、そのプログラムを実行する際に変化する各種パラメータなどが一時的又は永続的に格納される。

これらの要素は、例えば、高速なデータ伝送が可能なホストバス９０８を介して相互に接続される。一方、ホストバス９０８は、例えば、ブリッジ９１０を介して比較的データ伝送速度が低速な外部バス９１２に接続される。また、入力部９１６としては、例えば、マウス、キーボード、タッチパネル、タッチパッド、ボタン、スイッチ、及びレバーなどが用いられる。さらに、入力部９１６としては、赤外線やその他の電波を利用して制御信号を送信することが可能なリモートコントローラが用いられることもある。

出力部９１８としては、例えば、ＣＲＴ（Cathode Ray Tube）、ＬＣＤ（Liquid Crystal Display）、ＰＤＰ（Plasma Display Panel）、又はＥＬＤ（Electro-Luminescence Display）などのディスプレイ装置が用いられる。また、出力部９１８として、スピーカやヘッドホンなどのオーディオ出力装置、又はプリンタなどが用いられることもある。つまり、出力部９１８は、情報を視覚的又は聴覚的に出力することが可能な装置である。

記憶部９２０は、各種のデータを格納するための装置である。記憶部９２０としては、例えば、ＨＤＤなどの磁気記憶デバイスが用いられる。また、記憶部９２０として、ＳＳＤ（Solid State Drive）やＲＡＭディスクなどの半導体記憶デバイス、光記憶デバイス、又は光磁気記憶デバイスなどが用いられてもよい。

ドライブ９２２は、着脱可能な記録媒体であるリムーバブル記録媒体９２８に記録された情報を読み出し、又はリムーバブル記録媒体９２８に情報を書き込む装置である。リムーバブル記録媒体９２８としては、例えば、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどが用いられる。

接続ポート９２４は、例えば、ＵＳＢ（Universal Serial Bus）ポート、ＩＥＥＥ１３９４ポート、ＳＣＳＩ（Small Computer System Interface）、ＲＳ−２３２Ｃポート、又は光オーディオ端子など、外部接続機器９３０を接続するためのポートである。外部接続機器９３０としては、例えば、プリンタやカメラなどが用いられる。

通信部９２６は、ネットワーク９３２に接続するための通信デバイスである。通信部９２６としては、例えば、有線又は無線ＬＡＮ（Local Area Network）用の通信回路、ＷＵＳＢ（Wireless USB）用の通信回路、光通信用の通信回路やルータ、ＡＤＳＬ（Asymmetric Digital Subscriber Line）用の通信回路やルータ、携帯電話ネットワーク用の通信回路などが用いられる。通信部９２６に接続されるネットワーク９３２は、有線又は無線により接続されたネットワークであり、例えば、インターネット、ＬＡＮ、放送網、衛星通信回線などを含む。

以上、端末装置１００のハードウェアについて説明した。なお、上記のハードウェアは、サーバ装置２００が有する機能を実現することも可能である。従って、サーバ装置２００のハードウェアについては説明を省略する。

［２−３．端末装置の機能］
次に、図４〜図７を参照しながら、端末装置１００の機能について説明する。
図４は、第２実施形態に係る端末装置が有する機能の一例を示したブロック図である。また、図５は、第２実施形態に係る画素ペア情報の一例を示した図である。また、図６は、第２実施形態に係る入力画像の特徴点と特徴領域について説明するための図である。また、図７は、第２実施形態に係る特徴量の計算について説明するための図である。

図４に示すように、端末装置１００は、記憶部１０１、画像取得部１０２、特徴点設定部１０３、特徴量計算部１０４、及び送信部１０５を有する。
なお、記憶部１０１の機能は、上述したＲＡＭ９０６や記憶部９２０などを用いて実現できる。画像取得部１０２、特徴点設定部１０３、及び特徴量計算部１０４の機能は、上述したＣＰＵ９０２などを用いて実現できる。送信部１０５の機能は、上述した接続ポート９２４や通信部９２６などを用いて実現できる。

（画素ペア情報１０１ａについて）
記憶部１０１には、画素ペア情報１０１ａが格納される。画素ペア情報１０１ａは、画像の特徴点毎に設定される特徴領域の特徴量を計算する際に用いる画素のペア（以下、画素ペア）を表す情報である。例えば、画素ペア情報１０１ａには、画素ペアを成す２つの画素の位置を示す位置情報が含まれる。なお、特徴領域は、例えば、特徴点を中心とする矩形領域であり、３２画素×３２画素や４８画素×４８画素などのサイズに設定される。

画素ペア情報１０１ａの一例を図５に示す。図５に示すように、画素ペア情報１０１ａには、画素ペアＬ_k（ｋ＝１、２、…）を成す２つの画素の座標（Ｘ₁，Ｙ₁）及び（Ｘ₂，Ｙ₂）が含まれる。画素の座標は、例えば、特徴領域の左上を原点（０，０）とした座標値で表現される。また、画素ペアの数は、例えば、１２８個、２５６個、５１２個などに設定される。画素ペアの数を２５６個に設定した場合、特徴領域毎に２５６個の画素ペアが設定される。

（特徴点の設定について）
再び図４を参照する。画像取得部１０２は、ランドマークの認識対象となる画像（以下、入力画像Ｐ_in）を取得する。例えば、画像取得部１０２は、外部の記憶装置（非図示）又は端末装置１００に接続されたカメラ（非図示）から入力画像Ｐ_inを取得する。また、画像取得部１０２は、端末装置１００が有するカメラ機能を利用して入力画像Ｐ_inを取得してもよい。このようにして画像取得部１０２により取得された入力画像Ｐ_inは、記憶部１０１に格納される。

特徴点設定部１０３は、記憶部１０１に格納された入力画像Ｐ_inを読み出し、読み出した入力画像Ｐ_inに複数の特徴点を設定する。例えば、特徴点設定部１０３は、図６に示すように、等間隔に配置された複数の特徴点を抽出する方法（Ｄｅｎｓｅ Ｓａｍｐｌｉｎｇ）を用いて入力画像Ｐ_inに特徴点を設定する。但し、特徴点の設定にはＦＡＳＴ（Features from Accelerated Segment Test）などの方法も適用できる。

以下、入力画像Ｐ_inに設定される特徴点をＷ_inと表記する場合がある。また、図６に示すように、特徴点Ｗ_inを基準に設定される特徴領域をＡ_inと表記する場合がある。このようにして特徴点設定部１０３により設定された特徴点Ｗ_in及び特徴領域Ａ_inの情報は、記憶部１０１に格納される。また、特徴点Ｗ_in及び特徴領域Ａ_inの情報は、特徴量計算部１０４に入力される。

（特徴量の計算について）
再び図４を参照する。特徴量計算部１０４は、画素ペア情報１０１ａを参照し、特徴点設定部１０３により設定された特徴領域Ａ_inの特徴量を計算する。

例えば、特徴量計算部１０４は、図７に示すように、入力画像Ｐ_inの特徴領域Ａ_inから画素ペア毎に各画素の輝度を抽出する（Ｃ１）。次いで、特徴量計算部１０４は、画素ペア毎に抽出した２つの輝度の差分を求めることで、各画素ペアの輝度差を計算する（Ｃ２）。次いで、特徴量計算部１０４は、計算した輝度差の符号（正負）を表すビット値を並べたビット列（以下、局所特徴量）を生成する（Ｃ３）。

なお、輝度差の符号とビット値とは予め対応付けられている。例えば、正の符号がビット値「１」に対応付けられ、負の符号がビット値「０」に対応付けられている。また、輝度差を計算する際、画素ペアを成す２つの画素のうち、どちらの画素の輝度から、他方の画素の輝度を減算するかも予め設定されている。例えば、座標（Ｘ₁，Ｙ₁）に位置する画素の輝度から座標（Ｘ₂，Ｙ₂）に位置する画素の輝度を減算した輝度差の符号を局所特徴量の生成に利用することが予め設定されている。

また、局所特徴量を生成する際、ビット値を並べる順番も予め設定されている。例えば、画素ペア情報１０１ａに記載された画素ペアのＩｎｄｅｘ順にビット値が計算され、計算された順に並べて局所特徴量が生成される。例えば、２５６個の画素ペアが設定されている場合、２５６ビットのビット列で表現された局所特徴量が得られる。局所特徴量は、入力画像Ｐ_inに含まれる全ての特徴領域Ａ_inについて計算される。そして、入力画像Ｐ_inについて特徴量計算部１０４により計算された局所特徴量の組は、送信部１０５に入力される。

（特徴量の送信について）
再び図４を参照する。上記のようにして入力画像Ｐ_inについて特徴量計算部１０４により計算された局所特徴量は、送信部１０５に入力される。送信部１０５は、特徴量計算部１０４から入力された局所特徴量をサーバ装置２００へ送信する。このとき、入力画像Ｐ_inがサーバ装置２００へと送信されないため、入力画像Ｐ_inに含まれるユーザの個人的な情報がネットワークＮＷを介して外部へと漏洩するリスクを抑制することが可能になる。

以上、端末装置１００の機能について説明した。
［２−４．サーバ装置の機能］
次に、図８〜図１８を参照しながら、サーバ装置２００の機能について説明する。

図８は、第２実施形態に係るサーバ装置が有する機能の一例を示したブロック図である。また、図９は、第２実施形態に係る参照画像情報（参照画像管理テーブル）の一例を示した図である。図１０は、撮影方向の例について説明するための図である。図１１は、第２実施形態に係る参照画像情報（隣接画像管理テーブル）の一例を示した図である。

図１２は、第２実施形態に係る参照画像情報（特徴量管理テーブル）の一例を示した図である。また、図１３は、第２実施形態に係る参照画像の特徴点と特徴領域について説明するための図である。図１４は、第２実施形態に係る投票処理について説明するための図である。図１５は、第２実施形態に係る物体の端部から中心までの距離について説明するための図である。

図１６は、第２実施形態に係る判定処理（最大検出、水平判定、左右判定）について説明するための図である。図１７は、第２実施形態に係る判定処理（集約、判定、有無判断）について説明するための図である。図１８は、第２実施形態に係る判定用情報（集約範囲調整用パラメータ）の一例を示した図である。

図８に示すように、サーバ装置２００は、記憶部２０１、受信部２０２、距離計算部２０３、投票処理部２０４、及び判定処理部２０５を有する。
なお、記憶部２０１の機能は、上述したＲＡＭ９０６や記憶部９２０などを用いて実現できる。受信部２０２の機能は、上述した接続ポート９２４や通信部９２６などを用いて実現できる。距離計算部２０３、投票処理部２０４、及び判定処理部２０５の機能は、上述したＣＰＵ９０２などを用いて実現できる。

（画素ペア情報２０１ａ、参照画像情報２０１ｂ、判定用情報２０１ｃについて）
記憶部２０１には、ランドマークを撮影した画像（参照画像Ｐ_r）、画素ペア情報２０１ａ、参照画像情報２０１ｂ、及び判定用情報２０１ｃが格納される。

画素ペア情報２０１ａは、端末装置１００の記憶部１０１に格納されている画素ペア情報１０１ａと同じ画素ペアに関する情報である。参照画像情報２０１ｂは、参照画像Ｐ_rに関連する情報である。判定用情報２０１ｃは、複数の参照画像Ｐ_rを利用してランドマークの有無を判断する際に行う判定処理（後述）に用いる情報である。

参照画像情報２０１ｂは、参照画像管理テーブル、隣接画像管理テーブル、及び特徴量管理テーブルを含む。
（参照画像管理テーブル）
記憶部２０１には、様々なランドマークに対応する参照画像Ｐ_rが格納されている。また、１つのランドマークについて複数のサイズ、複数の撮影方向に対応する複数の参照画像Ｐ_rが記憶部２０１に格納されている。これらの参照画像Ｐ_rのデータとランドマークとを対応付ける情報が参照画像管理テーブルである。

例えば、参照画像管理テーブルは、図９に示すように、ランドマークを特定する識別情報（以下、物体ＩＤ）と、ランドマークの名称（以下、物体名）と、参照画像Ｐ_rの画像データを特定する識別情報（以下、画像ＩＤ）とを対応付ける。なお、以下の説明において、画像ＩＤをＩＤ＃１と表記する場合がある。

図９に例示した参照画像管理テーブルの場合、画像ＩＤが００１、００２、００３、００４のレコードには、いずれも物体ＩＤ「１００１」及び物体名「ＸＹＺ城」が対応付けられている。このことから、画像ＩＤが００１、００２、００３、００４の画像データは、いずれもＸＹＺ城を撮影した画像データであることが分かる。例えば、画像ＩＤが００１、００２、００３、００４の画像データは、それぞれ異なる撮影方向からＸＹＺ城を撮影した画像データである。

以下、説明の都合上、画像ＩＤ「００１」の画像データは、ＸＹＺ城を正面から撮影した画像データであるとする。また、画像ＩＤ「００２」の画像データは、ＸＹＺ城を右９０度の方向から撮影した画像データであるとする。同様に、画像ＩＤ「００３」、「００４」の画像データは、それぞれＸＹＺ城を１８０度、左９０度の方向から撮影した画像データであるとする。

なお、「右９０度」、「左９０度」の「右」、「左」とは、図１０に示すように、ランドマークとなる物体の正面に向かって右方向に位置するか、左方向に位置するかを表す。また、「右９０度」、「１８０度」、「左９０度」の「９０度」、「１８０度」とは、物体の正面に向かう方向を０度とし、物体が載置された平面（以下、平面Ｇ）上で回転した角度を表す。

図１０に示すように、物体の正面に向かう方向をＸ軸、平面ＧをＸ−Ｙ面、平面Ｇに垂直な方向をＺ軸とすると、撮影方向は、例えば、Ｘ−Ｙ面内の回転角度ａを用いて表現することもできる。但し、以下では「右９０度」などの表現を用いる。なお、撮影方向の一例として、「正面」、「右９０度」、「１８０度」、「左９０度」を示したが、「右４５度」、「左４５度」など、任意の撮影方向を設定し、その撮影方向に対応する参照画像Ｐ_rを記憶部２０１に格納しておくことも可能である。

（隣接画像管理テーブル）
上記の撮影方向は、例えば、互いに隣接する複数の参照画像Ｐ_rを特定する際に用いられる。例えば、記憶部２０１には、図１１に示すように、相対的に右側、左側に位置する参照画像Ｐ_rの画像データを対応付ける隣接画像管理テーブルが格納される。図１１の例では、右側に位置する参照画像Ｐ_rの画像ＩＤと、左側に位置する参照画像Ｐ_rの画像ＩＤとが対応付けられている。なお、右側を「基準」、左側を「隣接」と表現する場合がある。

例えば、物体を正面から撮影した参照画像Ｐ_rを基準にすると、その左側に隣接する参照画像Ｐ_rは、物体を左９０度から撮影した参照画像Ｐ_rとなる。従って、図１１に例示した隣接画像管理テーブルでは、画像ＩＤ「００１」（基準）と画像ＩＤ「００４」（隣接）とが対応付けられている。同様に、画像ＩＤ「００２」（基準）と画像ＩＤ「００１」（隣接）とが対応付けられている。他の画像ＩＤについても同様である。このような隣接画像管理テーブルを参照すれば、隣接する参照画像Ｐ_rの特定が容易になる。

なお、図１１には、２つの参照画像Ｐ_rについて隣接する参照画像Ｐ_rの関係を隣接画像管理テーブルに記録する例を示したが、隣接画像管理テーブルで３つ以上の隣接する参照画像Ｐ_rの位置関係を管理する仕組みに変形してもよい。例えば、基準とする方向に対応する参照画像Ｐ_rと、基準とする方向の右側及び左側に対応する２つの参照画像Ｐ_rとを対応付けるように隣接画像管理テーブルを変形してもよい。このような変形についても第２実施形態の技術的範囲に含まれる。

（特徴量管理テーブル）
特徴量管理テーブルは、参照画像Ｐ_rに含まれる各特徴点と、特徴点毎に計算された局所特徴量とを対応付ける情報である。特徴量管理テーブルは、参照画像Ｐ_r毎に設けられる。つまり、参照画像管理テーブルのレコード毎に特徴量管理テーブルが設けられる。一例として、画像ＩＤが００１、００２、００３のレコードに対応する特徴量管理テーブルを図１２に示した。

図１２に示すように、特徴量管理テーブルの各レコードは識別番号ＩＤ＃２により特定される。例えば、ＩＤ＃１が００１、ＩＤ＃２が００２のレコードを参照すると、特徴点（Ｘ₂，Ｙ₂）に対し、局所特徴量０１１００…が対応付けられている。参照画像Ｐ_rの特徴点は、入力画像Ｐ_inに特徴点を設定する場合と同様に、Ｄｅｎｓｅ Ｓａｍｐｌｉｎｇなどの方法により設定される（図１３を参照）。

なお、参照画像Ｐ_rに設定される特徴点をＷ_rと表記する場合がある。また、図１３に示すように、特徴点Ｗ_rを基準に設定される特徴領域をＡ_rと表記する場合がある。特徴量管理テーブルには、特徴点Ｗ_r毎に設定された参照画像Ｐ_rの特徴領域Ａ_rから予め計算された局所特徴量が記録される。なお、特徴領域Ａ_rから局所特徴量を計算する方法は、入力画像Ｐ_inの特徴領域Ａ_inから局所特徴量を計算する方法（図７を参照）と同様である。

（距離計算について）
再び図８を参照する。受信部２０２は、端末装置１００から入力画像Ｐ_inの局所特徴量を受信する。受信部２０２により受信された入力画像Ｐ_inの局所特徴量は、距離計算部２０３に入力される。距離計算部２０３は、局所特徴量に基づき、入力画像Ｐ_inの各特徴領域Ａ_inと参照画像Ｐ_rの各特徴領域Ａ_rとの距離（特徴の相違度）を計算する。このとき、距離計算部２０３は、参照画像管理テーブルに含まれる各参照画像Ｐ_rについて距離を計算する。

ここで、１つの特徴領域Ａ_inと１つの特徴領域Ａ_rとの距離（以下、距離Ｄ）を計算する方法について説明する。なお、特徴領域Ａ_inの局所特徴量をＬＦ_in、特徴領域Ａ_rの局所特徴量をＬＦ_rと表記する。

距離計算部２０３は、下記の式（１）に従って、局所特徴量ＬＦ_in、ＬＦ_rからビット列ＨＶを計算する。但し、下記の式（１）において、ＡＮＤは論理積演算を表し、ＸＯＲは排他的論理和演算を表す。また、下記の式（１）は、局所特徴量ＬＦ_in、ＬＦ_rの各ビット値について、一致する場合に１、不一致の場合に０とする演算を表す。

また、距離計算部２０３は、ビット列ＨＶの長さ（ＨＶに含まれるビット値１の数）を計算する。ビット列ＨＶの長さは、特徴領域Ａ_in、Ａ_r間における特徴の相違度を表す距離Ｄとなる。つまり、距離Ｄが大きいほど特徴領域Ａ_in、Ａ_rの特徴が大きく相違し、距離Ｄが小さいほど特徴領域Ａ_in、Ａ_rの特徴が類似していることを表す。距離計算部２０３により計算された距離Ｄは、投票処理部２０４に入力される。

ＨＶ＝ＬＦ_in ＸＯＲ ＬＦ_r
…（１）
（投票処理について）
投票処理部２０４は、参照画像Ｐ_rの特徴領域Ａ_rと、入力画像Ｐ_inの各特徴領域Ａ_inとの組について計算された距離Ｄに基づき、類似度が最も高い（距離Ｄが最も小さくなる）特徴領域Ａ_r、Ａ_inの組を抽出する。つまり、投票処理部２０４は、参照画像Ｐ_rの各特徴領域Ａ_rについて、類似度が最も高い特徴領域Ａ_in、Ａ_rの組に対応する特徴点の組を抽出する（対応点探索）。以下の説明において、投票処理部２０４が抽出した特徴点の組のうち、特徴領域Ａ_rの特徴点に対応する特徴領域Ａ_inの特徴点を「対応点」と呼ぶ場合がある。

図１４に示すように、対応点探索により特徴点の組が得られると、投票処理部２０４は、特徴領域Ａ_rの特徴点と参照画像Ｐ_rの中心との位置関係に基づき、参照画像Ｐ_rの中心が位置する入力画像Ｐ_in内の位置（以下、「特定点」と呼ぶ場合がある。）を特定する（中心推定）。なお、参照画像Ｐ_rの中心に代えて、参照画像Ｐ_rの他の点（例えば、画像全体を上下左右に三分割する線の交点など）を利用してもよい。

つまり、投票処理部２０４は、既知である特徴領域Ａ_rの特徴点から参照画像Ｐ_rの中心への向き及び距離を利用し、対応点から同じ向きへ同じ距離だけ移動した位置を、参照画像Ｐ_rの中心が一致する可能性の高い点（特定点）として特定する。この特定は、対応点と、特徴領域Ａ_rの特徴点とが一致するように参照画像Ｐ_rを入力画像Ｐ_inに重ねた場合に、入力画像Ｐ_inにおける参照画像Ｐ_rの中心を計算する処理に相当する。

例えば、特定点の座標を（Ｘ_v，Ｙ_v）、入力画像Ｐ_inの横幅をｗ_i、高さをｈ_i、参照画像Ｐ_rの横幅をｗ_r、高さをｈ_rとすると、座標（Ｘ_v，Ｙ_v）は、下記の式（２）及び式（３）により計算できる。但し、参照画像Ｐ_rの特徴点を座標（Ｘ_r，Ｙ_r）と表記し、対応点の座標を（Ｘ_i，Ｙ_i）と表記している。

また、投票処理部２０４は、計算した特定点の座標に基づいて統計的手法により入力画像Ｐ_inに参照画像Ｐ_rが含まれるか否かを判定する。このとき、投票処理部２０４は、統計的手法として、例えば、投票を採用する。投票には、図１４に示すように、入力画像Ｐ_inと同じサイズの領域に枡目を設けた投票マップ（以下、投票マップＭＰ）が利用される。また、投票マップＭＰの各枡目にはカウンタが対応付けられている。

投票処理部２０４は、特定点の座標を含む枡目を抽出し、抽出した枡目に対応するカウンタのカウント値（投票数）をカウントアップする。このカウントアップの処理を投票と呼ぶ。投票処理部２０４は、参照画像Ｐ_rの各特徴点について同様に投票を行う。入力画像Ｐ_inに参照画像Ｐ_rの物体が含まれている場合、投票マップＭＰにおける投票数の分布は、参照画像Ｐ_rの中心に対応する位置にピークを有する。なお、投票マップＭＰの情報は、判定処理部２０５に入力される。

投票が終了すると、判定処理部２０５は、投票マップＭＰの中から投票数が最大の枡目を検出し、最大の投票数と予め設定されている第１閾値Ｔｈ₁とを比較する。第１閾値Ｔｈ₁は、例えば、様々な入力画像Ｐ_in、参照画像Ｐ_rの組み合わせについて実験又はシミュレーションを行い、許容可能な精度で正しい判定結果が得られる値に設定される。なお、最大の投票数を投票マップＭＰ内の全投票数で割って正規化した値と第１閾値Ｔｈ₁とを比較するように判定処理部２０５の機能を変形してもよい。

最大の投票数が第１閾値Ｔｈ₁より大きい場合、判定処理部２０５は、入力画像Ｐ_inの中に参照画像Ｐ_rが存在すると判定する。一方、最大の投票数が第１閾値Ｔｈ₁より小さい場合、判定処理部２０５は、投票を実行した参照画像Ｐ_rの投票マップＭＰと、当該参照画像Ｐ_rに隣接する他の参照画像Ｐ_rの投票マップＭＰとを用いて物体の有無を判断する。

図１４の例において、入力画像Ｐ_inは、物体を左４５度の方向から撮影した画像である。この場合、画像ＩＤが００４の参照画像Ｐ_r（撮影方向が左９０度の場合）を用いて投票処理を実行すると、投票マップＭＰにおける投票数の分布は、物体を左９０度の方向から撮影した入力画像Ｐ_inについて計算した投票数の分布に比べて幅の広い分布となる。ここで、このような分布の違いが生じる理由について説明する。

既に説明したように、投票処理は、参照画像Ｐ_rにおける特徴点と中心との位置関係から特定される特定点に基づいて実行される。図１５に示すように、参照画像Ｐ_rの撮影方向と入力画像Ｐ_inの撮影方向とが異なる場合、参照画像Ｐ_rにおける物体の領域（左９０度から見た面）と、当該領域に対応する入力画像Ｐ_in中の領域との間で幅が異なる。

参照画像Ｐ_rにおける物体の領域の幅をＷ₁、この領域に対応する入力画像Ｐ_in中の領域の幅をＷ₂と表記すると、図１５に示すように、Ｗ₂／２＜Ｗ₁／２となる。なお、Ｗ₁／２は、参照画像Ｐ_rにおける物体の端部に位置する特徴点から中心までの距離である。また、参照画像Ｐ_rの中心に対応する物体の部分と同じ部分に対応する入力画像Ｐ_in中の点を特定点０と呼ぶと、Ｗ₂／２は、入力画像Ｐ_inにおける物体の端部に位置する特徴点から特定点０までの距離である。

また、参照画像Ｐ_rにおける物体の端部に位置する特徴領域Ａ_rについて対応点探索及び中心推定により特定された特定点を特定点１とすると、特定点０と特定点１との間に、（Ｗ₁／２−Ｗ₂／２）のずれが生じる。ここでは物体の端部に注目して特定点０、１のずれについて説明したが、他の特徴点についても同様にずれが生じる。このずれは、物体の端部に近いほど大きくなる。結果として、特定点の分布が拡がり、投票マップＭＰにおける投票数の分布の幅が大きくなる。

投票マップＭＰにおける分布の幅が大きくなると最大の投票数が小さくなる。そして、分布の拡がりに起因して最大の投票数が第１閾値Ｔｈ₁より小さくなる可能性がある。そこで、判定処理部２０５は、投票を実行した参照画像Ｐ_rの投票マップＭＰと、当該参照画像Ｐ_rに隣接する参照画像Ｐ_rの投票マップＭＰとを用いて物体の有無を判断する。

判定処理部２０５は、投票処理を実行した参照画像Ｐ_rに隣接する他の参照画像Ｐ_rについて実行した投票マップＭＰの情報を投票処理部２０４から取得する。例えば、投票処理を実行した参照画像Ｐ_rの画像ＩＤが００１である場合、判定処理部２０５は、隣接画像管理テーブルを参照して画像ＩＤが００４の参照画像Ｐ_rを特定する。そして、判定処理部２０５は、画像ＩＤが００４の参照画像Ｐ_rに関する投票マップＭＰの情報を投票処理部２０４から取得する。

なお、画像ＩＤが００１の参照画像Ｐ_rを参照画像Ｐ_r（００１）と表記し、画像ＩＤが００４の参照画像Ｐ_rを参照画像Ｐ_r（００４）と表記する。また、参照画像Ｐ_r（００１）の投票マップＭＰを投票マップＭＰ（００１）と表記し、参照画像Ｐ_r（００４）の投票マップＭＰを投票マップＭＰ（００４）と表記する。

図１６に示すように、判定処理部２０５は、投票マップＭＰ（００１）から最大の投票数に対応する枡目の座標（Ｈ₁，Ｖ₁）を取得する。また、判定処理部２０５は、投票マップＭＰ（００４）から最大の投票数に対応する枡目の座標（Ｈ₄，Ｖ₄）を取得する。なお、図１６の例では、投票マップＭＰの左上を原点（０，０）とし、右方向にＨ個、下方向にＶ個移動した枡目の座標を（Ｈ，Ｖ）と表現する方法で枡目の座標を表現している。もちろん、投票マップＭＰにおける座標の表現方法はこれに限定されない。

図１６の例では、（Ｈ₁，Ｖ₁）＝（５，３）であり、（Ｈ₄，Ｖ₄）＝（３，３）である。判定処理部２０５は、平面Ｇに垂直な方向（Ｚ方向；投票マップＭＰの上下方向）に関する座標値の差（つまり、｜Ｖ₁−Ｖ₄｜）を計算する。そして、判定処理部２０５は、計算した差｜Ｖ₁−Ｖ₄｜と予め設定されている第２閾値Ｔｈ₂とを比較する（水平判定）。但し、｜…｜は絶対値を表す。

第２閾値Ｔｈ₂は、例えば、物体が載置された平面Ｇ上で撮影方向を様々に変えて撮影した参照画像Ｐ_r及び入力画像Ｐ_inを用いて実験やシミュレーションなどを行い、平面Ｇに垂直な方向に生じる最大の投票数のばらつきなどに基づいて決定できる。

差｜Ｖ₁−Ｖ₄｜が第２閾値Ｔｈ₂より小さい場合、判定処理部２０５は、参照画像Ｐ_r（００４）の撮影方向と参照画像Ｐ_r（００１）の撮影方向とが許容可能な誤差の範囲内で同じ面内にあると判定する。一方、差｜Ｖ₁−Ｖ₄｜が第２閾値Ｔｈ₂より大きい場合、判定処理部２０５は、入力画像Ｐ_inの中に参照画像Ｐ_r（００１）及び参照画像Ｐ_r（００４）に含まれる物体が存在しないと判定する。

また、判定処理部２０５は、最大の投票数の枡目が位置する座標について、平面Ｇに並行な方向（Ｘ−Ｙ面内の方向；投票マップＭＰの左右方向）に関する座標値の大小関係が、撮影方向の関係（隣接方向）と整合するか否かを判定する（左右判定）。

例えば、撮影方向の関係から、参照画像Ｐ_r（００１）は右側、参照画像Ｐ_r（００４）は左側に位置する（図１１を参照）。そのため、参照画像Ｐ_r（００１）及び参照画像Ｐ_r（００４）の物体が入力画像Ｐ_inに含まれる場合、参照画像Ｐ_r（００１）に関する最大の投票数の枡目は、参照画像Ｐ_r（００４）に関する最大の投票数の枡目よりも右側に位置する。つまり、この場合にはＨ₁＞Ｈ₄となる。

そこで、判定処理部２０５は、Ｈ₁がＨ₄より大きいか否かを判定する。Ｈ₁＞Ｈ₄の場合、判定処理部２０５は、投票マップＭＰの左右方向に関する座標値の大小関係が、撮影方向の関係（隣接方向）と整合すると判定する。一方、Ｈ₁＜Ｈ₄の場合、判定処理部２０５は、入力画像Ｐ_inの中に参照画像Ｐ_r（００１）及び参照画像Ｐ_r（００４）に含まれる物体が存在しないと判定する。なお、Ｈ₁＝Ｈ₄の場合については、Ｈ₁＞Ｈ₄と同じ判定を行うか、Ｈ₁＜Ｈ₄と同じ判定を行うかを予め任意に設定してよい。

水平判定において差｜Ｖ₁−Ｖ₂｜が第２閾値Ｔｈ₂より大きいと判定され、左右判定においてＨ₁＞Ｈ₄と判定された場合、判定処理部２０５は、投票数を集約する処理を実行する。投票数の集約は、図１７に示すように、投票マップＭＰの中で最大の投票数を有する枡目を基準に、設定した範囲（以下、集約範囲）内にある投票数を最大の投票数に合算する処理である。集約範囲の設定方法については後述する。

図１７の例において、判定処理部２０５は、投票マップＭＰ（００４）の最大の投票数に集約範囲内の投票数を合算する（Ｓ１１；集約）。また、判定処理部２０５は、合算した投票数が第３閾値Ｔｈ₃より大きいか否かを判定する（Ｓ１２；判定）。第３閾値Ｔｈ₃は、第１閾値Ｔｈ₁と同じ値に設定されてもよいし、第１閾値Ｔｈ₁より小さい値に設定されてもよい。

同様に、判定処理部２０５は、投票マップＭＰ（００１）の最大の投票数に集約範囲内の投票数を合算する（Ｓ２１；集約）。また、判定処理部２０５は、合算した投票数が第３閾値Ｔｈ₃より大きいか否かを判定する（Ｓ２２；判定）。そして、判定処理部２０５は、Ｓ１２及びＳ２２における判定の結果に基づいて参照画像Ｐ_r（００１）及び参照画像Ｐ_r（００４）の物体が入力画像Ｐ_inに含まれるか否かを判断する（Ｓ３１；有無判断）。

例えば、判定処理部２０５は、Ｓ１２又はＳ２２の少なくとも一方で、合算した投票数が第３閾値Ｔｈ₃より大きいと判定された場合に、入力画像Ｐ_inに物体が含まれると判断する。但し、判定処理部２０５は、Ｓ１２又はＳ２２の両方で、合算した投票数が第３閾値Ｔｈ₃より大きいと判定された場合に、入力画像Ｐ_inに物体が含まれると判断してもよい。

上記のように、投票マップを利用して判定を行うことで、入力画像Ｐ_inと参照画像Ｐ_rとの間に生じた許容可能な誤差を吸収し、ロバストな判定を行うことができる。
また、投票数を集約することにより、参照画像Ｐ_rと入力画像Ｐ_inとの撮影方向の違いによる投票数の分散に起因して、同じ物体が含まれるにもかかわらず、その物体が存在しないと誤判定されるリスクを低減することができる。さらに、水平判定及び左右判定を行うことにより、集約した投票数が偶然に第３閾値Ｔｈ₃より大きくなるような場合に誤判断が生じにくくすることができる。

上述した処理により、入力画像Ｐ_inの中に物体が存在すると判定した場合、判定処理部２０５は、対応する参照画像Ｐ_rの参照画像管理テーブルを記憶部２０１から読み出し、参照画像Ｐ_rに含まれるランドマークの情報を端末装置１００に送信する。

端末装置１００に送信されるランドマークの情報は、例えば、入力画像Ｐ_inに含まれると判定された物体の物体名や画像ＩＤなどである。また、ランドマーク毎にタグ情報を用意しておき、判定結果に応じてランドマークに対応するタグ情報が端末装置１００に送信されるようにしてもよい。この場合、端末装置１００でタグ情報が入力画像Ｐ_inに自動付与される仕組みを実現することができる。

また、複数のランドマークが存在すると判定された場合、判定処理部２０５は、それら全てのランドマークの情報を端末装置１００に送信してもよいし、投票マップＭＰ全体における投票数の合計値や最大の投票数が最も大きいランドマークの情報だけを端末装置１００に送信してもよい。

また、参照画像管理テーブルに含まれる全ての参照画像Ｐ_rについて、入力画像Ｐ_inの中に参照画像Ｐ_rが存在しないと判定した場合、判定処理部２０５は、ランドマークが存在しない旨を示すエラー情報を端末装置１００に送信する。

（集約範囲について）
ここで、集約範囲について、さらに説明する。
既に説明したように、投票マップＭＰにおける投票数の分散は、参照画像Ｐ_rの撮影方向と入力画像Ｐ_inの撮影方向との差に起因して生じる。つまり、参照画像Ｐ_rにおける物体の幅と入力画像Ｐ_inにおける物体の幅とが異なることにより、参照画像Ｐ_rにおける特徴点と中心との位置関係に基づく投票を行うと、投票数の分布が拡がる。

参照画像Ｐ_rにおける物体の横幅をＷ₁、入力画像Ｐ_inにおける物体（但し、参照画像Ｐ_rに写っている物体の部分）の横幅をＷ₂とすると、参照画像Ｐ_rにおける特徴点から中心までの距離は、最大でＷ₁／２となる。また、入力画像Ｐ_inにおける特徴点から中心までの距離は、最大でＷ₂／２となる。

Ｗ₁とＷ₂とが同じであれば、投票位置のずれは理論上０となる。また、Ｗ₂が小さくなると投票位置のずれが拡大し、最大でＷ₁／２の投票位置のずれが生じる。そこで、集約範囲は、投票位置のずれが最大となる場合を基準に実験又はシミュレーションにより決定される。

ここで、投票マップＭＰの中で集約範囲の左上座標を（Ｈ_L，Ｖ_L）、右下座標を（Ｈ_R，Ｖ_R）と表記する。また、参照画像Ｐ_rにおける物体の幅を参照画像Ｐ_rの横幅ｗ_rと同じに設定すると、投票位置のずれは、最大でｗ_r／２となる。投票マップＭＰの左上を原点（０，０）とし、最大の投票数を有する枡目の座標を（Ｈ_M，Ｖ_M）とすると、例えば、Ｈ_L、Ｖ_L、Ｈ_R、Ｖ_Rは、それぞれ下記の式（４）〜式（７）で与えられる。

Ｈ_L ＝ Ｈ_M−（ｗ_r／２）×ｄ
…（４）
Ｖ_L ＝ Ｖ_M
…（５）
Ｈ_R ＝ Ｈ_M＋（ｗ_r／２）×ｄ
…（６）
Ｖ_R ＝ Ｖ_M
…（７）
但し、上記の式（４）及び式（６）に含まれるパラメータｄは、０以上、１以下の実数である。パラメータｄは、予め設定された１つの値であってもよいし、予め設定された複数の値に基づいて離散的又は連続的に変化する値であってもよい。

例えば、図１８に示すように、参照画像Ｐ_rと入力画像Ｐ_inとの撮影方向の差（角度）に応じたパラメータｄを用意しておき、判定処理部２０５が、そのパラメータｄを利用する方法を適用できる。なお、パラメータｄは、様々な参照画像Ｐ_rと入力画像Ｐ_inとを用意し、実験又はシミュレーションにより撮影方向の差毎に誤判定が少なくなるように設定される。

上記の方法を適用する場合、判定処理部２０５は、パラメータｄを順次選択して集約範囲を設定し、設定した集約範囲毎に、合算した投票数と第３閾値Ｔｈ₃とを比較する。このとき、判定処理部２０５は、少なくとも１つの集約範囲について、合算した投票数が第３閾値Ｔｈ₃より大きくなるか否かを判定し、その判定の結果に基づいて物体の有無を判断する。

上記の式（４）〜式（７）に基づく集約範囲の設定方法は、最大の投票数を有する枡目の座標（Ｈ_M，Ｖ_M）を基準としているが、基準座標に幅を持たせることもできる。例えば、座標（Ｈ_M，Ｖ_M）の周辺１０画素四方の範囲内で、上記の式（４）〜式（７）に含まれるＨ_M、Ｖ_Mを変化させ、Ｈ_M、Ｖ_Mの組毎に設定される集約範囲内で合算した投票数の最大値を集約結果として採用する方法を適用することができる。この方法によれば、入力画像Ｐ_inと参照画像Ｐ_rとの差に対してよりロバストな判定ができるようになる。

以上、サーバ装置２００の機能について説明した。
［２−５．処理の流れ］
次に、端末装置１００及びサーバ装置２００が実行する処理の流れについて説明する。

（端末装置の動作について）
図１９及び図２０を参照しながら、端末装置１００の動作に係る処理の流れについて説明する。

なお、図１９は、第２実施形態に係る端末装置の動作について説明するためのフロー図である。図２０は、第２実施形態に係る端末装置の動作のうち、特徴量の計算に関する動作について説明するためのフロー図である。

（Ｓ１０１）画像取得部１０２は、ランドマークの認識対象となる画像（入力画像Ｐ_in）を取得する。
例えば、画像取得部１０２は、外部の記憶装置又は端末装置１００に接続されたカメラから入力画像Ｐ_inを取得する。また、画像取得部１０２は、端末装置１００が有するカメラ機能を利用して入力画像Ｐ_inを取得してもよい。画像取得部１０２により取得された入力画像Ｐ_inは、記憶部１０１に格納される。

（Ｓ１０２）特徴点設定部１０３は、記憶部１０１に格納された入力画像Ｐ_inを読み出し、読み出した入力画像Ｐ_inに複数の特徴点Ｗ_inを設定する。
例えば、特徴点設定部１０３は、図６に示すように、等間隔に配置された複数の特徴点Ｗ_inを抽出する方法（Ｄｅｎｓｅ Ｓａｍｐｌｉｎｇ）を用いて入力画像Ｐ_inに特徴点Ｗ_inを設定する。但し、特徴点Ｗ_inの設定にはＦＡＳＴなどの方法も適用できる。

特徴点設定部１０３により設定された特徴点Ｗ_in及び特徴領域Ａ_inの情報は、記憶部１０１に格納される。また、特徴点Ｗ_in及び特徴領域Ａ_inの情報は、特徴量計算部１０４に入力される。

（Ｓ１０３）特徴量計算部１０４は、Ｓ１０２で設定された特徴点Ｗ_inの１つを選択する。
（Ｓ１０４）特徴量計算部１０４は、画素ペア情報１０１ａを参照し、Ｓ１０３で選択した特徴点Ｗ_inに対応する特徴領域Ａ_inの特徴量を計算する。

例えば、特徴量計算部１０４は、図７に示すように、入力画像Ｐ_inの特徴領域Ａ_inから画素ペア毎に各画素の輝度を抽出する（Ｃ１）。次いで、特徴量計算部１０４は、画素ペア毎に抽出した２つの輝度の差分を求めることで、各画素ペアの輝度差を計算する（Ｃ２）。次いで、特徴量計算部１０４は、計算した輝度差の符号（正負）を表すビット値を並べたビット列（局所特徴量）を生成する（Ｃ３）。

（Ｓ１０５）特徴量計算部１０４は、入力画像Ｐ_inに含まれる全ての特徴点Ｗ_inについて特徴量の計算を終えたか否かを判定する。入力画像Ｐ_inに含まれる全ての特徴点Ｗ_inについて特徴量の計算を終えた場合、処理はＳ１０６へと進む。一方、入力画像Ｐ_inに含まれる全ての特徴点Ｗ_inについて特徴量の計算を終えていない場合、処理はＳ１０３へと進む。

（Ｓ１０６）特徴量計算部１０４は、入力画像Ｐ_inについて計算した局所特徴量の組を送信部１０５に入力する。そして、送信部１０５は、特徴量計算部１０４から入力された局所特徴量をサーバ装置２００へ送信する。Ｓ１０６の処理が完了すると、図１９に示した一連の処理は終了する。

ここで、Ｓ１０４の処理について、さらに説明する。
（Ｓ１１１）特徴量計算部１０４は、画素ペア情報１０１ａを参照し、特徴点Ｗ_inの周辺に設定された特徴領域Ａ_inに複数の画素ペアを設定する。

（Ｓ１１２）特徴量計算部１０４は、Ｓ１１１で設定した画素ペアを１つ選択する。
（Ｓ１１３）特徴量計算部１０４は、Ｓ１１２で選択した画素ペアの輝度差を計算する。例えば、特徴量計算部１０４は、入力画像Ｐ_inの特徴領域Ａ_inから画素ペアの各画素の輝度を抽出する。そして、特徴量計算部１０４は、抽出した２つの輝度の差分を求めることで、画素ペアの輝度差を計算する。

（Ｓ１１４）特徴量計算部１０４は、Ｓ１１３で計算した輝度差の符号（正負）に対応するビット値を選択し、選択したビット値を局所特徴量のビット値に設定する。
なお、輝度差の符号とビット値とは予め対応付けられている。例えば、正の符号がビット値「１」に対応付けられ、負の符号がビット値「０」に対応付けられている。また、輝度差を計算する際、画素ペアを成す２つの画素のうち、どちらの画素の輝度から、他方の画素の輝度を減算するかも予め設定されている。例えば、座標（Ｘ₁，Ｙ₁）に位置する画素の輝度から座標（Ｘ₂，Ｙ₂）に位置する画素の輝度を減算した輝度差の符号を局所特徴量の生成に利用することが予め設定されている。

（Ｓ１１５）特徴量計算部１０４は、全ての画素ペアを選択し終えたか否かを判定する。全ての画素ペアを選択し終えていない場合、処理はＳ１１２へと進む。一方、全ての画素ペアを選択し終えた場合、図２０に示した一連の処理は終了する。

以上、端末装置１００の動作に係る処理の流れについて説明した。
（サーバ装置の動作について）
次に、図２１〜図２３を参照しながら、サーバ装置２００の動作に係る処理の流れについて説明する。

なお、図２１は、第２実施形態に係るサーバ装置の動作について説明するためのフロー図である。図２２は、第２実施形態に係るサーバ装置の動作のうち、参照画像の探索に関する動作について説明するためのフロー図である。図２３は、第２実施形態に係るサーバ装置の動作のうち、隣接する参照画像に基づく判定に関する動作について説明するためのフロー図である。

（Ｓ２０１）受信部２０２は、端末装置１００から入力画像Ｐ_inの局所特徴量を受信する。受信部２０２により受信された入力画像Ｐ_inの局所特徴量は、距離計算部２０３に入力される。

（Ｓ２０２）距離計算部２０３は、参照画像管理テーブルに含まれる参照画像Ｐ_rを１つ選択する。
（Ｓ２０３）距離計算部２０３、投票処理部２０４、及び判定処理部２０５は、Ｓ２０２で選択した参照画像Ｐ_rを探索する処理を実行する。

例えば、距離計算部２０３は、参照画像Ｐ_rの特徴領域Ａ_rと入力画像Ｐ_inの特徴領域Ａ_inとの相違度を表す距離Ｄを計算する。投票処理部２０４は、距離計算部２０３が計算した距離Ｄに基づいて投票マップＭＰを生成する。判定処理部２０５は、投票処理部２０４が生成した投票マップＭＰを利用し、最大の投票数と第１閾値Ｔｈ₁との比較結果に基づいて参照画像Ｐ_rが入力画像Ｐ_inに存在するか否かを判断する。

（Ｓ２０４）判定処理部２０５は、参照画像管理テーブルに含まれる全ての参照画像Ｐ_rを選択し終えたか否かを判定する。参照画像管理テーブルに含まれる全ての参照画像Ｐ_rを選択し終えていない場合、処理はＳ２０２へと進む。一方、参照画像管理テーブルに含まれる全ての参照画像Ｐ_rを選択し終えた場合、処理はＳ２０５へと進む。

（Ｓ２０５）判定処理部２０５は、Ｓ２０３の結果に基づき、少なくとも１つの参照画像Ｐ_rが入力画像Ｐ_inに存在したか否かを判定する。少なくとも１つの参照画像Ｐ_rが入力画像Ｐ_inに存在した場合、処理はＳ２０６へと進む。一方、Ｓ２０３の結果から、少なくとも１つの参照画像Ｐ_rが入力画像Ｐ_inに存在すると判定されなかった場合、処理はＳ２０７へと進む。

（Ｓ２０６）判定処理部２０５は、対応する参照画像Ｐ_rの参照画像管理テーブルを記憶部２０１から読み出し、参照画像Ｐ_rに含まれるランドマークの情報を端末装置１００に送信する。Ｓ２０６の処理が完了すると、図２１に示した一連の処理は終了する。

（Ｓ２０７）判定処理部２０５は、隣接する複数の参照画像Ｐ_rに基づいて、入力画像Ｐ_inに参照画像Ｐ_rが存在するか否かを判定する。
例えば、判定処理部２０５は、隣接画像管理テーブルを参照し、隣接する２つの参照画像Ｐ_rの組を選択する。また、判定処理部２０５は、選択した２つの参照画像Ｐ_rに対応する２つの投票マップＭＰに基づいて、２つの参照画像Ｐ_rが水平方向に隣接するか否かを判定する（水平判定）。また、判定処理部２０５は、２つの参照画像Ｐ_rの左右の位置関係が正しいか否かを判定する（左右判定）。

２つの参照画像Ｐ_rが水平方向に隣接し、左右の位置関係が正しい場合、判定処理部２０５は、予め設定した集約範囲内で投票数を合算し、合算した投票数と第３閾値Ｔｈ₃とを比較する。そして、判定処理部２０５は、その比較の結果に基づいて入力画像Ｐ_inに参照画像Ｐ_rが存在するか否かを判断する。

（Ｓ２０８）判定処理部２０５は、Ｓ２０７の結果に基づき、少なくとも１つの参照画像Ｐ_rが入力画像Ｐ_inに存在したか否かを判定する。少なくとも１つの参照画像Ｐ_rが入力画像Ｐ_inに存在した場合、処理はＳ２０９へと進む。一方、参照画像Ｐ_rが入力画像Ｐ_inに存在しないと判定された場合、処理はＳ２１０へと進む。

（Ｓ２０９）判定処理部２０５は、対応する参照画像Ｐ_rの参照画像管理テーブルを記憶部２０１から読み出し、参照画像Ｐ_rに含まれるランドマークの情報を端末装置１００に送信する。Ｓ２０６の処理が完了すると、図２１に示した一連の処理は終了する。

（Ｓ２１０）判定処理部２０５は、ランドマークの検出に失敗した旨を示すエラー情報を端末装置１００に送信する。Ｓ２１０の処理が完了すると、図２１に示した一連の処理は終了する。

ここで、Ｓ２０３の処理について、さらに説明する。
（Ｓ２２１）距離計算部２０３は、参照画像Ｐ_rの特徴点Ｗ_rを１つ選択する。
（Ｓ２２２）距離計算部２０３は、受信部２０２により受信された入力画像Ｐ_inの局所特徴量に基づき、入力画像Ｐ_inの各特徴領域Ａ_inと参照画像Ｐ_rの各特徴領域Ａ_rとの距離Ｄ（特徴の相違度）を計算する。

例えば、距離計算部２０３は、上記の式（１）に従って、局所特徴量ＬＦ_in、ＬＦ_rからビット列ＨＶを計算する。但し、特徴領域Ａ_inの局所特徴量をＬＦ_in、特徴領域Ａ_rの局所特徴量をＬＦ_rと表記した。

また、距離計算部２０３は、ビット列ＨＶの長さ（ＨＶに含まれるビット値１の数）を計算する。ビット列ＨＶの長さは、特徴領域Ａ_in、Ａ_r間における特徴の相違度を表す距離Ｄとなる。つまり、距離Ｄが大きいほど特徴領域Ａ_in、Ａ_rの特徴が大きく相違し、距離Ｄが小さいほど特徴領域Ａ_in、Ａ_rの特徴が類似していることを表す。距離計算部２０３により計算された距離Ｄは、投票処理部２０４に入力される。

（Ｓ２２３）投票処理部２０４は、参照画像Ｐ_rの特徴領域Ａ_rと、入力画像Ｐ_inの各特徴領域Ａ_inとの組について計算された距離Ｄに基づき、類似度が最も高い（距離Ｄが最も小さくなる）特徴領域Ａ_r、Ａ_inの組を抽出し、抽出した組に対応する特徴点Ｗ_in、Ｗ_rの組を特定する。そして、投票処理部２０４は、特徴領域Ａ_rの特徴点Ｗ_rと参照画像Ｐ_rの中心との位置関係に基づき、参照画像Ｐ_rの中心が位置する入力画像Ｐ_in内の位置（特定点）を特定する。

（Ｓ２２４）投票処理部２０４は、Ｓ２２３で特定した特定点に対応する投票マップＭＰの位置（枡目）に投票する。つまり、投票処理部２０４は、特定点の座標を含む投票マップＭＰの枡目を抽出し、抽出した枡目に対応するカウンタのカウント値（投票数）をカウントアップする。

（Ｓ２２５）投票処理部２０４は、参照画像Ｐ_rに含まれる全ての特徴点を選択し終えたか否かを判定する。参照画像Ｐ_rに含まれる全ての特徴点を選択し終えていない場合、処理はＳ２２１へと進む。一方、参照画像Ｐ_rに含まれる全ての特徴点を選択し終えた場合、処理はＳ２２６へと進む。

（Ｓ２２６）判定処理部２０５は、投票マップＭＰから投票数の最大値を抽出する。
（Ｓ２２７）判定処理部２０５は、Ｓ２２６で抽出した投票数の最大値が第１閾値Ｔｈ₁より大きいか否かを判定する。投票数の最大値が第１閾値Ｔｈ₁より大きい場合、処理はＳ２２９へと進む。一方、投票数の最大値が第１閾値Ｔｈ₁より大きくない場合、処理はＳ２２８へと進む。

（Ｓ２２８）判定処理部２０５は、Ｓ２０３の処理結果として、入力画像Ｐ_in中に参照画像Ｐ_rが存在しないと判定する。Ｓ２２８の処理が完了すると、図２２に示した一連の処理は終了する。

（Ｓ２２９）判定処理部２０５は、入力画像Ｐ_in中に参照画像Ｐ_rが存在すると判定する。Ｓ２２９の処理が完了すると、図２２に示した一連の処理は終了する。
ここで、Ｓ２０７の処理について、さらに説明する。

（Ｓ２３１）判定処理部２０５は、隣接画像管理テーブルを参照し、隣接する参照画像Ｐ_rの組を選択する。また、判定処理部２０５は、選択した各参照画像Ｐ_rに関する投票マップＭＰの情報を投票処理部２０４から取得する。例えば、判定処理部２０５は、参照画像Ｐ_r（００１）及び参照画像Ｐ_r（００４）を選択し、投票マップＭＰ（００１）及び投票マップＭＰ（００４）を取得する。

（Ｓ２３２）判定処理部２０５は、Ｓ２３１で取得した投票マップＭＰを参照し、投票数が最大となる投票マップＭＰの位置（枡目）を特定する。例えば、判定処理部２０５は、投票マップＭＰ（００１）から最大の投票数に対応する枡目の座標（Ｈ₁，Ｖ₁）を取得する。また、判定処理部２０５は、投票マップＭＰ（００４）から最大の投票数に対応する枡目の座標（Ｈ₄，Ｖ₄）を取得する。

（Ｓ２３３）判定処理部２０５は、Ｓ２３２で各参照画像Ｐ_rについて特定した投票マップＭＰ内の位置が互いに水平の位置関係にあるか否かを判定する。水平の位置関係にある場合、処理はＳ２３４へと進む。一方、水平の位置関係にない場合、処理はＳ２３８へと進む。

例えば、判定処理部２０５は、平面Ｇに垂直な方向（Ｚ方向；投票マップＭＰの上下方向）に関する座標値の差（つまり、｜Ｖ₁−Ｖ₄｜）を計算する。そして、判定処理部２０５は、計算した差｜Ｖ₁−Ｖ₄｜と第２閾値Ｔｈ₂とを比較する。差｜Ｖ₁−Ｖ₄｜が第２閾値Ｔｈ₂より小さい場合、水平の位置関係にあると判定される。一方、差｜Ｖ₁−Ｖ₄｜が第２閾値Ｔｈ₂より大きい場合、水平の位置関係にないと判定される。

（Ｓ２３４）判定処理部２０５は、Ｓ２３２で各参照画像Ｐ_rについて特定した投票マップＭＰ内の位置が、相対的に正しい位置関係にあるか否かを判定する。つまり、判定処理部２０５は、特定した投票マップＭＰ内の位置関係と、参照画像Ｐ_rの相対的な位置関係（左右関係）とが矛盾しないかを判定する。正しい位置関係にある場合、処理はＳ２３５へと進む。一方、正しい位置関係にない場合、処理はＳ２３８へと進む。

例えば、判定処理部２０５は、最大の投票数の枡目が位置する座標について、平面Ｇに並行な方向（Ｘ−Ｙ面内の方向；投票マップＭＰの左右方向）に関する座標値の大小関係が、撮影方向の関係（隣接方向）と整合するか否かを判定する。参照画像Ｐ_r（００１）は右側、参照画像Ｐ_r（００４）は左側に位置する場合、Ｈ₁＞Ｈ₄となるか否かが判定される。Ｈ₁＞Ｈ₄となる場合には正しい位置関係にあり、Ｈ₁＜Ｈ₄となる場合には正しい位置関係にないと判定される。

（Ｓ２３５）判定処理部２０５は、参照画像Ｐ_r毎に、Ｓ２３２で特定した位置を基準に設定した集約範囲内の投票数を合算する集約の処理を実行する。例えば、Ｓ２３２で特定した位置を中心とし、予め設定された幅と高さを有する左右に拡がった矩形の領域が集約範囲として設定される。また、図１８に示したパラメータｄを利用し、上記の式（４）〜式（７）に基づいて集約範囲を設定することができる。

（Ｓ２３６）判定処理部２０５は、Ｓ２３１で選択した隣接する複数の参照画像Ｐ_rのうち、少なくとも１つの参照画像Ｐ_rについて、Ｓ２３５で合算した投票数が第３閾値Ｔｈ₃より大きいか否かを判定する。Ｓ２３５で合算した投票数が第３閾値Ｔｈ₃より大きい場合、処理はＳ２３７へと進む。一方、Ｓ２３５で合算した投票数が第３閾値Ｔｈ₃より大きくない場合、処理はＳ２３８へと進む。なお、第３閾値Ｔｈ₃は、第１閾値Ｔｈ₁と同じ値に設定されてもよいし、第１閾値Ｔｈ₁より小さい値に設定されてもよい。

（Ｓ２３７）判定処理部２０５は、入力画像Ｐ_in中に、Ｓ２３１で選択した参照画像Ｐ_rが存在すると判定する。
（Ｓ２３８）判定処理部２０５は、入力画像Ｐ_in中に、Ｓ２３１で選択した参照画像Ｐ_rが存在しないと判定する。

（Ｓ２３９）判定処理部２０５は、隣接画像管理テーブルに含まれる参照画像Ｐ_rの組を全て選択し終えたか否かを判定する。参照画像Ｐ_rの組を全て選択し終えていない場合、処理はＳ２３１へと進む。一方、参照画像Ｐ_rの組を全て選択し終えた場合、図２３に示した一連の処理は終了する。

以上、サーバ装置２００の動作に係る処理の流れについて説明した。
［２−６．変形例＃１（上下に隣接する参照画像Ｐ_rの利用）］
ここで、図２４及び図２５を参照しながら、第２実施形態の一変形例（変形例＃１）について説明する。

なお、図２４は、第２実施形態の一変形例（変形例＃１）に係る参照画像情報（隣接画像管理テーブル）の一例を示した図である。図２５は、第２実施形態の一変形例（変形例＃１）に係るサーバ装置の動作のうち、隣接する参照画像に基づく判定に関する動作について説明するためのフロー図である。

これまでの説明では、平面Ｇ上で水平に隣接する複数の参照画像Ｐ_rを利用して、入力画像Ｐ_in中に参照画像Ｐ_rの物体が存在するか否かを判定する方法について述べてきた。変形例＃１では、平面Ｇと垂直な面上で隣接する複数の参照画像Ｐ_rを利用して、入力画像Ｐ_in中に参照画像Ｐ_rの物体が存在するか否かを判定する方法を提案する。

変形例＃１の方法では、物体を垂直方向に異なる角度から撮影した複数の参照画像Ｐ_rが利用される。また、図２４に示すように、隣接画像管理テーブルが、上下に隣接する参照画像Ｐ_rの組を対応付ける内容に変形される。例えば、平面Ｇ上から物体の正面を撮影した参照画像Ｐ_rと、上方斜め４５度から物体の正面を撮影した参照画像Ｐ_rとが隣接画像管理テーブルで対応付けられる。上方から撮影した参照画像Ｐ_rとしては、例えば、展望台から見下ろすように建築物を撮影した画像や、航空写真などが利用できる。

変形例＃１においては、上述したサーバ装置２００の動作に係る処理の流れにおいて、Ｓ２０７の処理（図２３を参照）が図２５に示すような処理の流れに変形される。以下、この処理の流れについて説明する。但し、図２３に係る説明と重複する部分については、詳細な説明を省略する場合がある。

（Ｓ３０１）判定処理部２０５は、隣接画像管理テーブルを参照し、隣接する参照画像Ｐ_rの組を選択する。また、判定処理部２０５は、選択した各参照画像Ｐ_rに関する投票マップＭＰの情報を投票処理部２０４から取得する。

（Ｓ３０２）判定処理部２０５は、Ｓ３０１で取得した投票マップＭＰを参照し、投票数が最大となる投票マップＭＰの位置（枡目）を特定する。例えば、特定した位置の座標を（Ｈ₅，Ｖ₅）、（Ｈ₆，Ｖ₆）とする。

（Ｓ３０３）判定処理部２０５は、Ｓ３０２で各参照画像Ｐ_rについて特定した投票マップＭＰ内の位置が互いに垂直の位置関係にあるか否かを判定する。垂直の位置関係にある場合、処理はＳ３０４へと進む。一方、垂直の位置関係にない場合、処理はＳ３０８へと進む。

例えば、判定処理部２０５は、平面Ｇに水平な方向（Ｘ−Ｙ面内の方向；投票マップＭＰの左右方向）に関する座標値の差（つまり、｜Ｈ₅−Ｈ₆｜）を計算する。そして、判定処理部２０５は、計算した差｜Ｈ₅−Ｈ₆｜と第２閾値Ｔｈ₂とを比較する。差｜Ｈ₅−Ｈ₆｜が第２閾値Ｔｈ₂より小さい場合、垂直の位置関係にあると判定される。一方、差｜Ｈ₅−Ｈ₆｜が第２閾値Ｔｈ₂より大きい場合、垂直の位置関係にないと判定される。

（Ｓ３０４）判定処理部２０５は、Ｓ３０２で各参照画像Ｐ_rについて特定した投票マップＭＰ内の位置が、相対的に正しい位置関係にあるか否かを判定する。つまり、判定処理部２０５は、特定した投票マップＭＰ内の位置関係と、参照画像Ｐ_rの相対的な位置関係（上下関係）とが矛盾しないかを判定する。正しい位置関係にある場合、処理はＳ３０５へと進む。一方、正しい位置関係にない場合、処理はＳ３０８へと進む。

例えば、Ｖ₅＞Ｖ₆が正しい位置関係を示す場合、判定処理部２０５は、Ｖ₅＞Ｖ₆となるか否かを判定し、Ｖ₅＞Ｖ₆となる場合には正しい位置関係にあると判断する。一方、Ｖ₅＜Ｖ₆となる場合、判定処理部２０５は、正しい位置関係にないと判定する。Ｖ₅＝Ｖ₆の場合については、Ｖ₅＞Ｖ₆となる場合の判定結果又はＶ₅＜Ｖ₆となる場合の判定結果のいずれか任意のものに予め設定してよい。

（Ｓ３０５）判定処理部２０５は、参照画像Ｐ_r毎に、Ｓ３０２で特定した位置を基準に設定した集約範囲内の投票数を合算する集約の処理を実行する。例えば、Ｓ３０２で特定した位置を中心とし、予め設定された幅と高さを有する上下に拡がった矩形の領域が集約範囲として設定される。また、図１８に示したパラメータｄ及び上記の式（４）〜式（７）に基づく集約範囲の設定方法を上下方向に隣接する場合に応用して集約範囲を設定することができる。

（Ｓ３０６）判定処理部２０５は、Ｓ３０１で選択した隣接する複数の参照画像Ｐ_rのうち、少なくとも１つの参照画像Ｐ_rについて、Ｓ３０５で合算した投票数が第３閾値Ｔｈ₃より大きいか否かを判定する。Ｓ３０５で合算した投票数が第３閾値Ｔｈ₃より大きい場合、処理はＳ３０７へと進む。一方、Ｓ３０５で合算した投票数が第３閾値Ｔｈ₃より大きくない場合、処理はＳ３０８へと進む。

（Ｓ３０７）判定処理部２０５は、入力画像Ｐ_in中に、Ｓ３０１で選択した参照画像Ｐ_rが存在すると判定する。
（Ｓ３０８）判定処理部２０５は、入力画像Ｐ_in中に、Ｓ３０１で選択した参照画像Ｐ_rが存在しないと判定する。

（Ｓ３０９）判定処理部２０５は、隣接画像管理テーブルに含まれる参照画像Ｐ_rの組を全て選択し終えたか否かを判定する。参照画像Ｐ_rの組を全て選択し終えていない場合、処理はＳ３０１へと進む。一方、参照画像Ｐ_rの組を全て選択し終えた場合、図２５に示した一連の処理は終了する。

以上、第２実施形態の一変形例（変形例＃１）について説明した。
［２−７．変形例＃２（閾値判定の条件に関する変形）］
次に、図２６を参照しながら、第２実施形態の一変形例（変形例＃２）について説明する。図２６は、第２実施形態の一変形例（変形例＃２）に係るサーバ装置の動作のうち、隣接する参照画像に基づく判定に関する動作について説明するためのフロー図である。

図２３に示した処理においては、少なくとも１つの参照画像Ｐ_rについて、集約処理の中で合算した投票数が第３閾値Ｔｈ₃より大きい場合に、入力画像Ｐ_in中に参照画像Ｐ_rが存在すると判定されていた。変形例＃２では、隣接する全ての参照画像Ｐ_rについて、集約処理の中で合算した投票数が第３閾値Ｔｈ₃より大きい場合にだけ、入力画像Ｐ_in中に参照画像Ｐ_rが存在すると判定される方法を提案する。

変形例＃２においては、上述したサーバ装置２００の動作に係る処理の流れにおいて、Ｓ２０７の処理（図２３を参照）が図２６に示すような処理の流れに変形される。以下、この処理の流れについて説明する。但し、図２３に係る説明と重複する部分については、詳細な説明を省略する場合がある。

（Ｓ３２１）判定処理部２０５は、隣接画像管理テーブルを参照し、隣接する参照画像Ｐ_rの組を選択する。また、判定処理部２０５は、選択した各参照画像Ｐ_rに関する投票マップＭＰの情報を投票処理部２０４から取得する。

（Ｓ３２２）判定処理部２０５は、Ｓ３２１で取得した投票マップＭＰを参照し、投票数が最大となる投票マップＭＰの位置（枡目）を特定する。
（Ｓ３２３）判定処理部２０５は、Ｓ３２２で各参照画像Ｐ_rについて特定した投票マップＭＰ内の位置が互いに水平の位置関係にあるか否かを判定する。水平の位置関係にある場合、処理はＳ３２４へと進む。一方、水平の位置関係にない場合、処理はＳ３２８へと進む。

（Ｓ３２４）判定処理部２０５は、Ｓ３２２で各参照画像Ｐ_rについて特定した投票マップＭＰ内の位置が、相対的に正しい位置関係にあるか否かを判定する。つまり、判定処理部２０５は、特定した投票マップＭＰ内の位置関係と、参照画像Ｐ_rの相対的な位置関係（左右関係）とが矛盾しないかを判定する。正しい位置関係にある場合、処理はＳ３２５へと進む。一方、正しい位置関係にない場合、処理はＳ３２８へと進む。

（Ｓ３２５）判定処理部２０５は、参照画像Ｐ_r毎に、Ｓ３２２で特定した位置を基準に設定した集約範囲内の投票数を合算する集約の処理を実行する。
（Ｓ３２６）判定処理部２０５は、Ｓ３２１で選択した隣接する複数の参照画像Ｐ_rのうち、全ての参照画像Ｐ_rについて、Ｓ３２５で合算した投票数が第３閾値Ｔｈ₃より大きいか否かを判定する。Ｓ３２５で合算した投票数が第３閾値Ｔｈ₃より大きい場合、処理はＳ３２７へと進む。一方、Ｓ３２５で合算した投票数が第３閾値Ｔｈ₃より大きくない場合、処理はＳ３２８へと進む。

（Ｓ３２７）判定処理部２０５は、入力画像Ｐ_in中に、Ｓ３２１で選択した参照画像Ｐ_rが存在すると判定する。
（Ｓ３２８）判定処理部２０５は、入力画像Ｐ_in中に、Ｓ３２１で選択した参照画像Ｐ_rが存在しないと判定する。

（Ｓ３２９）判定処理部２０５は、隣接画像管理テーブルに含まれる参照画像Ｐ_rの組を全て選択し終えたか否かを判定する。参照画像Ｐ_rの組を全て選択し終えていない場合、処理はＳ３２１へと進む。一方、参照画像Ｐ_rの組を全て選択し終えた場合、図２６に示した一連の処理は終了する。

以上、第２実施形態の一変形例（変形例＃２）について説明した。
［２−８．変形例＃３（最大投票数が低い場合の処理を省略）］
次に、図２７を参照しながら、第２実施形態の一変形例（変形例＃３）について説明する。図２７は、第２実施形態の一変形例（変形例＃３）に係るサーバ装置の動作のうち、隣接する参照画像に基づく判定に関する動作について説明するためのフロー図である。

変形例＃３では、投票マップＭＰから抽出される最大の投票数が第１閾値Ｔｈ₁を大きく下回る場合に、集約処理に基づく判定処理を省略して、入力画像Ｐ_in中に参照画像Ｐ_rが存在しないと判定する方法を提案する。この方法によれば、存在しないと判定される可能性の高い参照画像Ｐ_rについて一部の処理を省略することができ、処理負荷の低減及び処理の高速化を実現することが可能になる。

変形例＃３においては、上述したサーバ装置２００の動作に係る処理の流れにおいて、Ｓ２０７の処理（図２３を参照）が図２７に示すような処理の流れに変形される。以下、この処理の流れについて説明する。但し、図２３に係る説明と重複する部分については、詳細な説明を省略する場合がある。

（Ｓ３４１）判定処理部２０５は、隣接画像管理テーブルを参照し、隣接する参照画像Ｐ_rの組を選択する。また、判定処理部２０５は、選択した各参照画像Ｐ_rに関する投票マップＭＰの情報を投票処理部２０４から取得する。

（Ｓ３４２）判定処理部２０５は、Ｓ３４１で取得した投票マップＭＰを参照し、投票数の最大値、及び投票数が最大となる投票マップＭＰの位置（枡目）を特定する。
（Ｓ３４３）判定処理部２０５は、Ｓ３４１で選択した隣接する複数の参照画像Ｐ_rのうち、少なくとも１つの参照画像Ｐ_rについて、投票数の最大値が第４閾値Ｔｈ₄より大きいか否かを判定する。但し、第４閾値Ｔｈ₄は、第１閾値Ｔｈ₁より小さい値である。

例えば、第４閾値Ｔｈ₄は、様々な参照画像Ｐ_rや入力画像Ｐ_inを用いて実験やシミュレーションを行い、誤判定が生じる割合や演算負荷の状態などを考慮して決定される。投票数の最大値が第４閾値Ｔｈ₄より大きい場合、処理はＳ３４４へと進む。一方、投票数の最大値が第４閾値Ｔｈ₄より大きくない場合、処理はＳ３４９へと進む。

（Ｓ３４４）判定処理部２０５は、Ｓ３４２で各参照画像Ｐ_rについて特定した投票マップＭＰ内の位置が互いに水平の位置関係にあるか否かを判定する。水平の位置関係にある場合、処理はＳ３４５へと進む。一方、水平の位置関係にない場合、処理はＳ３４９へと進む。

（Ｓ３４５）判定処理部２０５は、Ｓ３４２で各参照画像Ｐ_rについて特定した投票マップＭＰ内の位置が、相対的に正しい位置関係にあるか否かを判定する。つまり、判定処理部２０５は、特定した投票マップＭＰ内の位置関係と、参照画像Ｐ_rの相対的な位置関係（左右関係）とが矛盾しないかを判定する。正しい位置関係にある場合、処理はＳ３４６へと進む。一方、正しい位置関係にない場合、処理はＳ３４９へと進む。

（Ｓ３４６）判定処理部２０５は、参照画像Ｐ_r毎に、Ｓ３４２で特定した位置を基準に設定した集約範囲内の投票数を合算する集約の処理を実行する。
（Ｓ３４７）判定処理部２０５は、Ｓ３４１で選択した隣接する複数の参照画像Ｐ_rのうち、少なくとも１つの参照画像Ｐ_rについて、Ｓ３４６で合算した投票数が第３閾値Ｔｈ₃より大きいか否かを判定する。Ｓ３４６で合算した投票数が第３閾値Ｔｈ₃より大きい場合、処理はＳ３４８へと進む。一方、Ｓ３４６で合算した投票数が第３閾値Ｔｈ₃より大きくない場合、処理はＳ３４９へと進む。

（Ｓ３４８）判定処理部２０５は、入力画像Ｐ_in中に、Ｓ３４１で選択した参照画像Ｐ_rが存在すると判定する。
（Ｓ３４９）判定処理部２０５は、入力画像Ｐ_in中に、Ｓ３４１で選択した参照画像Ｐ_rが存在しないと判定する。

（Ｓ３５０）判定処理部２０５は、隣接画像管理テーブルに含まれる参照画像Ｐ_rの組を全て選択し終えたか否かを判定する。参照画像Ｐ_rの組を全て選択し終えていない場合、処理はＳ３４１へと進む。一方、参照画像Ｐ_rの組を全て選択し終えた場合、図２７に示した一連の処理は終了する。

以上、第２実施形態の一変形例（変形例＃３）について説明した。
以上説明したように、参照画像と入力画像が同じ水平レベルから撮影されたものであれば、異なる向きの場合でも、類似部分を認識することが可能となる。これにより、様々な方向から撮影されるランドマークを画像から認識する際に、認識対象の物体１つ当たりの参照画像の数を少なくすることができる。その結果、サーバなどに比べて演算能力が低い携帯端末などを用いて機能やサービスの提供を容易に実現できるようになる。

例えば、ランドマークの正面から撮影した参照画像Ｐ_rしか持たない場合、ランドマークを斜めから撮影した入力画像Ｐ_inに対する判定精度は、投票数の分散に起因して低下する。一方、ランドマークを斜めから撮影した入力画像Ｐ_inに対する判定精度を上げるために、様々な角度から撮影した多数の参照画像Ｐ_rを持つと、参照画像Ｐ_rが増えた分だけ対応点探索などの処理を実行する回数が増加する。

一方、上述した第２実施形態に係る技術を利用すれば、例えば、斜め４５度から撮影した入力画像Ｐ_inに対する判定処理を正面及び９０度方向から撮影した２つの参照画像Ｐ_rを用いて精度良く実行することができる。その結果、斜め４５度から撮影した参照画像Ｐ_rを利用した対応点探索などの処理を省略することができ、処理負荷が低減できる。また、参照画像Ｐ_rの数を減らせるため、参照画像Ｐ_rを格納する記憶領域の節約にもなる。

以上、第２実施形態について説明した。
なお、上記の説明では、撮影方向を水平、垂直、角度などで表現したが、他の表現方法で撮影方向が規定される場合であっても、第２実施形態の技術を適用可能である。また、用意される参照画像Ｐ_rの数や、参照画像Ｐ_rの撮影方向は任意である。また、水平、垂直、平面という表現は、厳密に水平であることや、厳密に垂直であること、厳密に平らな面であることを意味するものではなく、現実的に水平、垂直、平面とみなせる範囲において誤差が許容される。こうした誤差や変形の範囲内における相違点があったとしても、当然に第２実施形態の技術的範囲に含まれる。

＜第３実施形態＞
次に、第３実施形態について説明する。
上記の第２実施形態は、異なる撮影方向から撮影した複数の参照画像Ｐ_rを利用し、投票数の分布が広がる原因が、入力画像Ｐ_inの撮影方向と参照画像Ｐ_rの撮影方向との違いにあるのか、被写体の違いにあるのかを判定して精度を向上させる技術であった。

一方、第３実施形態は、１枚の参照画像Ｐ_rについて計算された投票マップＭＰを利用し、上記の原因を判定して精度を向上させる技術に関する。但し、端末装置１００及びサーバ装置２００のハードウェアは両実施形態で共通であり、上述した機能及び処理の流れについても後述する内容以外は共通である。

（集約判断）
図２８を参照しながら、第３実施形態に係る判定方法について説明する。図２８は、第３実施形態に係る判定方法の一例を示した図である。

上記の第２実施形態に係る判定処理部２０５は、２枚の参照画像Ｐ_rの投票結果から左側の参照画像Ｐ_rと右側の参照画像Ｐ_rとが水平であることが導かれるか否かを判定し、導かれる場合に投票数を集約すると判断（集約判断）した。第３実施形態に係る判定処理部２０５は、図２８に示すように、１枚の参照画像Ｐ_rについて計算された投票マップＭＰを利用して集約判断を実行する。

図２８の例は、被写体の正面が写った参照画像Ｐ_rと、同じ被写体の正面及び右側面が写った入力画像Ｐ_inとの間で対応点探索を実施し、投票処理部２０４により投票マップＭＰが得られている場合の集約判断の処理を示している。

判定処理部２０５は、投票マップＭＰを二値化した二値化マップＭＰＢを集約判断に利用する。例えば、判定処理部２０５は、予め設定された閾値ＴｈＢ（図２８の例では３）と投票数とを比較し、投票数が閾値ＴｈＢより大きい場合には値を１に設定し、小さい場合には値を０に設定した二値化マップＭＰＢを生成する。

また、判定処理部２０５は、二値化マップＭＰＢのうち値が１の範囲を特定し、特定した範囲の縦幅ＨＢと横幅ＷＢとを検出する。さらに、判定処理部２０５は、縦幅ＨＢと横幅ＷＢとの比ＷＢ／ＨＢを計算し、予め設定された閾値ＴｈＨＷと比ＷＢ／ＨＢとを比較する。比ＷＢ／ＨＢが閾値ＴｈＨＷより大きい場合（横長の場合）、判定処理部２０５は、投票数を集約する。一方、比ＷＢ／ＨＢが閾値ＴｈＨＷより小さい場合（横長でない場合）、判定処理部２０５は、投票数を集約しない。

図２８の例と同様に同じ被写体を水平面上の異なる撮影方向から撮影した場合、投票数の分布は横方向に細長く拡がる。一方、被写体自体が異なる場合、縦方向にも拡がりを持つ。この性質を利用し、判定処理部２０５は、上記の方法で集約判断を行う。

二値化に用いる閾値ＴｈＢは、実験的に決めることができる。横長であるかを判断するための閾値ＴｈＨＷは、例えば、参照画像Ｐ_rと同じ被写体を水平に４５度回転した撮影方向から撮影した入力画像Ｐ_inを利用して比ＷＢ／ＨＢを計算し、計算した値又は許容誤差を考慮した値に決めることができる。

例えば、被写体の正面が写った参照画像Ｐ_rと、同じ被写体を右方向に回転角度Ｒｄから撮った入力画像Ｐ_inとについて比ＷＢ／ＨＢを求めると、回転角度Ｒｄが大きくなるにつれて投票数の分布が拡がり、比ＷＢ／ＨＢは大きくなる。但し、回転角度Ｒｄが４５度より大きくなると、入力画像Ｐ_inの中で被写体の右側面が占める割合が大きくなる。そのため、回転角度Ｒｄが４５度より大きい場合には、被写体の右側面が写った参照画像を利用する方が、被写体の正面が写った参照画像Ｐ_rを利用するより好ましい。よって、上記のように閾値ＴｈＨＷは、回転角度Ｒｄが４５度の場合を基準に決めることができる。

ここでは比ＷＢ／ＨＢを利用して集約判断を行う方法について述べたが、例えば、判定処理部２０５は、比ＷＢ／ＨＢに代えて横幅ＷＢを利用することもできる。
他の変形例として、二値化マップＭＰＢの中で値が１の範囲が複数のブロックに分断された場合に、判定処理部２０５が、ブロック間の間隔が予め設定した閾値より小さい場合にブロックを連結してもよい。また、判定処理部２０５が、分断されたブロックのうち、水平方向に位置するブロックを連結してもよい。このようなブロックの連結を行うことで、二値化時に生じるノイズを低減することができる。

（処理の流れ）
次に、図２９及び図３０を参照しながら、サーバ装置２００の動作のうち、参照画像の探索に関する動作について説明する。

図２９は、第３実施形態に係るサーバ装置の動作のうち、参照画像の探索に関する動作について説明するための第１のフロー図である。図３０は、第３実施形態に係るサーバ装置の動作のうち、参照画像の探索に関する動作について説明するための第２のフロー図である。

サーバ装置２００の動作の中で上記の第２実施形態と異なる点は主に次の２点である。１点目は、図２１のＳ２０７〜Ｓ２０９が省略され、Ｓ２０５で参照画像が存在しないと判定された場合（ＮＯの場合）に、処理がＳ２１０へと進む点である。但し、サーバ装置２００の処理能力が高い場合には図２１のＳ２０７〜Ｓ２０９を省略しなくてもよく、この場合には探索精度がさらに向上する。２点目は、図２２のＳ２２９が、図２９及び図３０に示す処理に置き換えられる点である。以下、この処理について説明する。

（Ｓ４０１）判定処理部２０５は、投票マップＭＰの枡目を１つ選択する。例えば、判定処理部２０５は、投票マップＭＰの左上を始点とし、右下が終点となるように水平方向に順次各段を走査するようにＳ４０１の処理を実行する度に１つずつ枡目を選択する。但し、選択する順序は予め任意に設定されていてもよい。

（Ｓ４０２）判定処理部２０５は、Ｓ４０１で選択した枡目の投票数が閾値ＴｈＢより大きいか否かを判定する。閾値ＴｈＢは、例えば、様々な被写体を撮影した画像を参照画像及び入力画像として利用し、許容可能な精度で正しい判定結果が得られるように実験的に決められる。投票数が閾値ＴｈＢより大きい場合、処理はＳ４０３へと進む。一方、投票数が閾値ＴｈＢより大きくない場合、処理はＳ４０４へと進む。

（Ｓ４０３）判定処理部２０５は、Ｓ４０１で選択した枡目に対応する二値化マップＭＰＢの値を１に設定する。Ｓ４０３の処理が完了すると、処理はＳ４０５へと進む。
（Ｓ４０４）判定処理部２０５は、Ｓ４０１で選択した枡目に対応する二値化マップＭＰＢの値を０に設定する。Ｓ４０４の処理が完了すると、処理はＳ４０５へと進む。

（Ｓ４０５）判定処理部２０５は、投票マップＭＰの全枡目を選択し終えたか否かを判定する。全枡目を選択し終えている場合、処理はＳ４０６へと進む。一方、未選択の枡目がある場合、処理はＳ４０１へと進む。

（Ｓ４０６）判定処理部２０５は、二値化マップＭＰＢの中で値が１の範囲を特定し、特定した範囲の縦横比を計算する。なお、特定した範囲が複数のブロックに分断されている場合、判定処理部２０５は、ブロック間の間隔が予め設定した閾値より小さいブロックを連結してもよい。この場合、判定処理部２０５は、連結後に最大サイズとなる範囲の縦横比を計算する。Ｓ４０６の処理が完了すると、処理は図３０のＳ４０７へと進む。

（Ｓ４０７）判定処理部２０５は、Ｓ４０６で計算した縦横比が閾値ＴｈＨＷより大きいか否かを判定する。閾値ＴｈＨＷは、例えば、参照画像と同じ被写体を水平に４５度回転した撮影方向から撮影した入力画像Ｐ_inを利用して縦横比を計算し、計算した値又は許容誤差を考慮した値に決めることができる。縦横比が閾値ＴｈＨＷより大きい場合、処理はＳ４０８へと進む。一方、縦横比が閾値ＴｈＨＷより大きくない場合、処理はＳ４１０へと進む。

（Ｓ４０８）判定処理部２０５は、投票マップＭＰの中で投票数が最大となる枡目の周辺（最大投票数周辺）の投票数を合算する（集約）。例えば、判定処理部２０５は、二値化マップＭＰＢで値が１となった範囲に対応する各枡目の投票数を合算する。投票数を合算する範囲は、例えば、図２３のＳ２３５と同じ方法で決めてもよい。

（Ｓ４０９）判定処理部２０５は、Ｓ４０８で合算した投票数の合算値が第１閾値より大きいか否かを判定する。第１閾値は、第２実施形態の第１閾値と同じである。合算値が第１閾値より大きい場合、処理はＳ４１１へと進む。一方、合算値が第１閾値より大きくない場合、処理はＳ４１０へと進む。

（Ｓ４１０）判定処理部２０５は、入力画像中に参照画像が存在しないと判定する。Ｓ４１０の処理が完了すると、図２９及び図３０に示した一連の処理は終了する。
（Ｓ４１１）判定処理部２０５は、入力画像中に参照画像が存在すると判定する。Ｓ４１１の処理が完了すると、図２９及び図３０に示した一連の処理は終了する。

以上、第３実施形態について説明した。
なお、上記の説明では、撮影方向を水平などで表現したが、他の表現方法で撮影方向が規定される場合であっても、第３実施形態の技術を適用可能である。また、用意される参照画像Ｐ_rの数や、参照画像Ｐ_rの撮影方向は任意である。また、水平という表現は、厳密に水平であることを意味するものではなく、現実的に水平とみなせる範囲において誤差が許容される。また、第２実施形態と同様に、垂直方向などへの応用も可能である。こうした誤差や変形の範囲内における相違点があったとしても、当然に第３実施形態の技術的範囲に含まれる。

＜３．付記＞
以上説明した実施形態に関し、さらに以下の付記を開示する。
（付記１） 参照画像の特徴を表す複数の第１特徴点それぞれと前記参照画像の特定位置との位置関係を示す位置情報と、入力画像を複数の小領域に分けた場合の前記各小領域の位置を示す領域情報と、前記各小領域に対応するカウント値とを記憶する記憶部と、
前記入力画像の特徴を表す複数の第２特徴点のうち前記第１特徴点に類似する前記第２特徴点を特定し、当該第２特徴点に当該第１特徴点を一致させた場合に前記位置情報が示す前記特定位置にある前記小領域を特定し、当該小領域に対応する前記カウント値を増加させる処理を、前記各第１特徴点について実行し、前記カウント値の最大値が設定した閾値より大きい場合に、前記入力画像に前記参照画像が含まれると判定する演算部と、
を有し、
前記演算部は、前記最大値が前記閾値より小さく、前記カウント値の分布が一の方向に延伸した形状であるとき、当該一の方向に沿って前記最大値を基準とする設定した範囲内の前記カウント値を合算して合算値を計算し、前記合算値が前記閾値より大きい場合に、前記入力画像に前記参照画像が含まれると判定する
情報処理装置。

（付記２） 前記演算部は、同じ対象を異なる方向から撮影した複数の前記参照画像の前記各第１特徴点について前記処理を実行し、前記参照画像毎に計算した前記最大値が位置する前記小領域を特定し、特定した前記小領域同士の位置関係を特定し、当該小領域同士の位置関係と前記複数の参照画像の撮影方向の位置関係とが一致する場合に前記合算値を計算する
付記１に記載の情報処理装置。

（付記３） 前記演算部は、前記カウント値が設定した二値化閾値より大きい場合に当該カウント値に対応する前記小領域に第１の値を対応付け、当該カウント値が前記二値化閾値より小さい場合に当該小領域に第２の値を対応付ける処理を、前記各小領域について実行し、前記第１の値を対応付けた前記小領域の集合の形状から前記カウント値の分布が前記一の方向に延伸した形状であるか否かを判断する
付記１に記載の情報処理装置。

（付記４） コンピュータが、
参照画像の特徴を表す複数の第１特徴点それぞれと前記参照画像の特定位置との位置関係を示す位置情報と、入力画像を複数の小領域に分けた場合の前記各小領域の位置を示す領域情報と、前記各小領域に対応するカウント値とを取得し、
前記入力画像の特徴を表す複数の第２特徴点のうち前記第１特徴点に類似する前記第２特徴点を特定し、当該第２特徴点に当該第１特徴点を一致させた場合に前記位置情報が示す前記特定位置にある前記小領域を特定し、当該小領域に対応する前記カウント値を増加させる処理を、前記各第１特徴点について実行し、前記カウント値の最大値が設定した閾値より大きい場合に、前記入力画像に前記参照画像が含まれると判定し、
前記判定の処理において、前記最大値が前記閾値より小さく、前記カウント値の分布が一の方向に延伸した形状であるとき、当該一の方向に沿って前記最大値を基準とする設定した範囲内の前記カウント値を合算して合算値を計算し、前記合算値が前記閾値より大きい場合に、前記入力画像に前記参照画像が含まれると判定する
画像判定方法。

（付記５） コンピュータに、
参照画像の特徴を表す複数の第１特徴点それぞれと前記参照画像の特定位置との位置関係を示す位置情報と、入力画像を複数の小領域に分けた場合の前記各小領域の位置を示す領域情報と、前記各小領域に対応するカウント値とを取得し、
前記入力画像の特徴を表す複数の第２特徴点のうち前記第１特徴点に類似する前記第２特徴点を特定し、当該第２特徴点に当該第１特徴点を一致させた場合に前記位置情報が示す前記特定位置にある前記小領域を特定し、当該小領域に対応する前記カウント値を増加させる処理を、前記各第１特徴点について実行し、前記カウント値の最大値が設定した閾値より大きい場合に、前記入力画像に前記参照画像が含まれると判定し、
前記判定の処理において、前記最大値が前記閾値より小さく、前記カウント値の分布が一の方向に延伸した形状であるとき、当該一の方向に沿って前記最大値を基準とする設定した範囲内の前記カウント値を合算して合算値を計算し、前記合算値が前記閾値より大きい場合に、前記入力画像に前記参照画像が含まれると判定する
処理を実行させるためのプログラム。

（付記６） 同じ対象を異なる方向から撮影した複数の参照画像、及び、各参照画像に設定される特徴領域と参照画像内の特定位置との位置関係を示す情報を記憶する記憶部と、
前記参照画像の各特徴領域について、特徴領域と類似する入力画像内の領域を検出し、当該領域の位置を特徴領域の位置とした場合に前記位置関係から得られる特定位置を求め、前記入力画像に設定される複数の分割領域のうち当該特定位置を含む分割領域を抽出する処理を実行し、分割領域毎に抽出回数を計数し、最大領域として前記抽出回数が最大となった分割領域を特定し、
設定した平面上で前記対象を異なる角度から撮影した複数の前記参照画像について、特定した最大領域の、前記平面に垂直な方向における位置の差が、設定した第１閾値より小さいとき、前記最大領域毎に、当該最大領域を基準に設定した範囲にある分割領域の抽出回数を当該最大領域の抽出回数に合算し、合算した抽出回数が設定した第２閾値より大きい場合に、前記入力画像に前記対象が含まれると判定する演算部と
を有する、情報処理装置。

（付記７） 前記演算部は、前記分割領域を特定した後で前記最大領域の抽出回数と前記第２閾値とを比較し、前記最大領域の抽出回数が前記第２閾値より大きい場合、前記設定した範囲内にある分割領域の抽出回数を前記最大領域の抽出回数に合算する処理及び前記合算した抽出回数と前記第２閾値とを比較する処理を回避して、前記入力画像に前記対象が含まれると判定する
付記６に記載の情報処理装置。

（付記８） 前記記憶部は、前記入力画像に前記対象が含まれる場合に、当該入力画像において、撮影方向の違いから特定される前記参照画像間の相対的な位置関係に関する情報を記憶し、
前記演算部は、前記位置の差が前記第１閾値より小さいとき、複数の前記参照画像について特定した最大領域間の相対的な位置関係が、前記記憶部が記憶している情報に基づく前記相対的な位置関係と一致するか否かを判定し、一致する場合に、前記設定した範囲内にある分割領域の抽出回数を前記最大領域の抽出回数に合算する処理及び前記合算した抽出回数と前記第２閾値とを比較する処理を実行する
付記６又は７に記載の情報処理装置。

（付記９） 前記演算部は、少なくとも１つの前記参照画像について前記抽出回数が前記第２閾値より大きい場合に前記入力画像に前記対象が含まれると判定する
付記６〜８のいずれかに記載の情報処理装置。

（付記１０） 付記５に記載のプログラムが格納された、コンピュータにより読み取り可能な記録媒体。

１０ 情報処理装置
１１ 記憶部
１２ 演算部
Ｐ_r 参照画像
Ｐ_in 入力画像
ＷＢ 横幅
ＨＢ 縦幅
ＭＰ 投票マップ
Ｍａｘ 最大値
Ｓｕｍ 合計値
Ｔｈ 閾値
ＴｈＢ 二値化閾値
ＴｈＨＷ 形状判定閾値

Claims (5)

1. 参照画像の特徴を表す複数の第１特徴点それぞれと前記参照画像の特定位置との位置関係を示す位置情報と、入力画像を複数の小領域に分けた場合の前記各小領域の位置を示す領域情報と、前記各小領域に対応するカウント値とを記憶する記憶部と、
   前記入力画像の特徴を表す複数の第２特徴点のうち前記第１特徴点に類似する前記第２特徴点を特定し、当該第２特徴点に当該第１特徴点を一致させた場合に前記位置情報が示す前記特定位置にある前記小領域を特定し、当該小領域に対応する前記カウント値を増加させる処理を、前記各第１特徴点について実行し、前記カウント値の最大値が設定した閾値より大きい場合に、前記入力画像に前記参照画像が含まれると判定する演算部と、
   を有し、
   前記演算部は、前記最大値が前記閾値より小さく、前記カウント値の分布が一の方向に延伸した形状であるとき、当該一の方向に沿って前記最大値を基準とする設定した範囲内の前記カウント値を合算して合算値を計算し、前記合算値が前記閾値より大きい場合に、前記入力画像に前記参照画像が含まれると判定する
   情報処理装置。
2. 前記演算部は、同じ対象を異なる方向から撮影した複数の前記参照画像の前記各第１特徴点について前記処理を実行し、前記参照画像毎に計算した前記最大値が位置する前記小領域を特定し、特定した前記小領域同士の位置関係を特定し、当該小領域同士の位置関係と前記複数の参照画像の撮影方向の位置関係とが一致する場合に前記合算値を計算する
   請求項１に記載の情報処理装置。
3. 前記演算部は、前記カウント値が設定した二値化閾値より大きい場合に当該カウント値に対応する前記小領域に第１の値を対応付け、当該カウント値が前記二値化閾値より小さい場合に当該小領域に第２の値を対応付ける処理を、前記各小領域について実行し、前記第１の値を対応付けた前記小領域の集合の形状から前記カウント値の分布が前記一の方向に延伸した形状であるか否かを判断する
   請求項１に記載の情報処理装置。
4. コンピュータが、
   参照画像の特徴を表す複数の第１特徴点それぞれと前記参照画像の特定位置との位置関係を示す位置情報と、入力画像を複数の小領域に分けた場合の前記各小領域の位置を示す領域情報と、前記各小領域に対応するカウント値とを取得し、
   前記入力画像の特徴を表す複数の第２特徴点のうち前記第１特徴点に類似する前記第２特徴点を特定し、当該第２特徴点に当該第１特徴点を一致させた場合に前記位置情報が示す前記特定位置にある前記小領域を特定し、当該小領域に対応する前記カウント値を増加させる処理を、前記各第１特徴点について実行し、前記カウント値の最大値が設定した閾値より大きい場合に、前記入力画像に前記参照画像が含まれると判定し、
   前記判定の処理において、前記最大値が前記閾値より小さく、前記カウント値の分布が一の方向に延伸した形状であるとき、当該一の方向に沿って前記最大値を基準とする設定した範囲内の前記カウント値を合算して合算値を計算し、前記合算値が前記閾値より大きい場合に、前記入力画像に前記参照画像が含まれると判定する
   画像判定方法。
5. コンピュータに、
   参照画像の特徴を表す複数の第１特徴点それぞれと前記参照画像の特定位置との位置関係を示す位置情報と、入力画像を複数の小領域に分けた場合の前記各小領域の位置を示す領域情報と、前記各小領域に対応するカウント値とを取得し、
   前記入力画像の特徴を表す複数の第２特徴点のうち前記第１特徴点に類似する前記第２特徴点を特定し、当該第２特徴点に当該第１特徴点を一致させた場合に前記位置情報が示す前記特定位置にある前記小領域を特定し、当該小領域に対応する前記カウント値を増加させる処理を、前記各第１特徴点について実行し、前記カウント値の最大値が設定した閾値より大きい場合に、前記入力画像に前記参照画像が含まれると判定し、
   前記判定の処理において、前記最大値が前記閾値より小さく、前記カウント値の分布が一の方向に延伸した形状であるとき、当該一の方向に沿って前記最大値を基準とする設定した範囲内の前記カウント値を合算して合算値を計算し、前記合算値が前記閾値より大きい場合に、前記入力画像に前記参照画像が含まれると判定する
   処理を実行させるためのプログラム。

Images