JP2015046055A - メッセージ送受信装置及びメッセージ送受信プログラム - Google Patents

Abstract

【課題】物体認識技術を介すことでメッセージの受信タイミングを調節することができるメッセージ送受信装置を提供する。【解決手段】画像データとメッセージデータとを記憶する記憶手段と、複数の物体の画像データを事前に記憶手段に記憶する物体データ登録手段と、記憶手段に記憶された物体の画像データの中から選択した物体の画像データに対して、送信すべきメッセージを関係付けて記憶手段に記憶するメッセージ登録手段と、問い合わせ情報に含まれる画像データを受信し、該画像データの被写体と合致する被写体が写っている物体の画像データを記憶手段から探索し、探索の結果得られた物体の画像データに関係付けられているメッセージデータを問い合わせ情報の送信元に対して送信するメッセージ送信手段とを備えた。【選択図】図１

Description

本発明は、物体認識技術を介すことでメッセージの受信タイミングを調節することができるメッセージ送受信装置及びメッセージ送受信プログラムに関する。

従来から離れた場所にいるユーザ間でメッセージをやりとりすることができる「メールサービス」が広く利用されている。しかし、メールサービスはユーザ間のメール送受信のタイミングを送信者の意志とタイマ以外で制御することができないため、送信者は送信先であるメールの受信者の生活状況を推定しながらメッセージを送信する必要がある。ただし、生活時間は日によって異なるため、時間によるユーザ状況推定は容易でない。

そこで近年、ユーザの状況推定に位置情報を使うサービスが展開されている。これは、送信者が、送信先である受信者の生活に関連する場所と、送りたいメッセージをともに登録しておき、受信者がその場所にたどり着いたことを、受信者の端末のＧＰＳ（Global Positioning System）によって認識し、受信者の端末にメッセージを受信させる仕組みで成り立っている（例えば、非特許文献１参照）。これにより帰宅や出社など、相手の行動のタイミングに合わせてメッセージを受信させることができるようになる。

［online］、［平成２５年０８月２１日検索］、インターネット＜http://news.livedoor.com/article/detail/6757722/＞

しかしながら、ＧＰＳ情報に基づく状況推定であると、受信者の意志に関係なく情報を強制的に送ることができてしまう。そのため、送信者の規定した時間やＧＰＳによって受信者の所望しない情報が勝手に受信者の携帯端末に保存されることになる。迷惑メール等を拒否するためには、送信者が設定したタイミングだけではなく、受信者が情報を選択的に、かつ受け取りたいタイミングで受信可能とするメッセージ送受信サービスが必要である。

本発明は、このような事情に鑑みてなされたもので、物体認識技術を介すことでメッセージの受信タイミングを調節することができるメッセージ送受信装置及びメッセージ送受信プログラムを提供することを目的とする。

本発明は、画像データとメッセージデータとを記憶する記憶手段と、複数の物体の画像データを事前に前記記憶手段に記憶する物体データ登録手段と、前記記憶手段に記憶された前記物体の画像データの中から選択した前記物体の画像データに対して、送信すべきメッセージを関係付けて前記記憶手段に記憶するメッセージ登録手段と、問い合わせ情報に含まれる画像データを受信し、該画像データの被写体と合致する被写体が写っている前記物体の画像データを前記記憶手段から探索し、探索の結果得られた前記物体の画像データに関係付けられている前記メッセージデータを前記問い合わせ情報の送信元に対して送信するメッセージ送信手段とを備えたことを特徴とする。

本発明は、前記物体データ登録手段は、１物体あたり１枚以上の画像データを前記記憶手段に記憶し、前記メッセージ受信手段は、前記問い合わせ情報として、１枚以上の画像データを受信し、１枚以上の前記画像データと、前記記憶手段に登録されている１枚以上の画像データを照合することにより、前記画像データの探索を行うことを特徴とする。

本発明は、コンピュータを、前記メッセージ送受信装置として機能させるためのメッセージ送受信プログラムである。

本発明によれば、メッセージ受信のタイミングを規定する要素を増やし、送信側だけではなく受信側が主体的に受信タイミングを選択することができるようになるという効果が得られる。

本発明の一実施形態の構成を示すブロック図である。 メッセージ送受信についての全体的な処理動作を示す図である。 図１に示す物体・ユーザデータ登録部１１の処理動作を示すフローチャートである。 記憶部１４に登録される物体データの例を示す図である。 記憶部１４に登録されるユーザデータの例を示す図である。 図１に示すメッセージ登録部１２の処理動作を示すフローチャートである。 記憶部１４に登録された情報の例を示す図である。 図１に示すメッセージ送信部１３の処理動作を示すフローチャートである。 図１に示すメッセージ送信部１３と記憶部１４の構成を示すブロック図である。 入力したクエリ映像を為す画像群からＳＵＲＦや、ヒストグラム等の公知の方法を用いて画像上のエッジやコーナー等の特徴点を抽出し、各特徴点のＮ次元ベクトルで表現される特徴量を算出し、クエリ特徴量リストを生成する動作を示すフローチャートである。 クエリ特徴量リストの構成と更新方法を示す図である。 特徴点連結情報の一例を示す図である。 図１０に示すクエリ特徴表現部１３１の処理動作の変形例を示すフローチャートである。 図９に示すＤＢ特徴表現部１３２が記憶部１４に格納されているすべてのデータベース画像から特徴点を抽出し、この特徴点すべての特徴量を算出し、ＤＢ特徴量リストを生成する動作を示すフローチャートである。 記憶部１４内の検索対象データベースのテーブル構成を示す図である ＤＢ特徴量リストのテーブル構成を示す図である。 図９に示す照合部１３３が、クエリ特徴表現部１３１が算出したクエリ特徴量リストとＤＢ特徴表現部１３２が算出したＤＢ特徴量リストとを比較し、データベース画像群の中からクエリ映像の被写体を特定し、認識結果として出力する動作を示すフローチャートである。 照合処理動作を示す図である。 図９に示すＤＢ特徴表現部１３２が記憶部１４に格納されている各データベース映像を為す画像群から特徴点を抽出し、特徴点の特徴量を算出し、ＤＢ特徴量リストを生成する動作を示すフローチャートである。 変形例における記憶部１４内の検索対象データベースのテーブル構成を示す図である。 図１９に示すＤＢ特徴表現部１３２の処理動作の変形例を示すフローチャートである。

以下、図面を参照して、本発明の一実施形態によるメッセージ送受信装置を説明する。図１は同実施形態の構成を示すブロック図である。この図において、符号１は、メッセージ送受信処理を行うメッセージ送受信装置である。メッセージ送受信装置１はネットワーク５に接続されたコンピュータ装置によって構成される。符号２は、カメラ等で撮影して得られた複数の２次元画像データ等を事前登録する際に、データを入力する事前登録データ入力用端末である。事前登録データ入力用端末２は、管理者であるユーザＡが使用する。符号３は、文字や絵文字等からなるメッセージデータを入力するメッセージ入力用端末である。メッセージ入力用端末３は、メッセージ送信者であるユーザＢが使用する。符号４は、メッセージを受信するために、被写体を認識するためのデータを入力し、かつメッセージを受信する問い合わせ情報入力端末である。問い合わせ情報入力端末４は、メッセージ受信者であるユーザＣが使用する。

符号１１は、事前登録データ入力端末２を介して入力されたデータを登録する物体・ユーザデータ登録部である。符号１２は、メッセージ送信者に対して登録された事前登録画像の選択を促し、メッセージ送信者によって指定されたメッセージの送信先ユーザＩＤと、選択された画像と、作成されたメッセージとを、関連付けてメッセージ送信情報として登録するメッセージ登録部である。符号１３は、問い合わせ情報入力部４を介して入力された物体を撮影した１物体あたり１０フレーム程度の２次元画像群データである問い合わせ情報から撮影されている物体に合致する事前登録画像を特定し、保存されたメッセージ送信情報の中から、特定した事前登録画像に関連付けられている物体ＩＤと送信先ユーザＩＤが一致するものを検索し、存在すれば、このメッセージ送信情報として保存されているメッセージを読み出すメッセージ送信部である。符号１４は、メッセージ送受信処理に必要なデータを記憶する記憶部である。

次に、図２を参照して、メッセージ送受信についての全体的な処理動作を説明する。図２は、メッセージ送受信についての全体的な処理動作を示す図である。まず、事前準備として、貼り付け対象画像を事前登録する（図２（１））。そして、利用時毎にメッセージと対象を指定して入力を行う（図２（２））。また、動画を撮影して入力を行う（図１（３））と、メッセージ受信が行われることになる（図２（４））。

次に、図３を参照して、図１に示す物体・ユーザデータ登録部１１が、ユーザＡによって事前登録データ入力端末２を介して入力された物体データもしくはユーザデータを記憶部１４に登録保存する処理動作を説明する。図３は、図１に示す物体・ユーザデータ登録部１１の処理動作を示すフローチャートである。以下の説明において、物体データとは、物体を任意の視点から撮影した１物体あたり１枚ずつの２次元画像データを、画像データ毎に一意に割り振られる物体ＩＤに関連付けたデータである。また、ユーザデータとは、メッセージ送受信装置１を利用するユーザのメールアドレスを、ユーザ毎に一意に割り振られるユーザＩＤに関連付けたデータである。

まず、ユーザＡが事前登録データ入力端末によってメッセージ送受信装置１に接続すると、物体・ユーザデータ登録部１１は登録種別の選択をユーザＡに促す。これを受けて、ユーザＡが事前登録データ入力端末２の入力部を操作して、物体データの入力を指示すると、物体・ユーザデータ登録部１１は、ユーザＡからの画像データ情報のアップロードを待ち受ける。事前登録データ入力端末２から画像データがアップロードされると、物体・ユーザデータ登録部１１は、受信した画像データ毎に一意に割り振った物体ＩＤを作成し、これに受信した画像データを関連付けて記憶部１４に登録する（ステップＳ１）。この処理を事前登録データ入力端末２からアップロードする画像データ数分繰り返す。

図４は、この処理を終えた時点で記憶部１４に登録されている物体データの例を示す図である。記憶部１４上の物体データには、画像データ毎に唯一に割り振られた物体ＩＤと、この画像データのファイル名が関連付けられて記録・保持される。

次に、ユーザＡが事前登録データ入力端末２の入力部を操作して、ユーザデータの入力を指示した場合は、物体・ユーザデータ登録部１１はユーザＡからのユーザＩＤと当該ユーザＩＤのメールアドレスをセットとするユーザデータ情報のアップロードを待ち受ける。事前登録データ入力端末２からユーザデータがアップロードされると、物体・ユーザデータ登録部１１は、受信したユーザデータを記憶部１４に登録する（ステップＳ２）。この処理を事前登録データ入力端末２がアップロードするユーザデータ数分繰り返す。

図５は、この処理を終えた時点の記憶部１４に登録されているユーザデータの例を示す図である。記憶部１４上のユーザデータには、メールアドレス毎に唯一に割り振られたユーザＩＤと、このユーザのメールアドレスとが関連付けられて記録・保持される。

次に、図６を参照して、図１に示すメッセージ登録部１２が、ユーザＢによってメッセージ入力用端末３を介して入力されたメッセージを記憶部１４に登録保存する処理動作を説明する。図６は、図１に示すメッセージ登録部１２の処理動作を示すフローチャートである。

まず、ユーザＢがメッセージ入力用端末３によってメッセージ送受信装置１に接続すると、メッセージ登録部１２は送信先の指定をユーザＢに促す（ステップＳ１１）。この処理は記憶部１４に登録されたユーザデータをメッセージ入力用端末３に対して一覧表示することで実現できる。ユーザＢがメッセージ入力用端末３の入力部を操作して、ユーザデータを選択すると、メッセージ登録部１２は、物体の選択をユーザＢに促す（ステップＳ１２）。この処理は、ユーザＡが事前に登録した記憶部１４に記録されている物体データにアクセスし、これらの物体データ群をメッセージ入力用端末３に対して一覧表示することで実現できる。

次に、ユーザＢがメッセージ入力用端末３の入力部を操作して、物体データの一つを選択すると、メッセージ登録部１２は、メッセージの作成をユーザＢに促す（ステップＳ１３）。ユーザＢがメッセージ入力用端末３の入力部を操作して、メッセージデータを作成、アップロードすると、メッセージ登録部１２は受信したメッセージデータと、ステップＳ１２で選択された物体ＩＤ、ステップＳ１１で選択された送信先であるユーザＩＤ、および、ユーザＢのユーザＩＤを関連付けて記憶部１４に保存する（ステップＳ１４）。

図７は、この処理によって記憶部１４に登録された情報の例を示す図である。この処理によって、送信元のユーザＩＤ、送信先のユーザＩＤ、物体ＩＤ、メッセージが関連付けられて記録・保持される。

次に、図８を参照して、図１に示すメッセージ送信部１３が、ユーザによって問い合わせ情報入力部用端末４を介して入力された問い合わせ情報に基づき、記憶部１４に保存されているメッセージを読み出し、ユーザに提示する処理動作を説明する。図８は、図１に示すメッセージ送信部１３の処理動作を示すフローチャートである。

まず、ユーザＣが問い合わせ情報入力用端末４によってメッセージ送受信装置１に接続すると、メッセージ送信部１３はユーザＣからの問い合わせ情報を取得する（ステップＳ２１）。ここで、問い合わせ情報とは、物体を撮影した１物体あたり１０フレーム程度の２次元画像群データ（動画）であり、ユーザＣが問い合わせ情報入力用端末４に備えられたカメラなどを用いて撮影し、問い合わせ情報入力用端末４の入力部を操作してメッセージ送信部１３に送信されるものである。ここで、ユーザＣに自分あてのメッセージが登録されている物体を伝える術としては、例えば事前にユーザＢから伝えておくことや、全てのユーザ間で登録物体を共有伝達しておく、もしくは、ユーザＣがメッセージ送信部１３に接続した際にメッセージ送信部１３が記憶部１４に登録されている画像データ全てを一覧表示して伝える、もしくは、ユーザＣがメッセージ送信部１３に接続した際にメッセージ送信部１３がユーザＣ宛のメッセージが有る場合に関連付けられた画像データを選択して表示して伝える、などがある。

次に、メッセージ送信部１３は受信した問い合わせ情報と、事前に登録している画像データ群とを照合し、同一の物体を示す物体データを特定する（ステップＳ２２）。問い合わせ情報と同一の物体を撮影した物体データ（画像）を特定する方法については後に詳述する。

次に、メッセージ送信部１３は、特定した物体データとユーザＣのユーザＩＤに関連づけられて記録されたメッセージを読み出す（ステップＳ２３）。最後に、メッセージ送信部１３は、ユーザＣに対して読みだしたメッセージを送信する（ステップＳ２４）。

次に、問い合わせ情報と同一の物体を撮影した事前登録物体データ（画像）を特定する方法について説明する。図９は、図１に示すメッセージ送信部１３と記憶部１４の構成を示すブロック図である。この図において、符号１３１は、クエリ映像（問い合わせ情報）を為す各画像から特徴点を抽出し、特徴点の特徴量を算出し、クエリ特徴量リストを生成するクエリ特徴表現部である。符号１３２は記憶部１４に予め登録しておいた検索対象データベース（ＤＢ）内画像の特徴点を抽出し、特徴点の特徴量を算出し、ＤＢ特徴量リストを生成するＤＢ特徴表現部である。符号１３３はクエリ特徴表現部１３１で生成したクエリ特徴量リストと、ＤＢ特徴表現部１３２で生成したＤＢ特徴量リスト間で比較を行い、投票の上被写体認識結果を出力する照合部である。

次に、図９に示すメッセージ送信部１３の処理動作を説明する。ここではクエリとして映像（２次元画像群）を入力し、１物体あたり１枚若しくは複数の２次元画像を物体検索対象データベースとして予め記憶部１４に記憶されているものとして説明する。

次に、図１０を参照して、図９に示すクエリ特徴表現部１３１が入力したクエリ映像を為す画像群から、例えば、文献「H.Bay,T.Tuytelaars, and L.V.Gool,"SURF:SpeedUp Robust Features",Proc. of Int. Conf. of ECCV,(2006)」に記載の方法（ＳＵＲＦ）や、ヒストグラム等の公知の方法を用いて画像上のエッジやコーナー等の特徴点を抽出し、各特徴点のＮ次元ベクトルで表現される特徴量を算出し（ＳＵＲＦの場合はＮ＝６４）、クエリ特徴量リストを生成する動作を説明する。図１０は、入力したクエリ映像を為す画像群からＳＵＲＦや、ヒストグラム等の公知の方法を用いて画像上のエッジやコーナー等の特徴点を抽出し、各特徴点のＮ次元ベクトルで表現される特徴量を算出し、クエリ特徴量リストを生成する動作を示すフローチャートである。

まず、ユーザが入力部を操作して、クエリ映像（２次元画像群）の入力を指示すると、クエリ特徴表現部１３１はクエリ映像を入力する（ステップＳ３１）。そして、クエリ特徴表現部１３１は入力した映像を構成するＭ枚の画像群のうち、時系列順にｎフレーム目とｎ＋１フレーム目の連続する２枚の画像を対象として、この２枚の画像から特徴点を抽出し（ステップＳ３２）、抽出したすべての特徴点で特徴量を算出する（ステップＳ３３）。なお、２回目（ｎ≧２）以降はｎフレーム目の特徴点およびその特徴量は既に１つ前の画像ペアであるｎ−１フレーム目とｎフレーム目の２枚の画像を対象として算出済みのため再計算の必要は無く、ｎ＋１フレーム目画像のみ処理する。このとき、各特徴点が属す画像番号およびこの画像中の特徴点番号と各特徴量を紐づけて保存しておく。

そして、クエリ特徴表現部１３１は、ｎフレーム目の画像の各特徴点に対してｎ＋１フレーム目画像の特徴点のうち、特徴量のベクトル間距離が最近傍となる特徴点を求め、またｎ＋１フレーム目画像の各特徴点に対してｎフレーム目画像の特徴点のうち最近傍となる特徴点を求め、相互に最近傍特徴点関係にあるペアのみを特徴点ペアとすることで特徴点ペアを算出する（ステップＳ３４）。続いて、クエリ特徴表現部１３１は、この特徴点ペアをもとに、ペアを為す各々の特徴点が属す画像番号、および各特徴点番号、各座標値、各特徴量を紐づけて、クエリ特徴量リストを生成する。ｎ＝１のときに算出した特徴ペアは新規特徴ペアとしてすべてクエリ特徴量リストに挿入する。一方、ｎ≧２では、各特徴ペアとクエリ特徴量リストに格納された特徴ペアの比較を行う（ステップＳ３５）。

図１１は、クエリ特徴量リストの構成と更新方法を示す図である。図１１（ａ）に示すように、クエリ特徴表現部１３１は、クエリ特徴量リストに同じ画像番号、特徴点番号の行が存在しなければ新規特徴としてクエリ特徴量リストに挿入する（ステップＳ６）。一方、図１１（ｂ）に示すように、クエリ特徴表現部１３１は、画像番号および特徴点番号が同じ行が存在している場合は既出特徴ペアとして、クエリ特徴量リストの情報を書き換える（ステップＳ３７）。この一連の処理を画像ペア数分Ｍ−１回分繰り返し、クエリ特徴表現部１３１は、クエリ特徴量リストを更新する。そして最後に、クエリ特徴表現部１３１は、クエリ特徴量リストを出力する（ステップＳ３８）。これによって、被写体物体上の各特徴箇所から重複なく特徴量を取得したクエリ特徴量リストが取得できる。

なおこの時、処理に用いる画像群は、映像を構成するすべてのフレームを対象としてもよいし、事前に設定した固定フレーム分ずつ（例えば３フレームずつ）間引いたものを利用してもよい。また撮像装置に付属するその他のセンサによって計測、もしくはクエリ映像を為すフレーム画像から因子分解法等の方法によって算出した撮像装置の移動量に応じて、フレームの間引き数を変えてもよい。例えば移動量が大きい場合は間引くフレーム数を減らし、移動量が小さい場合は間引くフレーム数を増やすことによって、利用する画像群の各々に写る被写体姿勢の角度間隔を均一に近づけることが期待できる。

また、上記の方法で最終的に出力されるクエリ特徴量リストの特徴量は、被写体物体上の各特徴箇所から１つずつ、その特徴箇所が取得されたフレームのうち最も後のフレームで取得された特徴量が保存されているが、対応特徴点の連結情報を図１２に示すように時系列順に保存しておくことでそれぞれの被写体物体上の各特徴箇所が映るフレームのうち時系列順で真ん中にあるフレームから取得された特徴量を最終的な特徴量としても出力してもよい。図１２は、特徴点連結情報の一例を示す図である。こうすることで、図１２に示すような連結情報を持つ必要は発生するが、この特徴箇所を最も正面に近い箇所から撮影した際の特徴量を取得することが期待でき、データベース画像内に写るこの特徴箇所がどのような角度で取得されるか分からないという条件下では、照合時の特徴量間のズレを最小限に抑えることができ、最終的な認識精度を向上させることが可能となる。

また、各被写体上の同一箇所を示す特徴点を取得したフレームのうち、前述した時系列順で真ん中のフレームに、重みづけをした加重平均によって特徴量を再計算し、この特徴量をリストとして出力してもよい。例えば、今６４次元の特徴量が被写体の同一箇所の特徴としてｅ個得られたとする。このときこのｅ個の特徴量をｄ_ｉ（０＜ｉ≦ｅ）と表現し、各特徴量の要素をｄ_ｉｆと表現する（０＜ｆ≦６４）。算出する特徴量Ｄのｆ番目の要素Ｄ_ｆは重みづけ項ｗを用いて、以下の（１）式によって求めてもよい。なお、重みづけ項ｗはすべて１としてもよいし、正規分布で設定してもよい。

また、特徴点ペアを算出する際は、２画像から算出した特徴量をもとにｎフレーム目画像の各特徴点に対してｎ＋１フレーム目画像の特徴点のうち、特徴量のベクトル間距離が最近傍となる特徴点を求め、特徴点ペアとしてもよい。また、その逆にｎ＋１フレーム目画像の各特徴点に対してｎフレーム目画像の特徴点のうち最近傍となる特徴点を求め、特徴点ペアとしてもよい。ただし撮像装置で撮影された映像のｎフレーム目とｎ＋１フレーム目画像には片方にしか存在しない被写体物体上の特徴箇所が存在する可能性が高いため、相互に最近傍特徴点関係にあるペアのみに絞った方がノイズの誤対応や、ある特徴点に複数の特徴点が最近傍として重複して対応付くことを防ぐことができ、クエリ特徴量リストを正しく更新できる。

また、上記の方法ではクエリ特徴量リストとして出力する各特徴点の座標は、各特徴点が抽出されたフレーム画像上の２次元座標をもとに、１番初めのフレーム画像の座標値を原点として、各フレーム画像との特徴点群の移動距離をもとに補正して算出した２次元座標を用いてもよい。またある画像ペア上の特徴点ペアの画像上移動距離から３次元座標を推定し、この３次元座標を出力してもよい。例えば撮像装置から近い点と遠い点を比較すると、近い点ほどオプティカルフローの差分値が大きくなることを利用し、同一画像ペア間に存在する特徴点ペアのオプティカルフロー長の差分の逆数を利用し、算出した値を奥行として与えてもよい。また、文献「清水慶行，金谷健一，”未校正カメラによるオプティカルフローからの３次元復元とその信頼度評価”，情報処理学会研究報告．ＣＶＩＭ，２０００（３３），３３−４０，２０００−０３−２３（２０００）．」に記載の方法によって求めてもよい。３次元座標を用いることで照合精度を向上させることができる。

さらに、図１０に示すクエリ特徴表現部１３１の処理動作は、図１３に示す処理動作としてもよく、処理の順序やアルゴリズム構成は上記の限りでは無い。すなわち、クエリ映像を入力し（ステップＳ４１）、処理に用いる画像すべてから特徴点を抽出し（ステップＳ４２）、その特徴量を求めてから（ステップＳ４３）、隣接する２フレーム間で特徴点ペアを算出し（ステップＳ４４）、前述した処理動作と同様にクエリ特徴量リストを生成して（ステップＳ４５〜Ｓ４７）、クエリ特徴量リストを出力する（ステップＳ４８）ようにしてもよい。

次に、図１４を参照して、図９に示すＤＢ特徴表現部１３２が記憶部１４に格納されているすべてのデータベース画像から特徴点を抽出し、この特徴点すべての特徴量を算出し、ＤＢ特徴量リストを生成する動作を説明する。図１４は、図９に示すＤＢ特徴表現部１３２が記憶部１４に格納されているすべてのデータベース画像から特徴点を抽出し、この特徴点すべての特徴量を算出し、ＤＢ特徴量リストを生成する動作を示すフローチャートである。図１５は、記憶部１４内の検索対象データベースのテーブル構成を示す図である。記憶部１４内には、Ｐ枚（Ｐ≧１）のデータベース画像群と、この画像群の情報を保存したデータベース画像対応表が保存されている。このデータベース画像対応表には、ＤＢ画像ｉｄ、データベース画像が保存されているＤＢ画像パス、各々の画像に写る被写体の詳細情報（例えば商品名、価格、ブランド名等）を紐づけて保存されている。

まず、ＤＢ特徴表現部１３２は、記憶部１４に格納されているデータベース画像（２次元画像）を入力する（ステップＳ５１）。そして、ＤＢ特徴表現部１３２は、このデータベース画像から特徴点抽出を行い（ステップＳ５２）、抽出した特徴点の特徴量を算出する（ステップＳ５３）という動作を入力した画像枚数分繰り返す。そして、図１５に示すＤＢ特徴量リストのように、データベース画像の通し番号であるＤＢ画像ｉｄ、このデータベース画像から抽出した特徴点の通し番号である特徴点ｉｄ、この特徴点から得られた特徴量を紐づけて、すべてのデータベース画像分を順に保存し、最後にＤＢ特徴量リストを出力する（ステップＳ５４）。図１６は、ＤＢ特徴量リストのテーブル構成を示す図である。

次に、図１７を参照して、図９に示す照合部１３３が、クエリ特徴表現部１３１が算出したクエリ特徴量リストとＤＢ特徴表現部１３２が算出したＤＢ特徴量リストとを比較し、データベース画像群の中からクエリ映像の被写体を特定し、認識結果として出力する動作を説明する。図１７は、図９に示す照合部１３３が、クエリ特徴表現部１３１が算出したクエリ特徴量リストとＤＢ特徴表現部１３２が算出したＤＢ特徴量リストとを比較し、データベース画像群の中からクエリ映像の被写体を特定し、認識結果として出力する動作を示すフローチャートである。

まず、照合部１３３は、クエリ特徴表現部１３１が算出したクエリ特徴量リストと、ＤＢ特徴表現部１３２が算出したすべてのデータベース画像の特徴量を含むＤＢ特徴量リストを入力する（ステップＳ６１、Ｓ６２）。そして、照合部１３３は、クエリ特徴量リストの１つの特徴点の特徴量と、ＤＢ特徴量リストの特徴量のすべてとを比較して（ステップＳ６３）、最もベクトル間距離の近い特徴量を有するデータベース画像の最近傍画像ｉｄを特定してスコアを投票する。このスコアを求める際は、特徴量のベクトル間距離が最近傍であるベクトル間距離およびクエリ特徴量リストに保存された各特徴点の座標値を利用して算出する。

例えば、図１８に示すようにクエリ特徴量リストの中で１つの特徴点（１行分）を注目特徴点として設定し、注目特徴点以外のクエリ特徴点を周囲点と称する。図１８は、照合処理動作を示す図である。図１８（１）に示すように、この注目特徴点に対して特徴量ベクトル間距離が最近傍のＤＢ特徴量リストの特徴量（１行）を求め、この特徴量の抽出されたデータベース画像を投票対象画像とし、この特徴量ベクトル間距離を用いて（２）式により算出したスコアを投票する。

このとき注目特徴点と注目点以外の各特徴点の空間距離Ｄは、注目特徴点のスコアを算出する際は本来Ｄ＝０となるが、スコアＳの発散を防ぐため事前に与えたｏｆｆｓｅｔ値を用い、Ｄ＝ｏｆｆｓｅｔ（＞０）とする。さらに、図１８（２）に示すように、注目点が最近傍として算出した特徴量が属すデータベース画像から抽出された特徴量群のみを対象として、各周囲点特徴量から最近傍特徴量を求め、この画像に（２）式によってスコアを算出し、投票対象画像に投票する。なお周囲点から注目特徴点までの空間距離はＤ＝Ｄ＋ｏｆｆｓｅｔとすることとする。ｏｆｆｓｅｔは例えば０．０００１と設定する。ここで説明した（２）式では、スコア算出に注目特徴点との空間距離Ｄおよびベクトル間距離に対して逆数を用いたが、ガウス関数や指数関数を用いてスコア算出式を設定してもよい。

また、上記の例では注目点の特徴量ベクトル間距離が最近傍となる特徴点を有する１枚の投票対象画像にのみ投票を行ったが、特徴量ベクトル間距離が事前に与えたｎに基づき、第ｎ近傍点となる特徴点群をそれぞれ有す複数の投票対象画像を設定し、それぞれに注目点および周囲点から投票を行ってもよいし、上記の限りではない。なお、ここでスコア算出式に「特徴ベクトル間距離」を入れたのは、クエリ特徴量リストとＤＢ特徴量リストの特徴点間で、テクスチャの類似度をスコアに反映するためである。また、スコア算出式に「注目特徴点との空間距離Ｄ」を入れたのは、クエリ入力映像中で取得された特徴点座標が空間的に近い位置に存在するとき、この特徴点群に対応する特徴点群は、任意の視点から撮影された検索対象画像内においても一緒に写る可能性が高いであろうことを利用したもので、ベクトル間距離によるテクスチャ類似度に対する重みづけの役割を担っている。また他の要素によって重みをつけてもよい。

そして、すべてのクエリ特徴量リスト中の特徴点（すべての行）を、１つずつ注目点として前述した投票を繰り返す。そして、ＤＢ特徴量リストの中で、クエリ特徴量リストに最も類似するデータベース画像を合計スコア値から、最近傍画像ｉｄを特定して（ステップＳ６４）、このデータベース画像を検索対象画像とし、若しくは検索対象画像候補としてクエリ特徴量リストに類似する順にデータベース画像名をソートして、認識結果として出力する（ステップＳ６５）。また認識結果の形式としてはこの検索対象画像に写る被写体の詳細情報（商品名、価格、ブランド名等）を出力してもよい。

また、２画像間で対応する特徴点ペアのみを集めたクエリ特徴量リストを照合に用いるのは、１画像のみで抽出された特徴点にはノイズを含みやすいからである。例えば映像から処理に用いるフレーム画像を間引く際の間引き数が多いときには、フレーム画像群の中で被写体上の同一箇所から抽出される重複特徴点が少ないため、ペアに含まれない特徴量も利用した方がよい。また上記では特徴量ペアを作ることによりオプティカルフローを求め、オプティカルフローの差から推定した３次元座標を利用する方法を示したが、ペアを生成できなかった特徴点を利用する場合は、この特徴点に関しては周囲の特徴点ペアから推定した奥行から３次元座標を推定してもよい。

また、前述した説明ではすべての場合で検索対象映像がデータベース中に含まれることを仮定しているが、すべてのデータベース映像において、事前に与えた閾値よりも合計スコア値が低ければ、認識結果として「該当なし」と出力してもよい。

次に、図９に示すメッセージ送信部１３の変形例を説明する。このメッセージ送信部１３は、検索対象が「映像」である。ここではクエリとして映像（２次元画像群）を入力し、１物体あたり１つ若しくは複数の映像を複数物体分、検索対象を含むデータベース映像群として予め記憶部１４に記憶しておく。

次に、クエリ特徴表現部１３１が入力したクエリ映像を為す画像群から特徴点を抽出し、特徴点の特徴量を算出し、クエリ特徴量リストを生成する動作を説明する。変形例におけるクエリ特徴表現部１３１の処理動作は、図１０に示す処理動作と同様であるため、ここでは簡単に説明する。

まず、ユーザが入力部を操作して、クエリ映像（２次元画像群）の入力を指示すると、クエリ特徴表現部１３１はクエリ映像を入力する。そして、クエリ特徴表現部１３１は入力した映像を構成するＭ枚の画像群のうち、時系列順にｎフレーム目とｎ＋１フレーム目の２枚の画像を対象として、この２枚の画像から特徴点を抽出し、抽出したすべての特徴点で特徴量を算出する。なお２回目（ｎ≧２）以降はｎフレーム目の特徴点およびその特徴量は既に１つ前の画像ペアであるｎ−１フレーム目とｎフレーム目の２枚の画像を対象として算出済みのため再計算の必要は無く、ｎ＋１フレーム目画像のみ処理する。このとき、各特徴点が属す画像番号およびこの画像中の特徴点番号と各特徴量を紐づけて保存しておく。

そして、ｎフレーム目の画像の各特徴点に対してｎ＋１フレーム目画像の特徴点のうち、特徴量のベクトル間距離が最近傍となる特徴点を求め、またｎ＋１フレーム目画像の各特徴点に対してｎフレーム目画像の特徴点のうち最近傍となる特徴点を求め、相互に最近傍特徴点関係にあるペアのみを特徴点ペアとする。そしてこの特徴点ペアをもとに、ペアを為す各々の特徴点が属す画像番号、および各特徴点番号、各座標値、各特徴量を紐づけて、クエリ特徴量リストを生成する。まずｎ＝１のときに算出した特徴ペアは新規特徴ペアとしてすべてクエリ特徴量リストに挿入する。ｎ≧２では、各特徴ペアとクエリ特徴量リストに格納された特徴ペアの比較を行う。図１１（ａ）のようにクエリ特徴量リストに同じ画像番号、特徴点番号の行が存在しなければ新規特徴としてクエリ特徴量リストに挿入し、図１１（ｂ）のように画像番号および特徴点番号が同じ行が存在している場合は既出特徴ペアとして、クエリ特徴量リストの情報を書き換える。この一連の処理を画像ペア数分Ｍ−１回分繰り返し、クエリ特徴量リストを更新する。そして最後にクエリ特徴量リストを出力する。これによって、被写体物体上の各特徴箇所から重複なく特徴量を取得したクエリ特徴量リストが取得できる。

なおこの時、処理に用いる画像群は、映像を構成するすべてのフレームを対象としてもよいし、事前に設定した固定フレーム分ずつ（例えば３フレームずつ）間引いたものを利用してもよい。また撮像装置に付属するその他のセンサによって計測、もしくはクエリ映像を為すフレーム画像から因子分解法等の方法によって算出した撮像装置の移動量に応じて、フレームの間引き数を変えてもよい。例えば移動量が大きい場合は間引くフレーム数を減らし、移動量が小さい場合は間引くフレーム数を増やすことによって、利用する画像群の各々に写る被写体姿勢の角度間隔を均一に近づけることが期待できる。

また、上記の方法で最終的に出力されるクエリ特徴量リストの特徴量は、被写体物体上の各特徴箇所から１つずつ、その特徴箇所が取得されたフレームのうち最も後のフレームで取得された特徴量が保存されているが、対応特徴点の連結情報を図１２のように時系列順に保存しておくことでそれぞれの被写体物体上の各特徴箇所が映るフレームのうち時系列的に真ん中にあるフレームから取得された特徴量を最終的な特徴量としても出力してもよい。こうすることで、図１２のような連結情報を持つ必要は発生するが、この特徴箇所を最も正面に近い箇所から撮影した際の特徴量を取得することが期待でき、ＤＢ画像内に写るこの特徴箇所がどのような角度で取得されるか分からないという条件下では、照合時の特徴量間のズレを最小限に抑えることができ、最終的な認識精度を向上させることが可能となる。

また、各被写体上の同一箇所を示す特徴点を取得したフレームのうち、前述した時系列順で真ん中のフレームに、重みづけをした加重平均によって特徴量を再計算し、この特徴量をリストとして出力してもよい。例えば、今６４次元の特徴量が被写体の同一箇所の特徴としてｅ個得られたとする。このときこのｅ個の特徴量をｄ_ｉ（０＜ｉ≦ｅ）と表現し、各特徴量の要素をｄ_ｉｆと表現する（０＜ｆ≦６４）。算出する特徴量Ｄのｆ番目の要素Ｄ_ｆは重みづけ項ｗを用いて、上記の（１）式によって求めてもよい。なお、重みづけ項ｗはすべて１としてもよいし、正規分布で設定してもよい。

また、特徴点ペアを算出する際は、２画像から算出した特徴量をもとにｎフレーム目画像の各特徴点に対してｎ＋１フレーム目画像の特徴点のうち、特徴量のベクトル間距離が最近傍となる特徴点を求め、特徴点ペアとしてもよい。また、その逆にｎ＋１フレーム目画像の各特徴点に対してｎフレーム目画像の特徴点のうち最近傍となる特徴点を求め、特徴点ペアとしてもよい。ただし撮像装置で撮影された映像のｎフレーム目とｎ＋１フレーム目画像には片方にしか存在しない被写体物体上の特徴箇所が存在する可能性が高いため、相互に最近傍特徴点関係にあるペアのみに絞った方がノイズの誤対応や、ある特徴点に複数の特徴点が最近傍として重複して対応付くことを防ぐことができ、クエリ特徴量リストを正しく更新できる。

また、上記の方法ではクエリ特徴量リストとして出力する各特徴点の座標は、各特徴点が抽出されたフレーム画像上の２次元座標をもとに、１番初めのフレーム画像の座標値を原点として、各フレーム画像との特徴点群の移動距離をもとに補正して算出した２次元座標を用いてもよい。またある画像ペア上の特徴点ペアの画像上移動距離から３次元座標を推定し、この３次元座標を出力してもよい。例えば撮像装置から近い点と遠い点を比較すると、近い点ほどオプティカルフローの差分値が大きくなることを利用し、同一画像ペア間に存在する特徴点ペアのオプティカルフロー長の差分の逆数を利用し、算出した値を奥行として与えてもよい。また文献「清水慶行，金谷健一，”未校正カメラによるオプティカルフローからの３次元復元とその信頼度評価”，情報処理学会研究報告．ＣＶＩＭ，２０００（３３），３３−４０，２０００−０３−２３（２０００）．」に記載の方法によって求めてもよい。３次元座標を用いることで照合精度を向上させることができる。

次に、図１９を参照して、変形例におけるＤＢ特徴表現部１３２の処理動作を説明する。図１９は、図９に示すＤＢ特徴表現部１３２が記憶部１４に格納されている各データベース映像を為す画像群から特徴点を抽出し、特徴点の特徴量を算出し、ＤＢ特徴量リストを生成する動作を示すフローチャートである。図２０は、変形例における記憶部１４内の検索対象データベースのテーブル構成を示す図である。記憶部１４内には、図２０に示すように、Ｐ個（Ｐ≧１）のデータベース映像群と、この映像群の各被写体情報を保存したデータベース画像対応表が保存されている。このデータベース画像対応表には、ＤＢ映像ｉｄ、データベース映像が保存されているＤＢ映像パス、各々の映像に写る被写体の詳細情報（例えば商品名、価格、ブランド名等）が紐づけられて保存されている。

まず、ＤＢ特徴表現部１３２は、記憶部１４に格納されているＰ個のデータベース映像のうち、１つのデータベース映像を入力し（ステップＳ７１）、この映像を構成するＭｐ枚の画像群のうち、時系列順にｎフレーム目とｎ＋１フレーム目の２枚の画像を対象として、この２枚の画像から特徴点を抽出し（ステップＳ７２）、抽出したすべての特徴点で特徴量を算出する（ステップＳ７３）。この処理をすべてのデータベース映像に対して繰り返し実施する。そして、データベース映像の通し番号であるＤＢ映像ｉｄ、このデータベース画像から抽出した特徴点の通し番号である特徴点ｉｄ、この特徴点から得られた特徴量を紐づけて、すべてのデータベース画像分を順に保存する。なお、ＤＢ特徴量リストのテーブル構成は、図１６に示すＤＢ特徴量リストと同様である。

そして、ｎフレーム目の画像の各特徴点に対してｎ＋１フレーム目画像の特徴点のうち、特徴量のベクトル間距離が最近傍となる特徴点を求め、またｎ＋１フレーム目画像の各特徴点に対してｎフレーム目画像の特徴点のうち最近傍となる特徴点を求め、相互に最近傍特徴点関係にあるペアのみを特徴点ペアを算出する（ステップＳ７４）。そしてこの特徴点ペアをもとに、ペアを為す各々の特徴点が属す画像番号、および各特徴点番号、各座標値、各特徴量を紐づけて、各データベース映像のＤＢ特徴量部分リストを生成する。まずｎ＝１のときに算出した特徴ペアは新規特徴ペアとしてすべてＤＢ特徴量部分リストに挿入する。ｎ≧２では、各特徴ペアとＤＢ特徴量部分リストに格納された特徴ペアの比較を行う（ステップＳ７５）。ＤＢ特徴量リストに同じ画像番号、特徴点番号の行が存在しなければ新規特徴としてクエリ特徴量リストに挿入する（ステップＳ７６）。一方、ＤＢ特徴量リストに画像番号および特徴点番号が同じ行が存在している場合は既出特徴ペアとして、ＤＢ特徴量部分リストの情報を書き換える（ステップＳ７７）。なお、ＤＢ特徴量部分リストのテーブル構成は、図１１に示すクエリ特徴量リストと同様のテーブル構成である。

この一連の処理を画像ペア数分Ｍ−１回分繰り返し、ＤＢ特徴量部分リストを更新する。そしてこのＤＢ特徴量部分リストの生成処理をデータベース映像個数分行い、各ＤＢ特徴量部分リストを映像ｉｄ順に統合し、映像ｉｄとＤＢ特徴量部分リストを紐づけて、ＤＢ特徴量リストを生成する（ステップＳ７８）。そして最後にこのＤＢ特徴量リストを出力する（ステップＳ７９）。これによって、被写体物体上の各特徴箇所から重複なく特徴量を取得したＤＢ特徴量リストが取得できる。

なおこの時、処理に用いる画像群は、各映像を構成するすべてのフレームを対象としてもよいし、事前に設定した固定フレーム分ずつ（例えば３フレームずつ）間引いたものを利用してもよい。また撮像装置に付属するその他のセンサによって計測、もしくは各データベース映像を為すフレーム画像から因子分解法等の方法によって算出した撮像装置の移動量に応じて、フレームの間引き数を変えてもよい。例えば移動量が大きい場合は間引くフレーム数を減らし、移動量が小さい場合は間引くフレーム数を増やすことによって、利用する画像群の各々に写る被写体姿勢の角度間隔を均一に近づけることが期待できる。

また、上記の方法で最終的に出力されるＤＢ特徴量リストの特徴量は、被写体物体上の各特徴箇所から１つずつ、その特徴箇所が取得されたフレームのうち最も後のフレームで取得された特徴量が保存されているが、対応特徴点の連結情報を図１２のように時系列順に保存しておくことでそれぞれの被写体物体上の各特徴箇所が映るフレームのうち時系列的に真ん中にあるフレームから取得された特徴量を最終的な特徴量としても出力してもよい。こうすることで、図１２のような連結情報を持つ必要は発生するが、この特徴箇所を最も正面に近い箇所から撮影した際の特徴量を取得することが期待でき、データベース画像内に写るこの特徴箇所がどのような角度で取得されるか分からないという条件下では、照合時の特徴量間のズレを最小限に抑えることができ、最終的な認識精度を向上させることが可能となる。

また、各被写体上の同一箇所を示す特徴点を取得したフレームのうち、前述した時系列順で真ん中のフレームに、重みづけをした加重平均によって特徴量を再計算し、この特徴量をリストとして出力してもよい。例えば、今６４次元の特徴量が被写体の同一箇所の特徴としてｅ個得られたとする。このときこのｅ個の特徴量をｄ_ｉ（０＜ｉ≦ｅ）と表現し、各特徴量の要素をｄ_ｉｆと表現する（０＜ｆ≦６４）。算出する特徴量Ｄのｆ番目の要素Ｄ_ｆは重みづけ項ｗを用いて、（１）式によって求めてもよい。なお、重みづけ項ｗはすべて１としてもよいし、正規分布で設定してもよい。

また、特徴点ペアを算出する際は、２画像から算出した特徴量をもとにｎフレーム目画像の各特徴点に対してｎ＋１フレーム目画像の特徴点のうち特徴量のベクトル間距離が最近傍となる特徴点を求め、特徴点ペアとしてもよい。また、その逆にｎ＋１フレーム目画像の各特徴点に対してｎフレーム目画像の特徴点のうち最近傍となる特徴点を求め、特徴点ペアとしてもよい。ただしあるデータベース映像のｎフレーム目とｎ＋１フレーム目画像には片方にしか存在しない被写体物体上の特徴箇所が存在する可能性が高いため、相互に最近傍特徴点関係にあるペアのみに絞った方がノイズの誤対応や、ある特徴点に複数の特徴点が最近傍として重複して対応付くことを防ぐことができ、ＤＢ特徴量部分リストを正しく更新できる。

また、上記の方法ではＤＢ特徴量リストとして出力する各特徴点の座標は、各特徴点が抽出されたフレーム画像上の２次元座標をもとに、１番初めのフレーム画像の座標値を原点として、各フレーム画像との特徴点群の移動距離をもとに補正して算出した２次元座標を用いてもよい。またある画像ペア上の特徴点ペアの画像上移動距離から３次元座標を推定し、この３次元座標を出力してもよい。撮像装置から近い点と遠い点を比較すると、近い点ほどオプティカルフローの差分値が大きくなることを利用し、同一画像ペア間に存在する特徴点ペアのオプティカルフロー長の差分の逆数を利用し、算出した値を奥行として与えてもよい。また文献「清水慶行，金谷健一，”未校正カメラによるオプティカルフローからの３次元復元とその信頼度評価”，情報処理学会研究報告．ＣＶＩＭ，２０００（３３），３３−４０，２０００−０３−２３（２０００）．」に記載の方法によって求めてもよい。３次元座標を用いることで照合精度を向上させることができる。

さらに、図１９に示すＤＢ特徴表現部１３２の処理動作は、図２１に示す処理動作としてもよく、処理の順序やアルゴリズム構成は上記の限りでは無い。すなわち、データベース映像を入力し（ステップＳ８１）、各データベース映像の映像処理に用いるすべての画像から特徴点を抽出し（ステップＳ８２）その特徴量を求めてから（ステップＳ８３）、隣接する２フレーム間で特徴点ペアを算出しＤＢ特徴量部分リストを生成して出力する（ステップＳ８４〜Ｓ８９）ようにしてもよい。

次に、図９に示す変形例における照合部１３３が、クエリ特徴表現部１３１が算出したクエリ特徴量リストとＤＢ特徴表現部１３２が算出したＤＢ特徴量リストを比較し、データベース映像群の中からクエリ映像の被写体を特定し、認識結果として出力する動作を説明する。変形例における照合部１３３の処理動作は、図１７に示す処理動作と同様であるため、ここでは簡単に説明する。

まず、クエリ特徴表現部１３１が算出したクエリ特徴量リストと、ＤＢ特徴表現部１３２が算出したすべてのデータベース映像の特徴量を含むＤＢ特徴量リストを入力する。そして、クエリ特徴量リストの１つの特徴点の特徴量と、ＤＢ特徴量リストの特徴量のすべてを比較して、最もベクトル間距離の近い特徴量を有するデータベース映像に（若しくはベクトル間距離の近い順に指定数分のデータベース映像に）スコアを投票する。このスコアを求める際は、特徴量のベクトル間距離が最近傍であるベクトル間距離およびクエリ特徴量リストに保存された各特徴点の座標値を利用して算出する。

例えば、図１８に示すようにクエリ特徴量リストの中で１つの特徴点（１行分）を注目特徴点として設定し、注目特徴点以外のクエリ特徴点を周囲点と呼ぶこととする。図１８（１）に示すように、この注目特徴点に対して特徴量ベクトル間距離が最近傍のＤＢ特徴量リストの特徴量（１行）を求め、この特徴量の抽出されたデータベース映像を投票対象映像とし、この特徴量ベクトル間距離を用いて（２）式により算出したスコアを投票する。このとき注目特徴点と注目点以外の各特徴点の空間距離Ｄは、注目特徴点のスコアを算出する際は本来Ｄ＝０となるが、スコアＳの発散を防ぐため事前手に与えたｏｆｆｓｅｔ値を用い、Ｄ＝ｏｆｆｓｅｔ（＞０）とする。

さらに、図１８（２）に示すように、注目点が最近傍として算出した特徴量が属すデータベース映像から抽出された特徴量群のみを対象として、各周囲点特徴量から最近傍特徴量を求め、この映像に（２）式によってスコアを算出し、投票対象映像に投票する。なお周囲点から注目特徴点までの空間距離はＤ＝Ｄ＋ｏｆｆｓｅｔとすることとする。ｏｆｆｓｅｔは例えば０．０００１と設定する。ここで説明した（２）式では、スコア算出に注目特徴点との空間距離Ｄおよびベクトル間距離に対して逆数を用いたが、ガウス関数や指数関数を用いてスコア算出式を設定してもよい。

また、上記の例では注目点の特徴量ベクトル間距離が最近傍となる特徴点を有す１枚の投票対象画像にのみ投票を行ったが、特徴量ベクトル間距離が事前に与えたｎに基づき、第ｎ近傍点となる特徴点群をそれぞれ有す複数の投票対象画像を設定し、それぞれに注目点および周囲点から投票を行ってもよいし、上記の限りではない。なお、ここでスコア算出式に「特徴ベクトル間距離」を入れたのは、クエリ特徴量リストとＤＢ特徴量リストの特徴点間で、テクスチャの類似度をスコアに反映するためである。また、スコア算出式に「注目特徴点との空間距離Ｄ」を入れたのは、クエリ入力映像中で取得された特徴点座標が空間的に近い位置に存在するとき、この特徴点群に対応する特徴点群は、任意の視点から撮影された検索対象画像内においても一緒に写る可能性が高いであろうことを利用したもので、ベクトル間距離によるテクスチャ類似度に対する重みづけの役割を担っている。また他の要素によって重みをつけてもよい。

そしてすべてのクエリ特徴量リスト中の特徴点（すべての行）を、１つずつ注目点として前述の投票を繰り返す。そしてＤＢ特徴量リストの中で、クエリ特徴量リストに最も類似するデータベース映像を合計スコア値から特定してこのデータベース画像を検索対象画像とし、若しくは検索対象画像候補としてクエリ特徴量リストに類似する順にデータベース画像名をソートして、認識結果とする。また認識結果の形式としてはこの検索対象画像に写る被写体の詳細情報（商品名、価格、ブランド名等）を出力してもよい。

また、映像を構成する画像のうち隣接する２画像間で対応する特徴点ペアのみを集めたクエリ特徴量リスト、およびＤＢ特徴量リストを照合に用いるのは、１画像のみで抽出された特徴点にはノイズを含みやすいからである。例えば映像から処理に用いるフレーム画像を間引く際の間引き数が多いときには、フレーム画像群の中で被写体上の同一箇所から抽出される重複特徴点が少ないため、ペアに含まれない特徴量も利用した方がよい。

また、上記では、特徴量ペアを作ることによりオプティカルフローを求め、オプティカルフローの差から推定した３次元座標を利用する方法を示したが、ペアを生成できなかった特徴点を利用する場合は、この特徴点に関しては周囲の特徴点ペアから推定した奥行から３次元座標を推定してもよい。

また、上記ではすべての場合で検索対象映像がデータベース中に含まれることを仮定しているが、すべてのデータベース映像において、事前に与えた閾値よりも合計スコア値が低ければ、認識結果を「該当なし」と出力してもよい。

このように、特徴点の座標値を失わずに被写体全体形状を評価した照合ができるため、入力映像（画像群）のテクスチャの組成がデータベース内に存在する他の画像のテクスチャの組成と偶然類似してしまった際の認識精度を向上することができる。

なお、前述した説明においては、物体データもしくはユーザデータを登録するユーザＡと、メッセージを送信するユーザＢ、受信するユーザＣは別人であるとして説明した。ただし、物体データを事前登録するユーザＡは、送信者であるユーザＢと同一であってもよいし、受信者であるユーザＣと同一であってもよい。また事前登録、送受信のすべてが同一人物によって行われてもよい。

また、登録された物体データは２次元画像データであり、ユーザＣは２次元画像群データを入力することで、対象物体を特定したが、事前登録物体データおよび問い合わせ情報の組み合わせは上記の限りではない。たとえば他にも、対象が２次元物体であれば、双方ともに１枚以上の画像データを入力し、画像マッチング手法によって物体を特定してもよい。また、画像自体ではなく、画像から抽出した画像特徴量を登録しておくことで実現してもよい。また、対象が３次元物体である際に、どちらかに３次元モデルを入力し、モデルベースのマッチング手法等によって物体を特定してもよい。撮像画像を用いた２次元物体認識手法および３次元物体認識手法は上記の限りではない。またＩＣタグのような物体自体に取り付けられたタグのＩＤを、ＩＣリーダー等のＮＦＣ（Ｎｅａｒ Ｆｉｅｌｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎ）端末によって読み込み、事前に登録されたＩＤ群と照合することによって実現するものであってもよい。物体を特定する方法は、上記の限りではない。

また、上記実施例においては、メッセージ送信者であるユーザＢは、送信先であるメッセージ受信者であるユーザＣを選択したが、ユーザＣは複数であってもよいし、選択せずに、その物体を特定したすべての人へのメッセージ配信としてもよい。

また、メッセージを登録する際に選択する物体画像は、写真共有サイトやＳＮＳによってユーザが閲覧可能な画像から選択することによって実現してもよい。これにより、該当画像の公開設定に基づき、送信先のユーザを選択してメッセージを配信することも可能になる。

また、屋外のランドマーク等を登録しておくことで、位置情報に基づきメッセージが受信されるサービスも実現できる。加えて、個人間でやりとりされた手作りの物体や思い出のある物体に、メッセージを忍ばせることが可能である。唯一無二の物体を利用することで、送信先選択の手間を省くことが可能である。また、メッセージ受信者がメッセージを受信したタイミングを、メッセージ送信者に通知してもよい。

以上説明したように、メッセージ受信のタイミングを規定する要素を増やし、送信側だけではなく受信側が主体的に受信タイミングを選択することができるようになる。また、物体を介することにより、前述したＧＰＳによる方法と同じく、送信者は送信先のメッセージ受信者がメッセージを受信する場所を指定することができる。さらに受信者が主体的に受信するメッセージや、その受信タイミングを選択できる。

前述した実施形態におけるメッセージ送受信装置１をコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、ＰＬＤ（Programmable Logic Device）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアを用いて実現されるものであってもよい。

以上、図面を参照して本発明の実施の形態を説明してきたが、上記実施の形態は本発明の例示に過ぎず、本発明が上記実施の形態に限定されるものではないことは明らかである。したがって、本発明の技術思想及び範囲を逸脱しない範囲で構成要素の追加、省略、置換、その他の変更を行ってもよい。

物体認識技術を介すことでメッセージの受信タイミングを調節することが不可欠な用途にも適用できる。

１・・・メッセージ送受信装置、１１・・・物体・ユーザデータ登録部、１２・・・メッセージ登録部、１３・・・メッセージ送信部、１４・・・記憶部、２・・・事前登録データ入力用端末、３・・・メッセージ入力用端末、４・・・問い合わせ情報入力用端末、５・・・ネットワーク

Claims (3)

1. 画像データとメッセージデータとを記憶する記憶手段と、
   複数の物体の画像データを事前に前記記憶手段に記憶する物体データ登録手段と、
   前記記憶手段に記憶された前記物体の画像データの中から選択した前記物体の画像データに対して、送信すべきメッセージを関係付けて前記記憶手段に記憶するメッセージ登録手段と、
   問い合わせ情報に含まれる画像データを受信し、該画像データの被写体と合致する被写体が写っている前記物体の画像データを前記記憶手段から探索し、探索の結果得られた前記物体の画像データに関係付けられている前記メッセージデータを前記問い合わせ情報の送信元に対して送信するメッセージ送信手段と
   を備えたことを特徴とするメッセージ送受信装置。
2. 前記物体データ登録手段は、１物体あたり１枚以上の画像データを前記記憶手段に記憶し、
   前記メッセージ受信手段は、前記問い合わせ情報として、１枚以上の画像データを受信し、１枚以上の前記画像データと、前記記憶手段に登録されている１枚以上の画像データを照合することにより、前記画像データの探索を行うことを特徴とする請求項１に記載のメッセージ送受信装置。
3. コンピュータを、請求項１または２に記載のメッセージ送受信装置として機能させるためのメッセージ送受信プログラム。

Images