JP2013205943A - 情報処理装置、情報処理方法、プログラムおよび端末 - Google Patents

Abstract

【課題】複数のオブジェクトが撮像画像に映る場合に、当該複数のオブジェクトを検索クエリの生成に利用する。
【解決手段】撮像画像に映る複数のオブジェクトを認識し、前記複数のオブジェクトの状態に基づいて、検索クエリを生成する検索クエリ生成部を備え、前記検索クエリに基づく検索結果を取得する検索結果取得部と、前記検索クエリに基づく前記検索結果と表示制御データとを表示装置に出力することによって、前記検索結果が前記表示装置に表示されるように制御することができる表示制御部を備える。
【選択図】図１

Description

本開示は、情報処理装置、情報処理方法、プログラムおよび端末に関する。

近年、様々な場面において多目的なデバイスが普及し、多くのユーザがこのようなデバイスに触れる機会が増え、多くのユーザの利便性の向上に役立っている。このようなデバイスは、例えば、キーボードなどの入力部と、ディスプレイ、音声出力装置などの出力部とを備えている。しかし、こういったデバイスが普及する反面、デジタル・ディバイドの問題が顕著となっている。

例えば、ユーザは、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）を用いて検索する場合、キーボード、マウスなどの使い方を覚える必要があるのは当然のことであるが、検索サービスの使い方も覚える必要がある。例えば、複数のキーワードを用いて検索する場合には、複数のキーワードの検索におけるクエリの文法を覚える必要があり、容易に検索サービスを利用できないことがある。

そこで、例えば、文書の外観を示す情報を検索キーとして所望の文書を検索する技術が開示されている（例えば、特許文献１参照）。かかる技術によれば、オブジェクトが映る画像の認識結果から、オブジェクトの大きさ、オブジェクトの位置、オブジェクトの種類などの特徴情報を抽出し、その特徴情報を用いて検索を行うことができる。

特開平０６−３４８７５８号公報

しかしながら、上記した特許文献１により開示された技術では、複数のオブジェクトが撮像画像に映る場合に、当該複数のオブジェクトを検索クエリの生成に利用することができない。したがって、複数のオブジェクトが撮像画像に映る場合に、当該複数のオブジェクトを検索クエリの生成に利用するための技術が実現されることが望ましい。

本開示によれば、撮像画像に映る複数のオブジェクトの認識結果に基づいて、検索クエリを生成する検索クエリ生成部を備える、情報処理装置が提供される。

また、本開示によれば、撮像画像に映る複数のオブジェクトの認識結果に基づいて、検索クエリを生成することを含む、情報処理方法が提供される。

また、本開示によれば、コンピュータを、撮像画像に映る複数のオブジェクトの認識結果に基づいて、検索クエリを生成する検索クエリ生成部を備える情報処理装置として機能させるためのプログラムが提供される。

また、本開示によれば、撮像画像に映る複数のオブジェクトの認識結果に基づいて検索クエリが生成され、前記検索クエリに基づく検索が行われた場合、前記検索クエリに基づく検索結果を取得する検索結果取得部と、前記検索結果が表示されるように制御する表示制御部と、を備える、端末が提供される。

以上説明したように本開示によれば、複数のオブジェクトが撮像画像に映る場合に、当該複数のオブジェクトを検索クエリの生成に利用するための技術を実現することが可能である。

第１の実施形態に係る情報処理システムの構成例を示す図である。 第１の実施形態に係る認識装置により認識されるオブジェクトの例を示す図である。 第１の実施形態に係る情報処理装置の機能構成例を示す図である。 第１の実施形態に係る検索クエリ生成部が有する機能の例を示す図である。 第１の実施形態に係る表示制御部が有する機能の例を示す図である。 第１の実施形態に係る表示装置による検索結果の表示例を示す図である。 第１の実施形態に係る表示装置による表示位置の例を示す図である。 第１の実施形態に係る情報処理システムの動作例を示す図である。 第２の実施形態に係る情報処理システムの構成例を示す図である。 第２の実施形態に係る情報処理装置の機能構成例を示す図である。 第２の実施形態に係る端末の機能構成例を示す図である。 第２の実施形態に係る情報処理システムの動作例を示す図である。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

また、本明細書および図面において、実質的に同一の機能構成を有する複数の構成要素を、同一の符号の後に異なるアルファベットを付して区別する場合もある。ただし、実質的に同一の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。

また、以下に示す項目順序に従って当該「発明を実施するための形態」を説明する。
１．第１の実施形態
１−１．情報処理システムの構成例
１−２．情報処理装置の機能構成例
１−３．情報処理装置の機能の説明
１−４．情報処理システムの動作例
２．第２の実施形態
２−１．情報処理システムの構成例
２−２．情報処理装置の機能構成例
２−３．端末の機能構成例
２−４．情報処理システムの動作例
３．むすび

＜＜１．第１の実施形態＞＞
まず、本開示の第１の実施形態について順次詳細に説明する。

＜１−１．情報処理システムの構成例＞
まず、第１の実施形態に係る情報処理システム１Ａの構成例について説明する。図１は、第１の実施形態に係る情報処理システム１Ａの構成例を示す図である。

図１に示したように、第１の実施形態に係る情報処理システム１Ａは、一例として、情報処理装置１０Ａと表示装置２０と認識装置３０と検索装置４０とを備える。情報処理装置１０Ａは、ネットワーク６０に接続されており、ネットワーク６０を介して検索装置４０と相互に通信可能にされている。ただし、図１に示した構成は一例に過ぎない。例えば、図１に示した例では、情報処理装置１０Ａと検索装置４０とがネットワーク６０に接続されているが、情報処理装置１０Ａと検索装置４０とはネットワーク６０に接続されていなくてもよい。また、ネットワーク６０は、インターネットであってもよいし、無線ＬＡＮであってもよいし、他のネットワークであってもよい。

認識装置３０は、撮像画像から複数のオブジェクトＯｂを認識する機能を有している。図１には、複数のオブジェクトＯｂの例として、オブジェクトＯｂ１およびオブジェクトＯｂ２が示されているが、オブジェクトＯｂの数は２つに限定されない。また、図１には、オブジェクトＯｂ１の例として「鉛筆」が示され、オブジェクトＯｂ２の例として「本」が示されているが、オブジェクトＯｂの種類は特に限定されない。なお、図１に示した例では、情報処理装置１０Ａと認識装置３０とが別体に構成されているが、情報処理装置１０Ａと認識装置３０とは一体化されていてもよい。

ここで、認識装置３０によって認識されるオブジェクトの例について説明する。図２は、第１の実施形態に係る認識装置３０により認識されるオブジェクトの例を示す図である。図２に示すように、認識装置３０により認識されるオブジェクトは、現実に存在する物体（例えば、鉛筆に相当する物体Ｐ１、花に相当する物体Ｐ２、本に相当する物体Ｐ３など）であってもよいし、現実に存在する物体をコード化したマーカ（例えば、２次元マーカＭ１、Ｍ２、Ｍ３など）であってもよい。

情報処理装置１０Ａは、認識装置３０による複数のオブジェクトの認識結果に基づいて検索クエリを生成する機能を有している。また、情報処理装置１０Ａは、検索クエリに基づく検索結果が表示装置２０に表示されるように表示装置２０を制御する機能を有している。なお、図１に示した例では、情報処理装置１０Ａは、表示装置２０とは別体に構成されているが、表示装置２０と一体化されていてもよい。

表示装置２０は、情報処理装置１０Ａによる制御に従って検索結果を表示する機能を有する。また、表示装置２０は、認識装置３０による撮像画像を表示してもよい。表示装置２０により撮像画像が表示されれば、ユーザは、撮像画像に映るオブジェクトＯｂによって認識装置３０に認識させるオブジェクトＯｂを確認することができる。例えば、表示装置２０、例えば、テレビジョン装置であってもよいし、ディスプレイ装置であってもよい。

検索装置４０は、情報処理装置１０Ａにより生成された検索クエリに基づいて検索を行う機能を有する。検索によって得られた検索結果は、検索装置４０から情報処理装置１０Ａに提供される。なお、図１に示した例では、情報処理装置１０Ａは、検索装置４０とは別体に構成されているが、検索装置４０と一体化されていてもよい。検索対象のコンテンツは、特に限定されないが、例えば、ウェブページが検索対象にされてもよい。

本開示の第１の実施形態では、複数のオブジェクトが撮像画像に映る場合に、当該複数のオブジェクトを検索クエリの生成に利用するための技術を提案する。

以上、第１の実施形態に係る情報処理システム１Ａの構成例について説明した。続いて、第１の実施形態に係る情報処理装置１０Ａの機能構成例について説明する。

＜１−２．情報処理装置の機能構成例＞
図３は、第１の実施形態に係る情報処理装置１０Ａの機能構成例を示す図である。図３に示したように、情報処理装置１０Ａは、制御部１１０Ａ、通信部１２０および記憶部１３０を備える。また、制御部１１０Ａは、認識結果取得部１１１、検索クエリ生成部１１２、検索結果取得部１１３および表示制御部１１４を備える。

制御部１１０Ａは、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）またはＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）などのプロセッサに相当する。制御部１１０Ａは、記憶部１３０または他の記憶媒体に記憶されるプログラムを実行することにより、制御部１１０Ａが有する様々な機能を発揮する。認識結果取得部１１１、検索クエリ生成部１１２、検索結果取得部１１３および表示制御部１１４の各機能については後に説明する。

通信部１２０は、例えば、ネットワーク６０に接続するための通信デバイスなどで構成された通信インタフェースである。通信部１２０は、例えば、ネットワーク６０を介して検索装置４０と通信を行うことが可能である。また、通信部１２０は、有線または無線により表示装置２０と通信を行うことが可能である。また、通信部１２０は、有線または無線により認識装置３０と通信を行うことが可能である。図２に示した例では、通信部１２０は情報処理装置１０Ａと一体化されているが、通信部１２０は情報処理装置１０Ａと別体に構成されていてもよい。

記憶部１３０は、半導体メモリまたはハードディスクなどの記憶媒体を用いて、制御部１１０Ａによる処理のためのプログラムおよびデータを記憶する。例えば、記憶部１３０は、制御部１１０Ａにより実行されるプログラムを記憶することができる。また、例えば、記憶部１３０は、プログラムによって使用される設定情報を記憶することもできる。図２に示した例では、記憶部１３０は情報処理装置１０Ａと一体化されているが、記憶部１３０は情報処理装置１０Ａと別体に構成されていてもよい。

以上、第１の実施形態に係る情報処理装置１０Ａの機能構成例について説明した。続いて、第１の実施形態に係る情報処理装置１０Ａが有する機能の詳細について説明する。

＜１−３．情報処理装置の機能の説明＞
情報処理装置１０Ａにおいては、まず、認識結果取得部１１１が、認識装置３０によって撮像画像に映る複数のオブジェクトの認識結果を取得する。続いて、検索クエリ生成部１１２は、認識装置３０による複数のオブジェクトの認識結果に基づいて、検索クエリを生成する。図４は、第１の実施形態に係る検索クエリ生成部１１２が有する機能の例を示す図である。

図４に示したように、検索クエリ生成部１１２は、複数のオブジェクトの状態に基づいて、検索クエリを生成する。複数のオブジェクトの状態は、特に限定されない。例えば、複数のオブジェクトの状態は、複数のオブジェクトそれぞれの位置であってもよいし、複数のオブジェクトそれぞれの傾きであってもよいし、複数のオブジェクトそれぞれの動きであってもよいし、複数のオブジェクトの同士の位置関係であってもよい。

例えば、検索クエリ生成部１１２は、複数のオブジェクトの一部または全部のオブジェクトそれぞれの名称を、演算子を介して結合させることによって検索クエリを生成する。演算子は、ＡＮＤ検索のためのＡＮＤ演算子であってもよいし、ＯＲ検索のためのＯＲ演算子であってもよいし、名称同士を別の検索クエリに組み込むことを指示するための演算子（以下、この演算子を＜論理＞と示すこともある）であってもよい。結合される名称の順序は、特に限定されないが、例えば、認識装置３０によりオブジェクトが認識された順序の通りであってもよい。

例えば、複数のオブジェクトの例として「りんご」と「ぶどう」が認識された場合、検索クエリ生成部１１２は、これらの名称を、ＡＮＤ演算子を介して結合させた検索クエリ「りんご ＡＮＤ ぶどう」を生成してもよい。また、検索クエリ生成部１１２は、これらの名称を、ＯＲ演算子を介して結合させた検索クエリ「りんご ＯＲ ぶどう」を生成してもよい。また、検索クエリ生成部１１２は、これらの名称を、別の検索クエリに組み込むことを指示するための演算子を介して結合させた検索クエリ「りんご ＜論理＞ ぶどう」を生成してもよい。どの演算子を介してこれらの名称を結合させるかはあらかじめ決められていてもよい。

また、演算子はあらかじめ決められていなくてもよい。例えば、検索クエリ生成部１１２は、所定の条件を満たすオブジェクトが存在する場合、当該オブジェクトに対応する演算子を当該所定の条件に対応する演算子としてもよい。当該所定の条件は、オブジェクトの位置に関する条件であってもよいし、オブジェクトの傾きに関する条件であってもよいし、オブジェクトの動きに関する条件であってもよい。

オブジェクトの位置に関する条件は、例えば、オブジェクトの位置と所定のオブジェクト（例えば、ユーザの身体、ユーザの顔、表示装置２０、認識装置３０、所定の物体、所定のマーカなど）の位置との距離に関する条件であってもよい。また、オブジェクトの位置に関する条件は、ユーザの顔の位置を基準とした顔の方向とオブジェクトの位置との関係に関する条件であってもよいし、ユーザの目の位置を基準とした視線方向とオブジェクトの位置との関係に関する条件であってもよい。

また、オブジェクトの傾きに関する条件は、例えば、オブジェクトが所定の平面（例えば、鉛直方向など）を基準とした傾きに関する条件であってもよい。また、オブジェクトの動きに関する条件は、例えば、オブジェクトの動きが所定の動き（例えば、円を描くような動き、所定の方向に対する動き、所定方向の軸を基準とした回転など）を示すという条件であってもよい。所定方向の軸は、例えば、図１に示したｘ軸方向（表示装置２０の画面の縦方向）であってもよいし、ｙ軸方向（表示装置２０の画面の横方向）であってもよいし、ｚ軸方向（表示装置２０の画面に対して垂直の方向）であってもよい。

例えば、検索クエリ「りんご ＯＲ ぶどう ＯＲ 鉛筆 ＯＲ 本」が生成された後、「ぶどう」が所定の条件を満たした場合、検索クエリ生成部１１２は、「ぶどう」の直後の演算子をＡＮＤ演算子にした「りんご ＯＲ ぶどう ＡＮＤ 鉛筆 ＯＲ 本」を生成してもよい。あるいは、検索クエリ生成部１１２は、「ぶどう」の直後以降の演算子をＡＮＤ演算子にした「りんご ＯＲ ぶどう ＡＮＤ 鉛筆 ＡＮＤ 本」を生成してもよい。

また、検索クエリ生成部１１２は、複数のオブジェクトの全部のオブジェクトそれぞれの名称を結合させなくてもよい。検索クエリに一度組み込まれた名称を事後的にキャンセルしたくなる場合もあれば、ユーザが意図しないオブジェクトが認識されてしまった場合にそのオブジェクトの名称を検索クエリからキャンセルしたくなる場合もあるからである。したがって、検索クエリ生成部１１２は、所定の条件を満たすオブジェクトが存在する場合、当該オブジェクトの名称を検索クエリから除外してもよい。

また、検索クエリ生成部１１２は、所定の関係を満たす複数のオブジェクトが存在する場合には、当該複数のオブジェクトそれぞれの名称同士を所定の演算子を介して結合させてもよい。当該所定の関係は、複数のオブジェクトの位置関係に関する条件であってもよい。例えば、検索クエリ生成部１１２は、所定範囲内に収まる複数のオブジェクトが存在する場合、当該複数のオブジェクトそれぞれの名称同士を、ＡＮＤ演算子を介して結合させてもよい。また、ＡＮＤ演算子の代わりにＯＲ演算子を使用してもよい。

より詳細には、例えば、「りんご」と「ぶどう」が半径Ｄの球内に収まる場合、検索クエリ生成部１１２は、「りんご」と「ぶどう」がＡＮＤ演算子を介して結合された「りんご ＡＮＤ ぶどう」を生成してもよい。また、例えば、「ギター」と「歌手」が半径Ｄの球内に収まる場合、検索クエリ生成部１１２は、「ギター」と「歌手」がＡＮＤ演算子を介して結合された「ギター ＡＮＤ 歌手」を生成してもよい。このように所定範囲内に収まる複数のオブジェクトを１つのグループとして扱うことができる。かかるグループ化には、例えば、ｋ平均法などのクラスタリングアルゴリズムを適用することができる。

また、検索クエリ生成部１１２は、別グループに属するオブジェクトの名称同士は、別の検索クエリに組み込むことを指示するための演算子を介して結合させてもよい。「りんご」と「ぶどう」が属するグループと「ギター」と「歌手」が属するグループとが別グループである場合には、「グループ１（りんご ＡＮＤ ぶどう）＜論理＞グループ２（ギター ＡＮＤ 歌手）」といった検索クエリを生成することが可能である。

このように検索クエリ生成部１１２により生成された検索クエリが、検索クエリ生成部１１２により検索装置４０に対して出力されると、検索装置４０により検索クエリに基づいた検索が行われる。検索装置４０により得られた検索結果は、検索結果取得部１１３により取得される。表示制御部１１４は、検索結果取得部１１３により取得された検索結果が表示されるように制御する。図５は、第１の実施形態に係る表示制御部１１４が有する機能の例を示す図である。

図５に示したように、表示制御部１１４は、検索結果と表示制御データとを表示装置２０に出力することによって、検索結果が表示装置２０に表示されるように表示装置２０を制御することができる。上記したように、別の検索クエリに組み込むことを指示するための演算子が使用された場合などには、複数の検索クエリが生成される。したがって、表示制御部１１４は、各検索クエリに対応する検索結果が表示されるように制御する。

図６は、第１の実施形態に係る表示装置２０による検索結果の表示例を示す図である。図６に示した例において、表示制御部１１４は、第１の検索クエリに基づく検索結果Ｇ１、第２の検索クエリに基づく検索結果Ｇ２および第３の検索グループに基づく検索結果Ｇ３が表示されるように制御している。図６に示された例では、各検索結果の表示エリアの形状が楕円であるが、各検索結果の表示エリアの形状は円であってもよいし、矩形であってもよいし、他の形状であってもよい。

表示制御部１１４は、第１の検索クエリが第１のオブジェクトの認識結果に基づいて生成された場合、当該第１のオブジェクトの状態に基づいて第１の検索クエリの検索結果Ｇ１が表示されるように制御してもよい。オブジェクトの状態は、上記したように、オブジェクトの位置であってもよいし、オブジェクトの傾きであってもよいし、オブジェクトの動きであってもよい。以下では、主に検索結果Ｇ１について説明するが、検索結果Ｇ２および検索結果Ｇ３についても検索結果Ｇ１と同様に制御され得る。

オブジェクトの状態としてオブジェクトの位置が利用される場合、オブジェクトの位置は、例えば、所定のオブジェクト（例えば、ユーザの身体、ユーザの顔、表示装置２０、認識装置３０、所定の物体、所定のマーカなど）を基準としたオブジェクトの位置であってもよい。例えば、表示制御部１１４は、ｚ軸方向における第１のオブジェクトの位置に基づいて検索結果Ｇ１の表示を制御してもよい。また、表示制御部１１４は、他の軸方向（例えば、ｘ軸方向、ｙ軸方向）における第１のオブジェクトの位置に基づいて検索結果Ｇ１の表示を制御してもよい。

例えば、表示制御部１１４は、ｚ軸方向における第１のオブジェクトの位置に基づいて検索結果Ｇ１の表示を制御する場合、認識装置３０に近づくほど、当該検索結果Ｇ１の表示エリアが大きく表示されるように制御してもよい。図６に示した例では、検索結果Ｇ１の表示エリアが中心Ｃ１を基準とした長径Ｒ１の楕円として示されているが、表示制御部１１４は、第１のオブジェクトが認識装置３０に近づくほど、長径Ｒ１が大きくなるように制御してもよい。

各オブジェクトの状態は、検索クエリ生成部１１２によって、各重要度に変換されていてもよい。かかる場合には、表示制御部１１４は、各重要度に基づいて、各検索結果の表示を制御してもよい。例えば、オブジェクトの状態（例えば、座標）をｐとした場合、オブジェクトの状態から当該オブジェクトの重要度ｓを導く関数ｆは、ｓ＝ｆ（ｐ）と示される。

この場合、例えば、「りんご」および「ぶどう」それぞれの状態がｐ１、ｐ２であるとすると、「りんご」の重要度ｓ１は、ｓ１＝ｆ（ｐ１）であり、「ぶどう」の重要度ｓ２は、ｓ２＝ｆ（ｐ２）と示される。また、例えば、「りんご」の名称が第１の検索クエリに組み込まれ、「ぶどう」の名称が第２の検索クエリに組み込まれる場合、検索クエリ生成部１１２により生成される検索クエリは、例えば、「りんご［ｆ（ｐ１）］＜論理＞ぶどう［ｆ（ｐ２）］」と示される。

例えば、表示制御部１１４は、第１のオブジェクトの重要度ｓ１と第２のオブジェクトの重要度ｓ２と第３のオブジェクトの重要度Ｓ３とを用いて、各々の検索結果の表示エリアの面積を表示装置２０の表示面の面積に応じて分配してもよい。例えば、表示装置２０の表示面の面積がＳであり、第１のオブジェクトの重要度がｊ、第２のオブジェクトの重要度がｋ、第３のオブジェクトの重要度がｍである場合、検索結果Ｇ１の表示エリアの面積をＳ＊（ｊ／（ｊ＋ｋ＋ｍ））とし、検索結果Ｇ２の表示エリアの面積をＳ＊（ｋ／（ｊ＋ｋ＋ｍ））とし、検索結果Ｇ３の表示エリアの面積をＳ＊（ｍ／（ｊ＋ｋ＋ｍ））とすることができる。

また、検索結果Ｇ１の表示制御は、検索結果Ｇ１の表示エリアの大きさの制御であってもよいが、他の制御であってもよい。例えば、表示制御部１１４は、検索結果Ｇ１の表示位置を制御してもよい。例えば、表示制御部１１４は、ｘ軸方向およびｙ軸方向における第１のオブジェクトの位置に応じた位置に検索結果Ｇ１が表示されるように制御してもよい。例えば、表示制御部１１４は、重要度の高いほど表示装置２０の画面中央に検索結果の表示エリアが近づくように制御してもよい。

複数の検索結果表示エリアの重複部分には、何が表示されてもよい。例えば、表示制御部１１４は、複数の検索クエリを、所定の演算子（例えば、ＡＮＤ演算子またはＯＲ演算子）を介して結合させた検索クエリに基づく検索結果が表示されるように制御してもよい。図６に示した例において、例えば、表示制御部１１４は、第１の検索クエリと第２の検索クエリとを、ＡＮＤ演算子を介して結合させた検索クエリに基づく検索結果が、検索結果Ｇ１と検索結果Ｇ２との重複部分に表示されるように制御してもよい。

表示制御部１１４は、検索クエリ生成部１１２により生成された検索クエリに第１の検索クエリおよび第２の検索クエリが含まれる場合、第１のオブジェクトおよび第２のオブジェクトの関係性に基づいた表示がされるように制御してもよい。例えば、第１のオブジェクトと第２のオブジェクトとの関係性を示す情報が表示されてもよい。

例えば、第１のオブジェクトが「りんご」であり、第２のオブジェクトが「ぶどう」であり、第３のオブジェクトが「ゴリラ」である場合を想定する。かかる場合、表示制御部１１４は、「りんご」に対応する検索結果Ｇ１と「ぶどう」に対応する検索結果Ｇ２との重複部分に、双方のオブジェクトが関連する「フルーツ」を示す情報（例えば、用語、画像など）が表示されるように制御してもよい。

また、表示制御部１１４は、この関連性を示す情報に応じた内容（例えば、色彩、イラストなど）によって表示画面の内容を変更してもよい。一方、「ぶどう」と「ゴリラ」との間の関連性が弱いことが想定されるため、表示制御部１１４は、「ぶどう」に対応する検索結果Ｇ２と「ゴリラ」に対応する検索結果Ｇ３との重複部分に、双方のオブジェクトの関連性が弱いことを示す情報（例えば、黒い表示）が表示されるように制御してもよい。

オブジェクト同士の関連性はあらかじめ決められていてもよい。すなわち、複数のオブジェクトとその関連性とはあらかじめ関連付けられていてもよい。かかる場合には、表示制御部１１４は、複数のオブジェクトに関連付けられている関連性を取得することが可能である。また、オブジェクト同士の関連性は、検索クエリ生成部１１２によって取得されてもよい。例えば、オブジェクト同士の関連性は、オブジェクト同士の距離に基づいて決められてもよい。例えば、オブジェクト同士の距離が近いほどオブジェクト同士の関連性が強いとして扱ってもよい。

例えば、「りんご」、「ぶどう」、「ギター」に基づいて検索する場合、ユーザは「りんご」と「ぶどう」の関連性を強くし、これらと「ギター」とは関連性を弱くして検索したいとする。そうした場合、「りんご」と「ぶどう」を物理的に近づけ、「ギター」はそれらとは離しておく。これにより、検索クエリ生成部１１２は、各オブジェクトの名称に加えて、２つずつのオブジェクトの組み合わせ（_３Ｃ_１＝３通り）の距離を計算し、これらの距離が関連性として付与された検索クエリを生成することができる。

検索クエリ生成部１１２は、検索クエリの例として、「りんご＜論理＞ぶどう＜論理＞ギター，ｄ（（りんご，ぶどう），（りんご，ギター），（ぶどう，ギター））」といった検索クエリを生成することができる。ｄは与えられた２つのオブジェクトの位置情報の差分を取る関数である。オブジェクトがｎ個認識された場合、検索クエリ生成部１１２は、_ｎＣ_２通りの位置情報の差分を計算し、検索クエリに付与することができる。

なお、上記したように、表示制御部１１４は、第１のオブジェクトの位置に基づいて第１の検索クエリの検索結果が表示されるように制御することができるが、かかる制御は、表示装置２０が複数存在する場合であっても同様になされ得る。また、かかる制御は、表示装置２０が有する表示面が複数に分割されている場合であっても同様になされ得る。図７は、第１の実施形態に係る表示装置２０による表示位置の例を示す図である。

図７に示すように、表示装置２０Ａ、表示装置２０Ｂおよび表示装置２０Ｃといったように、表示装置２０が複数存在する場合を想定する。かかる場合において、表示制御部１１４は、オブジェクトＯｂ１と表示装置２０Ａとの距離Ｄａ−１、オブジェクトＯｂ１と表示装置２０Ｂとの距離Ｄｂ−１およびオブジェクトＯｂ１と表示装置２０Ｃとの距離Ｄｃ−１を算出する。表示制御部１１４は、これらの中で距離Ｄｃ−１が最も小さいと判断し、表示装置２０Ｃに検索結果が表示されるように制御してもよい。

一方、表示制御部１１４は、オブジェクトＯｂ２と表示装置２０Ａとの距離Ｄａ−２、オブジェクトＯｂ２と表示装置２０Ｂとの距離Ｄｂ−２およびオブジェクトＯｂ２と表示装置２０Ｃとの距離Ｄｃ−２を算出する。表示制御部１１４は、これらの中で距離Ｄａ−２が最も小さいと判断し、表示装置２０Ａに検索結果が表示されるように制御してもよい。このような制御により、単一の認識装置３０が使用される場合であっても、衝突なく検索を行うことが可能である。

なお、図７には、オブジェクトからの距離が最も近い表示装置２０が検索結果を表示する表示装置２０として選択される例について示したが、複数の表示装置２０それぞれを基準としたオブジェクトの方向に基づいて表示装置２０が選択されてもよい。例えば、表示装置２０とオブジェクトとを結ぶ直線が表示面に対して最も垂直に近い場合、当該表示装置２０を、検索結果を表示する表示装置２０として選択すればよい。

以上、第１の実施形態に係る情報処理装置１０Ａが有する機能の詳細について説明した。続いて、以下では、第１の実施形態に係る情報処理システム１Ａの動作例について説明する。

＜１−４．情報処理システムの動作例＞
図８は、第１の実施形態に係る情報処理システム１Ａの動作例を図である。なお、図８に示す動作は、第１の実施形態に係る情報処理システム１Ａの動作の一例を示したに過ぎないため、第１の実施形態に係る情報処理システム１Ａの動作は、図８に示した動作に限定されない。

図８に示すように、まず、認識装置３０は、撮像画像から複数のオブジェクトを認識すると（Ｓ１１）、認識結果を情報処理装置１０Ａに出力する（Ｓ１２）。上記したように、認識装置３０は、情報処理装置１０Ａと一体化されていてもよい。情報処理装置１０Ａの認識結果取得部１１１は、認識結果を取得し（Ｓ１３）、検索クエリ生成部１１２は、認識結果取得部１１１により取得された認識結果に基づいて検索クエリを生成する（Ｓ１４）。検索クエリの生成の手法については、上記した通りである。例えば、検索クエリは、複数のオブジェクトの状態に基づいて生成される。

続いて、検索クエリ生成部１１２が検索クエリを検索装置４０に出力すると（Ｓ１５）、検索装置４０は、検索クエリ生成部１１２により生成された検索クエリに基づいて検索を行う（Ｓ１６）。検索装置４０は、検索により得られた検索結果を情報処理装置１０Ａに出力する（Ｓ１７）。上記したように、検索装置４０は、情報処理装置１０Ａと一体化されていてもよい。また、検索の手法は特に限定されない。

検索結果取得部１１３は、検索装置４０から出力された検索結果を取得し（Ｓ１８）、表示制御部１１４は、表示制御データを生成する（Ｓ１９）。表示制御データは、例えば、複数のオブジェクトの状態に基づいて生成される。表示制御部１１４は、生成した表示制御データに基づいて、検索結果が表示装置２０に表示されるように表示装置２０を制御する（Ｓ２０）。表示装置２０は、表示制御部１１４による制御に従って、検索結果を表示する（Ｓ２１）。

以上に示したような動作によれば、複数のオブジェクトが撮像画像に映る場合に、当該複数のオブジェクトを検索クエリの生成に利用するための技術が実現される。

以上、第１の実施形態について説明した。

＜＜２．第２の実施形態＞＞
続いて、第２の実施形態について説明する。第１の実施形態と第２の実施形態とは、第１の実施形態において情報処理装置１０Ａが有する機能の一部を端末５０が有している点において主に相違する。したがって、以下の第２の実施形態では、情報処理装置１０Ａおよび端末５０の機能構成例について主に説明する。

＜２−１．情報処理システムの構成例＞
図９は、第２の実施形態に係る情報処理システム１Ｂの構成例を示す図である。図９に示したように、第２の実施形態に係る情報処理システム１Ｂは、一例として、情報処理装置１０Ｂと表示装置２０と認識装置３０と検索装置４０と端末５０とを備える。図９に示した例では、端末５０がネットワーク６０に接続されているが、端末５０は、検索装置４０と専用線により接続されていてもよい。

以上、第２の実施形態に係る情報処理システム１Ｂの構成例について説明した。続いて、第２の実施形態に係る情報処理装置１０Ｂの機能構成例について説明する。

＜２−２．情報処理装置の機能構成例＞
図１０は、第２の実施形態に係る情報処理装置１０Ｂの機能構成例を示す図である。図１０に示したように、情報処理装置１０Ｂは、制御部１１０Ｂ、通信部１２０および記憶部１３０を備える。また、制御部１１０Ｂは、認識結果取得部１１１および検索クエリ生成部１１２を備える。認識結果取得部１１１および検索クエリ生成部１１２それぞれが有する機能は、第１の実施形態において説明した通りである。

以上、第２の実施形態に係る情報処理装置１０Ｂの構成例について説明した。続いて、第２の実施形態に係る端末５０の機能構成例について説明する。

＜２−３．端末の機能構成例＞
図１１は、第２の実施形態に係る端末５０の機能構成例を示す図である。図１１に示したように、端末５０は、制御部５１０、通信部５２０および記憶部５３０を備える。また、制御部５１０は、検索結果取得部１１３および表示制御部１１４を備える。検索結果取得部１１３および表示制御部１１４それぞれが有する機能は、第１の実施形態において説明した通りである。

制御部５１０は、ＣＰＵまたはＤＳＰなどのプロセッサに相当する。制御部５１０は、記憶部５３０または他の記憶媒体に記憶されるプログラムを実行することにより、制御部５１０が有する様々な機能を発揮する。

通信部５２０は、ネットワーク６０に接続するための通信デバイスなどで構成された通信インタフェースである。通信部５２０は、例えば、ネットワーク６０を介して検索装置４０と通信を行うことが可能である。通信部５２０は、有線または無線により検索装置４０と通信を行うことが可能であってもよい。また、図１１に示した例では、通信部５２０は端末５０と一体化されているが、通信部５２０は端末５０と別体に構成されていてもよい。

記憶部５３０は、半導体メモリまたはハードディスクなどの記憶媒体を用いて、制御部５１０による処理のためのプログラムおよびデータを記憶する。例えば、記憶部５３０は、制御部５１０により実行されるプログラムを記憶することができる。また、例えば、記憶部５３０は、プログラムによって使用される設定情報を記憶することもできる。図１１に示した例では、記憶部５３０は端末５０と一体化されているが、記憶部５３０は端末５０と別体に構成されていてもよい。

以上、第２の実施形態に係る端末５０の機能構成例について説明した。続いて、第２の実施形態に係る情報処理システム１Ｂの動作の流れについて説明する。

＜２−４．情報処理システムの動作例＞
図１２は、第２の実施形態に係る情報処理システム１Ｂの動作の流れを示すフローチャートである。なお、図１２に示す動作は、第２の実施形態に係る情報処理システム１Ｂの動作の一例を示したに過ぎないため、第２の実施形態に係る情報処理システム１Ｂの動作の流れは、図１２に示した動作の流れに限定されない。

図１２に示すように、まず、認識装置３０は、撮像画像から複数のオブジェクトを認識すると（Ｓ３１）、認識結果を情報処理装置１０Ｂに出力する（Ｓ３２）。上記したように、認識装置３０は、情報処理装置１０Ｂと一体化されていてもよい。情報処理装置１０Ｂの認識結果取得部１１１は、認識結果を取得し（Ｓ３３）、検索クエリ生成部１１２は、認識結果取得部１１１により取得された認識結果に基づいて検索クエリを生成する（Ｓ３４）。検索クエリの生成の手法については、上記した通りである。例えば、検索クエリは、複数のオブジェクトの状態に基づいて生成される。

続いて、検索クエリ生成部１１２が検索クエリを検索装置４０に出力すると（Ｓ３５）、検索装置４０は、検索クエリ生成部１１２により生成された検索クエリに基づいて検索を行う（Ｓ３６）。検索装置４０は、検索により得られた検索結果を端末５０に出力する（Ｓ３７）。上記したように、検索装置４０は、情報処理装置１０Ｂと一体化されていてもよい。また、検索の手法は特に限定されない。

端末５０の検索結果取得部１１３は、検索装置４０から出力された検索結果を取得し（Ｓ３８）、表示制御部１１４は、表示制御データを生成する（Ｓ３９）。表示制御データは、例えば、複数のオブジェクトの状態に基づいて生成される。表示制御部１１４は、生成した表示制御データに基づいて、検索結果が表示装置２０に表示されるように表示装置２０を制御する（Ｓ４０）。表示装置２０は、表示制御部１１４による制御に従って、検索結果を表示する（Ｓ４１）。

以上に示したような動作によれば、複数のオブジェクトが撮像画像に映る場合に、当該複数のオブジェクトを検索クエリの生成に利用するための技術が実現される。特に、検索結果の表示制御が端末５０により行われる。

以上、第２の実施形態について説明した。なお、第２の実施形態においては、端末５０が検索結果取得部１１３および表示制御部１１４を有している場合について示したが、検索結果取得部１１３および表示制御部１１４を有する装置は端末５０に限定されない。例えば、検索結果取得部１１３および表示制御部１１４を有する装置は、端末５０に限定されない各種の情報処理装置であってもよい。

＜３．むすび＞
以上説明したように、本開示の実施形態によれば、撮像画像に映る複数のオブジェクトの認識結果に基づいて、検索クエリを生成する検索クエリ生成部を備える、情報処理装置が提供される。

かかる構成によれば、複数のオブジェクトが撮像画像に映る場合に、当該複数のオブジェクトを検索クエリの生成に利用するための技術を実現することが可能である。

なお、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

例えば、上記においては、表示装置２０が検索結果を表示する例について説明したが、検索結果が表示される装置の種類は特に限定されない。例えば、上記した表示装置２０と同様の機能を有する表示部を有する情報処理装置を提供することも可能である。すなわち、撮像画像に映る複数のオブジェクトの認識結果に基づいて生成された検索クエリに基づく検索結果を表示する表示部を備える、情報処理装置も提供され得る。

また、本明細書の情報処理システム１の動作における各ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はない。例えば、情報処理システム１の動作における各ステップは、フローチャートとして記載した順序と異なる順序で処理されても、並列的に処理されてもよい。

また、情報処理装置１０に内蔵されるＣＰＵ、ＲＯＭおよびＲＡＭなどのハードウェアを、上述した情報処理装置１０の構成と同等の機能を発揮させるためのコンピュータプログラムも作成可能である。また、該コンピュータプログラムを記憶させた記憶媒体も提供される。

同様に、端末５０に内蔵されるＣＰＵ、ＲＯＭおよびＲＡＭなどのハードウェアを、上述した端末５０の構成と同等の機能を発揮させるためのコンピュータプログラムも作成可能である。また、該コンピュータプログラムを記憶させた記憶媒体も提供される。

なお、以下のような構成も本開示の技術的範囲に属する。
（１）
撮像画像に映る複数のオブジェクトの認識結果に基づいて、検索クエリを生成する検索クエリ生成部を備える、情報処理装置。
（２）
前記検索クエリ生成部は、前記複数のオブジェクトの状態に基づいて、前記検索クエリを生成する、
前記（１）に記載の情報処理装置。
（３）
前記検索クエリ生成部は、前記複数のオブジェクトの一部または全部のオブジェクトそれぞれの名称を、演算子を介して結合させることによって前記検索クエリを生成する、
前記（２）に記載の情報処理装置。
（４）
前記検索クエリ生成部は、所定の条件を満たすオブジェクトが存在する場合、当該オブジェクトに対応する演算子を当該所定の条件に対応する演算子とする、
前記（３）に記載の情報処理装置。
（５）
前記検索クエリ生成部は、所定の条件を満たすオブジェクトが存在する場合、当該オブジェクトの名称を検索クエリから除外する、
前記（３）に記載の情報処理装置。
（６）
前記検索クエリ生成部は、所定の関係を満たす複数のオブジェクトが存在する場合には、当該複数のオブジェクトそれぞれの名称同士を所定の演算子を介して結合させる、
前記（３）に記載の情報処理装置。
（７）
前記情報処理装置は、
前記検索クエリに基づく検索結果が表示されるように制御する表示制御部を備える、
前記（１）〜（６）のいずれか一項に記載の情報処理装置。
（８）
前記表示制御部は、前記検索クエリに第１のオブジェクトの認識結果に基づいた第１の検索クエリが含まれる場合、前記第１のオブジェクトの状態に基づいて前記第１の検索クエリの検索結果が表示されるように制御する、
前記（７）に記載の情報処理装置。
（９）
前記表示制御部は、前記検索クエリに第１のオブジェクトの認識結果に基づいた第１の検索クエリおよび第２のオブジェクトの認識結果に基づいた第２の検索クエリが含まれる場合、前記第１のオブジェクトおよび前記第２のオブジェクトの関係性に基づいた表示がされるように制御する、
前記（７）に記載の情報処理装置。
（１０）
前記複数のオブジェクトの状態は、前記複数のオブジェクトそれぞれの位置である、
前記（２）に記載の情報処理装置。
（１１）
前記複数のオブジェクトの状態は、前記複数のオブジェクトそれぞれの傾きである、
前記（２）に記載の情報処理装置。
（１２）
前記複数のオブジェクトの状態は、前記複数のオブジェクトそれぞれの動きである、
前記（２）に記載の情報処理装置。
（１３）
前記複数のオブジェクトの状態は、前記複数のオブジェクト同士の位置関係である、
前記（２）に記載の情報処理装置。
（１４）
撮像画像に映る複数のオブジェクトの認識結果に基づいて、検索クエリを生成することを含む、情報処理方法。
（１５）
コンピュータを、
撮像画像に映る複数のオブジェクトの認識結果に基づいて、検索クエリを生成する検索クエリ生成部を備える情報処理装置として機能させるためのプログラム。
（１６）
撮像画像に映る複数のオブジェクトの認識結果に基づいて生成された検索クエリに基づく検索結果が表示されるように制御する表示制御部を備える、情報処理装置。
（１７）
前記情報処理装置は、
前記撮像画像に映る複数のオブジェクトの認識結果に基づいて検索クエリが生成され、前記検索クエリに基づく検索が行われた場合、前記検索クエリに基づく検索結果を取得する検索結果取得部を備える、
前記（１）に記載の情報処理装置。

１（１Ａ，１Ｂ） 情報処理システム
１０（１０Ａ，１０Ｂ） 情報処理装置
２０（２０Ａ，２０Ｂ，２０Ｃ） 表示装置
３０ 認識装置
４０ 検索装置
５０ 端末
６０ ネットワーク
１１０（１１０Ａ，１１０Ｂ） 制御部
１１１ 認識結果取得部
１１２ 検索クエリ生成部
１１３ 検索結果取得部
１１４ 表示制御部
１２０ 通信部
１３０ 記憶部
５１０ 制御部
５２０ 通信部
５３０ 記憶部
Ｏｂ（Ｏｂ１，Ｏｂ２） オブジェクト

Claims (17)

1. 撮像画像に映る複数のオブジェクトの認識結果に基づいて、検索クエリを生成する検索クエリ生成部を備える、情報処理装置。
2. 前記検索クエリ生成部は、前記複数のオブジェクトの状態に基づいて、前記検索クエリを生成する、
   請求項１に記載の情報処理装置。
3. 前記検索クエリ生成部は、前記複数のオブジェクトの一部または全部のオブジェクトそれぞれの名称を、演算子を介して結合させることによって前記検索クエリを生成する、
   請求項２に記載の情報処理装置。
4. 前記検索クエリ生成部は、所定の条件を満たすオブジェクトが存在する場合、当該オブジェクトに対応する演算子を当該所定の条件に対応する演算子とする、
   請求項３に記載の情報処理装置。
5. 前記検索クエリ生成部は、所定の条件を満たすオブジェクトが存在する場合、当該オブジェクトの名称を検索クエリから除外する、
   請求項３に記載の情報処理装置。
6. 前記検索クエリ生成部は、所定の関係を満たす複数のオブジェクトが存在する場合には、当該複数のオブジェクトそれぞれの名称同士を所定の演算子を介して結合させる、
   請求項３に記載の情報処理装置。
7. 前記情報処理装置は、
   前記検索クエリに基づく検索結果が表示されるように制御する表示制御部を備える、
   請求項１に記載の情報処理装置。
8. 前記表示制御部は、前記検索クエリに第１のオブジェクトの認識結果に基づいた第１の検索クエリが含まれる場合、前記第１のオブジェクトの状態に基づいて前記第１の検索クエリの検索結果が表示されるように制御する、
   請求項７に記載の情報処理装置。
9. 前記表示制御部は、前記検索クエリに第１のオブジェクトの認識結果に基づいた第１の検索クエリおよび第２のオブジェクトの認識結果に基づいた第２の検索クエリが含まれる場合、前記第１のオブジェクトおよび前記第２のオブジェクトの関係性に基づいた表示がされるように制御する、
   請求項７に記載の情報処理装置。
10. 前記複数のオブジェクトの状態は、前記複数のオブジェクトそれぞれの位置である、
    請求項２に記載の情報処理装置。
11. 前記複数のオブジェクトの状態は、前記複数のオブジェクトそれぞれの傾きである、
    請求項２に記載の情報処理装置。
12. 前記複数のオブジェクトの状態は、前記複数のオブジェクトそれぞれの動きである、
    請求項２に記載の情報処理装置。
13. 前記複数のオブジェクトの状態は、前記複数のオブジェクト同士の位置関係である、
    請求項２に記載の情報処理装置。
14. 撮像画像に映る複数のオブジェクトの認識結果に基づいて、検索クエリを生成することを含む、情報処理方法。
15. コンピュータを、
    撮像画像に映る複数のオブジェクトの認識結果に基づいて、検索クエリを生成する検索クエリ生成部を備える情報処理装置として機能させるためのプログラム。
16. 撮像画像に映る複数のオブジェクトの認識結果に基づいて生成された検索クエリに基づく検索結果が表示されるように制御する表示制御部を備える、情報処理装置。
17. 前記情報処理装置は、
    前記撮像画像に映る複数のオブジェクトの認識結果に基づいて検索クエリが生成され、前記検索クエリに基づく検索が行われた場合、前記検索クエリに基づく検索結果を取得する検索結果取得部を備える、
    請求項１に記載の情報処理装置。
    

Images