JP2014522012A - ビジュアル検索及び推奨ユーザインタフェース及び装置 - Google Patents

Abstract

この開示は、ユーザインタフェースを使用したコンテンツ及び検索の検索を対象とする。複数のグラフィカルオブジェクト（715）及びフィルタが表示され、検索クエリは、グラフィカルオブジェクト及びフィルタを選択するユーザジェスチャ（730）に応じて生成される。示されるフィルタは、どのフィルタがフィルタのグループ（720）から選択されるかに影響を及ぼす様々な要因に応じて変化してもよい。

Description

この特許出願は、2011年5月26日に出願された米国仮特許出願第61/490576号及び2011年6月24日に出願された米国仮特許出願第61/500802号の利益及び／又は優先権を主張する。これらの全内容を援用する。

この開示は、概して大量のメディアコンテンツからグラフィカルに検索するデジタルコンテンツシステム及び方法に関し、特に多数の可能性の中から特定のコンテンツ又はコンテンツグループを選択するシステム、方法及びグラフィカルユーザインタフェースに関する。

テレビ及びメディアセンタを含むホームエンターテイメントシステムは、インターネットと収束しており、ビデオ、映画、TV番組、音楽等のような多数の利用可能な情報源へのアクセスを提供している。利用可能な情報源の数の拡大は、このようなシステムに関連するメディアインタフェースをナビゲートし、コンテンツ選択を行うための新たな方策を必要としている。

多数の可能なコンテンツ情報源は、ホームメディア環境の分野においてうまく解決されていないインタフェースの課題を生じている。この課題は、複数の表示ページ又はコンテンツの階層を長たらしくナビゲートする必要なく、多数のエレメント（番組、情報源等）をユーザにうまく提示することを含む。

更に、ほとんどの既存の検索方法は、ユーザが開始したときに検索するものを認識しているという仮定を行うが、しばしば、発見及び相互リンク（cross-linkage）のプロセスを許容する機構が望まれている又は適切である。従来のメディアガイドのインタフェースにおける情報のボトルネックは、ほとんどユーザ認識（user awareness）に対する制限の結果である。ユーザが可能な選択肢の全てを一度に見ることができない場合、又は同じ認識を得るために法外な時間量及び手間を費やすことを強いられる場合、好機が失われる可能性が高い。更に、実現可能な大きいグラフィカル検索方法の概念は実現できないままである。

関係するコンテンツを検索するためにビジュアル検索ユーザインタフェースが使用される方法及び装置が提示される。検索結果は、画像コンテンツ（例えば、人、ポスター等）に対応する異なる検索に適合するグラフィカルオブジェクトの形式で表示される。検索クエリは、選択されたグラフィカルオブジェクトに関連するメタデータと、ユーザジェスチャに応じたフィルタとを使用することにより生成される。利用可能なフィルタは、様々な要因に応じて変化する。検索クエリの結果は、更なるグラフィカルオブジェクト及びフィルタの更なる表示でもよい。

この開示の実施例によるグラフィカル検索エンジンの例示的なシステムのブロック図 この開示の実施例による例示的な消費デバイスのブロック図 この開示の実施例による例示的なメディアデバイスの斜視図 この開示による検出コントローラ又はタッチスクリーンでのジェスチャの使用の例示的な実施例 この開示によるグラフィックオブジェクトの形式のユーザインタフェース表示検索結果の例示的な実施例 この開示によるグラフィックオブジェクトの形式のユーザインタフェース表示検索結果の例示的な実施例 この開示によるビジュアル検索を行うフローチャートの例示的な実施例

この開示の前記及び他の態様、特徴及び利点は、添付図面と共に読まれるべき好ましい実施例の以下の詳細な説明から明らかになり、詳細な説明に記載される。図面において、同様の参照符号は、図面を通じて同様のエレメントを示す。

図１は、この開示によるシステム100の例示的な実施例を示す。特に、システム100は、購入、記録、再生等のような動作に対してコンテンツを見つけるために使用されるグラフィカル検索エンジンを実装するために使用されてもよい。検索エンジン105は、ユーザがテキストのクエリを行うことができる検索エンジンとして実装可能である。これにより、このようなクエリが結果データベース108の結果に対して検索される。検索エンジン105は、この開示に従ってグラフィカルな検索クエリを行うために使用されてもよい。検索クエリは、以下に説明するように、グラフィカルオブジェクトに関連するメタデータの基礎として使用される。

すなわち、グラフィカルオブジェクトは、特定の人、物、コンテンツ等を表すサムネイル、.jpeg、.png、.gif、アイコン又は他のグラフィックのような画像を表す。グラフィカルオブジェクトのいくつかの例は、監督又は俳優のような人の画像、テレビショー又は映画のポスター、ジャケット又は椅子のような物体等を含む。これらのグラフィックオブジェクトのそれぞれは、以下の表１に示す例示的な実施例に従って、これらに関連するメタデータを有してもよい。クリック、ドラッグ等のようなジェスチャによるグラフィックオブジェクトの活性化（動作）は、コンテンツサーバ110からユーザデバイスへのグラフィックオブジェクトに関連するコンテンツの送信を活性化してもよく、検索エンジン105を使用した検索動作の際に使用されてもよい。

例示的なグラフィカルオブジェクトを記述するために使用され得る複数の例示的なメタデータフィールドが表１に示されている。例えば、メタデータフィールドFILE NAMEは、英数字文字、URI（uniform resource identifier）により識別される画像等の組み合わせでもよいグラフィカルファイルのファイル名を識別するために使用される。CLASSは、例えば、フィールドMOVIEを使用して映画に関係するグラフィックオブジェクトに関連付けるために使用されるメタデータフィールドを表し、俳優にはACTORが使用され、映画からの物体にはMOVIEOBJECTが使用される。

メタデータフィールドDESCRIPTIONは、典型的にはグラフィカルオブジェクトの名前を含むグラフィックオブジェクトの特定の属性を記述する。例えば、GEORGECLOONEY.JPGのグラフィカルオブジェクトでは、グラフィカルオブジェクトのNAMEは、俳優GEORGE CLOONEYである。開示の実施例に従って他の例も可能である。

フィールドMETADATAは、グラフィカルオブジェクトの特定の属性を記述し、各CLASSは、使用される異なるMETADATAフィールドを有してもよい。例えば、メタデータCLASS ACTORでは、使用され得るメタデータフィールドは、俳優の名前である/NAME、俳優の出生地である/BIRTHPLACE、映画及び映画で演じられる俳優の役目を識別する/MOVIEROLE等を含む。MOVIEと呼ばれるCLASSは、特定の俳優及び映画におけるその役目が識別される特定の映画における映画の俳優等に、/MACTORのようなMETADATAフィールドが使用される。METADATAフィールドは、表１に示す複数の俳優を識別するために、/MACTOR等と同じ識別子を使用してもよい。メタデータの記述及びメタデータフィールドは、限定されるものではなく、開示の例示的な実施例に従って実装されてもよい。METADATAフィールドのいくつかの例が表２に示されている。

例示的な実施例では、メタデータは、グラフィックオブジェクトのメタデータとグラフィックオブジェクトに関連する画像とを関連付けるために使用されるグラフィックオブジェクトデータベース107のようなデータベースに格納されてもよい。すなわち、グラフィカルオブジェクトの画像及び関連するメタデータは、後に検索エンジン105により取得されるために、グラフィックオブジェクトデータベース107に格納されてもよい。グラフィカルオブジェクトはまた、タグファイル内にメタデータを有する関連するタグファイルを有してもよい。メタデータがグラフィックオブジェクト自体の中に埋め込まれているグラフィカルオブジェクトが実装されてもよい。グラフィックオブジェクトデータベース107を生成するために使用されるメタデータは、Internet Movie Databaseのようなサービスから生じてもよく、コンテンツが生成されるときのワークフロー等から生成されてもよい。

グラフィックオブジェクトのメタデータがどこに格納されているかに拘らず、検索エンジン105は、検索クエリで使用されるグラフィックオブジェクト及びグラフィックオブジェクトに関連するメタデータを見つけることができる。すなわち、以下の例示的な実施例に示すグラフィカルオブジェクトの選択は、関連するメタデータを、結果データベース108のようなデータベースで検索可能な検索エンジン105による検索クエリの基礎として使用させる。

例えば、GEORGECLOONEY.JPGのようなグラフィカルオブジェクトが検索クエリの基礎として選択された場合、/NAME、/BIRTHPLACE、/MOVIEROLE等のようなメタデータフィールドが、検索エンジン105により検索クエリで使用可能になり、結果データベース108から様々な結果を戻すために使用される。どのように検索クエリが形成されるかは、ユーザのプロファイル、ユーザにより選択された検索装飾語、現在の検索モード等のような属性に依存する。すなわち、ユーザがGEORGECLOONEYに関連するグラフィカルオブジェクトでMOVIEのような検索修飾語を指定した場合、検索エンジン105に提示される検索クエリは、メタデータフィールド/NAME及び修飾語MOVIEを提示する。検索エンジン105は、俳優名George Clooneyに一致するいずれかの映画について結果データベース108を検索する。結果データベース108の検索結果は、グラフィックオブジェクトデータベース107のMOVIE CLASSと比較されてもよい。これは、George Clooneyを俳優として記載するいずれかの映画のグラフィック画像を提供する。どのように結果が構成され得るかの様々な例は、様々な開示の例示的な実施例で記載される。

分析データベース109は、コンピュータ120、セットトップボックス130、タブレット140、テレビ150、電話160、ゲートウェイ170、消費デバイス180等のようなデバイスを通じてコンテンツを使用するときのユーザの動作を分析するために使用されてもよい。このようなメトリックは、ユーザプロファイルを生成するために使用されてもよい。分析データベースによりトラッキングされ得るいくつかのメトリックは、どの検索をユーザが行ったか、どのコンテンツをユーザが購入したか、どのコンテンツをユーザが借りたか、どのコンテンツをユーザが閲覧したか、どのコンテンツをユーザがスキップしたか、どのコンテンツが他のユーザからユーザに推奨されたか、どのくらいの長さだけユーザがコンテンツを閲覧又は聴取しているか、どのコマーシャルが視聴又はスキップされたか等を含む。メトリック情報のトラッキングは、コンテンツ、俳優、製品、広告等についてどのような嗜好をユーザが有しているかを分類するために使用されてもよい。これらは、ユーザに推奨を行うために使用されてもよい。例えば、ユーザがBruce Willisのアクション映画及びスポーツを見ることが好きであると分析データベース109がトラッキングした場合、ユーザは、開示の実施例に示すように、ユーザに推奨される他のアクション映画及びスポーツの選択を有する。ユーザプロファイル情報及び関連する推奨は、分析データベース109で実行するアプリケーションにより生成されて管理されてもよい。検索エンジン105は、開示の例示的な実施例に従ってコンテンツの検索を生成するときに、分析データベース109からの情報を使用するように実装されてもよい。

コンテンツサーバ110は、記録及び再生のような動作のためにコンピュータ120、セットトップボックス130、タブレット140、テレビ150、電話160、ゲートウェイ170及び消費デバイス180のようなデバイスに配信されるオーディオ、ビデオ、テキスト、コンピュータゲーム、ビデオゲーム等を含んでもよい。特に、デバイスを動作させるユーザは、コンテンツサーバ110からのコンテンツがストリーム型コンテンツとして送信されること又はダウンロードされることを要求してもよい。このようなコンテンツは、提示の例示的な実施例に従った方法でこのようなコンテンツに関連するグラフィックオブジェクトを使用することによりユーザにより選択されてもよい。開示の原理に従って複数のコンテンツサーバ110も使用されてもよい点に留意すべきである。

コンピュータ120、セットトップボックス130、タブレット140、テレビ150、電話160、ゲートウェイ170等のような消費デバイスは、グラフィックオブジェクトの選択時に、検索エンジン105に対してコンテンツを検索するように動作させ、コンテンツをこのような消費デバイスに配信させるために使用されてもよい。グラフィックオブジェクトデータベース107、結果データベース108、分析データベース109のような他のデータベース及びコンテンツサーバ110のようなサーバも同様に、これらの消費デバイスによりアクセスされてもよい。ゲートウェア170はまた、ローカルネットワークに存在してもよい消費デバイス108と、検索エンジン107、データベース107、108、109、サーバ110等にアクセスするために使用されるネットワークとの間の通信ブリッジとして動作してもよい。

グラフィックオブジェクトは、検索クエリの結果として戻されるウェブページのコンテンツを表してもよい点に留意すべきである。すなわち、グラフィックオブジェクトは、検索エンジン105により実行された検索クエリの結果から戻されるウェブページの画像を表す。例示的な実施例に従って次の検索に使用されるメタデータは、ウェブページ上の単語、ウェブページを示すメタデータ又は単語等を使用して抽出されてもよい。例示的な実施例は、コンテンツ、人の画像、オブジェクト、ウェブページ等の組み合わせでもよいグラフィックオブジェクトをサポートする。

次に図２を参照すると、消費デバイス200の実施例のブロック図が示されている。消費デバイス200は、図１に記載のコンピュータ120、セットトップボックス130、タブレット140、テレビ150、電話160、ゲートウェイ170等のようなデバイスと同様に動作してもよい。図示のデバイス200はまた、オーディオデバイス又はディスプレイデバイスを含む他のシステムに組み込まれてもよい。いずれの場合でも、システムの完全な動作に必要な複数の構成要素は、当業者に周知であるため、簡潔にするために示されていない。

図２に示すデバイス200では、コンテンツは、入力信号受信機202により受信される。入力信号受信機202は、無線（air）、ケーブル、衛星、Ethernet（登録商標）、ファイバ、電話回線ネットワークを含む複数の可能なネットワークのうち１つで提供された信号を受信、復調及び復号化するために使用される複数の既知の受信回路のうち１つでもよい。所望の入力信号は、制御インタフェース又はタッチパネルインタフェース222を通じて提供されたユーザ入力に基づいて、入力信号受信機202により選択されて取得されてもよい。タッチパネルインタフェース222はまた、携帯電話、タブレット、マウス、ハイエンドリモコン等にインタフェース接続するように適合されてもよい。

復号化された出力信号は、入力ストリームプロセッサ204に提供される。入力ストリームプロセッサ204は、最終の信号選択及び処理を実行し、コンテンツストリームについてオーディオコンテンツからビデオコンテンツの分離を行うことを含む。オーディオコンテンツは、圧縮されたデジタル信号のような受信したフォーマットからアナログ波形信号への変換のため、オーディオプロセッサ206に提供される。アナログ波形信号は、オーディオインタフェース208に提供され、更にディスプレイデバイス又はオーディオ増幅器に提供される。或いは、オーディオインタフェース208は、HDMI（登録商標）（High-Definition Multimedia Interface）ケーブル又はSPDIF（Sony/Philips Digital Interconnect Format）等を介した別のオーディオインタフェースを使用して、デジタル信号をオーディオ出力デバイス又はディスプレイデバイスに提供してもよい。オーディオインタフェースはまた、１つ以上のスピーカのセットを駆動する増幅器を含んでもよい。オーディオプロセッサ206はまた、オーディオ信号の格納のためにいずれか必要な変換も実行する。

入力ストリームプロセッサ204から出力されたビデオは、ビデオプロセッサ210に提供される。ビデオ信号は、複数のフォーマットのうち１つでもよい。ビデオプロセッサ210は、必要に応じて、入力信号フォーマットに基づいてビデオコンテンツの変換を提供する。ビデオプロセッサ210はまた、ビデオ信号の格納のためにいずれか必要な変換も実行する。

記憶デバイス212は、入力において受信したオーディオ及びビデオコンテンツを格納する。記憶デバイス212は、コントローラ214の制御で、ユーザインタフェース216及び／又はタッチパネルインタフェース222から受信したコマンド（例えば、早送り（FF）及び巻き戻し（Rew）のようなナビゲーション命令）に基づいて、コンテンツの後の取得及び再生を可能にする。記憶デバイス212は、ハードディスクドライブ、１つ以上の大容量集積電子メモリ（スタティックRAM（SRAM）又はダイナミックRAM（DRAM）等）でもよく、交換可能な光ディスク記憶システム（コンパクトディスク（CD）ドライブ又はデジタルビデオディスク（DVD）ドライブ等）でもよい。

変換されたビデオ信号は、入力から生じたものであっても、記憶デバイス212から生じたものであっても、ビデオプロセッサ210からディスプレイインタフェース218に提供される。ディスプレイインタフェース218は、表示信号を前述のディスプレイデバイスに更に提供する。ディスプレイインタフェース218は、RGB（red-green-blue）のようなアナログ信号インタフェースでもよく、HDMI（登録商標）のようなデジタルインタフェースでもよい。ディスプレイインタフェース218は、以下に詳細に説明するように、２次元形式の検索結果を提示するための様々な画面を生成することが分かる。

コントローラ214は、入力ストリームプロセッサ202、オーディオプロセッサ206、ビデオプロセッサ210、記憶デバイス212及びユーザインタフェース216を含むデバイス200の複数の構成要素に、バスを介して相互接続される。コントローラ214は、入力ストリーム信号を記憶デバイスへの格納又は表示のための信号に変換する変換処理を管理する。コントローラ214はまた、格納されたコンテンツの取得及び再生を管理する。更に、以下に説明するように、コントローラ214は、コンテンツの検索と、前述のようにコンテンツサーバ110を介した配信又は格納される前述のようにコンテンツサーバ110を介した配信又は格納される前述のようにコンテンツサーバ110を介した配信又は格納が行われ得るこのようなコンテンツを表すグラフィカルオブジェクトの表示の生成及び調整とのために、検索エンジン105とインタフェース接続されてもよい。

コントローラ214は、コントローラ214のための情報及び命令コードを格納するための制御メモリ220（例えば、RAM、SRAM、DRAM、ROM、プログラム可能ROM（PROM）、フラッシュメモリ、電子的プログラム可能ROM（EPROM）電子的消去可能プログラム可能ROM（EEPROM）等を含む揮発性又は不揮発性メモリ）に更に結合される。制御メモリ220は、コントローラ214のための命令を格納してもよい。制御メモリはまた、エレメント（コンテンツを含むグラフィックエレメント、ディスプレイインタフェース218のための表示ユーザインタフェースを生成するために使用される様々なグラフィックエレメント等）のデータベースも格納してもよい。或いは、メモリは、識別又はグループ化されたメモリ位置にグラフィックエレメントを格納し、グラフィックエレメントに関する情報の様々な部分のメモリ位置を識別するためにアクセス又は位置テーブルを使用してもよい。更に、様々なグラフィックエレメントは、ディスプレイインタフェース218に出力するために、コントローラ214により解釈されたコンピュータ命令に応じて生成されてもよい。グラフィックエレメントの格納に関する更なる詳細は以下に説明する。更に、制御メモリ220の実装は、単一のメモリデバイス、又は共有若しくは共通のメモリを形成するように通信可能なように共に接続若しくは結合された１つより多くのメモリ回路のように、複数の可能な実施例を含んでもよい。更に、メモリは、より大きい回路におけるバス通信回路の部分のように他の回路に含まれてもよい。

任意選択で、コントローラ214は、オーディオプロセッサ206及びビデオプロセッサ210をそれぞれ使用することにより、オーディオ及びビデオメディアからメタデータを抽出するように適合されてもよい。すなわち、垂直帰線消去期間、ビデオに関連する補助データフィールド、又はビデオ信号の他の領域においてビデオ信号に含まれるメタデータは、電子番組ガイドの生成、受信したビデオについての記述情報の取得、補助情報サービスのサポート等のような機能に使用され得るメタデータを生成するために、コントローラ214と共にビデオプロセッサ210を使用することにより取得されてもよい。同様に、コントローラ214と共に動作するオーディオプロセッサ206は、オーディオ信号に存在してもよいオーディオ透かしを認識するように適合されてもよい。このようなオーディオ透かしは、オーディオ信号の認識、オーディオ信号の情報源を識別するセキュリティ、又は他のサービスの実行のようないくつかの動作を実行するために使用されてもよい。更に、コントローラ214により処理される前述の動作をサポートするメタデータは、ネットワーク情報源から生じてもよい。

次に図３を参照すると、この開示のユーザインタフェース処理は、早送り、巻き戻し等のような機能を表すために使用され得る入力デバイスを使用する。これを可能にするために、消費デバイス（図１に示すタブレット140、及び／又は、コンピュータ120、セットトップボックス130、テレビ150、電話160等と同じ）上のタッチパネル又はタブレットは、受信デバイス200のユーザインタフェース216及び／又はタッチパネルインタフェース222を介してインタフェース接続されてもよい。タッチパネルデバイス300は、パネルを通じてセットトップボックス又は他の制御デバイスのコマンドに変換された動作、及び手の動き又はジェスチャに基づいて、受信デバイス又はセットトップボックスの動作を可能にする。一実施例では、タッチパネル300は、単にグリッドディスプレイ（grid display）をナビゲーションするためのナビゲーションツール、又はユーザインタフェースを介して第２のデバイスを制御する手段として機能してもよい。他の実施例では、タッチパネル300は、ユーザがコンテンツのグリッドディスプレイを通じたナビゲーションと直接相互作用することを可能にするディスプレイデバイスとして更に機能する。タッチパネルデバイスは、活性化ボタンのような従来の制御機能を含む遠隔制御デバイスの一部として含まれてもよい。タッチパネル300はまた、少なくとも１つのカメラエレメントを含んでもよい。様々なタッチパネルインタフェース222、ボタン、ソフトキー、トラックボール、スタイラス、タッチパッド等は、ユーザインタフェース216の一部として示すエレメントを制御する機能をユーザに提供する入力インタフェースとして動作してもよい。

次に図４を参照すると、図示のようなジェスチャ検出コントローラ又はタッチスクリーンの使用は、複数の種類のユーザ相互作用を提供する。コントローラからの入力は、ジェスチャを定めるために使用される。次に、ジェスチャは、特定のコンテクストコマンド（contextual command）を定める。センサ（例えば、タッチスクリーンセンサ及び／又は加速度計及び／又はジャイロスコープセンサのような慣性センサ）の構成により、タッチスクリーン上のユーザの指の動きを定めることが可能になり、或いは、更に１次元又は２次元におけるコントローラ自体の動きを定めることが可能になる。対角線のような２次元の動き、及びヨー（yaw）・ピッチ（pitch）・ロール（roll）の組み合わせが、スイング（swing）のようないずれかの３次元の動きを定めるために使用されてもよい。複数のジェスチャが図４に示されている。ジェスチャは、コンテクスト（状況）において解釈され、ユーザにより行われた規定の動きにより識別される。

バンピング（bumping）420は、一方向（上、下、左又は右）を示す２つのストロークの線により定められる。バンピングのジェスチャは、コンテクストにおいて特定のコマンドに関連付けられる。例えば、タイムシフト（TimeShifting）モードでは、左のバンピングのジェスチャ420は、巻き戻しを示し、右のバンピングのジェスチャは、早送りを示す。他のコンテクストでは、バンピングのジェスチャ420は、バンピングにより示された方向に特定の値をインクリメントするように解釈される。チェッキング（checking)440は、チェックマークを描くものとして定められる。これは下向きのバンピングのジェスチャ420と類似する。チェッキングは、リマインダを指定するコンテクストにおいて、ユーザのタグ、又はアイテム若しくはエレメントの選択として解釈される。サークリング（circling）440は、いずれかの方向に円を描くものとして定められる。双方の方向が区別されてもよいことが考えられる。しかし、混乱を避けるため、サークリングは、方向に拘らず単一のコマンドとして識別される。ドラッギング（dragging）450は、タブレット300上でボタン（仮想的又は物理的）を押下する間の、コントローラの角度のある動き（ピッチ及び／又はヨーの変化）として定められる（すなわち、“トリガー・ドラッグ（trigger drag）”）。ドラッギングのジェスチャ450は、ナビゲーション、速度、距離、タイムシフト、巻き戻し及び早送りに使用されてもよい。ドラッギング450は、カーソル、仮想カーソルの移動、ディスプレイ上でのハイライト、アウトライン又は選択のような状態の変化に使用されてもよい。ドラッギング450は、如何なる方向でもよく、一般的に２次元にナビゲーションするために使用される。しかし、特定のインタフェースでは、ドラッギングのコマンドに対する応答を変更することが好ましい。例えば、或るインタフェースでは、仮想カーソルの位置又は動きの方向に応じて、一方の次元又は方向の動作が他方の次元又は方向より好まれる。ノッディング（nodding）460は、２つの高速のトリガー・ドラッグの上及び下方向の垂直の動きにより定められる。ノッディング460は、“はい”又は“承諾”を示すために使用される。Xイング（X-ing）470は、文字“X”を描くものとして定められる。Xイング470は、“削除”又は“ブロック”のコマンドに使用される。ワギング（wagging）480は、２つのトリガー・ドラッグの高速の往復する水平の動きにより定められる。ワギングのジェスチャ480は、“いいえ”又は“キャンセル”を示すために使用される。すなわち、これらの種類のジェスチャのいずれかが、開示の実施例に従ってグラフィックオブジェクトを選択して操作するために使用されてもよい。

センサシステムの複雑性に応じて、単純な１次元の動き又はジェスチャのみが許容されてもよい。例えば、ここに示すセンサ上の単純な右又は左の動きは、早送り又は巻き戻し機能を生成してもよい。更に、複数のセンサが含まれ、タッチスクリーンの異なる位置に配置されてもよい。例えば、左及び右の動きのための水平センサが１つの場所に配置され、音量の上下に使用されてもよく、上及び下の動きのための垂直センサが異なる場所に配置され、チャネルの上下に使用されてもよい。このように、特定のジェスチャマッピングが使用されてもよい。

次に図５を参照すると、検索を実行するために使用されるユーザインタフェース500が示されている。テキストボックス505には、ユーザはテキスト文字列を入力することができる。これは、検索エンジン105に提示された場合、様々な例示的な実施例に開示されたように、このような検索の結果がグラフィカルオブジェクトを使用してグラフィックに戻されてもよい。この特定の例では、“BATMAN”という用語が検索クエリの基礎として使用される。

検索クエリの結果は、様々なグラフィカルオブジェクトとして表される。例示的な実施例では、ユーザインタフェースの中心のグラフィカルオブジェクト550は、検索クエリの最善の一致を表す。特に、Batmanシリーズに従うグラフィカルオブジェクト550は、最初のランクの検索結果である。２番目のランクの検索結果を表すグラフィックオブジェクトは、コンテンツBatman Foreverに対応するグラフィカルオブジェクト530aにより表される。３番目のランクの検索結果は、映画The Dark Knightに従うグラフィカルオブジェクト530bであり、以下同様である。従って、ユーザインタフェース500のグラフィカルオブジェクトの構成は、グラフィカルオブジェクトが中心に近いほど、対応する検索結果が検索クエリに存在した可能性が高くなる。従って、Batmanの映画の550のようなグラフィカルオブジェクトは、Batmanのテレビショーに対応するグラフィカルオブジェクト540aより良いランクの検索結果になる。以下に提示する表３は、どのように検索エンジン105に提示された検索の検索結果がユーザインタフェース500のグラフィカルオブジェクトのレイアウトに対応するかの例を示しているが、検索結果の返信は、検索結果の順序を変更し得るユーザプロファイル（検索履歴、ユーザのコンテンツの消費等）により影響を受ける可能性がある。

ユーザインタフェース500はまた、検索の基礎としてグラフィカルオブジェクトを使用するときに更なる検索に使用され得る510a、510b、510c、510d及び510eのような様々なフィルタを提示する。例えば、ユーザが表示されたグラフィカルオブジェクトに対応するコンテンツに存在する俳優について見つけることに関心がある場合、ユーザは、入力デバイス又はジェスチャを使用してグラフィカルオブジェクトをドラッグし、フィルタの上にグラフィカルオブジェクトをドロップ又は重ね合わせしてもよい。従って、俳優についてのフィルタ510a上へのBatman&Robinのグラフィカルオブジェクト530dのドラッグは、図６に表示されたユーザインタフェース600に示すように、映画Batman&Robinに主演した俳優の画像に対応する新たなグラフィカルオブジェクトのセットを戻す。表示されたグラフィカルオブジェクト及び検索結果として表された対応する俳優の画像は、表４に示されている。文字510bのような他のフィルタ、又はビデオ510c、画像510d及びシーン550eのような更なるコンテンツの選択を提示するフィルタが、開示の例示的な実施例に従って検索結果を生成するために使用されてもよい。

610a、610b、610c、610d及び610eについて示すフィルタの構成は、複数の異なる要因に基づいて変化してもよい。どのフィルタが表示されるかに影響を及ぼし得る第１の要因は、ユーザが検索結果の表示のための特定のモードを選択したか否かに依存する。特に、このようなモードは、ユーザが特定のCLASSに関連するグラフィックオブジェクトを選択した場合に活性化されてもよい。この例は表１に提供されている。例えば、ユーザがCLASS MOVIEに関連するオブジェクトの検索を選択した場合、示され得るフィルタは、ACTOR、CHARACTERS、VIDEO、IMAGES及びSCENESを含んでもよい。ユーザがCLASS ACTORに関連するオブジェクトを選択した場合、示され得るフィルタは、MOVIES、TELEVISION、CHARACTERS、並びにVIDEO及びIMAGESのようなコンテンツに関係するフィルタを含む。特定のCLASSを特定のフィルタにマッピングすることにより、他のフィルタの組み合わせが提示されてもよい。例示的な実施例の原理に従って、1970年若しくは2010年のような特定の年、又はイースター若しくはクリスマスのようなシーズンに関連する検索結果を戻すために、YEAR又はSEASONのようなフィルタを使用することも可能である。

どのフィルタがユーザインタフェースに示されるかに影響を及ぼし得る第２の要因は、例示的な実施例に記載のように分析データベース109の使用に従って生成され得るユーザプロファイルに関して判定されれる。この状況では、フィルタのグループが大量のフィルタのグループから選択されることにより、検索のコンテクスト及び／又は異なるフィルタの使用の頻度が、このようなランクに影響を及ぼす。例えば、検索のためにユーザに使用される最も一般的に選択されるフィルタ（MOVIES、TELEVISION、CHARACTERS、VIDEO等）は、余り使用されないフィルタ（MOVIE OBJECT、BIRTHPLACE、BIRTH YEAR、
PRODUCTION YEAR等）より頻繁に表示されてもよい。このようなフィルタの表示は、ユーザの嗜好に基づいて変化する。

どのフィルタがユーザインタフェースに示されるかに影響を及ぼし得る第３の要因は、全てのユーザによるこのようなフィルタの集約した評判により判定されてもよい。この例では、多数のユーザにより選択された最も評判の良いフィルタは、ユーザがグラフィックオブジェクトを選択するときにビジュアル検索ユーザインタフェースに示されるものになる。特定の期間に他のものより頻繁に選択されたフィルタをリストにするために、同様の手法が使用されてもよい。このようなフィルタの様々な組み合わせは、開示の例示的な実施例に従って使用されてもよい。

次に図７を参照すると、例示的な実施例に従って検索を実行するために使用されるフローチャート700が示されている。ステップ705において、ユーザは、検索エンジン105に入力されるテキスト検索用語を入力するために、ユーザインタフェースを使用してもよい。検索用語は、AND、NOT、OR等のような様々なブールの修飾語を備えた１つ以上の単語でもよい。

ステップ710において、検索クエリの結果は、検索エンジン105により戻される。このような検索結果は、結果データベース108に含まれる情報から導かれてもよく、例示的な実施例に従って他の方法に従って導かれてもよい。結果はランク付もされ、使用される検索アルゴリズムに高い相関を有する結果が他の検索結果より有利にランク付けされる。任意選択の実施例として、提示された検索クエリは、記載の例示的な実施例に従って分析データベース109により判定された通りに、ユーザプロファイルに高い相関を有する結果を戻す。

ステップ715において、検索結果は、グラフィックオブジェクトデータベース107に存在する異なるグラフィックオブジェクトに関連付けられる。このようなグラフィックオブジェクトは、例示的な実施例に従って検索結果のエレメントに一致するメタデータを検索することにより判定されてもよい。ステップ720において、様々なフィルタも選択される。示されたグラフィックオブジェクトのCLASS、フィルタの嗜好のユーザプロファイル、フィルタの集約された評判等のような要因が、どのフィルタが検索動作に利用可能であるかを表示するために使用されてもよい。ステップ715からの判定されたグラフィックオブジェクト及びステップ720からの判定されたフィルタは、ステップ725において、記載の例示的な実施例に従ってビジュアル検索ユーザインタフェースを生成するために使用される。

別の実施例では、ステップ725について示され得るフィルタは、ユーザが特定のグラフィックオブジェクトを選択したときに判定される。オブジェクトのクラスは、どのフィルタが示されるかに影響を及ぼす。従って、ユーザが第１のCLASSに関連するグラフィックオブジェクトを選択した場合、示されるフィルタは、ユーザが第２のCLASSに関連するグラフィックオブジェクトを選択した場合と異なる。

ステップ730において、ユーザがジェスチャを使用して特定のフィルタで特定のグラフィックオブジェクトを選択したことに応じて、グラフィックオブジェクトに関連するメタデータ及びフィルタは、メタデータ及びフィルタから検索クエリを形成することにより、検索を行うために使用される。フィルタは、特定のCLASSに関連する検索結果のみが検索エンジン105から戻されることを指定してもよい。例えば、ユーザが映画Batmanに関連するグラフィックオブジェクト及びACTORに関連するフィルタを選択したような場合、示される検索結果は、開示の例示的な実施例に従って、映画Batmanに主演した様々な俳優の画像でもよい。

選択されたフィルタはまた、検索クエリに対して戻された十分な検索結果が存在しない場合、戻された検索結果に影響を及ぼすために使用されてもよい。例えば、ユーザが映画Batmanに関連するグラフィックオブジェクト及びIMAGESに関連するフィルタを選択した場合、戻されるのに利用可能な数個の画像のみが存在する可能性がある。従って、このような検索から戻された画像に対応するグラフィックオブジェクトを補うために、VIDEOS又はSCENESに対応する更なる検索結果が使用されてもよい。記載の例示的な実施例に従って他の実施例も可能である。

図面に示すエレメントは、ハードウェア、ソフトウェア又はこれらの組み合わせの様々な形式で実装されてもよいことが分かる。好ましくは、これらのエレメントは、１つ以上の適切にプログラミングされた汎用デバイス上のハードウェアとソフトウェアとの組み合わせで実装される。汎用デバイスは、プロセッサと、メモリと、入出力インタフェースとを含んでもよい。

この説明は、本発明の開示の原理を示している。従って、当業者は、ここに明示的に記載又は図示されていないが、この開示の原理を使用して開示の範囲内に含まれる様々な構成を考えることができることが分かる。

ここに記載の全ての例及び条件付の用語は、開示の原理及び発明者により当該技術を促進するために寄与される原理を理解する際に読者を助ける情報目的であり、このような特に記載の例及び条件に限定されないものとして解釈されるべきであることを意図する。

更に、開示の原理、態様及び実施例、並びにその特定の例を記載するここでの全ての記載は、構造的及び機能的等価物を含むことを意図する。更に、このような等価物は、現在知られている等価物と、将来開発される等価物（すなわち、構造に拘らず同じ機能を実行するように開発されたいずれかのエレメント）とを含むことを意図する。

従って、例えば、ここに提示されるブロック図は、この開示の原理を具現する例示的な回路の概念図を表すことが、当業者により分かる。同様に、いずれかのフローチャート、フロー図、状態遷移図、擬似コード等は、コンピュータ又はプロセッサが明示的に示されていても示されていなくても、コンピュータ媒体に実質的に表され、従ってコンピュータ又はプロセッサにより実行され得る様々な処理を表すことが分かる。コンピュータ可読媒体及びこの上に書き込まれたコードは、過渡的な状態（信号）に実装されてもよく、過渡的でない状態（例えば、CD-ROM、DVD、Blu-Ray、ハードドライブ、フラッシュカード又は他の種類の有形の記憶媒体）に実装されてもよい。

図面に示す様々なエレメントの機能は、専用ハードウェアと、適切なソフトウェアに関連してソフトウェアを実行可能なハードウェアとを通じて提供されてもよい。プロセッサにより提供される場合、機能は、単一の専用プロセッサ、単一の共用プロセッサ又は複数の個別のプロセッサにより提供されてもよい。複数の個別のプロセッサのうちいくつかは共用されてもよい。更に、“プロセッサ”又は“コントローラ”という用語の明示的な使用は、ソフトウェアを実行可能なハードウェアを専ら示すものとして解釈されるべきでなく、暗示的に、非限定的に、デジタルシグナルプロセッサ（DSP）ハードウェア、ソフトウェアを格納する読み取り専用メモリ（ROM）、ランダムアクセスメモリ（RAM）及び不揮発性記憶装置を含む。

他のハードウェア（従来及び／又はカスタムのもの）が含まれてもよい。同様に、図面に示すスイッチは概念的なものに過ぎない。これらの機能は、プログラムロジックの動作を通じて、専用ロジックを通じて、プログラム制御と専用ロジックとの相互作用を通じて、又は手動で実行されてもよい。実装者により選択可能な特定の技術は、特に文脈から理解される。

この開示の教示を組み込んだ実施例について詳細に図示及び説明したが、当業者は、依然としてこれらの教示を組み込んだ多くの他の変更実施例を考えることができる。前述の教示を鑑みて、変更及び変形が当業者により行われてもよい点に留意すべきである。

Claims (19)

1. ユーザインタフェースのための方法であって、
   検索の結果に対応する複数のグラフィックオブジェクトを選択するステップと、
   フィルタのグループから、要因に従って選択された複数のフィルタを選択するステップと、
   前記選択されたグラフィックオブジェクト及び前記複数のフィルタを使用して表示されるユーザインタフェースを生成するステップと
   を有する方法。
2. 前記要因は、表示される前記グラフィックオブジェクトと、前記複数のフィルタとの間の所定のマッピングである、請求項１に記載の方法。
3. 前記要因は、ユーザプロファイルに従って判定される、請求項１に記載の方法。
4. 前記要因は、ユーザのグループに評判の良いフィルタに従って判定される、請求項１に記載の方法。
5. 前記複数のグラフィックオブジェクトからのグラフィックオブジェクトの選択及び前記複数のフィルタからのフィルタの選択に応じて検索クエリを提示するステップを有する、請求項１に記載の方法。
6. 前記検索クエリは、前記選択されたグラフィックオブジェクト及び前記選択されたフィルタに関連するメタデータから生成される、請求項５に記載の方法。
7. 第２の複数のグラフィックオブジェクトは、前記検索クエリに応じて戻された検索結果に応じて選択され、第２の複数のフィルタは、第２の要因に従って前記フィルタのグループから選択される、請求項６に記載の方法。
8. 前記第２の複数のグラフィックオブジェクト及び前記第２の複数のフィルタは、ユーザインタフェースに表示される、請求項７に記載の方法。
9. 前記グラフィックオブジェクトは、人、コンテンツ及びウェブページのうち少なくとも１つを表す、請求項１に記載の方法。
10. 検索の結果に対応する複数のグラフィックオブジェクトを判定する手段と、
    フィルタのグループから、要因に従って選択された複数のフィルタを判定する手段と、
    前記判定されたグラフィックオブジェクト及び前記複数のフィルタを使用して表示されるユーザインタフェースを生成する手段と
    を有する装置。
11. 前記要因は、表示される前記グラフィックオブジェクトと、前記複数のフィルタとの間の所定のマッピングである、請求項１０に記載の装置。
12. 前記要因は、ユーザプロファイルに従って判定される、請求項１０に記載の装置。
13. 前記要因は、ユーザのグループに評判の良いフィルタに従って判定される、請求項１０に記載の装置。
14. 前記複数のグラフィックオブジェクトからのグラフィックオブジェクトの選択及び前記複数のフィルタからのフィルタの選択に応じて検索クエリを提示する手段を有する、請求項１０に記載の装置。
15. 前記検索クエリは、前記選択されたグラフィックオブジェクト及び前記選択されたフィルタに関連するメタデータから生成される、請求項１４に記載の装置。
16. 第２の複数のグラフィックオブジェクトは、前記検索クエリに応じて戻された検索結果に応じて選択され、第２の複数のフィルタは、第２の要因に従って前記フィルタのグループから選択される、請求項１５に記載の装置。
17. 前記第２の複数のグラフィックオブジェクト及び前記第２の複数のフィルタは、ユーザインタフェースに表示される、請求項１６に記載の装置。
18. ユーザインタフェースを表示するディスプレイと、
    少なくとも１つのグラフィックオブジェクト及び少なくとも１つのフィルタを操作するために使用可能な入力インタフェースと、
    前記少なくとも１つのグラフィックオブジェクト及び前記少なくとも１つのフィルタを表示する前記ユーザインタフェースを生成するコントローラと
    を有し、
    前記コントローラは、少なくとも１つのグラフィックオブジェクトが前記入力インタフェースを使用してユーザジェスチャに応じて前記少なくとも１つのフィルタに動かされたときに検索クエリを生成し、
    前記検索クエリは、前記少なくとも１つのグラフィックオブジェクト及び前記少なくとも１つのフィルタに関連するメタデータから生成される装置。
19. 前記少なくとも１つのフィルタは、要因に応じてフィルタのグループから選択される、請求項１７に記載の装置。

Images