JP2017535835A - 検索、ユーザの興味または嗜好のインジケータとしての奥行き知覚の使用 - Google Patents

Abstract

方法および装置が提供される。方法は、三次元表示上でまたはバーチャルリアリティ空間においてなど、奥行き知覚を使用して嗜好情報の表示を提供する。オブジェクトは、画像または画像シーケンスにおいて識別され、かつ嗜好情報に基づいて関連性情報が割り当てられる。好まれるオブジェクトは、嗜好の強さに基づいて様々な程度で、表示の前景平面に示される。好まれないオブジェクトは、同様に嗜好の強さに基づいて様々な程度で、表示の背景平面に示される。不特定のまたは自然なオブジェクトは、前景でも背景でもない基準面に示される。例示的な実施形態は、様々な俳優が押し込まれてまたは押し出されて示される映画データベース応用のために提供される。別の実施形態は、ユーザの嗜好を変更するためにユーザがオブジェクトの平面を調整することを可能にする。

Description

技術分野
本原理は、検索結果、ユーザの嗜好または興味を示すための三次元（３Ｄ）表示上のまたはバーチャルリアリティ（ＶＲ）空間における奥行き知覚の使用に関する。

背景
画像セグメンテーション技法は、画像または映像シーケンスにおいて異なるオブジェクトを分離するために使用される場合が多い。オブジェクト認識技法は、既存のシーケンス内でのこれらのオブジェクトの識別または追跡を可能にする。医用撮像分野では、腫瘍のように見えるオブジェクトは、腫瘍がどのように見え得るかを定義し、次いで、シーケンスにおいてこの説明にある程度適合するオブジェクトを検索することによって、医用映像シーケンスから識別することができる。

しかし、ユーザがオブジェクトまたは何らかのサブジェクトを検索することを希望し、いずれのメディアアセットにサブジェクトが含まれるか確信がないか、またはサブジェクトの正確な外観が不明である場合、画像セグメンテーションおよびオブジェクト認識技法は失敗することになる。
別の課題は、ユーザが探しているそれらのオブジェクトをユーザが迅速に識別できるように、有意義な方法でそのような検索の結果をユーザに提示することである。

ビデオ画像またはシーケンスにおいてサブジェクトを識別し、かつそれらのサブジェクトアイテムも画像でユーザに表示するような方法で識別したサブジェクトをユーザに提示する必要がある。

概要
先行技術のこれらのおよび他の欠点および不利な点は、本原理によって対処され、本原理は、検索結果、ユーザの嗜好または興味を示すための三次元（３Ｄ）表示上でのまたはバーチャルリアリティ（ＶＲ）空間における奥行き知覚の使用をサブジェクトとする。

本原理の態様によれば、三次元またはバーチャルリアリティ空間において嗜好情報を表示するための方法が提供される。方法は、嗜好情報を受信するステップを含む。方法は、嗜好情報に基づいて、入力された画像データにおいて少なくとも１つのセグメント化および識別されたオブジェクトの関連性データを生成するステップをさらに含む。方法は、生成された関連性データに基づいて少なくとも２つの平面に画像データを表示するステップをさらに含む。

本原理の別の態様によれば、装置が提供される。装置は、プロセッサを含み、プロセッサは、嗜好情報を受信し、かつ嗜好情報に基づいて、入力された映像データから少なくとも１つのセグメント化および識別されたオブジェクトの関連性データを生成するように構成される。装置は、ディスプレイプロセッサをさらに含み、ディスプレイプロセッサは、関連性データを受信し、かつ関連性データに基づいて少なくとも２つの平面に画像データを表示するためのデータを生成する。

本原理のこれらのおよび他の態様、特徴および利点は、添付の図面と関係して読み進めるべきである以下の例示的な実施形態の詳細な説明から明らかになるであろう。
図面の簡単な説明
本原理は、以下の例示的な図に従ってより良く理解することができる。

三次元またはバーチャルリアリティ空間において複数の平面を使用して嗜好を表示するための例示的な方法１００のフロー図を示す。 三次元またはバーチャルリアリティ空間において複数の平面を使用して嗜好を表示するための装置の一実施形態を示す。 複数のブロックを有する三次元画像の概念図を示す。 複数のブロックを有する三次元画像の概念図を示す。

詳細な説明
本原理は、三次元またはバーチャルリアリティ空間において嗜好情報を表示するための方法および装置をサブジェクトとする。情報は、それらのアイテムのうちで最も興味深いものが、前景に現れる平面にまたは閲覧者の近くに表示されるように、奥行き知覚を使用して表示される。それらのアイテムのうちで嫌われるものは、背景に現れる平面にまたは閲覧者から遠くに表示される。前景および背景平面は、ユーザに対する関連性または興味の程度に基づいて前景および背景平面が前方または後方にあるという程度で異なり得る。

本原理の一実施形態は、図１に示されており、図１は、三次元またはバーチャルリアリティ空間において複数の平面を使用して嗜好を表示するための方法１００のフロー図である。方法は、ステップ１０１の開始で始まり、嗜好情報を受信するステップ１１０へと進む。嗜好情報は、ユーザ入力、格納されたプロファイル情報または他のそのようなデータを含み得る。また、嗜好情報は、この前述の情報の何らかの組合せも含み得るか、またはこの情報に基づき得る。次いで、方法は、ステップ１１０からの嗜好情報に基づいて、入力画像データにおいて少なくとも１つのセグメント化および識別されたオブジェクトの関連性データを生成するステップ１２０へと進む。次いで、方法は、ステップ１２０からの生成された関連性データに基づいて少なくとも２つの平面に画像データを表示するステップ１３０へと進む。

図２は、三次元またはバーチャルリアリティ空間において複数の平面を使用して嗜好を表示するための装置２００の例示的な一実施形態を示す。装置は、プロセッサ２１０を含み、プロセッサ２１０は、嗜好情報を受信し、嗜好情報に基づいて、入力された映像データから少なくとも１つのセグメント化および識別されたオブジェクトの関連性データを生成するように構成される。嗜好情報は、ユーザ入力、格納されたプロファイル情報または他のそのようなデータを含み得る。また、嗜好情報は、この前述の情報の何らかの組合せも含み得るか、またはこの情報に基づき得る。セグメンテーション情報およびオブジェクト識別情報は、本原理の一部としてローカルで生成することも、外部の供給源によって供給することもできる。装置は、ディスプレイプロセッサ２２０をさらに含み、ディスプレイプロセッサ２２０は、プロセッサ２１０の関連性データ出力と信号接続され、関連性データに基づいて少なくとも２つの平面に画像データを表示するためのデータを生成する。

また、装置は、任意選択により、画像のオブジェクトの平面を調整できる（次いで、調整された画像のオブジェクトの平面は、今後の使用に対してユーザの嗜好を調整するために、ユーザの嗜好にフィードバックされる）ユーザから入力を受信することもできる。

上述のように、本原理は、検索結果、ユーザの興味または嗜好のインジケータとしての奥行き知覚の使用をサブジェクトとする。奥行き情報は、三次元（３Ｄ）またはバーチャルリアリティ（ＶＲ）空間において表示され、画像においてセグメント化および識別された画像または画像シーケンスにおける少なくとも１つのオブジェクトに割り当てられる。以下の説明で画像について言及する場合、個々の画像からなる画像シーケンスにもプロセスを適用できることを理解すべきである。

嗜好情報は、奥行き情報を生成するために使用され、関連性情報とも称される。嗜好情報は、いくつかの方法で引き出すことができる。嗜好情報は、例えば、検索クエリなどのユーザ入力に基づき得る。嗜好情報は、ユーザプロファイル情報に基づき得るか、または嗜好情報は、例えば、入力画像または画像シーケンスにおけるオブジェクトの関連性を示す外部から供給された何らかの情報などの他の情報に基づき得る。

また、画像を異なるオブジェクトに分割するために、セグメンテーション情報も使用される。セグメンテーション情報は、本原理の一部としてローカルで生成することも、外部の供給源によって供給することもできる。エッジ検出アルゴリズムは、様々なオブジェクトを検出し、画像においてジグソーパズルのピースのようにそれらの様々なオブジェクトを分割するために使用することができる。

オブジェクト識別またはオブジェクト認識情報は、画像からセグメント化されているオブジェクトを識別するために使用される。オブジェクト識別情報はまた、本原理の一部としてローカルで生成することも、外部の供給源によって供給することもできる。

少なくとも１つの例示的な実施形態では、外部の供給源からのデータセットは、特定の映画場面に登場する俳優を示し得る。この例の１つは、DigitalSmithsデータである。

嗜好情報は、入力画像におけるセグメンテーション情報およびオブジェクト識別情報と共に、入力画像におけるオブジェクトの少なくとも１つの関連性情報を生成するために使用される。嗜好情報は、ユーザがオブジェクトにどの程度興味を示しているか、ユーザとのその関連性、または嗜好情報が示す他の何らかの尺度を示し得る。

好まれるオブジェクトは、嗜好の強さに基づいて様々な程度で、表示の前景平面に示される。好まれないオブジェクトは、同様に嗜好の強さに基づいて様々な程度で、表示の背景平面に示される。不特定のまたは自然なオブジェクトは、前景でも背景でもない基準面に示される。

画像における１つまたは複数のオブジェクトの関連性情報は、画像の他のオブジェクトに対するまたは背景に対するユーザの興味を示す映像平面にそのオブジェクトを表示するために使用される。不特定のオブジェクトは、押し込まれても押し出されてもいないように見える基準面に残しておくことができる。例えば、ユーザが特定のオブジェクトを検索していたことを理由に、例えば、ユーザがこのオブジェクトに非常に興味を示している場合、このオブジェクトは、前景平面に示すことができる。別のオブジェクトが、最初のオブジェクトよりもわずかに関連性が低いが、ある程度のユーザの興味がなおも存在する場合、別のオブジェクトは、最初のオブジェクトほど前景ではないが、依然として、示される関連性がない画像の中立部分と比べて前景である平面に示すことができる。例えば、ユーザプロファイルが何らかに対して激しい嫌悪を示し、それが画像に含まれる場合、ユーザの嫌悪を示すために、背景に示される平面に現れることになる。様々なオブジェクトが現れる平面に関するそれらのオブジェクトのレンダリングは、嗜好情報に基づいて調整される。

３ＤまたはＶＲ空間における画像の前景および背景部分の例は、図３に示される。図３ａは、１〜５でラベル付けされた画像の５つのブロックの正面図３００を示す。ユーザは、ブロック５ ３５０に最も興味を示しているかまたは好んでおり、次いでブロック３ ３３０、次いでブロック２ ３２０と続く。ユーザは、ブロック１ ３１０には興味を示しておらず、ブロック４ ３４０には全く興味を示していない。

図３ｂは、本原理の下での画像の概念的な側面図３６０を示す。ユーザはブロック５ ３５０に最も興味を示しているため、ブロック５ ３５０は、「前方に押し出される」かまたは最も近い前景に示される。次に最も前方のものは、ブロック３ ３３０であり、次いでブロック２ ３２０である。

ユーザは、ブロック１ ３１０には興味を示していないため、ブロック１ ３１０は、画像の背景の方にわずかに「押し戻される」ように示される。また、ユーザは、ブロック４ ３４０には全く興味を示していないため、ブロック４ ３４０は、画像の背景平面の方にさらに深く「押し戻される」ように示される。

本原理の実施形態の一例は、映画クエリ応用の例を通じて示すことができる。ユーザは、俳優Ａによる映画を映画ライブラリで検索する（ローカルまたはオンライン）ことを希望している。また、ユーザは、格納されたプロファイルも有し、プロファイルは、ユーザがいずれの俳優／女優を好み、いずれの俳優／女優を好まないかを示す。また、プロファイルは、ジャンル、監督などの他の嗜好情報を示すこともできる。

ユーザが俳優Ａによる映画を検索した時点で、ユーザは、画像、クリップまたは予告編の形態で、俳優Ａを含む映画の一連の検索結果を受信する。これらの結果、検索からのユーザ要求のため、俳優Ａは、前景に押し込むことができる。しかし、プロファイル情報からの他の嗜好も使用されるため、クリップは、結果の各々において他の俳優／女優を示すこともでき、それらの画像は、その俳優に対するユーザの嗜好に基づいて、前方または後方に押し出されるように見える。

ユーザが多くの前景の俳優／女優を見れば、この映画はユーザのお気に入りのスターの多くを含んでいるため、そのユーザは、この映画を観ることを切望し得る。しかし、ユーザが俳優Ａを含む映画を前景に見るが、フィルムの他の俳優が押し戻されている場合、ユーザは、残りのキャストを嫌っているため、俳優Ａの映画を見たいという望みにもかかわらず、フィルムを視聴することを望まないと決定する可能性がある。

同様のアイデアをメディアアセットタイトルに適用することができ、その場合、ユーザにとって最も魅力的なそれらのタイトルは、前景に押し込むことができ、魅力的ではないタイトルは、押し戻すことができる。

別の例示的な実施形態では、俳優などのオブジェクトを有する表示がそれらの様々な平面に示された時点で、ユーザは、オブジェクトまたは俳優が存在する平面を直接調整することによってユーザの嗜好を変更することができる。例えば、上記の俳優Ａの実施形態では、ユーザが画像のオブジェクトのうちの１つに対する意見を変更したと決定した場合、ユーザは、それを押し戻すかまたは前方に引き出すことができ、ユーザの嗜好情報またはプロファイルは自動的に更新され、今度は、新しい方法で検索に影響を及ぼすことになる。

本原理の下での三次元表示では、様々なオブジェクトは、画像の様々な平面において近くまたは遠くに現れる。バーチャルリアリティ空間では、ファイルキャビネット（いくつかの引き出しは様々な程度で突き出ており、他は様々な程度で押し込まれている）のような様々な平面を想像することができる。ユーザは、ファイルを少しずつ動かし、ファイルを押し込むかまたは押し出す程度を決定することができる。

本説明は、本原理を示す。従って、当業者は、本明細書では明示的に説明されても示されてもいないが、本原理を具体化し、本原理の範囲内に含まれる様々な構成を考案できることが理解されよう。

本明細書に記述されるすべての例および条件付きの言語は、教示上の目的で、当技術分野を前進させるために本発明者によって寄与される本原理および概念を読者が理解できるように支援することが意図され、そのような具体的に記述される例および条件に限定されるものではないと解釈されたい。

そのうえ、本原理の原則、態様および実施形態ならびにそれらの具体的な例を記述する本明細書のすべての説明は、それらの構造上の均等物と機能上の均等物との両方を包含することが意図される。それに加えて、そのような均等物は、現在知られている均等物と今後開発される均等物（すなわち、構造にかかわらず同じ機能を実行する、開発される任意の要素）との両方を含むことが意図される。

従って、例えば、本明細書で提示されるブロック図は、本原理を具体化する例示的な回路の概念図を表すことが当業者によって理解されよう。同様に、いかなるフローチャート、フロー図、状態遷移図、擬似コードおよび同様のものも、様々なプロセスを表し、様々なプロセスは、コンピュータ可読媒体で本質的に表すことができ、コンピュータまたはプロセッサが明示的に示されているかどうかにかかわらず、そのようなコンピュータまたはプロセッサによって実行できることが理解されよう。

図に示される様々な要素の機能は、専用ハードウェアおよび適切なソフトウェアに関連してソフトウェアの実行が可能なハードウェアの使用を通じて提供することができる。プロセッサによって提供される場合、機能は、単一の専用プロセッサによって、単一の共有プロセッサによって、またはそのうちのいくつかを共有することができる複数の個々のプロセッサによって提供することができる。そのうえ、「プロセッサ」または「コントローラ」という用語の明示的な使用は、ソフトウェアの実行が可能なハードウェアを排他的に指すものと解釈すべきではなく、限定されることなく、デジタル信号プロセッサ（「ＤＳＰ」）ハードウェア、ソフトウェアを格納するための読み取り専用メモリ（「ＲＯＭ」）、ランダムアクセスメモリ（「ＲＡＭ」）および不揮発性記憶装置を暗黙的に含み得る。

従来のおよび／またはカスタムの他のハードウェアも含めることができる。同様に、図に示されるいかなるスイッチも単なる概念的なものである。それらの機能は、プログラム論理の操作を通じて、専用論理を通じて、プログラム制御と専用論理との相互作用を通じて、または手動でさえも実行することができ、文脈からより具体的に理解されるように、実装者によって特定の技法が選択可能である。

本明細書の請求項では、指定された機能を実行するための手段として表現されたいかなる要素も、例えば、ａ）その機能を実行する回路要素の組合せ、またはｂ）機能を実行するためにそのソフトウェアを実行するための適切な回路と組み合わされた任意の形態のソフトウェア（従って、ファームウェア、マイクロコードまたは同様のものを含む）を含む、その機能を実行するいかなる方法も包含することが意図される。そのような請求項によって定義されるような本原理は、記述される様々な手段によって提供される機能が、請求項によって要求される方法で組み合わされてまとめられるという事実に存在する。従って、それらの機能を提供できるいかなる手段も本明細書に示されるものと均等であると見なされる。

本明細書における本原理の「一実施形態」または「実施形態」およびその他の変形例への言及は、実施形態と関係して説明される特定の特徴、構造、特性などが本原理の少なくとも１つの実施形態に含まれることを意味する。従って、本明細書全体を通じて様々な箇所に現れる「一実施形態では」または「実施形態では」という記載および他の変形例の出現は、必ずしもすべてが同じ実施形態を指すわけではない。

以下の「／」、「および／または」および「の少なくとも１つ」のいずれかの使用は、例えば、「Ａ／Ｂ」、「Ａおよび／またはＢ」および「ＡおよびＢの少なくとも１つ」の事例では、第１に列挙された選択肢（Ａ）のみの選択、第２に列挙された選択肢（Ｂ）のみの選択、または両方の選択肢（ＡおよびＢ）の選択を包含することが意図されることを理解されたい。さらなる例として、「Ａ、Ｂおよび／またはＣ」および「Ａ、ＢおよびＣの少なくとも１つ」の事例では、そのような記載は、第１に列挙された選択肢（Ａ）のみの選択、第２に列挙された選択肢（Ｂ）のみの選択、第３に列挙された選択肢（Ｃ）のみの選択、第１および第２に列挙された選択肢（ＡおよびＢ）のみの選択、第１および第３に列挙された選択肢（ＡおよびＣ）のみの選択、第２および第３に列挙された選択肢（ＢおよびＣ）のみの選択、または３つのすべての選択肢（ＡおよびＢおよびＣ）の選択を包含することが意図される。これは、当業者であれば容易に明らかであるように、記載されるアイテムの分だけ拡張することができる。

本原理のこれらのおよび他の特徴および利点は、当業者であれば、本明細書の教示に基づいて、容易に確認することができる。本原理の教示は、ハードウェア、ソフトウェア、ファームウェア、特殊用途プロセッサまたはそれらの組合せの様々な形態で実装できることを理解されたい。

最も好ましくは、本原理の教示は、ハードウェアとソフトウェアとの組合せとして実装される。そのうえ、ソフトウェアは、プログラム格納ユニット上で有形に具体化されるアプリケーションプログラムとして実装することができる。アプリケーションプログラムは、任意の適切なアーキテクチャを含むマシンにアップロードし、同マシンによって実行することができる。好ましくは、マシンは、１つまたは複数の中央処理装置（「ＣＰＵ」）、ランダムアクセスメモリ（「ＲＡＭ」）および入力／出力（「Ｉ／Ｏ」）インタフェースなどのハードウェアを有するコンピュータプラットフォーム上で実装される。また、コンピュータプラットフォームは、オペレーティングシステムおよびマイクロ命令コードも含み得る。本明細書で説明される様々なプロセスおよび機能は、マイクロ命令コードの一部、アプリケーションプログラムの一部またはそれらの任意の組合せであり得、ＣＰＵによって実行することができる。それに加えて、コンピュータプラットフォームには、追加のデータ格納ユニットおよび印刷ユニットなどの様々な他の周辺ユニットを接続することができる。

添付の図面に描写される構成システムコンポーネントおよび方法のいくつかはソフトウェアで実装されることが好ましいため、システムコンポーネント間またはプロセス機能ブロック間の実際の接続は、本原理がプログラムされる方法に応じて異なり得ることをさらに理解されたい。本明細書の教示を考慮すると、当業者は、本原理のこれらのおよび同様の実装形態または構成を企図することができるであろう。

本明細書では、添付の図面を参照して例示的な実施形態について説明してきたが、本原理はそれらの正確な実施形態に限定されるわけではなく、本原理の範囲から逸脱することなく、当業者によってその中で様々な変化形態および変更形態がなされ得ることを理解されたい。そのような変化形態および変更形態はすべて、添付の請求項に記載されるように、本原理の範囲内に含まれることが意図される。

Claims (16)

1. 嗜好情報を受信するステップと、
   前記嗜好情報に基づいて、少なくとも１つのセグメント化および識別されたオブジェクトの関連性データを生成するステップと、
   前記関連性データに基づいて少なくとも２つの平面のうちの１つに画像データを表示するステップと
   を含む、方法。
2. 前記表示するステップが三次元またはバーチャルリアリティ空間で起こる、請求項１に記載の方法。
3. ユーザ入力および格納されたプロファイル情報の少なくとも１つに応答して、格納された参照情報を構成するステップを含む、請求項１に記載の方法。
4. ユーザ入力として検索クエリを受信するステップを含む、請求項３に記載の方法。
5. 少なくとも１つのユーザ入力および格納されたプロファイル情報を組み合わせることによって、前記嗜好情報を構成するステップを含む、請求項３に記載の方法。
6. 前記少なくとも１つのオブジェクトが、前記入力された映像データに含まれるオブジェクトのデータベースによって識別されている、請求項１に記載の方法。
7. 前記セグメント化されている少なくとも１つのオブジェクトが、エッジ検出プロセスを使用してセグメント化される、請求項１に記載の方法。
8. 前記嗜好情報が、ユーザが前記表示を通じてオブジェクトの平面を変更することによって修正される、請求項１に記載の方法。
9. 嗜好情報を受信し、かつ前記嗜好情報に基づいて、入力された映像データからセグメント化および識別された少なくとも１つのオブジェクトの関連性データを生成するように構成されたプロセッサと、
   前記関連性データを受信し、かつ前記関連性データに基づいて少なくとも２つの平面のうちの１つに前記画像データを表示するためのデータを生成するディスプレイプロセッサと
   を含む、装置。
10. 前記ディスプレイプロセッサが、三次元またはバーチャルリアリティ空間において少なくとも２つの平面のうちの１つに前記画像データを表示するためのデータを生成する、請求項９に記載の装置。
11. 前記嗜好情報が、ユーザ入力および格納されたプロファイル情報の少なくとも１つに基づく、請求項９に記載の装置。
12. 前記ユーザ入力が検索クエリである、請求項１１に記載の装置。
13. 前記嗜好情報が、少なくとも１つのユーザ入力および格納された嗜好情報の組合せである、請求項１１に記載の装置。
14. 前記少なくとも１つのオブジェクトが、前記入力された映像データに含まれるオブジェクトのデータベースによって識別されている、請求項１１に記載の装置。
15. 前記セグメント化されている少なくとも１つのオブジェクトが、エッジ検出プロセスを使用してセグメント化される、請求項１１に記載の装置。
16. 前記嗜好情報が、ユーザが前記表示を通じてオブジェクトの平面を変更することによって修正される、請求項１１に記載の装置。

Images