JP2023107776A - 視覚コンテンツを拡張するための方法およびシステム - Google Patents
視覚コンテンツを拡張するための方法およびシステム Download PDFInfo
- Publication number
- JP2023107776A JP2023107776A JP2023080729A JP2023080729A JP2023107776A JP 2023107776 A JP2023107776 A JP 2023107776A JP 2023080729 A JP2023080729 A JP 2023080729A JP 2023080729 A JP2023080729 A JP 2023080729A JP 2023107776 A JP2023107776 A JP 2023107776A
- Authority
- JP
- Japan
- Prior art keywords
- sponsored
- image
- person
- visual content
- display
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 93
- 230000003190 augmentative effect Effects 0.000 title claims abstract description 38
- 230000000007 visual effect Effects 0.000 title abstract description 206
- 230000004044 response Effects 0.000 claims abstract description 32
- 230000001815 facial effect Effects 0.000 claims description 4
- 230000002708 enhancing effect Effects 0.000 description 47
- 230000008569 process Effects 0.000 description 44
- 238000004891 communication Methods 0.000 description 27
- 239000011521 glass Substances 0.000 description 26
- IWEDIXLBFLAXBO-UHFFFAOYSA-N dicamba Chemical compound COC1=C(Cl)C=CC(Cl)=C1C(O)=O IWEDIXLBFLAXBO-UHFFFAOYSA-N 0.000 description 21
- 238000012545 processing Methods 0.000 description 18
- 230000000875 corresponding effect Effects 0.000 description 10
- 230000000153 supplemental effect Effects 0.000 description 5
- 239000000047 product Substances 0.000 description 3
- 230000002596 correlated effect Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000001737 promoting effect Effects 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 206010011878 Deafness Diseases 0.000 description 1
- SAZUGELZHZOXHB-UHFFFAOYSA-N acecarbromal Chemical compound CCC(Br)(CC)C(=O)NC(=O)NC(C)=O SAZUGELZHZOXHB-UHFFFAOYSA-N 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000037361 pathway Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 230000000284 resting effect Effects 0.000 description 1
- 238000004513 sizing Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/02—Marketing; Price estimation or determination; Fundraising
- G06Q30/0241—Advertisements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/02—Marketing; Price estimation or determination; Fundraising
- G06Q30/0241—Advertisements
- G06Q30/0251—Targeted advertisements
- G06Q30/0261—Targeted advertisements based on user location
Abstract
【課題】視覚コンテンツを拡張するための方法およびシステムの提供。【解決手段】システムおよび方法が、選択されたオブジェクトの代わりに、スポンサードされるオブジェクトを用いて視覚コンテンツを拡張するために説明される。例証的方法は、視覚コンテンツを拡張するためのオブジェクトを選択する入力を受信し、選択されたオブジェクトの性質が、スポンサードされるオブジェクトのデータベース内に含まれるスポンサードされるオブジェクトの性質に合致するかどうかを決定し、選択されたオブジェクトの性質が、スポンサードされるオブジェクトの性質に合致すると決定することに応答して、スポンサードされるオブジェクトを用いて視覚コンテンツを拡張する。【選択図】図1
Description
本開示は、視覚コンテンツを拡張することに関し、より具体的には、リアルタイムで、または後処理で、ユーザディスプレイデバイス上にスポンサードされる拡張現実オブジェクトを表示のために生成するための方法およびシステムに関する。
拡張現実(AR)は、ユーザが、実世界の画像またはビュー上に重畳された補足コンテンツを視認することを可能にする。例えば、ユーザが、ARディスプレイ(スマートフォン等)上で実世界の画像を視認する実施形態では、補足コンテンツは、実世界画像の一部であるように見えるように、実世界画像の上にオーバーレイされる。他の実施形態では、ユーザが、ARディスプレイ(ARグラス)を通して実世界を視認する場合、補足コンテンツは、ユーザがそうでなければ実世界の一部を見るであろうARディスプレイの一部に表示される。そのような補足コンテンツは、ユーザ体験を向上させ、ユーザが、実世界画像と相互作用する、および/または実世界画像をその好みにカスタマイズすることを可能にする。例えば、ユーザは、その上に重畳される、および/またはその中に統合されるユーザ選択補足コンテンツを伴う実世界の画像を視認および/または捕捉することができる。
これは、アプリケーション開発者が、ARディスプレイのユーザに製品を宣伝することを所望するマーケターから収益を生む機会をもたらす。例えば、アプリケーション開発者がユーザに無料で使用できるアプリケーションを提供する一般的な方法は、アプリケーションを「広告支援」にすることにより、開発者が、ユーザがアプリケーションを使用するために料金を支払う必要性の代わりに、アプリケーション内に設置された広告によって収入を生むことを意味する。しかしながら、ユーザは、多くの場合、アプリケーション内に現れる迷惑なまたは押し付けがましい広告を好まない。従来のバナー広告またはポップアップ広告は、押し付けがましい広告によって不明瞭にされている実世界の画像を視認することを所望するARディスプレイのユーザにとって特に煩わしくあり得る。したがって、ARディスプレイのユーザにとって押し付けがましくなく、したがって、好ましい、ARディスプレイ上に表示される画像の中に広告または他の収益を生むコンテンツを挿入する方法の必要性が、存在する。
故に、そのような問題を克服するために、方法およびシステムが、押しつけがましくなく、かつユーザに具体的に調整されることの両方である宣伝コンテンツを用いて視覚コンテンツを拡張するために本明細書に開示される。特に、本明細書に説明される実施形態は、視覚コンテンツを拡張するとき、ユーザによって選択された一般的なオブジェクトの代わりにスポンサードされるオブジェクトを用いるステップを提供する。スポンサードされるオブジェクトは、マーケターによって宣伝される製品を正確に表すようにブランディングおよび/または設計され、それによって、マーケターが、広告をユーザによって要求されるARコンテンツの中に挿入することを可能にし得、スポンサードされるオブジェクトが、ユーザによって選択された一般的なオブジェクトの代わりに用いられるため、広告は、押しつけがましくなく(これは、結局のところ、ユーザによって要求されるオブジェクトである)、かつユーザが特定のオブジェクトがARコンテンツ内に設置されることを要求したため、ユーザに具体的に調整されることの両方である。
一例証的実施形態では、実世界画像が、スマートフォン等のARデバイス上に表示される。実世界画像は、人物を含み得る。ARデバイスは、実世界画像を拡張するためのオブジェクトの選択を受信する。例えば、ARデバイスは、実世界画像が拡張され得るオブジェクトのリストを表示し、ユーザは、リストから一般的なアビエータ眼鏡を選択し、人物の画像に追加し得る。オブジェクト(例えば、一般的なアビエータ眼鏡)の選択を受信することに応じて、ARデバイスは、選択されたオブジェクトの性質に合致するスポンサードされるオブジェクトに関してスポンサードされるオブジェクトのデータベースにクエリを行う。例えば、マーケターが、特定のブランドのアビエータ眼鏡を宣伝している場合があり、ARデバイスが、アビエータ眼鏡に関してスポンサードされるオブジェクトのデータベースにクエリを行うと、データベースは、スポンサードされるアビエータ眼鏡を返す。ARデバイスは、次いで、ユーザによって選択された一般的なアビエータ眼鏡の代わりに、スポンサードされるアビエータ眼鏡を用いて実世界画像を拡張する。例えば、ARデバイスは、人物の画像上にオーバーレイされるスポンサードされるアビエータ眼鏡を表示する。ARデバイスはさらに、拡張された実世界画像を記憶してもよい。これは、マーケターが、ユーザによって提供された選択に基づいて、かつユーザに押しつけがましくない方法で生成された拡張されたコンテンツの中に広告(例えば、スポンサードされるアビエータ眼鏡)を挿入することを可能にする。
別の例証的実施形態では、実世界環境が、ARグラス等のARデバイスを通して視認される。実世界環境は、車道を伴う家屋を含み得る。ARデバイスは、ユーザから音声コマンドを受信し、家屋の車道におけるスポーツカーを示す。マーケターが、特定のスポーツカーを宣伝している場合があり、選択を受信することに応じて、ARデバイスは、スポーツカーに関してスポンサードされるオブジェクトのデータベースにクエリを行う。データベースは、次いで、スポンサードされるスポーツカーを返し、その後、ARデバイスは、一般的なスポーツカーの代わりにスポンサードされるスポーツカーを用い、ユーザが、ARグラスを通して実世界環境を視認するとき、スポンサードされるスポーツカーが、家屋の車道に現れ得るように、スポンサードされるスポーツカーの表示を生成する。
本開示はさらに、オブジェクトが拡張されたコンテンツ内に設置されるべきである標的位置を規定する入力を受信するための方法およびシステムを説明する。例えば、ユーザは、アビエータ眼鏡が画像内の人物の顔上に設置されるべきである、またはスポーツカーが家屋の車道に設置されるべきであると規定してもよい。他の実施形態では、本方法およびシステムは、拡張されたコンテンツ内のオブジェクトを設置するべき場所を自動的に決定してもよい。例えば、ARデバイスは、画像内の人物の顔を識別し、データベースからアビエータ眼鏡のテンプレートを読み出し、画像内の人物の顔のサイズに対してあるサイズを伴い、画像内の適切な位置における(例えば、画像内の人物の眼にわたる、および/またはその鼻の上に静置する)アビエータ眼鏡の表示を生成してもよい。いくつかの実施形態では、画像内のオブジェクトを設置するべき適切な位置は、1つ以上のアンカ点に基づいて決定されてもよい。例えば、画像内の人物の鼻および/または眼は、アビエータ眼鏡に関するアンカ点としての役割を果たしてもよく、アビエータ眼鏡の配置および/またはサイジングを誘導するように、アビエータ眼鏡のテンプレート内に含まれる対応するアンカ点と相関されてもよい。なおもさらなる実施形態では、本方法およびシステムは、実世界画像を照明する光源の位置を決定する。例えば、ARデバイスは、実世界環境内で太陽が家屋を照らしている方向を決定する。ARデバイスは、次いで、スポーツカーによって生成された影が、実世界環境に関して適切であるように、太陽が家屋を照らしている方向に基づいて、スポーツカーの視覚特性(例えば、影)を調節する。
本発明は、例えば、以下を提供する。
(項目1)
視覚コンテンツを拡張するための方法であって、前記方法は、
視覚コンテンツを拡張するためのオブジェクトを選択する入力を受信することと、
前記選択されたオブジェクトの性質が、スポンサードされるオブジェクトのデータベース内に含まれるスポンサードされるオブジェクトの性質に合致するかどうかを決定することと、
前記選択されたオブジェクトの性質が、前記スポンサードされるオブジェクトの性質に合致すると決定することに応答して、前記スポンサードされるオブジェクトを用いて前記視覚コンテンツを拡張することと
を含む、方法。
(項目2)
前記選択されたオブジェクトの性質が、前記スポンサードされるオブジェクトのデータベース内に含まれる前記スポンサードされるオブジェクトの性質に合致しないと決定することに応答して、前記選択されたオブジェクトを用いて前記視覚コンテンツを拡張することをさらに含む、項目1に記載の方法。
(項目3)
前記入力は、第1の入力であり、前記方法はさらに、
少なくとも1つのレンズを介して、前記視覚コンテンツを捕捉することであって、前記視覚コンテンツは、実世界ビューを含む、ことと、
前記選択されたオブジェクトに関する標的位置を示す第2の入力を受信することと
を含み、
前記スポンサードされるオブジェクトを用いて前記視覚コンテンツを拡張することは、前記標的位置に対応する前記実世界ビュー内の位置において前記スポンサードされるオブジェクトを表示のために生成することを含む、項目1に記載の方法。
(項目4)
前記入力は、第1の入力であり、前記方法はさらに、
少なくとも1つのレンズを介して、前記視覚コンテンツを捕捉することであって、前記視覚コンテンツは、実世界ビューを含む、ことと、
前記選択されたオブジェクトに関する標的位置を示す第2の入力を受信することと
を含み、
前記スポンサードされるオブジェクトを用いて前記視覚コンテンツを拡張することは、拡張された視覚コンテンツを表示のために生成することを含み、前記スポンサードされるオブジェクトは、前記標的位置に対応する前記実世界ビュー内の位置において前記実世界ビュー上にオーバーレイされる、項目1に記載の方法。
(項目5)
前記選択されたオブジェクトの性質が、前記スポンサードされるオブジェクトのデータベース内に含まれる前記スポンサードされるオブジェクトの性質に合致するかどうかを決定することは、
前記選択されたオブジェクトの性質を識別することと、
前記選択されたオブジェクトの性質に合致する前記スポンサードされるオブジェクトに関して前記スポンサードされるオブジェクトのデータベースにクエリを行うことと
を含む、項目1に記載の方法。
(項目6)
前記スポンサードされるオブジェクトを用いて前記視覚コンテンツを拡張することは、
前記スポンサードされるオブジェクトのデータベースから、前記スポンサードされるオブジェクトのテンプレートを読み出すことと、
前記スポンサードされるオブジェクトのテンプレートに基づいて、前記スポンサードされるオブジェクトのインスタンスを生成することと、
前記スポンサードされるオブジェクトのインスタンスを表示のために生成することと
を含む、項目1に記載の方法。
(項目7)
前記スポンサードされるオブジェクトを用いて前記視覚コンテンツを拡張することは、
前記視覚コンテンツ内の対象オブジェクトを識別することと、
前記視覚コンテンツ内の前記対象オブジェクト上のアンカ点を識別することと、
前記アンカ点に基づいて、前記スポンサードされるオブジェクトを表示のために生成することと
を含む、項目1に記載の方法。
(項目8)
前記アンカ点に基づいて、前記スポンサードされるオブジェクトを表示のために生成することは、
前記対象オブジェクト上の前記アンカ点を前記スポンサードされるオブジェクト上のアンカ点と相関させることと、
前記スポンサードされるオブジェクト上の前記アンカ点が、前記対象オブジェクト上の前記アンカ点と重複するように、前記スポンサードされるオブジェクトを表示のために生成することと
を含む、項目7に記載の方法。
(項目9)
前記スポンサードされるオブジェクトを用いて前記視覚コンテンツを拡張することは、
前記視覚コンテンツ内の対象オブジェクトを識別することと、
前記対象オブジェクトの特徴を識別することと、
前記対象オブジェクトの特徴に基づいて、前記スポンサードされるオブジェクトのサイズを決定することと、
前記決定されたサイズに従って、前記スポンサードされるオブジェクトを表示のために生成することと
を含む、項目1に記載の方法。
(項目10)
前記スポンサードされるオブジェクトを用いて前記視覚コンテンツを拡張することは、
前記視覚コンテンツを照明する光源の位置を決定することと、
前記スポンサードされるオブジェクトのインスタンスを生成することと、
前記視覚コンテンツを照明する前記光源の決定された位置に基づいて、前記スポンサードされるオブジェクトの視覚特性を調節することによって、前記スポンサードされるオブジェクトのインスタンスを修正することと、
前記スポンサードされるオブジェクトの修正されたインスタンスを表示のために生成することと
を含む、項目1に記載の方法。
(項目11)
視覚コンテンツを拡張するためのシステムであって、前記システムは、
制御回路であって、
視覚コンテンツを拡張するためのオブジェクトを選択する入力を受信することと、
前記選択されたオブジェクトの性質が、スポンサードされるオブジェクトのデータベース内に含まれるスポンサードされるオブジェクトの性質に合致するかどうかを決定することと、
前記選択されたオブジェクトの性質が、前記スポンサードされるオブジェクトの性質に合致すると決定することに応答して、前記スポンサードされるオブジェクトを用いて前記視覚コンテンツを拡張することと
を行うように構成される、制御回路
を備える、システム。
(項目12)
前記制御回路はさらに、前記選択されたオブジェクトの性質が、前記スポンサードされるオブジェクトのデータベース内に含まれる前記スポンサードされるオブジェクトの性質に合致しないと決定することに応答して、前記選択されたオブジェクトを用いて前記視覚コンテンツを拡張するように構成される、項目11に記載のシステム。
(項目13)
前記入力は、第1の入力であり、制御回路はさらに、
少なくとも1つのレンズを介して、前記視覚コンテンツを捕捉することであって、前記視覚コンテンツは、実世界ビューを含む、ことと、
前記選択されたオブジェクトに関する標的位置を示す第2の入力を受信することと、
前記スポンサードされるオブジェクトを用いて前記視覚コンテンツを拡張するとき、前記標的位置に対応する前記実世界ビュー内の位置において前記スポンサードされるオブジェクトを表示のために生成することと
を行うように構成される、項目11に記載のシステム。
(項目14)
前記入力は、第1の入力であり、制御回路はさらに、
少なくとも1つのレンズを介して、前記視覚コンテンツを捕捉することであって、前記視覚コンテンツは、実世界ビューを含む、ことと、
前記選択されたオブジェクトに関する標的位置を示す第2の入力を受信することと、
前記スポンサードされるオブジェクトを用いて前記視覚コンテンツを拡張するとき、拡張された視覚コンテンツを表示のために生成することであって、前記スポンサードされるオブジェクトは、前記標的位置に対応する前記実世界ビュー内の位置において前記実世界ビュー上にオーバーレイされる、ことと
を行うように構成される、項目11に記載のシステム。
(項目15)
前記選択されたオブジェクトの性質が、前記スポンサードされるオブジェクトのデータベース内に含まれる前記スポンサードされるオブジェクトの性質に合致するかどうかを決定するとき、制御回路はさらに、
前記選択されたオブジェクトの性質を識別することと、
前記選択されたオブジェクトの性質に合致する前記スポンサードされるオブジェクトに関して前記スポンサードされるオブジェクトのデータベースにクエリを行うことと
を行うように構成される、項目11に記載のシステム。
(項目16)
前記スポンサードされるオブジェクトを用いて前記視覚コンテンツを拡張するとき、制御回路はさらに、
前記スポンサードされるオブジェクトのデータベースから、前記スポンサードされるオブジェクトのテンプレートを読み出すことと、
前記スポンサードされるオブジェクトのテンプレートに基づいて、前記スポンサードされるオブジェクトのインスタンスを生成することと、
前記スポンサードされるオブジェクトのインスタンスを表示のために生成することと
を行うように構成される、項目11に記載のシステム。
(項目17)
前記スポンサードされるオブジェクトを用いて前記視覚コンテンツを拡張するとき、制御回路はさらに、
前記視覚コンテンツ内の対象オブジェクトを識別することと、
前記視覚コンテンツ内の前記対象オブジェクト上のアンカ点を識別することと、
前記アンカ点に基づいて、前記スポンサードされるオブジェクトを表示のために生成することと
を行うように構成される、項目11に記載のシステム。
(項目18)
前記アンカ点に基づいて、前記スポンサードされるオブジェクトを表示のために生成するとき、制御回路はさらに、
前記対象オブジェクト上の前記アンカ点を前記スポンサードされるオブジェクト上のアンカ点と相関させることと、
前記スポンサードされるオブジェクト上の前記アンカ点が、前記対象オブジェクト上の前記アンカ点と重複するように、前記スポンサードされるオブジェクトを表示のために生成することと
を行うように構成される、項目17に記載のシステム。
(項目19)
前記スポンサードされるオブジェクトを用いて前記視覚コンテンツを拡張するとき、制御回路はさらに、
前記視覚コンテンツ内の対象オブジェクトを識別することと、
前記対象オブジェクトの特徴を識別することと、
前記対象オブジェクトの特徴に基づいて、前記スポンサードされるオブジェクトのサイズを決定することと、
前記決定されたサイズに従って、前記スポンサードされるオブジェクトを表示のために生成することと
を行うように構成される、項目11に記載のシステム。
(項目20)
前記スポンサードされるオブジェクトを用いて前記視覚コンテンツを拡張するとき、制御回路はさらに、
前記視覚コンテンツを照明する光源の位置を決定することと、
前記スポンサードされるオブジェクトのインスタンスを生成することと、
前記視覚コンテンツを照明する前記光源の決定された位置に基づいて、前記スポンサードされるオブジェクトの視覚特性を調節することによって、前記スポンサードされるオブジェクトのインスタンスを修正することと、
前記スポンサードされるオブジェクトの修正されたインスタンスを表示のために生成することと
を行うように構成される、項目11に記載のシステム。
(項目21)
視覚コンテンツを拡張するための装置であって、
視覚コンテンツを拡張するためのオブジェクトを選択する入力を受信するための手段と、
前記選択されたオブジェクトの性質が、スポンサードされるオブジェクトのデータベース内に含まれるスポンサードされるオブジェクトの性質に合致するかどうかを決定するための手段と、
前記選択されたオブジェクトの性質が、前記スポンサードされるオブジェクトの性質に合致すると決定することに応答して、前記スポンサードされるオブジェクトを用いて前記視覚コンテンツを拡張するための手段と
を備える、装置。
(項目22)
前記選択されたオブジェクトの性質が、前記スポンサードされるオブジェクトのデータベース内に含まれる前記スポンサードされるオブジェクトの性質に合致しないと決定することに応答して、前記選択されたオブジェクトを用いて前記視覚コンテンツを拡張するための手段をさらに備える、項目21に記載の装置。
(項目23)
前記入力は、第1の入力であり、前記装置はさらに、
少なくとも1つのレンズを介して、前記視覚コンテンツを捕捉するための手段であって、前記視覚コンテンツは、実世界ビューを含む、手段と、
前記選択されたオブジェクトに関する標的位置を示す第2の入力を受信するための手段と
を備え、
前記スポンサードされるオブジェクトを用いて前記視覚コンテンツを拡張するための手段は、前記標的位置に対応する前記実世界ビュー内の位置において前記スポンサードされるオブジェクトを表示のために生成するための手段を備える、項目21に記載の装置。
(項目24)
前記入力は、第1の入力であり、前記装置はさらに、
少なくとも1つのレンズを介して、前記視覚コンテンツを捕捉するための手段であって、前記視覚コンテンツは、実世界ビューを含む、手段と、
前記選択されたオブジェクトに関する標的位置を示す第2の入力を受信するための手段と
を備え、
前記スポンサードされるオブジェクトを用いて前記視覚コンテンツを拡張するための手段は、拡張された視覚コンテンツを表示のために生成するための手段を備え、前記スポンサードされるオブジェクトは、前記標的位置に対応する前記実世界ビュー内の位置において前記実世界ビュー上にオーバーレイされる、項目21に記載の装置。
(項目25)
前記選択されたオブジェクトの性質が、前記スポンサードされるオブジェクトのデータベース内に含まれる前記スポンサードされるオブジェクトの性質に合致するかどうかを決定するための手段は、
前記選択されたオブジェクトの性質を識別するための手段と、
前記選択されたオブジェクトの性質に合致する前記スポンサードされるオブジェクトに関して前記スポンサードされるオブジェクトのデータベースにクエリを行うための手段と
を備える、項目21に記載の装置。
(項目26)
前記スポンサードされるオブジェクトを用いて前記視覚コンテンツを拡張するための手段は、
前記スポンサードされるオブジェクトのデータベースから、前記スポンサードされるオブジェクトのテンプレートを読み出すための手段と、
前記スポンサードされるオブジェクトのテンプレートに基づいて、前記スポンサードされるオブジェクトのインスタンスを生成するための手段と、
前記スポンサードされるオブジェクトのインスタンスを表示のために生成するための手段と
を備える、項目21に記載の装置。
(項目27)
前記スポンサードされるオブジェクトを用いて前記視覚コンテンツを拡張するための手段は、
前記視覚コンテンツ内の対象オブジェクトを識別するための手段と、
前記視覚コンテンツ内の前記対象オブジェクト上のアンカ点を識別するための手段と、
前記アンカ点に基づいて、前記スポンサードされるオブジェクトを表示のために生成するための手段と
を備える、項目21に記載の装置。
(項目28)
前記アンカ点に基づいて、前記スポンサードされるオブジェクトを表示のために生成するための手段は、
前記対象オブジェクト上の前記アンカ点を前記スポンサードされるオブジェクト上のアンカ点と相関させるための手段と、
前記スポンサードされるオブジェクト上の前記アンカ点が、前記対象オブジェクト上の前記アンカ点と重複するように、前記スポンサードされるオブジェクトを表示のために生成するための手段と
を備える、項目27に記載の装置。
(項目29)
前記スポンサードされるオブジェクトを用いて前記視覚コンテンツを拡張するための手段は、
前記視覚コンテンツ内の対象オブジェクトを識別するための手段と、
前記対象オブジェクトの特徴を識別するための手段と、
前記対象オブジェクトの特徴に基づいて、前記スポンサードされるオブジェクトのサイズを決定するための手段と、
前記決定されたサイズに従って、前記スポンサードされるオブジェクトを表示のために生成するための手段と
を備える、項目21に記載の装置。
(項目30)
前記スポンサードされるオブジェクトを用いて前記視覚コンテンツを拡張するための手段は、
前記視覚コンテンツを照明する光源の位置を決定するための手段と、
前記スポンサードされるオブジェクトのインスタンスを生成するための手段と、
前記視覚コンテンツを照明する前記光源の決定された位置に基づいて、前記スポンサードされるオブジェクトの視覚特性を調節することによって、前記スポンサードされるオブジェクトのインスタンスを修正するための手段と、
前記スポンサードされるオブジェクトの修正されたインスタンスを表示のために生成するための手段と
を備える、項目21に記載の装置。
(項目31)
非一過性コンピュータ可読媒体であって、前記非一過性コンピュータ可読媒体は、その上にエンコードされる命令を有し、前記命令は、制御回路によって実行されると、制御回路に、
視覚コンテンツを拡張するためのオブジェクトを選択する入力を受信することと、
前記選択されたオブジェクトの性質が、スポンサードされるオブジェクトのデータベース内に含まれるスポンサードされるオブジェクトの性質に合致するかどうかを決定することと、
前記選択されたオブジェクトの性質が、前記スポンサードされるオブジェクトの性質に合致すると決定することに応答して、前記スポンサードされるオブジェクトを用いて前記視覚コンテンツを拡張することと
を行わせる、非一過性コンピュータ可読媒体。
(項目32)
制御回路によって実行されると、制御回路に、前記選択されたオブジェクトの性質が、前記スポンサードされるオブジェクトのデータベース内に含まれる前記スポンサードされるオブジェクトの性質に合致しないと決定することに応答して、前記選択されたオブジェクトを用いて前記視覚コンテンツを拡張させる命令をさらに備える、項目31に記載の非一過性コンピュータ可読媒体。
(項目33)
前記入力は、第1の入力であり、前記非一過性コンピュータ可読媒体はさらに、制御回路によって実行されると、制御回路に、
少なくとも1つのレンズを介して、前記視覚コンテンツを捕捉することであって、前記視覚コンテンツは、実世界ビューを含む、ことと、
前記選択されたオブジェクトに関する標的位置を示す第2の入力を受信することと
を行わせる命令を備え、
前記スポンサードされるオブジェクトを用いて前記視覚コンテンツを拡張するための命令は、制御回路によって実行されると、制御回路に、前記標的位置に対応する前記実世界ビュー内の位置において前記スポンサードされるオブジェクトを表示のために生成する命令を備える、項目31に記載の非一過性コンピュータ可読媒体。
(項目34)
前記入力は、第1の入力であり、前記非一過性コンピュータ可読媒体はさらに、制御回路によって実行されると、制御回路に、
少なくとも1つのレンズを介して、前記視覚コンテンツを捕捉することであって、前記視覚コンテンツは、実世界ビューを含む、ことと、
前記選択されたオブジェクトに関する標的位置を示す第2の入力を受信することと
を行わせる命令を備え、
前記スポンサードされるオブジェクトを用いて前記視覚コンテンツを拡張するための命令は、制御回路によって実行されると、制御回路に、拡張された視覚コンテンツを表示のために生成する命令を備え、前記スポンサードされるオブジェクトは、前記標的位置に対応する前記実世界ビュー内の位置において前記実世界ビュー上にオーバーレイされる、項目31に記載の非一過性コンピュータ可読媒体。
(項目35)
前記選択されたオブジェクトの性質が、前記スポンサードされるオブジェクトのデータベース内に含まれる前記スポンサードされるオブジェクトの性質に合致するかどうかを決定するための命令は、制御回路によって実行されると、制御回路に、
前記選択されたオブジェクトの性質を識別することと、
前記選択されたオブジェクトの性質に合致する前記スポンサードされるオブジェクトに関して前記スポンサードされるオブジェクトのデータベースにクエリを行うことと
を行わせる命令を備える、項目31に記載の非一過性コンピュータ可読媒体。
(項目36)
前記スポンサードされるオブジェクトを用いて前記視覚コンテンツを拡張するための命令は、制御回路によって実行されると、制御回路に、
前記スポンサードされるオブジェクトのデータベースから、前記スポンサードされるオブジェクトのテンプレートを読み出すことと、
前記スポンサードされるオブジェクトのテンプレートに基づいて、前記スポンサードされるオブジェクトのインスタンスを生成することと、
前記スポンサードされるオブジェクトのインスタンスを表示のために生成することと
を行わせる命令を備える、項目31に記載の非一過性コンピュータ可読媒体。
(項目37)
前記スポンサードされるオブジェクトを用いて前記視覚コンテンツを拡張するための命令は、制御回路によって実行されると、制御回路に、
前記視覚コンテンツ内の対象オブジェクトを識別することと、
前記視覚コンテンツ内の前記対象オブジェクト上のアンカ点を識別することと、
前記アンカ点に基づいて、前記スポンサードされるオブジェクトを表示のために生成することと
を行わせる命令を備える、項目31に記載の非一過性コンピュータ可読媒体。
(項目38)
前記アンカ点に基づいて、前記スポンサードされるオブジェクトを表示のために生成するための命令は、制御回路によって実行されると、制御回路に、
前記対象オブジェクト上の前記アンカ点を前記スポンサードされるオブジェクト上のアンカ点と相関させることと、
前記スポンサードされるオブジェクト上の前記アンカ点が、前記対象オブジェクト上の前記アンカ点と重複するように、前記スポンサードされるオブジェクトを表示のために生成することと
を行わせる命令を備える、項目37に記載の非一過性コンピュータ可読媒体。
(項目39)
前記スポンサードされるオブジェクトを用いて前記視覚コンテンツを拡張するための命令は、制御回路によって実行されると、制御回路に、
前記視覚コンテンツ内の対象オブジェクトを識別することと、
前記対象オブジェクトの特徴を識別することと、
前記対象オブジェクトの特徴に基づいて、前記スポンサードされるオブジェクトのサイズを決定することと、
前記決定されたサイズに従って、前記スポンサードされるオブジェクトを表示のために生成することと
を行わせる命令を備える、項目31に記載の非一過性コンピュータ可読媒体。
(項目40)
前記スポンサードされるオブジェクトを用いて前記視覚コンテンツを拡張するための命令は、制御回路によって実行されると、制御回路に、
前記視覚コンテンツを照明する光源の位置を決定することと、
前記スポンサードされるオブジェクトのインスタンスを生成することと、
前記視覚コンテンツを照明する前記光源の決定された位置に基づいて、前記スポンサードされるオブジェクトの視覚特性を調節することによって、前記スポンサードされるオブジェクトのインスタンスを修正することと、
前記スポンサードされるオブジェクトの修正されたインスタンスを表示のために生成することと
を行わせる命令を備える、項目31に記載の非一過性コンピュータ可読媒体。
(項目41)
視覚コンテンツを拡張するための方法であって、前記方法は、
視覚コンテンツを拡張するためのオブジェクトを選択する入力を受信することと、
制御回路を介して、前記選択されたオブジェクトの性質が、スポンサードされるオブジェクトのデータベース内に含まれるスポンサードされるオブジェクトの性質に合致するかどうかを決定することと、
前記選択されたオブジェクトの性質が、前記スポンサードされるオブジェクトの性質に合致すると決定することに応答して、前記スポンサードされるオブジェクトを用いて前記視覚コンテンツを拡張することと
を含む、方法。
(項目42)
前記選択されたオブジェクトの性質が、前記スポンサードされるオブジェクトのデータベース内に含まれる前記スポンサードされるオブジェクトの性質に合致しないと決定することに応答して、前記選択されたオブジェクトを用いて前記視覚コンテンツを拡張することをさらに含む、項目41に記載の方法。
(項目43)
前記入力は、第1の入力であり、前記方法はさらに、
少なくとも1つのレンズを介して、前記視覚コンテンツを捕捉することであって、前記視覚コンテンツは、実世界ビューを含む、ことと、
前記選択されたオブジェクトに関する標的位置を示す第2の入力を受信することと
を含み、
前記スポンサードされるオブジェクトを用いて前記視覚コンテンツを拡張することは、前記標的位置に対応する前記実世界ビュー内の位置において前記スポンサードされるオブジェクトを表示のために生成することを含む、項目41-42に記載の方法。
(項目44)
前記入力は、第1の入力であり、前記方法はさらに、
少なくとも1つのレンズを介して、前記視覚コンテンツを捕捉することであって、前記視覚コンテンツは、実世界ビューを含む、ことと、
前記選択されたオブジェクトに関する標的位置を示す第2の入力を受信することと
を含み、
前記スポンサードされるオブジェクトを用いて前記視覚コンテンツを拡張することは、拡張された視覚コンテンツを表示のために生成することを含み、前記スポンサードされるオブジェクトは、前記標的位置に対応する前記実世界ビュー内の位置において前記実世界ビュー上にオーバーレイされる、項目41-43に記載の方法。
(項目45)
前記選択されたオブジェクトの性質が、前記スポンサードされるオブジェクトのデータベース内に含まれる前記スポンサードされるオブジェクトの性質に合致するかどうかを決定することは、
前記選択されたオブジェクトの性質を識別することと、
前記選択されたオブジェクトの性質に合致する前記スポンサードされるオブジェクトに関して前記スポンサードされるオブジェクトのデータベースにクエリを行うことと
を含む、項目41-44に記載の方法。
(項目46)
前記スポンサードされるオブジェクトを用いて前記視覚コンテンツを拡張することは、
前記スポンサードされるオブジェクトのデータベースから、前記スポンサードされるオブジェクトのテンプレートを読み出すことと、
前記スポンサードされるオブジェクトのテンプレートに基づいて、前記スポンサードされるオブジェクトのインスタンスを生成することと、
前記スポンサードされるオブジェクトのインスタンスを表示のために生成することと
を含む、項目41-45に記載の方法。
(項目47)
前記スポンサードされるオブジェクトを用いて前記視覚コンテンツを拡張することは、
前記視覚コンテンツ内の対象オブジェクトを識別することと、
前記視覚コンテンツ内の前記対象オブジェクト上のアンカ点を識別することと、
前記アンカ点に基づいて、前記スポンサードされるオブジェクトを表示のために生成することと
を含む、項目41-46に記載の方法。
(項目48)
前記アンカ点に基づいて、前記スポンサードされるオブジェクトを表示のために生成することは、
前記対象オブジェクト上の前記アンカ点を前記スポンサードされるオブジェクト上のアンカ点と相関させることと、
前記スポンサードされるオブジェクト上の前記アンカ点が、前記対象オブジェクト上の前記アンカ点と重複するように、前記スポンサードされるオブジェクトを表示のために生成することと
を含む、項目41-47に記載の方法。
(項目49)
前記スポンサードされるオブジェクトを用いて前記視覚コンテンツを拡張することは、
前記視覚コンテンツ内の対象オブジェクトを識別することと、
前記対象オブジェクトの特徴を識別することと、
前記対象オブジェクトの特徴に基づいて、前記スポンサードされるオブジェクトのサイズを決定することと、
前記決定されたサイズに従って、前記スポンサードされるオブジェクトを表示のために生成することと
を含む、項目41-48に記載の方法。
(項目50)
前記スポンサードされるオブジェクトを用いて前記視覚コンテンツを拡張することは、
前記視覚コンテンツを照明する光源の位置を決定することと、
前記スポンサードされるオブジェクトのインスタンスを生成することと、
前記視覚コンテンツを照明する前記光源の決定された位置に基づいて、前記スポンサードされるオブジェクトの視覚特性を調節することによって、前記スポンサードされるオブジェクトのインスタンスを修正することと、
前記スポンサードされるオブジェクトの修正されたインスタンスを表示のために生成することと
を含む、項目41-49に記載の方法。
本発明は、例えば、以下を提供する。
(項目1)
視覚コンテンツを拡張するための方法であって、前記方法は、
視覚コンテンツを拡張するためのオブジェクトを選択する入力を受信することと、
前記選択されたオブジェクトの性質が、スポンサードされるオブジェクトのデータベース内に含まれるスポンサードされるオブジェクトの性質に合致するかどうかを決定することと、
前記選択されたオブジェクトの性質が、前記スポンサードされるオブジェクトの性質に合致すると決定することに応答して、前記スポンサードされるオブジェクトを用いて前記視覚コンテンツを拡張することと
を含む、方法。
(項目2)
前記選択されたオブジェクトの性質が、前記スポンサードされるオブジェクトのデータベース内に含まれる前記スポンサードされるオブジェクトの性質に合致しないと決定することに応答して、前記選択されたオブジェクトを用いて前記視覚コンテンツを拡張することをさらに含む、項目1に記載の方法。
(項目3)
前記入力は、第1の入力であり、前記方法はさらに、
少なくとも1つのレンズを介して、前記視覚コンテンツを捕捉することであって、前記視覚コンテンツは、実世界ビューを含む、ことと、
前記選択されたオブジェクトに関する標的位置を示す第2の入力を受信することと
を含み、
前記スポンサードされるオブジェクトを用いて前記視覚コンテンツを拡張することは、前記標的位置に対応する前記実世界ビュー内の位置において前記スポンサードされるオブジェクトを表示のために生成することを含む、項目1に記載の方法。
(項目4)
前記入力は、第1の入力であり、前記方法はさらに、
少なくとも1つのレンズを介して、前記視覚コンテンツを捕捉することであって、前記視覚コンテンツは、実世界ビューを含む、ことと、
前記選択されたオブジェクトに関する標的位置を示す第2の入力を受信することと
を含み、
前記スポンサードされるオブジェクトを用いて前記視覚コンテンツを拡張することは、拡張された視覚コンテンツを表示のために生成することを含み、前記スポンサードされるオブジェクトは、前記標的位置に対応する前記実世界ビュー内の位置において前記実世界ビュー上にオーバーレイされる、項目1に記載の方法。
(項目5)
前記選択されたオブジェクトの性質が、前記スポンサードされるオブジェクトのデータベース内に含まれる前記スポンサードされるオブジェクトの性質に合致するかどうかを決定することは、
前記選択されたオブジェクトの性質を識別することと、
前記選択されたオブジェクトの性質に合致する前記スポンサードされるオブジェクトに関して前記スポンサードされるオブジェクトのデータベースにクエリを行うことと
を含む、項目1に記載の方法。
(項目6)
前記スポンサードされるオブジェクトを用いて前記視覚コンテンツを拡張することは、
前記スポンサードされるオブジェクトのデータベースから、前記スポンサードされるオブジェクトのテンプレートを読み出すことと、
前記スポンサードされるオブジェクトのテンプレートに基づいて、前記スポンサードされるオブジェクトのインスタンスを生成することと、
前記スポンサードされるオブジェクトのインスタンスを表示のために生成することと
を含む、項目1に記載の方法。
(項目7)
前記スポンサードされるオブジェクトを用いて前記視覚コンテンツを拡張することは、
前記視覚コンテンツ内の対象オブジェクトを識別することと、
前記視覚コンテンツ内の前記対象オブジェクト上のアンカ点を識別することと、
前記アンカ点に基づいて、前記スポンサードされるオブジェクトを表示のために生成することと
を含む、項目1に記載の方法。
(項目8)
前記アンカ点に基づいて、前記スポンサードされるオブジェクトを表示のために生成することは、
前記対象オブジェクト上の前記アンカ点を前記スポンサードされるオブジェクト上のアンカ点と相関させることと、
前記スポンサードされるオブジェクト上の前記アンカ点が、前記対象オブジェクト上の前記アンカ点と重複するように、前記スポンサードされるオブジェクトを表示のために生成することと
を含む、項目7に記載の方法。
(項目9)
前記スポンサードされるオブジェクトを用いて前記視覚コンテンツを拡張することは、
前記視覚コンテンツ内の対象オブジェクトを識別することと、
前記対象オブジェクトの特徴を識別することと、
前記対象オブジェクトの特徴に基づいて、前記スポンサードされるオブジェクトのサイズを決定することと、
前記決定されたサイズに従って、前記スポンサードされるオブジェクトを表示のために生成することと
を含む、項目1に記載の方法。
(項目10)
前記スポンサードされるオブジェクトを用いて前記視覚コンテンツを拡張することは、
前記視覚コンテンツを照明する光源の位置を決定することと、
前記スポンサードされるオブジェクトのインスタンスを生成することと、
前記視覚コンテンツを照明する前記光源の決定された位置に基づいて、前記スポンサードされるオブジェクトの視覚特性を調節することによって、前記スポンサードされるオブジェクトのインスタンスを修正することと、
前記スポンサードされるオブジェクトの修正されたインスタンスを表示のために生成することと
を含む、項目1に記載の方法。
(項目11)
視覚コンテンツを拡張するためのシステムであって、前記システムは、
制御回路であって、
視覚コンテンツを拡張するためのオブジェクトを選択する入力を受信することと、
前記選択されたオブジェクトの性質が、スポンサードされるオブジェクトのデータベース内に含まれるスポンサードされるオブジェクトの性質に合致するかどうかを決定することと、
前記選択されたオブジェクトの性質が、前記スポンサードされるオブジェクトの性質に合致すると決定することに応答して、前記スポンサードされるオブジェクトを用いて前記視覚コンテンツを拡張することと
を行うように構成される、制御回路
を備える、システム。
(項目12)
前記制御回路はさらに、前記選択されたオブジェクトの性質が、前記スポンサードされるオブジェクトのデータベース内に含まれる前記スポンサードされるオブジェクトの性質に合致しないと決定することに応答して、前記選択されたオブジェクトを用いて前記視覚コンテンツを拡張するように構成される、項目11に記載のシステム。
(項目13)
前記入力は、第1の入力であり、制御回路はさらに、
少なくとも1つのレンズを介して、前記視覚コンテンツを捕捉することであって、前記視覚コンテンツは、実世界ビューを含む、ことと、
前記選択されたオブジェクトに関する標的位置を示す第2の入力を受信することと、
前記スポンサードされるオブジェクトを用いて前記視覚コンテンツを拡張するとき、前記標的位置に対応する前記実世界ビュー内の位置において前記スポンサードされるオブジェクトを表示のために生成することと
を行うように構成される、項目11に記載のシステム。
(項目14)
前記入力は、第1の入力であり、制御回路はさらに、
少なくとも1つのレンズを介して、前記視覚コンテンツを捕捉することであって、前記視覚コンテンツは、実世界ビューを含む、ことと、
前記選択されたオブジェクトに関する標的位置を示す第2の入力を受信することと、
前記スポンサードされるオブジェクトを用いて前記視覚コンテンツを拡張するとき、拡張された視覚コンテンツを表示のために生成することであって、前記スポンサードされるオブジェクトは、前記標的位置に対応する前記実世界ビュー内の位置において前記実世界ビュー上にオーバーレイされる、ことと
を行うように構成される、項目11に記載のシステム。
(項目15)
前記選択されたオブジェクトの性質が、前記スポンサードされるオブジェクトのデータベース内に含まれる前記スポンサードされるオブジェクトの性質に合致するかどうかを決定するとき、制御回路はさらに、
前記選択されたオブジェクトの性質を識別することと、
前記選択されたオブジェクトの性質に合致する前記スポンサードされるオブジェクトに関して前記スポンサードされるオブジェクトのデータベースにクエリを行うことと
を行うように構成される、項目11に記載のシステム。
(項目16)
前記スポンサードされるオブジェクトを用いて前記視覚コンテンツを拡張するとき、制御回路はさらに、
前記スポンサードされるオブジェクトのデータベースから、前記スポンサードされるオブジェクトのテンプレートを読み出すことと、
前記スポンサードされるオブジェクトのテンプレートに基づいて、前記スポンサードされるオブジェクトのインスタンスを生成することと、
前記スポンサードされるオブジェクトのインスタンスを表示のために生成することと
を行うように構成される、項目11に記載のシステム。
(項目17)
前記スポンサードされるオブジェクトを用いて前記視覚コンテンツを拡張するとき、制御回路はさらに、
前記視覚コンテンツ内の対象オブジェクトを識別することと、
前記視覚コンテンツ内の前記対象オブジェクト上のアンカ点を識別することと、
前記アンカ点に基づいて、前記スポンサードされるオブジェクトを表示のために生成することと
を行うように構成される、項目11に記載のシステム。
(項目18)
前記アンカ点に基づいて、前記スポンサードされるオブジェクトを表示のために生成するとき、制御回路はさらに、
前記対象オブジェクト上の前記アンカ点を前記スポンサードされるオブジェクト上のアンカ点と相関させることと、
前記スポンサードされるオブジェクト上の前記アンカ点が、前記対象オブジェクト上の前記アンカ点と重複するように、前記スポンサードされるオブジェクトを表示のために生成することと
を行うように構成される、項目17に記載のシステム。
(項目19)
前記スポンサードされるオブジェクトを用いて前記視覚コンテンツを拡張するとき、制御回路はさらに、
前記視覚コンテンツ内の対象オブジェクトを識別することと、
前記対象オブジェクトの特徴を識別することと、
前記対象オブジェクトの特徴に基づいて、前記スポンサードされるオブジェクトのサイズを決定することと、
前記決定されたサイズに従って、前記スポンサードされるオブジェクトを表示のために生成することと
を行うように構成される、項目11に記載のシステム。
(項目20)
前記スポンサードされるオブジェクトを用いて前記視覚コンテンツを拡張するとき、制御回路はさらに、
前記視覚コンテンツを照明する光源の位置を決定することと、
前記スポンサードされるオブジェクトのインスタンスを生成することと、
前記視覚コンテンツを照明する前記光源の決定された位置に基づいて、前記スポンサードされるオブジェクトの視覚特性を調節することによって、前記スポンサードされるオブジェクトのインスタンスを修正することと、
前記スポンサードされるオブジェクトの修正されたインスタンスを表示のために生成することと
を行うように構成される、項目11に記載のシステム。
(項目21)
視覚コンテンツを拡張するための装置であって、
視覚コンテンツを拡張するためのオブジェクトを選択する入力を受信するための手段と、
前記選択されたオブジェクトの性質が、スポンサードされるオブジェクトのデータベース内に含まれるスポンサードされるオブジェクトの性質に合致するかどうかを決定するための手段と、
前記選択されたオブジェクトの性質が、前記スポンサードされるオブジェクトの性質に合致すると決定することに応答して、前記スポンサードされるオブジェクトを用いて前記視覚コンテンツを拡張するための手段と
を備える、装置。
(項目22)
前記選択されたオブジェクトの性質が、前記スポンサードされるオブジェクトのデータベース内に含まれる前記スポンサードされるオブジェクトの性質に合致しないと決定することに応答して、前記選択されたオブジェクトを用いて前記視覚コンテンツを拡張するための手段をさらに備える、項目21に記載の装置。
(項目23)
前記入力は、第1の入力であり、前記装置はさらに、
少なくとも1つのレンズを介して、前記視覚コンテンツを捕捉するための手段であって、前記視覚コンテンツは、実世界ビューを含む、手段と、
前記選択されたオブジェクトに関する標的位置を示す第2の入力を受信するための手段と
を備え、
前記スポンサードされるオブジェクトを用いて前記視覚コンテンツを拡張するための手段は、前記標的位置に対応する前記実世界ビュー内の位置において前記スポンサードされるオブジェクトを表示のために生成するための手段を備える、項目21に記載の装置。
(項目24)
前記入力は、第1の入力であり、前記装置はさらに、
少なくとも1つのレンズを介して、前記視覚コンテンツを捕捉するための手段であって、前記視覚コンテンツは、実世界ビューを含む、手段と、
前記選択されたオブジェクトに関する標的位置を示す第2の入力を受信するための手段と
を備え、
前記スポンサードされるオブジェクトを用いて前記視覚コンテンツを拡張するための手段は、拡張された視覚コンテンツを表示のために生成するための手段を備え、前記スポンサードされるオブジェクトは、前記標的位置に対応する前記実世界ビュー内の位置において前記実世界ビュー上にオーバーレイされる、項目21に記載の装置。
(項目25)
前記選択されたオブジェクトの性質が、前記スポンサードされるオブジェクトのデータベース内に含まれる前記スポンサードされるオブジェクトの性質に合致するかどうかを決定するための手段は、
前記選択されたオブジェクトの性質を識別するための手段と、
前記選択されたオブジェクトの性質に合致する前記スポンサードされるオブジェクトに関して前記スポンサードされるオブジェクトのデータベースにクエリを行うための手段と
を備える、項目21に記載の装置。
(項目26)
前記スポンサードされるオブジェクトを用いて前記視覚コンテンツを拡張するための手段は、
前記スポンサードされるオブジェクトのデータベースから、前記スポンサードされるオブジェクトのテンプレートを読み出すための手段と、
前記スポンサードされるオブジェクトのテンプレートに基づいて、前記スポンサードされるオブジェクトのインスタンスを生成するための手段と、
前記スポンサードされるオブジェクトのインスタンスを表示のために生成するための手段と
を備える、項目21に記載の装置。
(項目27)
前記スポンサードされるオブジェクトを用いて前記視覚コンテンツを拡張するための手段は、
前記視覚コンテンツ内の対象オブジェクトを識別するための手段と、
前記視覚コンテンツ内の前記対象オブジェクト上のアンカ点を識別するための手段と、
前記アンカ点に基づいて、前記スポンサードされるオブジェクトを表示のために生成するための手段と
を備える、項目21に記載の装置。
(項目28)
前記アンカ点に基づいて、前記スポンサードされるオブジェクトを表示のために生成するための手段は、
前記対象オブジェクト上の前記アンカ点を前記スポンサードされるオブジェクト上のアンカ点と相関させるための手段と、
前記スポンサードされるオブジェクト上の前記アンカ点が、前記対象オブジェクト上の前記アンカ点と重複するように、前記スポンサードされるオブジェクトを表示のために生成するための手段と
を備える、項目27に記載の装置。
(項目29)
前記スポンサードされるオブジェクトを用いて前記視覚コンテンツを拡張するための手段は、
前記視覚コンテンツ内の対象オブジェクトを識別するための手段と、
前記対象オブジェクトの特徴を識別するための手段と、
前記対象オブジェクトの特徴に基づいて、前記スポンサードされるオブジェクトのサイズを決定するための手段と、
前記決定されたサイズに従って、前記スポンサードされるオブジェクトを表示のために生成するための手段と
を備える、項目21に記載の装置。
(項目30)
前記スポンサードされるオブジェクトを用いて前記視覚コンテンツを拡張するための手段は、
前記視覚コンテンツを照明する光源の位置を決定するための手段と、
前記スポンサードされるオブジェクトのインスタンスを生成するための手段と、
前記視覚コンテンツを照明する前記光源の決定された位置に基づいて、前記スポンサードされるオブジェクトの視覚特性を調節することによって、前記スポンサードされるオブジェクトのインスタンスを修正するための手段と、
前記スポンサードされるオブジェクトの修正されたインスタンスを表示のために生成するための手段と
を備える、項目21に記載の装置。
(項目31)
非一過性コンピュータ可読媒体であって、前記非一過性コンピュータ可読媒体は、その上にエンコードされる命令を有し、前記命令は、制御回路によって実行されると、制御回路に、
視覚コンテンツを拡張するためのオブジェクトを選択する入力を受信することと、
前記選択されたオブジェクトの性質が、スポンサードされるオブジェクトのデータベース内に含まれるスポンサードされるオブジェクトの性質に合致するかどうかを決定することと、
前記選択されたオブジェクトの性質が、前記スポンサードされるオブジェクトの性質に合致すると決定することに応答して、前記スポンサードされるオブジェクトを用いて前記視覚コンテンツを拡張することと
を行わせる、非一過性コンピュータ可読媒体。
(項目32)
制御回路によって実行されると、制御回路に、前記選択されたオブジェクトの性質が、前記スポンサードされるオブジェクトのデータベース内に含まれる前記スポンサードされるオブジェクトの性質に合致しないと決定することに応答して、前記選択されたオブジェクトを用いて前記視覚コンテンツを拡張させる命令をさらに備える、項目31に記載の非一過性コンピュータ可読媒体。
(項目33)
前記入力は、第1の入力であり、前記非一過性コンピュータ可読媒体はさらに、制御回路によって実行されると、制御回路に、
少なくとも1つのレンズを介して、前記視覚コンテンツを捕捉することであって、前記視覚コンテンツは、実世界ビューを含む、ことと、
前記選択されたオブジェクトに関する標的位置を示す第2の入力を受信することと
を行わせる命令を備え、
前記スポンサードされるオブジェクトを用いて前記視覚コンテンツを拡張するための命令は、制御回路によって実行されると、制御回路に、前記標的位置に対応する前記実世界ビュー内の位置において前記スポンサードされるオブジェクトを表示のために生成する命令を備える、項目31に記載の非一過性コンピュータ可読媒体。
(項目34)
前記入力は、第1の入力であり、前記非一過性コンピュータ可読媒体はさらに、制御回路によって実行されると、制御回路に、
少なくとも1つのレンズを介して、前記視覚コンテンツを捕捉することであって、前記視覚コンテンツは、実世界ビューを含む、ことと、
前記選択されたオブジェクトに関する標的位置を示す第2の入力を受信することと
を行わせる命令を備え、
前記スポンサードされるオブジェクトを用いて前記視覚コンテンツを拡張するための命令は、制御回路によって実行されると、制御回路に、拡張された視覚コンテンツを表示のために生成する命令を備え、前記スポンサードされるオブジェクトは、前記標的位置に対応する前記実世界ビュー内の位置において前記実世界ビュー上にオーバーレイされる、項目31に記載の非一過性コンピュータ可読媒体。
(項目35)
前記選択されたオブジェクトの性質が、前記スポンサードされるオブジェクトのデータベース内に含まれる前記スポンサードされるオブジェクトの性質に合致するかどうかを決定するための命令は、制御回路によって実行されると、制御回路に、
前記選択されたオブジェクトの性質を識別することと、
前記選択されたオブジェクトの性質に合致する前記スポンサードされるオブジェクトに関して前記スポンサードされるオブジェクトのデータベースにクエリを行うことと
を行わせる命令を備える、項目31に記載の非一過性コンピュータ可読媒体。
(項目36)
前記スポンサードされるオブジェクトを用いて前記視覚コンテンツを拡張するための命令は、制御回路によって実行されると、制御回路に、
前記スポンサードされるオブジェクトのデータベースから、前記スポンサードされるオブジェクトのテンプレートを読み出すことと、
前記スポンサードされるオブジェクトのテンプレートに基づいて、前記スポンサードされるオブジェクトのインスタンスを生成することと、
前記スポンサードされるオブジェクトのインスタンスを表示のために生成することと
を行わせる命令を備える、項目31に記載の非一過性コンピュータ可読媒体。
(項目37)
前記スポンサードされるオブジェクトを用いて前記視覚コンテンツを拡張するための命令は、制御回路によって実行されると、制御回路に、
前記視覚コンテンツ内の対象オブジェクトを識別することと、
前記視覚コンテンツ内の前記対象オブジェクト上のアンカ点を識別することと、
前記アンカ点に基づいて、前記スポンサードされるオブジェクトを表示のために生成することと
を行わせる命令を備える、項目31に記載の非一過性コンピュータ可読媒体。
(項目38)
前記アンカ点に基づいて、前記スポンサードされるオブジェクトを表示のために生成するための命令は、制御回路によって実行されると、制御回路に、
前記対象オブジェクト上の前記アンカ点を前記スポンサードされるオブジェクト上のアンカ点と相関させることと、
前記スポンサードされるオブジェクト上の前記アンカ点が、前記対象オブジェクト上の前記アンカ点と重複するように、前記スポンサードされるオブジェクトを表示のために生成することと
を行わせる命令を備える、項目37に記載の非一過性コンピュータ可読媒体。
(項目39)
前記スポンサードされるオブジェクトを用いて前記視覚コンテンツを拡張するための命令は、制御回路によって実行されると、制御回路に、
前記視覚コンテンツ内の対象オブジェクトを識別することと、
前記対象オブジェクトの特徴を識別することと、
前記対象オブジェクトの特徴に基づいて、前記スポンサードされるオブジェクトのサイズを決定することと、
前記決定されたサイズに従って、前記スポンサードされるオブジェクトを表示のために生成することと
を行わせる命令を備える、項目31に記載の非一過性コンピュータ可読媒体。
(項目40)
前記スポンサードされるオブジェクトを用いて前記視覚コンテンツを拡張するための命令は、制御回路によって実行されると、制御回路に、
前記視覚コンテンツを照明する光源の位置を決定することと、
前記スポンサードされるオブジェクトのインスタンスを生成することと、
前記視覚コンテンツを照明する前記光源の決定された位置に基づいて、前記スポンサードされるオブジェクトの視覚特性を調節することによって、前記スポンサードされるオブジェクトのインスタンスを修正することと、
前記スポンサードされるオブジェクトの修正されたインスタンスを表示のために生成することと
を行わせる命令を備える、項目31に記載の非一過性コンピュータ可読媒体。
(項目41)
視覚コンテンツを拡張するための方法であって、前記方法は、
視覚コンテンツを拡張するためのオブジェクトを選択する入力を受信することと、
制御回路を介して、前記選択されたオブジェクトの性質が、スポンサードされるオブジェクトのデータベース内に含まれるスポンサードされるオブジェクトの性質に合致するかどうかを決定することと、
前記選択されたオブジェクトの性質が、前記スポンサードされるオブジェクトの性質に合致すると決定することに応答して、前記スポンサードされるオブジェクトを用いて前記視覚コンテンツを拡張することと
を含む、方法。
(項目42)
前記選択されたオブジェクトの性質が、前記スポンサードされるオブジェクトのデータベース内に含まれる前記スポンサードされるオブジェクトの性質に合致しないと決定することに応答して、前記選択されたオブジェクトを用いて前記視覚コンテンツを拡張することをさらに含む、項目41に記載の方法。
(項目43)
前記入力は、第1の入力であり、前記方法はさらに、
少なくとも1つのレンズを介して、前記視覚コンテンツを捕捉することであって、前記視覚コンテンツは、実世界ビューを含む、ことと、
前記選択されたオブジェクトに関する標的位置を示す第2の入力を受信することと
を含み、
前記スポンサードされるオブジェクトを用いて前記視覚コンテンツを拡張することは、前記標的位置に対応する前記実世界ビュー内の位置において前記スポンサードされるオブジェクトを表示のために生成することを含む、項目41-42に記載の方法。
(項目44)
前記入力は、第1の入力であり、前記方法はさらに、
少なくとも1つのレンズを介して、前記視覚コンテンツを捕捉することであって、前記視覚コンテンツは、実世界ビューを含む、ことと、
前記選択されたオブジェクトに関する標的位置を示す第2の入力を受信することと
を含み、
前記スポンサードされるオブジェクトを用いて前記視覚コンテンツを拡張することは、拡張された視覚コンテンツを表示のために生成することを含み、前記スポンサードされるオブジェクトは、前記標的位置に対応する前記実世界ビュー内の位置において前記実世界ビュー上にオーバーレイされる、項目41-43に記載の方法。
(項目45)
前記選択されたオブジェクトの性質が、前記スポンサードされるオブジェクトのデータベース内に含まれる前記スポンサードされるオブジェクトの性質に合致するかどうかを決定することは、
前記選択されたオブジェクトの性質を識別することと、
前記選択されたオブジェクトの性質に合致する前記スポンサードされるオブジェクトに関して前記スポンサードされるオブジェクトのデータベースにクエリを行うことと
を含む、項目41-44に記載の方法。
(項目46)
前記スポンサードされるオブジェクトを用いて前記視覚コンテンツを拡張することは、
前記スポンサードされるオブジェクトのデータベースから、前記スポンサードされるオブジェクトのテンプレートを読み出すことと、
前記スポンサードされるオブジェクトのテンプレートに基づいて、前記スポンサードされるオブジェクトのインスタンスを生成することと、
前記スポンサードされるオブジェクトのインスタンスを表示のために生成することと
を含む、項目41-45に記載の方法。
(項目47)
前記スポンサードされるオブジェクトを用いて前記視覚コンテンツを拡張することは、
前記視覚コンテンツ内の対象オブジェクトを識別することと、
前記視覚コンテンツ内の前記対象オブジェクト上のアンカ点を識別することと、
前記アンカ点に基づいて、前記スポンサードされるオブジェクトを表示のために生成することと
を含む、項目41-46に記載の方法。
(項目48)
前記アンカ点に基づいて、前記スポンサードされるオブジェクトを表示のために生成することは、
前記対象オブジェクト上の前記アンカ点を前記スポンサードされるオブジェクト上のアンカ点と相関させることと、
前記スポンサードされるオブジェクト上の前記アンカ点が、前記対象オブジェクト上の前記アンカ点と重複するように、前記スポンサードされるオブジェクトを表示のために生成することと
を含む、項目41-47に記載の方法。
(項目49)
前記スポンサードされるオブジェクトを用いて前記視覚コンテンツを拡張することは、
前記視覚コンテンツ内の対象オブジェクトを識別することと、
前記対象オブジェクトの特徴を識別することと、
前記対象オブジェクトの特徴に基づいて、前記スポンサードされるオブジェクトのサイズを決定することと、
前記決定されたサイズに従って、前記スポンサードされるオブジェクトを表示のために生成することと
を含む、項目41-48に記載の方法。
(項目50)
前記スポンサードされるオブジェクトを用いて前記視覚コンテンツを拡張することは、
前記視覚コンテンツを照明する光源の位置を決定することと、
前記スポンサードされるオブジェクトのインスタンスを生成することと、
前記視覚コンテンツを照明する前記光源の決定された位置に基づいて、前記スポンサードされるオブジェクトの視覚特性を調節することによって、前記スポンサードされるオブジェクトのインスタンスを修正することと、
前記スポンサードされるオブジェクトの修正されたインスタンスを表示のために生成することと
を含む、項目41-49に記載の方法。
本開示の上記および他の目的および利点は、同様の参照文字が全体を通して同様の部分を指す、付随の図面と併せて検討される、以下の詳細な説明の考慮に応じて明白となるであろう。
図1は、本開示のいくつかの実施形態による、スポンサードされるオブジェクトを用いて視覚コンテンツを拡張するためのユーザインターフェースの例証的実施例を示す。特に、図1は、拡張現実(AR)デバイス102が、ブランディング110を有するスポンサードされるオブジェクト108を用いて拡張されている、対象オブジェクト106を含む視覚コンテンツ104を表示する、シナリオ100を示す。ARデバイス102は、スマートフォン、タブレットコンピュータ、ARグラス、AR頭部搭載型ディスプレイ(HMD)、仮想現実(VR)HMD、または視覚コンテンツ104を表示するために使用可能な任意の他のユーザ機器、および/またはそれらの組み合わせ等の視覚および/または拡張されたコンテンツを表示することが可能な任意のデバイスであってもよい。
この点で、視覚コンテンツ104は、ライブビデオまたは他のライブ捕捉された動画像、3次元画像、パノラマまたは他の没入型画像(例えば、特定の視点を囲繞する360度画像または一連のライブ画像)、ライブVRまたはARレンダリング、および/または任意の他のライブ捕捉された視覚メディアまたはそれらの組み合わせである。例えば、視覚コンテンツ104は、1つ以上のレンズまたは画像捕捉デバイスから受信された画像のライブ捕捉またはライブストリームであってもよい。
対象オブジェクト106は、視覚コンテンツ104内に含まれる任意の特徴または要素であってもよい。対象オブジェクト106は、視覚コンテンツ104の焦点であってもよい(例えば、視覚コンテンツは、図1に示されるように、人物の画像であってもよい)、または視覚コンテンツ内に含まれる複数の特徴または要素のうちの1つであってもよい。スポンサードされるオブジェクト108は、下記にさらに説明されるように、ユーザが視覚コンテンツ104を拡張するために選択した一般的なオブジェクトに対応してもよい。いくつかの実施形態では、スポンサードされるオブジェクト108は、マーケターによって宣伝されている製品を表す。例えば、図1に示されるように、スポンサードされるオブジェクト108は、ブランディング110「RAY-BAN」がその上に含まれる、アビエータ眼鏡である。下記に説明される例証的実施形態では、ユーザは、視覚コンテンツ104を拡張するための一般的なアビエータサングラスを選択し、ARデバイス102は、代わりに、スポンサードされるオブジェクト108(例えば、RAY-BANアビエータ眼鏡)を用いて視覚コンテンツ104を拡張する。
図2Aは、視覚コンテンツを拡張するための例証的システムを示す。特に、図2Aは、ARデバイス102が視覚コンテンツ104を表示するシステム200を示す。視覚コンテンツ104は、ARデバイス102によって捕捉されてもよい、または通信リンク232を介してコンテンツソース210から受信されてもよい。コンテンツソース210は、それから視覚コンテンツ104がARデバイス102によって読み出され得る、任意のサーバまたは記憶デバイスであってもよい。通信リンク232は、それを用いて視覚コンテンツ104がコンテンツソース210から読み出され得る、任意のネットワークまたは通信機器または媒体であってもよい。一例証的実施例では、通信リンク232は、インターネットを介して接続されるデバイスを含む。
視覚コンテンツを拡張するための1つ以上のアプリケーションは、ARデバイス102、コンテンツソース210、および/またはアプリケーションサーバ220のうちのいずれか1つまたは組み合わせの上で実装されてもよく、そのそれぞれは、スタンドアロンデバイスとして機能してもよい、またはデバイスのネットワークの一部であってもよい。デバイスの種々のネットワーク構成が、実装されてもよく、下記により詳細に議論される。システム200では、複数のARデバイス102が、存在してもよいが、図2では、図面が複雑になり過ぎることを回避するように、1つのみが、示される。
ARデバイス102は、通信ネットワーク230に結合されてもよい。通信ネットワーク230は、インターネット、モバイル電話ネットワーク、モバイルボイスまたはデータネットワーク(例えば、4GまたはLTEネットワーク)、ケーブルネットワーク、公衆交換電話ネットワーク、または他のタイプの通信ネットワーク、または通信ネットワークの組み合わせを含む、1つ以上のネットワークであってもよい。コンテンツソース210、アプリケーションサーバ220、およびARデバイス102は、衛星経路、光ファイバ経路、ケーブル経路、フリースペース接続(例えば、無線信号のため)、または任意の他の好適な有線または無線通信経路、またはそのような経路の組み合わせ等の1つ以上の通信経路232を介して通信ネットワーク230に接続されてもよい。
通信経路232は、ARデバイス102とコンテンツソース210またはアプリケーションサーバ220との間には描かれていないが、これらのデバイスは、USBケーブル、IEEE 1394ケーブル、無線経路(例えば、Bluetooth(登録商標)、赤外線、IEEE 802-11x等)等の短距離ポイントツーポイント通信経路、または有線または無線経路を介した他の短距離通信等の通信経路232を介して、相互に直接通信してもよい。BLUETOOTH(登録商標)は、Bluetooth SIG, INC.によって所有される認証マークである。本デバイスはまた、通信ネットワーク230を介した間接経路を通して、相互に直接通信してもよい。
システム200は、1つを上回るコンテンツソース210を含んでもよいが、図2では、図面が複雑になり過ぎることを回避するように、1つのみが、示される。視覚コンテンツ104のためのソースであることに加えて、コンテンツソース210は、スポンサードされるオブジェクト108の1つ以上のデータベース212を含んでもよい。データベース212は、スポンサードされるオブジェクト108およびその対応するブランディング110の1つ以上のテーブルを含む。いくつかの実施形態では、データベース212は、スポンサードされるオブジェクト108と関連付けられる性質のテーブルを含む。例えば、図2Aに示されるように、データベース212は、2つのタイプのスポンサードされるオブジェクト(例えば、サングラスおよび帽子)が、それぞれと関連付けられる種々の性質(例えば、アビエータ、オーバーサイズ、角型)およびブランディング110(例えば、RAY-BAN、OAKLEY、NIKE、ADIDAS)とともに列挙されるテーブルを含む。いくつかの実施形態では、コンテンツソース210は、データベース212内に含まれるスポンサードされるオブジェクト108のそれぞれと関連付けられるスポンサードされるオブジェクト108の複数のテンプレートを記憶する。スポンサードされるオブジェクト108のテンプレートは、ARデバイス102および/またはアプリケーションサーバ220が、関連付けられるスポンサードされるオブジェクト108のインスタンス(例えば、レンダリング)を生成することを可能にする、設計パラメータおよび/または他のデータを含んでもよい。コンテンツソース210はまた、ARデバイス102から遠隔の場所において異なるタイプのコンテンツ(ユーザによって記憶される仮想コンテンツを含む)を含んでもよい。
メタデータは、視覚コンテンツ104および/または選択またはスポンサードされるオブジェクト108と関連付けられてもよい。メタデータは、対象オブジェクト106のインジケーションまたは性質、対象オブジェクト106の1つ以上のアンカ点または特徴、スポンサードされるオブジェクト108の性質、ユーザ選好、ユーザプロファイル情報、および/またはコンピュータが、選択されたオブジェクトをスポンサードされるオブジェクト108と合致させる、および/または仮想コンテンツ104内にスポンサードされるオブジェクト108を設置するための適切なサイズおよび位置を決定することを可能にする任意の他のタイプのデータを含んでもよい。
拡張コンテンツ生成アプリケーションは、例えば、上記に説明されるデバイスのうちの1つ以上のものの上に実装されるスタンドアロンアプリケーションであってもよい。例えば、拡張コンテンツ生成アプリケーションは、記憶装置308(図3を参照して下記に説明される)内に記憶され、ARデバイス102の制御回路304(図3を参照して下記に説明される)によって実行され得る、ソフトウェアまたは実行可能命令のセットとして実装されてもよい。いくつかの実施形態では、拡張コンテンツ生成アプリケーションは、クライアント/サーバアプリケーションであり、クライアントアプリケーションのみが、ARデバイス102上に常駐し、サーバアプリケーションは、アプリケーションサーバ220上に常駐する。例えば、拡張コンテンツ生成アプリケーションは、部分的に、ARデバイス102の制御回路304上のクライアントアプリケーションとして、およびアプリケーションサーバ220の制御回路304上で起動するサーバアプリケーションとして部分的にアプリケーションサーバ220上で、実装されてもよい。アプリケーションサーバ220の制御回路304によって実行されると、拡張コンテンツ生成アプリケーションは、制御回路304に、拡張コンテンツ生成アプリケーション出力(例えば、スポンサードされるオブジェクト108または拡張された視覚コンテンツ)を生成し、生成された出力をARデバイス102に伝送するように命令してもよい。サーバアプリケーションは、コンテンツソース210の制御回路304に、スポンサードされるオブジェクト108に関するテンプレートおよび/またはそれと関連付けられるメタデータをアプリケーションサーバ220および/またはARデバイス102に伝送するように命令してもよい。クライアントアプリケーションは、ARデバイス102の制御回路304に、拡張コンテンツ生成アプリケーション出力(例えば、スポンサードされるオブジェクト108および/または拡張されたコンテンツ)を生成するように命令してもよい。
ARデバイス102は、クラウドサービスにアクセスするために、クラウドコンピューティング環境内で動作してもよい。クラウドコンピューティング環境では、コンテンツ共有、記憶、または分配のための種々のタイプのコンピューティングサービス(例えば、情報サイトまたはソーシャルネットワーキングサイト)が、「クラウド」と称される、ネットワークアクセス可能コンピューティングおよび記憶リソースの集合によって提供される。例えば、コンテンツソース210およびアプリケーションサーバ220は、コンピューティングおよび記憶リソースをARデバイス102に提供する。クラウドリソースは、例えば、ウェブブラウザ、デスクトップアプリケーション、モバイルアプリケーション、および/またはそれらのアクセスアプリケーションの任意の組み合わせを使用して、ARデバイス102によってアクセスされてもよい。ARデバイス102は、アプリケーション配信のために、クラウドコンピューティングに依拠する、クラウドクライアントであってもよい、またはARデバイス102は、クラウドリソースにアクセスすることなく、ある機能性を有してもよい。いくつかの実施形態では、ARデバイス102は、図3に関連して説明される、アプリケーションサーバ220の処理回路306によって実施される処理動作等の処理動作のためにクラウドリソースを使用する。ARデバイス102上で起動するいくつかのアプリケーションは、クラウドアプリケーション、すなわち、インターネットを経由してサービスとして配信されるアプリケーションであり得る一方、他のアプリケーションは、ARデバイス102上で記憶および起動され得る。そのような実施形態の実施例は、図2Bを参照して下記にさらに説明される。
図2Bは、本開示のいくつかの実施形態による、視覚コンテンツがスポンサードされるオブジェクトを用いて拡張されるシナリオを示す。図2Bでは、仮想コンテンツ104は、ARデバイス260を用いて視認されるような実世界ビュー250である。図2Bに示される実施例では、実世界ビュー250は、車道を伴う家屋を含み、ユーザは、ARグラスを介して実世界ビュー250を視認する。ユーザは次いで、オブジェクトを用いて実世界ビュー250を拡張するための命令(例えば、音声コマンド)を提供し、ARデバイス260は、それを受信する。例えば、ユーザは、「車道におけるスポーツカーを示す」ための音声コマンドを提供してもよい。
命令を受信することに応じて、ARデバイス260は、ユーザによって選択されたオブジェクトを用いて実世界ビュー250を拡張する要求をアプリケーションサーバ220に送信する。アプリケーションサーバ220は、選択されたオブジェクトの性質(例えば、オブジェクトがスポーツカーであること)を識別し、選択されたオブジェクトの性質に合致するスポンサードされるオブジェクト108に関してコンテンツサーバ210のデータベース212にクエリを行う。コンテンツサーバ210は、次いで、合致するスポンサードされるオブジェクト108(例えば、スポンサードされるスポーツカーのテンプレート)をアプリケーションサーバ220に返す。スポンサードされるオブジェクト108を受信することに応じて、アプリケーションサーバ220は、ARデバイス260に提供するためのテンプレートに基づいて、スポンサードされるオブジェクト108のインスタンスを生成する、またはスポンサードされるオブジェクト108のテンプレートをARデバイス260に提供する。
ARデバイス260は、次いで、スポンサードされるオブジェクト108を表示のために生成する。例えば、図2Bに示されるように、ARグラスは、左ビュー265aと、右ビュー265bとを含む。左ビュー265aは、実世界ビュー250に合致する。右ビュー265bは、スポンサードされるオブジェクト108のインスタンス267がその上にオーバーレイされる実世界ビュー250を示す。例えば、右ビュー265bは、家屋の車道におけるスポーツカー267を示す。いくつかの実施形態では、ARデバイス260の左ビュー265aおよび右ビュー265bの両方が、スポンサードされるオブジェクト108のインスタンス267を表示する。
図3は、例証的ユーザデバイス300およびサーバデバイス320の一般化実施形態を示す。描写されるように、ユーザデバイス300は、スマートフォンまたはタブレットであってもよいが、当業者は、カメラ、ARまたは仮想現実グラス、または他の頭部搭載型ディスプレイ等の種々の他のデバイスもまた、スポンサードされるオブジェクトを用いて視覚コンテンツを拡張するために使用され得、ユーザデバイス300のものと同一の、またはそれに類似するコンポーネントを有し得ることを理解するであろう。ユーザデバイス300は、入力/出力(以降では「I/O」)経路302を介して、コンテンツおよびデータを受信してもよい。I/O経路302は、処理回路306および記憶装置308を含む制御回路304に、視覚コンテンツ(例えば、インターネットコンテンツ、ローカルエリアネットワーク(LAN)または広域ネットワーク(WAN)を経由して利用可能なコンテンツ、および/または他のコンテンツ)、視覚コンテンツを拡張するためのオブジェクト、およびデータを提供してもよい。制御回路304は、I/O経路302を使用して、コマンド、要求、および他の好適なデータを送信および受信するために使用されてもよい。I/O経路302は、制御回路304(具体的には、処理回路306)を1つ以上の通信経路(下記に説明される)に接続してもよい。I/O機能は、これらの通信経路のうちの1つ以上のものによって提供されてもよいが、図面が複雑になり過ぎることを回避するため、図3では単一の経路として示される。
制御回路304は、処理回路306等の任意の好適な処理回路に基づいてもよい。本明細書で参照されるように、処理回路は、1つ以上のマイクロプロセッサ、マイクロコントローラ、デジタル信号プロセッサ、プログラマブル論理デバイス、フィールドプログラマブルゲートアレイ(FPGA)、特定用途向け集積回路(ASIC)等に基づく回路を意味するように理解されるべきであり、マルチコアプロセッサ(例えば、デュアルコア、クアドコア、ヘクサコア、または任意の好適な数のコア)またはスーパーコンピュータを含んでもよい。いくつかの実施形態では、処理回路は、複数の別個のプロセッサまたは処理ユニット、例えば、複数の同一のタイプの処理ユニット(例えば、2つのIntel Core i7プロセッサ)または複数の異なるプロセッサ(例えば、Intel Core i5プロセッサおよびIntel Core i7プロセッサ)を横断して分散される。いくつかの実施形態では、制御回路304は、メモリ(すなわち、記憶回路308)内に記憶される拡張コンテンツ生成アプリケーションに関する命令を実行する。具体的には、制御回路304は、拡張コンテンツ生成アプリケーションによって、上記および下記に議論される機能を実施するように命令されてもよい。
クライアント/サーバベースの実施形態では、制御回路304は、拡張コンテンツ生成アプリケーションサーバまたは他のネットワークまたはサーバと通信するために好適な通信回路を含む。上記に言及される機能性を実行するための命令は、サーバ上に記憶されてもよい。通信回路は、ケーブルモデム、総合デジタル通信網(ISDN)モデム、デジタルサブスクライバ回線(DSL)モデム、電話モデム、イーサネット(登録商標)カード、または他の機器との通信のための無線モデム、または任意の他の好適な通信回路を含んでもよい。そのような通信は、インターネットまたは任意の他の好適な通信ネットワークまたは経路を伴ってもよい。加えて、通信回路は、デバイスのピアツーピア通信、または相互から遠隔の場所におけるデバイスの通信を可能にする回路を含んでもよい。
メモリは、制御回路304の一部である、記憶回路308として提供される、電子記憶デバイスであってもよい。本明細書で参照されるように、語句「電子記憶デバイス」または「記憶デバイス」は、ランダムアクセスメモリ、ハードドライブ、光学ドライブ、ソリッドステートデバイス、量子記憶デバイス、または任意の他の好適な固定またはリムーバブル記憶デバイス、および/またはそれらの任意の組み合わせ等の電子データ、コンピュータソフトウェア、またはファームウェアを記憶するための任意のデバイスを意味するように理解されるべきである。不揮発性メモリもまた、(例えば、ブートアップルーチンおよび他の命令を起動するために)使用されてもよい。図2に関連して説明されるクラウドベースの記憶装置が、記憶回路308を補完するために、または記憶回路308の代わりに使用されてもよい。
制御回路304は、画像生成回路および/または画像処理回路を含んでもよい。制御回路304は、視覚コンテンツおよび/または拡張されたコンテンツを受信し、表示する、再生する、および/または記録するためにユーザデバイス300によって使用されてもよい。例えば、画像生成回路または画像処理回路を含む、本明細書に説明される回路は、1つ以上の汎用または特殊化プロセッサ上で起動するソフトウェアを使用して実装されてもよい。記憶回路308が、ユーザデバイス300とは別個のデバイスとして提供される場合、画像生成回路または画像処理回路は、記憶回路308と関連付けられてもよい。
サーバデバイス320は、単一、アレイ、および/またはクラウドアーキテクチャにおいて実装されてもよい。サーバデバイス320は、処理回路306および記憶回路308を含む、制御回路304に接続される、I/O経路302を含む。サーバデバイス320のI/O経路302、制御回路304、処理回路306、および記憶回路308は、ユーザデバイス300のI/O経路302、制御回路304、処理回路306、および記憶回路308に類似し得、類似する特徴および機能性を有し得る。
ユーザは、ユーザデバイス300のユーザ入力インターフェース310を使用して、命令を制御回路304に送信してもよい。ユーザ入力インターフェース310は、リモートコントロール、マウス、トラックボール、キーパッド、キーボード、タッチスクリーン、タッチパッド、スタイラス入力、ジョイスティック、音声認識インターフェース、または他のユーザ入力インターフェース等の任意の好適なユーザインターフェースであってもよい。ディスプレイ312は、タッチスクリーンまたはタッチ感応ディスプレイであってもよい。そのような状況では、ユーザ入力インターフェース310は、ディスプレイ312と統合される、または組み合わせられてもよい。スピーカ314は、ユーザデバイス300の他の要素と統合されたものとして提供されてもよい。ユーザデバイス300はさらに、1つ以上のレンズ316aおよび/または316bを含んでもよい。レンズ316a、316bは、本明細書に説明されるように、仮想コンテンツを捕捉するために使用されてもよい。
拡張コンテンツ生成アプリケーションは、任意の好適なアーキテクチャを使用して実装されてもよい。例えば、これは、ユーザデバイス300上で完全に実装される、スタンドアロンアプリケーションであってもよい。本明細書に説明される実施形態のうちのいずれかを実施するための拡張コンテンツ生成アプリケーションおよび/または任意の命令は、コンピュータ可読媒体上でエンコードされてもよい。コンピュータ可読媒体は、データを記憶することが可能な任意の媒体を含む。いくつかの実施形態では、コンテンツ生成アプリケーションは、クライアント/サーバベースのアプリケーションである。ユーザデバイス300上に実装される、シックまたはシンクライアントによって使用するためのデータは、ユーザデバイス300から遠隔にあるサーバデバイス320等のサーバに要求を発行することによって、オンデマンドで読み出される。例えば、ユーザデバイス300は、入力インターフェース310を介してユーザから入力を受信し、対応する出力を処理および生成するために、それらの入力を遠隔サーバに伝送してもよい。生成された出力は、次いで、ユーザへの提示のためにユーザデバイス300に伝送される。当業者は、図1のARデバイス102および図2BのARデバイス260が、図3のユーザデバイス300として実装され得ることを理解するであろう。
図4は、本開示のいくつかの実施形態による、スポンサードされるオブジェクトを用いて視覚コンテンツを拡張するための例証的プロセスのフローチャートである。スポンサードされるオブジェクトを用いて視覚コンテンツを拡張するステップを提供するためのプロセス400が、ブロック402において開始されてもよく、上記に説明される制御回路304等の制御回路は、実世界ビュー250を含む視覚コンテンツ104を捕捉する。制御回路304は、1つ以上のレンズ316を介して視覚コンテンツ104を捕捉してもよい。いくつかの実施形態では、制御回路304は、記憶装置308から視覚コンテンツ104を読み出す。例えば、制御回路304は、人物の画像を捕捉してもよい。
ブロック404において、制御回路304は、視覚コンテンツ104を拡張するための一般的なオブジェクトを選択する入力を受信する。制御回路304は、ユーザ入力インターフェース310を介して入力を受信してもよい。例えば、制御回路304は、視覚コンテンツ104を拡張するための一般的なオブジェクトを選択する、タッチ入力をユーザ入力インターフェース310を介してユーザから受信する、または視覚コンテンツ104を拡張するための一般的なオブジェクトを選択する音声コマンドを受信する。いくつかの実施形態では、ディスプレイ312は、利用可能な一般的なオブジェクトのリストを表示し、制御回路304は、次いで、ユーザ入力インターフェース310を介して、利用可能な一般的なオブジェクトのうちの1つの選択を受信する。
ブロック406において、制御回路304は、選択されたオブジェクトの性質を識別する。制御回路304は、選択されたオブジェクトの性質を識別するために、選択されたオブジェクトと関連付けられるメタデータを分析してもよい。いくつかの実施形態では、制御回路304は、選択されたオブジェクトの性質を識別するために、音声コマンドの一部として受信されたオーディオを処理する。選択されたオブジェクトの性質は、明示的性質(例えば、音声コマンドは、選択されたオブジェクトの性質を規定し得る)または暗示的性質(例えば、制御回路304は、最初に、選択されたオブジェクトの性質を識別するために、選択されたオブジェクトの内容を識別する必要がある)であってもよい。例えば、制御回路304は、ユーザから音声コマンドを受信し、音声コマンドが、アビエータ眼鏡を伴う視覚コンテンツ104を拡張する命令を含むと決定し、次いで、アビエータ眼鏡の性質(例えば、キーワード、識別子、特性等)を識別してもよい。
ブロック408において、制御回路304は、選択されたオブジェクトの性質が、スポンサードされるオブジェクト108の性質に合致するかどうかを決定する。図6を参照して下記にさらに説明されるように、制御回路304は、ブロック406において識別された選択されたオブジェクトの性質に合致するスポンサードされるオブジェクトに関してスポンサードされるオブジェクトのデータベース212にクエリを行ってもよい。選択されたオブジェクトの性質が、スポンサードされるオブジェクト108の性質に合致すると決定することに応答して、プロセス400は、ブロック410に進む。選択されたオブジェクトの性質が、任意のスポンサードされるオブジェクトの性質に合致しないと決定することに応答して、プロセス400は、ブロック412に進む。
ブロック410において、制御回路304は、選択されたオブジェクトの代わりに、スポンサードされるオブジェクト108を用いて視覚コンテンツ104を拡張する。図5および7-9を参照して下記にさらに説明されるように、制御回路304は、スポンサードされるオブジェクト108を視覚コンテンツ104上にオーバーレイしてもよい、またはスポンサードされるオブジェクト108および視覚コンテンツ104を含む拡張されたコンテンツを生成してもよい。例えば、制御回路304は、スポンサードされるアビエータ眼鏡を人物の画像上にオーバーレイしてもよい。
ブロック412において、制御回路304は、選択されたオブジェクトを用いて視覚コンテンツを拡張する。例えば、制御回路304は、ブロック404において選択された一般的なオブジェクトを視覚コンテンツ104上にオーバーレイする。
図5は、本開示のいくつかの実施形態による、スポンサードされるオブジェクト108を用いて視覚コンテンツ104を拡張するための詳細な例証的プロセスのフローチャートである。視覚コンテンツを拡張するためのプロセス500が、ブロック502において開始されてもよい。
ブロック504において、制御回路304は、選択されたオブジェクトに関する標的位置を示す第2の入力を受信する。制御回路304は、選択されたオブジェクトを設置するべき仮想コンテンツ104内の位置を規定するユーザからのタッチ入力を介して等、ユーザ入力インターフェース310を介して第2の入力を受信してもよい。いくつかの実施形態では、制御回路304は、オブジェクトを選択する第1の音声コマンドとともに、またはそれとは別個のいずれかで、音声コマンドとして第2の入力を受信し、選択されたオブジェクトを設置する場所を規定する。例えば、制御回路304は、「車道におけるスポーツカーを示す」ように制御回路304に命令する音声コマンドを受信する。制御回路304は、次いで、音声コマンドを処理し、スポーツカーが、選択されたオブジェクトであり、車道が、標的位置であると決定してもよい。
ブロック506において、制御回路304は、視覚コンテンツ104が、表示のために生成されているかどうかを決定する。制御回路304は、ブロック402において捕捉された視覚コンテンツ104が、表示のために生成されている(例えば、視覚コンテンツ104が、ARデバイス102上に表示される)、または単に、処理目的のために捕捉された(例えば、視覚コンテンツ104が、表示されない、すなわち、実世界ビュー250が、ARデバイス260を通して視認される)かどうかを決定してもよい。視覚コンテンツ104が、表示のために生成されていないと決定することに応答して、プロセス500は、ブロック508に進む。視覚コンテンツ104が、表示のために生成されていると決定することに応答して、プロセス500は、ブロック510に進む。
ブロック508において、制御回路304は、標的位置に対応する実世界ビュー250内のある位置においてスポンサードされるオブジェクト108を表示のために生成する。例えば、制御回路304は、これが、車道にあるように見えるように、スポンサードされるスポーツカーを表示のために生成する。この点で、標的位置は、いったん識別されると、実世界ビュー250内の固定位置であり得、制御回路304は、これが、実世界ビュー250内の標的位置にあるように見えるように、スポンサードされるオブジェクト108を表示するためのARデバイス260のディスプレイ上の場所を決定する。
ブロック510において、制御回路304は、拡張された視覚コンテンツを表示のために生成し、スポンサードされるオブジェクトは、標的位置に対応する実世界ビュー250内のある位置において実世界ビュー250上にオーバーレイされる。例えば、制御回路304は、標的位置に合致する視覚コンテンツ104上の位置を識別し、標的位置に合致する位置において視覚コンテンツ104上にスポンサードされるオブジェクト108をオーバーレイする。
図6は、本開示のいくつかの実施形態による、選択されたオブジェクトの性質が、スポンサードされるオブジェクト108の性質に合致するかどうかを決定するための詳細な例証的プロセスのフローチャートである。選択されたオブジェクトの性質が、スポンサードされるオブジェクト108の性質に合致するかどうかを決定するためのプロセス600が、ブロック602において開始されてもよい。
ブロック604において、制御回路304は、ブロック406において識別された選択されたオブジェクトの性質に合致するスポンサードされるオブジェクト108に関してスポンサードされるオブジェクト108のデータベース212にクエリを行う。いくつかの実施形態では、制御回路304は、ブロック406において識別された選択されたオブジェクトの性質に合致するスポンサードされるオブジェクト108に関する要求をコンテンツサーバ210に送信し、コンテンツサーバ210は、識別された性質に合致するスポンサードされるオブジェクト108に関してデータベース212にクエリを行う。
ブロック606において、制御回路304は、データベース212が、ブロック406において識別された選択されたオブジェクトの性質に合致するスポンサードされるオブジェクト108を返したかどうかを決定する。例えば、制御回路304は、任意のオブジェクトが、ブロック604のクエリに応答して返されたかどうかを決定する。データベース212が、任意のスポンサードされるオブジェクト108を返していないと決定することに応答して、プロセス600は、終了する。データベース212が、スポンサードされるオブジェクト108を返したと決定することに応答して、プロセス600は、ブロック608に進む。
ブロック608において、制御回路304は、ブロック406において識別された選択されたオブジェクトの性質に合致するスポンサードされるオブジェクト108のテンプレートを読み出す。制御回路304は、コンテンツソース210から、および/またはデータベース212から、スポンサードされるオブジェクト108のテンプレートを読み出してもよい。例えば、データベース212は、ブロック604のクエリに応答して、スポンサードされるオブジェクト108の識別子を返してもよく、制御回路304は、次いで、コンテンツソース210からの識別子に合致するスポンサードされるオブジェクト108を読み出す。
ブロック610において、制御回路304は、ブロック608において読み出されたテンプレートに基づいて、スポンサードされるオブジェクト108のインスタンスを生成する。例えば、テンプレートは、設計仕様および/またはスポンサードされるオブジェクト108を記述する他のデータを含んでもよく、制御回路304は、設計仕様に従って、スポンサードされるオブジェクト108のインスタンスを生成してもよい。
ブロック612において、制御回路304は、ブロック610において生成されたスポンサードされるオブジェクト108のインスタンスを表示のために生成する。例えば、制御回路304は、ブロック410、508、および/または510において説明されるように、ARデバイス102および/またはARデバイス260にスポンサードされるオブジェクト108のインスタンスを表示させてもよい。
図7は、本開示のいくつかの実施形態による、スポンサードされるオブジェクト108を用いて視覚コンテンツ104を拡張するための詳細な例証的プロセスのフローチャートである。視覚コンテンツを拡張するためのプロセス700が、ブロック702において開始されてもよい。
ブロック704において、制御回路304は、視覚コンテンツ104内の対象オブジェクト106を識別する。例えば、制御回路304は、視覚コンテンツ104内の対象オブジェクト106を識別するために、オブジェクト検出および/またはパターン認識アルゴリズムを使用することによって等、視覚コンテンツ104を処理する。いくつかの実施形態では、対象オブジェクト106は、視覚コンテンツ104の焦点である。例えば、視覚コンテンツ104が、人物の画像である実施形態では、人物は、視覚コンテンツ104内の対象オブジェクト106である。視覚コンテンツが、車道を伴う家屋の実世界ビュー250である別の実施例では、車道は、対象オブジェクト106であり得る。対象オブジェクト106は、ユーザから受信される入力において規定されてもよい、または視覚コンテンツ104に基づいて自動的に決定されてもよい。例えば、ユーザが、ARデバイス260に「車道におけるスポーツカーを示す」ように命令するコマンドを提供する場合、制御回路304は、車道のユーザの仕様が、視覚コンテンツ104内の対象オブジェクト106を示すと決定してもよく、次いで、車道を識別するために視覚コンテンツ104を処理してもよい。
ブロック706において、制御回路304は、対象オブジェクト106上のアンカ点を識別する。例えば、制御回路304は、対象オブジェクト106が、任意の識別可能な目印を含むかどうかを決定する。対象オブジェクト106が、人物である実施形態では、目印は、人物の眼または鼻等の顔の特徴であってもよく、制御回路304は、視覚コンテンツ104内の人物の眼または鼻を識別してもよい。制御回路304は、次いで、顔の特徴のうちの1つ以上のものをアンカ点として識別してもよい。いくつかの実施形態では、制御回路304は、ブロック704において識別された対象オブジェクト106のタイプに基づいて、識別するべき目印を決定する。例えば、制御回路304が、対象オブジェクト106を人物であるとして識別する場合、制御回路304は、人物の画像内に含まれ得る潜在的目印および/または目印のテンプレートに関してデータベースにクエリを行い、次いで、視覚コンテンツ104を処理し、視覚コンテンツ104内の潜在的目印を識別し、それからアンカ点を識別してもよい。
ブロック708において、制御回路304は、対象オブジェクト106上のアンカ点をスポンサードされるオブジェクト108上のアンカ点と相関させる。例えば、制御回路304は、スポンサードされるオブジェクト108上のアンカ点を識別するために、スポンサードされるオブジェクト108と関連付けられるメタデータを読み出してもよい。メタデータはさらに、対象オブジェクト106上のアンカ点のタイプに対応するスポンサードされるオブジェクト108上のアンカ点を示してもよい。例えば、メタデータは、スポンサードされるオブジェクト108上の特定のアンカ点が、人物の鼻梁上のアンカ点と相関されるべきであると示してもよい。制御回路304は、次いで、識別されたスポンサードされるオブジェクト108上のアンカ点を決定し、それらのアンカ点が、メタデータ内に示されるアンカ点のうちのいずれかに合致するかどうかを決定する。
ブロック710において、制御回路304は、識別されるべき対象オブジェクト106上の任意の付加的アンカ点が、存在するかどうかを決定する。例えば、制御回路304は、ブロック704において識別された対象オブジェクトのタイプに基づいて、識別されるべき任意の既知の潜在的目印が、残っているかどうかを決定し、該当する場合、したがって、識別されるべきそれらの目印と関連付けられる付加的アンカ点が、存在すると決定してもよい。識別されるべき対象オブジェクト106上の付加的アンカ点が、存在すると決定することに応答して、プロセス700は、ブロック706に戻る。いかなる識別されるべき対象オブジェクト106上の付加的アンカ点も、存在しないと決定することに応答して、プロセス700は、ブロック712に進む。
ブロック712において、制御回路304は、ブロック708において識別されたスポンサードされるオブジェクト108上のアンカ点が、ブロック706において識別された対象オブジェクト106上のアンカ点と重複するように、スポンサードされるオブジェクト108を表示のために生成する。例えば、制御回路304は、スポンサードされるオブジェクト108上のアンカ点が、対象オブジェクト106上のアンカ点と重複するように、スポンサードされるオブジェクト108を視覚コンテンツ104上にオーバーレイする。
図8は、本開示のいくつかの実施形態による、スポンサードされるオブジェクト108を用いて視覚コンテンツ104を拡張するための詳細な例証的プロセスのフローチャートである。視覚コンテンツを拡張するためのプロセス800が、ブロック802において開始されてもよい。
ブロック804において、制御回路304は、視覚コンテンツ104内の対象オブジェクト106を識別する。対象オブジェクト106を識別するためのプロセスは、ブロック704において説明されるプロセスに類似し得、簡潔にする目的のために繰り返されないであろう。
ブロック806において、制御回路304は、対象オブジェクト106の特徴を識別する。いくつかの実施形態では、視覚コンテンツ104内の対象オブジェクト106を識別した後、制御回路304は、対象オブジェクト106の潜在的特徴を示すデータを読み出す。例えば、制御回路304が、対象オブジェクト106を人物であるとして識別する場合、制御回路304は、人物上で見出される特徴のタイプを示すデータをコンテンツソース210から読み出してもよい。対象オブジェクト106の特徴は、対象オブジェクト106の頭部または対象オブジェクト106の相対的サイズを示すある他の部分であってもよい。制御回路304は、次いで、視覚コンテンツ内の特徴を識別してもよい。
ブロック808において、制御回路304は、識別されるべき付加的特徴が、存在するかどうかを決定する。例えば、制御回路304は、コンテンツソース210から読み出された対象オブジェクト106の潜在的特徴がそれぞれ、識別された、または視覚コンテンツ104内で識別不可能であると決定されたかどうかを決定してもよい。識別されるべき対象オブジェクト106の付加的特徴が、存在すると決定することに応答して、プロセス800は、ブロック806に戻る。いかなる識別されるべき対象オブジェクト106の付加的特徴も、残されていないと決定することに応答して、プロセス800は、ブロック810に進む。
ブロック810において、制御回路304は、スポンサードされるオブジェクト108のサイズを決定する。例えば、制御回路304は、ブロック806において識別された対象オブジェクト106の特徴のサイズに基づいて、スポンサードされるオブジェクト108のあるべき相対的サイズを決定してもよい。いくつかの実施形態では、制御回路304は、対象オブジェクト106の特徴に対するスポンサードされるオブジェクト108の相対的サイズを示すデータを(例えば、スポンサードされるオブジェクト108と関連付けられるメタデータから)読み出す。
ブロック812において、制御回路304は、ブロック810において決定されたサイズに従って、スポンサードされるオブジェクト108を表示のために生成する。例えば、制御回路304は、コンテンツソース210から読み出されたテンプレートに基づいて、スポンサードされるオブジェクト108のインスタンスを生成し、対象オブジェクト106の特徴に対するスポンサードされるオブジェクト108の相対的サイズを示すデータに従って、インスタンスをスケーリングする。
図9は、本開示のいくつかの実施形態による、スポンサードされるオブジェクト108を用いて視覚コンテンツ104を拡張するための詳細な例証的プロセスのフローチャートである。視覚コンテンツを拡張するためのプロセス900が、ブロック902において開始されてもよい。
ブロック904において、制御回路304は、視覚コンテンツ104を照明する光源の位置を決定する。例えば、制御回路304は、影または比較的に高い光度の面積および比較的に低い光度の面積を識別するために、視覚コンテンツ104を処理する。制御回路304は、次いで、影の角度を決定する、または低光度の面積に対する高光度の面積の相対的位置を決定し、影の角度または低光度の面積に対する高光度の面積の相対的位置に基づいて、視覚コンテンツ104を照明する光源の位置を決定する。
ブロック906において、制御回路304は、視覚コンテンツ104を照明する付加的光源が、存在するかどうかを決定する。例えば、制御回路304は、影の角度および/または低光度の面積に対する高光度の面積の相対的位置が、識別されていない光源が視覚コンテンツ104を照明していることを示すかどうかを決定する。視覚コンテンツ104を照明する付加的光源が、存在すると決定することに応答して、プロセス900は、ブロック904に戻る。いかなる視覚コンテンツ104を照明する付加的光源も、存在しないと決定することに応答して、プロセス900は、ブロック908に進む。
ブロック908において、制御回路304は、スポンサードされるオブジェクト108のインスタンスを生成する。例えば、ブロック610において説明されるように、制御回路304は、スポンサードされるオブジェクト108のテンプレートを読み出し、テンプレート内に含まれる設計仕様に基づいて、スポンサードされるオブジェクト108のインスタンスを表示のために生成する。
ブロック910において、制御回路304は、ブロック904において決定された光源の位置に基づいて、スポンサードされるオブジェクト108のインスタンスを修正する。例えば、制御回路304は、光源の決定された位置に基づいて、スポンサードされるオブジェクト108のインスタンスの色、輝度、光度、および/または影を調節してもよい。
ブロック912において、制御回路304は、スポンサードされるオブジェクト108の修正されたインスタンスを表示のために生成する。例えば、ブロック612において説明されるように、制御回路304は、スポンサードされるオブジェクト108の修正されたインスタンスを視覚コンテンツ104上にオーバーレイする。
プロセス400-900またはそれらの任意のステップは、図1-3に示されるデバイスのうちのいずれかの上で実施される、またはそれによって提供され得ることに留意されたい。例えば、プロセスは、ARデバイス102、コンテンツソース210、および/またはアプリケーションサーバ220上で実装される拡張コンテンツ生成アプリケーションによって命令されるように、制御回路304(図3)によって実行されてもよい。加えて、プロセスの1つ以上のステップは、省略される、修正される、および/または任意の他のプロセスまたは実施形態の1つ以上のステップの中に組み込まれる、またはそれと組み合わせられてもよい(例えば、プロセス600からのステップは、プロセス800からのステップと組み合わせられてもよい)。加えて、図4-9に関連して説明されるステップおよび説明は、本開示の目的を促すために、代替順序で、または並行して行われてもよい。例えば、これらのステップはそれぞれ、本システムまたは方法の遅れを低減させる、または速度を増加させるように、任意の順序で、または並行して、または実質的に同時に実施されてもよい。
本発明に伴う方法は、コンピュータ使用可能および/または可読媒体を含む、コンピュータプログラム製品において具現化され得ることが、当業者に明白となるであろう。例えば、そのようなコンピュータ使用可能媒体は、その上に記憶されるコンピュータ可読プログラムコードを有する、CD-ROMディスクまたは従来のROMデバイス等の読取専用メモリデバイスまたはハードドライブデバイスまたはコンピュータディスケット等のランダムアクセスメモリから成ってもよい。また、本開示に伴う方法、技法、およびプロセスは、処理回路を使用して実行され得ることを理解されたい。
上記に議論されるプロセスは、限定的ではなく、例証的であることを意図している。より一般的には、上記の開示は、限定ではなく、例示的であることを意味している。続く請求項のみが、本発明が含むものに関する境界を設定することを意味している。さらに、任意の1つの実施形態に説明される特徴および限定は、本明細書の任意の他の実施形態に適用され得、一実施形態に関するフローチャートまたは実施例は、好適な様式で任意の他の実施形態と組み合わせられる、異なる順序で行われる、または並行して行われ得ることに留意されたい。加えて、本明細書に説明されるシステムおよび方法は、リアルタイムで実施されてもよい。また、上記に説明されるシステムおよび/または方法は、他のシステムおよび/または方法に適用される、またはそれらに従って使用され得ることにも留意されたい。
Claims (20)
- コンピュータ実装方法であって、
ある人物の画像を表示のために生成することと、
前記人物の前記画像の上にオーバーレイされるオブジェクトの選択をユーザインターフェース介して受信することと、
前記選択されたオブジェクトが、スポンサードされた複数のオブジェクトを示すものと複数の対応する特徴とを格納している拡張データベースに含まれている特徴に関連付けられているかどうかを決定することと、
前記選択されたオブジェクトが、前記拡張データベースに含まれている前記特徴に関連付けられていることを決定することに応答して、
前記選択されたオブジェクトの前記特徴に関連付けられているスポンサードされたオブジェクトと共に前記人物の前記画像がオーバーレイされるようにすることであって、前記スポンサードされたオブジェクトは、前記選択されたオブジェクトとは視覚的に区別することが可能である、ことと
を含むコンピュータ実装方法。 - 前記人物の前記画像は、カメラによって捕捉され、かつ、表示のために生成中のライブビデオに含まれている、請求項1に記載の方法。
- 前記選択されたオブジェクトの前記特徴は、前記オブジェクトのタイプであり、
前記スポンサードされたオブジェクトは、前記選択されたオブジェクトと同一のタイプのオブジェクトであり、
前記スポンサードされたオブジェクトは、ブランディングを示すものを含む、請求項1に記載の方法。 - 前記スポンサードされたオブジェクトは、前記画像内に描画された前記人物に関連付けられているユーザプロファイルに少なくとも部分的に基づいて選択される、請求項1に記載の方法。
- 前記方法は、前記選択されたオブジェクトが、前記拡張データベースに含まれている特徴に関連付けられていないことを決定することに応答して、前記選択されたオブジェクトと共に前記人物の前記画像がオーバーレイされるようにすることをさらに含む、請求項1に記載の方法。
- 前記選択されたオブジェクトの前記特徴に関連付けられている前記スポンサードされたオブジェクトと共に前記人物の前記画像がオーバーレイされるようにすることは、
前記人物の前記画像上のアンカ点を識別することと、
前記アンカ点に基づいて、前記スポンサードされたオブジェクトを表示のために生成することと
を含む、請求項1に記載の方法。 - 前記アンカ点に基づいて、前記スポンサードされたオブジェクトを表示のために生成することは、
前記人物の前記画像上の前記アンカ点を前記スポンサードされたオブジェクト上のアンカ点と相関させることと、
前記スポンサードされたオブジェクト上の前記アンカ点が前記人物の前記画像上の前記アンカ点と重複するように、前記スポンサードされたオブジェクトを表示のために生成することと
を含む、請求項6に記載の方法。 - 前記アンカ点は、前記画像内の前記人物の顔の特徴または頭部に関連付けられている、請求項6に記載の方法。
- 前記方法は、前記選択されたオブジェクトが配置されるべき標的位置を特定する入力を受信することをさらに含み、前記スポンサードされたオブジェクトは、前記特定された標的位置において前記人物の前記画像上にオーバーレイされる、請求項1に記載の方法。
- 前記方法は、前記画像内の前記人物の描画部分のサイズおよび前記スポンサードされたオブジェクトのタイプに基づいて、前記スポンサードされたオブジェクトが前記人物の前記画像上にオーバーレイされるべき適切な位置を自動的に決定することをさらに含む、請求項1に記載の方法。
- コンピュータ実装システムであって、
スポンサードされた複数のオブジェクトを示すものと複数の対応する特徴とを格納するように構成されている拡張データベースと、
制御回路と、
入力/出力(I/O)回路と
を備え、
前記制御回路は、
ある人物の画像を表示のために生成することと、
前記人物の前記画像の上にオーバーレイされるオブジェクトの選択をユーザインターフェース介して受信することと、
前記選択されたオブジェクトが、前記スポンサードされた複数のオブジェクトを示すものと前記複数の対応する特徴とを格納している前記拡張データベースに含まれている特徴に関連付けられているかどうかを決定することと
を行うように構成されており、
前記入力/出力(I/O)回路は、
前記選択されたオブジェクトが、前記拡張データベースに含まれている前記特徴に関連付けられていることを決定することに応答して、
前記選択されたオブジェクトの前記特徴に関連付けられているスポンサードされたオブジェクトと共に前記人物の前記画像がオーバーレイされるようにすることであって、前記スポンサードされたオブジェクトは、前記選択されたオブジェクトとは視覚的に区別することが可能である、ことと
を行うように構成されている、コンピュータ実装システム。 - 前記人物の前記画像は、カメラによって捕捉され、かつ、表示のために生成中のライブビデオに含まれている、請求項11に記載のシステム。
- 前記選択されたオブジェクトの前記特徴は、前記オブジェクトのタイプであり、
前記スポンサードされたオブジェクトは、前記選択されたオブジェクトと同一のタイプのオブジェクトであり、
前記スポンサードされたオブジェクトは、ブランディングを示すものを含む、請求項11に記載のシステム。 - 前記スポンサードされたオブジェクトは、前記画像内に描画された前記人物に関連付けられているユーザプロファイルに少なくとも部分的に基づいて選択される、請求項11に記載のシステム。
- 前記入力/出力(I/O)回路は、前記選択されたオブジェクトが、前記拡張データベースに含まれている特徴に関連付けられていないことを決定することに応答して、前記選択されたオブジェクトと共に前記人物の前記画像がオーバーレイされるようにすることをさらに含む、請求項11に記載のシステム。
- 前記入力/出力(I/O)回路は、
前記人物の前記画像上のアンカ点を識別することと、
前記アンカ点に基づいて、前記スポンサードされたオブジェクトを表示のために生成することと
に基づいて、前記選択されたオブジェクトの前記特徴に関連付けられている前記スポンサードされたオブジェクトと共に前記人物の前記画像がオーバーレイされるようにするように構成されている、請求項11に記載のシステム。 - 前記入力/出力(I/O)回路は、
前記人物の前記画像上の前記アンカ点を前記スポンサードされたオブジェクト上のアンカ点と相関させることと、
前記スポンサードされたオブジェクト上の前記アンカ点が前記人物の前記画像上の前記アンカ点と重複するように、前記スポンサードされたオブジェクトを表示のために生成することと
に基づいて、前記アンカ点に基づいて、前記スポンサードされたオブジェクトを表示のために生成するように構成されている、請求項16に記載のシステム。 - 前記アンカ点は、前記画像内の前記人物の顔の特徴または頭部に関連付けられている、請求項16に記載のシステム。
- 前記制御回路は、前記選択されたオブジェクトが配置されるべき標的位置を特定する入力を受信するようにさらに構成されており、前記スポンサードされたオブジェクトは、前記特定された標的位置において前記人物の前記画像上にオーバーレイされる、請求項11に記載のシステム。
- 前記制御回路は、前記画像内の前記人物の描画部分のサイズおよび前記スポンサードされたオブジェクトのタイプに基づいて、前記スポンサードされたオブジェクトが前記人物の前記画像上にオーバーレイされるべき適切な位置を自動的に決定するようにさらに構成されている、請求項11に記載のシステム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2023080729A JP2023107776A (ja) | 2018-11-08 | 2023-05-16 | 視覚コンテンツを拡張するための方法およびシステム |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020571699A JP7282107B2 (ja) | 2018-11-08 | 2018-11-08 | 視覚コンテンツを拡張するための方法およびシステム |
PCT/US2018/059753 WO2020096597A1 (en) | 2018-11-08 | 2018-11-08 | Methods and systems for augmenting visual content |
JP2023080729A JP2023107776A (ja) | 2018-11-08 | 2023-05-16 | 視覚コンテンツを拡張するための方法およびシステム |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020571699A Division JP7282107B2 (ja) | 2018-11-08 | 2018-11-08 | 視覚コンテンツを拡張するための方法およびシステム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023107776A true JP2023107776A (ja) | 2023-08-03 |
Family
ID=65041844
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020571699A Active JP7282107B2 (ja) | 2018-11-08 | 2018-11-08 | 視覚コンテンツを拡張するための方法およびシステム |
JP2023080729A Pending JP2023107776A (ja) | 2018-11-08 | 2023-05-16 | 視覚コンテンツを拡張するための方法およびシステム |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020571699A Active JP7282107B2 (ja) | 2018-11-08 | 2018-11-08 | 視覚コンテンツを拡張するための方法およびシステム |
Country Status (4)
Country | Link |
---|---|
US (2) | US11151751B2 (ja) |
JP (2) | JP7282107B2 (ja) |
CA (1) | CA3104444A1 (ja) |
WO (1) | WO2020096597A1 (ja) |
Family Cites Families (25)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008158788A (ja) * | 2006-12-22 | 2008-07-10 | Fujifilm Corp | 情報処理装置および情報処理方法 |
US8626611B2 (en) * | 2008-01-11 | 2014-01-07 | Ncr Corporation | Method and apparatus for augmented reality shopping assistant |
US8698841B2 (en) * | 2009-07-10 | 2014-04-15 | Georeplica, Inc. | System, method and process of identifying and advertising organizations or other entities by overlaying image files on cartographic mapping applications |
US8811742B2 (en) * | 2009-12-02 | 2014-08-19 | Google Inc. | Identifying matching canonical documents consistent with visual query structural information |
JP5647464B2 (ja) * | 2010-08-27 | 2014-12-24 | 京セラ株式会社 | 携帯端末装置 |
WO2012118560A1 (en) * | 2011-02-28 | 2012-09-07 | Linda Smith | Real-time virtual reflection |
US20130063487A1 (en) * | 2011-09-12 | 2013-03-14 | MyChic Systems Ltd. | Method and system of using augmented reality for applications |
US20130293530A1 (en) * | 2012-05-04 | 2013-11-07 | Kathryn Stone Perez | Product augmentation and advertising in see through displays |
US20140132595A1 (en) | 2012-11-14 | 2014-05-15 | Microsoft Corporation | In-scene real-time design of living spaces |
WO2015112108A1 (en) * | 2012-11-28 | 2015-07-30 | Visa International Service Association | Multi disparate gesture actions and transactions apparatuses, methods and systems |
JP5790692B2 (ja) * | 2013-03-29 | 2015-10-07 | ソニー株式会社 | 情報処理装置、情報処理方法および記録媒体 |
EP2999977B1 (en) * | 2013-05-20 | 2019-04-10 | Intel Corporation | Techniques for merging virtual and physical floor maps |
JP6265027B2 (ja) * | 2014-04-22 | 2018-01-24 | 富士通株式会社 | 表示装置、位置特定プログラム、および位置特定方法 |
US9734634B1 (en) * | 2014-09-26 | 2017-08-15 | A9.Com, Inc. | Augmented reality product preview |
US20170140484A1 (en) * | 2015-11-18 | 2017-05-18 | Lennar Pacific Properties Management, Inc. | Virtual or augmented reality customization system and method |
US20170199855A1 (en) * | 2016-01-11 | 2017-07-13 | BuilderFish, LLC | System and method for providing a time-based presentation of a user-navigable project model |
KR20170121930A (ko) | 2016-04-26 | 2017-11-03 | 현대자동차주식회사 | 웨어러블 기기 및 이를 포함하는 차량 진단 장치 |
JP6980990B2 (ja) * | 2016-08-31 | 2021-12-15 | ソニーグループ株式会社 | 情報処理システム、情報処理方法、およびプログラム |
US10388072B2 (en) * | 2016-10-31 | 2019-08-20 | Verizon Patent And Licensing Inc. | Methods and systems for dynamically customizing a scene for presentation to a user |
US10354694B2 (en) * | 2016-12-30 | 2019-07-16 | Facebook, Inc. | Systems and methods for providing content items associated with objects |
US20180374267A1 (en) * | 2017-06-08 | 2018-12-27 | Fernando Jose Yurkin | Method and System to Enhance Spectator Experience |
US11113883B2 (en) * | 2017-12-22 | 2021-09-07 | Houzz, Inc. | Techniques for recommending and presenting products in an augmented reality scene |
JP6387471B1 (ja) * | 2018-03-12 | 2018-09-05 | Scsk株式会社 | 表示プログラム、格納プログラム、表示システム、及び格納システム |
US11182963B2 (en) * | 2019-04-03 | 2021-11-23 | Posnap, Inc. | Computerized system and method for providing a mobile augmented reality item display and selection experience |
US20220222728A1 (en) * | 2021-01-12 | 2022-07-14 | Walmart Apollo, Llc | Systems and methods for providing personalized recommendations |
-
2018
- 2018-11-08 US US17/253,454 patent/US11151751B2/en active Active
- 2018-11-08 CA CA3104444A patent/CA3104444A1/en active Pending
- 2018-11-08 JP JP2020571699A patent/JP7282107B2/ja active Active
- 2018-11-08 WO PCT/US2018/059753 patent/WO2020096597A1/en active Application Filing
-
2021
- 2021-09-22 US US17/481,637 patent/US20220005237A1/en active Pending
-
2023
- 2023-05-16 JP JP2023080729A patent/JP2023107776A/ja active Pending
Also Published As
Publication number | Publication date |
---|---|
US11151751B2 (en) | 2021-10-19 |
JP2022518081A (ja) | 2022-03-14 |
WO2020096597A1 (en) | 2020-05-14 |
US20210256739A1 (en) | 2021-08-19 |
JP7282107B2 (ja) | 2023-05-26 |
US20220005237A1 (en) | 2022-01-06 |
CA3104444A1 (en) | 2020-05-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6022732B2 (ja) | コンテンツ作成ツール | |
CA3083486C (en) | Method, medium, and system for live preview via machine learning models | |
US20100257252A1 (en) | Augmented Reality Cloud Computing | |
US10043317B2 (en) | Virtual trial of products and appearance guidance in display device | |
US11232636B2 (en) | Methods, devices, and systems for producing augmented reality | |
US20200257121A1 (en) | Information processing method, information processing terminal, and computer-readable non-transitory storage medium storing program | |
KR102402580B1 (ko) | 메타버스 환경에서의 영상 처리 시스템 및 방법 | |
JP7379603B2 (ja) | 推奨を配信する方法、デバイス、及びシステム | |
US11676347B2 (en) | Virtual try-on systems for spectacles using reference frames | |
US20220309621A1 (en) | Virtual, augmented, and mixed reality systems and methods | |
WO2017042070A1 (en) | A gazed virtual object identification module, a system for implementing gaze translucency, and a related method | |
JP7282107B2 (ja) | 視覚コンテンツを拡張するための方法およびシステム | |
US10964096B2 (en) | Methods for detecting if an object is visible | |
US20230251710A1 (en) | Virtual, augmented, and mixed reality systems and methods | |
JP7110738B2 (ja) | 情報処理装置、プログラム及び情報処理システム | |
WO2023093329A1 (zh) | 信息输出方法、头戴式显示设备及可读存储介质 | |
KR20170018613A (ko) | 3d 모델을 이용하는 광고 시스템 및 광고 방법 | |
JP2022167902A (ja) | 動画処理方法、サーバ装置及びコンピュータプログラム | |
US11127218B2 (en) | Method and apparatus for creating augmented reality content | |
KR102443049B1 (ko) | 전자 장치 및 그 동작 방법 | |
JP7350993B2 (ja) | 拡張現実対話を定量化するためのシステム及び方法 | |
JP7418709B2 (ja) | コンピュータプログラム、方法及びサーバ装置 | |
US20240135649A1 (en) | System and method for auto-generating and sharing customized virtual environments | |
US20230144893A1 (en) | Automatic Artificial Reality World Creation | |
CN117897677A (zh) | 人工现实设备采集控制和共享 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230516 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240415 |