JP2022166078A - デジタル媒体と観察者の相互作用の構成及び実現 - Google Patents
デジタル媒体と観察者の相互作用の構成及び実現 Download PDFInfo
- Publication number
- JP2022166078A JP2022166078A JP2022124191A JP2022124191A JP2022166078A JP 2022166078 A JP2022166078 A JP 2022166078A JP 2022124191 A JP2022124191 A JP 2022124191A JP 2022124191 A JP2022124191 A JP 2022124191A JP 2022166078 A JP2022166078 A JP 2022166078A
- Authority
- JP
- Japan
- Prior art keywords
- image
- images
- original image
- original
- modification
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000003993 interaction Effects 0.000 title description 2
- 238000000034 method Methods 0.000 claims abstract description 71
- 230000008859 change Effects 0.000 claims abstract description 29
- 230000001815 facial effect Effects 0.000 claims abstract description 10
- 230000004048 modification Effects 0.000 claims description 46
- 238000012986 modification Methods 0.000 claims description 46
- 230000009471 action Effects 0.000 claims description 22
- 230000004044 response Effects 0.000 claims description 11
- 230000007704 transition Effects 0.000 claims description 7
- 238000012545 processing Methods 0.000 claims description 4
- 238000012937 correction Methods 0.000 claims description 2
- 210000000887 face Anatomy 0.000 claims description 2
- 230000009467 reduction Effects 0.000 claims description 2
- 230000001360 synchronised effect Effects 0.000 claims description 2
- 230000003068 static effect Effects 0.000 claims 4
- 238000001514 detection method Methods 0.000 abstract description 11
- 210000001747 pupil Anatomy 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 241000208140 Acer Species 0.000 description 2
- 230000002708 enhancing effect Effects 0.000 description 2
- 210000003128 head Anatomy 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 241000020115 Heterosperma pinnatum Species 0.000 description 1
- 241001085205 Prenanthella exigua Species 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000003213 activating effect Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000008451 emotion Effects 0.000 description 1
- 230000001747 exhibiting effect Effects 0.000 description 1
- 201000003373 familial cold autoinflammatory syndrome 3 Diseases 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000003278 mimic effect Effects 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- CVHZOJJKTDOEJC-UHFFFAOYSA-N saccharin Chemical compound C1=CC=C2C(=O)NS(=O)(=O)C2=C1 CVHZOJJKTDOEJC-UHFFFAOYSA-N 0.000 description 1
- 238000013341 scale-up Methods 0.000 description 1
- 230000003997 social interaction Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 230000001755 vocal effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/60—Editing figures and text; Combining figures or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/048—Indexing scheme relating to G06F3/048
- G06F2203/04806—Zoom, i.e. interaction techniques or interactors for controlling the zooming operation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- User Interface Of Digital Computer (AREA)
- Controls And Circuits For Display Device (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
- Transforming Electric Information Into Light Information (AREA)
- Video Image Reproduction Devices For Color Tv Systems (AREA)
- Position Input By Displaying (AREA)
- Processing Or Creating Images (AREA)
- Image Analysis (AREA)
Abstract
Description
の画面上で即座に又は後で見るために画像を向上させる。一例はHDR又はハイダイナミ
ックレンジであり、カメラは異なる露出で複数の写真を素早く撮り、全ての部分が、最も
明るい及び最も暗い部分でさえも露出されて全ての細部を引き出す画像を作成する。
、合計時間)を何人の観察者がそれに費やしているかに関して広告の価値を測るために、
観察者がウェブページ上の所定の広告をどのくらいの長さ見ているかを決定するために視
線検出を使用する既存のシステムも有る。また、動画の再生を停止してバッテリー電源を
節約するか又は観察者が動画の何れの部分も見逃さないように、観察者がもはやスマート
フォンのディスプレイ等のディスプレイを見ていないかどうかを確認するために視線検出
を使用するシステムも有る。
ためにこうした2つの概念を結合する。その結果、オリジナルのシーンを見ているような
体験をもたらし、又は、自動的に、又は写真家により撮られた1つ又は複数の画像の特定
の部分を観察者が見ると何が起こるべきかについて写真家が予め指定した意図によって、
オリジナルの体験を超えた新しいやり方でそれを向上させる。
ディスプレイスクリーン用の複数のオリジナルの画像を作成することを可能にし、それは
観察者が誰であるか又は観察者が何をするかに応じて、観察者が画像を見るときに変化す
る。画像を変化させる観察者のアクションは、観察者がどこに視線を向けるか又はスクリ
ーンをタッチするか、又は観察者が何を言うか又は観察者がディスプレイからどれくらい
離れているか、又は何人の観察者が居るか、又は特定の期待観察者の識別等であってもよ
い。
観察者の顔の画像をキャプチャすることを介して収集されるデータに応じて1つ以上のデ
ィスプレイスクリーン上に表示される1つ以上のオリジナルの画像を修正するための方法
である。収集されるデータは、1人以上の観察者の視線の位置がオリジナルの画像内のど
こに向けられているか、又は1人以上の観察者の顔貌の変化、又は周辺光の量、又は観察
者のディスプレイスクリーンからの距離、又は観察者の数、又は観察者の識別の1つ以上
であってもよい。
修正は、オリジナルの画像の一部又は全ての輝度を変更することであってもよい。輝度
の変更は、オリジナルの画像を代替画像と置換することによってもたらされることができ
、代替画像のコンテンツはオリジナルの画像と同じであるが代替画像の少なくとも一部の
輝度がオリジナルの画像の少なくとも対応する部分の輝度とは異なるように一部又は全て
のピクセルが修正されている。例えば、一対の写真画像がカメラで撮られてもよく、画像
は異なる露出を除いて基本的に同じである。1枚の画像の一部又は全てが、輝度を変更す
るために他の画像の一部又は全てを置換し得る。代替的に、アルゴリズムは、1人以上の
観察者によるアクションに応じて、全ての画像ピクセルではないが一部の画像ピクセルの
数値輝度を調節することができる。
修正は、オリジナルの画像の一部又は全ての焦点を変更することであってもよい。変更
は、オリジナルの画像と代替画像との置換によってもたらされることができ、代替画像の
コンテンツはオリジナルの画像と同じであるが代替画像の少なくとも一部の焦点がオリジ
ナルの画像の少なくとも対応する部分の焦点とは異なるように一部又は全てのピクセルが
修正されている。修正は、画像の一部又は全てにおいて接近して見えるオブジェクトに対
する焦点を変更することであってもよい。修正は、画像の一部又は全てにおいて離れて見
えるオブジェクトに対する焦点を変更することであってもよい。修正は、画像の一部又は
全ての見掛けの被写界深度を変更することであってもよい。修正は、オリジナルの画像の
一部を中心としてズームすることによって拡大又は縮小することであってもよい。修正は
、代替画像とオリジナルの画像の置換を含んでもよい。修正は、ディスプレイスクリーン
から観察者への測定距離の変化と同期して拡大又は縮小することであってもよい。
修正は、画像の一部又は全ての色バランス又は彩度又は色濃度又はコントラストを変更
することであってもよい。これは、オリジナルの画像と代替画像との置換によってもたら
されることができ、代替画像のコンテンツはオリジナルの画像と同じであるが代替画像の
少なくとも一部の色(例えば、色バランス又は彩度)がオリジナルの画像の少なくとも対
応する部分の色とは異なるように一部又は全てのピクセルが修正されている。
修正は、画像の一部又は全ての鮮明さを変更することであってもよい。これは、オリジ
ナルの画像と代替画像との置換によってもたらされることができ、代替画像のコンテンツ
はオリジナルの画像と同じであるが代替画像の少なくとも一部の鮮明さがオリジナルの画
像の対応する部分の鮮明さとは異なるように一部又は全てのピクセルが修正されている。
修正は、オリジナルの画像に伴う音声の再生を引き起こすこと又は変更することであっ
てもよい。
修正は、オリジナルの画像内のスプライトの移動又は移動中止を引き起こすことであっ
てもよい。
)]
修正は、アニメーションGIFを共に形成する少数の画像と画像の全て又は一部を置換
することであってもよい。
修正は、多分岐動画の分岐を選択することであってもよい。
、又は移動するスプライトを有する静止画であってもよい。オリジナルの画像は、2次元
又は3次元であってもよい。
ルゴリズムは、1つ以上の画像を選択したアーティスト又は構成者又はコンテンツ作成者
により決定されるカスタムであってもよい。修正のためのアルゴリズムは、1つ以上のオ
リジナルの画像を選択したアーティスト又はコンテンツ作成者により選択及び使用される
ソフトウェアを供給した会社により事前決定されてもよい。アルゴリズムは、ソフトウェ
アを供給した会社により事前決定されてもよく、アルゴリズムが任意の画像又は画像の組
と協働するようなものであってもよい。アルゴリズムは、段階的変化の修正(例えば、輝
度の段階的変化、焦点の段階的変化、色の段階的変化、微小(又は部分)画像から完全画
像へと新しい画像を拡大すること、又は他の遷移方法)が行われる速さをアーティスト又
はコンテンツ作成者が指定することを可能にしてもよい。
別の実施形態は、例えば、観察者が画像内のスクリーンの一部をタッチ又はポインティ
ングすることによってタッチ、マウス又は他の入力装置から収集されるデータに応じて動
作するアルゴリズムに従って1つ以上のディスプレイスクリーン上に表示される1つ以上
のオリジナルの画像を修正する方法であって、修正は1つ以上の代替画像とオリジナルの
画像の置換であり、代替画像のコンテンツはオリジナルの画像と同じであるが一部又は全
てのピクセルが修正されている。マウスにより収集されるデータは、クリック又はマウス
オーバ又はクリック及びドラッグ及び移動の1つ以上により識別されるデータを含んでも
よい。タッチから収集されるデータは、1本以上の指によるタッチ、タッチの力、タッチ
の持続時間、タッチの移動、及びユーザの手/指が画像ディスプレイスクリーンに接触し
ないが接近するジェスチャ(例えば、ピンチ操作、ウェービング、ポインティング)の1
つ以上によって識別されるデータを含んでもよい。修正は、上記の修正の何れかであって
もよい。1つ以上のオリジナルの画像は、静止画又は動画又は移動するスプライトを有す
る静止画、又は2次元又は3次元であってもよい。アルゴリズムは、上記の要素の何れか
を含んでもよい。
別の実施形態は、声音から収集されるデータに応じて動作するアルゴリズムに従って1
つ以上のディスプレイスクリーン上に表示される1つ以上のオリジナルの画像を修正する
方法であって、修正は1つ以上の代替画像とオリジナルの画像の置換であり、代替画像の
コンテンツはオリジナルの画像と同じであるが一部又は全てのピクセルが修正されている
。修正は、上記の修正の何れかであってもよい。1つ以上のオリジナルの画像は、静止画
又は動画又は移動するスプライトを有する動画、又は2次元又は3次元であってもよい。
アルゴリズムは、上記の要素の何れかを含んでもよい。
別の実施形態は、ディスプレイスクリーンの筐体に埋め込まれた1つ以上の加速度計か
ら収集されるデータに応じて動作するアルゴリズムに従ってハンドヘルドディスプレイス
クリーン上に表示されるオリジナルの画像を修正する方法であって、修正は、1つ以上の
左境界、右境界、上部境界又は下部境界の各々を拡大又は縮小することによってオリジナ
ルの画像の視野を変更することである。1つ以上の加速度計から収集されるデータは、観
察者から離れているディスプレイの第1の端部の反対の端部に対する傾斜であり、この傾
斜は第1の端部に近い画像のより多くを視界に入れさせる。修正は、オリジナルの画像の
(必ずしも中心ではない)部分を中心としてズームすることによって拡大又は縮小するこ
とであってもよい。
別の実施形態は、著者から指導を受信し、こうした指導に基づいて、観察者のアクショ
ンに基づいて変化する画像を示すデータセットを生成するためのサーバコンピュータ及び
クライアントコンピュータを有するシステムにおける方法である。方法は、(a)サーバ
コンピュータにおいて、一連の複数の画像の仕様をクライアントコンピュータから受信す
るステップと、(b)サーバコンピュータにおいて、一連の画像におけるオリジナルの画
像から一連の画像における第2の画像への遷移をトリガするべく収集されるデータの仕様
をクライアントコンピュータから受信するステップと、(c)一連の画像におけるオリジ
ナルの画像から一連の画像における第2の画像への遷移の速さの仕様をクライアントコン
ピュータから受信するステップと、(d)観察者のコンピュータに送信され得るデータセ
ットをサーバコンピュータにおいてアセンブルするステップとを含み、データセットは観
察者のコンピュータ上で観察されることが可能であり、観察者のアクションから受信され
たデータ入力は、一連のオリジナルの画像を指定された遷移の速さで第2の画像と置換す
ることによって観察画像の修正を引き起こす。
、又は1人以上の観察者の顔貌の変化、又は周辺光、又は観察者のディスプレイスクリー
ンからの距離、又は観察者の数、又は観察者の識別、又は音声入力、又はタッチ入力の1
つ以上を含んでもよい。
リジナルの画像の一部の焦点を変更すること、オリジナルの画像の一部から拡大又は縮小
すること、オリジナルの画像の一部又は全ての色バランス又は彩度又は色濃度又はコント
ラストを変更すること、オリジナルの画像内のスプライトの移動又は移動の中止を引き起
こすこと、多分岐動画の分岐を選択することを含んでもよい。
る動画、又は2次元又は3次元であってもよい。
の中に含まれる各ソフトウェアプログラムをそれぞれ含んでもよく、単一ユーザによりア
クティブ化されてもよい。
され及び、例えば、観察者が画像内のどこを見ているかによって後で駆動されるように、
写真を向上させ、例えば、輝度、焦点、被写界深度及び他の品質の次元で観察者と静止画
及び動画をインタラクティブにすることである。
いて非常に大きな変化を有している写真の中でキャプチャされたシーンの主題を誰かがど
のように見るかを再現する。以下の例はこの概念を解明する。
背後で夕日が沈んでいる木立を想像する。観察者が太陽の方を見ると、虹彩が収縮し、
それによって瞳孔はサイズが減少し、より少ない光を入らせ且つ輝度を低減させ、観察者
は、赤い太陽の残りの半円(木により遮られていない太陽の部分)を見るが、木が黒いシ
ルエットになるのを見る。しかしながら、単一の特定の木をみるとき、瞳孔は再び開いて
、木の皮の特徴及びテクスチャが見えるようになる。
場合、木は黒いか、又は木の皮を見るのに十分に明るく、この場合、夕日の背景は太陽が
無く白い「ブローンアウト」エリアになるかの1つの露出に限定されるであろう。
イダイナミックレンジと呼ばれている。HDRでは、動きを回避するために複数の露出が
間断なく撮られ、画像の全てのエリアが正しい露出を有するように自動的に混合される。
しかしながら、HDR補償した画像は「フェイク」又は「サッカリン」又は「非現実的」
に見えることが多く、従って、観察者にとって不満足となることが多い。
DRと同様に、それは、撮られたときに使用される露出のみが異なる一群の写真を使用す
る。しかしながら、写真の何れか1つが表示されると、(HDR技術と比較して)全く異
なることが起こる。
察者がこの例の木のように最初に露出不足だった画像のより暗い部分を見ると、システム
の視線検出部が画像のより暗い部分への観察者の視線の移行を検出して、システムは木の
エリアがより露出されている組から別の写真を探して表示する。
き、観察者はより多くの画像の細部が発展するという報酬を与えられる。太陽を再び見る
ことは反対を行う。即ち、エリアは非常に明るくてブローンアウトされているが、シルエ
ットになった木の間で赤く沈む太陽へと迅速に落ち着く。このようにして、オリジナルの
シーンを見る「感覚」が取り戻され且つ再現され、観察の体験が向上する。
表示の変化を記録するやり方を写真家/構成者に与えると共に、例えば、画像ディスプレ
イスクリーン上の視線検出又はタッチ操作又はマウス操作によって観察者が自然にこうし
た変化をトリガし且つ探索することを可能にする。トリガは、手動、自動又は事前設定し
た意図に従ったものであり得る。
ムは、1人以上の観察者によるアクションに応じて画像の全ての画像ピクセルではないが
一部の画像ピクセルの輝度を(例えば、数値的に)調節し得る。
同じ方法が焦点に使用されてもよい。例えば、シーンが様々な距離に有るオブジェクト
を有する場合、通常の写真は、全てのオブジェクトに完全に焦点を合わせることができず
、少なくとも有限の被写界深度及び有限の焦点距離を有する写真を撮ったカメラを与えら
れる。従って、実施形態は、写真内のどのオブジェクトを観察者の目が見ているのかを追
跡して、それぞれ異なる焦点で取られた多くの異なる写真の組から、そのオブジェクトに
対して正確に焦点が合わされた写真を選択することができる。
観察者がディスプレイ全体を占めない写真又は他の画像の表示に向かって歩くと、観察
者とディスプレイとの間の距離の変化から目に対する角度の増加が計算され、ディスプレ
イに設置されたカメラにより距離の変化が測定され、写真のより多くを同時に表示しなが
ら写真の外フレームが増加され得る。観察者が実際の窓に接近するとより多くのコンテン
ツが現れるが、観察者が追加のコンテンツを見るためには窓の左から右まで「見渡す」必
要があるという点で、この技術は実際の窓に歩み寄ることをシミュレートしている。
カメラ設定が変更され、写真が撮られた後で、写真家は、画像がどのように表示される
べきかを決定する。例えば、クロッピングにおいて、写真家は、観察者に提示するために
画像のより芸術的なサブセットを選ぶ。しかしながら、写真家は、以下のやり方で、観察
者が興味を有する場合に画像のより多くが見られることを意図してもよい。しかしながら
、観察者の目が見下ろすか又は見上げる場合、画像は上下にスクロールされ得る。正しく
行われると、これは、画像のコンテンツを覗き込む体験を提供し得る。例えば、遠い山の
写真において、観察者は見下ろすと、視点に至る小道を見るであろう。言い換えれば、観
察者の前の小道の一部がフレームの大部分を占めるように、水平線が遠い山から小道の数
フィート前にシフトするであろう。即ち、観察者が見下ろすと画像は上にスクロールされ
、観察者が見上げると画像は下にスクロールされ得る。同様に、観察者が左又は右を見る
場合、画像は右又は左にスクロールされ得る。
度計データを使用することによってハンドヘルドディスプレイにより同じ効果が達成され
得る。即ち、ハンドヘルドディスプレイは、画像が窓よりも大きい場合に、観察者が画像
の所望の部分を観察するために動かすことができる携帯窓を模倣するように作られること
が可能である。
複数のカエデの翼果が下降している静止画写真を想像する。一実施形態では、短い露出
時間の複数の写真が、より長い時間を有する写真と共に撮られ得る。観察者は、より長い
露出時間を有する写真における個々の種子を最初に見るとき、中心の周囲がぼやけた円と
してその翼弁を見る。しかしながら、観察者は、それを見つめるとき、間断なく短い露出
時間を有する写真(又は種子を含む写真の部分)によって形成される複数のフレームを見
せられ、種子が実際に素早く回転し且つ僅かに落ちてからその場所で動かなくなるのを見
る(例えば、短い露出時間を有する写真によって形成される最後のフレームが表示される
とき)。観察者が種子を含む写真の部分から目を逸らしている間、種子はその初期位置及
びぼやけた外観に戻るであろう(例えば、より長い露出時間を有する写真又はその一部が
再び表示されるであろう)。次に、上記のサイクルは、観察者が種子を再び見るときに繰
り返されるであろう。
オブジェクトを見るとき、静止画像の一部がオブジェクトが移動していることを示す動画
像又はスプライト又はアニメーションGIFと置換され得る。
して複数の位置でキャプチャされる「連続写真術(Sequential Photog
raphy)」にも適用される。一実施形態では、1つの位置だけが示されるであろう。
観察者がディスプレイを見るとき、他のショットが示され、フレームを横断する各位置を
通して、そして最後のものから逆行して目を案内するであろう。単一の静止画像は移動を
描く一連の画像よりも典型的には少なく表されるので、これは、キャプチャ対象が実際に
どのように移動しているか見たい人物(例えば、コーチ又は医者)にとっては価値がある
であろう。
人物が微笑んでいるか又は眉をひそめているか又は他の特定の感情を示しているかを決
定するために画像認識が使用され得る。このような顔の変化は、画像の一部又は画像の全
ての変化を引き起こし得る。画像認識は観察者の識別を決定するために使用可能であり、
決定された識別は画像を変化させ得る。
ディスプレイから観察者の距離を計算するためにディスプレイ上に設置されたカメラが
使用されてもよく、距離は画像の一部又は全てへの変化を引き起こすために使用され得る
。(距離を測定する方法は、焦点の詳細に赤外線パルスを使用する光学方法又は音波パル
スを使用する超音波方法等、オートフォーカスを有するカメラにより使用される任意の複
数の方法であり得る。)即ち、オートフォーカスのためにカメラが使用し得る距離測定機
構は、カメラが設置される又は他のやり方で関連付けられるディスプレイスクリーンから
観察者の距離を決定するために利用され得る。
観察者からタッチ入力を受信するためにディスプレイの表面のタッチセンサ式入力レイ
ヤが使用されてもよく、このタッチ入力は画像の一部又は全てへの変化を引き起こすため
に使用され得る。
観察者から音声入力を受信するためにディスプレイに設置される又は他のやり方で関係
付けられるマイクロホンが使用されてもよく、この音声入力は画像の一部又は全てへの変
化を引き起こすために使用され得る。声音は観察者を識別するために使用されてもよく、
観察者の識別に基づいて画像が修正され得る。
ディスプレイがハンドヘルドである場合、ディスプレイを動かしている観察者から入力
を受信するために加速度計からの入力が使用されてもよく、入力は画像の一部又は全てへ
の変化を引き起こすために使用され得る。
周辺光の量を決定するためにディスプレイ上に設置されるカメラ又は他の光センサが使
用されてもよく、これは画像の輝度等、画像の一部又は全てへの変化を引き起こすために
使用され得る。
先の例は、既存の撮像技術よりも高い忠実性で、オリジナルのシーンがどのように見え
たかを再現しようとすることで、オリジナルのシーンを再現する観察体験を向上させる。
しかしながら、こうした処理技術を正確なシーン再現に限定する理由は無い。また、こう
した技術は、作品に何を意図したかを写真家/構成者が観察者に案内するための芸術ツー
ルとしての役割を果たし得る。例えば、構成者は観察者が写真の一部を始めてみるときに
、2回目とは異なる輝度及び焦点が有るべきこと、又は任意の後続の回で、観察者が写真
の一部を見ることを意図してもよい。又は、構成者は、観察者が集中している画像の部分
に暗示される概念又は意味を強調するために観察者が観ている場所の近くの画像の部分を
意図的にぼやけさせ又は焦点をぼかすか、又は観察者の集中を意図的に逸らしてもよい。
この節では、実施形態が画像を観察する体験を向上させること、及び他人による画像の
観察に関する意図をより完全に表現するためのツールを写真家に与えることという全体的
な目的をどのように達成するかが示される。また、関連するコンポーネント及びそれらが
どのように協働するかも示される。この説明は、写真の可能な変化のサブセットを詳細に
示しているが、同じ基本処理を使用して上記のように他の変化に容易に拡張され得る。従
って、説明は実施形態の非限定的な例であることが意図されている。
グラムを使用してシーンの一組の画像を取るカメラ2を使用する写真1が示されており、
輝度、焦点及びシャッター時間等、様々な写真パラメータが各画像ごとに変化されている
。
ピュータ4に転送され(又はキャプチャ機構及び回路は既にコンピュータであり又は既に
コンピュータを含んでおり)、ラベルされてデータベース5に記憶されてもよい。次に、
画像は自動的に解析されて、各々が観察者の期待されるアクションに関係付けられる。例
えば、1つの画像において露出不足又は露出過度である及び別の画像において標準的に露
出された各画像の部分が自動的に注記される。「露出不足」は、写真を撮られたシーンの
細部が黒又は明度ゼロと区別できないことを意味する。「露出過度」は、オリジナルの細
部が白又は明度100%と区別できないことを意味する。先の例の夕日の正面の木の皮を
参照すると、他の画像の同じ場所において標準的に露出されたエリアと比較して、木の皮
のエリアにおける暗部を有する画像が注記されて、その情報は保存される。後になって観
察者が画像の露出不足の場所を見ると、標準的に露出された同じ場所を有する写真(又は
その部分)にスワップされるであろう。従って、区別可能な細部が無い露出不足の暗く且
つ黒いセクションを見ている観察者は、その代わりに、裂け目及び凹凸の有る外観を有す
る木の皮を見るであろう。逆に、観察者は、空等の非常に白く且つ写真用語で「ブローン
アウト」している写真の部分を見ているときは、その代わりに、雲の全ての形状及び細部
が可視であって、僅かに明るさが少ない青に対して明るい白い雲を見るであろう。
、非圧縮画像ピクセル情報がどのように解析され得るかの単純な例を示す。露出不足のエ
リアを見つけるために、そのエリアにおけるピクセルの平均暗さが測定されて、それらが
既定の量だけ異なるかどうかを確認するためにそのエリア内のより小さな領域内の平均と
比較される。例えば、全エリアに対する平均輝度Bavgが最大輝度Bmaxの≦5%で
ある場合であって、エリア内の10正方画素の領域の少なくとも75%がエリアの平均輝
度BavgからBmaxの僅か±2%しか変化しない場合、全エリアが露出不足と見なさ
れ且つラベルされる。露出過度に対して同様の決定が行われ得る。例えば、全エリアに対
する平均輝度Bavgが最大輝度Bmaxの≧95%である場合であって、エリア内の1
0正方画素の領域の少なくとも75%がエリアの平均輝度BavgからBmaxの僅か±
2%しか変化しない場合、全エリアが露出過度と見なされ且つラベルされる。画像のこう
した部分のx-y座標が、その画像に関係付けられるデータベース5に保存される。観察
者の視線がそれらに向けられている場合、これらは後で同じ部分が先に定義されたように
露出不足又は露出過度ではない別の画像(又はその一部)と置換される部分である。「露
出不足」及び「露出過度」の例示の定義が先に定義されているが、写真家若しくは別の人
物又はソフトウェアアプリケーションが任意の適切なやり方で「露出不足」及び「露出過
度」を定義できると考えられることに留意するべきである。例えば、エリアの平均輝度B
avgがそのエリアが有し得る最大輝度Bmaxのx%より少ない場合であって、エリア
内のm・nピクセルの領域のs%の少なくともt%がエリアの平均輝度BavgからBm
axの±v%しか変化しない場合に、画像のエリアは「露出不足」であってもよく、ここ
でxは5-15等の任意の範囲を有してもよく、tは50-80等の任意の範囲を有して
よく、sは50-75等の任意の範囲を有してもよく、m・nは4-500ピクセル2等
の任意の範囲を有してもよく、vは1-10等の任意の範囲を有してもよい。同様に、エ
リアの平均輝度Bavgがそのエリアが有し得る最大輝度Bmaxのy%より大きい場合
であって、エリア内のm・nピクセルの領域のs%の少なくともt%がエリアの平均輝度
BavgからBmaxの±v%しか変化しない場合に、画像のエリアは「露出過度」であ
ってもよく、ここでyは85-95等の任意の範囲を有してもよく、tは50-80等の
任意の範囲を有してよく、sは50-75等の任意の範囲を有してもよく、m・nは4-
500ピクセル2等の任意の範囲を有してもよく、vは1-10等の任意の範囲を有して
もよい。そして、Bmaxはピクセルが有し得る最大デジタル輝度値(例えば、8ビット
システムでは255)であってもよく、Bminはピクセルが有し得る最小デジタル輝度
値(例えば、8ビットシステムでは0)であってもよい。
る)高空間変動を有するエリアを区別するために、画像のサブ部分に対してどのように空
間的高速フーリエ変換(FFT)が行われるかを示す。(焦点が外れた、露出不足の(例
えば、黒い)、又は露出過度の(例えば、白い))高周波数ではない、即ち、低空間変動
のエリアは、同じエリアにおいて高周波数を有する表示時間における別の画像と置換され
るようにマーキングされる。「高空間変動H」は事前決定されてもよく、例えば、m・n
ピクセルブロック内の最も明るいピクセルの輝度に対してm・nピクセルブロックの垂直
寸法又は水平寸法における輝度の≧±a%の変化が有ることを意味してもよく、ここでa
は70-95等の任意の適切な範囲を有してもよく、m・nは4-500ピクセル2等の
任意の適切な範囲を有してもよい。同様に、「低空間変動L」は事前決定されてもよく、
例えば、m・nピクセルブロック内の最も明るいピクセルの輝度に対してm・nピクセル
ブロックの垂直寸法又は水平寸法における輝度の≦±c%の変化が有ることを意味しても
よく、ここでcは0-30等の任意の適切な範囲を有してもよく、m・nは4-500ピ
クセル2等の任意の適切な範囲を有してもよい。「高空間変動」及び「低空間変動」の例
示の定義が先に定義されているが、写真家若しくは別の人物又はソフトウェアアプリケー
ションが任意の適切なやり方で「高空間変動」及び「低空間変動」を定義できると考えら
れることに留意するべきである。
矩形に分解され得るかを例示する。矩形は、木の各部分を含む各矩形が木の各部分を覆い
且つ木と木の間の空間を覆わないか又はその僅かな部分のみを覆うように、十分に小さく
てもよい。図4において、写真内の場所を参照するために矩形を番号付ける任意のシステ
ムが使用される。この場合、矩形の番号付けは左下から始まる。各矩形は、多くのピクセ
ル(例えば、100-500ピクセル)から成る。xが1であり且つyが3である矩形(
1,3)は木の一部を含むので大部分が露出不足であり、矩形(4,4)は太陽の一部を
含むので大部分が露出過度である。しかしながら、矩形(3,4)は、木の一部及び太陽
の一部の両方を含むので、効果的に半分露出不足及び半分露出過度であり、従って、観察
者がこの矩形を見るときにアルゴリズムはより多く露出された又はより少なく露出された
写真を代わりに使うべきかどうか分からないであろう。しかし、より小さな矩形が使用さ
れる場合、人間の目にとって興味深い写真は既定のサイズの矩形よりも多くのピクセル、
例えば、縦10ピクセル横10ピクセルより多くを占めるオブジェクトを含むので(写真
が、可能性が無視できる程に小さい矩形と全く同じサイズである白黒の正方形の格子縞を
有するのでない限り)、この問題が発生する可能性は低い。例えば、上記の状況において
、コンピュータは、各矩形が主として露出過度又は露出不足になるまで矩形(3,4)を
より小さな矩形に分解することによってアルゴリズムの解像度を増加し得る。より少ない
ピクセルを有するより小さな矩形を解析するオーバヘッドはマイクロプロセッサ又はマイ
クロコントローラ等の今日のコンピュータ集積回路(IC)の多くにとっては取るに足ら
ないものなので、視線検出器又はマウス又は観察者がどこを見ているかを示し得る任意の
他のやり方の解像度よりも少なくなり得ることを除いては、より小さな矩形を使用しない
理由はない。この解像度は、使用されるハードウェアの最大解像度及びディスプレイから
観察者の距離によって定義される。従って、写真家はハードウェア解像度及び距離を前も
って指定するか又はデフォルト値を使用することができる。
更に、特定の潜在的観察者の識別が前もって指定され且つ表示時間に識別される場合、シ
ステムは、どの個々の観察者がx-y座標を見ているかを入力として受け入れて、観察者
の識別に基づいてその応答を変化させることができる。
図5に示されるように、コンピュータディスプレイ12上の単純なユーザインターフェ
ースを使用して、写真家又は他の画像構成者11が、観察者が観察するときにデータベー
ス内の画像のどの部分が(もし有れば)どのアクションを、又はどのような順番でトリガ
するべきかを以下のように迅速に示し且つ指定することができる。
けられるアクションを有する可能性が高い画像のエリアのリストが提示される。例えば、
リストは、露出不足のエリア、露出過度のエリア、高空間解像度のエリア、又は低空間解
像度のエリアを含んでもよい。次に、構成者は、リストされたエリアごとにアクションを
指定する。限定されないが、アクションは、以下の一部であるように指定され得る。即ち
、画像全体又は画像のその部分だけを、露出不足又は露出過度でもない異なる露出値を有
する、又は例えば、オリジナルのカメラの解像度に対して最大の詳細である又は「焦点が
合っている」空間周波数の異なる変化を有する別の画像と置換すること、画像番号xと置
換すること、n番目の置換であれば画像番号yと置換すること、エリアbのみが見られて
いた場合に画像zと置換すること等である。異なるアクションがデータベース内の各画像
に関係付けられてもよく、又は一組のアクションが一次画像(以下を参照)に関係付けら
れてもよい。アクションは、インターネット又は他のシステムから引き出された画像を観
察者が見ているときにリアルタイムで利用可能な画像又は動画を選択することにまで拡張
され得る。
の方向を有する一次画像として指定可能であり、又は任意の写真がその写真が見られると
きのためのこうした方向を有し得る。この例示では、構成者がアクションを指定しない場
合、下記のようにデフォルトは「最良自動的」である。
の全ての置換を構成者が終えると、この全ての情報は、1つの「ショー(show)」又
は「EyetineraryTM」として保存される。このショーは、全てがクラウドに
オンラインで、又は任意の他の適切な電子記憶装置又は場所に記憶されてもよい。
ータ17に記憶され且つ読み込まれるデータベース5から写真を表示する。例えば、ディ
スプレイ14に設置される1つ以上のカメラから成る視線検出ハードウェア装置16は、
写真内のどこを観察者の目が見ているかのx-y座標を与える。システムはこうした座標
を使用して、データベース5において構成者が指定したアクションを検索し、システムは
、そのx-y矩形に対する一次写真又は現在の写真のエントリの何れかを参照することに
よってアクションを行う。
見ている写真を、観察者が現在観察しているx-y矩形に関して最良に露出された写真と
置換するであろう。既に述べたように、ここでの「最良に露出された」は、一組の写真家
が同意するものであり、最も多くの細部を示し、明度が最も「ブローンアウト」されてい
ないか又は標準的な定義が利用可能な黒ではないものである。この置換は迅速なディゾル
ブであってもよく、その性質及び時間は観察者が観ているときに使用されるように前もっ
て指定されてもよく、又はデフォルト値が使用されるであろう。
けられるジャバスクリプト呼び出しから成るhtmlのページとしてクラウドにオンライ
ンで記憶されてもよいことに留意することが重要である。視線検出は、あたかも観察者の
目がマウスであるかのように、その目が見ている場所をブラウザに教え、ブラウザはリン
クの目標である新しい画像を表示することによって、又は、例えば、画像の一部のアスペ
クトを変更するためにジャバスクリプト関数を呼び出すことによって、アクションを自動
的に行うであろう。このようにして、構成者は、全てがサーバのディレクトリ内に有るh
tmlページ及び一組の画像を指し示すリンクを観察者に送りさえすれば十分で有り得る
。
って指定する代わりに、視線検出ハードウェアを有するディスプレイを使用して、特定の
x-yエリアを見ている間に、音声、又はマウス、又は任意の他の方法を介するシステム
へのコマンドによって他のどの写真(又はその一部)を使用するべきかを指定することが
できる。他の写真(又はその部分)とのこうした他の相関は、データベースに記憶される
であろう。例えば、写真家は、図4における矩形(1,3)を見ている場合に、音声認識
システムに向かって、実際に、「私が今見ているエリアを観察者が見ているときに、示さ
れている写真を“tree-exposed.jpg”というファイル名の写真と置換し
なさい」と言うことができる。
実施形態は、アーティストの意図を表現することより多くのために使用され得る。例え
ば、視力療法士は、スクリーンの前後に注意を引くことによって両目を調整する患者の能
力を増加させたい場合がある。パイロットは、既存の組の画像又はスプライトに基づいて
、パイロットが見ていなかったどのような場所にも危険な航空機を出現させることによっ
て、このような危険な航空交通を迅速に見つけるためのディスプレイを有するフライトシ
ミュレータシステムで訓練され得る。観察者の目が離れて行くこと(水平線に向かって、
更に遠くを見ること)を許される場合、実施形態は、更に遠くの焦点で撮られた写真を代
用することができる。従って、観察者は、3Dの形態に焦点を合わせる及び外す並びに内
外に「移動(travel)」するように自身を訓練することができる。
実施形態は、画像ツール用の視線検出に基づくユーザインターフェース(UI)のため
に使用され得る。例えば、観察者が頭を右に傾けることで、傾いた頭が中央に戻るまでゆ
っくりと右に画像を回転させるようにシステムに通知することができる。輝度及び焦点は
、画像の一部を凝視することで制御され得る。観察者が左目を瞬きするたびに、最大に達
するまで輝度が増加されてもよく、それから再び下がり始める。焦点は、右目を瞬きする
ことによって増加され得る。処理は、一秒間、両目を閉じることによって所望の選択で停
止され得る。類似の方法がクロップのために使用され得る。
一実施形態では、観察者の目が画像の一部に集中している場合、画像のその部分が更な
る細部と共に拡張又は拡大し得る。最大の細部又は拡大図を有する画像が代用された後で
あって、観察者の目がそのエリアに固定されたままのとき、写真家により事前決定された
画像のその一部に関係付けられるリンクが、ダウンロードされる他の画像又は動画をもた
らし、画像のその部分に代用され得る。写真家が特定のリンクを入れなかった場合、その
セクションに見られる初期画像は、画像が何であるかを決定して更なる情報を供給するか
、又は他の写真家によりキャプチャされた類似のコンテンツの他の画像をダウンロードし
て表示することができるクラウドベースのアナライザに送信され得る。例えば、観察者が
ワシントンDCのシーンを見ており、ワシントン記念塔を凝視したままであれば、記念塔
は、画像のそのセクション用の一連の代替画像によってディスプレイ全体の半分を占める
ようにサイズが拡張して細部を示してもよい。観察者が記念塔を見つめ続ける場合、イン
ターネットからダウンロードされた動画は、記念塔の歴史及び建築を記述するスクリーン
のそのセクションを再生してもよい(これは写真家により前もって指定されているか又は
クラウドベースの画像認識装置により自動的に選択されていてもよい)。
写真家は、観察者が見る画像のどのような部分も即座により高い輝度に修正され得るこ
とを指定し得る。構成者は、x-yエリアに対して「フラッシュライト」を単に指定しさ
えすればよい。従って、フラッシュライトが、実際に観察者の目が向けられて、シーンに
対して作用しているように見えるであろう。[ヒューマンインターフェーステスト]広告
に関するアプリケーションで、人物が画像のどこを見る傾向が有るかを記録する既存のシ
ステムが有る。一実施形態では、どのくらい頻繁に観察者が画像の特定の照らされた又は
焦点を合わせられた部分に戻るかに基づいて出力されるログを想像してもよい。また、画
像構成者が画像代替の「パス」を指定する場合、即ち、画像Aのサブ部分を見ることが画
像Bの代替をもたらし、画像Bの一部を見ることがAに戻り、且つ観察者がA-B-Aの
このパスを反復した場合、ログは、パスの情報及びそれが反復されたことを保存するであ
ろう。このような情報は、(複数の)画像と観察者の相互作用を更に発展させるのに構成
者にとって有益であろう。
同じ場所に居る他の観察者とのゲームのために1つより多くの視線検出装置が使用され
得る。また、システムは、様々なソーシャル目的のためにインターネット又はローカルネ
ットワークに接続され得る。例えば、異なる場所に居る一人より多くの観察者が同じEy
etineraryTMを見ている場合、大部分の観察者により見られた部分は拡大され
た部分であってもよく、又はその反対であってもよい。即ち、殆どの人が何かを見なかっ
た場合、EyetineraryTMは全ての観察者がその画像に行くことを強いるよう
に修正されてもよい。第1の人物が適切な場所を見ること、又は適切な場所で武器を作動
させること等に基づいて2つ以上の視線検出システムがポイントを与えるゲーム等、他の
タイプのソーシャル相互作用が実装され得る。最後に、その部分を見ることによって、画
像の部分がインターネットで他者と共有され得る。
実施形態は、観察者が表示時間にどこを見るかに応じるという構成者の事前決定された
意図に関する。しかしながら、観察者は、ネットワークを介してリアルタイムで構成者に
有益なフィードバックを送信するためにシステムを使用することができる。例えば、画像
の一部、例えば、観察者が構成者に置換してもらいたい複数の人々の写真において特定の
人物が有り、観察者はその人物を見ている間に3度瞬きをして、目でその周りに円を描く
ことができる。次に、観察者は、ネットワーク接続を介して、「私がこの人物を見ると、
あなたに別の画像を代用してもらいたい」を言ってもよい。顔のこの場所が音声ファイル
と共に構成者に渡されるであろう。従って、構成者は、観察者の入力により良好な又は異
なるEyetineraryTMを開発することができる。
神及び範囲から逸脱することなく様々な修正が行われ得ることが理解される。更に、特定
の実施形態に関して代替手段が開示されている場合、この代替手段は特段の記載が無けれ
ば他の実施形態にも適用され得る。更に、記載された任意の構成要素又は動作が、ハード
ウェア、ソフトウェア、ファームウェア又はハードウェア、ソフトウェア及びハードウェ
アの何れか2つ以上の組み合わせで実装され/実行されてもよい。更に、記載された装置
又はシステムの1つ以上のコンポーネントは、明確のため又は他の理由で記載から省略さ
れている場合がある。更に、説明に含まれている記載された装置又はシステムの1つ以上
のコンポーネントが装置又はシステムから省略されてもよい。
Claims (48)
- 1つ以上のカメラが1つ以上のディスプレイスクリーンの前の1人以上の観察者の顔の
画像をキャプチャすることを介して収集されるデータに応じて動作するアルゴリズムに従
って1つ以上のディスプレイスクリーン上に表示される1つ以上のオリジナルの画像を修
正するための方法。 - 収集されるデータは、1人以上の観察者の視線の位置が前記オリジナルの画像内のどこ
に向けられているか、又は1人以上の観察者の顔貌の変化、又は1人以上の観察者の識別
の1つ以上である、請求項1に記載の方法。 - 収集されるデータは、周辺光、又はディスプレイスクリーンからの観察者の距離、又は
観察者の数の1つ以上である、請求項1に記載の方法。 - 修正は、前記オリジナルの画像の一部又は全ての輝度を変更することである、請求項1
に記載の方法。 - 修正は、前記オリジナルの画像を代替画像と置換することを含み、前記代替画像のコン
テンツは前記オリジナルの画像と同じであるが一部又は全てのピクセルが修正されている
、請求項4に記載の方法。 - 修正は、前記オリジナルの画像の全て又は一部の焦点を変更することである、請求項1
に記載の方法。 - 修正は、前記オリジナルの画像を代替画像と置換することであり、前記代替画像のコン
テンツは前記オリジナルの画像と同じであるが一部又は全てのピクセルが修正されている
、請求項6に記載の方法。 - 修正は、前記画像の一部又は全てにおいて接近して見えるオブジェクトに対する焦点を
変更することである、請求項6に記載の方法。 - 修正は、前記画像の一部又は全てにおいて離れて見えるオブジェクトに対する焦点を変
更することである、請求項6に記載の方法。 - 修正は、前記画像の一部又は全ての見掛けの被写界深度を変更することである、請求項
6に記載の方法。 - 観察者が前記1つ以上の画像を凝視しているとき、前記1つ以上のカメラから集められ
たデータの処理は、前記観察者があたかも離れているオブジェクトを見ているかのように
目を開散させているかどうかを決定し、そうであれば、修正は、前記画像において近くに
見えるオブジェクトが焦点をぼかされ且つ遠くに見えるオブジェクトが鋭く焦点を合わさ
れるように前記画像の部分の焦点を変更することである、請求項6に記載の方法。 - 観察者が前記1つ以上の画像を凝視しているとき、修正は、焦点を合わせられたエリア
の周囲の前記画像の部分の焦点をぼかし、且つ前記画像を横断して観察者の視線を引くた
めに前記画像を横断して焦点を合わせられたエリアを移動させる、請求項6に記載の方法
。 - 修正は、前記オリジナルの画像の一部を中心としてズームすることによって拡大又は縮
小することである、請求項1に記載の方法。 - 修正は、前記オリジナルの画像を代替画像と置換することを含む、請求項13に記載の
方法。 - 修正は、ディスプレイスクリーンから観察者への測定距離の変化と同期して拡大又は縮
小することである、請求項13に記載の方法。 - 修正は、観察者の視線が固定されている場合に、前記オリジナルの画像における場所を
中心としてズームすることによって拡大することである、請求項13に記載の方法。 - 修正は、前記画像の一部又は全ての色バランス又は彩度又は色濃度又はコントラストを
変更することである、請求項1に記載の方法。 - 修正は、前記オリジナルの画像を代替画像と置換することであり、前記代替画像のコン
テンツは前記オリジナルの画像と同じであるが一部又は全てのピクセルが修正されている
、請求項17に記載の方法。 - 修正は、前記オリジナルの画像に伴う音声の再生を引き起こすこと又は変更することで
ある、請求項1に記載の方法。 - 修正は、前記オリジナルの画像内のスプライトの移動又は移動中止を引き起こすことで
ある、請求項1に記載の方法。 - 修正は、多分岐動画の分岐を選択することである、請求項1に記載の方法。
- 前記1つ以上のオリジナルの画像は静止画である、請求項1に記載の方法。
- 前記1つ以上のオリジナルの画像は動画である、請求項1に記載の方法。
- 前記1つ以上のオリジナルの画像は移動するスプライトを有する静止画である、請求項
1に記載の方法。 - 前記1つ以上のオリジナルの画像は2次元である、請求項1に記載の方法。
- 前記1つ以上のオリジナルの画像は3次元である、請求項1に記載の方法。
- 前記アルゴリズムは、前記1つ以上の画像を選択したアーティストにより決定されるカ
スタムである、請求項1に記載の方法。 - 前記アルゴリズムは、前記1つ以上のオリジナルの画像を選択したアーティスト又はコ
ンテンツ作成者により選択及び使用されるソフトウェアを供給した会社により事前決定さ
れる、請求項1に記載の方法。 - 前記アルゴリズムは、ソフトウェアを供給した会社により事前決定され、且つ前記アル
ゴリズムは、任意の画像又は画像の組と協働する、請求項1に記載の方法。 - 前記アルゴリズムは、段階的変化の修正が行われる速さをアーティスト又はコンテンツ
作成者が指定することを可能にする、請求項1に記載の方法。 - 観察者が画像内のスクリーンの一部にタッチすることによってタッチから収集されるデ
ータに応じて動作するアルゴリズムに従って1つ以上のディスプレイスクリーン上に表示
される1つ以上のオリジナルの画像を修正する方法であって、
修正は、1つ以上の代替画像と前記オリジナルの画像の置換であり、前記代替画像のコ
ンテンツは前記オリジナルの画像と同じであるが一部又は全てのピクセルが修正されてい
る、方法。 - タッチから収集される前記データは、1本以上の指によるタッチ、タッチの力、タッチ
の持続時間、及びタッチの移動の1つ以上を含む、請求項31に記載の方法。 - 修正は、前記オリジナルの画像の全て又は一部の焦点を変更することである、請求項3
1に記載の方法。 - 修正は、
前記画像の一部又は全てにおいて接近して見えるオブジェクトに対する焦点を変更する
こと、又は
前記画像の一部又は全てにおいて離れて見えるオブジェクトに対する焦点を変更するこ
と、又は
前記画像の一部又は全ての見掛けの被写界深度を変更すること
の1つ以上を含む、請求項33に記載の方法。 - 修正は、
前記オリジナルの画像の一部又は全ての輝度を変更すること、又は
前記オリジナルの画像の一部から拡大又は縮小すること、又は
前記オリジナルの画像の一部又は全ての色バランス又は彩度又は色濃度又はコントラス
トを変更すること、又は
前記オリジナルの画像内のスプライトの移動又は移動中止を引き起こすこと、又は
多分岐動画の分岐を選択すること
の1つ以上を含む、請求項31に記載の方法。 - 前記1つ以上のオリジナルの画像は、
静止画、又は
動画、又は
移動するスプライトを有する静止画、又は
2次元、又は
3次元
である、請求項31に記載の方法。 - アルゴリズムは、
前記1つ以上の画像を選択したアーティストにより決定されるカスタム、又は
前記1つ以上のオリジナルの画像を選択したアーティスト又はコンテンツ作成者により
選択及び使用されるソフトウェアを供給した会社により事前決定されること、又は
ソフトウェアを供給した会社により事前決定され、前記アルゴリズムは任意の画像又は
画像の組と協働すること、又は
段階的変化の修正が行われる速さをアーティスト又はコンテンツ作成者が指定すること
を可能にすること
の1つ以上を含む、請求項31に記載の方法。 - 声音から収集されるデータに応じて動作するアルゴリズムに従って1つ以上のディスプ
レイスクリーン上に表示される1つ以上のオリジナルの画像を修正する方法であって、修
正は1つ以上の代替画像と前記オリジナルの画像の置換であり、前記代替画像のコンテン
ツは前記オリジナルの画像と同じであるが一部又は全てのピクセルが修正されている、方
法。 - 修正は、
前記オリジナルの画像の一部又は全ての輝度を変更すること、
前記オリジナルの画像の一部又は全ての焦点を変更すること、
前記オリジナルの画像の一部又は全てから拡大又は縮小すること、
前記オリジナルの画像の一部又は全ての色バランス又は彩度又は色濃度又はコントラス
トを変更すること、
前記オリジナルの画像の一部又は全ての鮮明さを変更すること、
前記オリジナルの画像内のスプライトの移動又は移動中止を引き起こすこと、多分岐動
画の分岐を選択すること
の1つ以上を含む、請求項38に記載の方法。 - 声音から収集されるデータから、話している人物の推定の識別が決定され、修正は前記
推定の識別によって少なくとも部分的に決定される、請求項38に記載の方法。 - ディスプレイスクリーンの筐体に埋め込まれた1つ以上の加速度計から収集されるデー
タに応じて動作するアルゴリズムに従ってハンドヘルドディスプレイスクリーン上に表示
されるオリジナルの画像を修正する方法であって、修正は、1つ以上の左境界、右境界、
上部境界又は下部境界の各々を拡大又は縮小することによってオリジナルの画像の視野を
変更することである、方法。 - 前記1つ以上の加速度計から収集される前記データは、観察者から離れているディスプ
レイの第1の端部の反対の端部に対する傾斜であり、傾斜は前記第1の端部に近い前記画
像のより多くを視界に入れさせる、請求項41に記載の方法。 - 修正は、前記オリジナルの画像の一部を中心としてズームすることによって拡大又は縮
小することである、請求項41に記載の方法。 - サーバコンピュータ及びクライアントコンピュータを有するシステムにおいて、著者か
ら指導を受信し、前記指導に基づいて、観察者のアクションに基づいて変化する画像を示
すデータセットを生成するための方法であって、
(a)前記サーバコンピュータにおいて、一連の複数の画像の仕様をクライアントコンピ
ュータから受信するステップと、
(b)前記サーバコンピュータにおいて、前記一連の画像におけるオリジナルの画像から
前記一連の画像における第2の画像への遷移をトリガする収集されるデータの仕様を前記
クライアントコンピュータから受信するステップと、
(c)前記一連の画像における前記オリジナルの画像から前記一連の画像における前記第
2の画像への遷移の速さの仕様を前記クライアントコンピュータから受信するステップと
、
(d)観察者のコンピュータに送信され得るデータセットを前記サーバコンピュータにお
いてアセンブルするステップであって、前記データセットは前記観察者のコンピュータ上
で観察されることが可能であり、前記観察者のアクションから受信されるデータ入力は、
一連のオリジナルの画像を指定された遷移の速さで前記第2の画像と置換することによっ
て観察される画像の修正を引き起こすステップと
を含む、方法。 - 前記データ入力は、
前記オリジナルの画像内の1人以上の観察者の視線の位置、又は
1人以上の観察者の顔貌の変化、又は
周辺光、又は
観察者のディスプレイスクリーンからの距離、又は
観察者の数、又は
音声入力、又は
タッチ入力
の1つ以上を含む、請求項44に記載の方法。 - 修正は、
前記オリジナルの画像の一部又は全ての輝度を変更すること、
前記オリジナルの画像の一部の焦点を変更すること、
前記オリジナルの画像の一部から拡大又は縮小すること、
前記オリジナルの画像の一部又は全ての色バランス又は彩度又は色濃度又はコントラス
トを変更すること、
前記オリジナルの画像内のスプライトの移動又は移動中止を引き起こすこと、
多分岐動画の分岐を選択すること
の1つ以上を含む、請求項44に記載の方法。 - 前記オリジナルの画像は、
静止画、又は
動画、又は
移動するスプライトを有する静止画、又は
2次元、又は
3次元
である、請求項44に記載の方法。 - 前記クライアントコンピュータ及び前記サーバコンピュータは、単一のコンピュータ筐
体の中に含まれ、且つ単一ユーザによりアクティブ化される、請求項44に記載の方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US15/069,829 US9990035B2 (en) | 2016-03-14 | 2016-03-14 | Image changes based on viewer's gaze |
US15/069,829 | 2016-03-14 | ||
JP2022015381A JP2022064987A (ja) | 2016-03-14 | 2022-02-03 | デジタル媒体と観察者の相互作用の構成及び実現 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022015381A Division JP2022064987A (ja) | 2016-03-14 | 2022-02-03 | デジタル媒体と観察者の相互作用の構成及び実現 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2022166078A true JP2022166078A (ja) | 2022-11-01 |
Family
ID=59786663
Family Applications (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017048499A Pending JP2017208073A (ja) | 2016-03-14 | 2017-03-14 | デジタル媒体と観察者の相互作用の構成及び実現 |
JP2022015381A Pending JP2022064987A (ja) | 2016-03-14 | 2022-02-03 | デジタル媒体と観察者の相互作用の構成及び実現 |
JP2022124191A Pending JP2022166078A (ja) | 2016-03-14 | 2022-08-03 | デジタル媒体と観察者の相互作用の構成及び実現 |
Family Applications Before (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017048499A Pending JP2017208073A (ja) | 2016-03-14 | 2017-03-14 | デジタル媒体と観察者の相互作用の構成及び実現 |
JP2022015381A Pending JP2022064987A (ja) | 2016-03-14 | 2022-02-03 | デジタル媒体と観察者の相互作用の構成及び実現 |
Country Status (2)
Country | Link |
---|---|
US (6) | US9990035B2 (ja) |
JP (3) | JP2017208073A (ja) |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9990035B2 (en) | 2016-03-14 | 2018-06-05 | Robert L. Richmond | Image changes based on viewer's gaze |
JP2017228044A (ja) * | 2016-06-21 | 2017-12-28 | 株式会社ソニー・インタラクティブエンタテインメント | 画像生成装置、画像生成システム、および画像生成方法 |
US11869388B2 (en) * | 2018-04-27 | 2024-01-09 | Red Six Aerospace Inc. | Augmented reality for vehicle operations |
US11436932B2 (en) | 2018-04-27 | 2022-09-06 | Red Six Aerospace Inc. | Methods and systems to allow real pilots in real aircraft using augmented and virtual reality to meet in a virtual piece of airspace |
US11887495B2 (en) * | 2018-04-27 | 2024-01-30 | Red Six Aerospace Inc. | Augmented reality for vehicle operations |
US11508255B2 (en) | 2018-04-27 | 2022-11-22 | Red Six Aerospace Inc. | Methods, systems, apparatuses and devices for facilitating provisioning of a virtual experience |
JP7256663B2 (ja) * | 2019-03-26 | 2023-04-12 | キヤノン株式会社 | 画像出力装置およびその制御方法 |
CN110908510B (zh) * | 2019-11-08 | 2022-09-02 | 四川大学 | 一种倾斜摄影建模数据在沉浸式显示设备中的应用方法 |
CN111324819B (zh) * | 2020-03-24 | 2021-07-30 | 北京字节跳动网络技术有限公司 | 一种媒体内容搜索的方法、装置、计算机设备及存储介质 |
WO2022094279A1 (en) * | 2020-10-30 | 2022-05-05 | Daniel Augustine Robinson | Augmented reality for vehicle operations |
US11847248B2 (en) | 2020-12-16 | 2023-12-19 | Cigna Intellectual Property, Inc. | Automated viewpoint detection and screen obfuscation of secure content |
Family Cites Families (34)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5544295A (en) * | 1992-05-27 | 1996-08-06 | Apple Computer, Inc. | Method and apparatus for indicating a change in status of an object and its disposition using animation |
JP2000132152A (ja) * | 1998-10-27 | 2000-05-12 | Sharp Corp | 表示装置 |
US6600491B1 (en) * | 2000-05-30 | 2003-07-29 | Microsoft Corporation | Video-based rendering with user-controlled movement |
US7068813B2 (en) * | 2001-03-28 | 2006-06-27 | Koninklijke Philips Electronics N.V. | Method and apparatus for eye gazing smart display |
US7120293B2 (en) * | 2001-11-30 | 2006-10-10 | Microsoft Corporation | Interactive images |
US7102792B2 (en) | 2002-01-16 | 2006-09-05 | Xerox Corporation | Systems and methods for modifying image data for background printing |
US7899915B2 (en) * | 2002-05-10 | 2011-03-01 | Richard Reisman | Method and apparatus for browsing using multiple coordinated device sets |
US7075535B2 (en) * | 2003-03-05 | 2006-07-11 | Sand Codex | System and method for exact rendering in a zooming user interface |
US20050047629A1 (en) * | 2003-08-25 | 2005-03-03 | International Business Machines Corporation | System and method for selectively expanding or contracting a portion of a display using eye-gaze tracking |
DE102007033239A1 (de) * | 2007-07-13 | 2009-01-15 | Visumotion Gmbh | Verfahren zur Bearbeitung eines räumlichen Bildes |
DE102009008152A1 (de) | 2009-02-09 | 2010-08-19 | Nb Technologies Gmbh | Siliziumsolarzelle |
US20110157218A1 (en) * | 2009-12-29 | 2011-06-30 | Ptucha Raymond W | Method for interactive display |
US20120001923A1 (en) | 2010-07-03 | 2012-01-05 | Sara Weinzimmer | Sound-enhanced ebook with sound events triggered by reader progress |
US8717447B2 (en) | 2010-08-20 | 2014-05-06 | Gary Stephen Shuster | Remote telepresence gaze direction |
JP2012060236A (ja) * | 2010-09-06 | 2012-03-22 | Sony Corp | 画像処理装置、画像処理方法およびコンピュータプログラム |
US8493390B2 (en) * | 2010-12-08 | 2013-07-23 | Sony Computer Entertainment America, Inc. | Adaptive displays using gaze tracking |
US8643680B2 (en) * | 2011-04-08 | 2014-02-04 | Amazon Technologies, Inc. | Gaze-based content display |
JP2012238088A (ja) * | 2011-05-10 | 2012-12-06 | Vri Inc | 画像選択表示方法および装置 |
CN103765346B (zh) | 2011-09-08 | 2018-01-26 | 英特尔公司 | 基于眼睛凝视的用于音频视觉回放的位置选择 |
KR101754750B1 (ko) * | 2011-09-08 | 2017-07-10 | 인텔 코포레이션 | 상호작용 스크린 보기를 위한 장치, 매체 및 방법 |
JP6007600B2 (ja) * | 2012-06-07 | 2016-10-12 | ソニー株式会社 | 画像処理装置、画像処理方法およびプログラム |
US8873851B2 (en) | 2012-06-29 | 2014-10-28 | Intellectual Ventures Fund 83 Llc | System for presenting high-interest-level images |
US9014509B2 (en) * | 2012-06-29 | 2015-04-21 | Intellectual Ventures Fund 83 Llc | Modifying digital images to increase interest level |
US20170185596A1 (en) | 2012-07-16 | 2017-06-29 | Gary Spirer | Trigger-based content presentation |
CN104685536B (zh) * | 2012-10-05 | 2018-11-06 | 皇家飞利浦有限公司 | 用于优化子图像视图的实时图像处理 |
US8849064B2 (en) * | 2013-02-14 | 2014-09-30 | Fotonation Limited | Method and apparatus for viewing images |
JP6167613B2 (ja) * | 2013-03-29 | 2017-07-26 | 株式会社コナミデジタルエンタテインメント | 画像表示装置、画像表示方法及びコンピュータプログラム |
IN2014CH02078A (ja) * | 2013-04-24 | 2015-07-03 | Morpho Inc | |
US9811933B2 (en) | 2014-06-20 | 2017-11-07 | Google Inc. | Image editing using selective editing tools |
EP3007467B1 (en) * | 2014-10-06 | 2017-08-30 | Oticon A/s | A hearing device comprising a low-latency sound source separation unit |
JP6232012B2 (ja) | 2015-05-28 | 2017-11-15 | 富士通テン株式会社 | 検出装置、受信装置および検出方法 |
KR102317021B1 (ko) * | 2015-06-26 | 2021-10-25 | 삼성전자주식회사 | 디스플레이 장치 및 이의 영상 보정 방법 |
US10643381B2 (en) * | 2016-01-12 | 2020-05-05 | Qualcomm Incorporated | Systems and methods for rendering multiple levels of detail |
US9990035B2 (en) | 2016-03-14 | 2018-06-05 | Robert L. Richmond | Image changes based on viewer's gaze |
-
2016
- 2016-03-14 US US15/069,829 patent/US9990035B2/en active Active
-
2017
- 2017-03-14 JP JP2017048499A patent/JP2017208073A/ja active Pending
-
2018
- 2018-06-04 US US15/997,468 patent/US10416765B2/en active Active
-
2019
- 2019-09-16 US US16/572,315 patent/US11016563B2/en active Active
-
2021
- 2021-05-20 US US17/326,198 patent/US11816257B2/en active Active
-
2022
- 2022-02-03 JP JP2022015381A patent/JP2022064987A/ja active Pending
- 2022-07-15 US US17/866,150 patent/US11782507B2/en active Active
- 2022-08-03 JP JP2022124191A patent/JP2022166078A/ja active Pending
-
2023
- 2023-10-06 US US18/482,591 patent/US20240036644A1/en active Pending
Also Published As
Publication number | Publication date |
---|---|
US11816257B2 (en) | 2023-11-14 |
US11782507B2 (en) | 2023-10-10 |
US20200081529A1 (en) | 2020-03-12 |
US20220350405A1 (en) | 2022-11-03 |
US20180284888A1 (en) | 2018-10-04 |
US11016563B2 (en) | 2021-05-25 |
US20210271322A1 (en) | 2021-09-02 |
US10416765B2 (en) | 2019-09-17 |
US20240036644A1 (en) | 2024-02-01 |
US20170262052A1 (en) | 2017-09-14 |
JP2022064987A (ja) | 2022-04-26 |
JP2017208073A (ja) | 2017-11-24 |
US9990035B2 (en) | 2018-06-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11782507B2 (en) | Image changes based on facial appearance | |
KR101754750B1 (ko) | 상호작용 스크린 보기를 위한 장치, 매체 및 방법 | |
JP2021511729A (ja) | 画像、又はビデオデータにおいて検出された領域の拡張 | |
US10182187B2 (en) | Composing real-time processed video content with a mobile device | |
TWI752502B (zh) | 一種分鏡效果的實現方法、電子設備及電腦可讀儲存介質 | |
US20110273466A1 (en) | View-dependent rendering system with intuitive mixed reality | |
EP2896200B1 (en) | Augmented reality apparatus and method | |
JP2014014076A (ja) | 3d深度情報に基づいたイメージぼかし | |
JP7247327B2 (ja) | ダイナミックデプス画像を撮影して編集するための手法 | |
CN111638784B (zh) | 人脸表情互动方法、互动装置以及计算机存储介质 | |
Reinhuber | Synthography–An invitation to reconsider the rapidly changing toolkit of digital image creation as a new genre beyond photography | |
CN117395386A (zh) | 一种虚拟延时视频的交互拍摄方法、装置、设备及介质 | |
Liu et al. | Stereo-based bokeh effects for photography | |
CN114339029B (zh) | 拍摄方法、装置及电子设备 | |
EP4150560A1 (en) | Single image 3d photography with soft-layering and depth-aware inpainting | |
KR20120092960A (ko) | 가상 캐릭터 제어 시스템 및 방법 | |
McAdam et al. | Novel interfaces for digital cameras and camera phones | |
CN113141502B (zh) | 头戴式显示设备的摄像控制方法、装置及头戴式显示设备 | |
Horváthová et al. | Using blender 3D for learning virtual and mixed reality | |
CN108573526A (zh) | 人脸抓拍装置及影像生成方法 | |
DeHart | Directing audience attention: cinematic composition in 360 natural history films | |
CN113824993A (zh) | 一种视频处理的方法、装置、电子设备及存储介质 | |
CN118196269A (zh) | 用于增强现实的光照估计方法 | |
CN117376591A (zh) | 基于虚拟现实的场景切换处理方法、装置、设备及介质 | |
CN117319790A (zh) | 基于虚拟现实空间的拍摄方法、装置、设备及介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220817 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220817 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231017 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240115 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20240507 |