JP2022064987A

JP2022064987A - デジタル媒体と観察者の相互作用の構成及び実現

Info

Publication number: JP2022064987A
Application number: JP2022015381A
Authority: JP
Inventors: ロバートエルリッチモンド、; L Richmond Robert; ジェフリーヘイリー、; Haley Jeffrey; ジュニア、トーマスレナードシュウォラー; Leonard Schworer Thomas Jr; マクスウェルウルフリッチモンド、; Wolfe Richmond Maxwell; イーライニュートンリッチモンド、; Newton Richmond Eli; オウエンセーガンリッチモンド、; Sagan Richmond Owen
Original assignee: Individual
Current assignee: Individual
Priority date: 2016-03-14
Filing date: 2022-02-03
Publication date: 2022-04-26
Also published as: US20240036644A1; US20210271322A1; JP2017208073A; US20180284888A1; US10416765B2; US11782507B2; US9990035B2; US11016563B2; US11816257B2; US20220350405A1; JP2022166078A; US20200081529A1; US20170262052A1

Abstract

【課題】観察者が見ている画像の場所を追跡することで画像観察体験を向上させる方法を提供する。【解決手段】システムは、画像を表示するディスプレイ１４のスクリーンと、画像を見る観察者１３の顔の画像をキャプチャする画像キャプチャ装置（視線検出ハードウェア装置１６）と、コンピュータ１７と、を備える。コンピュータは、画像キャプチャ装置が取得した観察者の顔の画像に応じて、観察者が凝視している画像の場所を決定し、決定した場所における画像の一部の鮮明さとは異なる鮮明さを有する画像部分を検索し、場所の画像の一部を検索した画像部分で置換することにより、鮮明さを修正する。さらに、画像キャプチャ装置が取得した観察者の顔の別の画像に応じて、観察者が依然、画像の同じ場所を凝視しているかどうかを決定し、もはや凝視していないと決定した場合は、検索した画像部分と場所の画像の一部を置換することにより、鮮明さを再度修正する。【選択図】図６

Description

今日のデジタルカメラ及びスマートフォンはコンピュータパワーを使用して、他の装置
の画面上で即座に又は後で見るために画像を向上させる。一例はＨＤＲ又はハイダイナミ
ックレンジであり、カメラは異なる露出で複数の写真を素早く撮り、全ての部分が、最も
明るい及び最も暗い部分でさえも露出されて全ての細部を引き出す画像を作成する。

また、目に対してより魅力的にするために、又はどのくらいの時間（例えば、平均時間
、合計時間）を何人の観察者がそれに費やしているかに関して広告の価値を測るために、
観察者がウェブページ上の所定の広告をどのくらいの長さ見ているかを決定するために視
線検出を使用する既存のシステムも有る。また、動画の再生を停止してバッテリー電源を
節約するか又は観察者が動画の何れの部分も見逃さないように、観察者がもはやスマート
フォンのディスプレイ等のディスプレイを見ていないかどうかを確認するために視線検出
を使用するシステムも有る。

実施形態は、観察者が見ている場所を追跡することによって画像観察体験を向上させる
ためにこうした２つの概念を結合する。その結果、オリジナルのシーンを見ているような
体験をもたらし、又は、自動的に、又は写真家により撮られた１つ又は複数の画像の特定
の部分を観察者が見ると何が起こるべきかについて写真家が予め指定した意図によって、
オリジナルの体験を超えた新しいやり方でそれを向上させる。

実施形態は、アーティストがディスプレイスクリーン用のオリジナルの画像又は複数の
ディスプレイスクリーン用の複数のオリジナルの画像を作成することを可能にし、それは
観察者が誰であるか又は観察者が何をするかに応じて、観察者が画像を見るときに変化す
る。画像を変化させる観察者のアクションは、観察者がどこに視線を向けるか又はスクリ
ーンをタッチするか、又は観察者が何を言うか又は観察者がディスプレイからどれくらい
離れているか、又は何人の観察者が居るか、又は特定の期待観察者の識別等であってもよ
い。

実施形態は、１つ以上のカメラが１つ以上のディスプレイスクリーンの前の１人以上の
観察者の顔の画像をキャプチャすることを介して収集されるデータに応じて１つ以上のデ
ィスプレイスクリーン上に表示される１つ以上のオリジナルの画像を修正するための方法
である。収集されるデータは、１人以上の観察者の視線の位置がオリジナルの画像内のど
こに向けられているか、又は１人以上の観察者の顔貌の変化、又は周辺光の量、又は観察
者のディスプレイスクリーンからの距離、又は観察者の数、又は観察者の識別の１つ以上
であってもよい。

［輝度］
修正は、オリジナルの画像の一部又は全ての輝度を変更することであってもよい。輝度
の変更は、オリジナルの画像を代替画像と置換することによってもたらされることができ
、代替画像のコンテンツはオリジナルの画像と同じであるが代替画像の少なくとも一部の
輝度がオリジナルの画像の少なくとも対応する部分の輝度とは異なるように一部又は全て
のピクセルが修正されている。例えば、一対の写真画像がカメラで撮られてもよく、画像
は異なる露出を除いて基本的に同じである。１枚の画像の一部又は全てが、輝度を変更す
るために他の画像の一部又は全てを置換し得る。代替的に、アルゴリズムは、１人以上の
観察者によるアクションに応じて、全ての画像ピクセルではないが一部の画像ピクセルの
数値輝度を調節することができる。

［焦点］
修正は、オリジナルの画像の一部又は全ての焦点を変更することであってもよい。変更
は、オリジナルの画像と代替画像との置換によってもたらされることができ、代替画像の
コンテンツはオリジナルの画像と同じであるが代替画像の少なくとも一部の焦点がオリジ
ナルの画像の少なくとも対応する部分の焦点とは異なるように一部又は全てのピクセルが
修正されている。修正は、画像の一部又は全てにおいて接近して見えるオブジェクトに対
する焦点を変更することであってもよい。修正は、画像の一部又は全てにおいて離れて見
えるオブジェクトに対する焦点を変更することであってもよい。修正は、画像の一部又は
全ての見掛けの被写界深度を変更することであってもよい。修正は、オリジナルの画像の
一部を中心としてズームすることによって拡大又は縮小することであってもよい。修正は
、代替画像とオリジナルの画像の置換を含んでもよい。修正は、ディスプレイスクリーン
から観察者への測定距離の変化と同期して拡大又は縮小することであってもよい。

［色］
修正は、画像の一部又は全ての色バランス又は彩度又は色濃度又はコントラストを変更
することであってもよい。これは、オリジナルの画像と代替画像との置換によってもたら
されることができ、代替画像のコンテンツはオリジナルの画像と同じであるが代替画像の
少なくとも一部の色（例えば、色バランス又は彩度）がオリジナルの画像の少なくとも対
応する部分の色とは異なるように一部又は全てのピクセルが修正されている。

［鮮明さ］
修正は、画像の一部又は全ての鮮明さを変更することであってもよい。これは、オリジ
ナルの画像と代替画像との置換によってもたらされることができ、代替画像のコンテンツ
はオリジナルの画像と同じであるが代替画像の少なくとも一部の鮮明さがオリジナルの画
像の対応する部分の鮮明さとは異なるように一部又は全てのピクセルが修正されている。

［音声出力］
修正は、オリジナルの画像に伴う音声の再生を引き起こすこと又は変更することであっ
てもよい。

［スプライト］
修正は、オリジナルの画像内のスプライトの移動又は移動中止を引き起こすことであっ
てもよい。

［アニメーションＧＩＦ（ＧｒａｐｈｉｃｓＩｎｔｅｒｃｈａｎｇｅＦｏｒｍａｔ
）］
修正は、アニメーションＧＩＦを共に形成する少数の画像と画像の全て又は一部を置換
することであってもよい。

［動画分岐］
修正は、多分岐動画の分岐を選択することであってもよい。

上記の実施形態の何れかにおいて、１つ以上のオリジナルの画像は、静止画、又は動画
、又は移動するスプライトを有する静止画であってもよい。オリジナルの画像は、２次元
又は３次元であってもよい。

上記の実施形態の何れかにおいて、１つ又は複数のオリジナルの画像の修正のためのア
ルゴリズムは、１つ以上の画像を選択したアーティスト又は構成者又はコンテンツ作成者
により決定されるカスタムであってもよい。修正のためのアルゴリズムは、１つ以上のオ
リジナルの画像を選択したアーティスト又はコンテンツ作成者により選択及び使用される
ソフトウェアを供給した会社により事前決定されてもよい。アルゴリズムは、ソフトウェ
アを供給した会社により事前決定されてもよく、アルゴリズムが任意の画像又は画像の組
と協働するようなものであってもよい。アルゴリズムは、段階的変化の修正（例えば、輝
度の段階的変化、焦点の段階的変化、色の段階的変化、微小（又は部分）画像から完全画
像へと新しい画像を拡大すること、又は他の遷移方法）が行われる速さをアーティスト又
はコンテンツ作成者が指定することを可能にしてもよい。

［タッチ又はマウス入力］
別の実施形態は、例えば、観察者が画像内のスクリーンの一部をタッチ又はポインティ
ングすることによってタッチ、マウス又は他の入力装置から収集されるデータに応じて動
作するアルゴリズムに従って１つ以上のディスプレイスクリーン上に表示される１つ以上
のオリジナルの画像を修正する方法であって、修正は１つ以上の代替画像とオリジナルの
画像の置換であり、代替画像のコンテンツはオリジナルの画像と同じであるが一部又は全
てのピクセルが修正されている。マウスにより収集されるデータは、クリック又はマウス
オーバ又はクリック及びドラッグ及び移動の１つ以上により識別されるデータを含んでも
よい。タッチから収集されるデータは、１本以上の指によるタッチ、タッチの力、タッチ
の持続時間、タッチの移動、及びユーザの手／指が画像ディスプレイスクリーンに接触し
ないが接近するジェスチャ（例えば、ピンチ操作、ウェービング、ポインティング）の１
つ以上によって識別されるデータを含んでもよい。修正は、上記の修正の何れかであって
もよい。１つ以上のオリジナルの画像は、静止画又は動画又は移動するスプライトを有す
る静止画、又は２次元又は３次元であってもよい。アルゴリズムは、上記の要素の何れか
を含んでもよい。

［音声入力］
別の実施形態は、声音から収集されるデータに応じて動作するアルゴリズムに従って１
つ以上のディスプレイスクリーン上に表示される１つ以上のオリジナルの画像を修正する
方法であって、修正は１つ以上の代替画像とオリジナルの画像の置換であり、代替画像の
コンテンツはオリジナルの画像と同じであるが一部又は全てのピクセルが修正されている
。修正は、上記の修正の何れかであってもよい。１つ以上のオリジナルの画像は、静止画
又は動画又は移動するスプライトを有する動画、又は２次元又は３次元であってもよい。
アルゴリズムは、上記の要素の何れかを含んでもよい。

［加速度計入力］
別の実施形態は、ディスプレイスクリーンの筐体に埋め込まれた１つ以上の加速度計か
ら収集されるデータに応じて動作するアルゴリズムに従ってハンドヘルドディスプレイス
クリーン上に表示されるオリジナルの画像を修正する方法であって、修正は、１つ以上の
左境界、右境界、上部境界又は下部境界の各々を拡大又は縮小することによってオリジナ
ルの画像の視野を変更することである。１つ以上の加速度計から収集されるデータは、観
察者から離れているディスプレイの第１の端部の反対の端部に対する傾斜であり、この傾
斜は第１の端部に近い画像のより多くを視界に入れさせる。修正は、オリジナルの画像の
（必ずしも中心ではない）部分を中心としてズームすることによって拡大又は縮小するこ
とであってもよい。

［オーサリングツール］
別の実施形態は、著者から指導を受信し、こうした指導に基づいて、観察者のアクショ
ンに基づいて変化する画像を示すデータセットを生成するためのサーバコンピュータ及び
クライアントコンピュータを有するシステムにおける方法である。方法は、（ａ）サーバ
コンピュータにおいて、一連の複数の画像の仕様をクライアントコンピュータから受信す
るステップと、（ｂ）サーバコンピュータにおいて、一連の画像におけるオリジナルの画
像から一連の画像における第２の画像への遷移をトリガするべく収集されるデータの仕様
をクライアントコンピュータから受信するステップと、（ｃ）一連の画像におけるオリジ
ナルの画像から一連の画像における第２の画像への遷移の速さの仕様をクライアントコン
ピュータから受信するステップと、（ｄ）観察者のコンピュータに送信され得るデータセ
ットをサーバコンピュータにおいてアセンブルするステップとを含み、データセットは観
察者のコンピュータ上で観察されることが可能であり、観察者のアクションから受信され
たデータ入力は、一連のオリジナルの画像を指定された遷移の速さで第２の画像と置換す
ることによって観察画像の修正を引き起こす。

データ入力は、限定されないが、オリジナルの画像内の１人以上の観察者の視線の位置
、又は１人以上の観察者の顔貌の変化、又は周辺光、又は観察者のディスプレイスクリー
ンからの距離、又は観察者の数、又は観察者の識別、又は音声入力、又はタッチ入力の１
つ以上を含んでもよい。

修正は、限定されないが、オリジナルの画像の一部又は全ての輝度を変更すること、オ
リジナルの画像の一部の焦点を変更すること、オリジナルの画像の一部から拡大又は縮小
すること、オリジナルの画像の一部又は全ての色バランス又は彩度又は色濃度又はコント
ラストを変更すること、オリジナルの画像内のスプライトの移動又は移動の中止を引き起
こすこと、多分岐動画の分岐を選択することを含んでもよい。

オリジナルの画像は、限定されないが、静止画又は動画又は移動するスプライトを有す
る動画、又は２次元又は３次元であってもよい。

クライアントコンピュータ及びサーバコンピュータは、各々の単一のコンピュータ筐体
の中に含まれる各ソフトウェアプログラムをそれぞれ含んでもよく、単一ユーザによりア
クティブ化されてもよい。

一実施形態に従って、写真家が単一対象の複数画像を撮影することを示す。一実施形態に従って、一組の画像に対する露出マップを作成するためのフローチャートである。一実施形態に従って、一組の画像に対する焦点マップを作成するためのフローチャートである。一実施形態に従って、一組の画像に対する露出マップがどのように記憶されるかを示す。一実施形態に従って、観察者が画像の異なる部分を見るとどのように画像が変化するかを構成者がどのように決定するかを示す。一実施形態に従って、観察者が画像の異なる部分を見ると画像を変化させるシステムを示す。

本発明の１つ以上の実施形態は、自動的に、又は、写真家／構成者により前もって決定
され及び、例えば、観察者が画像内のどこを見ているかによって後で駆動されるように、
写真を向上させ、例えば、輝度、焦点、被写界深度及び他の品質の次元で観察者と静止画
及び動画をインタラクティブにすることである。

最も単純且つ限定的な形態では、実施形態は、オリジナルのシーンが露出又は深度につ
いて非常に大きな変化を有している写真の中でキャプチャされたシーンの主題を誰かがど
のように見るかを再現する。以下の例はこの概念を解明する。

１．輝度
背後で夕日が沈んでいる木立を想像する。観察者が太陽の方を見ると、虹彩が収縮し、
それによって瞳孔はサイズが減少し、より少ない光を入らせ且つ輝度を低減させ、観察者
は、赤い太陽の残りの半円（木により遮られていない太陽の部分）を見るが、木が黒いシ
ルエットになるのを見る。しかしながら、単一の特定の木をみるとき、瞳孔は再び開いて
、木の皮の特徴及びテクスチャが見えるようになる。

このようなシーンの通常の従来の写真は、沈む夕日の形状を見るのに十分に暗く、この
場合、木は黒いか、又は木の皮を見るのに十分に明るく、この場合、夕日の背景は太陽が
無く白い「ブローンアウト」エリアになるかの１つの露出に限定されるであろう。

この問題を補償することを意図した既存の写真法が有り、この方法は“ＨＤＲ”又はハ
イダイナミックレンジと呼ばれている。ＨＤＲでは、動きを回避するために複数の露出が
間断なく撮られ、画像の全てのエリアが正しい露出を有するように自動的に混合される。
しかしながら、ＨＤＲ補償した画像は「フェイク」又は「サッカリン」又は「非現実的」
に見えることが多く、従って、観察者にとって不満足となることが多い。

その代わり、実施形態は、観察者自身の瞳孔露出システムのアクションを再現する。Ｈ
ＤＲと同様に、それは、撮られたときに使用される露出のみが異なる一群の写真を使用す
る。しかしながら、写真の何れか１つが表示されると、（ＨＤＲ技術と比較して）全く異
なることが起こる。

例えば、太陽が正しく露出された写真がモニタ上で最初に明るく表示される。次に、観
察者がこの例の木のように最初に露出不足だった画像のより暗い部分を見ると、システム
の視線検出部が画像のより暗い部分への観察者の視線の移行を検出して、システムは木の
エリアがより露出されている組から別の写真を探して表示する。

このようにして、観察者が非常に暗いエリアを見ているので観察者の瞳孔が拡大すると
き、観察者はより多くの画像の細部が発展するという報酬を与えられる。太陽を再び見る
ことは反対を行う。即ち、エリアは非常に明るくてブローンアウトされているが、シルエ
ットになった木の間で赤く沈む太陽へと迅速に落ち着く。このようにして、オリジナルの
シーンを見る「感覚」が取り戻され且つ再現され、観察の体験が向上する。

実施形態は、静止画の写真を撮るときに決定する単なる輝度を超える広範なカメラ及び
表示の変化を記録するやり方を写真家／構成者に与えると共に、例えば、画像ディスプレ
イスクリーン上の視線検出又はタッチ操作又はマウス操作によって観察者が自然にこうし
た変化をトリガし且つ探索することを可能にする。トリガは、手動、自動又は事前設定し
た意図に従ったものであり得る。

代替的に、スワップに利用可能な複数の画像と画像スワップする代わりに、アルゴリズ
ムは、１人以上の観察者によるアクションに応じて画像の全ての画像ピクセルではないが
一部の画像ピクセルの輝度を（例えば、数値的に）調節し得る。

２．［焦点］
同じ方法が焦点に使用されてもよい。例えば、シーンが様々な距離に有るオブジェクト
を有する場合、通常の写真は、全てのオブジェクトに完全に焦点を合わせることができず
、少なくとも有限の被写界深度及び有限の焦点距離を有する写真を撮ったカメラを与えら
れる。従って、実施形態は、写真内のどのオブジェクトを観察者の目が見ているのかを追
跡して、それぞれ異なる焦点で取られた多くの異なる写真の組から、そのオブジェクトに
対して正確に焦点が合わされた写真を選択することができる。

３．「窓への歩み寄り」
観察者がディスプレイ全体を占めない写真又は他の画像の表示に向かって歩くと、観察
者とディスプレイとの間の距離の変化から目に対する角度の増加が計算され、ディスプレ
イに設置されたカメラにより距離の変化が測定され、写真のより多くを同時に表示しなが
ら写真の外フレームが増加され得る。観察者が実際の窓に接近するとより多くのコンテン
ツが現れるが、観察者が追加のコンテンツを見るためには窓の左から右まで「見渡す」必
要があるという点で、この技術は実際の窓に歩み寄ることをシミュレートしている。

４．後処理効果：クロッピング／スクローリング
カメラ設定が変更され、写真が撮られた後で、写真家は、画像がどのように表示される
べきかを決定する。例えば、クロッピングにおいて、写真家は、観察者に提示するために
画像のより芸術的なサブセットを選ぶ。しかしながら、写真家は、以下のやり方で、観察
者が興味を有する場合に画像のより多くが見られることを意図してもよい。しかしながら
、観察者の目が見下ろすか又は見上げる場合、画像は上下にスクロールされ得る。正しく
行われると、これは、画像のコンテンツを覗き込む体験を提供し得る。例えば、遠い山の
写真において、観察者は見下ろすと、視点に至る小道を見るであろう。言い換えれば、観
察者の前の小道の一部がフレームの大部分を占めるように、水平線が遠い山から小道の数
フィート前にシフトするであろう。即ち、観察者が見下ろすと画像は上にスクロールされ
、観察者が見上げると画像は下にスクロールされ得る。同様に、観察者が左又は右を見る
場合、画像は右又は左にスクロールされ得る。

ディスプレイが上下又は横方向に動かされる場合、画像をスクロールさせるために加速
度計データを使用することによってハンドヘルドディスプレイにより同じ効果が達成され
得る。即ち、ハンドヘルドディスプレイは、画像が窓よりも大きい場合に、観察者が画像
の所望の部分を観察するために動かすことができる携帯窓を模倣するように作られること
が可能である。

５．シャッター時間及び移動
複数のカエデの翼果が下降している静止画写真を想像する。一実施形態では、短い露出
時間の複数の写真が、より長い時間を有する写真と共に撮られ得る。観察者は、より長い
露出時間を有する写真における個々の種子を最初に見るとき、中心の周囲がぼやけた円と
してその翼弁を見る。しかしながら、観察者は、それを見つめるとき、間断なく短い露出
時間を有する写真（又は種子を含む写真の部分）によって形成される複数のフレームを見
せられ、種子が実際に素早く回転し且つ僅かに落ちてからその場所で動かなくなるのを見
る（例えば、短い露出時間を有する写真によって形成される最後のフレームが表示される
とき）。観察者が種子を含む写真の部分から目を逸らしている間、種子はその初期位置及
びぼやけた外観に戻るであろう（例えば、より長い露出時間を有する写真又はその一部が
再び表示されるであろう）。次に、上記のサイクルは、観察者が種子を再び見るときに繰
り返されるであろう。

代替的に、観察者が、上記のカエデの種子等の移動しているかもしれないように見える
オブジェクトを見るとき、静止画像の一部がオブジェクトが移動していることを示す動画
像又はスプライト又はアニメーションＧＩＦと置換され得る。

また、これは、体操選手又はスキーヤー又はジャンパーが単一のバックグラウンドに対
して複数の位置でキャプチャされる「連続写真術（ＳｅｑｕｅｎｔｉａｌＰｈｏｔｏｇ
ｒａｐｈｙ）」にも適用される。一実施形態では、１つの位置だけが示されるであろう。
観察者がディスプレイを見るとき、他のショットが示され、フレームを横断する各位置を
通して、そして最後のものから逆行して目を案内するであろう。単一の静止画像は移動を
描く一連の画像よりも典型的には少なく表されるので、これは、キャプチャ対象が実際に
どのように移動しているか見たい人物（例えば、コーチ又は医者）にとっては価値がある
であろう。

６．顔貌
人物が微笑んでいるか又は眉をひそめているか又は他の特定の感情を示しているかを決
定するために画像認識が使用され得る。このような顔の変化は、画像の一部又は画像の全
ての変化を引き起こし得る。画像認識は観察者の識別を決定するために使用可能であり、
決定された識別は画像を変化させ得る。

７．ディスプレイから観察者の距離
ディスプレイから観察者の距離を計算するためにディスプレイ上に設置されたカメラが
使用されてもよく、距離は画像の一部又は全てへの変化を引き起こすために使用され得る
。（距離を測定する方法は、焦点の詳細に赤外線パルスを使用する光学方法又は音波パル
スを使用する超音波方法等、オートフォーカスを有するカメラにより使用される任意の複
数の方法であり得る。）即ち、オートフォーカスのためにカメラが使用し得る距離測定機
構は、カメラが設置される又は他のやり方で関連付けられるディスプレイスクリーンから
観察者の距離を決定するために利用され得る。

８．観察者によるタッチ
観察者からタッチ入力を受信するためにディスプレイの表面のタッチセンサ式入力レイ
ヤが使用されてもよく、このタッチ入力は画像の一部又は全てへの変化を引き起こすため
に使用され得る。

９．観察者からの声音
観察者から音声入力を受信するためにディスプレイに設置される又は他のやり方で関係
付けられるマイクロホンが使用されてもよく、この音声入力は画像の一部又は全てへの変
化を引き起こすために使用され得る。声音は観察者を識別するために使用されてもよく、
観察者の識別に基づいて画像が修正され得る。

１０．ディスプレイの加速度
ディスプレイがハンドヘルドである場合、ディスプレイを動かしている観察者から入力
を受信するために加速度計からの入力が使用されてもよく、入力は画像の一部又は全てへ
の変化を引き起こすために使用され得る。

１１．周辺光
周辺光の量を決定するためにディスプレイ上に設置されるカメラ又は他の光センサが使
用されてもよく、これは画像の輝度等、画像の一部又は全てへの変化を引き起こすために
使用され得る。

１２．更なる機能
先の例は、既存の撮像技術よりも高い忠実性で、オリジナルのシーンがどのように見え
たかを再現しようとすることで、オリジナルのシーンを再現する観察体験を向上させる。
しかしながら、こうした処理技術を正確なシーン再現に限定する理由は無い。また、こう
した技術は、作品に何を意図したかを写真家／構成者が観察者に案内するための芸術ツー
ルとしての役割を果たし得る。例えば、構成者は観察者が写真の一部を始めてみるときに
、２回目とは異なる輝度及び焦点が有るべきこと、又は任意の後続の回で、観察者が写真
の一部を見ることを意図してもよい。又は、構成者は、観察者が集中している画像の部分
に暗示される概念又は意味を強調するために観察者が観ている場所の近くの画像の部分を
意図的にぼやけさせ又は焦点をぼかすか、又は観察者の集中を意図的に逸らしてもよい。

［詳細な例］
この節では、実施形態が画像を観察する体験を向上させること、及び他人による画像の
観察に関する意図をより完全に表現するためのツールを写真家に与えることという全体的
な目的をどのように達成するかが示される。また、関連するコンポーネント及びそれらが
どのように協働するかも示される。この説明は、写真の可能な変化のサブセットを詳細に
示しているが、同じ基本処理を使用して上記のように他の変化に容易に拡張され得る。従
って、説明は実施形態の非限定的な例であることが意図されている。

図１は、単純な実施形態における画像及び前処理段階を示す。手動で又はカメラ内プロ
グラムを使用してシーンの一組の画像を取るカメラ２を使用する写真１が示されており、
輝度、焦点及びシャッター時間等、様々な写真パラメータが各画像ごとに変化されている
。

写真は、セキュア・デジタル（ＳＤ）カード３又は任意の他の転送機構等を介してコン
ピュータ４に転送され（又はキャプチャ機構及び回路は既にコンピュータであり又は既に
コンピュータを含んでおり）、ラベルされてデータベース５に記憶されてもよい。次に、
画像は自動的に解析されて、各々が観察者の期待されるアクションに関係付けられる。例
えば、１つの画像において露出不足又は露出過度である及び別の画像において標準的に露
出された各画像の部分が自動的に注記される。「露出不足」は、写真を撮られたシーンの
細部が黒又は明度ゼロと区別できないことを意味する。「露出過度」は、オリジナルの細
部が白又は明度１００％と区別できないことを意味する。先の例の夕日の正面の木の皮を
参照すると、他の画像の同じ場所において標準的に露出されたエリアと比較して、木の皮
のエリアにおける暗部を有する画像が注記されて、その情報は保存される。後になって観
察者が画像の露出不足の場所を見ると、標準的に露出された同じ場所を有する写真（又は
その部分）にスワップされるであろう。従って、区別可能な細部が無い露出不足の暗く且
つ黒いセクションを見ている観察者は、その代わりに、裂け目及び凹凸の有る外観を有す
る木の皮を見るであろう。逆に、観察者は、空等の非常に白く且つ写真用語で「ブローン
アウト」している写真の部分を見ているときは、その代わりに、雲の全ての形状及び細部
が可視であって、僅かに明るさが少ない青に対して明るい白い雲を見るであろう。

図２は、一実施形態に従って、露出不足又は露出過度の画像のエリアを見つけるために
、非圧縮画像ピクセル情報がどのように解析され得るかの単純な例を示す。露出不足のエ
リアを見つけるために、そのエリアにおけるピクセルの平均暗さが測定されて、それらが
既定の量だけ異なるかどうかを確認するためにそのエリア内のより小さな領域内の平均と
比較される。例えば、全エリアに対する平均輝度Ｂａｖｇが最大輝度Ｂｍａｘの≦５％で
ある場合であって、エリア内の１０正方画素の領域の少なくとも７５％がエリアの平均輝
度ＢａｖｇからＢｍａｘの僅か±２％しか変化しない場合、全エリアが露出不足と見なさ
れ且つラベルされる。露出過度に対して同様の決定が行われ得る。例えば、全エリアに対
する平均輝度Ｂａｖｇが最大輝度Ｂｍａｘの≧９５％である場合であって、エリア内の１
０正方画素の領域の少なくとも７５％がエリアの平均輝度ＢａｖｇからＢｍａｘの僅か±
２％しか変化しない場合、全エリアが露出過度と見なされ且つラベルされる。画像のこう
した部分のｘ－ｙ座標が、その画像に関係付けられるデータベース５に保存される。観察
者の視線がそれらに向けられている場合、これらは後で同じ部分が先に定義されたように
露出不足又は露出過度ではない別の画像（又はその一部）と置換される部分である。「露
出不足」及び「露出過度」の例示の定義が先に定義されているが、写真家若しくは別の人
物又はソフトウェアアプリケーションが任意の適切なやり方で「露出不足」及び「露出過
度」を定義できると考えられることに留意するべきである。例えば、エリアの平均輝度Ｂ
ａｖｇがそのエリアが有し得る最大輝度Ｂｍａｘのｘ％より少ない場合であって、エリア
内のｍ・ｎピクセルの領域のｓ％の少なくともｔ％がエリアの平均輝度ＢａｖｇからＢｍ
ａｘの±ｖ％しか変化しない場合に、画像のエリアは「露出不足」であってもよく、ここ
でｘは５－１５等の任意の範囲を有してもよく、ｔは５０－８０等の任意の範囲を有して
よく、ｓは５０－７５等の任意の範囲を有してもよく、ｍ・ｎは４－５００ピクセル^２等
の任意の範囲を有してもよく、ｖは１－１０等の任意の範囲を有してもよい。同様に、エ
リアの平均輝度Ｂａｖｇがそのエリアが有し得る最大輝度Ｂｍａｘのｙ％より大きい場合
であって、エリア内のｍ・ｎピクセルの領域のｓ％の少なくともｔ％がエリアの平均輝度
ＢａｖｇからＢｍａｘの±ｖ％しか変化しない場合に、画像のエリアは「露出過度」であ
ってもよく、ここでｙは８５－９５等の任意の範囲を有してもよく、ｔは５０－８０等の
任意の範囲を有してよく、ｓは５０－７５等の任意の範囲を有してもよく、ｍ・ｎは４－
５００ピクセル^２等の任意の範囲を有してもよく、ｖは１－１０等の任意の範囲を有して
もよい。そして、Ｂｍａｘはピクセルが有し得る最大デジタル輝度値（例えば、８ビット
システムでは２５５）であってもよく、Ｂｍｉｎはピクセルが有し得る最小デジタル輝度
値（例えば、８ビットシステムでは０）であってもよい。

図３は、（焦点の合っていない）低空間変動を有するものから（明瞭に焦点の合ってい
る）高空間変動を有するエリアを区別するために、画像のサブ部分に対してどのように空
間的高速フーリエ変換（ＦＦＴ）が行われるかを示す。（焦点が外れた、露出不足の（例
えば、黒い）、又は露出過度の（例えば、白い））高周波数ではない、即ち、低空間変動
のエリアは、同じエリアにおいて高周波数を有する表示時間における別の画像と置換され
るようにマーキングされる。「高空間変動Ｈ」は事前決定されてもよく、例えば、ｍ・ｎ
ピクセルブロック内の最も明るいピクセルの輝度に対してｍ・ｎピクセルブロックの垂直
寸法又は水平寸法における輝度の≧±ａ％の変化が有ることを意味してもよく、ここでａ
は７０－９５等の任意の適切な範囲を有してもよく、ｍ・ｎは４－５００ピクセル^２等の
任意の適切な範囲を有してもよい。同様に、「低空間変動Ｌ」は事前決定されてもよく、
例えば、ｍ・ｎピクセルブロック内の最も明るいピクセルの輝度に対してｍ・ｎピクセル
ブロックの垂直寸法又は水平寸法における輝度の≦±ｃ％の変化が有ることを意味しても
よく、ここでｃは０－３０等の任意の適切な範囲を有してもよく、ｍ・ｎは４－５００ピ
クセル^２等の任意の適切な範囲を有してもよい。「高空間変動」及び「低空間変動」の例
示の定義が先に定義されているが、写真家若しくは別の人物又はソフトウェアアプリケー
ションが任意の適切なやり方で「高空間変動」及び「低空間変動」を定義できると考えら
れることに留意するべきである。

図４は、木の背後の太陽の写真がどのようにデータベースにおける異なるｘ、ｙ座標の
矩形に分解され得るかを例示する。矩形は、木の各部分を含む各矩形が木の各部分を覆い
且つ木と木の間の空間を覆わないか又はその僅かな部分のみを覆うように、十分に小さく
てもよい。図４において、写真内の場所を参照するために矩形を番号付ける任意のシステ
ムが使用される。この場合、矩形の番号付けは左下から始まる。各矩形は、多くのピクセ
ル（例えば、１００－５００ピクセル）から成る。ｘが１であり且つｙが３である矩形（
１，３）は木の一部を含むので大部分が露出不足であり、矩形（４，４）は太陽の一部を
含むので大部分が露出過度である。しかしながら、矩形（３，４）は、木の一部及び太陽
の一部の両方を含むので、効果的に半分露出不足及び半分露出過度であり、従って、観察
者がこの矩形を見るときにアルゴリズムはより多く露出された又はより少なく露出された
写真を代わりに使うべきかどうか分からないであろう。しかし、より小さな矩形が使用さ
れる場合、人間の目にとって興味深い写真は既定のサイズの矩形よりも多くのピクセル、
例えば、縦１０ピクセル横１０ピクセルより多くを占めるオブジェクトを含むので（写真
が、可能性が無視できる程に小さい矩形と全く同じサイズである白黒の正方形の格子縞を
有するのでない限り）、この問題が発生する可能性は低い。例えば、上記の状況において
、コンピュータは、各矩形が主として露出過度又は露出不足になるまで矩形（３，４）を
より小さな矩形に分解することによってアルゴリズムの解像度を増加し得る。より少ない
ピクセルを有するより小さな矩形を解析するオーバヘッドはマイクロプロセッサ又はマイ
クロコントローラ等の今日のコンピュータ集積回路（ＩＣ）の多くにとっては取るに足ら
ないものなので、視線検出器又はマウス又は観察者がどこを見ているかを示し得る任意の
他のやり方の解像度よりも少なくなり得ることを除いては、より小さな矩形を使用しない
理由はない。この解像度は、使用されるハードウェアの最大解像度及びディスプレイから
観察者の距離によって定義される。従って、写真家はハードウェア解像度及び距離を前も
って指定するか又はデフォルト値を使用することができる。

他の写真パラメータが変化して、観察者が後で観るｘ－ｙエリアに関係付けられ得る。
更に、特定の潜在的観察者の識別が前もって指定され且つ表示時間に識別される場合、シ
ステムは、どの個々の観察者がｘ－ｙ座標を見ているかを入力として受け入れて、観察者
の識別に基づいてその応答を変化させることができる。

［画像構成者により撮られるステップ］
図５に示されるように、コンピュータディスプレイ１２上の単純なユーザインターフェ
ースを使用して、写真家又は他の画像構成者１１が、観察者が観察するときにデータベー
ス内の画像のどの部分が（もし有れば）どのアクションを、又はどのような順番でトリガ
するべきかを以下のように迅速に示し且つ指定することができる。

構成者１１には、観察されるとき（以下、「表示時間」とも呼ばれる）それらに関係付
けられるアクションを有する可能性が高い画像のエリアのリストが提示される。例えば、
リストは、露出不足のエリア、露出過度のエリア、高空間解像度のエリア、又は低空間解
像度のエリアを含んでもよい。次に、構成者は、リストされたエリアごとにアクションを
指定する。限定されないが、アクションは、以下の一部であるように指定され得る。即ち
、画像全体又は画像のその部分だけを、露出不足又は露出過度でもない異なる露出値を有
する、又は例えば、オリジナルのカメラの解像度に対して最大の詳細である又は「焦点が
合っている」空間周波数の異なる変化を有する別の画像と置換すること、画像番号ｘと置
換すること、ｎ番目の置換であれば画像番号ｙと置換すること、エリアｂのみが見られて
いた場合に画像ｚと置換すること等である。異なるアクションがデータベース内の各画像
に関係付けられてもよく、又は一組のアクションが一次画像（以下を参照）に関係付けら
れてもよい。アクションは、インターネット又は他のシステムから引き出された画像を観
察者が見ているときにリアルタイムで利用可能な画像又は動画を選択することにまで拡張
され得る。

単一の写真が、観察される画像であり且つその中のｘ－ｙ矩形を見るときのための全て
の方向を有する一次画像として指定可能であり、又は任意の写真がその写真が見られると
きのためのこうした方向を有し得る。この例示では、構成者がアクションを指定しない場
合、下記のようにデフォルトは「最良自動的」である。

観察者が取るかもしれない全てのアクション及び結果として生ずる画像の全て又は一部
の全ての置換を構成者が終えると、この全ての情報は、１つの「ショー（ｓｈｏｗ）」又
は「Ｅｙｅｔｉｎｅｒａｒｙ^ＴＭ」として保存される。このショーは、全てがクラウドに
オンラインで、又は任意の他の適切な電子記憶装置又は場所に記憶されてもよい。

図６に示されるように、観察者１３が画像を観るとき、ディスプレイ１４は、コンピュ
ータ１７に記憶され且つ読み込まれるデータベース５から写真を表示する。例えば、ディ
スプレイ１４に設置される１つ以上のカメラから成る視線検出ハードウェア装置１６は、
写真内のどこを観察者の目が見ているかのｘ－ｙ座標を与える。システムはこうした座標
を使用して、データベース５において構成者が指定したアクションを検索し、システムは
、そのｘ－ｙ矩形に対する一次写真又は現在の写真のエントリの何れかを参照することに
よってアクションを行う。

アクションがデフォルトの「最良自動的」である場合、システムは、例えば、観察者が
見ている写真を、観察者が現在観察しているｘ－ｙ矩形に関して最良に露出された写真と
置換するであろう。既に述べたように、ここでの「最良に露出された」は、一組の写真家
が同意するものであり、最も多くの細部を示し、明度が最も「ブローンアウト」されてい
ないか又は標準的な定義が利用可能な黒ではないものである。この置換は迅速なディゾル
ブであってもよく、その性質及び時間は観察者が観ているときに使用されるように前もっ
て指定されてもよく、又はデフォルト値が使用されるであろう。

先に言及されたデータベースは初期画像及び一組のリンク又はその画像の部分に関係付
けられるジャバスクリプト呼び出しから成るｈｔｍｌのページとしてクラウドにオンライ
ンで記憶されてもよいことに留意することが重要である。視線検出は、あたかも観察者の
目がマウスであるかのように、その目が見ている場所をブラウザに教え、ブラウザはリン
クの目標である新しい画像を表示することによって、又は、例えば、画像の一部のアスペ
クトを変更するためにジャバスクリプト関数を呼び出すことによって、アクションを自動
的に行うであろう。このようにして、構成者は、全てがサーバのディレクトリ内に有るｈ
ｔｍｌページ及び一組の画像を指し示すリンクを観察者に送りさえすれば十分で有り得る
。

構成者は、ディスプレイ及びポインタを有するユーザインターフェースを使用して前も
って指定する代わりに、視線検出ハードウェアを有するディスプレイを使用して、特定の
ｘ－ｙエリアを見ている間に、音声、又はマウス、又は任意の他の方法を介するシステム
へのコマンドによって他のどの写真（又はその一部）を使用するべきかを指定することが
できる。他の写真（又はその部分）とのこうした他の相関は、データベースに記憶される
であろう。例えば、写真家は、図４における矩形（１，３）を見ている場合に、音声認識
システムに向かって、実際に、「私が今見ているエリアを観察者が見ているときに、示さ
れている写真を“ｔｒｅｅ－ｅｘｐｏｓｅｄ．ｊｐｇ”というファイル名の写真と置換し
なさい」と言うことができる。

［付加的使用］
実施形態は、アーティストの意図を表現することより多くのために使用され得る。例え
ば、視力療法士は、スクリーンの前後に注意を引くことによって両目を調整する患者の能
力を増加させたい場合がある。パイロットは、既存の組の画像又はスプライトに基づいて
、パイロットが見ていなかったどのような場所にも危険な航空機を出現させることによっ
て、このような危険な航空交通を迅速に見つけるためのディスプレイを有するフライトシ
ミュレータシステムで訓練され得る。観察者の目が離れて行くこと（水平線に向かって、
更に遠くを見ること）を許される場合、実施形態は、更に遠くの焦点で撮られた写真を代
用することができる。従って、観察者は、３Ｄの形態に焦点を合わせる及び外す並びに内
外に「移動（ｔｒａｖｅｌ）」するように自身を訓練することができる。

［視線検出画像ツール］
実施形態は、画像ツール用の視線検出に基づくユーザインターフェース（ＵＩ）のため
に使用され得る。例えば、観察者が頭を右に傾けることで、傾いた頭が中央に戻るまでゆ
っくりと右に画像を回転させるようにシステムに通知することができる。輝度及び焦点は
、画像の一部を凝視することで制御され得る。観察者が左目を瞬きするたびに、最大に達
するまで輝度が増加されてもよく、それから再び下がり始める。焦点は、右目を瞬きする
ことによって増加され得る。処理は、一秒間、両目を閉じることによって所望の選択で停
止され得る。類似の方法がクロップのために使用され得る。

［付加的詳細］
一実施形態では、観察者の目が画像の一部に集中している場合、画像のその部分が更な
る細部と共に拡張又は拡大し得る。最大の細部又は拡大図を有する画像が代用された後で
あって、観察者の目がそのエリアに固定されたままのとき、写真家により事前決定された
画像のその一部に関係付けられるリンクが、ダウンロードされる他の画像又は動画をもた
らし、画像のその部分に代用され得る。写真家が特定のリンクを入れなかった場合、その
セクションに見られる初期画像は、画像が何であるかを決定して更なる情報を供給するか
、又は他の写真家によりキャプチャされた類似のコンテンツの他の画像をダウンロードし
て表示することができるクラウドベースのアナライザに送信され得る。例えば、観察者が
ワシントンＤＣのシーンを見ており、ワシントン記念塔を凝視したままであれば、記念塔
は、画像のそのセクション用の一連の代替画像によってディスプレイ全体の半分を占める
ようにサイズが拡張して細部を示してもよい。観察者が記念塔を見つめ続ける場合、イン
ターネットからダウンロードされた動画は、記念塔の歴史及び建築を記述するスクリーン
のそのセクションを再生してもよい（これは写真家により前もって指定されているか又は
クラウドベースの画像認識装置により自動的に選択されていてもよい）。

「フラッシュライト」
写真家は、観察者が見る画像のどのような部分も即座により高い輝度に修正され得るこ
とを指定し得る。構成者は、ｘ－ｙエリアに対して「フラッシュライト」を単に指定しさ
えすればよい。従って、フラッシュライトが、実際に観察者の目が向けられて、シーンに
対して作用しているように見えるであろう。［ヒューマンインターフェーステスト］広告
に関するアプリケーションで、人物が画像のどこを見る傾向が有るかを記録する既存のシ
ステムが有る。一実施形態では、どのくらい頻繁に観察者が画像の特定の照らされた又は
焦点を合わせられた部分に戻るかに基づいて出力されるログを想像してもよい。また、画
像構成者が画像代替の「パス」を指定する場合、即ち、画像Ａのサブ部分を見ることが画
像Ｂの代替をもたらし、画像Ｂの一部を見ることがＡに戻り、且つ観察者がＡ－Ｂ－Ａの
このパスを反復した場合、ログは、パスの情報及びそれが反復されたことを保存するであ
ろう。このような情報は、（複数の）画像と観察者の相互作用を更に発展させるのに構成
者にとって有益であろう。

［他の観察者とのネットワーキング及びゲーム］
同じ場所に居る他の観察者とのゲームのために１つより多くの視線検出装置が使用され
得る。また、システムは、様々なソーシャル目的のためにインターネット又はローカルネ
ットワークに接続され得る。例えば、異なる場所に居る一人より多くの観察者が同じＥｙ
ｅｔｉｎｅｒａｒｙ^ＴＭを見ている場合、大部分の観察者により見られた部分は拡大され
た部分であってもよく、又はその反対であってもよい。即ち、殆どの人が何かを見なかっ
た場合、Ｅｙｅｔｉｎｅｒａｒｙ^ＴＭは全ての観察者がその画像に行くことを強いるよう
に修正されてもよい。第１の人物が適切な場所を見ること、又は適切な場所で武器を作動
させること等に基づいて２つ以上の視線検出システムがポイントを与えるゲーム等、他の
タイプのソーシャル相互作用が実装され得る。最後に、その部分を見ることによって、画
像の部分がインターネットで他者と共有され得る。

［構成者へのフィードバック］
実施形態は、観察者が表示時間にどこを見るかに応じるという構成者の事前決定された
意図に関する。しかしながら、観察者は、ネットワークを介してリアルタイムで構成者に
有益なフィードバックを送信するためにシステムを使用することができる。例えば、画像
の一部、例えば、観察者が構成者に置換してもらいたい複数の人々の写真において特定の
人物が有り、観察者はその人物を見ている間に３度瞬きをして、目でその周りに円を描く
ことができる。次に、観察者は、ネットワーク接続を介して、「私がこの人物を見ると、
あなたに別の画像を代用してもらいたい」を言ってもよい。顔のこの場所が音声ファイル
と共に構成者に渡されるであろう。従って、構成者は、観察者の入力により良好な又は異
なるＥｙｅｔｉｎｅｒａｒｙ^ＴＭを開発することができる。

以上により、特定の実施形態は例示のために本明細書に記載されているが、本開示の精
神及び範囲から逸脱することなく様々な修正が行われ得ることが理解される。更に、特定
の実施形態に関して代替手段が開示されている場合、この代替手段は特段の記載が無けれ
ば他の実施形態にも適用され得る。更に、記載された任意の構成要素又は動作が、ハード
ウェア、ソフトウェア、ファームウェア又はハードウェア、ソフトウェア及びハードウェ
アの何れか２つ以上の組み合わせで実装され／実行されてもよい。更に、記載された装置
又はシステムの１つ以上のコンポーネントは、明確のため又は他の理由で記載から省略さ
れている場合がある。更に、説明に含まれている記載された装置又はシステムの１つ以上
のコンポーネントが装置又はシステムから省略されてもよい。

Claims

１つ以上のカメラが１つ以上のディスプレイスクリーンの前の１人以上の観察者の顔の
画像をキャプチャすることを介して収集されるデータに応じて動作するアルゴリズムに従
って１つ以上のディスプレイスクリーン上に表示される１つ以上のオリジナルの画像を修
正するための方法。
収集されるデータは、１人以上の観察者の視線の位置が前記オリジナルの画像内のどこ
に向けられているか、又は１人以上の観察者の顔貌の変化、又は１人以上の観察者の識別
の１つ以上である、請求項１に記載の方法。
収集されるデータは、周辺光、又はディスプレイスクリーンからの観察者の距離、又は
観察者の数の１つ以上である、請求項１に記載の方法。
修正は、前記オリジナルの画像の一部又は全ての輝度を変更することである、請求項１
に記載の方法。
修正は、前記オリジナルの画像を代替画像と置換することを含み、前記代替画像のコン
テンツは前記オリジナルの画像と同じであるが一部又は全てのピクセルが修正されている
、請求項４に記載の方法。
修正は、前記オリジナルの画像の全て又は一部の焦点を変更することである、請求項１
に記載の方法。
修正は、前記オリジナルの画像を代替画像と置換することであり、前記代替画像のコン
テンツは前記オリジナルの画像と同じであるが一部又は全てのピクセルが修正されている
、請求項６に記載の方法。
修正は、前記画像の一部又は全てにおいて接近して見えるオブジェクトに対する焦点を
変更することである、請求項６に記載の方法。
修正は、前記画像の一部又は全てにおいて離れて見えるオブジェクトに対する焦点を変
更することである、請求項６に記載の方法。
修正は、前記画像の一部又は全ての見掛けの被写界深度を変更することである、請求項
６に記載の方法。
観察者が前記１つ以上の画像を凝視しているとき、前記１つ以上のカメラから集められ
たデータの処理は、前記観察者があたかも離れているオブジェクトを見ているかのように
目を開散させているかどうかを決定し、そうであれば、修正は、前記画像において近くに
見えるオブジェクトが焦点をぼかされ且つ遠くに見えるオブジェクトが鋭く焦点を合わさ
れるように前記画像の部分の焦点を変更することである、請求項６に記載の方法。
観察者が前記１つ以上の画像を凝視しているとき、修正は、焦点を合わせられたエリア
の周囲の前記画像の部分の焦点をぼかし、且つ前記画像を横断して観察者の視線を引くた
めに前記画像を横断して焦点を合わせられたエリアを移動させる、請求項６に記載の方法
。
修正は、前記オリジナルの画像の一部を中心としてズームすることによって拡大又は縮
小することである、請求項１に記載の方法。
修正は、前記オリジナルの画像を代替画像と置換することを含む、請求項１３に記載の
方法。
修正は、ディスプレイスクリーンから観察者への測定距離の変化と同期して拡大又は縮
小することである、請求項１３に記載の方法。
修正は、観察者の視線が固定されている場合に、前記オリジナルの画像における場所を
中心としてズームすることによって拡大することである、請求項１３に記載の方法。
修正は、前記画像の一部又は全ての色バランス又は彩度又は色濃度又はコントラストを
変更することである、請求項１に記載の方法。
修正は、前記オリジナルの画像を代替画像と置換することであり、前記代替画像のコン
テンツは前記オリジナルの画像と同じであるが一部又は全てのピクセルが修正されている
、請求項１７に記載の方法。
修正は、前記オリジナルの画像に伴う音声の再生を引き起こすこと又は変更することで
ある、請求項１に記載の方法。
修正は、前記オリジナルの画像内のスプライトの移動又は移動中止を引き起こすことで
ある、請求項１に記載の方法。
修正は、多分岐動画の分岐を選択することである、請求項１に記載の方法。
前記１つ以上のオリジナルの画像は静止画である、請求項１に記載の方法。
前記１つ以上のオリジナルの画像は動画である、請求項１に記載の方法。
前記１つ以上のオリジナルの画像は移動するスプライトを有する静止画である、請求項
１に記載の方法。
前記１つ以上のオリジナルの画像は２次元である、請求項１に記載の方法。
前記１つ以上のオリジナルの画像は３次元である、請求項１に記載の方法。
前記アルゴリズムは、前記１つ以上の画像を選択したアーティストにより決定されるカ
スタムである、請求項１に記載の方法。
前記アルゴリズムは、前記１つ以上のオリジナルの画像を選択したアーティスト又はコ
ンテンツ作成者により選択及び使用されるソフトウェアを供給した会社により事前決定さ
れる、請求項１に記載の方法。
前記アルゴリズムは、ソフトウェアを供給した会社により事前決定され、且つ前記アル
ゴリズムは、任意の画像又は画像の組と協働する、請求項１に記載の方法。
前記アルゴリズムは、段階的変化の修正が行われる速さをアーティスト又はコンテンツ
作成者が指定することを可能にする、請求項１に記載の方法。
観察者が画像内のスクリーンの一部にタッチすることによってタッチから収集されるデ
ータに応じて動作するアルゴリズムに従って１つ以上のディスプレイスクリーン上に表示
される１つ以上のオリジナルの画像を修正する方法であって、
修正は、１つ以上の代替画像と前記オリジナルの画像の置換であり、前記代替画像のコ
ンテンツは前記オリジナルの画像と同じであるが一部又は全てのピクセルが修正されてい
る、方法。
タッチから収集される前記データは、１本以上の指によるタッチ、タッチの力、タッチ
の持続時間、及びタッチの移動の１つ以上を含む、請求項３１に記載の方法。
修正は、前記オリジナルの画像の全て又は一部の焦点を変更することである、請求項３
１に記載の方法。
修正は、
前記画像の一部又は全てにおいて接近して見えるオブジェクトに対する焦点を変更する
こと、又は
前記画像の一部又は全てにおいて離れて見えるオブジェクトに対する焦点を変更するこ
と、又は
前記画像の一部又は全ての見掛けの被写界深度を変更すること
の１つ以上を含む、請求項３３に記載の方法。
修正は、
前記オリジナルの画像の一部又は全ての輝度を変更すること、又は
前記オリジナルの画像の一部から拡大又は縮小すること、又は
前記オリジナルの画像の一部又は全ての色バランス又は彩度又は色濃度又はコントラス
トを変更すること、又は
前記オリジナルの画像内のスプライトの移動又は移動中止を引き起こすこと、又は
多分岐動画の分岐を選択すること
の１つ以上を含む、請求項３１に記載の方法。
前記１つ以上のオリジナルの画像は、
静止画、又は
動画、又は
移動するスプライトを有する静止画、又は
２次元、又は
３次元
である、請求項３１に記載の方法。
アルゴリズムは、
前記１つ以上の画像を選択したアーティストにより決定されるカスタム、又は
前記１つ以上のオリジナルの画像を選択したアーティスト又はコンテンツ作成者により
選択及び使用されるソフトウェアを供給した会社により事前決定されること、又は
ソフトウェアを供給した会社により事前決定され、前記アルゴリズムは任意の画像又は
画像の組と協働すること、又は
段階的変化の修正が行われる速さをアーティスト又はコンテンツ作成者が指定すること
を可能にすること
の１つ以上を含む、請求項３１に記載の方法。
声音から収集されるデータに応じて動作するアルゴリズムに従って１つ以上のディスプ
レイスクリーン上に表示される１つ以上のオリジナルの画像を修正する方法であって、修
正は１つ以上の代替画像と前記オリジナルの画像の置換であり、前記代替画像のコンテン
ツは前記オリジナルの画像と同じであるが一部又は全てのピクセルが修正されている、方
法。
修正は、
前記オリジナルの画像の一部又は全ての輝度を変更すること、
前記オリジナルの画像の一部又は全ての焦点を変更すること、
前記オリジナルの画像の一部又は全てから拡大又は縮小すること、
前記オリジナルの画像の一部又は全ての色バランス又は彩度又は色濃度又はコントラス
トを変更すること、
前記オリジナルの画像の一部又は全ての鮮明さを変更すること、
前記オリジナルの画像内のスプライトの移動又は移動中止を引き起こすこと、多分岐動
画の分岐を選択すること
の１つ以上を含む、請求項３８に記載の方法。
声音から収集されるデータから、話している人物の推定の識別が決定され、修正は前記
推定の識別によって少なくとも部分的に決定される、請求項３８に記載の方法。
ディスプレイスクリーンの筐体に埋め込まれた１つ以上の加速度計から収集されるデー
タに応じて動作するアルゴリズムに従ってハンドヘルドディスプレイスクリーン上に表示
されるオリジナルの画像を修正する方法であって、修正は、１つ以上の左境界、右境界、
上部境界又は下部境界の各々を拡大又は縮小することによってオリジナルの画像の視野を
変更することである、方法。
前記１つ以上の加速度計から収集される前記データは、観察者から離れているディスプ
レイの第１の端部の反対の端部に対する傾斜であり、傾斜は前記第１の端部に近い前記画
像のより多くを視界に入れさせる、請求項４１に記載の方法。
修正は、前記オリジナルの画像の一部を中心としてズームすることによって拡大又は縮
小することである、請求項４１に記載の方法。
サーバコンピュータ及びクライアントコンピュータを有するシステムにおいて、著者か
ら指導を受信し、前記指導に基づいて、観察者のアクションに基づいて変化する画像を示
すデータセットを生成するための方法であって、
（ａ）前記サーバコンピュータにおいて、一連の複数の画像の仕様をクライアントコンピ
ュータから受信するステップと、
（ｂ）前記サーバコンピュータにおいて、前記一連の画像におけるオリジナルの画像から
前記一連の画像における第２の画像への遷移をトリガする収集されるデータの仕様を前記
クライアントコンピュータから受信するステップと、
（ｃ）前記一連の画像における前記オリジナルの画像から前記一連の画像における前記第
２の画像への遷移の速さの仕様を前記クライアントコンピュータから受信するステップと
、
（ｄ）観察者のコンピュータに送信され得るデータセットを前記サーバコンピュータにお
いてアセンブルするステップであって、前記データセットは前記観察者のコンピュータ上
で観察されることが可能であり、前記観察者のアクションから受信されるデータ入力は、
一連のオリジナルの画像を指定された遷移の速さで前記第２の画像と置換することによっ
て観察される画像の修正を引き起こすステップと
を含む、方法。
前記データ入力は、
前記オリジナルの画像内の１人以上の観察者の視線の位置、又は
１人以上の観察者の顔貌の変化、又は
周辺光、又は
観察者のディスプレイスクリーンからの距離、又は
観察者の数、又は
音声入力、又は
タッチ入力
の１つ以上を含む、請求項４４に記載の方法。
修正は、
前記オリジナルの画像の一部又は全ての輝度を変更すること、
前記オリジナルの画像の一部の焦点を変更すること、
前記オリジナルの画像の一部から拡大又は縮小すること、
前記オリジナルの画像の一部又は全ての色バランス又は彩度又は色濃度又はコントラス
トを変更すること、
前記オリジナルの画像内のスプライトの移動又は移動中止を引き起こすこと、
多分岐動画の分岐を選択すること
の１つ以上を含む、請求項４４に記載の方法。
前記オリジナルの画像は、
静止画、又は
動画、又は
移動するスプライトを有する静止画、又は
２次元、又は
３次元
である、請求項４４に記載の方法。
前記クライアントコンピュータ及び前記サーバコンピュータは、単一のコンピュータ筐
体の中に含まれ、且つ単一ユーザによりアクティブ化される、請求項４４に記載の方法。