JP2005526302A - シーンの焦点を変える方法および装置 - Google Patents

Abstract

シーンの焦点を変える方法。特に、本発明の一実施形態は、１つまたは複数の次元の焦点条件、たとえば焦点深度および被写界深度、が変わるパラメトリック・テクスチャ・マップ（ＰＴＭ）を使用してシーンをモデリングする方法を開示する。写真データセットが、別個の焦点条件下で得られる（ステップ８１０）。データセットの近似により、関連するＰＴＭ表現が作成され（ステップ８２０）、ＰＴＭ表現は、初期データセットにより指定された焦点条件範囲内の焦点条件を変えた状態下で写真シーンのシーンを生成することが可能である（ステップ８３０）。さらに、外挿により焦点条件範囲外の結果がもたらされる。

Description

本発明は、コンピュータグラフィックスシステムの分野に関する。特に、本発明は、パラメトリック・テクスチャ・マップを使用して焦点条件を変えてシーンをモデリングすることに関する。

写真は、カメラなどの撮像装置によって取り込まれた三次元シーンの二次元表現を提供する。熟練した写真家は、焦点パラメータを変えて撮像装置を操作することにより同じシーンについて様々な写真を生成することができる。シーンの単一表現はないため、写真撮影術の分野では、所望の写真表現を作成するための撮像装置の操作の仕方を知ることを伴う。

「写真」という用語は、本開示全体を通して使用されるが、従来のフィルムベースの手段またはデジタル手段に限定されず、画像を取り込むすべての手段を対象とする。

これまでは、ひとたび写真が作成されると、写真作成に使用される生成前パラメータを変更することができなかった。たとえば、写真を作成するために、１つまたは複数の次元の焦点条件が露光時に撮像装置に事前に指定されていた。これら様々な次元は、焦点深度、被写界深度などが変わる焦点条件を含む。

不都合なことに、従来技術による写真は、撮像装置によって設定された焦点条件に支配されていた。したがって、写真の焦点条件は固定されており、露光時に決定されていた。ひとたび固定されると、露光後、写真家は生成プロセス後に焦点条件を制御することができなかった。

たとえば、宣伝キャンペーンにおいて、別個の前景領域および背景領域を有する静止した三次元シーンの写真撮影が行われる。写真家は、二次元（焦点深度および被写界深度）で焦点条件を変えて複数の写真を撮影しうる。その後、写真家は、焦点条件を変えた写真を使用して、シーンの写真レイアウトを生成する。写真家の技能に応じて、写真レイアウト中の写真の少なくとも１枚を宣伝キャンペーンに使用することができることを期待する。

写真撮影中、写真家は時間、費用、および現実性により制限を受ける。言い換えれば、写真家は全範囲の焦点条件にわたって写真を撮影することができない。ここで、写真家の写真分野の技能および知識が利用される。経験を通して、写真家は、写真レイアウト用、そして最終的には宣伝キャンペーン用の特定の写真を生成するために必要な焦点条件を選択する。

しかし、作成された写真毎に焦点条件を変えることはできない。写真家は、写真レイアウトにない、宣伝キャンペーンを最もよく表現する所望の写真を見つけた場合、生成後のプロセスでその所望の写真を作成することはできない。代わりに、写真家は、元の写真撮影場所で条件を再設定し、必要とされる所望の焦点条件に関連する特定の焦点深度および被写界深度を使用して写真を再度撮影する必要がある。

セットアップに応じて、特定のリアルなシーンは現実的に再度作成することができる場合もあれば、できない場合もある。風景シーンでは、日没時の稲妻を伴った嵐など、元の写真撮影での特定の条件が存在しない場合がある。普段、構築されるセットアップは費用がかかりすぎ、再現が難しい場合がある。いずれの場合でも、所望の写真は、費用、時間、およびエネルギーを追加せずしては作成することができない。

写真撮影は、写真技術に熟練した写真家、通常はプロの写真家によって行われる。何年もの経験および学習を経てきたプロの人は、所望の焦点効果（たとえば、焦点深度および被写界深度）になるように撮像装置を操作することができる。一方、アマチュアの写真家は、焦点状態が、作成される写真にどのように影響するかを理解するほど写真技術に十分な技能がない場合がある。通常、アマチュアの写真家は、撮像装置に頼って自動的に露光を決定し、露光に影響する焦点パラメータを選択する。撮像装置は、所望の焦点条件を有する写真を生成する場合もあれば、しない場合もある。

たとえば、風景写真では、写真家は前景と背景に鮮明にピントを合わせたい場合がある。これには、パラメータの中でも特に、撮像装置のレンズの絞りで深い被写界深度を与える必要がある。しかし、撮像装置は、浅い被写界深度を与える絞りで露光を自動的にセットアップしてしまっている場合がある。その結果、生成される写真は所望の深い被写界深度を与えない。

したがって、写真を作成する際の生成前の決定が生成後の写真を必ずしも制御または制限しないプロセスが必要である。さらに、アマチュアの写真家が示す焦点効果分野の知識の欠如を補う写真プロセスが必要である。

本発明は、シーンの写真の焦点を変える方法を提供する。本発明の一実施形態は、上記成果を成し遂げ、また、生成プロセスの任意の時点で焦点パラメータに対して制御を提供する方法を提供する。さらに、本発明の一実施形態は、上記成果を成し遂げ、また、焦点パラメータを選択する際にアマチュアの写真家による技能の欠如を補う写真プロセスを提供する方法を提供する。

特に、本発明の一実施形態は、パラメトリック・テクスチャ・マップ（ＰＴＭ）を使用し、１つまたは複数の次元、たとえば焦点深度および被写界深度の焦点条件を変えてシーンをモデリングする方法を開示する。写真データセットが別個の焦点条件下で得られる。データセットの近似を行うことで、シーンのある範囲の写真を生成する能力が可能になる。ある範囲の写真は、写真の初期データセットによって特定される焦点条件範囲内の様々な焦点条件を表す。さらに、外挿により、焦点条件範囲外の結果がもたらされる。

本発明のこれらおよび他の利点は、様々な図面図に示す好ましい実施形態の以下の詳細な説明を読めば、当業者に無論明らかになろう。

これより、例を添付図面に示した、本発明の「シーンの複数の写真の焦点を変える方法」の好ましい実施形態を詳細に参照する。本発明について、好ましい実施形態と併せて説明するが、本発明をこれら実施形態に限定する意図のないことが理解されよう。対照的に、本発明は、添付の特許請求の範囲によって規定される本発明の精神および範囲内に包含されうる代替、変更、および同等物を保護範囲に含むことを意図する。

さらに、以下の本発明の詳細な説明では、本発明の完全なる理解を提供するために、多くの特定の詳細が述べられる。しかし、本発明をこれら特定の詳細なしで実施しうることが当業者に認識されよう。場合によっては、既知の方法、手順、構成要素、および回路については、本発明の態様を不必要に曖昧にしないように詳細に説明していない。

表記および命名
以下の詳細な説明のいくつかの部分は、コンピュータメモリで実行可能なデータビットに対する操作の、手順、ステップ、論理ブロック、プロセス、および、他の記号的表現によって提示される。これら説明および表現は、データ処理分野の当業者が他の当業者に各自の作業の趣旨を最も有効に伝える際に使用される手段である。手順、コンピュータ実行ステップ、論理ブロック、プロセスなどは、本明細書において、また一般に、所望の結果を導く自己矛盾のない一連のステップまたは命令であると考えられる。ステップは、物理的な数量の物理的な処理を要するものである。必ずしもそうとは言えないが、通常、こういった数量は格納、転送、結合、比較、また他の場合はコンピュータシステムで処理することが可能な電気信号または磁気信号の形をとる。折に触れて、これら信号をビット、値、要素、記号、文字、項、数などと呼ぶことが、主に慣用の理由で都合がよいことが証明されている。

しかし、これらおよび同様の用語はすべて適正な物理数量に関連付けられるべきであり、これら数量に適用される都合のよいラベルにすぎないことを念頭におかれたい。特記しない限り、または以下の考察から明らかな場合を除き、「アクセス」、「処理」、「算出」、「翻訳」、「計算」、「決定」、「スクロール」、「表示」、または「認識」などの用語を利用する考察は、本発明を通して、コンピュータシステムのレジスタおよびメモリ内の物理的（電子的）な数量として表されるデータをコンピュータシステムメモリ、レジスタ、または他のこのような情報記憶装置、伝送装置、または表示装置内の物理的な数量として同様に表される他のデータに処理・変換するコンピュータシステムまたは同様の電子計算装置のアクションおよびプロセスを指す。

これより図１を参照して、本発明の部分は、たとえば、電子撮像装置またはデジタルカメラなどの電子システムのコンピュータ可読媒体に存在するコンピュータ可読かつ実行可能な命令からなる。図１は、本発明の実施形態を実施することのできる例示的な電子システム１００の例示的な内部構成要素のブロック図である。

図１は、例示的な電子システム１００の回路を示す。例示的な電子システム１００は、情報を通信するためのアドレス／データバス１２０、バス１２０に接続され、情報および命令を処理する中央演算処理装置（プロセッサ）１０１、バス１２０に接続され、中央演算処理装置１０１のために情報および命令を格納する揮発性メモリ１０２（たとえば、ランダムアクセスメモリ（ＲＡＭ）、スタティックＲＡＭ、ダイナミックＲＡＭなど）、およびバス１２０に接続され、プロセッサ１０１のために静的情報および命令を格納する不揮発性メモリ１０３（たとえば、読み出し専用メモリ（ＲＯＭ）、プログラマブルＲＯＭ、フラッシュメモリ、ＥＰＲＯＭ、ＥＥＰＲＯＭなど）を含む。

例示的な電子システム１００は、バス１２０に接続され、情報および命令を格納するデータ記憶装置１０４（たとえば、メモリカード、ハードドライブなど）も含む。データ記憶装置１０４は取り外し可能であることができる。例示的な電子システム１００は、バス１２０に接続され、写真などの情報をユーザに表示する電子表示装置１０５も含む。電子システム１００と併せて利用可能な表示装置１０５は、液晶装置、陰極線管（ＣＲＴ）、電界放出装置（ＦＥＤ、フラットパネルＣＲＴとも呼ばれる）、または写真またはグラフィックス画像の作成に適した他の表示装置でありうる。

引き続き図１を参照しながら、バス１２０に接続され、電子システム１００とネットワーク環境の間に通信リンクを提供するオプションの信号入出力装置１０８について述べる。このような信号入出力装置１０８は、中央演算処理装置１０１が通信網に接続された他の電子システムまたはアナログ回路ブロックと通信するか、または監視できるようにする。

シーンの写真での焦点制御
本出願では、シーンの複数の写真で焦点を変える方法についてパラメトリック・テクスチャ・マップの文脈の中で述べることにする。パラメトリック・テクスチャ・マップの説明は、背景資料として参照により本明細書に援用されるMalzbenderに付与された米国特許出願第０９／３２９，５５３号、DIRECTION-DEPENDENT TEXTURE MAPS IN A GRAPHICS SYSTEM、１９９９年６月１０日出願、およびMalzbenderに付与された米国特許出願第０９／５２８７００号、APPARATUS FOR AND METHOD OF RENDERING 3D OBJECTS WITH PARAMETRIC TEXTURE MAPS、２０００年３月１７日出願に記載されている。

さらに、本発明は、シーンの複数の写真での焦点を変える方法を提供する。また、本発明の一実施形態は、上記成果を成し遂げ、また生成プロセスの任意の時点で焦点パラメータに対する制御を提供する方法を提供する。さらに、本発明の別の実施形態は、上記成果を成し遂げ、また、焦点パラメータを選択する際にアマチュアの写真家の技能の欠如を補う写真プロセスを提供する方法を提供する。

本発明は、本発明の一実施形態に従って、パラメトリック・テクスチャ・マップ（ＰＴＭ）を利用して三次元のシーン、物体、または物体群を、焦点条件を変えた状態下の二次元写真にモデリングする。本出願において、「シーン」という用語は、物体、物体群も指す。これらＰＴＭは、単に、大半の写真またはテクスチャマップがするようなピクセルまたはサブピクセルあたりの単色値を表すだけではない。ＰＴＭは、焦点条件を変えてサブピクセルの色値を動的かつ選択的に再構築することが可能である。

図８のフローチャート８００は、図２、図３、図４Ａ、図４Ｂ、図５Ａ、図５Ｂ、図６、および図７と併せて、本発明においてシーン中で焦点を変える方法を示す。これより図８を参照すると、フローチャート８００は、本発明の一実施形態に従って、三次元シーンの二次元表現中で焦点を変える方法を示す。

「写真」という用語が本開示全体を通して使用されるが、写真という用語は、従来のフィルムベースの写真またはデジタルベースの写真に限定されず、画像を取り込むすべての手段を対象とする。

本実施形態は、図８のステップ８１０において、撮影された三次元シーンの写真データセットを得る。図２は、写真撮影される例示的な三次元シーン２００の図を提供する。円形の物体２１０はシーン２００の前景にある。三角形の物体２２０はシーン２００の中間領域にある。正方形の物体２３０はシーン２００の背景に配置されている。図２は例示にすぎず、任意の三次元シーンを本発明で表しうることが理解される。ボックス２５０は、ボックス２５０内に含まれるオブジェクト２１０、２２０、および２３０それぞれの三次元方位を示す。

フローチャート８００のステップ８１０において、写真データセットで得られる写真はそれぞれ、三次元シーンの二次元表現である。本実施形態において、データセット中の各写真は、同じ視点から別個の焦点条件下で取り込まれる。

写真データセットは、様々な焦点条件下で撮影され、写真データセットを含む焦点条件セットを定義する。本発明の一実施形態では、１つのみの焦点パラメータが変化する。本出願において、このような条件は「一次元」の焦点条件と呼ばれる。本発明の別の実施形態では、２つの焦点パラメータが変化する。このような環境は「二次元」の焦点条件と呼ばれる。

たとえば、写真データセットは、本発明の一実施形態により一次元（焦点深度）が変わる焦点条件を有することができる。焦点深度は、電子システム１００において写真データセットを得るために使用される特定の深度へ焦点調整を設定することによって指定される。電子システム１００のレンズは、１つの焦点面しか最大焦点にすることができない。一連の焦点面は電子システム１００と平行して走るか、または従来の場合では、カメラ中のフィルムと平行して走る。シーンの一部は、最大焦点の焦点面から離れるにつれて、ピントがずれる。

別の例では、別の写真データセットが本発明の一実施形態に従って、一次元（被写界深度）で変化する焦点条件を有することができる。先に触れたように、最大焦点は１つの焦点面にしかないが、焦点面を取り巻く小範囲(zone of sparseness)もまた、比較的ピントが合っている。この鮮明なゾーンが被写界深度である。一実施形態において、被写界深度は、電子システム１００の絞りが下がると増大する。本発明の他の実施形態は、他の周知の方法（たとえば、レンズの焦点距離を変える）を通して被写界深度を変えることに適している。

一次元のみで変化する焦点条件の場合、本発明の一実施形態によれば、写真データセットの構築に３枚の写真が必要である。４枚以上の写真を含む写真データセットは、所与のデータセット中の焦点条件範囲にわたって写真を生成する際により良好なＰＴＭ表現を提供することができる。

二次元で変化する焦点条件の場合、本発明の一実施形態によれば、写真データセットの構築に６枚の写真が必要である。６枚以上の写真を含む写真データセットは、所与のデータセット中の焦点条件領域にわたって写真を生成する際により良好なＰＴＭ表現を提供することができる。

本発明の一実施形態によれば、シーンの写真データセットは、写真データセット中の各サブピクセルの色値データセットにさらに分けることができる。図３は、本発明の一実施形態により、焦点条件の関数としてサブピクセルの色値を表すグラフ３００を示す。

当業者は、電子システム１００がピクセル毎の色値を格納し、かつ／またはディスプレイに表示することによって写真を作成することを理解している。ディスプレイは、何千個ものピクセルの直線格子からなる。本発明では、ピクセルのそれぞれがディスプレイに生成される写真を形成する色を生成する。サブピクセルは、ピクセルに利用可能な色の範囲およびこれら色を表示する際に使用するフォーマットを制御するために使用される。

図３のグラフ３００は、本発明の一実施形態により、サブピクセルが各色チャネルまたはサブピクセル内の色値を変えることを示す。縦軸に、色値がゼロから１までの値として表され、ゼロが最も明るい色値を表し、１が最も暗い色値を表す。色値は、本発明の一実施形態によれば、赤、緑、および青の色値をそれぞれ表す。たとえば、赤色チャネルまたは赤サブピクセルでは、色値１により、利用可能な中で最も暗い、または最高限の赤が与えられる。色値ゼロにより、利用可能な中で最も明るい赤が与えられる。

横軸は、焦点条件に関する値の範囲を提供する。グラフ３００は、一次元（たとえば、焦点深度または被写界深度）が変化する焦点条件の関数として対応する色チャネルの色値を表す。

図３のグラフ３００は、３つのデータポイント（ポイント３１０、ポイント３２０、およびポイント３３０）を有する１つの特定のサブピクセルの色値データセットを示す。これら３つのポイントは、シーンの対応する写真データセットを構成する３枚の写真に対応する。３枚の写真は、３つの別個の焦点条件下で撮影されたものである。グラフ３００は、データセット中の３枚の写真それぞれの中の特定のピクセルの特定のサブピクセルの色値および色チャネルを表す。

図８のフローチャート８００を再び参照すると、ステップ８２０において、本発明の一実施形態により、本発明は写真データセットの近似を行い、これによりある範囲の写真を生成することができる。ある範囲の写真は、写真データセットによって定義される焦点条件セット内の、実際の焦点条件下で撮影された実際の写真の表現または近似である。表現はパラメトリック・テクスチャ・マッピングを通して求められる。

焦点条件が一次元で変化するデータセットでは、データセットが３枚のみの写真を含む場合、定義上、近似は特定のサブピクセルの色値のデータセットの補間であることもできる。焦点条件が二次元で変化するデータセットでは、データセットが６枚のみの写真を含む場合、定義上、近似は特定のサブピクセルの色値のデータセットの補間であることもできる。

図３は、特定のサブピクセルの色値のデータセットの近似を提供する。色値のデータセットは、一次元で変化する焦点条件下で撮影された対応する写真データセットからの色値のサブセットである。色値データセットの近似は、図３の曲線３５０で表される。

ポイント３１０および３３０は、写真データセットおよび対応する色値データセットによって定義される焦点条件範囲の端点である。焦点条件は、焦点条件範囲を通して−１．０と＋１．０の間の値の割り振り値である。焦点条件範囲の一端である最小焦点条件において、ポイント３１０における色値は、焦点条件−０．１に対応する。焦点条件範囲の他端の最大焦点条件において、ポイント３３０における色値は焦点条件＋１．０に対応する。

ポイント３１０とポイント３３０の間の曲線３５０は、全焦点条件範囲にわたって色値範囲を生成することが可能な色値のデータセットの近似を提供する。シーンのすべてのサブピクセルの色値を組み合わせて、ある範囲の写真を焦点条件範囲内で生成することができる。ある範囲の写真は、焦点条件範囲内の各焦点条件毎に撮影されたであろう実際の写真の近似である。

フローチャート８００のステップ８２０に続き、写真データセットの近似に関連する複数の値が、本発明の一実施形態により記録される。複数の値は、全焦点条件範囲にわたる色値の近似を提供するために求められる。したがって、複数の値は、写真データセットによって定義される焦点条件範囲を通した写真範囲のうちの各々を生成するために利用される。

フローチャート８００のステップ８３０において、本実施形態は、複数の値から写真を合成して、焦点条件範囲内の先に触れたある範囲の写真を生成する。

本発明の実施形態は二次多項関数を使用するＰＴＭ表現について考察するが、他の実施形態は、他の適した関数または式を使用するＰＴＭ表現に適している。

先に考察したように、本発明はパラメトリック・テクスチャ・マップ（ＰＴＭ）を利用して、変化する焦点条件下でのシーンの写真をモデリングする。一実施形態では、サブピクセル毎の色値を格納して、シーンの１枚の写真のみを生成する代わりに、１つまたは複数の変数の二次多項関数の係数が格納される。二次多項関数は、焦点条件関数としてサブピクセルの色値を提供する。二次多項関数は、変化する焦点条件下でのシーンの写真のＰＴＭモデリングである。

考えられるあらゆる焦点条件について各サブピクセルの色値を格納する代わりに、二次多項式は、焦点条件を変化させた状態下での各サブピクセルについて値を求めることができる。ここで、特定の焦点条件が指定され、結果として得られるサブピクセルの色値を多項式から補間することができる。赤、緑、および青パラメトリック・テクスチャ・マップ（ＲＧＢ ＰＴＭ）を有する各色チャネルを表す技法により、本発明の一実施形態により、焦点条件の変化によるサブピクセルの色の写真のようにリアルな変化をモデリングすることが可能である。

これとは対照的に、ＰＴＭ表現を使用することなく、所与の焦点条件について写真を合成するには、各サブピクセルについて、考えられるあらゆる焦点条件についてのカラーサンプルが必要になる。たとえば、焦点条件が一次元で変化する場合、シーンの色値は、ＲＧＢ ＰＴＭ表現として一変量の二次多項式に３つのみの係数を格納することによって表すことができる。このようにして、定義された焦点条件セットにわたるある範囲の写真を再現することができる。

一方、前段落において触れたある範囲の写真で考えられるあらゆる写真を再現するためには、まず、定義された焦点条件セットにわたり考えられるあらゆる写真を撮影する必要がある。ある範囲の写真では、それぞれ前の写真から焦点条件をわずかにずらした多数の写真を撮影することが含まれる。その後、各サブピクセルの色値を、ある範囲の写真にわたる写真毎に格納する必要がある。ある範囲の写真の再現には、ＰＴＭモデリングで格納される３つの係数よりもはるかに多くの係数が必要である。この場合、各サブピクセルに多数の色値を格納するために、高価なメモリリソースが非効率的に利用されることになる。

写真データセットによって定義される焦点条件範囲全体を通してのサブピクセルカラーの変動は、本発明の一実施形態により、式１の二次複二次（second order biquadratic）多項式を使用して表される。式１の色値は、二次元（たとえば、焦点深度（Ｆ）および被写界深度（Ｄ））で変化する。
色値（Ｆ，Ｄ）＝ａ₀Ｆ²＋ａ₁Ｄ²＋ａ₂ＦＤ＋ａ₃Ｆ＋ａ₄Ｄ＋ａ₅ （１）

各サブピクセルについて、係数ａ₀、ａ₁、ａ₂、ａ₃、ａ₄、およびａ₅が格納される。一実施形態において、係数は、図９Ｂのテーブル９００など、サブピクセル毎のテーブルに格納される。ピクセル９００は、図９Ａの例示的なピクセル９１０など、ピクセルの式１の係数を示す。ピクセル９１０は、組み合わせられてピクセル９１０への表示に利用可能な全体の色範囲を形成する３つのサブピクセルを有する。本発明の一実施形態において、ピクセル９１０は、３つのサブピクセル（赤サブピクセル９２０、緑サブピクセル９３０、および青サブピクセル９４０）からなる。

図９Ｂのテーブル９００は、ピクセル９１０のサブピクセルの式１の係数のエントリを示す。列９５０に、定義された焦点条件セットにわたる赤の色値を表す複二次多項関数の様々な係数（ａ₀〜ａ₅）が格納される。列９６０に、定義された焦点条件セットにわたる緑の色値を表す複二次多項関数の様々な係数（ａ₀〜ａ₅）が格納される。列９７０に、定義された焦点条件セットにわたる青の色値を表す複二次多項関数の様々な係数（ａ₀〜ａ₅）が格納される。

二次多項関数は、焦点条件を変化させた状態下でのサブピクセルの色を再構築するために使用される。１つの焦点パラメータの場合、式１の多項式は、１つの変数を有する多項関数（一変量の多項式）に変形され、焦点条件を変化させた状態下のサブピクセルの色値を表すために使用することができる。２つの焦点パラメータの場合、式１の多項式は２つの変数を有する多項関数（複二次）のままであり、焦点条件を変化させた状態下の色値を表すために使用することができる。

本発明の一実施形態において、当業者に既知の最小二乗平均曲線適合技法を使用して、式１の多項関数を、焦点条件セットにわたる特定のサブピクセルの色値のデータセットに適合させる。たとえば、最小二乗平均曲線適合技法を使用して、図３のデータポイント３１０、３２０、および３３０に最もよく適合する、対応の一変量二次多項関数の係数を求めることが可能である。曲線３５０に示す色値データセットの近似は、適合された一変量二次多項関数のプロットである。本発明の実施形態は、式１の多項式を色値データセットに適合するにあたり、他の曲線適合技法にも適している。

式１の自由なパラメータＦおよびＤは、本発明の一実施形態により、シーンの複数の関連写真の間での補間に使用することができる。本発明は、ＲＧＢ ＰＴＭを使用して、焦点深度、およびオプションとして被写界深度が変化する写真を表すことに関連する。結果得られるＲＧＢ ＰＴＭは、焦点条件セット内で焦点条件を連続して変える写真を生成または合成する能力を提供する。

これより図４Ａを参照すると、写真４１０は図２の三次元シーン２００の二次元表現を表す。図４Ａは、本発明の一実施形態により、１つのみの焦点要素（焦点深度）が変化するＲＧＢ ＰＴＭを使用した色表現を明示したものである。それぞれ焦点深度が漸進的により遠くなる写真データセットがとられる。１つのみの焦点要素が変化する一次元の場合では、写真データセットに必要な写真は３枚だけである。

式１の二次多項式は、特定のサブピクセルに関連する色値のデータセットに適合される。図３に示される色値のデータセットは、特定のサブピクセルの例示的なデータセットであることができる。結果得られるＲＧＢ ＰＴＭはここで、焦点深度の変化に伴う色値を提供する。この場合、利用可能な２つの自由な変数のうちの一方のみ（Ｆ）が使用されるため、一変量二次ＰＴＭが以下のように適合される結果となることに留意する。
色値（Ｆ）＝ａ₀Ｆ²＋ａ₃Ｆ＋ａ₅ （２）

被写界深度変数（Ｄ）は、上記実施形態ではゼロになる。創造性目的のために、本発明の一実施形態により、被写界深度は一定であっても、またはいくらかばらついてもよい。しかしいずれの場合でも、被写界深度変数（Ｄ）はＲＧＢ ＰＴＭでは制御されないままであり、式１から省かれて式２が形成される。

色値のデータセットは、−１．０＜Ｆ＜＋１．０にわたる割り振り範囲の間でとられ、変数Ｆは式１で変化する焦点条件（焦点深度）を表す。先に考察したように、図３は例示的な色値のデータセットでありうる。さらに、図３に示す色値のデータセットは、円形の物体２１０を前景に含み、三角形の物体２２０の中間領域に含み、そして正方形の物体２３０を背景に含む最大焦点の焦点深度で撮影された写真を表すことができる。

図２に示すシーン２００の写真のデータセット中のすべてのサブピクセルの色値を組み合わせることにより、図４Ａの写真４１０など、選択された焦点条件を有する写真が生成または合成される。写真の合成は、フローチャート８００のステップ８３０に述べられている。写真４１０は、前景にある円形の物体２１０を最大焦点で示している。円形の物体２１０は太い実線で表されている。最大焦点があるのは１つの焦点面のみであるため、その焦点面にない他の物体はピントがずれる。ここで、破線で示す物体２２０および２３０は、写真４１０においてピントがずれて示されている。

例示的なグラフィカル・ユーザ・インタフェース（ＧＵＩ）４５０は、最大焦点の焦点面を選択することができる一実施態様を示す。ＧＵＩ４５０において、軸４５５は−１．０（最小焦点深度）〜＋１．０（最大焦点深度）の範囲間の焦点深度を表す。ここで、軸４５５の左側は前景を表し、軸４５５の右側は背景を表す。ＧＵＩ４５０は例示にすぎず、他の実施形態は、スライディングバー、ローラーボールなど、他の形態のグラフィカル・ユーザ・インタフェースを実施してもよい。

図４Ａにおいて、ポイント４７５は軸４５５の左側に存在し、最大焦点に前景が選択されたことを示す。ここで、円形の物体２１０が写真４１０において最大焦点になる。

これより図４Ｂを参照すると、写真４２０は、本発明の一実施形態による図２の三次元シーン２００の二次元表現を表し、最大焦点にある背景を示している。図３に例示的に示す色値のデータセットは、写真４２０において二次元表現を生成することが可能である。

写真４２０は、背景にある正方形の物体２３０に最大焦点があることを示している。正方形の物体２３０は太い実線で表されている。最大焦点があるのは１つの焦点面のみであるため、その焦点面にない他の物体はピントがずれる。ここで、破線で示す物体２１０および２２０は、写真４２０においてピントがずれて示されている。

図４Ｂにおいて、ポイント４７５は軸４５５の右側に存在し、最大焦点に背景が選択されたことを示す。この場合、写真４２０において、最大焦点は正方形の物体２３０にある。

写真４１０および４２０は図３の色値データセットを生成した元の写真データセットを含むそのままの写真でなくてもよいことに留意することが重要である。そうではなく、写真４１０および４２０はＲＧＢ ＰＴＭ表現を通して作成される補間写真である。

これより図５Ａを参照すると、写真５１０は図２の三次元シーン２００の二次元表現を表す。図５Ａは、本発明の一実施形態により、別の焦点要素（被写界深度）が変化するＲＧＢ ＰＴＭを有する色表現を明示したものである。それぞれ被写界深度が漸進的により広くなる写真データセットがとられる。１つのみの焦点要素が変化する一次元の場合では、写真データセットに必要な写真は３枚だけである。

式１の二次多項式は、写真データセット中の特定のサブピクセルに関連する色値のデータセットに適合される。図３に表される色値のデータセットは、特定のサブピクセルの例示的なデータセットであることができる。結果得られる特定のサブピクセルのＲＧＢ ＰＴＭはここで、被写界深度の変化に伴う色値を提供する。この場合、利用可能な２つの自由な変数のうちの一方のみ（Ｄ）が使用されるため、一変量二次ＰＴＭが以下のように適合される結果となることに留意する。
色値（Ｄ）＝ａ₁Ｄ²＋ａ₄Ｄ＋ａ₅ （３）

焦点深度変数（Ｆ）は、上記実施形態ではゼロになる。創造性を追加するために、本発明の一実施形態により、一定またはいくらかばらついた焦点深度を写真データセットにとられた写真に使用することができる。いずれの場合でも、焦点深度変数（Ｆ）はＲＧＢ ＰＴＭでは制御されないままであり、式１から省かれて式３が形成される。

カメラレンズの開口を変えることにより、被写界深度が変化する。カメラの開きが小量（高絞り値）の場合、写真中の被写界の大半にピントが合っており、被写界深度は広い。カメラの開きが大量（低絞り値）の場合、小量の被写界にピントが合っており、被写界深度は浅い。完全に開かれている場合、カメラレンズは、露光が正しい場合、シーン中のピントが合っている深度の範囲は狭い。

色値のデータセットは、−１．０＜Ｄ＜＋１．０にわたる割り振り範囲の間でとられ、変数Ｄは式１で変化する焦点条件（被写界深度）を表す。図３は例示的な色値のデータセットを表すことができる。さらに、図３に示す色値のデータセットは、円形の物体２１０を前景に含み、三角形の物体２２０の中間領域に含み、そして正方形の物体２３０を背景に含む変化する被写界深度で撮影された写真を表すことができる。

図２に示すシーン２００の写真のデータセット中のすべてのサブピクセルの色値を組み合わせることにより、図５Ａの写真５１０など、選択された焦点条件を有する写真を生成または合成することができる。写真の合成については、フローチャート８００のステップ８３０に述べられている。写真５１０は、非常に狭い被写界深度を示している。狭い被写界深度は、鮮鋭度最大の焦点面の周囲に存在する鮮鋭なゾーンが狭いことを示す。図５Ａでは、本質的に、中間領域にある三角形の物体２２０がピントの合っている唯一の物体である。三角形の物体２２０は実線で表される。狭い被写界深度が表されているため、被写界深度外の物体はピントがずれている。ここで、破線で示される物体２１０および２３０は、写真５１０においてピントがずれて示されている。

例示的なグラフィカル・ユーザ・インタフェース（ＧＵＩ）５５０は、被写界深度を選択することができる一実施態様を示す。ＧＵＩ５５０において、縦軸５５５は、−１．０（狭被写界深度）〜＋１．０（広被写界深度）の範囲間の変化する被写界深度を表す。ここで、縦軸５５５の上部は狭い被写界深度を表し、縦軸５５５の下部は続けて広がっていくもしくは広がっている被写界深度を表す。ＧＵＩ５５０は例示にすぎず、他の実施形態は、スライディングバー、ローラーボールなど、他の形態のグラフィカル・ユーザ・インタフェースを実施してもよい。

図５Ａにおいて、ポイント５７５は縦軸５５５の上部に存在し、狭い被写界深度が選択されたことを示す。この場合、最大焦点が中間領域の焦点面にある写真データセットが与えられ、その焦点条件から被写界深度を広げる場合、三角形の物体２２０が写真５１０においてピントのあっている唯一の物体になる。

一実施形態において、データセット中の様々な写真は一定の焦点深度（Ｆ）およびその焦点深度で一定の焦点面を取り巻く被写界深度を広げて撮影される。多かれ少なかれ、鮮鋭なゾーンは、最大焦点の焦点面から様々な距離分離れたところにある広げた焦点面群からなる。たとえば、先に述べたように、鮮鋭度最大の焦点面が図２の中間領域に配置されていた場合、三角形の物体２２０が最大焦点の焦点面にあることになる。被写界深度を広げることで、三角形の物体２２０を取り巻く焦点面にもピントが合うようになる。

これより図５Ｂを参照して、図３のデータセットにより、上で考察したように広い被写界深度を有する写真５２０を作成することができる。被写界深度を広げることにより最大焦点の焦点面は中間領域に残ったままであるものと仮定すると、前景および背景にある物体に徐々にピントが合うようになる。写真５２０は、図２のシーン２００中のすべての物体（前景にある円形の物体２１０、中間領域にある三角形の物体２２０、および正方形の物体２３０）に適度にピントが合った状態を示している。

図５Ｂにおいて、ポイント５７５は縦軸５５５の下部に存在し、広い被写界深度が選択されたことを示している。ここで、中間領域にある焦点面に最大焦点がある写真データセットが与えられ、その焦点条件から被写界深度を広げる場合、図２のシーン２００中のすべての物体にピントが合うようになる。

写真５１０および５２０は、図３の色値データセットを生成した元の写真データセットを含むそのままの写真でなくてもよいことに留意することが重要である。代わりでは、写真５１０および５２０はＲＧＢ ＰＴＭ表現を通して作成される補間写真である。

これより図６を参照すると、写真６００は、図２の三次元シーン２００の二次元表現を表す。図６は、本発明の一実施形態により２つの焦点パラメータ（焦点深度および被写界深度）が変化するＲＧＢ ＰＴＭを使用する色表現を明示したものである。これにより、最大にピントの合ったシーン中の特定の深度にわたる制御、ならびに適度にピントの合った空間範囲にわたる制御が可能になる。

焦点深度および被写界深度の両方を含む別個の焦点条件をそれぞれ有する写真データセットがとられる。２つの焦点パラメータが変化する二次元の場合、写真データセットに必要な写真は６枚だけである。

式１の複二次多項式は、特定のサブピクセルに関連する色値データセットに適合される。色値データセットは、描画されると、三次元グラフ（図示せず）で表されることになる。結果得られるＲＧＢ ＰＴＭは、焦点深度および被写界深度の両方が変化する焦点条件の変化に伴って色値を提供する。

色値データセットは、−１．０＜Ｆ＜＋１．０にわたる割り振り範囲間でとられ、ここで変数Ｆは式１の変化する第１の次元（焦点深度）を表す。また、第２の次元において、色値データセットは、−１．０＜Ｄ＜＋１．０にわたる割り振り範囲間でとられ、ここで変数Ｄは変化する被写界深度を表す。

色値データセットは、円形の物体２１０がある前景、三角形の物体２２０がある中間領域、および正方形の物体２３０がある背景を含む最大焦点の被写界深度を有する焦点条件下で撮影された写真を表すことができる。また、色値データセットは、前景に円形の物体２１０、中間領域に三角形の物体２２０、および背景に正方形の物体２３０を含む、変化する被写界深度を有する焦点条件下で撮影された写真も表すことができる。

図２に示すシーン２００の写真データセット中のすべてのサブピクセルの色値を組み合わせることにより、図６の写真６００など、結果得られるシーンの写真が、選択された焦点条件で生成または合成される。ある範囲の写真を通して写真を合成することについては、フローチャート８００のステップ８３０に述べられている。写真６００は、前景にある円形の物体２１０に最大焦点があることを示している。円形の物体２１０は太い実線で表される。写真６００は、図２のシーン２００中のすべての物体に適度にピントが合う広い被写界深度も示している。

再び図６を参照すると、様々な焦点条件の写真を含む所与の初期データセットについて、前景にある焦点面が最大焦点に選択される。焦点面は円形の物体２１０を含む。さらに、ピントの合った物体２２０および２３０も含む広い被写界深度が示されている。

例示的なグラフィカル・ユーザ・インタフェース（ＧＵＩ）６５０は、本発明の一実施形態により二次元の焦点条件を選択可能な一実施態様を示す。ＧＵＩ６５０において、縦軸６５７は−１．０（狭被写界深度）〜＋１．０（広被写界深度）の範囲で変化する被写界深度を表す。ここで、縦軸６５７の上部は狭い被写界深度を表し、縦軸６５７の下部は段々と拡張する、または広がる被写界深度を表す。

ＧＵＩ６５０において、横軸６５５は、−１．０（最小焦点深度）〜＋１．０（最大焦点深度）の範囲の焦点深度を表す。ここで、軸６５５の左側は最大焦点が前景にあることを表し、軸６５５の右側は最大焦点が背景にあることを表す。

焦点条件は二次元で変化するため、ＧＵＩ６５０は、本発明の一実施形態により、Ｆ次元およびＤ次元の両方の全範囲の値を包含するように正方形の形である。ＧＵＩ６５０は例示にすぎず、他の実施形態は、他の形状および形態のグラフィカル・ユーザ・インタフェースを実施することが可能である。

ＧＵＩ６５０中のポイント６７５の位置は、最大焦点の焦点面が前景にあり、被写界深度が広いことを示す焦点条件が選択されたことを示す。さらに、スライディングポイント６７５が縦方向に上がると、被写界深度が下がり、おそらく正方形の物体２３０がピントから外れる。これに対応して、スライディングポイント６７５が右にいくと、焦点深度が背景にシフトすることになる。この場合、円形の物体２１０は、被写界深度が広いため、おそらくなおも最大焦点の中に残る。

先の考察は写真データセットによって定義される焦点条件の領域内での写真の生成に関連するものであった。しかし、いくぶん焦点条件セット外の焦点条件の色値ＰＴＭ表現も、本発明の一実施形態により外挿を通して生成することができる。色値の外挿は、初期焦点条件データセットおよびそれぞれの色値を含む初期領域外の焦点条件について解くことによって行うことができる。

本発明の一実施形態において、式１の複二次多項関数は、外挿を通して、特定の状況下で、初期焦点条件範囲外の焦点条件について満足のいく結果を提供する。表される焦点条件は、一次元または二次元で変化することが可能である。

一次元で変化する焦点条件の場合、外挿により、−１．０よりも小さい値および＋１．０よりも大きい値（たとえば、ユーザインタフェース４５０および５５０）について横軸および縦軸の外の結果が導かれる。二次元の場合、外挿により、横軸および縦軸を−１．０〜＋１．０の間の値に制限する正方形（たとえば、ユーザインタフェース６５０）外にある焦点条件についての結果が導かれる。

図３は、一次元で変化する焦点条件の場合の色値データセットを示す。領域ＡおよびＢは、写真データセットによって定義される焦点条件範囲（−１．０〜＋１．０）を越えて延長する焦点条件の場合の色値を示す。色値は、先に考察した、関連するＲＧＢ ＰＴＭ一変量二次多項関数表現から計算される。

たとえば、図７は、図２の三次元シーン２００の二次元表現を示す。図７は、本発明の一実施形態により、１つのみの焦点要素（焦点深度）が変化するＲＧＢ ＰＴＭを使用する色表現を明示したものである。

それぞれ焦点深度が漸進的により遠くなる写真データセットがとられる。しかし、写真７００に関連するこの特定の写真データセットの場合、焦点条件（焦点深度）の範囲に、円形の物体２１０または正方形の物体２３０は含まれない。したがって、写真データセット中には、最大焦点が前景の焦点面にある、また背景の焦点面にある写真が撮影されていない。このため、写真データセットでは、円形の物体２１０および正方形の物体２３０が両方ともピントずれしている。

しかし、外挿を通して、写真７００は、ＲＧＢ ＰＴＭ表現により、前景にある物体（円形の物体２１０）にピントが合わせられることを示す。さらに、別の写真では、外挿を通して、ＲＧＢ ＰＴＭ表現により、背景にある正方形の物体２３０にピントを合わせることができる。

図２に示すシーン２００の写真データセット中のすべてのサブピクセルの色値を組み合わせることにより、図７の写真７００など、選択された焦点条件を有する写真が生成される。写真７００は、ここでは前景にある円形の物体２１０にピントが合っていることを示している。円形の物体２１０は実線で表されている。最大焦点の焦点面は１つのみであるため、その焦点面にない残りの物体はピントがずれている。ここで、破線で示される物体２２０および２３０は、写真７００においてピントがずれて示されている。

例示的なグラフィカル・ユーザ・インタフェース（ＧＵＩ）７５０は、最大焦点の焦点面を選択することができる一実施態様を示す。ＧＵＩ７５０において、軸７５５は−１．０（最小焦点深度）〜＋１．０（最大焦点深度）の範囲間の焦点深度を表す。ここで、軸７５５の左側は前景を表し、軸７５５の右側は背景を表す。また、ＧＵＩ７５０は、円７５２で画定された焦点条件範囲の外側の焦点条件を示す。ＧＵＩ７５０は例示にすぎず、他の実施形態は、スライディングバー、ローラーボールなど、他の形態のグラフィカル・ユーザ・インタフェースを実施してもよい。

ＧＵＩ７５０中のポイント７７５の位置は、最大焦点の焦点面が前景にあることを示す選択された焦点条件が焦点条件範囲外であることを示す。同様に、物体２３０にどうにかしてピントを合わせるため、ポイント７７５は右にシフトされ、焦点条件範囲を画定する円７５２の外に配置される。

特定のサブピクセルの色値のＲＧＢ ＰＴＭ表現では、生成プロセスの任意の時点で焦点条件を変化させた状態の写真を作成することが可能である。被選択条件を選択した後、結果得られる写真を生成することができる。写真の作成に使用されるサブピクセルそれぞれの色値は、選択された焦点条件について対応するＲＧＢ ＰＴＭを解くことによって計算される。次に色値は、選択された焦点条件パラメータについて解かれ、表示される。

本発明の別の実施形態では、流れ図８００に要点をまとめた方法は、電子システム１００などの電子システムによって自動的に行われる。特定の焦点条件および露光で１枚の写真を撮影する代わりに、電子システム１００は複数の写真を自動的に撮影して、焦点条件が変化する状態下の色値データセットを構築する。適正な二次多項式を写真データセットに、これに対応して色値データセットに適合させることにより、その式への係数をサブピクセル毎に格納することができる。その後、ユーザは焦点条件範囲を変化させて、最良の写真を選択することが可能である。露光および焦点条件の分野の知識がないアマチュアの写真家にとって、流れ図８００に要点をまとめたＲＧＢ ＰＴＭを使用することで、特定の状況で入手可能な写真の大半を取り込み、ほとんど失敗のない装置およびシステムが作成される。

ＲＧＢ ＰＴＭの使用により、ユーザ（たとえば、グラフィックス・アーティスト）は、生成プロセスを通して任意の時点でシーンの焦点パラメータを制御することが可能である。最終的な写真は、焦点条件設定に制限されず、露光時に規定されない。データの近似および外挿を通して、焦点条件範囲にわたるはるかに多くの写真を生成プロセスを通して生成することができる。たとえば、宣伝エージェンシーが、変化する焦点条件範囲にわたるシーンの色値を表すためにＲＧＢ ＰＴＭを使用する場合、写真が当初露光されるときにではなく、写真が共に合成されるときに焦点パラメータを選択することが可能である。これにより、はるかに大きな創造性の自由および制御が提供される。

おおよそではあるが、このＰＴＭ表現は、焦点条件範囲全体を通して写真を表すコンパクトな方法である。焦点条件範囲全体を通して写真に考えられるすべての色値を格納するのではなく、係数のみがサブピクセル毎に格納される。

さらに、ルックアップテーブルが所与のパラメータセットの色値を提供することができ、データのさらなる圧縮およびコンパクトさを提供する。さらに、ＰＴＭ表現では、写真のレンダリング中の高速色再構築も可能である。

本出願において、複二次多項式は２つの焦点要素（焦点深度（Ｆ）および被写界深度（Ｄ））の関数である。しかし、本発明は、他の焦点要素が想定される実施形態にも適している。さらに、本発明は、他のより高次の多項式が、焦点条件が変化する状態下のサブピクセル色値を表現するために使用される実施形態にも適している。さらにまた、本発明は、２次元よりも高次の多項式がＰＴＭ表現の構築に使用される実施形態にも適している。他の実施形態は、他の形態の関数または式を使用するＰＴＭ表現にも適している。

さらに、ＲＧＢ ＰＴＭを使用して二次多項式中のカラーバリエーションにマッピングすることは、焦点パラメータによって変わる写真に限定されない。たとえば、時間要素もＲＧＢ ＰＴＭ表現に容易に適合させることが可能である。時間期間にわたって撮影された写真データセットは、ＲＧＢ ＰＴＭの使用を通して表現することができる。焦点条件を選択するのではなく、特定の時間を選択して、照明、雲量などを含む、その特定の時刻での環境条件を近似し反映した二次元写真が生成される。

フローチャート８００に示す実施形態の方法は特定の順序および数量のステップを示すが、本発明は代替の実施形態にも適している。たとえば、方法に提供されるすべてのステップが本発明に必要なわけではない。さらに、追加のステップを本実施形態に提示されるステップに追加することが可能である。同様に、ステップの順序は用途に応じて変更することが可能である。

このように、シーンの複数の写真中の焦点を変える方法について述べた。本発明は特定の実施形態において説明したが、本発明はこのような実施形態によって限定されるものとして解釈されるべきではなく、添付の特許請求の範囲に従って解釈されることを理解されたい。

本発明の一実施形態による、シーンの写真を撮影可能な例示的な電子装置のブロック図である。 本発明の一実施形態による、前景、中間領域、および背景を有するシーンの三次元図である。 本発明の一実施形態による、シーンのサブピクセルについての焦点条件の関数としての色値のパラメトリック・テクスチャ・マッピング表現のグラフ図である。 本発明の一実施形態による図２の三次元シーンの二次元表現および最大焦点のある前景を示す、１つの焦点パラメータが変化するグラフィカル・ユーザ・インタフェースの図である。 本発明の一実施形態による図２の三次元シーンの二次元表現、および最大焦点のある背景を示す、１つの焦点パラメータが変化するグラフィカル・ユーザ・インタフェースの図である。 本発明の一実施形態による図２の三次元シーンの二次元表現、および狭被写界深度を示す、１つの焦点パラメータが変化するグラフィカル・ユーザ・インタフェースの図である。 本発明の一実施形態による図２の三次元シーンの二次元表現、および広被写界深度を示す、１つの焦点パラメータが変化するグラフィカル・ユーザ・インタフェースの図である。 本発明の一実施形態による図２の三次元シーンの二次元表現、広被写界深度、および最大焦点のある前景を示す、２つの焦点パラメータが変化するグラフィカル・ユーザ・インタフェースの図である。 本発明の一実施形態による図２の三次元シーンの二次元表現および初期焦点条件範囲外の焦点条件下の外挿を通して物体にピントを合わせる、１つの焦点パラメータが変化するグラフィカル・ユーザ・インタフェースの図である。 本発明の一実施形態による、シーン内で焦点を変える方法のステップを示す流れ図である。 本発明の一実施形態による例示的なピクセルのブロック図である。 本発明の一実施形態による、図９Ａのピクセルの複二次多項関数の係数の値を示すテーブルの図である。

符号の説明

１００：電子システム
１０１：プロセッサ
１０２：揮発性メモリ
１０３：不揮発性メモリ
１０４：データ記憶装置
１０５：表示装置
１０８：信号入出力装置
１２０：バス

Claims (10)

1. シーン（２００）中の焦点を変える方法であって、
   ａ）前記シーン（２００）の写真データセットを得るステップであって、該写真データセットの各々は、焦点条件範囲内の別個の焦点条件下で作成される、ステップ（ステップ８１０）と、
   ｂ）前記シーン（２００）のある範囲の写真を表すことが可能な前記写真データセットを使用して近似を行うステップであって、前記ある範囲の写真の各々は、前記焦点条件範囲内の焦点条件を有する、ステップ（ステップ８２０）と、
   ｃ）前記近似に関連する複数の値を記録するステップであって、該複数の値は前記ある範囲の写真それぞれを生成することが可能である、ステップと、
   を含む方法。
2. 前記写真データセット用に３枚の写真を得るステップをさらに含む、請求項１記載の方法。
3. 前記写真データセットを得るステップであって、該写真データセットの各々は、焦点深度が変わる別個の焦点条件下で作成される、ステップ、をさらに含む、請求項１記載の方法。
4. 前記写真データセットを得るステップであって、該写真データセットの各々は、被写界深度が変わる別個の焦点条件下で作成される、ステップ、をさらに含む、請求項１記載の方法。
5. 前記写真データセットに前記焦点条件範囲を定義させるステップであって、該写真データセットは、−１．０の最小焦点条件を有する第１の写真、および＋１．０の最大焦点条件を有する第２の写真を有する、ステップ、をさらに含む、請求項１記載の方法。
6. 前記シーン（２００）中の各サブピクセルについて、前記写真データセットから色値データセットを得るステップ（ステップ８１０）と、
   前記シーン（２００）中の各サブピクセルについて、前記近似を行なって、対応する二次多項関数により前記ある範囲の写真から対応する範囲の色値を求めるステップ（ステップ８２０）と、
   前記シーン（２００）中の各サブピクセルについて、前記対応する二次多項関数に関連する、複数の対応する係数を記録するステップと、
   をさらに含む、請求項１記載の方法。
7. 前記シーン（２００）中の各サブピクセルについて、最小二乗平均曲線により、前記写真データセットからの色値データセットを適合させて、前記複数の対応する係数を求めるステップをさらに含む、請求項６記載の方法。
8. 前記シーン（２００）中の各サブピクセルについて、色値（Ｆ、焦点条件）＝ａ₀Ｆ²＋ａ₃Ｆ＋ａ₅を含む前記二次多項関数に関連する前記複数の対応する係数を記録するステップをさらに含む、請求項６記載の方法。
9. 前記写真データセットから、前記焦点条件範囲の外の焦点条件を有する複数の写真を外挿するステップをさらに含む、請求項１記載の方法。
10. 前記焦点条件範囲内の被選択焦点条件を選択するステップと、
    前記複数の値から、前記選択された焦点条件に対する被選択写真を合成するステップ（ステップ８３０）と、
    前記被選択写真を表示するステップと、
    をさらに含む、請求項１記載の方法。

Images