JP2008529166A - デジタルカメラ画像におけるシーン距離の判定 - Google Patents

Abstract

デジタルカメラにより捕捉されたデジタル画像のシーン距離の値に関する距離マップを生成する方法は、第一の照明条件下にあるシーンの第一のデジタル画像を捕捉するステップを含み、この第一のデジタル画像は複数の画素を含み、シーンは、デジタルカメラから異なる距離に位置される複数のシーンオブジェクトを含む。また、本方法は、第一の照明条件とは異なる第二の照明条件下にあるシーンの第二のデジタル画像を捕捉するステップ、並びに、第一及び第二のデジタル画像を使用して、複数のシーン距離の値を有する距離マップを生成するステップを含み、それぞれのシーン距離の値は、デジタルカメラち対応するシーンオブジェクト間の距離に関連する。

Description

本発明は、デジタル画像処理の分野全般に関し、特に、デジタルカメラにより捕捉されたデジタル画像におけるシーンにおける異なるロケーションの距離の検出に関する。

ナチュラルシーンの写真撮影のためのシーンオブジェクトジオメトリ、すなわち幾何学的な分布及び関係は、デジタルカメラにより生成されたデジタル画像を処理するために使用することができる有用な情報である。特に、カメラからオブジェクトへのラインオブサイトに沿ったカメラとシーンオブジェクトの間の分離距離を知ることは、シーン内でオブジェクトからオブジェクトへの分離距離を計算するために使用される。

この分野において半手動及び自動の従来技術の例がある。“Multiple View Geometry in Computer Vision Second Edition”Cambridge University Press, March 2004, R. Hartley, et al.では、２次元画像から３次元情報（従って距離情報）を検出するための幾つかの方法が開示されている。１つの方法は、異なる視野角から幾つかのシーンの捕捉を撮影することで達成される。幾何学的な構造を画像における所定の特徴に割り当てるユーザの介入を通して、シーンのユークリッド３次元ジオメトリを導出することができる。Hartleyによれば、プロジェクティブジオメトリの教示を使用することで、多くの例において、単一の画像からシーンを構築することが可能である。これは、画像形成されたシーンに関して行われた想定なしに行うことができない（たとえば、少なくとも２つの画像形成されたポイント間の物理的な距離が既知である）。かかる技術にとって、完全に自動化することは未だ可能ではない。しかし、プロジェクティブジオメトリックナレッジ（projective geometric knowledge）は、ユーザによりガイドされるシングルビューのシーンの再構成を可能にするシステムに構築される。Hartleyにより記載される更なる方法は、全てのシーンのポイントが全ての画像で目に見えることを必要とする。

既存の距離測定方法による重要な問題は、距離を判定するためにかなりの処理を必要とすることである。これらの問題は、画像の捕捉について特定のセットアップと同様に、ユーザの介入を必要とすることがある。さらに、これらの方法は、計算上非常に集約的であって複雑である。

本発明の目的は、カメラから異なる距離で位置されるシーンオブジェクトの距離マップを生成することにある。

上記目的は、デジタルカメラにより捕捉されたデジタル画像のシーン距離値の距離マップを生成する方法により達成され、以下のステップを含んでいる。ａ）第一の照明条件下にあるシーンの第一のデジタル画像を捕捉するステップ。第一のデジタル画像は、複数の画素を含み、シーンは、デジタルカメラから異なる距離に位置される複数のシーンオブジェクトを含む。ｂ）第一の照明条件とは異なる第二の照明条件下にあるシーンの第二のデジタル画像を捕捉するステップ。ｃ）第一及び第二のデジタル画像を使用して、複数のシーンの距離の値を有する距離マップを生成するステップ。それぞれのシーン距離値は、デジタルカメラと対応するシーンオブジェクトの間の距離に関連する。

本発明の特徴は、改善され、自動化され、計算効率の高い方法を提供し、デジタルカメラからのシーンにおけることなる位置の距離に関連したシーン距離値を判定することである。この特徴は、単一のデジタルカメラによるシーンの多数の画像を捕捉することで達成される。多数の画像は、異なる光源を使用して捕捉される。フラッシュイルミネーションの光源のための距離に依存した逆二乗法則は、距離マップを発展することに有利にも使用される。

以下の記載では、本発明の好適な実施の形態は、ソフトウェアプログラムとして本来実現されるアイテムで記載される。当業者であれば、かかるソフトウェアの等価なものがハードウェアで構築することもできる点を容易に認識されるであろう。画像処理アルゴリズム及びシステムは公知であるので、ここでの記載は、本発明に係るシステム及び方法の一部を形成するか、本発明に係るシステム及び方法とダイレクトに協働するアルゴリズム及びシステムに特に向けられる。特に図示されないか、又は明細書に記載されない、これに関わる画像信号を生成するか、さもなければ処理する他の態様の係るアルゴリズム及びシステム、並びにハードウェア又はソフトウェアは、当該技術分野で知られる係るシステム、アルゴリズム、コンポーネント及びエレメントから選択することができる。以下のマテリアルで本発明に従って記載されたシステムが与えられると、本発明の実現のために使用される、特に図示されないか、又は本明細書で示唆又は記載されないソフトウェアは、慣習的なものであり、当該技術分野における通常の技術内にある。

さらに、本明細書で使用されるように、コンピュータプログラムは、コンピュータ読取り可能な記憶媒体に記憶され、この記憶媒体は、たとえば、（ハードドライブ又はフロプティカルディスクのような）磁気ディスク又は磁気テープのような磁気記憶媒体、光ディスク、光テープ又はコンピュータ読取り可能なバーコードのような光記憶媒体、ランダムアクセスメモリ（ＲＡＭ）又はリードオンリメモリ（ＲＯＭ）のような固体電子記憶装置、若しくは、コンピュータプログラムを記憶するために利用される他の物理的な装置又は媒体を含む。

本発明を説明する前に、本発明はパーソナルコンピュータのような公知のコンピュータシステムで好適に使用されることを述べることは理解を容易にする。結果的に、コンピュータシステムは、本明細書では詳細に説明されない。画像は（たとえばデジタルカメラにより）コンピュータシステムにダイレクトに入力されるか、（たとえばハロゲン化銀フィルムのようなオリジナルをスキャニングすることで）コンピュータシステムに入力される前にデジタル化されることを述べることは有益である。

図１を参照して、本発明を実現するコンピュータシステム１１０が例示されている。コンピュータシステム１１０は好適な実施の形態を例示する目的で示されているので、本発明は、図示されるコンピュータシステム１１０に限定されるものではないが、家庭用のコンピュータ、キオスク、小売商又は卸売りの写真仕上げ、若しくはデジタル画像の処理用の他のシステムで発見されるような電子的な処理システムで使用することができる。コンピュータシステム１１０は、ソフトウェアプログラムを受信及び処理し、他の処理機能を実行するマイクロプロセッサベースのユニット１１２を含む。ディスプレイ１１４は、たとえばグラフィカルユーザインタフェースにより、ソフトウェアに関連されるユーザに関連する情報を表示するため、マイクロプロセッサベースのユニット１１２に電気的に接続される。キーボード１１６は、ユーザがソフトウェアに情報を入力するのを可能にするため、マイクロプロセッサベースのユニット１１２に接続される。入力のためにキーボード１１６を使用する代わりに、当該技術分野で公知であるように、ディスプレイ１１４でセレクタ１２０を移動し、セレクタ１２０が重なっているアイテムを選択するためにマウス１１８を使用することができる。

コンパクトディスク−リードオンリメモリ（ＣＤ−ＲＯＭ）１２４は、ソフトウェアプログラムを典型的に含んでおり、マイクロプロセッサベースのユニット１１２にソフトウェアプログラム及び他の情報を入力するやり方を提供するため、マイクロプロセッサベースのユニットに挿入される。さらに、フロプティカルディスク１２６は、ソフトウェアプログラムを含み、ソフトウェアプログラムを入力するためにマイクロプロセッサベースのユニット１１２に挿入される。ＣＤ−ＲＯＭ１２４又はフロプティカルディスク１２６は、マイクロプロセッサベースのユニット１１２に接続される外部に配置されるディスクドライブユニット１２２に代替的に挿入される。さらに、マイクロプロセッサベースのユニット１１２は、当該技術分野で公知であるように、ソフトウェアプログラムを内部に記憶するためにプログラムされる。また、マイクロプロセッサベースのユニット１１２は、ローカルエリアネットワーク又はインターネットのような外部ネットワークへの、テレフォンラインのようなネットワークコネクション１２７を有する。また、プリンタ１２８は、コンピュータシステム１１０からの出力のハードコピーをプリントするため、マイクロプロセッサベースのユニット１１２に接続される。

また、画像は、ＰＣカード１３０で電子的に実施されるデジタル化された画像を含むＰＣＭＣＩＡカード（Personal Computer Memory Card International Associationの仕様に基づく）のような公知のパーソナルコンピュータカード（ＰＣカード）１３０を介してディスプレイ１１４で表示される。ＰＣカード１３０は、ディスプレイ１１４での画像の視覚的なディスプレイを可能にするため、マイクロプロセッサベースのユニット１１２に最終的に挿入される。代替的に、ＰＣカード１３０は、マイクロプロセッサベースのユニット１１２に接続される外部的に配置されるＰＣカードリーダ１３２に挿入される。また、画像は、ＣＤ−ＲＯＭ１３４、フロプティカルディスク１２６、又はネットワークコネクション１２７を介して入力される。ＰＣカード１３０、フロプティカルディスク１２６又はＣＤ−ＲＯＭ１２４に記憶される画像、若しくはネットワークコネクション１２７を通して入力される画像は、デジタルカメラ（図示せず）又はスキャナ（図示せず）のような様々なソースから得られる。また、画像は、マイクロプロセッサベースのユニット１１２に接続されるカメラドッキングポート１３６を介してデジタルカメラ１３４から直接に入力されるか、ケーブルコネクション１３８を介してデジタルカメラ１３４からマイクロプロセッサベースのユニット１１２に直接に入力されるか、若しくは、ワイヤレスコネクション１４０を介してデジタルカメラ１３４からマイクロプロセッサベースのユニット１１２に直接に入力される。

本発明によれば、アルゴリズムは、上述された記憶装置のいずれかに記憶することができ、デジタルカメラからシーンにおける異なる位置の距離に関連する値を判定するために画像に適用される。

図２は、デジタルカメラに関する典型的な画像形成のシナリオを示す。複数のシーンオブジェクトを含むオリジナルのシーン１６０は、周囲の光源１７０により照明される。デジタルカメラ１３４は、デジタル画像の形式でオリジナルのシーン１６０を記録するために使用される。したがって、３次元のオリジナルシーン１６０が捕捉され、２次元のデジタル画像として表現される。本発明では、デジタルカメラ１３４は、２つのデジタル画像を捕捉するために使用され、それぞれは、異なる光源、すなわち異なる照明の状況を得ている。オリジナルシーン１６０は、周囲の光源１７０により照明されることが想定される。屋内の写真撮影では、周囲の光源１７０は、蛍光灯又は白熱電球である。屋外の写真撮影では、周囲の光源１７０は、直射日光、又は雲の量からの拡散太陽光とすることができる。周囲の光源１７０での第一の捕捉により生成されたデジタル画像は、ノンフラッシュデジタル画像２０１である。電子フラッシュユニットは、フラッシュ光源１８０と呼ばれる第二の光源として使用される。デジタルカメラ１３４による第二の捕捉は、フラッシュデジタル画像２０２とラベル付けされた第二のデジタル画像が得られる。

好ましくは、ノンフラッシュデジタル画像２０１は、２つの捕捉間のシーンにおける変化を低減するため、フラッシュデジタル画像２０２の前に１５分の１秒及び３０分の１秒の間で捕捉される。

周囲の光源１７０は、フラッシュデジタル画像２０２の捕捉のために使用される。したがって、周囲の光源１７０は、ノンフラッシュデジタル画像２０１が捕捉される第一の光源であると考えられ、周囲光源１７０とフラッシュ光源１８０の組み合わせは、フラッシュデジタル画像２０２が捕捉される第二の光源であると考えられる。なお、更なる光源、すなわち上述されたフラッシュ光源１８０は、電子的なフラッシュユニットにより生成される必要がある。たとえば、デジタルカメラ１３４に固定された第二の白熱電球は、更なる光源として使用される。したがって、更なる光源は、第二の画像捕捉についてアクチベートされる。単一の光源又は多数の光源の組み合わせのいずれかは、照明の状況を定義する。

オリジナルのシーン１６０と相対的なデジタルカメラ１３４の位置は、２つの捕捉について近似的に同じであるものとする。本発明は、これら２つの値を使用して、カメラからオリジナルシーン１６０におけるある場所へのラインオブサイトに沿った分離の距離に対応するフラッシュデジタル画像２０２のそれぞれの画素についてシーン距離の値を計算する。計算されたシーン距離の値は、デジタルカメラ１３４についてオリジナルシーン１６０の画像捕捉シナリオに対する距離の画像又は距離のマップ２０３（図３に示される）を構成する。したがって、距離のマップ２０３のそれぞれの画素についてシーン距離が計算される。次いで、距離のマップ２０３のそれぞれの画素についてシーン距離の値が計算される。次いで、距離マップ２０３は、デジタルカメラの単一のポイントの観点から、たとえば木、壁といったシーンオブジェクトの距離を判定するために分析される。たとえば、木に対応する距離マップ２０３に記録されるシーン距離の値が平均され、カメラと木の距離を判定する。

オリジナルシーン１６０は、デジタルカメラ１３４からの異なる距離に位置される複数のシーンオブジェクトを含む。たとえば、屋内のシーンは、床、壁、天井、家具、及び周囲の光源を含む。概念的にこれらアイテムのそれぞれがシーンオブジェクトであると考えられる場合、オブジェクトのそれぞれの部分をシーンオブジェクトとして考えることもできる。たとえば、部屋の天井は、オブジェクトであると考えられるが、天井の近い部分又は離れた部分も同様にオブジェクトであると考えられる。ノンフラッシュデジタル画像２０１及びフラッシュデジタル画像２０２の両者は、複数の画素を含む。これら２つのデジタル画像のそれぞれの画素は、シーンオブジェクトの一部に対応する。したがって、捕捉されたデジタル画像のそれぞれの画素は、デジタルカメラからの測定可能な距離である対応するシーンオブジェクトを有する。そこから距離が測定されるデジタルカメラ１３４の実際のポイントは、フロントレンズの中央、又はたとえばデジタル画像を捕捉するために使用される電子的なセンサのセンターフォトサイト、であるように任意に選択される。したがって、距離マップ２０３は、複数のシーン距離の値（画素値）を含み、それぞれのシーン距離の値は、デジタルカメラ１３４と対応するシーンオブジェクト又はシーンロケーションの間の距離に関する。距離マップ２０３のそれぞれの画素は、対応するシーンロケーション又はシーンオブジェクトを有するが、一般に、それぞれのシーンオブジェクトは、対応する計算されたシーン距離の値を有さない。たとえば、椅子がデジタルカメラ１３４に面している場合、椅子の背後は、カメラへのラインオブサイトを有することができず、したがって見られていない。しかし、デジタルカメラ１３４へのラインオブサイトを有するオリジナルシーン内のそれぞれのロケーション又はシーンオブジェクトは、測定可能なシーン距離の値を有する。

周囲の光源１７０は、オリジナルシーン１６０のシーンオブジェクトを一様に照射するものとする。最も写真撮影されたシーンについて、これは有効な近似である。したがって、異なるマテリアルの反射率の値を有する２つのシーンオブジェクトは、結果的に得られる捕捉されたデジタルカメラ画像における異なる画素値が得られ、低いマテリアルの反射率を有するシーンオブジェクトは、暗く見える（画素値において低い）。同じマテリアルの反射率の値を有する２つのシーンオブジェクトは、ノンフラッシュのデジタル画像２０１で近似的に同じ対応する画素値を有する。これは、２つのシーンオブジェクトがデジタルカメラ１３４から異なる距離に位置される場合でさえ当てはまる。したがって、周囲の光源１７０で捕捉されたノンフラッシュデジタル画像２０１について、画素値における差は、マテリアルの反射率における変化から主に生じる。これは、周囲の光源１７０により直接に照明されたシーンオブジェクトに対応する画素についての一般に当てはまり、周囲の光源により直接に証明されていない影付けされた領域に対応する画素について当てはまらない。したがって、周囲の光源１７０により捕捉されたデジタル画像から取られた画素値の差は、マテリアルの反射率における差から生じる。

フラッシュデジタル画像２０２について、同じマテリアルの屈折率の値の２つのシーンオブジェクトに対応する画素値は、オブジェクトがデジタルカメラ１３４から同じ距離で位置されるときにのみ同じである。これら２つのシーンオブジェクトがデジタルカメラ１３４から異なる距離で位置される場合、更なる離れたオブジェクトは、フラッシュ光源１８０から少ない光を受ける。結果的に、フラッシュデジタル画像２０２における対応する画素値は、より近いシーンオブジェクトに関連される対応する画素値についてよりも数値的に低い（低い受光を示す）。オリジナルシーン１６０内のシーンオブジェクトにより受けた光の強度は、フラッシュ光源１８０とシーンオブジェクトの間の距離の平方に近似的に逆比例する。フラッシュ光源１８０がデジタルカメラ１３４に固定された場合、シーンオブジェクトと光源の距離は、シーンオブジェクトとカメラの距離と近似的に同じである。異なるマテリアルの反射率の値を有する２つのシーンオブジェクトについて、２つのオブジェクトがフラッシュ光源１８０から同じ距離で位置されるときに、対応する画素値は異なる。したがって、フラッシュ光源１８０で捕捉されたデジタル画像内の画素値の変動は、カメラとシーンオブジェクトの距離における変動、又はマテリアルの反射率の変動から生じる。

本発明は、フラッシュ光源１８０の固有の逆平方の距離の関係、及び周囲の光源１７０の固有な距離に独立な関係を利用し、ノンフラッシュデジタル画像２０１又はフラッシュデジタル画像２０２の両者の画素についてシーン距離の値を導出する。これは、シーンオブジェクトのマテリアルの反射率の差がノンフラッシュデジタル画像２０１とフラッシュデジタル画像２０２の両者について近似的に同じであるという事実を利用することで達成される。フラッシュ光源１８０の角度の感度は、等方性、すなわちデジタルカメラ１３４の３つの主要な軸に関して指向角度に独立であるものとしている。電子的なフラッシュ光源のなかには、角度依存性を有するものがある。当業者であれば、捕捉されたデジタル画像のそれぞれの画素がカメラと相対的にシステマティックな角度を有するため、補償項を計算に含めることができることを理解されるであろう。

ノンフラッシュデジタル画像２０１について、オリジナルシーン１６０は、周囲の光源１７０を使用して生成されるように想定される。数学的に、ノンフラッシュデジタル画像２０１の画素値ａ_ijは、式（１）のように表現される。

ここでＡ_ijは、ｉｊ番目の画素に対応するシーンオブジェクトについて周囲の光源の照明レベルを表し、ＭＲ_ijは、ｉｊ番目の画素に対応する画像形成されるシーンオブジェクトのマテリアルの反射率を表す。フラッシュデジタル画像２０２について、オリジナルシーン１６０は、周囲の光源１７０及びフラッシュ光源１８０を含んで生成されるように想定される。数学的に、画素データは、式（２）のように表現される。

ここでｂ_ijはフラッシュデジタル画像２０２のｉｊ番目の画素値を表し、Ｆ_ijはｉｊ番目の画素に対応するシーンオブジェクトについてフラッシュ光源の照明レベルを表す、
フラッシュ光源の照明により形成されるデジタル画像は、式（３）により与えられるようにフラッシュデジタル画像２０２の画素値からノンフラッシュ画像２０１の画素値を減算することで得られる。

ここでｃ_ijはこの計算されたフラッシュオンリのデジタル画像のｉｊ番目の画素値を表す。マテリアルの反射率の値ＭＲ_ijは、式（４）を形成するため、式（１）により式（３）を割ることで式から除かれる。

ここでｑ_ijはフラッシュオンリの周囲の画素値に対する割合を表す。周囲の光源１７０が定数Ａ₀により近似される場合、すなわち空間的に不変の分布を持つ場合、項ｑ_ijは、式（５）により与えられるように、シーン距離の値Ｄ_ij又はカメラとシーンオブジェクトの距離により決定されるフラッシュ光源１８０の空間変動に比例する。項Ｆ₀は、フラッシュ光源１８０及びデジタルカメラレンズシステムのＦナンバーにより放出されるパワーに関連する項である。

この近似により、シーン距離の値Ｄ_ijは、式（６）により与えられるように計算される。

較正されるシーン距離の値Ｄ_ijは、周囲の光源の照明の定数Ａ₀を決定することで計算される。Ａ₀を計算する１つの方法は、式（７）により与えられるように周囲のノンフラッシュデジタル画像２０１における値を平均することである。

ここで定数５．５は、０．１８の近似的に逆数であり、すなわち平均のマテリアルの反射率の値ＭＲ_ijである。シーン距離の値は、基準の距離としてカメラレンズフォーカス距離Ｄ_fを使用して較正される。量Ｄ_fは、「インフォーカス」であるカメラとシーンオブジェクトの距離を表す。カメラレンズサブシステムは、それ自身が較正される。カメラ視野の中央がｍｎ番目の画像の画素位置に対応し、カメラレンズは、ｍｎ番目の画像の画素に対応するシーンオブジェクトにフォーカスされるものとし、シーン距離の値Ｄ_ijは、式（８）により与えられる。

ここで定数Ｋ₀は、式（９）により与えられる。

図３は、（図１に示される）マイクロプロセッサベースのユニット１１２の一部であるイメージプロセッサ２００の機能的なブロック図である。なお、イメージプロセッサ２００は、デジタルカメラ１３４の一部として実現される。距離計算手段２１０は、ノンフラッシュデジタル画像２０１及びフラッシュデジタル画像２０２を受け、上述された式（１）〜（９）で概説された計算を実行することで距離マップ２０３を生成する。したがって、距離マップ２０３は、ノンフラッシュデジタル画像２０１とフラッシュデジタル画像２０２のいずれかにおけるｉｊ番目の画素に対応するシーン距離の値Ｄ_ijを含む。イメージプロセッサ２００内で、変換モジュール２２０は、距離マップ２０３及びフラッシュデジタル画像２０２を受け、シーン距離の値を使用してエンハンスされたデジタル画像２０４を生成する。

上述された式（１）〜（９）の導出は、一般的な項で定式化される。すなわち、これらの式は、何れのタイプの画像の画素データについてシーン距離の値Ｄ_ijの計算を説明するために使用される。たとえば、デジタルカメラ１３４が赤、緑及び青（ＲＧＢ）の画素値を含むカラーデジタル画像を生成する場合、シーン距離の値は、ノンフラッシュデジタル画像２０１及びフラッシュデジタル画像２０２からの赤の画素値を使用して個々に計算される。同様に、シーン距離の値Ｄ_ijは、緑又は青の画素の値を使用して計算することもできる。したがって、３セットのシーン距離の値は、３つの個別のカラーピクセルの値から個々に生成することができる。幾つかのデジタルカメラは、シアン、マゼンダ及びイエローに属する３色の画素値をもつデジタル画像を生成する。同様に、シーン距離の値Ｄ_ijは、シアン、マゼンダ又はイエローの画素値（ＣＭＹ）を使用して計算される。デジタルカメラにより生成されるモノクロ（黒と白）デジタル画像について、シーン距離の値Ｄ_ijは、モノクロの画素値を使用して計算することができる。同様なやり方で、ルミナンスの画素値は、式（１０）におけるように計算される。

ここで項Ｒ_ij、Ｇ_ij及びＢ_ijはｉｊ番目の赤、緑及び青の画素値をそれぞれ表し、Ｌ_ijはｉｊ番目のルミナンスの画素値を表す。特に有効な実現は、緑の画素値Ｇ_ijを使用してシーン距離の値Ｄ_ijを計算することである。この実現は、ルミナンスの画素値が計算される必要がないので、高速であってカメラの用途で特に有効である。

なお、ノンフラッシュデジタル画像２０１及びフラッシュデジタル画像２０２は、シーン距離の値の計算の前に記録されるべきである。２つの画像を記録することは、画像を揃えることに役立ち、たとえばハンドシェイクにより引き起こされるポジショニングエラーによりグロスの画素の変位を除く。たとえば、２つのデジタル画像間の正規化された相互相関の最大を発見することは、ある画像から他の画像へのピクセルオフセットを示す。オプティカルフロー又はブロックマッチング技術のような他のローカルな記録技術は、シーンにおけるオブジェクトが、フラッシュデジタル画像２０２の捕捉とノンフラッシュデジタル画像２０１の捕捉の間のタイムインターバルで移動したときに使用することができる。

図３を参照して、変換モジュール２２０は、距離マップ２０３のシーン距離の値を使用して、ノンフラッシュデジタル画像２０１又はフラッシュデジタル画像２０２のいずれかからエンハンスされたデジタル画像２０４を生成する。たとえば、シーン距離の値Ｄ_ijは、フラッシュデジタル画像２０２の画素に適用されるぼやけ空間フィルタを調節するために使用される。式（１１）は、一般化された空間フィルタリング演算を説明する。

ここで項ｐ’_ijはｉｊ番目に処理される画素値を表し、ｐ_mnはｉｊ番目の画素に関する局所的な近隣における画素の値を表し、α_mnはｐ_mn画素値についての空間的な重み付けファクタを表す。したがって、空間的な重み付けファクタα_mnは、式（１２）及び（１３）により与えられるようにシーン距離の値Ｚ’_ijの関数として形成される。

ここでτ₁及びτ₂は距離の閾値を表し、σはぼやけの演算（blurring operation）の空間的な広がりを決定する制御パラメータを表す。デジタルカメラ１３４は、カメラのレンズがフラッシュデジタル画像２０２の捕捉のために設定される距離に対応するカメラレンズの焦点距離Ｄ_fを提供する。距離の閾値は、式（１４）のように、カメラレンズのフォーカス設定パラメータに基づいて設定される。

ここでεは許容値を表す。エンハンスされたデジタル画像２０４の画素は、εの許容値外にある対応するシーン距離の値Ｄ_fを有する画素について、著しくぼやける。

式（１２）〜（１４）は、計算されたシーン距離の関数として空間フィルタを変えるための１方法を記載しているが、当業者であれば、本発明と共に他の機能的な形式が使用されることを認識されるであろう。たとえば、制御パラメータσは、シーン距離の値Ｄ_ijの分析の関数として定式化することができる。同様に、σの形式は、著しく少ないぼやけ処理が実行される１を超える距離のレンジを有する。これは、第二のセットの距離の閾値のパラメータを有することで達成される。このシナリオでは、カメラに近いシーンオブジェクト又はカメラから離れたシーンオブジェクトに対応する画像の画素は、非常に少ないぼやけを受けるか、又はぼやけがなく、カメラの近くと遠くの間にあるシーンオブジェクトに対応するイメージピクセルは、著しくぼやける。式（１５）は、遠近のシナリオを記述する。

式（１２）〜（１４）により記載されるように、距離マップ２０３に基づいてぼやけ処理を調整する動作は、異なるＦナンバーをもつデジタルカメラにより捕捉されているように見えるエンハンスされたデジタル画像２０４を生成する。特に、エンハンスされたデジタル画像２０４は、低いＦナンバーで撮影されているように見える。ぼやけの処理が式（１２），（１４）及び（１５）に基づくとき、処理されたエンハンスされたデジタル画像２０４は、従来のカメラで生成することができる物理的に実現可能な効果に容易に対応しない。

本発明の好適な実施の形態で開示される距離検出のアルゴリズムは、様々なユーザコンテクスト及び環境で利用することができる。例示的なコンテクスト及び環境は、制限なしに、（フィルムイン、デジタル処理、プリントアウトのようなプロセスステップ又はステージを例示的に含む）卸売りのデジタルフォトフィニッシング、小売りのデジタルフォトフォフィニッシング（フィルムイン、デジタル処理、プリントアウト）、ホームプリンティング（ホームスキャンフィルム又はデジタル画像、デジタル処理、プリントアウト）、デスクトップソフトウェア（デジタルプリントを良好にするか、又はデジタルプリントを買えるためにデジタルプリントにアルゴリズムを適用するソフトウェア）、デジタルフルフィルメント（メディア又はウェブからデジタル画像入力、デジタル処理、メディア上でデジタル形式での画像出力、ウェブを通してデジタル形式での画像出力、又はハードコピープリントでプリント）、キオスク（デジタル又はスキャン入力、デジタル処理、デジタル又はスキャン出力）、モバイル装置（たとえば、処理ユニット、ディスプレイユニット、又は処理命令を与えるユニットとして使用することができるＰＤＡ又はセルフォン）、及びＷｏｒｌｄＷｉｄｅＷｅｂを介して供給されるサービスを含む。

それぞれのケースで、距離検出アルゴリズムは、スタンドアロン型であるか、又は大型システムソリューションのコンポーネントとすることができる。さらに、たとえばスキャニング又は入力といったアルゴリズムとのインタフェース、デジタル処理、ユーザへのディスプレイ（必要とされる場合）、ユーザ要求又は処理命令の入力（必要とされる場合）、出力は、それぞれ同じ又は異なる装置及び物理ロケーションにあり、装置とロケーション間の通信は、パブリック又はプライベートネットワークコネクションを介するか、又はメディアベースのコミュニケーションである。本発明の上述の開示と一致する場合、アルゴリズム自身は、完全に自動化することができ、ユーザ入力を有することができ（完全又は部分的に手動であり）、ユーザ又はオペレータに結果を許容／拒否するかを検討させるか、若しくはメタデータにより支援される（ユーザ供給されるメタデータ、たとえばカメラにおける測定装置により供給されるか、又はアルゴリズムにより決定される）。さらに、アルゴリズムは、様々なワークフローのユーザインタフェーススキームによりインタフェースする。

本発明に従って本明細書で開示される距離検出アルゴリズムは、様々なデータ検出及び低減技術（たとえば顔の検出、目の検出、皮膚の検出、フラッシュの検出）を使用する内部コンポーネントを有する。

コンピュータプログラムプロダクトは、１以上のストレージメディアを含み、たとえば、磁気ディスク（フロプティカルディスク）又は磁気テープのような磁気記憶媒体、光ディスク、光テープ又はコンピュータ読取り可能なバーコードのような光記憶媒体、ランダムアクセスメモリ（ＲＡＭ）又はリードオンリメモリ（ＲＯＭ）のような固体電子記憶媒体、若しくは、本発明に係る方法を実施するために１以上のコンピュータを制御する命令を有するコンピュータプログラムを記憶するために利用される他の物理的な装置又はメディアを含む。

本発明を実施するのに適したコンピュータシステムを示すブロック図である。 オリジナルシーン、デジタルカメラ、及び２つの光源からなる画像捕捉シナリオを示す機能ブロック図である。 距離計算のために必要とされる画像処理のブロック図である。

符号の説明

１１０：コンピュータシステム
１１２：マイクロプロセッサベースユニット
１１４：ディスプレイ
１１６：キーボード
１１８：マウス
１２０：セレクタ
１２２：ディスクドライブユニット
１２４：コンパクトディスク−リードオンリメモリ（ＣＤ−ＲＯＭ）
１２６：フロプティカルディスク
１２８：プリンタ
１３０：パーソナルコンピュータカード（ＰＣカード）
１３２：ＰＣカードリーダ
１３４：デジタルカメラ
１３６：カメラドッキングポート
１３８：ケーブルコネクション
１４０：ワイヤレスコネクション
１６０：オリジナルシーン
１７０：周囲光源（ambient light source）
１８０：フラッシュ光源（flash light source）
２００：イメージプロセッサ
２０１：ノンフラッシュデジタル画像（non-flash digital image）
２０２：フラッシュデジタル画像（flash digital image）
２０３：距離マップ
２０４：エンハンスされたデジタル画像
２１０：距離計算手段
２２０：変換モジュール

Claims (8)

1. デジタルカメラにより捕捉されるデジタル画像についてシーン距離の値の距離マップを生成する方法であって、
   ａ）第一の照明の状況下にあるシーンの第一のデジタル画像を捕捉するステップと、前記第一のデジタル画像は複数の画素を含み、前記シーンは前記デジタルカメラから異なる距離に位置される複数のシーンオブジェクトを含み、
   ｂ）前記第一の照明状況とは異なる第二の照明の状況下にあるシーンの第二のデジタル画像を捕捉するステップと、
   ｃ）前記第一及び第二のデジタル画像を使用して、複数のシーン距離の値を有する距離マップを生成するステップとを含み、それぞれのシーン距離の値は、前記デジタルカメラと対応するシーンオブジェクトの間の距離に関連する、
   ことを特徴とする方法。
2. デジタルカメラにより捕捉されたデジタル画像について距離マップを生成する方法であって、
   ａ）前記デジタルカメラを使用して、異なる光源により生じる異なる照明の状況下にあるシーンのデジタル画像を捕捉するステップと、前記シーンは前記デジタルカメラから異なる距離に位置される複数のシーンオブジェクトを含み、
   ｂ）前記デジタル画像を使用して、シーン距離の値の距離マップを生成するステップとを含み、それぞれのシーン距離の値は、前記デジタルカメラと対応するシーンオブジェクトとの間の距離に関する、
   ことを特徴とする方法。
3. 前記シーンの照明の状況は、光源のアクチベーション又はデアクチベーションにより生じる、
   請求項２記載の方法。
4. 前記光源は、前記デジタルカメラと関連されるフラッシュユニットである、
   請求項３記載の方法。
5. 前記照明状況のうちの一方は周囲光であり、他方は、周囲光と、フラッシュユニットからのフラッシュイルミネーションとの組み合わせにより生じる、
   請求項２記載の方法。
6. それぞれのデジタル画像は、ログスペースに変換され、シーンにおけることなる位置にある異なる距離の関数である差を計算する、
   請求項４記載の方法。
7. シーンにおける画素について既知の基準となる距離及び計算された差を使用して、前記距離のマップを生成するステップを含む、
   請求項６記載の方法。
8. 前記距離マップを使用してデジタル画像の一方又は両方をエンハンスするステップを更に含む、
   請求項２記載の方法。

Images