JP2009517981A - デジタル画像露光量及びトーンスケールの調節 - Google Patents

Abstract

複数の被写体を有する場面の選択された露光量で、第1のデジタル画像をデジタルカメラ捕捉し；該デジタルカメラから該場面内の複数の被写体までの距離を示す2つ又は3つ以上のレンジ値を有するレンジ情報を用意し；該選択された露光量のための露光量調節量を決定するために、該レンジ情報及び該捕捉されたデジタル画像の画素値を使用し；そして調節された露光量を有する第2のデジタル画像を生成するために、該露光量調節量を該デジタル画像に適用することを含んで成る、レンジ情報に基づいてデジタルカメラの露光量を調節する方法。

Description

本発明の分野は、デジタルカメラ並びにレンジ（range）情報に基づく露光量調節及びトーンスケール調節のための画像処理に関する。

現在の画像形成システムは、画像が捕捉されると、その画像が露光量、トーンスケールの理由から満足のゆくものにはならないことが多いという点で多くの欠陥を有している。

1つの媒体(例えばネガフィルム)上に捕捉された画像のダイナミックレンジは、その画像が表現(render)された媒体(例えば印画紙)のダイナミックレンジを超えることがある。その結果、表現された画像における画像ディテールが損なわれる。ディテールは、画像のハイライト部分において損なわれることがある(例えば、逆光画像が、シャドー・ディテールを適切に表現するのに十分に明るくプリントされるが、しかし空に浮かぶ雲のようなハイライト・ディテールを示すには余りにも明るく表現される場合)。又は、ディテールは画像のシャドー部分において損なわれることもある(例えば顔にフラッシュが当てられた画像が、写真の被写体に対しては適切に表現されるが、しかし背景が、背景内のディテールを示すには余りにも暗く表現される場合)。

これらの問題は、露光量調節法(画像を捕捉するためのカメラの露出を調節するか、又は捕捉された画像の露光量を調節することによる)により対処される。画像の露光量は、画像の被写体の明るさが、表現された媒体上で最適に再現されるように決定される。典型的な露光量調節アルゴリズムは、画像のための正しい露光量を推定するために統計を使用する。この露光量は、画像の被写体がわからないという事実により、最適でないことがしばしばある。

印画紙のダイナミックレンジは、典型的な場面（sean）のダイナミックレンジよりも低いことはよく知られている。この不一致の結果、多くの場面内容が印画紙上では黒又は白に表現されることになる。この理由から、画像処理環境において、ディスプレイ媒体上により多くの情報をマッピングするために、場面のダイナミックレンジを低減するように、トーンスケール関数を用いることができる。場面に依存するトーンスケール関数を形成するための多くの方法が存在する｛例えば米国特許第5,471,987号明細書(Nakazawa他)(以後「Nakazawa」という)参照。これを引用することにより本明細書に組み入れる｝。コンベンショナルなトーンスケール関数処理のそれぞれは、トーンスケール関数を自動生成するために、考慮する画像の或る特定の統計的特徴を調べる。加えて、トーンスケール関数は、手動双方向ツールで生成することができる。しかしながら、これらの方法は、画像画素値しか知られていないため不都合である。例えば、暗い画素は、被写体に対する露光量が少ししかなかったことの結果であるのか、又は被写体の反射率が低かったという理由からなのかを判断することは難しい。

本発明の目的は、レンジ情報に基づいて露光量又はトーンスケールを調節することである。

この目的は、
(a) 複数の被写体を有する場面の選択された露光量で、第1のデジタル画像をデジタルカメラ捕捉し；
(b) 該デジタルカメラから該場面内の複数の被写体までの距離を示す2つ又は3つ以上のレンジ値を有するレンジ情報を用意し；
(c) 該選択された露光量のための露光量調節量を決定するために、該レンジ情報及び該捕捉されたデジタル画像の画素値を使用し；そして
(d) 調節された露光量を有する第2のデジタル画像を生成するために、該露光量調節量を該デジタル画像に適用する
ことを含んで成る、レンジ情報に基づいてデジタルカメラの露光量を調節する方法による量調節において達成される。

この目的は、
(a) 該場面内の複数の被写体の距離を示す2つ又は3つ以上のレンジ値を有するレンジ情報を用意し；
(b) 露光量調節量を決定するために、該レンジ情報及び該捕捉されたデジタル画像の画素値を使用し；そして、
(c) 露光量が調節された第2のデジタル画像を生成するために、該露光量調節量を該捕捉されたデジタル画像に適用する
ことを含む、複数の被写体を有する場面の捕捉されたデジタル画像の露光量を調節する方法によるトーンスケール調節において達成される。

本発明の利点は、レンジ情報を使用することによって、改善された、バランスのとれた画像を提供する効果的な露光量調節をもたらすことができることである。

本発明の別の利点は、レンジ情報を使用することによって、改善されたトーン表現を有する画像を提供する効果的なトーンスケール調節をもたらすことができることである。

図1は、本発明によるデジタルカメラ10を示す。カメラ10はユーザー入力部22を含む。図示のように、ユーザー入力部22はボタンであるが、しかし、ユーザー入力部22はジョイスティック、又はタッチスクリーンなどであってもよい。ユーザーは、例えばカメラの操作モードを選択することにより、カメラ10の操作を命じるためにユーザー入力部22を使用する。カメラ10はまたディスプレイ装置30を含み、このディスプレイ装置上で、ユーザーは、捕捉ボタン15を押したときにカメラ10によって捕捉された画像をプレビューすることができる。ディスプレイ装置30はまた、ユーザー入力部22とともに用いられるので、ユーザーはメニューをナビゲートすることができる。ディスプレイ装置30は例えば、デジタルカメラ上で一般に使用されているようにLCD又はOLEDスクリーンであってよい。メニューは、ユーザーがカメラの操作の好みを選択するのを可能にする。カメラ10は、静止画像、又は高速連続画像、例えばビデオ・ストリームを捕捉することができる。

好ましい態様の場合にはデータ・プロセッサ20、画像プロセッサ36、ユーザー入力部22、ディスプレイ装置30、及びメモリー装置70は、カメラ10と一体的であるが、これらの部分がカメラの外部に配置されていてもよいことは、当業者に明らかである。例えば、上記部分は、デスクトップ・コンピューター・システム内、又は例えば小売店内に配置された画像処理可能なキオスク上に配置されてよい。

図1に示された汎用制御コンピュータ40は、コンピュータ可読記憶媒体内に記憶されたコンピュータ・プログラムとして、本発明を記憶することができる。記憶媒体は、例えば：磁気記憶媒体｛例えば磁気ディスク(例えばフロッピー（商標）ディスク)又は磁気テープ｝、光学記憶媒体(例えば光学ディスク、光学テープ、又は機械可読バーコード)；固体電子記憶装置｛例えばランダム・アクセス・メモリー(RAM)、又は読み出し専用メモリー(ROM)｝を含んでよい。関連するコンピュータ・プログラムの実施は、メモリー装置70によって示されたコンピュータ・プログラムを記憶するために採用された任意の他の物理的装置又は媒体上に記憶されてもよい。制御コンピュータ40は、カメラ10の構成部品間のデータの移行を制御することに関与する。例えば、制御コンピュータ40は、捕捉ボタン15がユーザーによって押され、そして画像センサ34によって画像の捕捉を開始することを検出する。カメラ10はまた、カメラの焦点を設定するための焦点メカニズム33を含む。

レンジ画像センサ32が、カメラの節点から、撮影される場面内の被写体までの距離を示すレンジ画像38を生成する。レンジ画像については、後でより詳細に説明する。レンジ画像センサ32が、カメラ10とは別個の装置上に配置されてよいことは当業者に明らかである。しかしながら、好ましい態様では、レンジ画像センサ32は、カメラ10と一体的に配置されている。

画像プロセッサ36は、画像ディスプレイ装置30によって満足のゆく外観の画像が生成されるように、デジタル画像の全体的な明るさ、トーンスケール、画像構造などの調節を行うために、デジタル画像を処理するのに使用することができる。本発明が、これらの上述の画像処理機能だけに制限されるものではないことは、当業者には明らかである。

データ・プロセッサ20は、画像プロセッサ36又は制御コンピュータ40のためのメタデータを生成するために、デジタル画像からの画像情報、並びにレンジ画像センサ32からのレンジ画像38を処理するのに使用される。データ・プロセッサ20の操作については、後でより詳細に説明する。

本発明は、ソフトウェア及び／又はハードウェアの組み合わせで実施することができ、また、同じ物理的場所内部に物理的に接続且つ／又は配置された装置に限定されることはない。図1に示された装置のうちの1つ又は2つ以上は、遠隔位置に配置されてよく、そして無線接続を介して接続されてよい。

デジタル画像は、1つ又は2つ以上のデジタル画像チャネルから成っている。各デジタル画像チャネルは、二次元画素アレイから成っている。各画素値は、その画素の物理的領域に対応する画像形成用捕捉デバイスによって受容される光の量に関係する。カラー画像形成用途の場合、デジタル画像はしばしば、赤、緑、及び青のデジタル画像チャネルから成る。動画形成用途は、デジタル画像列として考えることができる。本発明は、上記用途のうちのいずれかのためのデジタル画像チャネルに適用することができるが、しかしこれに限定されるものではないことは、当業者に明らかである。デジタル画像チャネルは、行と列とによって配列された二次元画素値アレイとして記載されるものの、等しい効果を有する非直線アレイに本発明を適用できることは当業者に明らかである。元の画素値を処理された画素値と置き換えるものとして下に説明するデジタル画像処理ステップが、元の画素値を維持しつつ処理された画素値を有する新しいデジタル画像を生成するものとして同じ処理ステップを記述することと機能上同等であることも、当業者には明らかである。

図2Aは、デジタル画像例を示しており、そしてこの画像と対応する深度画像が図2Bに示されている。より明るい陰影は、画像平面からのより大きい距離を示している。

デジタル画像Dは、場面内の空間位置と関連する光強度を記述する画素値を含む。典型的には、デジタルカラー画像内では、画像平面上の各(x,y)画素位置における光強度は、赤、緑、及び青のカラーチャネルのそれぞれに関して既知である。

レンジ画像38Rは、場面内の被写体表面の位置を直接にコード化する。レンジマップは、表面と既知の基準フレームとの間の距離に関するレンジ情報を含有する。例えば、レンジマップは、各画素値(又はレンジ点)が、場面内の被写体表面上の点の3次元[X Y Z]位置であるところの画素値を含むことができる。或いは、レンジマップの画素値は、カメラの節点(原点)と表面との間の距離であってもよい。カメラの焦点距離fが既知である場合には、レンジマップの表現(representation)間の変換は取るに足らない。例えば、レンジマップ画素値は、

R(x,y)＝dである。
式中、dは、カメラの節点から場面内の被写体表面までの距離を示す。

このレンジマップ画素値は、関係式：
X＝(x×d)/sqrt(x×x＋y×y)
Y＝(y×d)/sqrt(x×x＋y×y)
Z＝(f×d)/sqrt(x×x＋y×y)
によって当該表面の真の位置に変換することができる。
式中、sqrt()は、平方根演算子である。

レンジマップはデジタル画像において同じ次元を有してよい。すなわち、デジタル画像のそれぞれの画素毎に、関連レンジ画素値があってよい。或いは、レンジマップは、デジタル画像よりも粗い解像度の格子上に存在してよい。例えば、8行と12列の画素しか有さないレンジマップRを、1000行×1500列の画素を有するデジタル画像Dと関連付けることができる。レンジマップRは、少なくとも2つの区別可能なレンジ点を含有しなければならない。さらに、レンジマップRは、画像全体にわたって散乱する点の組のリストだけを含んでよい。このタイプのレンジマップは疎レンジマップとも呼ばれる。この状態は、米国特許第6,507,665号明細書に記載されたレンジマップが立体デジタル画像対から算定されるときにしばしば生じる。

焦点メカニズム33は、図2Cに示されているように、レンジ画像38を生成するために採用することができる。焦点メカニズム33は、第1ステップ41に示すように、レンズ系焦点が近焦点位置から遠焦点位置に調節されている間、画像センサ34によってプレビュー画像の組(例えば10)を捕捉することにより、カメラのレンズ系の焦点位置を選択するために使用される。第2ステップ43において、プレビュー画像は、各プレビュー画像の各領域(例えば8×8画素ブロック)毎に焦点値を算定することにより分析される。焦点値は、画像の領域における高周波成分の尺度である。例えば、焦点値は、領域内の画素値の標準偏差である。或いは、焦点値は、その領域の最大画素値から最小画素値を差し引いたものの、その領域の平均絶対差であることも可能である。この焦点値は、焦点内画像信号が、焦点外画像信号よりも大きい高周波成分を含有するという事実から、有用である。焦点メカニズム33は次いで、関連する領域の組全体にわたって焦点値を最大化するプレビュー画像を決定する。カメラ10の焦点位置が次いで、焦点値を最大化するプレビュー画像と関連する焦点位置に従って設定される。

第3ステップ45において、プレビュー画像のそれぞれに対応するその領域の焦点値を比較することにより、最大焦点値が見いだされる。その領域と関連するレンジマップ値は、その領域の最大焦点値を有するプレビュー画像の対応焦点距離に等しい。

このようにして、焦点メカニズム33は、画像センサ34からのデータを分析し、そしてレンジ画像38を決定する。この場合レンジ画像38を生成するために、別個のレンジ画像センサ32は必要ではない。

デジタル画像の画素に対応するレンジ画素値は、当業者に広く知られているように、レンジマップの値に基づく補間又は補外によって決定することができる。補間は例えば双線形又は双三次フィルタリング技術を用いて、又は非線形技術、例えばメディアンフィルタを用いて実施することができる。同様に、デジタル画像データDは、レンジ情報が既知である所与の位置における概算画像強度を決定するために、補間することができる。しかし、レンジ・データの補間又は補外を達成するには必ず誤差が伴うことに注意しなければならない。

図3には、図1のシステムのより詳細な図が示されている。レンジ画像38は、平面状表面142を抽出するためにデータ・プロセッサ20に入力される。データ・プロセッサ20は、レンジ画像38のレンジ情報から平面状表面の位置を特定するために、平面状表面モデル39を使用する。平面状表面モデル39は、平面状表面、又はほぼ平面状の表面の数学的記述である。場面における平面状表面に関する知識は、場面、及び場面に対するカメラ位置の間の関係に関する重要な手がかりである。

下記ロバスト推定手順は、平面状表面モデル39によって記述され、そして、レンジ画像に基づいて場面内の平面状表面を検出するために、データ・プロセッサ20によって用いられる：

a) レンジ点三重項R_i＝[X_i Y_i Z_i]^T(ここでi＝0,1,2)を考察する。三重項はランダムに選択することができる。

b) それぞれのレンジ点三重項毎に、下記ステップを実施する：
b1) 点三重項を共線性に関してチェックする。3つの点が一直線上にある場合、全ての3点を含有する固有の平面を決定することはできない。3つの点は：

｜R₀ R₁ R₂｜＝0
であるときに共線性である。

点三重項が共線性である場合、該三重項を拒絶し、そして次の点三重項を考察する。

b2) 3つの点のそれぞれを通る平面Pを、周知の方法によって算定する。平面Pは：
P ＝[x_p y_p z_p c]^Tとして表され、そして

であるようになっている。

係数x_p、y_p、及びz_pは、例えばベクトルR₁−R₀及びR₂−R₀のクロス積を算定することによって見いだすことができる。次いで係数cは、等式(1)を解くことによって見いだすことができる。

b3) 算定された平面Pに関して、｜P^T[X Y Z 1]^T｜がT₁以下であるレンジ画像38全体からのレンジ点の数Nを見いだす。T₁は、値T₁＝0.05 Zにデフォルトする、ユーザーによって選択可能な閾値である。T₁の値は、レンジ画像38の誤差分布に依存してよい。

c) そのNがT₂よりも大きい場合、最大のNを有する平面Pを選ぶ(デフォルトT₂＝0.2×レンジ画像38内レンジ点総数)。

d) 上記b3)における条件を満たすN個のレンジ点から成る集合から最適なPを推定する。これは、誤差項Eを最小化するPを求めることにより達成される：

このような最適化の問題を解決する技術は当業者に知られており、これ以上論じることはしない。

平面状表面を見いだすためにデータ・プロセッサ20によって実施される手順は、検出された平面状表面Pと関連するレンジ点を排除し、そして平面状表面142の組を生成することを繰り返すことにより、反復することができる。

画像内の平面状表面に関する知識は、図3に示すようにいくつかの画像向上アルゴリズムを可能にする。第1に、平面状表面をタイプに従って、且つ／又は語義ラベルに従って分類するための平面タイプ分類子144に、データ・プロセッサ20によって決定された平面状表面142を入力する。多くの平面状又は近平面状表面が人間の構築物に存在する。例えば、床は、ほとんど常に平面状であり、そして地面に対して平行である(すなわち、大抵の平面状の床に対する法線ベクトルは、重力の方向である)。天井は同じカテゴリーに含まれる。明らかな違いは、天井がデジタル画像の頂部近くに位置する傾向があるのに対して、床は一般にはデジタル画像の底部近くに位置することである。壁は通常、地平面に対して垂直な平面状表面である(すなわち法線ベクトルは地面に対して平行である)。多くの他の平面状表面、例えば冷蔵庫又はテーブルの側面又は頂面、又は地面に対して平行でも垂直でもない平面状表面(例えばランプ)が、撮影された場面内に存在する。

平面タイプ分類子144は、検出された平面状表面142の分類を決定するために、平面状表面、及びデジタル画像102からの付加的な情報を分析する。分類カテゴリーは好ましくは：
壁(すなわち地平面に対して垂直な平面)
天井(すなわち地平面に対して平行であり、画像頂部の近くに配置された平面)
床(すなわち地平面に対して平行であり、画像底部の近くに配置された平面)
その他(地面に対して平行でも垂直でもない平面)
である。

平面タイプ分類子144は、平面状表面が特定のカテゴリーに属する確率又は信頼度を割り当てることができる。典型的には、y_pの小さな絶対値を有する広い平面状表面が、データ・プロセッサ20によって実施される平面状表面検出中に、平面P上に位置することが見いだされたレンジ値の位置に応じて、天井平面状表面又は床平面状表面として分類される。x_pの小さな絶対値を有する広い平面状表面が、壁として分類される。そうでない場合、平面状表面は「その他」として分類される。

図3は、改善デジタル画像120を生成するために、デジタル画像102に幾何学的変換146を適用できることを示す。幾何学的変換146は、好ましくは、検出された平面状表面142及び平面タイプ分類子144を使用して実現される。

幾何学的変換146の作業は、操作モード42に依存する。操作モード42は、ユーザーが、幾何学的変換146の所望の機能を選択するのを可能にする。例えば、操作モード42が「カメラの回転を低減せよ」である場合、幾何学的変換146の意図は、意図しないカメラの回転(水平面に保持されないような、z軸を中心としたカメラの回転)の望ましくない作用を相殺するために、デジタル画像102を回転させることである。この事例における幾何学的変換146は、ホモグラフィH_1R

であり、P＝[x_p y_p z_p c]^Tが、天井又は床である既知の平面状表面であるときには、

である。或いは、角度αは、壁と関連する法線ベクターのクロス積を算定することにより、壁である2つ又は3つ以上の平面状表面から決定することもできる。その結果は、地平面の法線ベクトルであり、これを上記(3)において使用することができる。

変換H_1Rは、カメラが場面に対して回転させられた時に画像内で明らかになる傾斜を除去するために使用される。カメラが傾斜すると、壁、天井、及び床の平面状表面は、予測可能な変化を被る。予測可能な理由は、このような平面状表面の方向が、予め知られているからである(すなわち地平面に対して平行であるか、又は地平面に対して垂直である)。角度αは、鉛直方向からのカメラの回転角の負の値を表し、そして変換H_1Rは、元の画像102に対して所定の角度だけ回転させられた改善デジタル画像120を生成するために、画像プロセッサ36によって適用され、これにより、画像からのカメラの望ましくない回転の作用を取り除く。

或いは、操作モード42が「平面を修正せよ」である場合、幾何学的変換146の意図は、検出された平面状表面142の画像を修正することである。画像捕捉中には、遠近歪みが発生し、例えば平行な場面の線が画像内では収束するように見える。修正は、場面平面の画像からの遠近歪みを取り除くために、幾何学的変換を実施するプロセスであり、その結果、平面において真っ直ぐに見えるように捕捉されたかのように画像をもたらす。この場合、幾何学的変換はホモグラフィH_RPである。「多重ビュー幾何学(Multiple View Geometry)」第13〜14頁においてHarley及びZissermanによって記載されているように、4つの非共線性対応点が知られたときに(すなわち、画像平面座標及び場面平面座標内の4対の対応点であり、ここで3つの点が共線性であることはない)、修正を行うようにホモグラフィを構成することができる。これらの対応点は、平面状表面P ＝[x_p y_p z_p c]^Tの等式を知ることにより生成される。平面状表面上の座標系を定義しなければならない。これは、平面状表面上の2つの単位長直交基底ベクトルを選択することにより達成される。平面状表面に対する法線は、P_N ＝[x_p y_p z_p]^Tである。第1の基底ベクトルは、P_NとP_B1とのドット積が0であり、そしてP_B1が単位長を有するように、P_B1 ＝[0 y₁ z₁]^Tとして好都合に選択される。第2の基底ベクトルP_B2は、P_NとP_B1とのクロス積を見いだし、そして単位長に対して正規化することにより誘導される。次いで、平面状表面上の4つの非共線性点を選び、これらの点及び基底ベクトルの内積を算定することによって平面状表面上の各点の座標を決定し、そして画像座標内の点の投影位置を算定することにより、4つの対応点が見いだされる。

例えば、平面状表面が等式：P ＝[1 2 1 -5]^Tを有する場合、平面基底ベクトルは、

及び

である。焦点距離は1単位であると仮定する。次いで、4つの対応点を決定することができる：

画像座標を修正された座標にマッピングするホモグラフィH_RPは、

として算定することができる。

従って、場面平面状表面の画像を修正するための幾何学的変換146は、平面状表面142の等式を使用して誘導できることが実証された。

なお、幾何学的変換146は、平面状表面142と関連するデジタル画像102の画素だけに適用することができ、或いは、幾何学的変換146は、デジタル画像102の全ての画素に適用することもできる。平面状表面142と関連付けられたデジタル画像102内の画素を示す画像マスク152を形成するために、画像マスク発生器150を使用することができる。好ましくは、画像マスク152は、デジタル画像102と同数の行及び列の画素を有する。関連する3次元位置が平面状表面142上又は平面状表面142の近くに位置する場合には、平面状表面142には画素位置が関連付けられる。好ましくは、画像マスク152内の画素位置には、平面状表面142と関連する場合には値(例えば1)が割り当てられ、そしてその他の場合には値(例えば0)が割り当てられる。画像マスク152は、それぞれの平面状表面毎に特定の値を割り当てる(例えば第1平面状表面には1を、第2平面状表面には2を、など)ことにより、いくつかの異なる平面状表面と関連する画素を示すことができる。

幾何学的変換146を適用するための有用性に加えて、画像マスク152は、材料／被写体検出子154に対しても有用である。材料／被写体検出子154は、デジタル画像102の画素又は領域(画素群)が特定の材料(例えば空、草地、道路、人の肌など)、又は被写体(例えば人の顔、自動車、家など)を表す尤度を決定する。このことは下でより詳細に説明する。

画像プロセッサ36は、改善デジタル画像120を生成するために、X行及びY列の画素を用いて、幾何学的変換146をデジタル画像102 i(x,y)に適用する。好ましくは、画像平面の光軸との交差位置(すなわちデジタル画像102の中心)の座標は(0,0)である。好ましくは、改善デジタル画像o(m,n)はM行及びN列を有しており、そしてデジタル画像102と同数の行及び列の画素を有する。換言すれば、M＝Y且つN＝Yである。出力画像o(m₀,n₀)内の各画素位置は、入力デジタル画像i(x₀,y₀)内の特定の位置にマッピングされる。典型的には、(x₀,y₀)は、正確な整数位置には対応しないが、しかし入力デジタル画像i(x,y)上の画素間に位置することになる。画素o(m₀,n₀)の値は、画素値からの値を近傍のi(x₀,y₀)に補間することにより決定される。このタイプの補間は、画像処理の分野においてよく知られており、最近傍補間、双線形補間、又は双三次補間、又は任意の数の他の補間法によって達成することができる。

幾何学的変換146は、出力画像の位置(m,n)を入力画像の位置(x,y)にマッピングすることを支配する。この好ましい態様の場合、出力画像の特定位置(m₀,n₀)を入力画像の位置(x₀,y₀)にマッピングするマッピング作業は：

として与えられ、ここで[x_t y_t w_t]^tは、均質座標における元のデジタル画像102内の位置を表す。従って、

である。

点(x₀,y₀)が入力デジタル画像のドメイン外であり得る(すなわち、近傍の画素値がない場合がある)ことは、当業者に明らかである。他方の極端な場合には、改善出力画像の画素位置の集合全体が、入力画像102の内における小さな領域に位置し、これにより、多量のズームを行うこともできる。この問題は、幾何学的変換146のズーム効果を表すズーム・ファクターzを決定する画像プロセッサ36によって対処することができ、そして最終H_fは、画像プロセッサ36に入力された幾何学的変換146を下記のように変更することにより生成される：

式中、zは、出力された改善デジタル画像120の全ての画素位置が、入力デジタル画像102のドメイン内に位置する、その最大数である。

全ての再サンプリング作業と同様に、エイリアシング・アーチファクトを回避するために注意しなければならない。典型的には、エイリアシングは、サンプリングの前にデジタル画像102をぼかす（blurring）することにより回避される。しかしながら、幾何学的変換146からのサンプリング率が画像全体を通して変化するので、ブレ（blurring）フィルタを選ぶのは難しいことがあり得る。この問題を扱うためのいくつかの技術がある。超サンプリング又は適応超サンプリングを用いると、(m₀,n₀)近傍の座標位置の組を補間のために入力デジタル画像102に逆変換することにより、各画素値o(m₀,n₀)を推定することができる。例えば位置の組[(m₀＋1/3, n₀＋1/3)(m₀＋1/3, n₀)(m₀＋1/3, n₀-1/3)(m₀, n₀＋1/3)(m₀,n₀)(m₀, n₀＋1/3)(m₀-1/3, n₀＋1/3)(m₀-1/3, n₀)(m₀-1/3, n₀-1/3)]を使用することができる。最終画素値o(m₀,n₀)は、入力画像102の座標に変換された位置の組と関連する補間値全ての線形の組み合わせ(例えば平均)である。

上述の幾何学的変換146(「カメラの回転を低減せよ」及び「平面を修正せよ」)は、3×3行列で表現され、そして改善デジタル画像120を生成するために画像平面座標上で作業する。よりフレキシブルな幾何学的変換は、3×4行列を使用し、そしてレンジ画像38によって提供された3次元画素座標上で作業する。このモデルの適用は、任意の軸を中心として場面を回転させ、あたかも別の有利な地点から捕捉されたかのように見える改善デジタル画像を生成することを可能にする。

3×4幾何学的変換146は、例えば法線ベクトルが[1 0 0]となるように「床」平面を位置決めするために、又は、法線ベクトルがx軸に対して垂直になるように「壁」平面を位置決めするために、平面タイプ分類子144の出力を使用して構成することができる。

適用中、改善デジタル画像120の画素値を導入すると、元の3次元画素座標が特定位置に位置しないことが見いだされる場合がある。これらの位置には、デフォルト値(例えば黒又は白)、又は(例えばメディアンフィルタを用いた)局所的近傍の分析によって見いだされた算定値を割り当てなければならない。

加えて、改善デジタル画像120からの2つ以上の画素値が、改善デジタル画像120内の単一位置に位置することが見いだされることもある。このことは、「論争」を引き起こす。論争は、カメラから最も遠い距離と関連する画素値を無視することにより解決される。これは、カメラに近接する複数の被写体が、カメラ10から遠く離れた複数の被写体をさえぎる状況をモデル化している。

なお、いずれの場合においても、幾何学的変換146は、更新レンジ画像121を形成する目的で、デジタル画像102に加えて、レンジ画像38に適用することができる。更新レンジ画像121は、改善デジタル画像120に対応するレンジ画像である。

図4は、デジタル画像102内の複数の被写体及び材料を認識するためにレンジ画像38を使用する方法を示す。レンジ画像38及びデジタル画像102は、材料／被写体検出子154に入力される。材料／被写体検出子154は、デジタル画像102の画素又は領域(画素群)が特定の材料(例えば空、草地、道路、人の肌など)、又は被写体(例えば人の顔、自動車、家など)を表す尤度を決定する。材料／被写体検出子154の出力は1つ又は2つ以上の信頼マップ162である。信頼マップ162は、デジタル画像の特定の画素又は画素領域が特定の材料又は被写体を表す尤度を示す。好ましくは、信頼マップ162は、必ずしも必要というわけではないが、デジタル画像102と同数の行及び列の画素を有する。いくつかの用途の場合、信頼マップ162が、デジタル画像102よりも低い解像度を有すると、好都合である。

材料／被写体検出子154は任意には、図3の画像マスク発生器150によって算定される平面状表面の位置を示す画像マスク152を入力することができる。画像マスク152は、材料／被写体認識にとって極めて有用である。例えば、デジタル画像102内で人の顔を探すときに、画像マスクは、平面状表面と関連するデジタル画像102の領域内で人の顔を誤って検出するのを回避するために使用することができる。その理由は、人の顔は平面状ではなく、従って平面状表面と関連するデジタル画像102の領域を探す必要はないからである。

材料／被写体検出子154のためのいくつかの操作モードがある。「確認モード」と呼ばれる第1のモードの場合、デジタル画像102だけを使用して、伝統的な材料／被写体検出段が行われる。例えば、Jones, M.J.;Viola, P.によって記載された人の顔を見いだす方法「Fast Multi-view Face Detection(高速マルチビュー顔検出)」IEEE Conference on Computer Vision and Pattern Recognition(CVPR)、2003年6月を用いることができる。次いで、被写体が検出される場合、被写体までの距離は、検出される被写体とカメラ捕捉情報(例えば焦点距離又はカメラの倍率)を使用して推定される。例えば、検出される被写体が人の顔である場合、人の顔の候補が画像内で検出されると、顔までの距離を決定することもできる。なぜならば、人の頭のサイズの変動量は僅かにすぎないからである。画像内の当該候補被写体に対応する、カメラから被写体までの距離D_eの推定値は：

D_e＝f／X×S
（上式中、
fはカメラの焦点距離であり、
Xはデジタル画像内の関心のある被写体のサイズであり、
Sは、当該候補被写体の物理的(既知)サイズである。）
として算定される。

カメラから被写体までの距離D_eの推定値を、当該候補被写体の対応レンジ値と比較することにより分類を行う。D_eがレンジ値と緊密にマッチ(例えば15%以内)する場合、関心のある候補被写体が当該関心のある被写体を実際に表す尤度が高い。D_eがレンジ値と緊密にマッチ(例えば15%以内)しない場合、関心のある候補被写体が当該関心のある被写体を実際に表さない尤度が高い。

本質的に、関心のある被写体(頭)の物理的サイズは既知である。この算定距離は、検出された顔候補に対応する領域全体にわたって、カメラから被写体までのレンジ画像38から得られた距離と比較することができる。算定距離と、レンジ画像38からの距離との間に不一致があるときには、人の顔候補が実際に人の顔である信頼度は低減され、或いは人の顔候補は、「顔ではない」として分類される。この方法は、偽陽性検出を低減することにより、材料／被写体検出子154の性能を改善する。この態様は、サイズ分布が狭い被写体、例えば車両、人間、人の顔などを検出するのに適している。また、レンジ画像は、空を表す領域に対しては「無限大」又は極めて長い距離を有している。従って、空候補領域が考察される場合、対応レンジ値が考察される。レンジ値が小さいときには、空候補領域は拒絶される。要約のために、図4は、画像内の関心のある候補被写体を先ず検出し、次いで検出された当該関心のある被写体に対応するレンジ値を決定し、そして検出された当該関心のある被写体の正しさを決定する(すなわち分類する)ために、これらのレンジ値及び当該物体の既知サイズを使用することにより、被写体検出結果を改善する方法を示している。

「フルモデルモード」と呼ばれる第2の操作モードにおいて、レンジ画像38は単純に、分類子に入力するために追加の特徴を提供する。画像の領域に対応して、特徴(例えば色、テクスチャ、及びレンジ値の分布)を計算し、そして、特徴fと仮定して領域が材料又は被写体mを表す可能性を意味するP(region＝m｜f)を決定するために、これらの特徴を分類子に入力する。分類子は、領域が材料又は被写体mを表すことが知られている試料と、領域が材料又は被写体mを表すことが知られていない試料とを含む、数多くのトレーニング例から分布P(region＝m｜f)を学習することによって、トレーニング過程を施される。例えば、ベイズの定理を用いる：

（上式中fは特徴の組である）。

図5Aは、画像のバランスを決定するためにレンジマップを使用する方法を示している。デジタル画像102及びレンジ画像38は、データ・プロセッサ20に入力される。データ・プロセッサ20は、画像プロセッサ36によってデジタル画像102に適用される画像変換60(露光量調節量)を決定し、改善デジタル画像120を生成する。画像変換60は、出力画像(改善デジタル画像120)を生成するために、入力画像(例えばデジタル画像102)の1つ又は2つ以上の画素値を変更する作業である。

第1の態様の場合、画像変換60は、画像バランス又は露光量を改善するために用いられる。デジタル画像の適正な露光量は、画像の被写体に依存する。適正な画像露光量を決定するために用いられるアルゴリズムは、場面バランス・アルゴリズム又は露光量決定アルゴリズムと呼ばれる。これらのアルゴリズムは典型的には、画像画素サブセットの平均値、最小値、最大値、又は中央値を決定することにより働く(例えば米国特許第4,945,406号明細書参照)。

デジタル画像102の画素値が露光量の対数を表すときには、露光量調節量(バランス調節とも呼ばれる)は、画素値にオフセットを単純に加えることにより適用される。デジタル画像102の画素値が露光量と比例するときには、バランス調節は、一定の乗数によって画素値をスケーリングすることにより適用される。いずれの場合にも、バランス調節は、場面内の光の量を増減する物理的過程(例えば光源照明の減光又は増光)をモデル化する。さらに、デジタル画像102の画素値がsRGB色空間内の画素値に表現されるときには、バランス調節は、米国特許第6,931,131号明細書に記載されている。手短に要約すると、バランス調節は、各画素値に下記式を適用することにより行われる：

ここでIoは出力画素値を表し、Iiは入力画素値を表し、そしてaは、露出の絞りにおける露光量調節量である。1絞りは露光量の倍加を表す。

前記考察では、バランス調節が既存のデジタル画像102に適用されるが、その場面の新しい画像を捕捉するために、決定されたバランスをカメラによって使用できることは、当業者に明らかである。簡単にするために、下記考察は、デジタル画像の画素値が対数露光量に対して比例すると仮定する。デジタル画像画素値が他の量を表すときに種々のパラメータ及び等式が変更される必要があり得ることは、当業者には明らかである。

露光量調節量aを決定するために、データ・プロセッサ20によってプロセスが用いられる。レンジ画像38は、これがデジタル画像102と同じ次元(すなわち行及び列の値)を有するように補間される。次いで、デジタル画像102の露光量値の加重平均を求めることにより、加重露光量値tが決定される。デジタル画像内の各画素が、補間された深度マップによって示されたそのカメラからの対応距離に基づいて重みを受ける。この関係は、

から平均値に対応する重みを決定するために用いられ、ここで二重の総和は、デジタル画像の全ての行及び列の画素にわたって行われる。

重みWは、位置(x,y)におけるレンジ画像値の関数である。典型的には、W(x,y)は、画像全体にわたるW(x,y)の和がゼロになるように正規化される。重みWとレンジ値との関係は図5Bに示されている。この関係は、カメラから主な被写体までの距離内の分布に基づいている。本質的に、この関係は、画素が画素画像の主な被写体に属するものと仮定した場合に、レンジが特定の距離となる確率である。レンジ値に基づく重みに加えて、例えば：画像の光学的中心に対する画素の位置(例えば中心近くの画素には、より大きい重みが与えられる)、又はエッジ性(高いエッジ勾配を有する画像位置又はその近くに配置された画素には、より大きい重みが与えられる)に基づく追加の重みを使用することができる。

露光量調節値は次いで、ターゲット値と加重平均との差を求めることにより決定される。

例えば：
a＝T−t
（式中、Tは、ターゲット露光量値である）である。

従って、暗い画像は、ターゲット値Tよりも小さな加重平均tを有し、正のa(画像を明るくすることが必要であることを示す)をもたらす。また明るい画像は、ターゲット値Tよりも大きい加重平均tを有し、負のa(画像を暗くすることが必要であることを示す)をもたらす。値Tは典型的には、大型データベース全体にわたって画質を最適化する値を見いだすことにより選択される。

レンジマップが疎レンジマップである別の態様の場合、平均値は、対応位置におけるデジタル画像の補間値においてこれら(補間されていないレンジ値)だけから計算することができる。

或いは、加重平均は、例えばよく知られたイソデータ・アルゴリズムを使用して領域をクラスタリングし(類似のレンジ値から成る群)、次いで各領域毎の加重平均を決定し、次いで各領域毎の平均レンジ値を使用して図5Cに示された関数によって誘導された重みに従って各領域からの加重平均に重み付けすることにより加重平均全体を算定することによって計算される。

図5Cは、露光量調節量176を算定するためのさらに別の態様を示すデータ・プロセッサ20の詳細図である。レンジ画像38は、レンジ・エッジ検出子170によって、例えばよく知られたCannyエッジ検出子でフィルタリングすることにより、又は各位置におけるレンジ画像の勾配規模を算定するのに続いて閾値化操作を行うことにより、操作される。レンジ・エッジ検出子170の出力は、レンジ画像38と(行及び列の値において)同じ次元を有するレンジ・エッジ画像172である。レンジ・エッジ画像172は、レンジ画像38内のエッジと関連する位置では高い値を有し、レンジ画像38の非エッジと関連する位置では低い値を有し、そして、エッジと非エッジとの中間であるレンジ画像38内の位置と関連する位置では中間値を有する。好ましくは、レンジ・エッジ画像172は、全ての画素値の和が1となるように正規化される。次いで、加重平均子174が、レンジ・エッジ画像172の値を重みとして使用することにより、デジタル画像102の加重平均tを決定する。加重平均子174は、前述のようにtとTとの差を見いだすことにより、露光量調節量176を出力する。

こうして、デジタル画像102に対応するレンジ画像38を使用して、露光量調節量が決定される。さらに、レンジ画像は、露光量調節量を決定するのに採用される重み(傾斜エッジ画像172)を発生させるために、レンジ・エッジ検出子170でフィルタリングされる。

エッジ検出子は画像処理分野でしばしば使用されるが、これらは場面内の真の不連続を発見するというよりも、むしろ高いコード値差を有するローカル域を発見することであることに留意されたい。例えばシマウマの縞は、真の構造的な場面エッジというよりもむしろ、反射率の異なる隣接域にすぎないが、エッジ検出子はシマウマの縞をしばしば検出することになる。レンジ・エッジ検出子は、ローカル域が、著しく異なる距離で被写体を含有するときにのみ、高い応答を示し、また、場面内の平滑な表面における異なる材料反射率に対して高い応答を示すことになる。

図6Aは、画像強度を好ましい値にマッピングするのに使用されるトーンスケール関数を決定するためにレンジ画像38を使用する方法を示す。この方法は、ダイナミック・レンジ圧縮の目的にとってしばしば有益である。換言すれば、典型的な場面は、約1000:1の輝度範囲を含有するが、典型的なプリント又はディスプレイは約100:1の輝度範囲しか効果的に表現することができない。従って、ダイナミック・レンジ圧縮は、場面を再び明るくするのに有用であり、より満足度の高い表現を可能にする。

デジタル画像102及びレンジ画像38は、データ・プロセッサ20に入力される。データ・プロセッサ20は、画像プロセッサ36によってデジタル画像102に適用される画像変換(トーンスケール関数140)を決定し、改善デジタル画像120を生成する。画像変換は、出力画像(改善デジタル画像120)を生成するために、入力画像(例えばデジタル画像102)の1つ又は2つ以上の画素値を変更する作業である。

図6Bは、画像プロセッサ36の詳細な図を示す。典型的にはRGB色空間におけるデジタル画像は、色空間行列変換(例えば輝度クロミナンス・コンバータ84)によって輝度クロミナンス色空間に変換され、輝度チャネルneu 82及び2つ又は3つ以上のクロミナンス・チャネルgm及びill 86が生じる。赤、緑、及び青チャネルの組から輝度チャネル及び2つのクロミナンス・チャネルへの変換は行列乗算、例えば：

によって達成することができる。
式中、neu、gm、及びillは、輝度チャネル及びクロミナンス・チャネルの画素値を表し、そしてred、grn、及びblueは、デジタル画像102の赤、緑、及び青チャネルの画素値を表す。

このマトリックスローテーションは、r＝g＝bである中立軸、及び2つの色差軸(グリーン-マゼンタ、及び発光体)を提供する。或いは、この開示内容が与えられた当業者には明らかなように、デジタル画像を輝度-クロミナンス形態に変換するために、この行列によって提供される以外の変換、例えば3次元ルックアップテーブル(LUT)を使用することもできる。

輝度-クロミナンス空間へのローテーションの目的は、トーンスケール関数が作業する単独のチャネルを分離することである。トーンスケール・プロセッサ90の目的及び目標は、トーンスケール関数がデジタル画像チャネルのマクロ・コントラストを調節し、しかも、デジタル画像チャネルのディテール内容又はテクスチャを保存するのを可能にすることである。そのために、トーンスケール・プロセッサ90は、強化輝度チャネル94を生成するように、レンジ画像38、トーンスケール関数140、及び輝度チャネル82を使用する。クロミナンス・チャネルは、コンベンショナルなクロミナンス・プロセッサ88によって従来通り処理される。クロミナンス・プロセッサ88は、トーンスケール関数に関連する形式で、クロミナンス・チャネルを変更することができる。例えば、参考のため本明細書中に引用された米国特許第6,438,264号明細書には、適用されたトーンスケール関数の勾配に関連してクロミナンス・チャネルを変更する方法が記載されている。クロミナンス・プロセッサの作業は、本発明の中心を成すものではないので、これ以上論じることはしない。

ハードコピーの印刷又は出力デバイス上の表示を可能にする、強化された改善デジタル画像120を生成するために、逆色空間行列変換(RGBコンバータ92)によって、デジタル画像は好ましくはRGB色空間に逆変換される。

図6Cを参照すると、トーンスケール・プロセッサ90のより詳細な図が示されている。輝度チャネルneu 82は、ペデスタル信号neu_ped、テクスチャ信号neu_txt、及びノイズ信号neu_nの和：

neu＝neu_ped＋neu_txt＋neu_n (1)
として表される。

ノイズが無視可能なものと仮定されるならば：
neu＝neu_ped＋neu_txt (2)

輝度／クロミナンス・コンバータ84によって出力されたデジタル画像チャネルの輝度部分neu 82は、下で詳細に説明するように、ペデスタル信号neu_ped 112とテクスチャ信号neu_txt 116とを生成するために、ペデスタル・スプリッタ114によって2つの部分に分けられる。画像の強化を目的として画像の特徴を変化させるために、トーンスケール・アプリケータ118によって、トーンスケール関数138がペデスタル信号112に適用される。トーンスケール関数138は、デジタル画像の相対的な明るさ又はコントラストを変更する目的で適用することができる。トーンスケール・アプリケータ118は、当業者に知られているように、ルックアップテーブル(LUT)を入力信号に適用することにより実行される。出力値に対する入力値の1:1マッピングを示すトーンスケール関数の例が、図6Dに示されている。トーンスケール関数138は、画像とは独立していることが可能であり、或いは、例えば米国特許第6,717,698号明細書に記載されているようにデジタル画像画素値の分析から誘導することもできる。この分析は、図6Aに示されているようなデータ・プロセッサ20内で実施される。データ・プロセッサ20は、トーンスケール関数140の構成時にデジタル画像102の画素値とともに、レンジ画像38を同時に考察することができる。例えば、閾値T₃よりも大きい分散を有するレンジ画像38の近傍に対応するデジタル画像の画素値から画像活性ヒストグラムを先ず構成することにより算定される。このように画像活性ヒストグラムは、レンジ画像38によって定義されるように、真の閉塞境界に近い画素の画素値のヒストグラムである。次いで、米国特許第6,717,698号明細書に記載された形式で、画像活性ヒストグラムから、画像に依存するトーンスケール曲線が構成される。

テクスチャ信号116は、所望の場合にはテクスチャ変更子130によって増幅するか、又は当業者が望み得る何らかの他の形式で変更することができる。このテクスチャ変更子130は、スカラー定数によるテクスチャ信号116の乗算であってよい。変更されたテクスチャ信号及び変更されたペデスタル信号は、次いで加算回路132によって合計され、強化輝度チャネル94を形成する。加算回路132による2つの信号の加算は、当業者によく知られている。このプロセスは等式：

neu_p＝.function.(neu_ped)＋neu_txt (3)

によって記述することもできる。
式中、function.()は、トーンスケール関数138の適用を表し、そしてneu_pは、ダイナミックレンジが低減された強化輝度チャネル94を表す。デジタル画像チャネルの詳細な情報は、トーンスケール適用過程全体を通してよく保存される。

図6Bに何が示されていようと、トーンスケール・プロセッサ90によって、輝度チャネルに変更が施されることは必要条件ではない。例えば、RGB画像の各カラーチャネルにこの処理を施すことができ、或いは、このプロセスによってモノクロ画像を変換することもできる。しかし、この適用の残りのために、輝度チャネル、具体的には中立チャネルneuだけに、ディテール保存トーンスケール関数アプリケータによる処理が施されると仮定される。

再び図6Cを参照すると、ペデスタル・スプリッタ114は、入力デジタル画像チャネルneuを、「ペデスタル」信号112 neu_pedと「テクスチャ」信号116 neu_txtとに分解し、これらの信号の和は、元のデジタル画像チャネル(例えば輝度信号)82に等しい。ペデスタル・スプリッタ114の作業は、出力画像に対する多くの効果を有している。ペデスタル・スプリッタ114は、ペデスタル信号112を発生させるために、レンジ画像38からのレンジ値に関係する係数を有する非線状空間フィルタを適用する。ペデスタル信号112 neu_pedは、主な場面の照明又は被写体不連続と関連する大きな変化を除けば、概念的に平滑である。テクスチャ信号116 neu_txtは、元の信号とペデスタル信号との差である。こうして、テクスチャ信号はディテールから構成される。

ペデスタル信号は、入力輝度チャネルneu 82に非線形空間フィルタを適用することにより、ペデスタル・スプリッタ114によって発生する。フィルタ係数は、レンジ画像38の値に依存する。

ここで、
非線形フィルタはw(m,n)であり、そして係数は：
w(m,n)＝w₁(m,n)w₂(R(x,y),R(x+m,y+n))
に従って算出され、
ここで
w₁(m,n)は、ガウス包絡線を配置し、そしてフィルタの空間的広がりを制限するように作用する。

式中、
πは、定数約3.1415926であり、
σは、フィルタ・サイズを調節するパラメータである。好ましくは、σは最短画像次元に沿った画素数の0.25倍であり、そしてw₂(m,n)は、レンジ画像38における大きな不連続によって達成される被写体境界を横切って生じるぼやけを防止するために、フィルタ係数を低減するのに役立つ。

式中、T₄は、レンジ画像38における変化全体にわたるフィルタ減衰の急勾配を調節することを可能にする同調パラメータである。対応レンジ値が、フィルタの中心位置に対応するレンジ値とはより大きく異なるようになるのに伴って、特定の位置におけるフィルタ係数は減少する。典型的には、適用前にフィルタwの係数の和は、これらの和が1.0になるように正規化する。

従って、カメラからの場面内の被写体までの距離を記述するレンジ画像から得られるレンジ値の分析から誘導された重みを用いて、画像をフィルタリングすることによって、画像のトーンスケールが改善される。

本発明のフィルター構成に関する「適応」という用語は、重みがフィルタ位置の近傍における構造に応じて変化するフィルター構造を意味する。換言すれば、本発明は、フィルタリングされる特定画素の近傍に対応するレンジ値の統計的パラメータに依存する係数を有するフィルタを通して、デジタル画像信号をフィルタリングする。

輝度チャネル82から画像ピラミッドを生成し、そしてピラミッド・レベルのうちの1つ又は2つ以上をフィルタリングすることにより、フィルタwを多分解フィルタリング・プロセスと近似させ得ることは、当業者には明らかである。このことは、米国特許出願公開第2004/0096103号明細書に記載されている。加えて、フィルタwは、例えば米国特許第6,728,416号明細書に記載されているように、適応反復フィルタであってよい。

レンジ値及びガウス包絡線に基づく重みに加えて、例えば：画像の光学的中心に対する画素の位置(例えば中心近くの画素には、より大きい重みが与えられる)、又はエッジ性(高いエッジ勾配を有する画像位置又はその近くに配置された画素には、より大きい重みが与えられる)、又はエッジ性(高いエッジ勾配を有する画像位置又はその近くに配置された画素には、より大きい重みが与えられる)に基づく追加の重みを使用することができる。

レンジ画像38の関数として画像の輝度チャネルを変更することにより、画像のトーンスケールは直接的に変更することもできる。改善デジタル画像120は、輝度チャネルを下記のように変更することにより形成される：
フィルタ係数はレンジ画像38の値に依存する。

neu_p(x,y)＝f(neu(x,y), R(x,y)) (4)

この等式は、画像の強度がレンジ値に基づいて変更されるのを可能にする。これは逆光又は前面光の画像を補正するために使用され、この場合、画像の明るさは不均一であり、一般にレンジと共に変化する。画像信号neu(x,y)は、場面露光量の対数に対して比例し、等式(4)の好ましい変化形は：

neu_p(x,y)＝f(R(x,y))+neu(x,y) (5)
である。

関数f()は、画像画素値及び対応レンジ値の分析によって形成されるので、等式(5)の適用は、ダイナミックレンジが低減される強化輝度チャネル94を生成する。デジタル画像チャネルの詳細な情報は、トーンスケール適用過程全体を通してよく保存される。

図1を再び参照すると、カメラ10は、任意の時点におけるカメラ10と場面内の複数の被写体との物理的距離を測定するためのレンジ画像センサ32を一体的に含む。デジタルビデオ列(すなわち、単独のカメラから時間的に順次捕捉されたデジタル画像の集合体)の場合、深度画像センサ32によって対応レンジ画像列が発生する。n個のレンジ画像は、ベクトルRnとして表される。

いくつかの好ましい態様を具体的に参照しながら、本発明を詳細に説明してきたが、本発明の思想及び範囲内で、変更及び改変を加え得ることは明らかである。

図1は、本発明を実施することができる画像形成システムを示すブロック線図である。 図2Aは、画像例である。 図2Bは、図2Aの画像に対応するレンジ画像例である。 図2Cは、レンジ画像を生成する方法を記すフローチャートである。 図3は、平面状表面を検出して分類し、そして幾何学的変換を生成するための本発明の態様を示すフローチャートである。 図4は、デジタル画像内の被写体を検出するための本発明の態様を示すフローチャートである。 図5Aは、レンジ情報に基づいて画像の露光量を調節するための本発明の態様を示すフローチャートである。 図5Bは、レンジ値と画像内の相対的重要度Wとの関係を示すプロットである。 図5Cは、レンジ情報に基づいて画像の露光量を調節するための本発明の態様を示すフローチャートである。 図6Aは、レンジ情報に基づいて画像のトーンスケールを調節するための本発明の態様を示すフローチャートである。 図6Bは、レンジ情報に基づいて画像のトーンスケールを調節するための本発明の態様を示す、より詳細なフローチャートである。 図6Cは、レンジ情報に基づいて画像のトーンスケールを調節するための本発明の態様を示すフローチャートである。 図6Dは、入力画素値と出力画素値との関係を示すトーンスケール関数のプロットである。

符号の説明

10 カメラ
15 捕捉ボタン
20 データ・プロセッサ
22 ユーザー入力部
30 ディスプレイ装置
32 レンジ画像センサ
33 焦点メカニズム
34 画像センサ
36 画像プロセッサ
38 レンジ画像
39 平面状表面モデル
40 制御コンピュータ
41 第1ステップ
42 操作モード
43 第2ステップ
45 第3ステップ
60 画像変換
70 メモリー装置
82 輝度チャネル
84 輝度／クロミナンス・コンバータ
86 クロミナンス・チャネル
88 クロミナンス・プロセッサ
90 トーンスケール・プロセッサ
92 RGBコンバータ
94 強化輝度チャネル
102 デジタル画像
112 ペデスタル信号
114 ペデスタル・スプリッタ
116 テクスチャ信号
118 トーンスケール・アプリケータ
120 改善デジタル画像
121 更新レンジ画像
130 テクスチャ変更子
132 加算回路
138 トーンスケール関数
140 トーンスケール関数
142 平面状表面
144 平面タイプ分類子
146 幾何学的変換
150 画像マスク発生器
152 画像マスク
154 材料／被写体検出子
162 信頼マップ
170 レンジ・エッジ検出子
172 レンジ・エッジ画像
174 加重平均子
176 露光量調節量

Claims (14)

1. (a) 複数の被写体を有する場面の選択された露光量で、第1のデジタル画像をデジタルカメラ捕捉し；
   (b) 該デジタルカメラから該場面内の複数の被写体までの距離を示す2つ又は3つ以上のレンジ値を有するレンジ情報を用意し；
   (c) 該選択された露光量のための露光量調節量を決定するために、該レンジ情報及び該捕捉されたデジタル画像の画素値を使用し；そして
   (d) 調節された露光量を有する第2のデジタル画像を生成するために、該露光量調節量を該デジタル画像に適用する
   ことを含んで成る、レンジ情報に基づいてデジタルカメラの露光量を調節する方法。
2. ステップ(b)が：
   (i) 重み付け係数の組を決定するために、該レンジ情報を使用し；そして
   (ii) 露光量調節量を決定するために、該重み付け係数及び該デジタル画像を使用する
   ことをさらに含む請求項1に記載の方法。
3. 該重み付け係数が、該レンジ値に基づく、該デジタル画像内の相対的重要度を示す請求項2に記載の方法。
4. (e) レンジ情報に基づいて該第2のデジタル画像のトーンスケールを調節する
   ことをさらに含む請求項2に記載の方法。
5. (a) 該場面内の複数の被写体の距離を示す2つ又は3つ以上のレンジ値を有するレンジ情報を用意し；
   (b) 露光量調節量を決定するために、該レンジ情報及び該捕捉されたデジタル画像の画素値を使用し；そして、
   (c) 露光量が調節された第2のデジタル画像を生成するために、該露光量調節量を該捕捉されたデジタル画像に適用する
   ことを含む、複数の被写体を有する場面の捕捉されたデジタル画像の露光量を調節する方法。
6. ステップ(b)が：
   (i) 重み付け係数の組を決定するために、該レンジ画像を使用し；そして、
   (ii) 露光量調節量を決定するために、該重み付け係数及び該デジタル画像を使用する
   ことをさらに含む請求項5に記載の方法。
7. 該重み付け係数が、該レンジ値に基づく、該デジタル画像内の相対的重要度を示す請求項6に記載の方法。
8. (d) レンジ情報に基づいて該第2のデジタル画像のトーンスケールを調節する
   ことをさらに含む請求項5に記載の方法。
9. ステップ(d)が：
   (i) 該捕捉されたデジタル画像を、ペデスタル信号とテクスチャ信号とに分け；
   (ii) 修正ペデスタル信号を生成するために、該ペデスタル信号にトーンスケール関数を適用し、この際にステップ(i)又はステップ(ii)又はその両方においてレンジ情報が使用され；そして
   (iii) トーンスケールが調節された第2のデジタル画像を生成するために、該修正されたペデスタル信号に該テクスチャ信号を加える
   ことを含む請求項8に記載の方法。
10. (a) 該場面内の複数の被写体の距離を示す2つ又は3つ以上のレンジ値を有するレンジ情報を用意し；
    (b) トーンスケール調節量を決定するために、該レンジ情報及び該捕捉されたデジタル画像の画素値を使用し；そして、
    (c) トーンスケールが調節された第2のデジタル画像を生成するために、該トーンスケール調節量を該捕捉されたデジタル画像に適用する
    ことを含む、複数の被写体を有する場面の捕捉されたデジタル画像のトーンスケールを調節する方法。
11. ステップ(b)が：
    (i) 該捕捉されたデジタル画像を、ペデスタル信号とテクスチャ信号とに分け；
    (ii) 修正ペデスタル信号を生成するために、該ペデスタル信号にトーンスケール関数を適用し、この際にステップ(i)又はステップ(ii)又はその両方においてレンジ情報が使用され；そして
    (iii) トーンスケールが調節された第2のデジタル画像を生成するために、該修正されたペデスタル信号に該テクスチャ信号を加える
    ことを含む請求項10に記載の方法。
12. ステップ(b) (i)が、該レンジ画像からのレンジ値を分析することから誘導された重みを使用して、捕捉されたデジタル画像の画素をフィルタリングすることを含む請求項11に記載の方法。
13. (a) 既知の基準フレームからの該シーン内の複数の被写体の距離を示す2つ又は3つ以上のレンジ値を有するレンジ情報を用意し；そして、
    (b) 該レンジ画像からのレンジ値を分析することから誘導された重みを使用して、該デジタル画像の画素をフィルタリングする
    ことを含む、シーンのデジタル画像をフィルタリングする方法。
14. 該既知の基準フレームが、カメラの位置である請求項13に記載の方法。

Images