JP2010507271A

JP2010507271A - 被写体運動ぶれが低減されたデジタル画像

Info

Publication number: JP2010507271A
Application number: JP2009532360A
Authority: JP
Inventors: ノーボールドボーダー，ジョン; オーランドモラレス，エフレイン; トーマスディーバー，アーロン
Original assignee: イーストマンコダックカンパニー
Priority date: 2006-10-11
Filing date: 2007-10-02
Publication date: 2010-03-04
Anticipated expiration: 2027-10-02
Also published as: EP2082569B1; JP5155324B2; WO2008045239A3; US7602418B2; US20080088711A1; WO2008045239A2; EP2082569A2

Abstract

被写体運動ぶれが低減されたデジタル画像を生成する方法であって：当該方法は、画像ぶれを低減する露出時間を用いて、場面の少なくとも第１及び第２のデジタル画像をキャプチャリングすること；該第１及び第の２デジタル画像よりも明るく、そして該第１又は第２のデジタル画像よりも低い解像度を有する第３のデジタル画像を生成するために、該第１のデジタル画像の画素を組み合わせること；該第１及び第２のデジタル画像間の静止領域及び運動領域を識別すること；該第１及び第２のデジタル画像よりも明るく、そして被写体運動ぶれを有する第４のデジタル画像を生成するように、該第１及び第２のデジタル画像上で作業すること；該第４のデジタル画像内の運動領域を、該第３のデジタル画像からの対応領域で置換して、これにより、被写体運動ぶれが低減され、明るさが増大した第５のデジタル画像を提供することを含んで成る。

Description

本発明は、被写体運動（object motion）ぶれが低減されたデジタル画像を生成することに関する。

電子撮像システムは、視覚的画像の電子表示を作成する電子画像センサ上に画像を形成するレンズ系に依存する。このような電子画像センサの例は、電荷結合素子（ＣＣＤ）画像センサ、及びアクティブ画素センサ（ＡＰＳ）装置（ＡＰＳ装置は、相補型金属酸化膜半導体プロセスにおいてこれらを製作することができることから、ＣＭＯＳセンサとしばしば呼ばれる）を含む。センサは、個々のピクチャ素子センサの２次元アレイ（又は画素）から成る。１９７６年７月２０日付けで発行された同一譲受人による米国特許第３，９７１，０６５号明細書においてBayerによって記載されているように、各画素は典型的には、赤、緑、又は青フィルタを備えているので、フルカラー画像を生成することができる。採用される電子技術、例えばＣＣＤ又はＣＭＯＳとは無関係に、画素は、電子撮像システムによって画像をキャプチャリングしている間に、光電子がその画素に衝突する光の量に対して正比例して蓄積されているバケットとして作用する。

電子撮像システムの前面光学素子に入射した光の全てが画素に衝突するわけではない。光のほとんどは、電子撮像システムの光路を通過するときに失われる。典型的には、光の約５％が、レンズの反射及びヘイズに起因して失われ、また約６０％がカラーフィルタ・アレイにより失われる。さらに、光のうちの或る程度は、感光性でない画素領域に衝突する。適正露出を形成するために必要な光量を集めるために、電子撮像センサは、露出時間と呼ばれる時間間隔にわたって光を集めなければならない。撮像されるべき場面の明るさ測定に基づいて、効果的な明るさを有する画像をもたらすことになる好適な露出時間を見極めるために、電子撮像システム、典型的には自動露出制御装置が採用される。場面が薄暗くなればなるほど、より長い時間にわたって、電子撮像システムは適正露出を形成するために光を集めなければならない。場面内の被写体が、キャプチャリング中に動いている場合、露出時間が長いと、被写体運動ぶれを有する画像をもたらすおそれがある。被写体運動ぶれは、画像キャプチャ装置誘発型のぶれとは異なる。画像キャプチャ装置誘発型のぶれは、キャプチャリング中に画像キャプチャ装置が場面に対して相対運動しているときに生成されるものであり、画像全体に存在する。画像キャプチャ装置誘発型のぶれを低減する方法は、この分野の当業者によく知られている。１つの方法は、画像キャプチャ装置の運動を測定するためにジャイロ装置を使用し、次いで画像キャプチャ装置内の電子画像センサ上の画像を、カメラの運動を補償する方向に動かすように、横方向に運動させることができるレンズ素子を有する特殊なレンズを使用することである。Deever他によって米国特許出願第１１／１３０，６９０号明細書には、第２の方法が記載されている。この方法は、デジタルカメラの運動を補償し、また画像キャプチャ装置誘発型のぶれを低減し、そしてビデオ内の画像を安定化するために、ビデオ・キャプチャにおいて画像をデジタル・シフトすることに基づいている。

被写体運動ぶれを低減する１つの方法は、露出時間を短くすることである。この方法は、画像キャプチャリング中に電子画像センサを露出不足にするので、暗い画像が発生する。暗い画像を明るくするために画像信号にアナログ又はデジタル・ゲインを加えることができるが、しかし当業者には明らかなように、このことはノイズの多い画像をもたらすことになる。

被写体運動ぶれを低減する別の方法は、露出時間を短くし、そして光路を通過する光のうちのより多くを保存し、そしてこれを電子画像センサの画素に指向させることである。この方法は、低減された被写体運動ぶれと、許容し得るノイズレベルとを有する画像を生成することができる。しかし、電子撮像システムにおける現在の業界の傾向は、撮像システムをより小さく、しかもより低廉にすることである。より多くの光を集め、そして通過するより多くの光を保存することができる大型のアパーチャを有する高級光学素子は、従って実現することができない。

被写体運動ぶれを低減する別の方法は、露出時間を短くし、そして写真用フラッシュで利用可能な光を補うことである。写真用フラッシュは、１秒の数分の１にわたって維持される強い光束を生成し、そして閃光時間を含むように露出時間が設定される。写真用フラッシュは強力なので、フラッシュなしの場合よりも著しく短いインターバルに露出時間を短くすることができる。従って、露出中の被写体の運動に起因するぶれは低減される。しかし、明るい日光中の被写体は運動ぶれを依然として有することがあるが、フラッシュと被写体との間の距離が小さいならば、フラッシュ写真撮影が有用である。

２００２年８月２７日付けでTullに発行された米国特許第６，４４１，８４８号明細書には、電子が各画素によって捕集された速度をモニタリングすることによって被写体運動ぶれを除去する電子画像センサを有するデジタルカメラが記載されている。光が画素に衝突する速度が変化する場合、画素が見ている画像の明るさは変わっていなければならない。センサ・アレイ内に組み込まれた回路が、画像の明るさが変わっていることを検出すると、捕集された電荷量が保存され、明るさの変化が検出された時が記録される。露出が停止されたところの各画素値は、画素値を線形外挿することによって適正な値に調節されるので、該画素値は全体画像のダイナミック・レンジに相当する。このアプローチの欠点は、露出が始まったときに既に運動している被写体の外挿画素値が極めて不確実であることである。センサによって見られる画像の明るさは、決して一定の値を有することはなく、従って外挿画素値の不確実性は、運動アーチファクトを有する画像をもたらす。別の欠点は、これが特殊化ハードウェアを使用しているので、現在の商業的なカメラ内で使用されているコンベンショナルな電子画像センサと一緒に使用できないことである。

したがって、写真用フラッシュを使用することなしに、しかも画像ノイズを増大させることなしに、コンベンショナルな電子画像センサを使用することによって、被写体運動ぶれが低減された画像を生成する必要がある。

本発明の目的は、上記問題点の１つ又は２つ以上を克服する、被写体運動ぶれが低減されたデジタル画像を生成することである。

手短に要約すると、本発明の１観点によれば、本発明は、
ａ．画像ぶれを低減する露出時間を用いて、場面の少なくとも第１及び第２のデジタル画像をキャプチャリングすること；
ｂ．該第１及び第の２デジタル画像よりも明るく、そして該第１又は第２のデジタル画像よりも低い解像度を有する第３のデジタル画像を生成するために、該第１のデジタル画像の画素を組み合わせること；
ｃ．該第１及び第２のデジタル画像間の静止領域及び運動領域を識別すること；
ｄ．該第１及び第２のデジタル画像よりも明るく、そして被写体運動ぶれを有する第４のデジタル画像を生成するように、該第１及び第２のデジタル画像上で作業すること；
ｅ．該第４のデジタル画像内の運動領域を、該第３のデジタル画像からの対応領域で置換して、これにより、被写体運動ぶれが低減され、明るさが増大した第５のデジタル画像を提供すること
を含んで成る被写体運動ぶれが低減されたデジタル画像を生成する方法を提供する。

本発明の利点は、単一の画像を適正に露光するために写真用フラッシュ又は長い露出時間を用いる必要なしに、画像処理ソフトウェアに基本的な変更を加えることによって、被写体運動ぶれが低減された画像を生成できることである。

本発明の別の利点は、横方向に運動可能なレンズ素子を有する高価な特殊レンズを必要とすることなしに、画像キャプチャ装置誘発型のぶれが低減された画像をスチル画像内に生成できることである。

本発明のこのようなそしてその他の観点、目的、特徴、及び利点は、下記好ましい態様の詳細な説明、及び添付の特許請求の範囲を考察し、また添付の図面を参照することによって、より明らかに理解し正しく評価されることになるであろう。

図１は、コンベンショナルなセンサを採用し、本発明の方法を処理するデジタルスチルカメラ・システムを示すブロック・ダイヤグラムである。図２は、被写体だけが場面内で動いているときの本発明を示すフローダイヤグラムである。図３は、Bayerカラーフィルタ・アレイを示すダイヤグラムである。図４は、場面内の被写体及び画像キャプチャ装置の両方が動いているときの本発明を示すフローダイヤグラムである。

デジタル画像は１つ又は２つ以上のデジタル画像チャネルを含んでいる。各デジタル画像チャネルは、画素の２次元アレイを含んでいる。各画素値は、画素の幾何的ドメインに対応する電子画像センサによって受信された光量に関連する。カラー撮像用途の場合、デジタル画像は、典型的には赤、緑、及び青のデジタル画像チャネルから成ることになる。シアン、マゼンタ、及びイエロー画像チャネルを使用するような他の形態も実施される。モノクロ用途の場合、デジタル画像は１つのデジタル画像チャネルから成る。当業者には明らかなように、本発明は、例えば上述の用途のうちのいずれかのためのデジタル画像に適用することができる。

本発明は、行と列とによって配列された画素値の２次元アレイとしてのデジタル画像チャネルを記述するが、等しい効果を有するモザイク（非直線状）アレイに本発明を適用できることは当業者には明らかであろう。やはり当業者には明らかなように、本発明は、元の画素値を処理された画素値で置換することを記述するが、処理された画素値を有する新しいデジタル画像を形成し、そして元の画素値を維持することも考えられる。

電子画像センサを採用する撮像装置は当業者に良く知られている。従って、ここでの説明は、具体的には、本発明による方法の一部を形成する要素、又は本発明による方法とより直接的に協働する要素に向けて行われることになる。本明細書中に具体的には示されない、又は記述されていない要素は、当業者に知られている要素から選択される。なお、本明細書中に使用される「画像」という用語は、画素値の２次元アレイである。画像は別の画像の２次元サブセットであってよい。本発明を下記内容に記載されているものとして考えると、本明細書中に具体的には示されていない、記述されていない、又は示唆されていない、本発明の実施に有用なソフトウェアは、コンベンショナルなものであり、当業者の技術範囲に含まれることになる。

本発明の実施において採用される必須要素は、図１における機能ブロック・ダイヤグラムとして示されている。被写体又は場面からの光は、レンズ１上に入射し、レンズ１は、カラーフィルタ・アレイ（ＣＦＡ）を有する電子画像センサ３、例えば電荷結合素子（ＣＣＤ）上に写真画像を形成する。なお、他の装置、例えば相補型金属酸化膜半導体（ＣＭＯＳ）装置を、電子画像センサ３として使用することもできる。レンズ１と電子画像センサ３との間に配置された光学ローパス・フィルタ２が、エイリアシングの発生を低減するために、画像形成された光を僅かにぼやけさせる。１９７６年７月２０日付けで発行された同一譲受人による米国特許第３，９７１，０６５号明細書においてBayerによって記載されているように、電子画像センサ３の各フォトサイトは典型的には、赤、緑、又は青フィルタを備えている。Bayerアレイは、緑フィルタがフォトサイト全体にわたって市松模様を成して配置されているカラーフィルタ・アレイであって、市松模様の間隙を満たすように赤フィルタ及び青フィルタがライン毎に交互に設けられている。アレイは、赤又は青フィルタサイトの２倍の数の緑フィルタサイトを有している。図３を参照されたい。なお、本明細書中に記載された方法は、カラーフィルタの異なる配列、異なるカラーフィルタ数、又は異なるカラーフィルタ集合を有するカラーフィルタ・アレイに容易に拡大適用することができる。

電子画像センサ３によって集光される時間の量は、典型的には自動露出制御装置によって予め決められる。自動露出制御装置は当業者に知られている装置から選択することができ、その一例は、１９９４年８月２日付けで米国特許第５，３３５，０４１号明細書に開示されている。撮像しようとする場面の明るさ測定に基づいて、電子撮像システムは典型的には、効果的な明るさを有する画像をもたらすであろう有効露出時間ｔ_eを決定するための処理を行う自動露出制御装置を採用する。本発明において、自動露出制御装置によって決定される露出時間ｔ_eは、この露出時間を何らかの整数ｎで割り算することにより修正される。低減された露出時間はｔ’＝ｔ_e／ｎであってよく、この式中、ｎは１よりも大きい正の整数である。当業者には明らかなように、この数ｎが大きければ大きいほど、被写体運動ぶれがｎ個の画像のそれぞれにおいてより多く低減される。少なくとも第１のｉ₁（ｘ，ｙ）デジタル画像及び第２のｉ₂（ｘ，ｙ）デジタル画像（ここで（ｘ，ｙ）は電子画像センサを基準として画素位置の指標を指定する）を、露出時間ｔ_eで単一の画像をキャプチャリングする代わりに、低減された露出時間ｔ’でそれぞれの画像をキャプチャリングして一連のｎ個の画像を形成することができ、ｔ’はｔ_eよりも短い。従って、ｎ個の画像から成る一連の画像の累積露出時間は、ｔ_eに等しいか、又はｔ_eよりも長い。当業者には明らかなように、一連の画像における各画像をキャプチャリングする際に同じ修正露出時間ｔ’を採用する必要はなく、また、一連の画像は、画像ノイズの増大という犠牲を払ってｎ個未満の画像を含むこともできる。例えば、採用される修正露出時間ｔ’は、ｔ_eの半分であってよく、そしてキャプチャリングされた一連の画像は２つの画像を含むことができる。

Ａ／Ｄ変換器４は、各キャプチャリングされた画像に対して順次に連続して、電子画像センサ３上のフォトサイトからの画像形成された光に対応する電圧信号を受信し、そしてスパースサンプリングされた高解像度デジタル画像である電圧信号に対応する画像信号を生成する。電子画像センサ３は多くのタイプのフォトサイト（例えば赤、緑、又は青）を有するがしかし、各画素位置毎に単一の値しか生成しないので、キャプチャリングされた状態のデジタル画像は、色に関してスパースサンプリング・デジタル画像である。Ａ／Ｄ変換器４からのデジタル画像出力の画素値は、近隣画素位置に赤、緑、及び青画素値を有するスパースサンプリング・デジタル画像を構成する。各フォトサイトの場所における赤、緑、及び青露光のそれぞれに関して、露光に対応する画素値を生成することが望ましい。デジタル画像プロセッサ５は、一連の画像内の各キャプチャリングされた画像に対して順次に、Ａ／Ｄ変換器４からのスパースサンプリング高解像度デジタル画像を受信し、画像信号を修正し、そして全ての画素位置に対して赤、緑、及び青値を有する最大解像度デジタル画像を生成する。デジタル画像プロセッサ５は、プログラミングされたパーソナル・コンピュータ、マイクロプロセッサ、又はデジタル画像プロセッサであってよい。本発明は、任意の画像キャプチャ装置、例えばデジタルカメラ、携帯電話機、フィルム又は反射スキャナ、又はデジタル画像を生成する任意のその他の装置を用いて実施することができる。

本発明の第１の態様の場合、我々は、画像キャプチャ装置が、一連の画像内のｎ回のキャプチャリング間で動いていないと仮定する。図１に示されているデジタル画像プロセッサ５は、２つの従属成分、つまり運動プロセッサ６とＣＦＡ補間器７とを含有する。キャプチャリングされた一連の画像の画像信号は、Ａ／Ｄ変換器４から、運動プロセッサ６によって受信される。運動プロセッサ６はＡ／Ｄ変換器４からのスパースサンプリング高解像度デジタル画像出力を処理することにより、被写体運動ぶれが低減された新しいデジタル画像を作成する。第１デジタル画像ｉ₁（ｘ，ｙ）及び第２デジタル画像ｉ₂（ｘ，ｙ）がキャプチャリングされる例の場合、デジタル画像プロセッサ５は、第１デジタル画像ｉ₁（ｘ，ｙ）の画素を組み合わせることにより、第１デジタル画像ｉ₁（ｘ，ｙ）及び第２デジタル画像ｉ₂（ｘ，ｙ）よりも明るく、しかも第１デジタル画像ｉ₁（ｘ，ｙ）又は第２デジタル画像ｉ₂（ｘ，ｙ）よりも低い解像度を有する第３デジタル画像ｃ（ｘ，ｙ）を生成する。

被写体運動検出器１０（図２参照）は、第１デジタル画像と第２デジタル画像との間の静止領域及び運動領域を識別することにより、運動マップｐ（ｘ，ｙ）を形成する。

デジタル画像プロセッサ５によって、被写体運動ぶれを有する第４デジタル画像ｍ（ｘ，ｙ）を生成する。デジタル画像プロセッサ５は、キャプチャリングされた一連の画像から、第１デジタル画像ｉ₁（ｘ，ｙ）と第２デジタル画像ｉ₂（ｘ，ｙ）とを合計することにより、第１デジタル画像又は第２デジタル画像よりも明るい第４デジタル画像ｍ（ｘ，ｙ）を生成するが、しかし運動領域内には被写体運動ぶれが存在する。

次いで、被写体運動検出器１０によって生成された運動マップｐ（ｘ，ｙ）を使用して、第３デジタル画像ｃ（ｘ，ｙ）からの対応領域で置換される第４デジタル画像ｍ（ｘ，ｙ）内の領域を識別し、これにより第５デジタル画像ｄ（ｘ，ｙ）を生成する。運動領域が、唯１つのキャプチャリングされた画像に基づく第３画像からの対応領域によって置換されるので、ｎ個の画像における複数の画像キャプチャリング間に生じる被写体運動の影響が排除される。結果として、第５デジタル画像ｄ（ｘ，ｙ）は、被写体運動ぶれが低減され、そして明るさが増大する。

より具体的には、運動プロセッサ６からの出力としての第５デジタル画像ｄ（ｘ，ｙ）は、被写体運動ぶれが低減された、そして最大解像度及び低解像度の両方の領域を有するスパースサンプリング・デジタル画像であるデジタル画像である。運動プロセッサ６は次いで、第５デジタル画像ｄ（ｘ，ｙ）をＣＦＡ補間器７に伝送し、ＣＦＡ補間器７では、カラー値は、各画素の赤、緑、及び青のカラー値を提供するために補間される。ＣＦＡ補間器７の目的は、検知された写真画像の各画素位置に対して完全な色記述を生成することである。一般に知られた任意のＣＦＡ補間器を使用することができ、１つのＣＦＡ補間器の説明が、Adams他に１９９７年７月２９日付けで発行された米国特許第５，６５２，６２１号明細書に開示されている。

運動プロセッサ６の動作に関して、次に図２を参照しながらより詳細に説明する。Ａ／Ｄ変換器４からのスパースサンプリング高解像度デジタル画像出力は、運動プロセッサ６によって受信される。運動プロセッサ６は、被写体運動ぶれが低減された前述の第５デジタル画像ｄ（ｘ，ｙ）を生成する。図２は、例えば２つのスパースサンプリング・デジタル画像出力ｉ₁（ｘ，ｙ）及びｉ₂（ｘ，ｙ）が、電子画像センサ３によって順次キャプチャリングされる本発明の第１の好ましい態様における運動プロセッサを示している。２つのスパースサンプリング・デジタル画像ｉ₁（ｘ，ｙ）及びｉ₂（ｘ，ｙ）は、それぞれのキャプチャリング後、Ａ／Ｄ変換器４からデジタル画像プロセッサ５に伝送される。この第１の好ましい態様の場合、運動プロセッサ６は、画素コンバイナ９、被写体運動検出器１０、画像コンバイナ１１、及び画像部分リプレーサ１５を含む。画素コンバイナ９において、ｉ₁（ｘ，ｙ）における各画素は、画素サブアレイに割り当てられる。画素サブアレイは、全て同じタイプであり互いに近接して配置された画素のアレイとして定義される。図３のBayerアレイに示される画素サブアレイは、１行高さ及び２列幅であり、そして赤画素１２及び１３から成っている。本発明は、１行高さ及び２列幅であり、しかも同じタイプの２つの画素を含有する画素サブアレイを使用する画素コンバイナ９を記述するが、他の寸法の画素サブアレイ、又は異なる量の画素を含有する画素サブアレイ、又は等しい効果を有する種々異なるタイプの画素を含有する画素サブアレイを使用して本発明を適用できることは、当業者には明らかである。画像内の各画素は、唯１つの画素サブアレイに属するので、図３に示された画像は、６つの赤サブアレイ、６つの青サブアレイ、及び１２個の緑サブアレイを有している。画素コンバイナ９において、一旦画像ｉ’（ｘ，ｙ）内の全ての画素がサブアレイに割り当てられると、各サブアレイ内の全ての画素が合計され、そして各サブアレイ内の画素は、各サブアレイの結果としての合計値によって置換される。例えば、図３における画素１２及び１３の値はそれぞれ、画素１２及び１３の値の和によって置換されることになる。サブアレイ内の全ての画素の値が同じ単一の合計値によって置換されるので、上記のような画像ｉ₁（ｘ，ｙ）の全てのサブアレイを処理した後に生じる画像は、ｉ₁（ｘ，ｙ）と同じ数及びタイプの画素を有する低解像度画像である。従って、画素コンバイナ９の出力は、低解像度スパースサンプリング・デジタル画像である第３デジタル画像ｃ（ｘ，ｙ）である。サブアレイ内の全ての画素の値が同じ単一の合計値によって置換されるので、第３デジタル画像ｃ（ｘ，ｙ）は、第１デジタル画像ｉ₁（ｘ，ｙ）よりも高い信号（すなわち、より明るい）及び相対的に低いノイズを有している。画素組み合わせステップにより、第３デジタル画像ｃ（ｘ，ｙ）は、解像度の低減という犠牲を払って、明るさが増大する。

本発明において考えられるように、サブアレイにおいて組み合わされる画素数ｑは、キャプチャリングされた一連の画像内の画像数ｎと同様になる。この好ましい態様の場合、各サブアレイ内には２つの画素がある（ｑ＝２）。なぜならば、キャプチャされた一連の画像内に２つの画像（ｎ＝２）、すなわち第１デジタル画像ｉ₁（ｘ，ｙ）及び第２デジタル画像ｉ₂（ｘ，ｙ）が存在するからである。このことは、第３デジタル画像ｃ（ｘ，ｙ）が、第４デジタル画像ｍ（ｘ，ｙ）で生成されたキャプチャされた一連の画像内の画像の和と同じ明るさを有することを保証する。或いは、第３デジタル画像ｃ（ｘ，ｙ）内の画素値が定数ｋで掛け算されるならば（ここでｋは、キャプチャされた一連の画像内の画像数をサブアレイ内の画素数で割り算した値に等しい、ｋ＝ｎ／ｑ）、キャプチャされた一連の画像内の画素数よりも多い又は少ない、サブアレイ内部の画素を組み合わせることもできる。当業者には明らかなように、ｋが１よりも大きい場合、第３デジタル画像ｃ（ｘ，ｙ）はノイズがより多くなり、そしてｋが１未満である場合、これはより高い解像度を有することになる。従って１以下のｋを使用することが有利である。

第３デジタル画像ｃ（ｘ，ｙ）を形成するために画素値を組み合わせる更なる方法は、当業者には明らかであろう。これらの更なる方法のうちのいくつかを用いて、ｎ個の画像からの画素値を組み合わせることにより、第４デジタル画像ｍ（ｘ，ｙ）を形成することもできる。同じ色の画素からの電荷は、画像センサ技術において良く知られているように、画像センサ上で組み合わせるか、又はビニングすることができる。２つの画素からの電荷を画像センサ上で組み合わせるか又はビニングすることは信号レベルを二倍化する一方、組み合わされた信号のサンプリング及び読み出しと関連するノイズは同じままであり、これによりノイズに対する信号の比を２倍だけ増大させ、このことは、組み合わされた画素の感光度が相応に２倍増大することを意味する。別のアプローチにおいて、先ず画素によって生成された電圧までキャパシタを充電し、次いで電圧を平均するためにこれらのキャパシタを互いに接続することにより、同じ色の画素内の電荷測定量に対応する電圧を平均することができ、この場合、これらのキャパシタは、単純平均を実施するために等しいサイズを有しているか、又は加重平均を実施するために異なるサイズを有している。さらに別のアプローチにおいて、画素値をデジタル数に変換することができ、次いでデジタル数を組み合わせることができる。或いは、同じ色の画素における光レベルのデジタル表示を合計又は平均することもできる。この場合、結果として生じる信号は２倍だけ増大するが、しかし、２つの画素を読み出すことから生じる対応ノイズレベルは二乗的に組み合わされ、これによりノイズを２の平方根だけ増大させる。組み合わせ画素の結果として生じた、ノイズに対する信号の比はこれにより、組み合わされていない信号を２の平方根だけ上回る。同様の分析が電圧又はデジタル平均にも当てはまる。これも当業者に明らかなように、第３デジタル画像ｃ（ｘ，ｙ）の明るさを増大させるために合計する以外の形で、空間フィルタの他の形態を使用することもでき、この場合画素間の重み係数は不均一である。

第１デジタル画像ｉ₁（ｘ，ｙ）及び第２デジタル画像ｉ₂（ｘ，ｙ）の両方を被写体運動検出器１０に伝送することにより、運動マップｐ（ｘ，ｙ）を生成する。被写体運動検出器１０は、第１デジタル画像ｉ₁（ｘ，ｙ）と第２デジタル画像ｉ₂（ｘ，ｙ）との間の静止領域及び運動領域を識別し、そして運動マップｐ（ｘ，ｙ）内に識別情報を記憶する。当業者には明らかなように、運動検出器は、本発明の範囲内の多くの方法で実施することができる。この好ましい態様における実施は、画素ブロック差閾値を使用する。第１デジタル画像ｉ₁（ｘ，ｙ）及び第２デジタル画像ｉ₂（ｘ，ｙ）は、画素コンバイナ９内部で使用される上記のサブアレイ分割と全く同じである必要はないが、しかしこれと類似するように、画素ブロックに分割される。サブアレイのサイズは通常、最終画像における余りにも多くの解像度をあきらめることのないように、ブロックのサイズよりも小さくなり、そして逆に、ブロックのサイズは、運動検出をよりロバストにするために、サブアレイのサイズよりも大きくなる。この好ましい態様における画素のブロックは高さ３２行及び幅３２列であり、各ブロックは同じタイプの画素を含有するが、しかし当業者には明らかなように、他の画素ブロックのサイズ、形状、及び構成も可能である。第１デジタル画像ｉ₁（ｘ，ｙ）の各ブロック内の画素値は平均され、そしてその平均値は、第２デジタル画像ｉ₂（ｘ，ｙ）における対応ブロックの平均値から差し引かれる。ブロック差の絶対値が何らかの所定の閾値Ｔよりも大きい場合、第１デジタル画像ｉ₁（ｘ，ｙ）と第２デジタル画像ｉ₂（ｘ，ｙ）との間でそのブロック内に被写体運動があると判断される。閾値Ｔは、第１デジタル画像ｉ₁（ｘ，ｙ）において各ブロックに対して別個に選択することができ、また好ましい態様の場合、Ｔは、第１デジタル画像ｉ₁（ｘ，ｙ）におけるブロックの平均値に与えられた画像ノイズの予想規模に依存する。上述のように、ブロック差がＴよりも大きい場合、第１デジタル画像ｉ₁（ｘ，ｙ）と第２デジタル画像ｉ₂（ｘ，ｙ）との間でそのブロック内に被写体運動があると判断される。その場合、運動マップｐ（ｘ，ｙ）には、そのブロック内部の全ての画素位置に対して１の値が与えられる。ブロックに対して運動が見いだされない場合、運動マップｐ（ｘ，ｙ）には、そのブロック内部の全ての画素位置に対してゼロの値が与えられる。従って、この好ましい態様において、ｐ（ｘ，ｙ）は二進運動マップである。当業者には明らかなように、運動マップｐ（ｘ，ｙ）は他の関数形態、例えばファジー論理マップ又は確率的決定マップの形態を呈することができる。

被写体運動ぶれを含んだ、より明るい画像を生成するために、第１デジタル画像ｉ₁（ｘ，ｙ）及び第２デジタル画像ｉ₂（ｘ，ｙ）の画素値を合計することにより、画像コンバイナ１１内部に第４デジタル画像ｍ（ｘ，ｙ）を形成する。

運動マップｐ（ｘ，ｙ）は、第３デジタル画像ｃ（ｘ，ｙ）及び第４デジタル画像ｍ（ｘ，ｙ）とともに、画像部分リプレーサ１５に伝送される。画像部分リプレーサ１５は、第４デジタル画像ｍ（ｘ，ｙ）及び第３デジタル画像ｃ（ｘ，ｙ）とともに、運動マップｐ（ｘ，ｙ）を使用して結合関数を適用することにより、被写体運動ぶれが低減された第５デジタル画像ｄ（ｘ，ｙ）を生成する。運動マップｐ（ｘ，ｙ）の対応位置に運動が示されない（ｐ（ｘ，ｙ）＝０）場合、結合関数は、ｄ（ｘ，ｙ）における画素値が、第４デジタル画像ｍ（ｘ，ｙ）内の対応画素の値に等しくなるようになっている。さらに、運動マップｐ（ｘ，ｙ）の対応位置に運動が示される（ｐ（ｘ，ｙ）＝１）場合、結合関数は、第５デジタル画像ｄ（ｘ，ｙ）における画素値が、第３デジタル画像ｃ（ｘ，ｙ）内の画素値に等しくなるようになっている。キャプチャリングされた一連の画像が２つの画像を含み、そして運動マップが二進マップである本発明のこの態様の場合、結果として生じる画像ｄ（ｘ，ｙ）が下記のように計算される：

ｄ(ｘ，ｙ)＝ｐ(ｘ，ｙ)ｃ(ｘ，ｙ)+[１-ｐ(ｘ，ｙ)][ｍ(ｘ，ｙ)] (1)。

第５デジタル画像ｄ（ｘ，ｙ）は、被写体運動ぶれが低減された画像である。なぜならば、一連の画像内のｎ個の画像をキャプチャリングするために用いられる修正露出時間ｔ’が露出時間ｔ_eよりも短いからである。画像ｄ（ｘ，ｙ）の明るさは増大する。なぜならば第４デジタル画像のための有効露光時間がｎｔ’であり、そして第３デジタル画像ｃ（ｘ，ｙ）のための有効露光時間がqｔ’であり、これらの時間の両方がｔ’よりも長く、そして好ましくは両方ともｔ_eに等しいからである。画素コンバイナ９において使用されるサブアレイ内の画素数がキャプチャ一連の画像内の画像数ｎと同じである場合、画像ｄ（ｘ，ｙ）はその場所全体を通して同じノイズ量を有する。その場合、画像ｄ（ｘ，ｙ）内のノイズ量は、露光時間ｔ_eを用いてキャプチャリングされた画像内のノイズ量に類似する。

第５デジタル画像ｄ（ｘ，ｙ）を図１に示すようなＣＦＡ補間器７に伝送することにより、検知された写真画像の各画素位置毎の色の完全な記述を有する第６デジタル画像ｒ（ｘ，ｙ）を生成する。

図４に示された本発明の別の態様の場合、画像キャプチャ装置は、一連の画像におけるｎ回のキャプチャリング間に動き、画像キャプチャ装置誘発型のぶれを引き起こす。この場合、一連の画像内のキャプチャリングされたｎ個の画像は、一連の画像におけるｎ回のキャプチャリング間に生じる画像キャプチャ装置の動きを補償するために、互いに整合されなければならない。図４は、画像を互いに整合するための、画像アライナ１４の追加のステップを示している。

画像アライナ１４における画像整合のプロセスは、基準画像ｉ₁（ｘ，ｙ）と他のｎ−１個の画像との間の画素シフトｓ（ｘ，ｙ）を識別して最良の相関を生成するために、画像ｉ₁（ｘ，ｙ）とｉ₂（ｘ，ｙ）との画素値を比較することにより達成される。次いで、画像ｉ₂（ｘ，ｙ）〜ｉ_n（ｘ，ｙ）の画素値を、ｓ（ｘ，ｙ）だけ画像内部で所定の位置にシフトすることにより、画像キャプチャ装置の動きを補償する整合された画像ｉ_2a（ｘ，ｙ）〜ｉ_na（ｘ，ｙ）を生成する。次いで整合された画像は、図４に示すように画像コンバイナ１１及び被写体運動検出器１０によって処理される。図４の例は、ｎ＝２の場合に当てはまるが、当業者には明らかなように、上記画像整合プロセスは、基準画像ｉ₁（ｘ，ｙ）を有する共通の領域がある限り、一連の画像においてキャプチャリングされた画像がいかなる数ｎであってもこれに適用することができる。当業者には明らかなように、好ましい態様において、ｎ個の画像間の画素値の比較は、（ｘ，ｙ）を決定するためのｎ個の画像の圧縮版上で、低減された量のデータを用いて行われるので、画像処理速度を高くすることができる。これも当業者には明らかなように、図４に示された態様は、画像キャプチャ装置の動きを補償し、これにより、画像キャプチャ装置の運動を検知するためのジャイロ装置、又は画像キャプチャ装置の運動を補償するための横方向運動可能なレンズを有する特殊なレンズを必要とすることなしに、画像キャプチャリング間に安定化作用を与える。とはいうものの、言うまでもなく、画像キャプチャ装置の運動を測定するためにジャイロ装置を使用し、そして画像キャプチャ装置の測定された運動に基づいてｎ個の画像を少なくとも部分的に整合することも、本発明の範囲に含まれる。

ビデオ・キャプチャの場合、ｎ個の画像から成る群は連続的に変化するので、整合される画像間を比較するための共通領域があることを保証するために、選択された画像数以内でｎ個の画像がシフトされる。圧縮画像に基づいてビデオ・キャプチャを画像整合する方法が、Deever他によって米国特許出願第１１／１３０，６９０号明細書に記載されており、これを参考のため本明細書中に引用する。本発明は、明るさが増大した低解像度画像ｃ（ｘ，ｙ）を形成するステップを加える。この画像の一部を、運動マップｐ（ｘ，ｙ）によって定義された整合され組み合わされた画像ｍ（ｘ，ｙ）の部分の代わりに使用することにより、被写体運動ぶれが低減され、しかも画像キャプチャ装置誘発型のぶれが低減された画像ｄ（ｘ，ｙ）を生成する。Deever他によってに記載された整合法は、ｍ（ｘ，ｙ）画像を形成するための組み合わせ前にｎ個の画像を整合するのに必要とされる画像シフトを定義するために、ｎ個の画像の圧縮版において画素値を相関することに基づく。画像キャプチャ装置の運動を測定し、そしてビデオ・キャプチャリング中にｎ個の画像を整合するのに必要とされる画素シフトを少なくとも部分的に定義するためにジャイロ装置を使用することは、本発明の範囲内に含まれる。

本発明は、２つの画像を有するキャプチャ一連の画像の事例に関して説明しているが、ビデオ画像キャプチャの場合のように、逐次的な画像を使用して連続的に、被写体運動ぶれが低減された画像を生成するために本発明を用いることもできる。

１レンズ
２光学ローパス・フィルタ
３電子画像センサ
４Ａ／Ｄ変換器
５デジタル画像プロセッサ
６運動プロセッサ
７ＣＦＡ補間器
９画素コンバイナ
１０被写体運動検出器
１１画像コンバイナ
１２第１の赤サブアレイに属する赤画素
１３第１の赤サブアレイに属する赤画素
１４画像アライナ
１５画像部分リプレーサ

Claims

被写体運動ぶれが低減されたデジタル画像を生成する方法であって：当該方法は、
ａ．画像ぶれを低減する露出時間を用いて、場面の少なくとも第１及び第２のデジタル画像をキャプチャリングすること；
ｂ．該第１及び第の２デジタル画像よりも明るく、そして該第１又は第２のデジタル画像よりも低い解像度を有する第３のデジタル画像を生成するために、該第１のデジタル画像の画素を組み合わせること；
ｃ．該第１及び第２のデジタル画像間の静止領域及び運動領域を識別すること；
ｄ．該第１及び第２のデジタル画像よりも明るく、そして被写体運動ぶれを有する第４のデジタル画像を生成するように、該第１及び第２のデジタル画像上で作業すること；
ｅ．該第４のデジタル画像内の運動領域を、該第３のデジタル画像からの対応領域で置換して、これにより、被写体運動ぶれが低減され、明るさが増大した第５のデジタル画像を提供すること
を含んで成る。
該第１のデジタル画像が電子画像センサによってキャプチャリングされ、そして該第２のデジタル画像が、組み合わされた画素を有する該場面の第２キャプチャから提供される請求項１に記載の方法。
該画素からの電荷をビニングすることにより、該画素によって生成された電圧を平均することにより、もしくは先ず画素値をデジタル数に変換し、次いで該デジタル数を組み合わせることにより、又はこれらの組み合わせにより、画素が組み合わされる請求項２に記載の方法。
該電圧が、先ず該画素によって生成された電圧までキャパシタを充電し、次いで該電圧を平均するために該キャパシタを互いに接続することにより平均され、該キャパシタは、単純平均を実施するために等しいサイズを有しているか、又は加重平均を実施するために異なるサイズを有している請求項３に記載の方法。
該第３のデジタル画像の明るさを増大させるために該第１のデジタル画像の画素値に空間フィルタを適用することにより、該第３のデジタル画像が形成される請求項１に記載の方法。
該４のデジタル画像を形成するために、該第１のデジタル画像と該第２のデジタル画像とが合計されるが、しかし合計前に整合される請求項１に記載の方法。
該第１及び第２のデジタル画像の整合が、第１のデジタル画像と第２のデジタル画像との間の画素値を比較することを含み、そして該画素値がシフトされる請求項６に記載の方法。
該画像キャプチャ装置の運動を測定するために、ジャイロ装置が使用され、そして該第１及び第２のデジタル画像が、該画像キャプチャ装置の測定された運動に基づいて、少なくとも部分的に整合される請求項５に記載の方法。