JP2010528530A

JP2010528530A - デジタルｃｃｄカメラを使用して捕捉された動画からの静的パターンの除去

Info

Publication number: JP2010528530A
Application number: JP2010509330A
Authority: JP
Inventors: サーストン、キムボール・ダー・ザ・サード
Original assignee: デーティーエス・デジタル・イメージーズ，インコーポレイテッド
Priority date: 2007-05-18
Filing date: 2008-04-29
Publication date: 2010-08-19
Also published as: TW200915887A; WO2008143764A1; CA2688777A1; US20080284854A1; EP2156676A4; EP2156676A1

Abstract

デジタルＣＣＤカメラで捕捉された動画から静的パターンを除去するための効率的で頑丈な機構である。誤動作している露光不足のＣＣＤ画素の補正マップが与えられ、誤動作している画素を補正するために影響を受けたショット中の各画像に与えられる。補正マップは所定のショット中の特別な画像または特別なＣＣｄカメラに関連付けされることができる。恐らく補正を受けるべきショットを決定する初期ステップ以外のプロセス全体はコンピュータワークステーションで十分に自動化されている。コンピュータは補正マップを生成し、それを各画像に与え、補正を検証する。これは技術者が露光下で問題が存在するか否かを決定して各フレーム中の誤動作している画素を識別し、手作業で影響を受けた画素を修整しなければならない方法に比較して非常に効率的な方法である。
【選択図】図４

Description

本発明は動画を捕捉するためのデジタルＣＣＤカメラの使用に関し、特にＣＣＤカメラを使用するとき露光下で生成されるデジタル画像の捕捉されたシーケンスにおける静的パターンを除去するシステムおよび方法に関する。

歴史的に動画は、アナログフィルムカメラを使用して記録され、アナログ技術を使用してその後処理され、アナログフィルムプロジェクタを使用してフィルムから再生されている。小さいが迅速に数を増している動画はこれらのうち１以上の通常のアナログ技術をデジタル技術で置換することにより再生されている。デジタルシネマまたは「Ｄ−シネマ」はデジタルプロジェクタを使用して表示するための動画を再生するために統一したデジタルフォーマットを特定する。デジタル中間または「ＤＩ」プロセスは事後製作でアナログフィルム技術を置換している。最後に、フィルムカメラは色成分当り２Ｋ（２０４８×１０８０画素）または４Ｋ（４０９８×２１６０画素）の高解像度のデジタルカラー画像のシーケンスとして動画を捕捉する高解像度デジタルＣＣＤ（電荷結合素子）カメラにより置換されている。

ＣＣＤカメラはリンクまたは結合された光感度装置（画素）のアレイを含んでいる集積回路からなる画像センサである。ＣＣＤ撮像は３つのステップのプロセス、即ち（１）光をディスクリートな画素の電子電荷に変換する露光と、（２）シリコン基板内で電荷のパケットを動かす電荷移動と、（３）画像を読み出すための電荷から電圧への変換および出力の増幅で行われる。画像は入射光が光子の形態で画素のアレイ上に落ちたときに捕捉される。各光子に関連されるエネルギはシリコンにより吸収され、反応を生じさせる。この反応は電子正孔電荷対の生成を生じる。各画素で集められる電子数は露光レベルに線形に依存する。

ＣＣＤは基本的な金属酸化膜半導体（ＭＯＳ）装置の物理学にしたがっている。ＣＣＤＭＯＳ構造は単に高い絶縁材料（二酸化シリコン）により分離される半導体（シリコン）を覆っている垂直に積層された導電材料（ドープされたポリシリコン）からなる。ポリシリコンまたは「ゲート」電極に電圧電位を印加することにより、シリコン内の静電電位は変化されることができる。適切な電圧により、電位「ウェル」が形成されることができ、これは入射光により生成された局在化された電子を集収する能力を有する。電子はウェルを包囲するバリアと呼ばれるより高い電位のゾーンを形成することによりこのゲート下に閉じ込められる。電圧に応じて、各ゲートは集積電荷に対して電位ウェルまたはバターを形成するためにバイアスされることができる。電荷が集積され、画素アーキテクチャの範囲により局部的に保持されると、電荷パケットは画像を読み出すために画素から物理的に分離されている感知増幅器に転送される。カラー画像は単一のＣＣＤ画像とカラーホイールまたはフィルタを使用して、または赤、緑、青スペクトルにそれぞれ同調される３つの別のＣＣＤ画像を使用して発生される。

本発明はデジタルＣＣＤカメラで捕捉された動画から静的パターンを除去するための効率的で頑丈な方法およびシステムを提供する。

これはデジタルＣＣＤカメラで捕捉されたデジタル動画のシーケンスを受信し、誤動作する露光不足のＣＣＤ画素の補正マップを適用することにより実現される。この補正マップは誤動作し露光不足のＣＣＤ画素の効果を減少するためデジタル画像に与えられる。補正マップは画像自体のシーケンスから生成され、またはオフラインで発生され、画像の捕捉に使用される特定のカメラと関連付けされることができる。補正マップは画像から差し引かれる実際の誤動作している画素出力値を含むことができ、または誤動作している画素を空間的に濾波するために使用される誤動作しているか恐らく誤動作している画素の二進マップを表すことができる。識別された画素が各画像で実際に誤動作しており修正されるべきであることを確認するための検証ステップが行われることができる。プロセス全体はコンピュータのワークステーションで十分に自動化されることができる。処理する「ショット」の決定は手作業又は自動で行われることができる。

１実施形態では、デジタル動画の受信されたシーケンスはほぼ均一な露光レベルを有する。各画像は好ましくは、画像の詳細または誤動作している露光不足の画素による異常を表す単一の画素スパイクを隔離するためにハイパス濾波される。濾波された画像は各カラー成分に対しての誤動作している画素の補正マップを発生するために共に平均される。異常は空間的に固定され、時間的に持続的であり、したがって平均化によって強化され、その一方で画像の詳細は通常平均化により減衰される。画像内容は、そうでなければ画像の露光レベルで誤動作する画素を完全に又は部分的にマスクする。このようにして、補正マップはデジタル動画のこの特定のシーケンスに対応する。補正マップはその後、誤動作し露光不足のＣＣＤ画素の影響を減少するためにデジタル動画に与えられる。補正マップはこれを（色成分当たり）各画像から差し引くことにより与えられることができる。これに先んじて、所定の画像中の幾つかの画素は明度の高い内容によりマスクされることができるので、補正すべき画素を決定するために補正マップと濾波される画像との間に相関ステップが存在する。或いは補正は画素値をその最も近い近傍に対して比較することにより検証されることができる。代わりに、補正マップは潜在的に誤動作する露光不足の画素を識別するための二進マップとして表され使用されることができる。マップは各画像中の実際の誤動作する画素を識別するため各濾波された画像と相関されることができる。ローカル空間フィルタ処理は各誤動作している画素で行われる。補正ステップの代わりに、又はそれに加えて、濾波された画素の値は本来の画素値に対して比較されることができる。差が幾つかの特定値よりも大きいならば、濾波された画素の値が維持され、そうでなければ、本来の画素値が維持される。

別の実施形態では、デジタル動画の受信されたシーケンスは特定のＣＣＤカメラと関連付けされる。その特定のＣＣＤカメラの誤動作している露光不足のＣＣＤ画素の補正マップはカメラの製造業者により生成された目録から検索されることができる。補正マップは誤動作している露光不足のＣＣＤ画素を置換するためにデジタル動画を選択的に空間濾波するために使用される。補正マップは特定のＣＣＤカメラの露光下の幾らかのレベルで誤動作する全ての画素の二進マップである。このようにして補正マップは通常露光下の特定レベルで実際に誤動作する画素について過剰に含んでいる。相関および／または検証ステップは各画像中の実際の誤動作している画素を下方選択するために使用される。

本発明のこれらおよびその他の特徴と利点は添付図面を伴った好ましい実施形態の以下の詳細な説明から当業者に明白になるであろう。

露光不足のときのデジタルＣＣＤカメラにより生成される静的パターンの図である。露光不足のときのデジタルＣＣＤカメラにより生成される静的パターンの図である。動画の多数の異なるショットについての露光レベルの図である。露光不足による静的パターンをデジタルＣＣＤカメラによる動画ショットから除去するワークステーションの図である。露光不足による静的パターンをデジタルＣＣＤカメラによる動画ショットから除去する方法のフローチャートである。補正マップが未知のカメラおよび未知の露光レベルで画像のシーケンスから抽出される方法の１実施形態のフローチャートである。露光不足による静的パターンを示すデジタル画像のシーケンスを示す図である。露光不足による静的パターンを示すデジタル画像のシーケンスを示す図である。露光不足による静的パターンを示すデジタル画像のシーケンスを示す図である。ハイパルス濾波された画像の図である。ハイパルス濾波された画像の図である。ハイパルス濾波された画像の図である。デジタル画像のシーケンスから抽出された補正マップの図である。デジタル画像のシーケンスから抽出された補正マップの図である。デジタル画像のシーケンスから抽出された補正マップの図である。誤動作する画素およびマスクされた画素を識別するために補正マップと第２のハイパス濾波された画像との相関を示す図である。補正されたデジタル画像の図である。補正マップが露光不足レベルの範囲にわたって特定のＣＣＤカメラで発生される方法の別の実施形態のフローチャートである。

本発明はデジタルＣＣＤカメラで捕捉された動画から静的パターンを除去する効率的で頑丈な機構を提供する。誤動作している露光不足のＣＣＤ画素の補正マップが与えられ、誤動作している画素を補正するため影響を受けたショット中の各画像に与えられる。補正マップは所定のショット中の特定の画像または特定のＣＣＤカメラと関連付けられることができる。恐らく補正するショットを決定する最初のステップ以外のプロセス全体はコンピュータワークステーションで十分に自動化される。コンピュータは補正マップを生成し、これを各画像に与え、補正を検証する。これは技術者が露光下で問題が存在するか否かを決定して各フレーム中の誤動作している画素を識別し、手作業で影響を受けた画素を修整しなければならない方法に比較して非常に効率的な方法である。

理想的には、ＣＣＤカメラ中の全ての画素は、（ａ）正常の露光レベル下で機能しているとき良好であり、（ｂ）各画素で同じしきい値および勾配であるとき画像間の均一性を示し、（ｃ）画像内均一性を示し、画素雑音がなく、（ｄ）光全体がしきい値よりも小さいような露光不足ならばほぼ「黒（ゼロ）」の値に戻る。材料および誤動作プロセスは高解像度の大きな領域を横切ってＣＣＤ画素の均一な製造を改良し続けるが、フォーマットは依然として困難である。非常に多くの「悪い」画素を有する画像は破棄される。カメラの製造業者は悪い画素のマップと、画像の捕捉および転送機構に対する補正を構築する。画像画素間および画像画素内の非均一性も他の既知の機構を介して補正可能である。

各画素はこのほぼ均一な方法で応答するために（例えばしきい値を超える）ある量の光を受信する必要がある。画素は設計され、それらの大部分はこれらが露光不足であるならば約「黒（ゼロ）」値に戻る。しかしながら少数の画素は不正確に応答し、実際よりも多くの光を受信して、黒色の背景であるべきところに明るい画素を生成したことを報告する可能性がある。画素が露光不足であるとき、ゲート電極に与えられる電圧は非常に小さい（例えばしきい値よりも小さい）ので、ＭＯＳ構造にその線形領域で確実に動作させることができない。構造は不安定であり、ランダムに高出力値に切り換える可能性がある。ＣＣＤ画素は正常な露光下で正確に動作するが、露光不足の状態では画素は誤った読取りを報告する。この形態の雑音は「暗電流」雑音と呼ばれる。誤動作している画素の割合は通常非常に小さいが、「スクリーンドア」効果として動画を観るときこのタイプのアーティファクトに容易に気づくには十分な大きさであり、かなり不快である。伝統的なフィルムプロセスもこのタイプの雑音の影響を受けるが、フィルムの「フラッシング」と呼ばれるプロセスによって対処でき、ここでフィルムは低い光条件が既に応答範囲にある場合そのしきい値へ達するように最初に非常に低い量の光に露光される。これは光リングが使用されるならばＣＣＤカメラで可能であるが、その実施は実際に実現するのが難しく、したがって事後処理策が所望される。

しきい値よりも小さい所定の露光レベルの静的パターン10が図１ａと１ｂで示されている。この場合、静止パターンは画像のしきい値よりも小さい特定の露光レベルで（内容のない）映像を撮影することにより生成される。示されているように、少数のランダムな画素12が高出力値14に戻る。出力値14は画素および／または露光レベルで変化する可能性がある。所定の画素は典型的に露光された光レベルより下の不正確な読取りに応答して同じ不正確な読取りを報告する。しかし１つの露光不足レベルで誤動作している画素は異なる露光不足レベルでは誤動作しない可能性がある。さらに画像の所定の露光不足レベルで誤動作することが予測される画素は実際の画像中の画素領域の比較的明るい内容が理由で誤動作しない可能性がある。結果として、静的パターンはカメラ、露光レベル、情景の局部的内容で変化する。

１以上のデジタルＣＣＤカメラにより捕捉された動画の一部の露光レベル20が図２に示されている。典型的に特定のショットのデジタル動画のシーケンスが受信され、別々に単一のシーケンスとしてではなく処理され、露光不足の事件はかなり稀であり、示されているような５０％ではない。例示の目的で、ショットは連結され、１つおきに露光不足にされる。「ショットブレイク」22は知られているか既に既知の技術を使用して抽出される。

ＣＣＤカメラの露光レベルは３つの要因、可視光に対するＣＣＤカメラの感度、照射の強度、ＣＣＤに許容された積分時間に変換される捕捉速度により決定される。写真撮影のディレクター（ＤＰ）および／またはカメラのオペレータは所望される「見た目」を実現するために所定のショットに対する１以上のこれらの要因を調節する。視覚的効果における高速度の写真撮影は本質的に積分時間を下げ、これはさらに暗電流雑音パターンが現れる機会を増加する。カメラは露光が正常であるか不足しているか、過剰であることを示すためにこれらの要因の関数として「露光レベルインジケータ」を提供できる。しかしながらこれらのインジケータは単なるガイドであり、ＤＰが所望する最適条件を反映することができない。撮像されている内容のダイナミック範囲をカメラシステムの感度およびダイナミック応答に一致するために正確な露光を行うことが重要である。露光は捕捉された画像の輝度レベル、カラー飽和、コントラストの制御も行う。

これらの要因が設定されると、露光レベル20は所定のショットに対して画像間で比較的一定である。最後のショットでは、露光レベルは例えば画像内容自体の照明条件または輝度の変化により中途に変化する。フレーム内の輝度は内容により変化し、画像毎の所定の画素についての輝度は内容の変化によって変化する。露光レベル20は典型的にショット毎に変化しあるショットは正常に露光され、他のショットは露光不足である。

デジタルＣＣＤカメラの使用は動画の撮影では比較的新しいので、カメラの「露光レベルインジケータ」、ＤＰ、カメラマンは所望の外観又は他の特別な効果の撮影のためにＣＣＤカメラに理想的ではない条件下で画像を捕捉せざるを得ず、これらの状態を処理するためのツールをまだもっていない。結果として、時にはショットは露光不足であり、即ちショットの露光レベル20は適切にＣＣＤ撮像装置が機能するのに必要な最小の露光レベル24よりも小さい。露光不足のショットの暗領域中のこれらの異常に明るい画素は非常に目立ち受け入れがたいアーティファクトである。問題が適時な方法で発見されるならば、照明条件が変更されることができる場合に情景は撮影し直されることができる。そうでないならば、ショットの各画像中の全ての誤動作している露光不足の画素は修整されなければならない。これを手作業で行うことは非常に労力がかかる。

デジタルＣＣＤカメラで捕捉された動画から静的パターンを除去するワークスエーション30および方法が本発明による図３ａと３ｂに示されている。静的パターン修正の目的は画像当りの雑音を含めた画像構造および詳細を保持し、画像から誤った読取りだけを除去することである。本発明の１実施形態によれば、デジタルＣＣＤカメラ34により捕捉されたデジタル動画32のシーケンスは記憶装置31、プロセッサ33、キーボードおよび／またはマウスを含めた入力手段35、ディスプレイ37を適切に含んでいるワークステーション30へ入力される。ワークステーションは典型的に、静的パターン除去を行うためのあるステップを自動的に実行するようにプロセッサ33を構成するためのソフトウェアアプリケーションと、ユーザが処理のための画像を選択することを可能にするようにプロセッサ33を構成するためのソフトウェアツールを含んでいる。ソフトウェアアプリケーションおよび／またはツールはコンピュータの使用可能な媒体39に記録されたコンピュータプログラム論理として設けられ、記憶装置およびプロセッサへダウンロードされることができる。

ワークステーション又はワークステーションを使用する技術者は画像又は画像のサブセットが静的パターン補正を必要とするか否か、即ち露光不足のショットであったかを決定する（ステップ36）。この決定がどのようにして行われることができるかについての選択肢が多数存在する。技術者は規則的な速度で画像を観察して任意の数の異なるアーティファクトを探すことができ、ショットが露光不足であり、異常に明るい画素の静的パターンを示すと思われることに気づくことができる。ワークステーションプロセッサは画像からの露光レベルの近似値として平均写真レベルを測定し、処理するか否かを決定するように構成されることができる。代わりに、全ての画像は自動的に処理を通して与えられることができる。正常に露光される画像では、補正マップはブランクであり、これらの画像に対して行われる補正はない。露光レベルが変化する図２に示されている最後のショットの場合、技術者又はプロセッサはシーケンスをそれぞれほぼ均一な露光レベルを有する２つの別々のシーケンスに分割できる。

次のステップは処理されているデジタル画像32の特定のシーケンスか、または画像の捕捉に使用される特別なＣＣＤカメラ34かに対する補正マップ38（ステップ40）を与えることである。補正マップは（ａ）ゼロが機能する画素を示し、１が露光不足のために誤動作または潜在的に誤動作する画素を示す二進数であるか、または（ｂ）ゼロが機能する画素を示し、ゼロではない値が（各カラー成分で）誤動作する画素の時間平均された出力値を表す多値化されることができる。小さいゼロではない値は雑音である可能性があり、ゼロに設定されるか設定されない。特定のＣＣＤカメラのマップは単なる二進マップであり、一方画像のシーケンスについて発生されたマップは二進であるか多値化されることができる。所定のシーケンスで計算されたカラー成分当り１つの多値化されたマップは組み合わせられ、二進マップを形成するためにしきい値化されることができる。代わりに、多値化されたマップの単一のカラー成分が計算され、二進マップを形成するためにしきい値化されることができる。補正マップは記憶装置31に適切に記憶される。

ワークステーションプロセッサは、誤動作している露光不足の画素の影響を減少するために補正マップ（ステップ42）をシーケンス中に各デジタル画像32に与える。マップが与えられる態様はマップのタイプ、二進又は多値化、このプロセスに専用の計算リソースの量、補正された画素値が有効にされているか（ステップ44）否かにしたがう。通常、プロセッサは誤動作する画素の輝度を減少するために多値化されたマップをオリジナル画像から差し引き、または誤動作する画素を識別するために二進マップを使用し、これらはその後補正された出力値を発生するために空間濾波される。補正マップは一般に任意の１つの画像で過剰に含まれているので、マップ全体を各画像に与えることは局部的に明るい画像内容であるため、正常に機能している画素に対して補正を与える可能性がある。この方法は簡単であるが、不快さが少ないにもかかわらずアーティファクトを誘発する可能性があり、画像内容内の暗い画素は暗い背景中の単一の明るい画素よりもはるかに不快さが少ない。代わりに、マップ（またはマップの１成分或いは成分の組合せを含むその変形）は各画像中で実際に誤動作している画素のみを識別するために各画像（またはその濾波されたバージョン）に対して相関されることができる。その後、差し引きまたは空間フィルタは識別された誤動作する画素に限定されることができる。

相関ステップの代わりに又はそれに加えて、ワークステーションプロセッサは各誤動作する画素の補正を確実にするように構成されることができる（ステップ44）。補正アルゴリズムは露光不足の誤動作する画素は暗い背景で異常に明るい画素を発生し、アルゴリズムは明るい画素を比較的暗い画素で置換するという仮定に基づいている。それ故、補正された画素及びその近傍画素は比較的くらい出力値を有し同様の値でなければならない。これらの条件が両者とも真ではないならば、補正は有効にされず、オリジナル画素出力値が維持される。多数の異なる測量は画素が十分に暗いか否か、および補正された画素が十分にその近傍に近いか否かを決定するために使用されることができる。

ワークステーションプロセッサは記憶装置31（又は異なる記憶装置）に再度適切に記憶される補正されたデジタル動画46のシーケンスを出力する。動画の製作プロセス期間中にさらに処理を受ける可能性があるこれらの画像はその後フォーマットされ、Ｄシネマ分配のためのデジタル画像48のシーケンスとしてフォーマットされ書き出され、ディスクまたはＤＶＤのような物理的媒体50へフォーマットされ書き出され、および／またはフィルム52へフォーマットされ書き出される。エンコーダ、ＤＶＤ作成機またはフィルム書込み装置のような適切な機構が補正された画像のシーケンスを書き出すために使用されることができる。

前述したように、補正マップは補正が図４−１０に示されているように与えられるデジタル画像のシーケンスから得られることができ、又は補正マップは図１１に示されているように現在の画像の捕捉に使用される特定のカメラの可変の露光レベルで検査画像のシーケンスから得られることができる。前者の方法は技術者／ワークステーションが画像の捕捉に使用されたＣＣＤカメラを知る必要はなく、ＣＣＤカメラは補正マップを作成するように特徴つけされる必要はなく、そのマップは適切に追跡され技術者／ワークステーションに利用可能にされる必要はないという利点を有する。ポストハウスは補正マップを与えるためにカメラの製造業者のなすがままではない。さらに、補正マップは補正される画像シーケンス中の実際に誤動作している露光不足の画素に対して少なくとも幾分か調整される。後者の方法はＣＣＤカメラが補正マップを生成するために慎重に制御された状態下で一度評価されることができる利点を有し、そのマップは任意の露光不足量でそのＣＣＤカメラで捕捉された任意の画像を補正するために使用される。

図４−１０に示されているように、ワークステーションまたは技術者は露光不足でほぼ均一の露光レベルを有し静的パターン補正を必要とする３つのデジタル動画画像50、52、54のシーケンスを決定する（ステップ56）。典型的なシーケンスは数百、数千の画像を有するが、３個あれば技術を説明するのには十分である。画像は露光不足の背景60に対して右から左へ移動する人58を示している。背景60の露光レベルは最小の露光レベルの下であり、それ故内容は全て失われている。大部分の画素は設計されているように動作し、暗またはゼロ値を出力する。しかしながら２つの画素62と64は誤動作しており、明またはゼロ値を出力する。典型的なＣＣＤ素子は小さい割合（１−５％）を有し、暗電流雑音は動いている画像を観察するときに気づかれるが、その技術を説明するのには２画素で十分である。画素62は各画像において誤動作する。画素64は第１および第３の画像でのみ誤動作し、画素を通して動く人は画像全体が露光不足であっても適切に画素を機能させるのに十分な明るさである。濾波された画像72、74、76を形成するために各画像をハイパス濾波する（ステップ66、68、70）。濾波された画像は補正マップ80を形成するために累積され、各カラー成分についてスケールされる（ステップ78）。ハイパス濾波は画像中の低周波数構造を除去し、さらに高振幅、低周波数特性が平均に影響を与える「ゴースティング」を除去する。時間的なローパス濾波動作である平均化は高周波数運動および画像間の高周波数の時間的な雑音を除去する。これらの２つのステップは共に高い空間周波数（例えば暗い背景での明るい画素）と低い時間的な周波数（例えば画像を通して一貫）を示す特性を維持する。シーケンスを通してカメラに関して固定されている画像内容は補正マップ中に「誤検出」を発生する濾波動作を少なくとも部分的に存続する可能性がある強いエッジを含む可能性がある。これは単一の画素の異常、特に暗い背景中の単一の明るい画素を探すハイパス濾波を選択することにより改善されることができる。隣接画素が両者とも誤動作する確率は非常に低い。さらに、ハイパス濾波は画像をローパス濾波し、もとの画像からその画像を差し引くことにより実行されることができる。Nick Kingsburyによる“The Dual-Tree Complex Wavelet Transform : A New Efficient Tool for Image Restoration and Enhancement”に記載されているようなエッジ維持ローパス濾波コアの使用はハイパス濾波された画像中の全てのエッジ内容を減衰する。エッジ維持ＬＰＦコアを使用する単一画素ＨＰＦがこの例で使用された。情景を横切る人58の移動はその人の周辺のエッジを除去するのに十分である。しかしながら、白旗のポールが背景に固定されるならば、フィルタはそれを除去するか、ハイパス濾波された画像、したがって補正マップ中でそれを少なくとも大きく減衰させる。

前述したように、補正マップ80は単一の二進マップまたは、各カラー成分に対して１つの３つの多値化されたマップであることができる。ハイパス濾波および平均化プロセスは誤動作するが素が明値を有し全ての他の画素がゼロ又は非常に小さい値を有する各カラーコンポーネントに対して多値化されたマップを生成する。ワークステーションは任意の雑音を排除し誤動作している画素を分離するためにあるしきい値よりも下の値をゼロに設定するためのしきい値化動作を行うが、これは必要ではない。本発明の例にしたがって、画素62と64の両者は誤動作しているときに各カラー成分中の出力値128を発生する。これらの値はＨＰＦ動作期間中に維持され、その後暗い背景中で明るい画素出力値82、84を形成するために平均される。画素62が各画像で誤動作したので、その平均値は128の状態である。画素64は第２の画像中の内容によりマスクされたので、ＨＰＦ動作はその出力値をゼロに設定する。結果として、平均値は128の３分の１であるか８５．３である。二進補正マップを生成するため、ワークステーションは単に１つの成分の多値化された補正マップまたは組合された多値化された補正マップをしきい値化し、しきい値を超える値を１に設定する。代わりに、ワークステーションは単に多値化された補正マップを二進マップとして使用し、特別な出力値を無視することができる。

補正マップが露光不足の画像の特定のシーケンスから発生されると、ワークステーションは静的パターンが除去されている画像88により与えられるような補正されたデジタル画像のシーケンスを形成するように補正マップを各デジタル画像50、52、56へ与える（ステップ86）。前述し図８ａと８ｂにより示されているように、補正マップを画像に与えるための少なくとも２つの異なる方法が存在する。各画像に対する各補正は前述したように確認される。

図８ａに示されているように、各誤動作する画素が各カラーコンポーネントに対して１つの３つの出力値を有している多値化された補正マップの最も簡単な応用は各画素と各カラー成分の各デジタル画像中の出力値からマップ中の出力値を差し引くことである（ステップ90）。この方法の欠点は、シーケンス中のある画像ではマップが誤動作していると予測する画素が比較的明るい内容によりマスクされる可能性があることである。露光レベルはしきい値よりも小さいが、内容は画素が適切に機能するのに十分な明るさである。単純化された差し引きは適切に機能していた画素であったアーティファクトを実際に生成する。これは（ａ）マップ中の時間平均された出力値が幾つかの画像中でマスクされている画素においてより小さく、（ｂ）不適切に画素の輝度を減少することによって生じたアーティファクトは異常に明るい画素よりも観察者に対して遥かに不快ではないという事実によりやや改善される。アーティファクトの生成は最初に図９に示されているように第２の画像74（ステップ91）により例示されているそれぞれ濾波された画像へ補正マップ80を相関し、補正マップを濾波された画像に重ねて整列することにより除去されることができる。画素が補正マップと濾波画像との両者で明るいかまたは異常であるならば、差し引きが行われる。この例では、差し引きは異常画素が明るい画像内容によりマスクされた右上の画素93ではなく左下の画素92で行われる。相関は１つのカラー成分、各カラー成分又は組合された画像で行われる。

図８ｂで示されているように、二進補正マップは各画像中の誤動作している画素を識別し、局部的なローパス空間フィルタを各カラー成分中の識別された画素に与えるために使用される（ステップ94）。空間フィルタは異常に明るい値を近傍画素の出力値の平均で置換する。空間フィールドは８個の接続された近傍の単なる平均であってもよく、或いは補間フィルタであってもよい。前述したように同じ相関プロセスは所定の画像で誤動作している画素だけをダウン選択するために使用されることができる。過剰な包括は空間フィルタ技術を使用するときに問題が少ないことに注意する。濾波が誤用されるとしても、補正された画素値はその近傍の平均であり、したがって少量の平滑化にかかわらずかなり近い。対照的に、差し引きが誤用されるならば、かなり大きな（明るい）出力値が画素から不正確に差し引かれる可能性がある。

別の方法はデジタル画像のシーケンスの捕捉に使用される特定のＣＣＤカメラに関連される補正マップを生成することである。これは製造業者がカメラのマップの目録を生成して、これらを製造後の段階で使用可能にすることを必要とする。これはＣＣＤカメラの識別が画像により行われることも必要とする。特定のＣＣＤカメラの多値化された補正マップの使用は非常に実際的ではない。製造業者は露光不足の各レベルでマップを生成しなければならず、ポストハウスは補正マップを画像シーケンスに一致させなければならない。画像からの露光レベルの評価は困難であり、不確実なプロセスである。代わりに、我々の方法は露光不足レベルの可能な範囲について各ＣＣＤカメラに対して単一の二進補正マップを生成する。このようなマップを生成する１実施形態が図１１に示されている。

第１のステップではデジタルＣＣＤカメラを選択し識別する（ステップ100）。最小の露光レベルが設定され（ステップ102）、１以上の画像が捕捉される（ステップ104）。画像はほとんどの制御された結果を与えるための内容をもたない。多数の画像は恐らく誤動作している画素の任意の一時的な不安定性を捕捉する。誤動作している画素は局所的に累積される（ステップ106）。カメラの最高の解像度と１対１の関係を有するマップはゼロに初期化される。任意の捕捉された画像中の画素が誤動作（明）するならば、マップ値は１に設定される。最小の露光レベルに到達すると（ステップ108）、累積されたマップは二進補正マップ110として出力され、マップは特定のＣＣＤカメラと関連付けされる（ステップ112）。最小の露光レベルに到達するまで、露光レベルはインクリメントされ（ステップ114）、ステップ104と106が反復される。論理累算の効果は各露光レベルに関連されている二進補正マップを「ＯＲ」することである。露光不足の画素は不安定であるため、これらは幾つかの露光レベルで正常に動作し、他のレベルで誤動作する可能性がある。ＯＲされた補正マップ110は通常は任意の特定の露光レベルで誤動作している画素の識別において過剰に包括的である。しかし前述した補正マップの提供に使用されることができる補正および検証ステップは特定の露光レベルで捕捉された画像の任意のシーケンス、およびある画素が十分に明るい内容によりマスクされるシーケンス中の任意の画像について過剰に画素が含まれることを除去しなければならない。このプロセスは各ＣＣＤカメラについて製造業者により反復され、ポストハウスによりアクセスされることができる目録中に記憶されなければならない。ワークステーションは捕捉されたメディアファイルからメタデータのような機構を使用してＣＣＤカメラの識別番号を受信し、補正マップを製造業者の目録から、例えばインターネットアクセス可能なデータベースを介してダウンロードする。

本発明の幾つかの例示的な実施形態が例示され説明されたが、多数の変化および別の実施形態が当業者により行われよう。このような変化および別の実施形態が考慮され、特許請求の範囲により限定されている本発明の技術的範囲から逸脱せずに行われることができる。

Claims

デジタルＣＣＤカメラで捕捉された動画から静的パターンを除去する方法において、
デジタルＣＣＤカメラにより捕捉されたデジタル動画のシーケンスを受信し、
誤動作している露光不足のＣＣＤ画素の補正マップを与え、
誤動作している露光不足のＣＣＤ画素の影響を減少するために補正マップをデジタル動画に適用するステップを含んでいる方法。
ほぼ均一な露光レベルを有する画像において、補正マップを与えるステップは、
濾波された画像を与えるためにシーケンスの各画像をハイパス濾波し、
多値にされた補正マップを生成するために濾波された画像を平均するステップを含んでいる請求項１記載の方法。
さらに、二進補正マップを生成するために多値にされた補正マップをしきい値処理するステップを含んでいる請求項２記載の方法。
補正マップを適用するステップは、
ＣＣＤカメラの目録についてオフラインで二進補正マップを生成し、
画像のシーケンスを捕捉するために使用される特定のＣＣＤカメラを識別し、
その特定のＣＣＤカメラの二進補正マップをダウンロードするステップを含んでいる請求項１記載の方法。
補正マップを各画像に適用するステップは、
画像中の誤動作している露光不足の画素を識別するために、補正されたマップ又はその変化を画像又はハイパス濾波されたバージョンの画像に対して相関させ、
画素の出力値を補正された出力値で置換するため画像中の各識別された誤動作している露光不足の画素を空間濾波するステップを含んでいる請求項１記載の方法。
補正マップを各画像に適用するステップは、
画素の出力値を補正された出力値と置換するために補正マップにより識別されたとき画像中の誤動作している露光不足の各画素を空間濾波するステップを含んでいる請求項１記載の方法。
補正マップは、機能している画素を示す第１の二進値と、誤動作している露光不足の画素を示す第２の二進値とを有する二進マップである請求項６記載の方法。
補正マップは、誤動作している露光不足の画素の輝度の尺度である画素出力値を有する多値にされたマップである請求項１記載の方法。
補正マップを各画像に適用するステップは、
画像から誤動作している露光不足の画素の出力値を差し引くステップを含んでいる請求項８記載の方法。
全体的な補正マップの全ての出力値は画像から差し引かれる請求項９記載の方法。
さらに、差し引きステップの前に、
画像中の誤動作している露光不足の画素を識別するために、補正マップ又はその変形を画像又はハイパス濾波されたバージョンの画像に対して相関させるステップを含んでいる請求項９記載の方法。
デジタルＣＣＤカメラによって捕捉された動画から静的パターンを除去する装置において、
デジタルＣＣＤカメラにより捕捉されたデジタル動画のシーケンスを受信するための第１のコンピュータ手段と、
誤動作している露光不足のＣＣＤ画素の補正マップを与えるための第２のコンピュータ手段と、
誤動作している露光不足のＣＣＤ画素の影響を減少するために補正マップをデジタル動画に与えるための第３のコンピュータ手段とを具備している装置。
前記第２および第３のコンピュータ手段はユーザの介入なく自動的にデジタル動画へ補正マップを提供し、適用する請求項１２記載の装置。
前記第２のコンピュータ手段は、シーケンス中の各画像をハイパス濾波し、誤動作している露光不足の画素の輝度の尺度である画素出力値を有する多値にされた補正マップを生成するため濾波された画像を平均し、前記第３のコンピュータ手段は誤動作している露光不足の画素の出力値を画像から差し引く請求項１２記載の装置。
前記第３のコンピュータ手段は、全体的な補正マップの全ての出力値を画像から差し引く請求項１４記載の装置。
前記第２のコンピュータ手段は、前記シーケンス中のデータから画像のシーケンスを捕捉するために使用される特定のＣＣＤカメラを識別し、特定のＣＣＤカメラに対する二進補正マップをダウンロードする請求項１２記載の装置。
第３のコンピュータ手段は、最初に画像中の誤動作している露光不足の画素を識別するため、補正されたマップ又はその変形を各前記画像又はハイパス濾波されたバージョンの画像に対して相関し、その後識別された画像を補正する請求項１２記載の装置。
第３のコンピュータ手段は、画素の出力値を補正された出力値で置換するために各前記画像中の各識別された誤動作している露光不足の各画素を空間濾波する請求項１７記載の装置。
デジタルＣＣＤカメラにより捕捉された動画から静的パターンを除去する方法において、
ほぼ均一な露光レベルでデジタルＣＣＤカメラにより捕捉されたデジタル動画のシーケンスを受信し、
濾波された画像を与えるためシーケンス中の各画像をハイパルス濾波し、
誤動作している露光不足のＣＣＤ画素の補正マップを生成するために濾波された画像を平均し、
誤動作している露光不足のＣＣＤ画素の影響を減少させるために補正マップをデジタル動画に適用するステップを含んでいる方法。
補正マップを各画像へ適用するステップは、画像中の誤動作している露光不足の画素を識別するために、補正マップ又はその変形を画像又はハイパス濾波されたバージョンの画像に対して相関させるステップを含んでいる請求項１９記載の方法。
補正マップを各画像に適用するステップはさらに、画素の出力値を補正された出力値と置換するために画像中の識別された誤動作している露光不足の各画素を空間濾波するステップを含んでいる請求項２０記載の方法。
補正マップは、誤動作している露光不足の画素の輝度の尺度である画素出力値を有する多値にされたマップであり、補正マップを各画像に適用するステップはさらに誤動作している露光不足の画素の出力値を画像から差し引くステップを含んでいる請求項２０記載の方法。
デジタルＣＣＤカメラにより捕捉された動画から静的パターンを除去する方法において、
ほぼ均一な露光レベルで既知のＣＣＤカメラにより捕捉されたデジタル動画のシーケンスを受信し、
既知のＣＣＤカメラに対して誤動作している露光不足のＣＣＤ画素の補正マップを検索し、
誤動作している露光不足のＣＣＤ画素を置換するためオリジナル画像を選択的に空間濾波するために補正マップを使用するステップを含んでいる方法。
さらに、ＣＣＤカメラの目録について補正マップを生成し、
インターネットアクセス可能なデータベース中に補正マップを記憶し、
既知のＣＣＤカメラを識別する画像のシーケンス中にデータを挿入し、
識別されたＣＣＤカメラの補正マップをインターネットアクセス可能なデータベースからダウンロードするステップを含んでいる請求項２３記載の方法。
さらに、空間濾波の前に、画像中の誤動作している露光不足の画素を識別するために、補正マップ又はその変形を画像又はハイパス濾波されたバージョンの画像に対して相関させるステップを含んでいる請求項２３記載の方法。
デジタルＣＣＤカメラにより捕捉された動画から静的パターンを除去する方法において、
デジタルＣＣＤカメラにより捕捉されたデジタル動画のシーケンスと誤動作している露光不足のＣＣＤ画素の補正マップとを記憶する記憶装置と、
誤動作している露光不足のＣＣＤ画素の影響を減少させるために補正マップをデジタル動画へ与えるように構成されたプロセッサとを具備している装置。
プロセッサは、デジタル動画のシーケンスから自動的に補正マップを生成し、その後ユーザの介入なしに各画像へ自動的に補正マップを適用するように構成されている請求項２６記載の装置。
プロセッサは、補正マップを生成するためにシーケンス中の各画像をハイパス濾波し、濾波された画像を平均するように構成されている請求項２７記載の装置。
補正マップは誤動作している露光不足の画素の輝度の尺度である画素出力値を有し、前記プロセッサは前記各画像から誤動作している露光不足の画素の出力値を差し引くように構成されている請求項２８記載の装置。
前記プロセッサは画素の出力値を補正された出力値と置換するために、前記各画像中の識別された誤動作している露光不足の各画素を空間濾波するように構成されている請求項２８記載の装置。
デジタルＣＣＤカメラにより捕捉された動画から静的パターンの除去を行うようにプロセッサをエネーブルするために記録されているコンピュータプログラム論理を有するコンピュータの使用可能な媒体を具備するコンピュータプログラムプロダクトにおいて、コンピュータプログラムは、
デジタルＣＣＤカメラにより捕捉されたデジタル動画のシーケンスに対して誤動作している露光不足のＣＣＤ画素の補正マップを与えるようにプロセッサを構成する第１の手順と、
誤動作している露光不足のＣＣＤ画素の影響を減少するために補正マップをデジタル動画に適用するようにプロセッサを構成する第２の手順とを具備しているコンピュータプログラムプロダクト。
前記第１および第２の手順は、デジタル動画のシーケンスから補正マップを自動的に生成し、その後ユーザの介入なしに各画像へ補正マップを自動的に適用するようにプロセッサを構成する請求項３１記載のコンピュータプログラムプロダクト。
第１の手順は、補正マップを生成するためにシーケンス中の各画像をハイパス濾波し、濾波された画像を平均するようにプロセッサを構成する請求項３２記載のコンピュータプログラムプロダクト。
補正マップは誤動作している露光不足の画素の輝度の尺度である画素出力値を有し、前記第２の手順は誤動作している露光不足の画素の出力値を各前記画像から差し引くようにプロセッサを構成する請求項３２記載のコンピュータプログラムプロダクト。
前記第２の手順は、画素の出力値を補正された出力値と置換するために前記各画像の各識別された誤動作している露光不足の各画素を空間濾波するようにプロセッサを構成する請求項３２記載のコンピュータプログラムプロダクト。