JP2012513716A - 機械シャッターをエミュレートすることによって画像を取り込むための方法およびデバイス - Google Patents

Abstract

画像を取り込むために、この画像の画像感知期間は、複数の連続する照明期間に細分され、画像取り込むためにそれぞれのピクセルに割り当てられている値は、前記連続する照明期間のそれぞれにわたるこのピクセルの照明の強度の積分の総和である。本発明によれば、機械シャッターをエミュレートするために、この総和はアポダイゼーション関数によって重み付けされる。デジタル画像処理の時間的エイリアシング問題および時間的リンギングアーチファクトの発生が防止されるか、または少なくとも制限される。

Description

本発明は、画像キャプチャデバイス、特にカムコーダデバイスに適用される。

ビデオキャプチャにおいてよく知られている問題としては、例えば、螢光の下で撮影したり、コンピュータモニタ画面を注視しているときに、目に見えるフリッカ効果が出現したりすることがある。ビデオキャプチャデバイスをシャッターとともに使用する場合、シャッターの同期により、通常、そのようなアーチファクトが除去されうる。一般的に機械シャッターを備えていないデジタルカムコーダを使用する場合、電子シャッターによってなされる光センサにおける入射光子の突然の時間的トランケーション（ｔｒｕｎｃａｔｉｏｎ：打ち切り）によってアーチファクトが引き起こされる可能性がある。この挙動は、動きボケアーチファクトが増大することにも関わる。

技術が改良されていくにつれ、ビデオカメラのシャッターの電子制御機能の開発が大きく進展した。シャッターを制御することで、例えば、画像内に、またはビデオフレーム内に記録される動きの量を、取得前に露光時間を制限することによって制御することができる。露光時間は、カメラの電子センサのサンプリング時間を制限することによって決定される。そのような制御は、機械的な動作がなく完全に電子的であるので、この制御は、非常に正確で、信頼性が高いものとしてよい。しかし、デジタル信号処理理論の観点からは、超高速な「２値」（完全開／完全閉）動作を行うため、電子シャッターには非線形性が関わる時間的不安定性の問題が出現する可能性があり、時間領域におけるセンサ照射の突然のトランケーションが、期せずして、信号処理理論において「ギブス」現象と呼ばれている時間的リンギングアーチファクトを発生させることになる。

空間領域では、このような突然のトランケーションの効果は、例えば、レンズまたは光学フィルタの幾何学的限界としてよく知られている。このような効果は、例えば、回折パターンのサイドローブとしてよく知られている空間的アーチファクトである。このようなアーチファクトは、例えば、いわゆる「アポダイズされた（ａｐｏｄｉｚｅｄ）」光学フィルタを使用することによって回避できる。アポダイゼーションは、文字通り、「足（ｆｏｏｔ）を取り除くこと」を意味する。これは、数学関数の形状を変えることに関する技術的用語である。テーパリングとも呼ばれる。光学設計の専門用語で言うと、光学系の入力強度プロファイルを意図的に変えるために、アポダイゼーション関数が使用されるということである。この技術は、古典的には、回折パターンのサイドローブを取り除くために光学系内で使用されている。

画像キャプチャデバイスまたは光学系のコンポーネント（レンズ、フィルム、画像センサ、スキャナ、拡大レンズなど）の鮮明さは、空間周波数応答とも呼ばれる、変調伝達関数（ＭＴＦ）と称されるパラメータによって特徴付けられる。レンズのＭＴＦを改善するために、アポダイズされたフィルタを追加してアポダイズされたレンズ口径（ａｐｏｄｉｚｅｄ ｌｅｎｓ ａｐｅｒｔｕｒｅ）（またはアポダイズされたストッパー（ａｐｏｄｉｚｅｄ ｓｔｏｐ））を得る方法がよく知られており、特許文献１によれば、「完全にアポダイズされた開口は光透過率Ｔがガウス曲線としてその半径ｘにそって変化する」ということである。

静止画像を取り込むためには、長時間露光を使用することが知られている。長時間露光は、ビデオシーケンスには適していない。また、そのような長時間露光を複数の連続する短時間露光に分配し、これらの複数の露光を積分することで長時間露光を得る方法も知られている。このような積分または平均化を、長い露光時間の中心近くの異なる露光をより強く重み付けする、ガウシアンなどの時間窓関数とすることも可能である。例えば、非特許文献１を参照されたい。

米国特許出願公開第２００７／１３９７９２号明細書

http://en.wikipedia.org/wiki/Multiple exposure

時間領域では、特にビデオシーケンスの取り込み、つまり、特に動いている物体があるシーンの連続する画像の取り込みでは、少なくとも２種類の時間的リンギングアーチファクトが発生する可能性がある、つまり、
−例えば、螢光条件の下でシーンを取り込むとき、特にビデオキャプチャデバイスのシャッター周波数、例えば６０Ｈｚが、例えばヨーロッパでは５０Ｈｚの照明用のＡＣ電源の周波数に干渉するときの連続するフレームまたは画像間のフリッカ効果が発生し（このような状況では、静止画像の取り込みは光利得の設定の問題にすぎない）、
−同様に、このようなシーンにおける物体の移動には時間周波数のそれ独自のスペクトルがあるので、これらの周波数のうちのいくつかとビデオキャプチャデバイスのシャッター周波数との干渉により、上記のギブス現象に類似のアーチファクトが発生する。

本発明の目的は、特に移動する物体のあるシーンを取り込むためにデジタルビデオ画像キャプチャデバイスを使用したときに一般的に発生するこれらの時間的リンギングアーチファクトを回避するか、または少なくとも制限することである。

この目的のために、本発明は、移動する物体を含むシーンの連続する画像を取り込むビデオ用のデバイスを対象とし、前記デバイスは、ピクセルのアレイから作られかつ前記ピクセルの照明の強度と持続時間との組み合わせを表す読み出し信号を供給することによってこれらのピクセルのそれぞれの感知が可能な活性表面を有する少なくとも１つの画像感知デバイスと、前記活性表面を照射するなどのために前記活性表面上に前記シーンの前記画像を連続的に形成することができる光学系と、前記画像感知デバイスを駆動し、前記ビデオキャプチャ用にそれぞれの形成された連続する画像のそれぞれのピクセルに値を割り当てることができる駆動手段とを備え、前記活性表面の照明の画像感知期間が前記ビデオキャプチャ用に予め決められている場合に、前記駆動手段は、
−前記画像感知期間を複数の連続する照明期間に細分し、
−前記画像のそれぞれについて、それぞれのピクセルに、前記連続する照明期間のそれぞれについてこのピクセルによってもたらされる読み出し信号の総和を割り当てるように適合され、前記総和はアポダイゼーション関数によって重み付けされる。

画像感知期間は、取り込むシーンのそれぞれの画像の露光時間に対応する。好ましくは、前記画像感知期間は、６０ｍｓ未満であり、これは、ビデオシーケンスの取り込みのための共通の要求条件である。

画像感知デバイスは、例えば、ＣＣＤ撮像装置またはＣＭＯＳ撮像装置とすることができる。一般に、撮像装置のそれぞれのピクセルは、光センサである。

画像感知デバイスによって送られる読み出し信号は、電圧またはデジタル信号とすることができる。電圧は、一般的に、総和および重み付けの前にデジタル値に変換される。

光学系は、一般に、対物レンズを備え、また、特にビデオ画像キャプチャデバイスが複数の画像感知デバイスを、一般的には赤色および緑色ならびに青色の３原色のそれぞれに対し画像感知デバイスを１つ備えるときに、プリズムを備えることができる。

本発明により、時間的エイリアシング問題および時間的リンギングアーチファクトが、ビデオシーケンスの取り込みに対し、防止されるか、または少なくとも制限される。

そこで、本発明では、利得制御が時間シーケンス化されている新しい画像センサデバイスマトリックス読み出しスキームを提案し、これにより、電子シャッターのトランケーション（または「アポダイゼーション」）動作を改善する。本発明のビデオ画像キャプチャデバイスの駆動手段によって実装されるこのような読み出しスキームを用いることで、有利には、機械シャッターをシミュレートまたはエミュレートすることが可能にある。実際のところ、図１に例示されているように、機械シャッターを有するビデオ画像キャプチャデバイスは、シャッターが光束の開始および停止（または開閉）を徐々に行うので、本質的にアポダイズされたシャッターを有する。図２は、図１の線図の対応する時間周波数応答を例示している。

デジタルビデオ画像キャプチャデバイスは、画像感知デバイスとして使用されるＣＣＤ撮像装置のフレーム積分期間に一般的に対応する、「電子シャッター」を有する。このような電子シャッターは、図３に示されている矩形の関数によって例示されているように光束を突然開閉し、これは、代数的に

として表される。図４は、図３の線図の対応する時間周波数応答を例示しており、これは代数的には、カーディナル正弦関数ｓｉｎｃ（πｆＴ）である。この図は、図２と比較してかなり高い大きさのサイドローブ効果を示している。かなり大きなそのようなサイドローブ効果は、特に人間の目の周波数感度範囲内にある（つまり、５０Ｈｚ未満の）とき、非常に煩わしく感じられる場合がある。結局のところ、電子シャッターの動作の主な目的は、露光不足／過多の問題、つまり、画像感知期間が長すぎたり短すぎたりする問題が発生することを防ぐことであるけれども、その時間積分特性は、期せずして、プリサンプリングローパスフィルタとして動作させることになり、これにより、時間的エイリアシング問題の発生も防ぐ。このような時間的フィルタの−３ｄＢのカットオフ周波数ｆ_cは、式

により、露光時間または画像感知期間に直接関係することがわかる。

ｓｉｎｃ（．）関数は多項式であること（これは急速に収束する冪級数表現を持つ）、および上記の式のルートの粗い近似がｆ_c＝１／２Ｔであることを知ると、この式を、ニュートン−ラプソン反復法を使用して数値的に解き、ルート

を求めることができる。

例えば、シャッター速度Ｔ＝１／５０（ＰＡＬカムコーダにおける標準構成に対応する）は、ｆ_c＝２２．１５Ｈｚのカットオフ周波数を持つローパスフィルタを生成し、これにより、この場合、閾値

を超える高調波が除去され、５０Ｈｚ（１／Ｔ）を超える無限大の除去比（−∞ｄＢ）が保証されるため、エイリアシング問題の発生が防止される。

ビデオシーケンスのそれぞれの画像を取り込むときの露光時間または画像感知期間においてビデオ画像感知デバイスの応答をアポダイズするためにアポダイゼーション関数を使用すれば、ローパスフィルタによるフィルタリング効果がさらに改善され、サイドローブ効果は回避されるか、または少なくとも制限される。本発明を具現化するために、いくつかのアポダイゼーション関数を使用することができる。ｒｅｃｔ（．）関数（上記参照）とは異なり、これらのアポダイゼーション関数は、取り込まれた光の積分の始まりおよび終わりにゼロに滑らかに近づくため、非線形性が関わる不安定性の発生を防げる。図５は、ハニングアポダイゼーション関数を例示しており、図６に例示されている対応する時間周波数は、図４と比較した下側サイドローブ効果を示している。図７は、ブラックマンアポダイゼーション関数を例示しており、図８に例示されている対応する時間周波数は、図４と比較した下側サイドローブ効果を示している。図９は、二乗余弦アポダイゼーション関数を例示しており、図１０に例示されている対応する時間周波数は、ここでもまた、図４と比較した下側サイドローブ効果を示している。これからわかるように、「足元」ではトランケーションプロセスは滑らかであるため、そのような関数は、周波数領域内のサイドローブ効果を制限することができる。サイドローブが減少するにつれ、帯域幅における利得も減少する傾向を示すが、この利得損失は、一般的に、カムコーダ内に通常は埋め込まれる自動利得制御（ＡＧＣ）機能を使用して補正されうる。

好ましくは、前記読み出し信号は、ピクセルの照明の強度の、このピクセルの照明の持続時間にわたる積分に比例する。その結果、照明の強度と持続時間の組み合わせが、この積分によって表される。

好ましくは、前記駆動手段は、前記所定の画像感知期間に応じて連続する照明期間の数を変えるようにも適合される。画像感知デバイスの読み出し速度は、連続する照明期間のこの数に対する制限となりうる。この状況では、非常に短い画像感知期間に対し、この数は、４程度と小さいものとしてよいが、それよりも長い画像感知期間に対しては、この数は、８以上としてよい。

好ましくは、前記アポダイゼーション関数は、ハニングアポダイゼーション関数、ブラックマンアポダイゼーション関数、および二乗余弦アポダイゼーション関数からなる群のうちから選択される。

本発明は、移動する物体を含むシーンの連続する画像を取り込むための方法も対象とし、それぞれの画像は画像感知期間において取り込まれ、この方法は、
−前記画像感知期間を複数の連続する照明期間に細分するステップと、
−前記連続する画像のそれぞれについて、前記画像のそれぞれのピクセルに、前記連続する照明期間のそれぞれにわたってこのピクセルの照明の強度の積分の総和に比例するか、または等しい値を割り当てるステップとを含み、前記総和はアポダイゼーション関数によって重み付けされる。

本発明は、非限定的な例を用い、付属の図を参照し、以下の説明を読むことで、より明確に理解される。
機械シャッターの時間挙動を例示する図である。 この機械シャッターの対応する時間周波数を例示する図である。 通常の電子シャッターの挙動を表す矩形関数を例示する図である。 この関数の時間周波数を例示する図である。 本発明の主要な実施形態に使用されるハニングアポダイゼーション関数を例示する図である。 この関数の対応する時間周波数を例示する図である。 本発明を実装するために使用できるブラックマンアポダイゼーション関数を例示する図である。 この関数の対応する時間周波数を例示する図である。 本発明を実装するために使用できる二乗余弦アポダイゼーション関数を例示する図である。 この関数の対応する時間周波数を例示する図である。 本発明の主要な実施形態で使用されるようなそれぞれの照明期間に対するこの関数の近似−アポダイゼーション係数−を持つ本発明の主要な実施形態に使用されるハニングアポダイゼーション関数を例示する図である。 本発明の主要な実施形態で使用されるビデオ画像感知デバイスの読み出しスキームの第１の実装を示す図である。 本発明の主要な実施形態の一変更形態として使用されうるビデオ画像感知デバイスの読み出しスキームの第２の実装を示す図である。

この説明では、本発明の原理を例示する。したがって、当業者であれば、本明細書では明示的に説明されるか、または示されていないけれども、本発明の原理を具現化し、本発明の精神および範囲に含まれるさまざまな配置を考案することができることは理解されるであろう。

本発明の主要な実施形態によるビデオ画像キャプチャデバイスは以下のものを備える。
−画像感知デバイスとしてのＣＣＤ撮像装置。このＣＣＤ撮像装置は、ピクセルのアレイからなる活性表面を有し、動作時、および照明の下で、このＣＣＤ撮像装置は、これらのピクセルのうちのそれぞれのピクセルを、このピクセルの照明持続時間にわたってこのピクセルの照明の強度の積分に比例する読み出し信号を供給することによって感知する
−ＣＣＤ撮像装置の活性表面を照らすために、ＣＣＤ撮像装置の活性表面上にオブジェクトフィールド（ｏｂｊｅｃｔ ｆｉｅｌｄ）の画像を形成することができる光学系の一部としての対物レンズ
−光学系によってこのＣＣＤ撮像装置の活性表面上に形成された連続する画像を取り込むためにＣＣＤ撮像装置を駆動することができる駆動手段。これらの駆動手段は、ＣＣＤ撮像装置によって供給されるピクセル値を格納するための少なくとも１つの画像バッファ、アポダイゼーション係数を格納するためのシフトレジスタ（詳細は下記参照）、および総和、乗算などの一組の演算子を備える
駆動手段は、以下の方法により連続する画像を取り込むように適合される。本発明の重要な特徴は、特に、少なくとも１つのアポダイゼーションステップを通常のデジタルシャッタープロセスに追加することである。この特定の実施形態では、使用されるアポダイゼーション関数は、ハニング関数であり、生じるサイドローブ効果は非常に小さい（３０ｄＢを超えるギャップはメインローブから第１のサイドローブまでの間である）。本発明を実装するために、他のアポダイゼーション関数または窓を使用することができる。ハニングアポダイゼーション用の装置関数は、代数的に

のように書くことができる。

与えられたピクセルの受信ビデオ信号ｘ（ｔ）のアポダイゼーション対応シャッタープロセスの代数的な表現は、

のように表される。

式２を実装するために、われわれは、連続する画像のそれぞれのピクセルについて、ＣＣＤ撮像装置（とにかくＣＭＯＳ撮像装置のような）はこのピクセルの照明の持続時間にわたって積分された受信照明信号の一部分しか供給しないという事実を考慮に入れなければならない。この制限は、これらの撮像装置の通常の読み出し電子回路に由来する。本発明のこの実施形態では、連続する画像のうちのそれぞれの画像の露光時間、つまり、画像感知期間は、８つの等しい部分、つまり、８つの連続する照明期間に分割される。連続する照明期間の数は、一般的に、撮像装置の読み出し速度およびノイズロバストの可能性によって制限される。重み付けの一定の係数を抽出して、連続する照明期間のそれぞれに対するハニング関数を近似すると、駆動手段によってそれぞれのピクセルに割り当てられている値の分解が

のように行われるが、ただし、図１１に例示されているように、第１項は与えられた照明期間ｎに対するハニング関数

の近似であり、第２項はこのピクセルについてＣＣＤ撮像装置によって与えられる値、つまり、この与えられた照明期間にわたるこのピクセルの照明信号の積分である。したがって、それぞれのピクセルに、前記連続する照明期間のそれぞれについてこのピクセルによってもたらされる読み出し信号（第２項）の総和が割り当てられ、この総和はハニングアポダイゼーション関数によって重み付けされる（第１項）。

表１は、０から７と参照番号が振られている、それぞれの照明期間に対するハニング関数の近似の値（および分数近似）が時間シーケンス化された利得制御としてシャッター動作時に適用されるものとして示している。そこで、ハニング関数のそれぞれの近似は、アポダイゼーション係数とも呼ばれる重み付け係数である。

次に、図１２を参照して、表１による時間シーケンス化された利得制御の読み出しスキームの第１の実装について説明する。この読み出しスキームを実装するために、新しいクロック信号が定義され、これは、アポダイゼーション係数の個数（この場合には８）により一様に分割されたシャッターアップ信号に等しい。連続する画像の取り込みを開始する前に、画像バッファは空である。クロックサイクル毎に、画像感知デバイスによって供給される読み出し信号が読み込まれ、次いで、適切なアポダイゼーション係数が掛けられ、画像バッファ内の現在のバッファ値に加えられ、その同じバッファ内に新しい値として格納される。画像感知期間の終わりに対応する最後の照明期間の終わりに、画像バッファが読み出されて取り込まれている画像が取り出され、画像バッファは、次の画像もしくはフレームの取り込みのためクリアされる。

上記の読み出しスキームは、撮像装置の放出とともに読み出すという挙動に関して定義され、したがって、ＣＣＤ撮像装置とＣＭＯＳ撮像装置の両方に適用することができる。

次に、図１３を参照して、１つのバッファの代わりに２つの画像バッファＢｕｆｆｅｒ１、Ｂｕｆｆｅｒ２を使用する、表１による時間シーケンス化された利得制御の読み出しスキームの第２の実装について説明する。この読み出しスキームは、シャッターサイクルフレーム毎に１回だけ放出すればよく、したがって、ノイズロバスト性が改善されるが、その有用性はＣＭＯＳ撮像装置のみに限定される。この読み出しスキームを実装するために、新しいクロック信号が定義され、これは、アポダイゼーション係数の個数（この場合には８）により一様に分割されたシャッターアップ信号に等しい。画像の取り込みを開始する前では、画像バッファＢｕｆｆｅｒ１およびＢｕｆｆｅｒ２は空である。クロックサイクル毎に、画像感知デバイスによって供給される読み出し信号が読み込まれ、Ｂｕｆｆｅｒ１に格納されている値から引き、適切なアポダイゼーション係数が掛けられ、次いで、現在のＢｕｆｆｅｒ２値に加えられ、その同じバッファ内に新しい値として格納される。そのうちに、画像感知デバイスによって供給されるピクセル値も、Ｂｕｆｆｅｒ１に格納される。画像感知期間の終わりに対応する最後の照明期間の終わりに、画像バッファＢｕｆｆｅｒ２が読み出されて取り込まれている画像が取り出され、２つの画像バッファが、次の画像もしくはフレームの取り込みのためクリアされる。

アポダイゼーション係数を使用するこれらの特定の読み出しスキームにより、時間的エイリアシング問題および時間的リンギングアーチファクトの発生は、連続する画像を含む取り込まれているシーンにおいて防止されるか、または少なくとも制限される。

本発明の原理のこれらならびに他の特徴および利点は、当業者であれば、本明細書の教示に基づき容易に確認できる。本発明の原理の教示は、さまざまな形態のハードウェア、ソフトウェア、ファームウェア、専用プロセッサ、またはそれらの組み合わせで実装することができることは理解されるであろう。

上記の例示的な実施形態は、本明細書では付属の図面を参照しつつ説明されているが、本発明の原理は、この正確な実施形態に制限されるわけではなく、また当業者であれば、さまざまな変更および修正を行うことも可能であることを理解するであろう。このような変更および修正はすべて、付属の請求項で定められているとおり、本発明の原理の範囲内に含まれることが意図される。

Claims (8)

1. 移動する物体を含むシーンの連続する画像を取り込むビデオ用のデバイスであって、前記デバイスは、ピクセルのアレイから作られかつ前記ピクセルの照明の強度と持続時間との組み合わせを表す読み出し信号を供給することによってこれらのピクセルのそれぞれの感知が可能な活性表面を有する少なくとも１つの画像感知デバイスと、前記活性表面を照射するなどのために前記活性表面上に前記シーンの前記画像を連続的に形成することができる光学系と、前記画像感知デバイスを駆動し、前記ビデオキャプチャ用にそれぞれの形成された連続する画像のそれぞれのピクセルに値を割り当てることができる駆動手段とを備え、
   前記活性表面の照明の画像感知期間が前記ビデオキャプチャ用に予め決められている場合に、前記駆動手段は、
   −前記画像感知期間を複数の連続する照明期間に細分し、
   −前記画像のそれぞれについて、それぞれのピクセルに、前記連続する照明期間のそれぞれについてこのピクセルによってもたらされる前記読み出し信号の総和を割り当てるように適合され、前記総和はアポダイゼーション関数によって重み付けされることを特徴とするデバイス。
2. 前記画像感知期間は、６０ｍｓ未満であることを特徴とする請求項１に記載のビデオ画像キャプチャデバイス。
3. 前記読み出し信号は、ピクセルの照明の強度の、このピクセルの照明の持続時間にわたる積分に比例することを特徴とする請求項１または２に記載のビデオ画像キャプチャデバイス。
4. 前記駆動手段は、前記所定の画像感知期間に応じて連続する照明期間の数を変えるようにも適合されることを特徴とする請求項１から３のいずれかに記載のビデオ画像キャプチャデバイス。
5. 前記アポダイゼーション関数は、ハニングアポダイゼーション関数、ブラックマンアポダイゼーション関数、および二乗余弦アポダイゼーション関数からなる群のうちから選択されることを特徴とする請求項１から４のいずれかに記載のビデオ画像キャプチャデバイス。
6. 移動する物体を含むシーンの連続する画像を取り込むための方法であって、それぞれの画像は画像感知期間において取り込まれ、
   −前記画像感知期間を複数の連続する照明期間に細分するステップと、
   −前記連続する画像のそれぞれについて、前記画像のそれぞれのピクセルに、前記連続する照明期間のそれぞれにわたってこのピクセルの照明の強度の積分の総和に比例するか、または等しい値を割り当てるステップとを含み、前記総和はアポダイゼーション関数によって重み付けされることを特徴とする方法。
7. 前記画像感知期間は、６０ｍｓ未満であることを特徴とする請求項６に記載の方法。
8. 前記アポダイゼーション関数は、前記ハニングアポダイゼーション関数、前記ブラックマンアポダイゼーション関数、および前記二乗余弦アポダイゼーション関数からなる前記群のうちから選択されることを特徴とする請求項６または７に記載の方法。

Images