JP2013504944A - 動画像から静止画像を取得するためのシステム及び方法 - Google Patents

Abstract

本発明は、他の公知の方法、例えば等価露光時間インターバルで動作するコード化露光ぼけ除去（フラッターシャッター）によって取得された画像と比較してより簡便にぼけ除去できるシーンの動画像を取得するためのシステムと方法を提供する。露光時間インターバルにわたり光の測定の積分を停止および開始する代わりに、光生成電流がぼけ逆変換に対する解の条件を最適化する一時的切替えパターンに従って多数の電荷ストレージサイト間で切り替えられる。画像強度信号をストレージサイト間で切り替えることによって、露光時間インターバル中に利用可能な光エネルギーは全部電荷に変換されて捕捉され、一時的に分解された動画像の再現を形成する。等価露光時間インターバルにわたり利用可能な画像強度信号の約半分を放棄する関連方法と比較すると、そのような一時的に分解された画像は動画像をはるかに完全に表現し、単純な線形デコンボリューション技術を用いてより効果的にぼけ除去できる。

Description

本発明は、動画像から静止画像を取得するためのシステム及び方法に関する。

電子撮像システムを有するカメラで動いているシーンの静止画像を捕捉することがしばしば所望される。従来の電子撮像システムは、レンズの焦点面に配置されてシーンの光学画像を受け取る電子ピクセル列を有する方形イメージセンサを有する。電子ピクセルは入射光エネルギーを電位に変換する感光素子を有する。たいていのピクセルはストレージキャパシタンスに所定の時間にわたって蓄積する電荷を提供することによって動作する。各ストレージキャパシタンスは露光時間中にピクセルに到達する総光エネルギーに比例する電圧を呈示する。シーンを有用に表現する画像を捕捉するために、電子イメージセンサにおいて、雑音の作用から十分に識別可能であるピクセル出力電圧を生成するために露光時間は十分長くなければならない。通常モーションブラーとして知られている捕捉された画像の歪みは、露光時間中にイメージセンサに対して光学画像を形成する観察されたシーンに動きがあるときに起こる。捕捉されてピクセル値をシーン内で観察された対象物の点から発する光に理想的には一意的にマッピングする静止画像とは異なり、モーションブラー画像では少なくとも若干のピクセル値は、露光時間インターバルでシーンの複数の点から発する光強度の積分の関数である。

モーションブラーの問題に対する非常に一般的な方策は、多露光時間を短縮し、それによって捕捉された画像における動きの影響を無視し得るようにすることである。これは、光学画像が一般的に上述した信号雑音制約を満足させるのに十分な光エネルギーを処理する限りで実行可能な方策である。これにより、当該シーンに非実用的な量の照明の使用および／または画像の被写界深度に不利に影響する大きいレンズ口径の使用が求められることがある。露光時間を十分短縮できない場合、代替的方策はイメージセンサの動きを画像の動きに同期化することである。この方策は共有された外部基準座標系を使用する同期化、例えば手持ちカメラ内のイメージセンサの慣性安定化またはラインスキャンカメラの時間遅延積分のエンコーダ同期化を簡便にすると良く機能する。

しかしながら、光学画像が短い露光時間を可能にするのに十分な光エネルギーを処理しない場合および／またはイメージセンサの動きが光学画像の動きと実用的に同期化しない場合がある。そのような応用において、ある程度のモーションブラー（本明細書では「ぼけ画像」または「ぼけた画像」とも呼ぶ）によって歪められた画像を捕捉することは避けられず、ぼけ除去アルゴリズムを用いて捕捉された画像データから静止画像表現を抽出する計算処理によってのみ静止画像に到達することができる。

上述したように、光学画像を形成するシーンにおいて観察された対象物上の点から発する光が露光時間中にイメージセンサに対して動くとモーションブラーが発生する。そのような点源によってイメージセンサ内に作られるパターンは、点像分布関数（ＰＳＦ）として知られている。画像を横断する点像分布関数の集合は、ぼけ変換を定義する。ぼけ除去アルゴリズムはぼけ変換を評価してぼけ逆変換を求め、このぼけ逆変換を捕捉された画像データに適用して静止画像に到達する。

理論的には、完全に補正され得る点像分布関数が画像を横断する。そうであるならば、捕捉された画像のぼけ除去は事実上不可能である。実用においてぼけ除去アルゴリズムは、多数の単純化の仮定を行う。例えば一般に、点像分布関数は周知であり、および／または画像全体もしくは画像の大部分で空間的に不変であると仮定する。

このように単純化しても、ぼけ逆変換の良好な解に至るのは困難か不可能である。その理由は、露光時間にわたるイメージセンサに対する相対的な画像の動きが低域ボックスフィルタとして動作し、有意な空間情報を回復できない程に破壊する（または著しく減衰する）からである。このようなフィルタに対して近似逆を創出することは可能であるが、この逆数は著しく減衰した情報または失われた情報を再構成しようとするために、不良条件であることが知られている入力データに対して非常に敏感になる。ぼけ逆変換に対する解が不良条件であるときは、ぼけた画像がどのように形成されたかに関する仮定のわずかな違いにより、変換解を適用する結果として生じる静止画像内に捕捉された画像の視等級と非常に不釣り合いな誤差が起こり得る。捕捉された画像はぼけ変換に依存しない雑音項を常に含んでおり、これが帰結する静止画像に不正確を招く。例えば静止画像は固定パターン雑音または一時的雑音を含むことがある。固定パターン雑音はしばしばセンサ内のピクセル間の転送ゲート効率またはストレージキャパシタンスの相違に起因する。一時的雑音はしばしば光検出器内のショットノイズまたは増幅器の雑音が原因で起こる。ぼけ除去アルゴリズムは典型的にこの問題に対処するために、捕捉された画像内の独自の雑音成分のフィルタリングを試みるか、またはぼけ逆変換の条件を改善する点像分布関数に修正を強いる。

たいていのぼけ除去アルゴリズムは当初のぼけ変換に影響を与える能力を前提としない。そのようなアルゴリズムは、程度の差はあれ、デジタル入力画像と、非常に一般的な画像雑音に関する先天的期待によって動作するのみである。そのようなアルゴリズムは、実際にはぼけ逆変換に対する不良条件の解から雑音の影響を分離しようとすることに制限されるが、これ自体が極めて困難な問題である。

当業界は画像の動きを入力として評価できる類のアルゴリズムを提供し、この評価を種々のぼけ除去アルゴリズムによって静止画像を導く補助に使用できることに留意すべきである。例えば、ベン・エズラ他は画像の動きを評価するために補助的な動き検出器を用い、上述したように、この評価を動きに基づくモーションブラー除去のバックグラウンドとして静止画像を導くために援用する。モシャ・ベン・エズラとシュリー・Ｋ・ナイヤー「パターン分析と人工知能に関するＩＥＥＥ議事録」（第２６巻、第６号、２００４年６月）参照。

最近開発された別のぼけ除去アルゴリズムは、画像露光プロセスの制御を組み込んでいる。そのようなアルゴリズムの１つは多重露光の使用を含み、それによって総画像露光時間は捕捉された画像の良好な信号雑音を達成するために十分長くなり、点像分布関数の誘導された修正が条件の点で最適なぼけ逆変換を引き起こす。このような多重露光パターンを発見する方法は、ぼけ逆変換の十分に少ない条件数を生み出すパターンが発見されるまで種々の露光パターンを評価することを含む。多重露光プロセス自体は、露光時間インターバルにわたり光の測定の積分を繰り返し停止および開始することを含む。このような１つの方法の概要は、ラスカー他により公開された合衆国特許出願番号２００７／０２５８７０６Ａｌ「最適化された一時的符号化パターンを用いて画像ぼけを除去する方法」およびこれに関連する出願に記載されており、その教示内容は参照により有益な背景情報として本明細書に明確に組み入れられる。

上述した方法の１つの欠点は、修正された点像分布関数がぼけ逆変換の条件に実質的な影響を及ぼすためには、多数の露光動作周期が類似の数の露光非動作周期によって分離された種々の時間を有しなければならない点である。点像分布関数の大きさが増すに連れて、１以上の単純化の仮定が乱れる機会も増す。例えば、当該期間の持続時間は比較的短く、変化は露光期の持続時間より長い時間内で起こると考えられるので、シーンまたはシーン中の対象物の速度は露光期にわたり一定であると期待するのが普通である。露光時間の長さが増すに連れて、一定速度の仮定の堅牢性は減少する。点像分布関数が大きいとぼけ逆変換はより大きく境界条件の影響を受けるが、これは小さい点像分布関数と比較してぼけ逆変換が捕捉された画像の視界外にあるピクセルの状態により多く依存することを意味する。さらに、空間的不変性の単純化は大きさが点像分布関数に比例する境界で乱れるため、シーンに隣接する周囲とは異なる速度を有する対象物の正確なぼけ除去は、点像分布関数の相対的な大きさによって制限される可能性がある。すなわち、点像分布関数は画像の動いていない要素と動いている要素とでは一致せず、したがってより小さい隣接周囲に該当する点像分布関数が境界条件の作用を低減するために望ましい。

先行技術のぼけ除去アルゴリズム、特に積分を間欠的に開始および停止することの別の欠点は、与えられた露光期における光の量が減少することである。一般的にセンサの信号雑音制約を満足させるためにはレンズ口径を増さなければならず、それによりセンサに十分な光を提供して積分期内で容認できる画像を形成する。口径を増すと、撮像システムの被写界深度に不利な影響を及ぼす可能性がある。

公知の方法より著しく短い時間インターバルで動作して、動いているシーンから簡便にぼけ除去された画像を捕捉できるシステムが望ましいであろう。また、増大した被写界深度に対して縮小された口径を用いてそのような画像を捕捉する能力も望ましい。

米国特許出願公報第２００７／０２５８７０６号明細書

モシャ・ベン・エズラとシュリー・Ｋ・ナイヤー著「パターン分析と人工知能に関するＩＥＥＥ議事録」（第２６巻、第６号、２００４年６月） ウィリアム・Ｋ．プラット著「デジタル画像処理」（ジョン・ワイリーアンド・サンズ社、１９７８年）

本発明は、動画像を捕捉するための先行公知技術の方法の欠点を克服する。そのような公知の動画像を捕捉する方法は、典型的な技術を用いて捕捉された画像と比較してより簡便にぼけ除去できて、露光時間インターバルにわたり光強度の測定の積分を繰り返し開始および停止して多数の露光画像を捕捉することを含む。これは種々の方法によって達成でき、捕捉された画像のぼけ逆変換に対する解の条件を改善するために選択され一時的パターン内の電子シャッターを調節する方法も含まれる。そのような多重露光パターンは、露光時間インターバルにわたる積分期と非積分期の不規則なシーケンスを特徴とし、積分時間の合計と非積分時間の合計は概ね等しい。

例示的な実施形態によれば、所定のシーンの動画像を捕捉するシステムと方法は、等価露光時間インターバルで動作する上述した方法および他の公知の方法によって捕捉された画像と比較して、より簡便にぼけ除去できる。露光時間インターバルにわたり光の測定の積分を停止および開始するのではなく、光生成電流がぼけ逆変換に対する解の条件を最適化する一時的切替えパターンに従って多数の電荷ストレージサイト間で切り替えられる。画像強度信号をストレージサイト間で切り替えることによって、露光時間インターバル中に利用可能な光エネルギーは実質的に全部電荷に変換されて捕捉され、一時的に分解された動画像の再現を形成する。等価露光時間インターバルにわたり利用可能な画像強度信号の約半分を放棄する関連方法と比較すると、そのような一時的に分解された画像は動画像をはるかに完全に表現しており、典型的に単純明解な線形デコンボリューション技術を用いてより効果的にぼけ除去できる。

例示的な実施形態において、入力された動画像から静止画像を取得するシステムと方法は、複数のピクセルを包含する撮像装置を提供する。各ピクセルは１個の感光素子と複数の積分ストレージサイトとを含み、各ピクセルは感光素子に作用する光の測定を複数の積分ストレージサイトのいずれか１つに向けるように構成および配置されている。画像捕捉プロセスは、各々の感光素子に作用する光の測定を一時的切替えパターンに従って複数の積分ストレージサイト間で反復的に切り替えることによって露光時間インターバルに一時的に分解された動画像の再現を形成する。画像抽出プロセスは、一時的に分解された動画像の再現に働いて静止画像を抽出する。感光素子は、例示的に第１の転送ゲートを介して第１のセンスノードに接続され、第２の転送ゲートを介して第２のセンスノードに接続された光ダイオードであり、第１の転送ゲートと第２の転送ゲートの各々は入力画像捕捉プロセスに応答する。一時的切替えパターンは、（ａ）一時的に分解された動画像の再現における空間周波数の減衰を最小化する；（ｂ）静止画像における空間周波数の減衰を最小化する；（ｃ）空間周波数のフィルタリングされたセットを有する静止画像を提供する；および／または（ｄ）ぼけが低減された静止画像を提供するように選択できる。

例示的な実施形態において画像抽出プロセスは、複数の積分ストレージサイトの各々に保存された値の線形結合に基づいて複数の係数を有する点像分布関数を提供するように構成および配置されている。点像分布関数に基づいてぼけ行列が提供される。このぼけ行列は、残差と条件数の点で最良のバージョンの一時的切替えパターンに基づいている。システムと方法は一時的切替えパターンの複数の候補を循環して残差と条件数が最小であるパターンを特定する。これが最良の一時的切替えパターンとして選択される。

さらに動画像は、対象物またはシーンの動きに関係した信号を供給するエンコーダと作動的に結合された、動いている対象物またはシーンから取得でき、一時的切替えパターンは動きに関係した信号に基づいて計算できる。エンコーダと画像切替え信号生成器との間で対象物高さ検出装置も動作的に相互接続でき、対象物の実際の高さとその関連するイメージセンサとの近さに基づいて一時的切替えパターンを修正できる。
以下に、本発明を図面に基づいて説明する。

例示的なコンベヤ上の視界を通って動いている模範的な対象物の画像を取得するカメラおよび関連する機能要素を含む、動画像から静止画像を捕捉するシステムと方法の略図である。 図１の例示的なカメラのイメージセンサの１個の電子ピクセルを表すブロック図である。 例示的なシステムと方法で使用するための長さが知られている点像分布関数に対する最良の切替えパターンを発見する手順のフローチャートである。 例示的なシステムと方法と連動して使用されるぼけ逆変換のための模範的な解を示す略図である。 例示的な実施形態により動画像から静止画像を取得する全体的手順を示すフローチャートである。

図１は、本発明の例示的な実施形態を表す図式的なカメラ１０６を示す。カメラ１０６は、動いているコンベヤ１０１上に載っている対象物１０２のポイント１０３に焦点が合わせられている。カメラ１０６は、レンズ１０７、画像切替え信号生成器１０８、イメージセンサ１１０、画像プロセッサ１１５、および画像ストレージバッファ１１６を有する。イメージセンサ１１０は、光強度トランスデューサ１１１、画像スイッチ１１２、画像積分ストレージバッファ１１３、および別の画像積分ストレージバッファ１１４を有する。

動作する際は、さらに全体的手順５００を示すフローチャートを参照して、露光時間インターバルに先立って画像積分ストレージバッファ１１３および１１４（または等価積分ストレージサイト）がリセットされる（ステップ５１０）。次にプロセス５００は図５に破線のボックスで示されているように、画像捕捉プロセスを開始する。露光時間インターバルで動いている対象物１０２から反射された光の一部はレンズ１０７によって集束されてイメージセンサ１１０の焦点面上に動画像を形成する（ステップ５１２）。本明細書で定義されているように、「動画像」はイメージセンサ内で対象物を３次元的に表現したものであり、ここで第３次元は露光時間および時間に関係した画像呈示の空間的変化である。図ｌに示すシナリオにおいて、センサ１１０の露光時間にわたる対象物１０２の動きによって動画像が創出される。しかしながら多様な代替シナリオも動画像の創出を引き起こすことができる。

動画像から出る光は光強度トランスデューサ１１１によって入射光強度に比例した一連の電気信号に変換される。トランスデューサは、１次元構成または２次元構成において配置された一連の電子「ピクセル」として編成され得る。トランスデューサ１１１内の各ピクセルの感光素子に作用する光の瞬間的またはほぼ瞬間的な測定（本明細書において「瞬間的」という言葉は固有の電子および量子効果に基づく遅延を考慮している）が光電流を供給し、この光電流は信号として転送ゲートの状態に応じて積分ストレージサイト／バッファ１１３および１１４のいずれかに向けられる。こうして光強度トランスデューサ１１１から出力された光強度信号は、露光時間インターバルに画像切替え信号生成器１０８から入力された一時的切替えパターンに従って、画像スイッチ１１２により画像積分ストレージサイト／バッファ１１３と１１４の間で平行に繰り返し切り替えられる（ステップ５１４）。このようにして動画像は一時的に少なくとも２個の積分ストレージサイトまたはバッファに分解される。一時的切替えパターン（または単に「切替えパターン」）は、典型的に以下に図３に従って説明するような計算によって最適化される。オプションのシャフトエンコーダ１０５またはその他の動作検知装置がコンベヤベルト（および／または駆動機構）と作動的に結合されて、画像切替え信号生成器１０８を動いている対象物１０２と同期させるためにトリガ信号１０９を提供できる。

画像の露光が完了すると（決定ステップ５１６）、画像プロセッサ１１５は画像抽出プロセス（図５における破線のボックス）を動作させて、画像積分ストレージバッファ１１３および１１４で捕捉された一時的に分解された動画像の再現をぼけ逆変換の係数でコンボリューションして、画像ストレージバッファ１１６で静止画像を抽出および形成する（ステップ５１８）。この「静止画像」は望ましくは２次元画像を定義し、露光の時間次元が崩壊または最小化して十分にぼけ除去された結果を提供する。

図２は、例示的な実施形態によるイメージセンサ１１０の１個の電子ピクセルを表すブロック図である。ピクセル２００は、ピン止め光ダイオードとして形成された感光素子２０１、２個の転送ゲート２０２および２１２、２個の浮動拡散ノード２０３および２１３、２個のリセットトランジスタ２０４および２１４、２個のソースフォロワトランジスタ２０５および２１５、２個のリードセレクトトランジスタ２０６および２１６、ならびに１個のアンチブルーミングトランジスタ２０７を含んでいる。二重サンプリング増幅器２０９は、拡散ノード２０３、２１３がリセット状態にあるときと、拡散ノード２０３、２１３がピン止め光ダイオード２０１によって充電された後に、それぞれトランジスタ２０８でピクセル出力電圧をサンプリングする。２個の電圧の差が計算（すなわち二重サンプリング）されて補正ピクセル出力電圧が得られる。補正出力電圧はアナログ・デジタル変換器２１０によってデジタル化されてピクセルにデジタル強度値を提供する。

ピン止め光ダイオード２０１は、画像強度トランスデューサ１１１の全体的な行・列ピクセルアレイの１個の離散感光素子（トランスデューサ）に対応する。ピン止め光ダイオード２０１は入射光エネルギーを光強度に比例した光電流に変換する。転送ゲート２０２および２１２はそれぞれ画像スイッチ１１２のスイッチに対応する。浮動拡散ノード２０３および２１３は、それぞれ画像積分ストレージバッファ１１３および１１４の１個のストレージサイトに対応する。

画像露光時間インターバルに画像切替え信号生成器１０８はイメージセンサ１１０のすべての転送ゲート２０２および２１２を駆動して、２個のトランジスタの各々を所定のパターンに従って反復的にオンおよびオフにする。典型的な動作において、露光時間切替えパターンは相補的である（すなわち一方の転送ゲートがオンのとき他方の転送ゲートはオフである）。時間インターバルは切替えプロセス中に両方のゲートがオンまたはオフのときも存在し得るが、これはプロセッサのハードウェアおよびソフトウェアによって無視されてよいことに留意されたい。

切替えパターンは多様な要因によって制御され得る。切替えは望ましくは切替えインターバル内で与えられた対象物の特徴を完全に、すなわち特徴情報を失うことなく、取得できるように構成されている。例えばある特徴が捕捉された画像で１ピクセルの幅を有する場合は、対象物またはシーンが半ピクセル以下の距離を動く間に変化する切替えインターバルを提供することが望ましいであろう。特徴が数ピクセルの幅を有する場合は、切替えインターバルは対象物が１ピクセルを超える距離を動いた後に変化できる。例示的な実施形態により撮像できる模範的な特徴は、各コード要素の幅が１ピクセル以下の距離で相違し、それ故、短い切替えインターバルが望ましい、バーコードパターンである。

略述すると、画像露光の後で、浮動拡散ノード２０３に蓄積された電荷は主としてゲート２０２が開いたときに光ダイオード２０１によって生成された光電流の結果であり、浮動拡散ノード２１３内の電荷は転送ゲート２１２が開いたときに蓄積された。例示的な実施形態において、浮動拡散ノード２０３および２１３上の電圧は画像プロセッサ１１５によってデジタル化され、ぼけ逆変換の係数でコンボリューションされて、画像バッファ１１６に保存される静止画像のデジタル表現を形成する。

図４は、例示的な実施形態により動画像から静止画像を計算する際に使用するぼけ逆変換のための模範的な解を示す図である。与えられた量の光強度に対して、イメージセンサ１１０上に形成される画像は、必要とされる露光時間に比例したピクセル距離を動く。１例を示すと、画像は露光時間インターバル中にイメージセンサの行軸に沿って１０ピクセルの距離を動く。この場合に点像分布関数は１０ピクセルの長さを有する。画像速度が露光時間にわたり一定であると仮定すると、シーン内のいかなるポイントからの入射光も隣接する１０の水平ピクセルの間で等分される。記号「Ａ」は積分ストレージバッファ１１３を表し、記号「Ｂ」は積分ストレージバッファ１１４を意味し、切替え制御パターンは若干数の記号「Ａ」およびこれと等しい数の記号「Ｂ」からなる列によって記述されるとする。この例で切替え制御はパターン４０１「ＡＡＡＢＢＢＡＢＢＡ」で定義されるとしよう。点像分布関数は積分ストレージバッファ１１３の内容と積分ストレージバッファ１１４の内容の線形結合によって創出される。理論上はどのような係数も可能であるが、捕捉された画像が２個のストレージバッファに等しく配分されているバランスの取れた切替えパターン、例えば４０１「ＡＡＡＢＢＢＡＢＢＡ」に対しては、係数２および−１が良好な結果を生むことが実用を通して決定された。それゆえこの例では切替えパターン４０１「ＡＡＡＢＢＢＡＢＢＡ」は点像分布関数４０２｛＋２、＋２、＋２、−ｌ、−ｌ、−ｌ、＋２、−ｌ、−ｌ、＋２｝をもたらす。ゼロ境界条件を仮定すると、点像分布関数４０２にゼロを埋め込んで拡大して図示のテプリッツぼけ行列４０３を形成する。ぼけ変換は、インパルス関数に適した最小ＲＭＳ残差（ステップ３０５以下）を提供する係数４０４を求めることによって計算され、この例ではぼけ除去プロセスの固定点実装を容易にするために１００倍（ｌＯＯｘ）拡大される。ぼけ行列４０３をぼけ変換係数４０４と乗算した現在の結果４０５は列４０５として示されており、これは１００倍拡大されたインパルス応答である。

より一般的に、代数による基礎的な空間画像再構成技術に関する説明が、ウィリアム・Ｋ．プラット著「デジタル画像処理」（ジョン・ワイリーアンド・サンズ社、１９７８年）に有益な背景として見出される。本書は通常当業者が精通しているはずの古典的な画像再構成技術を完全に網羅している。

要約すると、実施形態により適用可能な技術は以下のように説明される。
慣用的な表記法において再構成問題は次の通り表される。
Ｂ＝ＡＸ＋Ｅ

上記の式を説明すると、取得された「ぼけた」画像Ｂは、「正しい」画像Ｘにぼけ行列Ａを乗じた積に取得誤差行列Ｅを加えたものとして分解される。これは、ぼけ行列Ａを知っていれば、「正しい」画像Ｘを次の通り求めることが可能であることを意味する。
Ｘ＝Ａ’Ｂ−Ａ’Ｅ

１つの目標は、誤差行列Ｅの組成に関して限られた先天的知識があることを前提として、Ｅを乗じたときにＡ’（逆ぼけ行列）が、正しい画像Ｘに対する解においてＡ’Ｂより優勢になる可能性を少なくすることである。このことはさらに以下に記す要領で達成される。

上記のプラットの著作に記されている種々の従来の画像再構成技術とは異なり、本例示のぼけ行列の構成は正の値に限られず、正の係数と負の係数の両方を含んでいる。これは本明細書で例示する切替え技術によって可能にされた点像分布関数の高速一時的分解の方法によって実用できる。

誤差項Ａ’Ｅに対する有利な影響が、正の値と負の値の両方を有するぼけ行列を形成する結果として得られることも観察された。その利点はＡ’に対する解の条件が、典型的な形態の画像取得誤差に伴う高周波雑音に対してあまり敏感でないことを示していることに見られる。

図３は、長さが知られている点像分布関数（例えば上記のＰＳＦ４０２）に対する最良の一時的切替えパターンを発見するための方法３００を示すフローチャートである。上記の例におけるように、画像が露光時間中に１０ピクセルの距離を動くことが知られており、切替えパターンはバランスが取れていなければならないと仮定して、入射光測定の積分を２個の積分ストレージサイト／バッファに等しく配分する。最良の切替えパターンは、条件数と残差の点でぼけ逆変換に対する最良の解を提供するパターンであろう。そのような切替えパターンを発見する１つの方法は、長さとバランスの制約に合致するすべての可能な切替えパターンを循環する外側ループ３０１を開始することを含む。簡潔に言えば外側ループ３０１内部で、ステップ３０２は切替えパターン候補を使用してぼけ行列を生成し、ステップ３０３はぼけ変換係数を求め、ステップ３０４はこの解の条件数および残差を計算し、決定ステップ３０５および３０６は現在の残差および条件数を以前に存在した最小値と比較して、現在の切替えパターンがより良い解を表しているか決定する。より良い解が発見されたら、当該切替えパターンは残差および条件数のメトリクスと一緒にステップ３０７で保存され、外側ループ３０１は決定ステップ３０８を経由してすべての切替えパターンが評価されるまで継続される。すべてのパターンが評価されたら、この方法は最良のパターンをステップ３０７から決定ステップ３０８を経由して返す。

さらに背景情報として、条件数は当業界において解の雑音に対する感度として知られている。条件数が少ない解は良好条件であると言われるのに対し、条件数が多い解は不良条件であると言われる。この数は公知の技術によって計算できる。

デコンボリューションカーネルを計算するための上記の技術は、より限定された（すなわち利用可能な全画像データより少ない）隣接範囲に対して、より少ない計算努力でより少ない残差をもたらし、かつ、一般的に類似の大きさの２進露光コーディングパターンに基づく類似の解と比較して３倍以上良好な条件をもたらす、デコンボリューションカーネルを提供することが見出された。切替えパターンは、上述したようにセンサの視界を通過する各々の対象物またはシーンについて計算することができるか、あるいは、対象物が同等の速度及び特徴特性を呈すると思われる場合は、以前に計算された切替えパターンが保存され、各画像補足及び画像抽出プロセスとともに再利用されることにより、より周期的に計算することができる。

点像分布関数の（ピクセル距離またはその他の測定単位に基づく）大きさは多様な技術を用いて計算される。典型的に、この大きさは対象物またはシーンの速度に基づいて計算される。速度に基づいて、与えられた露光時間内にポイントを通過するピクセルの数を計算できる。典型的に速度の計算は、（ａ）エンコーダ１０５を読み取る、（ｂ）所定の方法で速度を評価する、および／または（ｃ）画像に基づく対象物の動きの決定を用いて行う。捕捉された画像データを用いて対象物の動きを評価するために、当業界には多数のアルゴリズムが存在する。例えば、従来のカルマンフィルタを実装して、カルマンフィルタ計算を応用する前に経過した時間における所定の画像データの位置の変化に基づいて対象物の優勢な速度を予測することができる。さらに別の実装において、動的特徴検出に基づきベルトまたは対象物の動きを読むことができる。すなわち、関心の対象である特徴（例えば対象物またはベルト表面の欠陥、印刷特徴、粒界など）に隣接するベルトまたは対象物の表面ジオメトリの変化を用いて、カメラの視界を通過する対象物の優勢な速度を定義できる。動的特徴検出の概要は、２００８年８月９日に出願され共同譲渡されたウィリアム・Ｍ．シルバーによる合衆国特許出願１２／１００，１００「動的特徴検出の方法とシステム」に記載されており、その教示内容は、これに組み入れられた他の合衆国特許出願と併せて参照により有益な背景情報として本明細書に明確に組み入れられる。点像分布関数はこれ以外に対象物の特徴と動きに関する周知の情報に基づき一定の値として定義することもできる。

以上概観した通り、最適化された一時的切替えパターンの計算は１以上の目標を考慮することができる。一般に、公知の画像ぼけ除去技術の欠点は、それらが空間周波数の減衰をもたらし、結果として生じる静止画像で必要とされる情報が失われることである。したがって一時的切替えパターンが種々の理由で選択されるべきである。その１つは、一時的に分解された動画像の再現において空間周波数の減衰を最小化して、情報が静止画像に保持されるようにすることである。画像抽出プロセスは静止画像における空間周波数の減衰を最小化することができる。同様に、画像捕捉プロセスおよび画像抽出プロセスは、フィルタリングされた空間周波数のセットを包含する静止画像を提供できる。別の目標として画像捕捉プロセスと画像抽出プロセスは、ぼけが低減された静止画像を提供できる。

エンコーダまたはその他の瞬間的な（またはほぼ瞬間的な）速度の物理的測定を用いれば、精確さを増すために実際の速度曲線に基づいて切替えパターンを計算することも想定されている。例えば、対象物またはシーンの瞬間的な速度が知られたら、単位時間当りに動くピクセル距離を計算でき、それによって速度特性の変化（例えばコンベヤベルト１０１の加速または減速）が存在する場合に、ストレージサイト間の切替えが動画像における対象物特徴の動きに対応するように切替えインターバルを決定できる。

対象物の高さ１０２は変化することがあり、それによって特徴の相対的ピクセル距離に影響し得ることが想定されている。これは逆に一時的切替えパターンの計算に影響する。例えば、センサにより近い対象物の特徴はより大きく現れ、離れている対象物より大きいピクセル距離を占める。したがってエンコーダ１０５は例示的な実施形態によるオプションの対象物高さ検出装置１３０（図１）と連動して動作できる。対象物の高さを決定するために公知の様々な機構を用いることができ、これには反射または放射された光線によりカメラと向き合う対象物の表面の凡その高さを決定する光カーテンも含む。代替的な高さ検出機構はソナー装置および光学式距離計を含んでいてもよい。スケーリングプロセッサ１３２は高さ検出装置とエンコーダから入力を受け取り、その入力信号を画像切替え信号生成器１０８用に修正して対象物の検出された高さを明らかにすることにより、切替えパターンは対象物の動きに伴う実際のピクセル距離を考慮して修正される。

対象物またはシーンと作動的に結合したエンコーダまたはその他の動き測定装置は、より簡便なシャッタコーディングまたは実施形態に従う画像変調構成に適用できることに留意すべきである。例示すれば、センサによって取得された、動いている対象物またはシーンの動画像から静止画像を抽出するためのシステムと方法は、動いている対象物またはシーンから反射されてセンサの複数のピクセルの各々の感光素子に作用する光を切り替えることを伴い、露光時間中に最適な一時的切替えパターンに従いストレージサイトによって積分された光電流を変調して符号化された画像を生成する。一時的切替えパターンは、エンコーダまたは他の作動的に結合した動作検知装置によって供給される運動信号を読み取ることによって計算されるため、対象物の動きをほぼ比較的同時に測定することが導かれる。この実施形態では、切り替えられるインターバルは、強度値を積分バッファに保存する場合と、強度値を放棄または無視する場合とで異なっていてもよい。次にプロセッサは符号化された画像を一時的切替えパターンの逆数に従って復号して静止画像を供給する。

上述したシステムと方法は、場合によっては遠隔画像プロセッサを使用して、複数の画像ストレージサイトに保存された動画像データが画像捕捉に続く時間に画像抽出プロセスまたはその一部に入るように実現できることが明確に想定されている。点像分布関数を計算するために適切なパラメータを保存し、次にぼけ変換を計算して、そこから静止画像を導くことが可能となる。

同様に、トランスデューサアレイおよび関連するピクセルのアーキテクチャは、図２に示された一般に５トランジスタＣＭＯＳピクセルに基づくアーキテクチャと異なってよいことが明確に想定されている。代替的な実施形態において、ピクセルは別のアーキテクチャに従って構成できる。例えば、相互接続されたアレイは異なる接続関係に従ってアドレス指定できる。拡散ノードも多数の回路構成によってゲートされ得る。アレイは複数のピクセルを用いて多様な１次元構成または２次元構成において編成できる。１次元構成を採用する場合は、ピクセルは典型的に動きの優勢な方向に沿って向けられて動画像を確実に捕捉する。代替的な実施形態においてピン止め光ダイオードを別様に配置して、離散積分ストレージサイトに２個以上の離散信号を供給するようにできる。同様に、上述の切替えパターンは２個の積分ストレージサイトのいずれか一方に向けられる信号に対応する２個の状態を含むが、３個以上の積分ストレージサイトに向けられる３個以上の切替えパターンが存在し得ることが想定されている。

積分ストレージバッファの切替えには、信号が両方のストレージバッファに受け取られる時間周期と、電子コンポーネントの待ち時間のためにいずれのストレージサイトも信号を受け取らない時間周期が存在することが理解される。信号がいずれの積分ストレージサイトにも到達しないか、または読み取られない周期を意図的に導入できることも理解される。しかしながら、そのように保存された信号が存在しない追加的な周期が内在し、または意図的に導入しても、２個以上の積分ストレージサイトまたはバッファを設けることにより、本発明の教示に従う新規の構成が提供されることに変わりはない。

また、本明細書に記載されたイメージトランスデューサ、積分ストレージサイト／バッファおよびその他の電子ハードウェアコンポーネントは、リードまたはケーブルで接続された個別のコンポーネントとして、または所望すれば単一のチップもしくはチップセットの一部として様々に実装できる。このような単一のチップまたはチップセット（図示せず）は、対象物またはシーンの特徴情報を保存および操作するためにその他の視覚処理コンポーネントを含むことができる。

要約すれば、上記のシステムと方法は、公知のぼけ除去の解決にはない種々の利点を提供することが明らかなはずである。２個以上の積分ストレージサイトを切り替えることにより、動画像を取得する際にシャッタコーディングを用いる単一のストレージサイトシステムと比較して、対象物またはシーンから捕捉された光の量が実質的に増す。その結果、露光時間は短縮され、より大きい被写界深度に対して口径は小さくなり、および／または対象物またはシーンに対する一定速度の仮定が有効である可能性が高まる。さらに結果として点像分布関数アレイの大きさが縮小されることにより、ぼけ変換を計算して抽出された静止画像を導く際の計算オーバーヘッドが少なくなる。

以上に本発明例示的な実施形態について詳細に説明した。本発明の精神と範囲から逸脱することなく種々の変容や追加が可能である。上述した種々の実施形態の各々を記載された他の実施形態と組み合わせて多数の特徴を提供できる。さらに、本発明の装置と方法の多数の個別の実施形態を上記したが、本明細書に記載されたものは本発明の原理の応用を例示するものに過ぎない。例えば、評価されたオリジナル画像の忠実性／鮮明さをさらに強めるために、画像データに様々な追加のフィルタリング処理や統計的平滑化機能を適用できる。１例において、画像データは画像抽出プロセスで多数のコンボリューションステップを通らなければならない。さらに、例示的な実施形態ではぼけは主として対象物が動く結果として動画像において定義されているが、本明細書に記された原理は対象物に対するカメラの動きおよび／または対象物とカメラの動きの組合せに適用可能であることが明確に想定されている。一般に、本明細書の教示はハードウェア、コンピュータ可読プログラム命令を含むソフトウェア、またはハードウェアとソフトウェアの組合せを用いて実行できる。したがってこの記述は、例示的な方法でなされており、本発明の範囲を制限することを意図するものではない。

Claims (32)

1. ａ）複数のピクセルを包含する撮像装置であって、各ピクセルは１個の感光素子と複数の積分ストレージサイトとを含み、各ピクセルは感光素子に作用する光の測定を複数の積分ストレージサイトのいずれか１つに向けるように構成および配置される、前記撮像装置；
   ｂ）各々の感光素子に作用する光の測定を一時的切替えパターンに従って複数の積分ストレージサイト間で反復的に切り替えることによって露光時間インターバルに一時的に分解された動画像の再現を形成する画像捕捉プロセス；及び
   ｃ）一時的に分解された動画像の再現に働いて静止画像を抽出する画像抽出プロセス；
   を有する、入力された動画像から静止画像を取得するシステム。
2. 前記感光素子は、第１の転送ゲートを介して第１のセンスノードに接続され、第２の転送ゲートを介して第２のセンスノードに接続された光ダイオードであり、第１の転送ゲートと第２の転送ゲートの各々は入力画像捕捉プロセスに応答する、請求項１記載のシステム。
3. 前記複数の積分ストレージサイトは、少なくとも第３の積分ストレージサイトを含んでおり、各ピクセルは、感光素子に作用する光の測定を一時的切替えパターンに従い少なくとも第３のストレージサイトに向けるように構成および配置されている、請求項１記載のシステム。
4. 前記一時的切替えパターンは、（ａ）一時的に分解された動画像の再現における空間周波数の減衰を最小化する；（ｂ）画像抽出プロセスによって、静止画像における空間周波数の減衰を最小化する；（ｃ）画像捕捉プロセスと画像抽出プロセスによって、空間周波数のフィルタリングされたセットを有する静止画像を提供する；（ｄ）画像捕捉プロセスと画像抽出プロセスによって、ぼけが低減された静止画像を提供する、の少なくとも１つを実施するように選択されている、請求項１記載のシステム。
5. 前記画像抽出プロセスは、複数の積分ストレージサイトの各々に保存された値の線形結合に基づいて複数の係数を有する点像分布関数を提供するように構成および配置されている、請求項１記載のシステム。
6. 前記画像抽出プロセスは、点像分布関数に基づいてぼけ行列を提供するように構成および配置されており、前記ぼけ行列は残差と条件数の点で最良のバージョンの一時的切替えパターンに基づいている、請求項５記載のシステム。
7. 前記画像抽出プロセスは、（ａ）一時的切替えパターンの複数の候補の各々を使用してそれぞれぼけ行列を生成し；（ｂ）各々のぼけ行列についてそれぞれぼけ変換係数のセットを求め；（ｃ）各セットのぼけ係数についてそれぞれ残差と条件数を計算し；（ｄ）残差の現在値および条件数の現在値をそれ以前にある残差の最小値およびそれ以前にある条件数の最小値と比較して、一時的切替えパターンの現在の１つの候補が、少なくとも１つの残差または条件数に対してより良い解を表しているか決定し、もし一時的切替えパターンの現在の該１つの候補がより良い解を表していたら、切替えパターンの現在の該１つの候補を残差の現在値および条件数の現在値と関連付けて保存し；（ｅ）一時的切替えパターンのすべての候補が使用されたら一時的切替えパターンの最良のバージョンを返す、ことによって一時的切替えパターンの最良バージョンを決定するように構成および配置されている、請求項６記載のシステム。
8. 前記係数は正の値と負の値の両方を含む、請求項５記載のシステム。
9. 前記動画像は、対象物またはシーンの動きに関係した信号を供給するエンコーダと作動的に結合された、動いている対象物から取得され、前記一時的切替えパターンは動きに関係した信号に基づいている、請求項１記載のシステム。
10. さらに、撮像装置と向き合う表面の高さを測定するように構成および配置された対象物高さ検出装置を有しており、前記高さに基づいて、エンコーダから供給された対象物の動きに関係した信号と連動して一時的切替えパターンを変化させる、請求項９記載のシステム。
11. 高さ検出装置は光カーテンを有する、請求項１０記載のシステム。
12. 前記高さ検出装置は、光学測定およびソナー測定の少なくとも１つに基づいて高さを測定するように構成および配置されている、請求項１０記載のシステム。
13. 前記一時的切替えパターンは、相補的切替えパターンである、請求項１記載のシステム。
14. 前記動画像はぼけた画像を定義し、画像のぼけは対象物モーション、カメラモーション、および対象物モーションとカメラモーションの組合せの少なくとも１つによって引き起こされる、請求項１記載のシステム。
15. ａ）複数のピクセルを包含する撮像装置を提供し、各ピクセルは１個の感光素子と複数の積分ストレージサイトとを含み、感光素子に作用する光の測定を複数の積分ストレージサイトのいずれか１つに向けるように構成および配置されており；
    ｂ）露光時間インターバルで各々の感光素子に作用する光の測定を一時的切替えパターンに従って複数の積分ストレージサイト間で反復的に切り替えることによって一時的に分解された動画像の再現を形成し；
    ｃ）一時的に分解された動画像の再現に働いて静止画像を抽出する；
    ステップを含む、入力された動画像から静止画像を取得するための方法。
16. さらに、光ダイオードを、第１の転送ゲートを介して第１のセンスノードに接続し、第２の転送ゲートを介して第２のセンスノードに接続することを含み、第１の転送ゲートと第２の転送ゲートの各々は一時的に分解された動画像の再現を形成するステップに応答する、請求項１５記載の方法。
17. 撮像装置を提供するステップは、少なくとも第３の積分ストレージサイトを包含する複数の積分ストレージサイトを提供することを含み、各ピクセルは、感光素子に作用する光の測定を一時的切替えパターンに従い少なくとも第３のストレージサイトに向けるように構成および配置されている、請求項１５記載の方法。
18. さらに、前記切替えパターンを、（ａ）一時的に分解された動画像の再現における空間周波数の減衰を最小化する；（ｂ）画像抽出プロセスによって、静止画像における空間周波数の減衰を最小化する；（ｃ）画像捕捉プロセスと画像抽出プロセスによって、空間周波数のフィルタリングされたセットを有する静止画像を提供する；（ｄ）画像捕捉プロセスと画像抽出プロセスによって、ぼけが低減された静止画像を提供する、の少なくとも１つに切り替えるように選択することを含む、請求項１５記載の方法。
19. 一時的に分解された表現で動作するステップは、複数の積分ストレージサイトの各々に保存された値の線形結合に基づいて複数の係数を有する点像分布関数を提供することを含む、請求項１５記載の方法。
20. 一時的に分解された表現で動作するステップは、点像分布関数に基づいてぼけ行列を提供することを含み、前記ぼけ行列を残差と条件数の点で最良のバージョンの一時的切替えパターンに基づかせる、請求項１９記載の方法。
21. 一時的に分解された表現で動作するステップは、（ａ）一時的切替えパターンの複数の候補の各々を使用してそれぞれぼけ行列を生成し；（ｂ）各々のぼけ行列についてそれぞれぼけ変換係数のセットを求め；（ｃ）各セットのぼけ係数についてそれぞれ残差と条件数を計算し；（ｄ）残差の現在値および条件数の現在値をそれ以前にある残差の最小値およびそれ以前にある条件数の最小値と比較して、一時的切替えパターンの現在の１つの候補が、少なくとも１つの残差または条件数に対してより良い解を表しているか決定し、もし一時的切替えパターンの現在の該１つの候補がより良い解を表していたら、切替えパターンの現在の該１つの候補を残差の現在値および条件数の現在値と関連付けて保存し；（ｅ）一時的切替えパターンのすべての候補が使用されたら一時的切替えパターンの最良のバージョンを返すことによって、一時的切替えパターンの最良バージョンを決定することを含む、請求項２０記載の方法。
22. 前記係数は正の値と負の値の両方を含む、請求項１９記載の方法。
23. さらに、対象物またはシーンの動きに関係した信号を供給するエンコーダと作動的に結合された、動いている対象物から動画像を取得することを含み、一時的切替えパターンを動きに関係した信号に基づかせる、請求項１５記載の方法。
24. さらに、対象物高さ検出装置で撮像装置と向き合う表面の高さを測定することを含み、前記高さに基づいて、エンコーダから供給された対象物の動きに関係した信号と連動して一時的切替えパターンを変化させる、請求項２３記載の方法。
25. 高さ検出装置は光カーテンを有する、請求項２４記載の方法。
26. 前記高さ検出装置で、少なくとも１回の光学測定およびソナー測定に基づいて高さを測定することを含む、請求項２４記載の方法。
27. 前記一時的切替えパターンが相補的切替えパターンである、請求項１５記載の方法。
28. 前記動画像はぼけた画像を定義し、画像のぼけは対象物モーション、カメラモーション、および対象物モーションとカメラモーションの組合せの少なくとも１つによって引き起こされる、請求項１５記載の方法。
29. 最適な一時的切替えパターンを選択し；
    動いている対象物またはシーンから反射されたセンサの複数のピクセルの各々の感光素子に作用する光を切り替えて、露光時間の間、ストレージサイトによって積分された光電流を一時的切替えパターンに従い変調して符号化された入力画像を生成し；
    符号化された入力画像を一時的切替えパターンの逆に従って静止画像に復号し；
    動作的に相互接続されたエンコーダに基づいて対象物またはシーンの動きを測定し、最適な一時的切替えパターンを選択するステップに動きの測定結果を供給してその選択を最適化する；
    ステップを含む、センサによって取得された、動いている対象物またはシーンの動画像から静止画像を抽出する方法。
30. さらに、対象物高さ検出装置を提供し、撮像装置と向き合う表面の高さを測定し、前記高さに基づいて、エンコーダから供給された対象物の動き測定と連動して一時的切替えパターンを変化させることを含む、請求項２９記載の方法。
31. 対象物高さ検出機構を提供するステップは、光カーテンからの光を対象物に向けることを含む、請求項３０記載の方法。
32. 高さ検出装置を提供するステップは、光学測定およびソナー測定の少なくとも１つに基づいて高さを測定することを含む、請求項３０記載の方法。

Images