JP2018067904A - 画像センサをスキャンするための方法および装置 - Google Patents

Abstract

【課題】画像センサをスキャンするための方法を提供する。【解決手段】画像センサ３２０は、三角形の複数のセンサエレメントを備えた格子構造３１０を有する。隣接して配置されたセンサエレメント３００ａ，３００ｂ，３００ｃ，３００ｄは、それぞれ互いに異なる光特性に関連して光を検波する。同じ第１の波長範囲内の光を検波する複数のセンサエレメントをスキャンすることによって、画像センサ３２０を読み取るステップと、センサエレメント毎に１つのセンサ信号が読み取られ、読み取られたセンサ信号を一時記憶するステップと、一時記憶されたセンサ信号を用いて、検出ポイントに割り当てられた画像情報を生成するステップを有している。【選択図】図１０

Description

本発明は、独立請求項の前文に記載した装置または方法に関する。本発明の対象はコンピュータプログラムでもある。

最近の画像センサは、一般的な形式で次の原理で作動する：
１．面状センサ（画像センサまたはイメージャとも称呼される）上に写真を生成する光学系。
２．画像センサがこの画像を三次元的かつ時間的にスキャンする。
３．時間的なスキャンが、画像速度によって決定される。

この場合、一般的なカメラ構成部分は次の機能を満たす：
−光学系が三次元的な低域通過フィルタとして作用する。
−画像センサは、今日では約数百万個の個別の光センサより成っていて、この場合、各光センサが１つの三次元的なスキャンポイントを成している。
−露光時間は時間的な低域通過フィルタとして作用する。
−エイリアシングのないスキャンのために、低域フィルタは、スキャン周波数が低域通過フィルタの限界周波数の２倍となるように、スキャン周波数に適合されなければならない（シャノンナイキストスキャン定理）。このことはさらに、スキャンの前に信号が常に低域通過フィルタを通過するべきである、ということがいえる。

これが行われないと、スキャンされた信号はエイリアシング妨害信号を含有する。三次元的なエイリアシング効果は、一般的な形式で、高いコントラストを有する輪郭（色エッジとしての）、点状の対象物（消失および再出現による）、および同じ大きさの周期的なパターン（いわゆるモアレ“Ｍｏｒｉｅ”としての）において確認され得る。エイリアシング効果は、ローリングシャッター効果（真っ直ぐな対象物が湾曲して写し取られる）、回転錯視のような効果（車輪が所定の速度から逆回転するように見える）およびパルス発振された光源（ＬＥＤ道路標識、車両のテールランプ）を受信する際の問題によって、時間的な信号で現れる。このような効果は、人間的な視覚能力においても発生し、時間的なエイリアシング効果がここでも完全に阻止されないことによって現れる。人間の視覚の範囲内で使用するためには、光束が重要な補助値である。人間の視覚は、時間的に正確にスキャンされた信号によってその質が著しく高められる。

以上のような背景から、ここに紹介された提案によって、主請求項に記載した、光センサをスキャンするための方法、さらにこの方法を使用した装置、並びに最後に相応のコンピュータプログラムが提案される。従属請求項に記載した手段によって、独立請求項に記載した装置の好適な実施態様および改良が可能である。

画像センサをスキャンするための方法が紹介されており、この場合、画像センサが、三角形の複数のセンサエレメント（光センサ）を備えた格子構造を有しており、前記格子構造内で隣接して配置された前記センサエレメントが、それぞれ互いに異なる特性に関連して光を検波するために構成されており、この場合、前記方法が次のステップ、つまり：
−同じ第１の波長範囲内の光を検波するために構成された、格子構造の複数のセンサエレメントをスキャンすることによって、画像センサを読み取るステップを有しており、この読み取るステップで、センサエレメント毎に１つのセンサ信号を読み取り、
−読み取られた前記センサ信号を一時記憶するステップを有しており、
−前記一時記憶されたセンサ信号を用いて、画像センサの検出ポイントに割り当てられた画像情報を生成するステップを有している。

この場合、隣接し合うセンサエレメントは例えばフィルタを備えており、従ってこのセンサエレメントによって、様々な光特性に割り当てられた信号が生成され、例えば色が、様々な波長範囲または様々な偏光状態によって検知され得る。この場合、読み取るステップで、同じ波長範囲内の光を検波するために構成されたセンサエレメント、例えば青色、緑色、赤色または白色の光を検知するために構成されたセンサエレメントがスキャンされる。画像センサの検出ポイントとは、画像情報が割り当てられている、画像センサの範囲のことと理解してよい。例えば、この検出ポイントは、読み取られたセンサエレメントの（想定）接続ラインを通る、画像センサの範囲内に位置していてよい。このような形式で、個別に読み取られた若しくは一時記憶されたセンサ信号の平滑化、補間または重み付けが得られ、それによって画像センサ上の１箇所を再構成することができる。三角形の単位セルを有する格子上の配置は、４つの異なる画像センサ型式、つまり例えば赤色、緑色、青色および白色、または４つの異なる画像センサ型式のそれぞれ別の組み合わせ（可能な画像センサ型式：ｒ，ｇ，ｂ、シアン、イエロー、マゼンタ、ホワイト、素材規格ホワイト、偏光方向その他）が使用されていれば、特に好都合である。

ここで紹介された提案の好適な一実施形態によれば、読み取るステップで、少なくとも３つのセンサエレメントをスキャンし、この際に、スキャンされた３つのセンサエレメントのうちの２つが１つのセンサエレメント直線上に位置し、３つのセンサエレメントのうちの少なくとも１つがセンサエレメント直線上に位置していない。ここで紹介された提案のこのような実施形態は、三次元的に広い範囲をカバーし、それによって局所的な分解能の最適化を可能にするセンサエレメントを読み取ることができる、という利点を提供する。

特に一実施形態によれば、読み取るステップで、センサエレメント直線上に位置していない、読み取ろうとするセンサエレメントとして、格子構造内の位置に配置されたセンサエレメントをスキャンし、従って少なくとも１つのセンサエレメントが格子構造内の前記位置とセンサエレメント直線との間に位置している。ここで紹介された提案のこのような実施形態は、規則的な幾何学的配置内に位置決めされていて、しかもそれによって画像信号の局所的な分解能を改善することができる程度に互いに離れているセンサエレメントをスキャンする、という利点を提供する。

画像検出の時間的な分解能を、前記画像センサによって改善するために、ここで紹介された提案の別の実施形態によれば、読み取るステップで、センサエレメントを様々な時間間隔で読み取り、この場合、特に時間間隔を少なくとも部分的にオーバラップさせてよい。このような形式で、好適には、画像センサの運転時にナイキスト基準を維持することに関連した問題を完全に避けることができるかまたは少なくとも明らかに改善することができる。

ここで紹介された提案の一実施形態に従って、生成するステップを、一時記憶されたセンサ信号の補間法を用いて、および／または一時記憶されたセンサ信号から導き出された信号を用いて行うことによって、画像センサの運転時におけるナイキスト基準の維持に関連した改良が同様に得られる。

前記実施形態は、同じ形式の光特性を検出するために構成されたセンサエレメントのセンサ信号の処理に関連している。しかしながら、ここで紹介された提案の一実施形態に従って、光の同じ波長を検出するセンサエレメントのセンサ信号を処理するだけではなく、ここで紹介された提案が、光の様々な波長範囲をそれぞれ検出するために構成されたセンサエレメントの複数のグループのために使用されれば、特に好適である。従って、好適には、ここで紹介された提案の一実施形態に従って、読み取るステップ、一時記憶するステップおよび生成するステップが、第１の波長範囲とは異なる同じ第２の波長範囲内の光を検波するために構成されたセンサエレメントのために、繰り返し行われる。

また好適には、ここで紹介された提案の一実施形態によれば、読み取るステップ、一時記憶するステップおよび生成するステップを、周期的に複数回連続して行い、この場合、第１のサイクルで、格子構造内の共通の第１のセンサエレメント直線上に配置されかつ格子構造内の位置に配置されたセンサエレメントを読み取り、従って少なくとも１つのセンサエレメントが、格子構造内の前記位置とセンサエレメント直線との間に位置しており、第２のサイクルで、格子構造内の第１のセンサエレメント直線とは異なる共通の第２のセンサエレメント直線上に配置されかつ格子構造内の位置に配置されたセンサエレメントを読み取り、従って少なくとも１つのセンサエレメントが格子構造内の前記位置と第２のセンサエレメント直線との間に位置している。ここで紹介された提案のこのような実施形態によれば、様々なサイクルで、画像センサの様々な位置においておよび／または様々な時点でセンサエレメントが読み取られ、それによって、時間的かつ三次元的なスキャンの範囲内での最適化若しくはエイリアシング効果の阻止または少なくとも低下が得られる、という利点が提供される。この場合、センサ直線は、三角形の単位セルによって得られた構造の対称性において任意に実現することができる。センサ装置を６０°回転させることは、実施形態の使用条件に応じて好適である。

別の実施形態によれば、一時記憶するステップで、単数または複数のセンサ信号の重み付けが行われる。ここで紹介された提案のこのような実施形態は、改善された信号雑音比を生ぜしめ、例えば低域通過特性に応じてパルス幅を適合させることも可能にする、という利点を提供する。

ここで紹介された方法またはその変化例は、例えばソフトウエアまたはハードウエア若しくはソフトウエアとハードウエアとの混合形式で、例えばコントロールユニットまたは相応の装置に実装されてよい。

これによって、ここで紹介された提案によれば、ここで提案された方法の変化例のステップを相応の装置で実施、制御若しくは実行するために構成された装置を提供する。装置の形による本発明のこの変化実施例によっても、本発明の課題は迅速かつ効果的に解決され得る。

このために、この装置は、信号またはデータを処理するための少なくとも１つのコンピュータ装置と、信号またはデータを記憶するための少なくとも１つの記憶装置と、センサからのセンサ信号を読み取るためのまたはデータ若しくは制御信号をアクチュエータにアウトプットするための、センサまたはアクチュエータとの少なくとも１つのインターフェースと、および／またはデータを読み取るかまたはアウトプットするための少なくとも１つの通信インターフェースとを有することができ、これらは通信プロトコルに埋め込まれている。このコンピュータ装置は、例えば信号処理装置、マイクロコントローラ等であってよく、この場合、記憶装置は、フラッシュメモリー、ＥＥＰＲＯＭまたは電磁的記憶装置であってよい。通信インターフェースは、データをワイヤレスおよび／または導線接続により読み取るかまたはアウトプットするために構成されていてよく、この場合、導線接続によりデータを読み取るかまたはアウトプットできる通信インターフェースは、これらのデータを例えば電気式または光学式に、相応のデータ伝送導線により読み取るかまたは相応のデータ伝送導線にアウトプットできる。

この実施例において装置とは、センサ信号を処理して、それに依存して制御および／またはデータ信号をアウトプットする電気機器と理解してよい。この装置は、ハードウエア的および／またはソフトウエア的に構成され得るインターフェースを有していてよい。ハードウエア的な構成によれば、インターフェースは、例えば装置の様々な機能を含むいわゆるシステムＡＳＩＣの一部であってよい。しかしながら、インターフェースが、固有の集積された回路であるかまたは少なくとも部分的に離散的な素子より成っていてもよい。ソフトウエア的な構成において、インターフェースは、例えば別のソフトウエアモジュールの隣でマイクロコントローラ上に存在するソフトウエアモジュールであってよい。

好適な実施態様によれば、この装置によって、例えば車両周囲を検知する車両カメラのための画像センサの評価が行われる。このために、この装置は例えば、画像センサ若しくはカメラの信号のようなセンサ信号を検出して、これを相応に処理する。センサ信号の制御若しくは処理は例えば半導体デバイスによって行われ、この半導体デバイス上に、画像センサも、例えば半導体デバイスの別の平面に形成されるかまたは集積されている。

次のようなプログラムコードを有するコンピュータプログラムまたはコンピュータプログラム製品も好適である。このプログラムコードは、機械読み取り可能な担体または記憶媒体、例えば半導体メモリー、ハードディスクまたは光学式メモリーに記憶されていてよく、特にプログラム製品またはプログラムがコンピュータまたは装置で実行されると、前記実施形態の１つによる方法のステップを実施、実行および／または制御するために使用される。

時間的な窓幅の窓関数を有するスキャン関数を示す線図である。 ナイキスト準拠スキャンスキーマを示す複数の部分線図である。 格子構造のセンサエレメントの可能な配置を示す図である。 画像センサの三角形のセンサエレメントの４チャンネルの規則的な配置を示す図である。 様々な波長範囲の光を検波するための、隣接し合って配置された複数のセンサエレメントの詳細を示す図である。 ４チャンネルＣＦＡ内でのセンサエレメントからの白色の光に関する画像情報のための補間可能性が紹介されている実施例を示す図である。 ４チャンネルＣＦＡ内でのセンサエレメントからの赤色の光に関する画像情報のための補間可能性が紹介されている実施例を示す図である。 ４チャンネルＣＦＡ内でのセンサエレメントからの緑色の光に関する画像情報のための補間可能性が紹介されている実施例を示す図である。 ４チャンネルＣＦＡ内でのセンサエレメントからの青色の光に関する画像情報のための補間可能性が紹介されている実施例を示す図である。 センサエレメントをどのように読み取ることができるかの概略的なパターンを示す図である。 センサエレメントをどのように読み取ることができるかの、別の概略的なパターンを示す図である。 前記複数のセンサエレメントを読み取る際に同じ重み付けされた積分の一実施形態が記載された線図である。 パラメータ化可能な低域変調器を有する概略的な回路装置を示す図である。 パラメータ化可能な時間離散された低域通過フィルタを有する概略的な回路装置を示す図である。 ここに紹介された提案を実行するためのデバイスの概略的な横断面図である。 画像センサをスキャンするための方法のフローチャートである。 画像センサをスキャンするための装置としての、本発明の一実施例のブロック図である。

ここに紹介した提案の実施例が図面に示されていて、以下に詳しく説明されている。

以下の本発明の好適な実施例の説明において、様々な図面が示されていて、類似の作用を有する構成要素には同じまたは類似の符号が用いられており、この場合、これらの構成要素の繰り返しの説明は省略される。

紹介された提案を理解するために、まず画像センサの機能形式または画像センサについて詳しく説明する。画像センサの実際の機能形式は、生成された画像速度に対して比較的短い露出時間を生ぜしめる。露出時間は、理想的には時間レンジ内の矩形とみなすことができる低域通過フィルタとして作用する。周波数領域において、ｓｉ関数として広いｔ_ｅｘｐを有する矩形の低域通過フィルタを以下に表す：

ｓｉ曲線の第１のゼロ交差は次の通りである：

これは同時に、低域通過フィルタの限界周波数のための一般的な近似を表す。次の一般的な露出時間と比較した。

一般的な画像再現速度／スキャン周波数：

によって、スキャン周波数ｆ_{ｓａｍｐｌｅ}および低域フィルタの限界周波数ｆ_Ｎｙｑ．が得られる。

スキャン定理に従って次の式が当てはまる：

図１は、ｆｒａｍｅ１およびｆｒａｍｅ２の時点で、時間的な窓幅ｔ_ｅｘｐの窓関数を有するスキャン関数が生じる線図を示し、これは最新の一般的なスキャンスキーマと見なされてよい。これによって、ナイキスト定理が明らかに損なわれる。これは、この世界に高い周波数（ゆっくりと移動する雲、写真その他）が発生もしていない限りは、問題ではない。

運転者支援システムの分野においては、もちろん、特に標準的な使用ケースにおいて、例えばＬＥＤ光（ブレーキランプ、相互交通道路標識）が検波された場合の、歩行者の四肢における光束の演算の際に、場面の迅速な変化が特に重要である。従って、光信号を時間的に正確にスキャンするかまたはスキャン定理の侵害を示唆すればよい。

時間的に正確なスキャンのための実際の時間的なスキャンの問題は、式（１２）

を満たさなければならない、ということである。

その結果から、次の基準も得られる：

このことは、正確なスキャンのための露出時間が、一般的なフレームの２倍長く継続するべきである、という意味である。追加的に、改善された低域通過特性のために、例えば時間的に変化するファクターを乗算する形式の時間的に調整された信号適合が必要である。

図２は、ナイキスト準拠スキャンスキーマが示されている複数の部分線図を示す。上の部分線図に、概略的な目標低域通過特性と時間ｔとの関係が示されており、これに対して下の部分線図には露出スキーマが示されていて、この露出スキーマは、相応にオーバラップされた低域通過フィルタによる理想的で時間的なスキャン、ここではｆｒａｍｅ１、ｆｒａｍｅ２およびｆｒａｍｅ３の時点での三角関数による時間的な変調として示されている。

実際のフレーム速度は、ナイキスト準拠の場合、低域通過フィルタの幅に合わせられる。一般的な画像センサにおいては、昼間は１ｍｓより長い積分時間は困難である（ＳＮＲ、夜間に適した設計その他の周辺条件）。それによって、時間的に正確なスキャンの際にフレーム速度も著しく高くなる（＞１ｋＨｚが必要である）。

この高いデータ伝送速度は処理できないので、あらかじめ一般的な３０Ｈｚに再び低下させて演算されるべきである。しかしながらこれは、例えば後置接続された信号処理装置によって行うことができる。

しかしながらこの場合、正確なダウンサンプリングは所望の画像速度によるスキャンに続いて再び低域通過フィルタを必要とする。出力信号はエイリアシング効果を有していないので、低下されたフレーム速度を有する最終信号は、正確なダウンサンプリングの際にやはりエイリアシングは含まれない。

つまり、光信号の時間的なスキャンにおいて、時間的な低域通過フィルタが使用される。この低域通過フィルタは、一方では露出時間によって与えられる。このためには、標準画像速度および標準露出時間は不十分であることが、三次元的なスキャンにおいて標準スキャンと称呼される。三次元的にレンズの不鮮明さにより、信号がピクセル寸法を越えて低域通過フィルタリングされることが確実であるのに対して、時間次元のためにしばしば相手側部材が欠落している。

ここでは、時間的に正確なスキャンのために２つの基本的な実装可能性を挙げることができる。
−ピクセル平面内での三次元的な実装としての時間的なずれ
−時間的な低域通過フィルタを実装するためのピクセルデザイン可能性

上記設計に従って、光信号は各三次元的なスキャンポイントにおいて、しかしながら時間的な撮影時点で、時間的に正確なスキャンを得るために、様々に重み付けされ、次いで累積積分され得る。この場合、時間的な様々な重み付けは、例えば低域通過フィルタの特性を表す。

この場合、時間的な様々な重み付けおよび／または測定値発生は、例えば連続的な光信号がそれぞれの時点で常に少なくとも２つまたはそれ以上の、発生された時間的なスキャン測定値に影響を及ぼすように構成されなければならない。

時間的なスキャンのオーバラップによって、三次元的なスキャン時点−ピクセルのために、本来２つまたはそれ以上の記憶装置が必要である。この記憶装置は、少なくとも電子コンデンサによって実装することができる。

叙述的には、例えば、第１のスキャン時点がまだその時間積分を終えていない間に、既に第２のスキャン時点を積分開始するということができる。第１のフレームが終わると、第３のフレームがその積分その他を開始する。第１のフレームの測定値も最終的な読み取り時間を必要とするので、実際には、おそらく２つだけではなく３つの記憶装置が必要とされる。

時間的にオーバラップするスキャン値の実装について以下に詳しく説明する。

三次元的な再構成において、２Ｄ空間点のために連続的な光信号を再構成するために、複数の好適には少なくとも３つの画像センサ値から精算するべきである。

十分に高価に設計された後処理装置において（例えば信号発生ブロックで）、３つの記憶装置の信号から、第１の時点と最後の時点との間の任意の所望の時点で信号が再構成され得る。この再構成ステップの直列接続および／または拡張によって、最後に目標フレーム速度が得られる。しかしながら、正確なダウンサンプリングは、ここでは再び、所望の画像速度のスキャンに続いて低域通過フィルタを必要とする。出力信号はエイリアシング効果を含んでいないので、正確なダウンサンプリングにおける低下されたフレーム速度を有する最終信号もエイリアシングを含んでいない。

確かに、より低い画像速度に演算し直される画像信号は、より高い画像速度におけるよりも、三次元内でより低い輪郭鮮明さも有する、ということが起こり得る。その原因は特に、従来技術による構成では、画像速度のエイリアシングなしの低下により、より長い仮想の露出時間が生ぜしめられ、これによってこの領域内で画像信号の混合を引き起こす、という点にある。時空的なフィルタを画像信号の演算のために使用することによって、これに反対に作用することができる。このフィルタは任意に複雑であって、特に次の特性を有していてよい：
−考慮された入力パラメータを、限定された近傍（例えば直接的なまたはその次の近傍）から得られた測定値に限定する。
−考慮された入力パラメータを、限定された時間窓の測定値（例えば：最後の５つだけの時間測定値）に限定する。
−入力値をその位置ポジションに依存して精算する。
−入力値をその撮影時点に依存して精算する。
−入力値を非線形の操作（最小、最大、中間）で精算する。
−入力値を線形の操作（たたみこみ、乗算、加算）で精算する。
−入力値を三次元的および時間的な関係を明確に考慮して精算する。
−様々な想定モデルを考慮して精算する。
−この場合、特に：自由度を有するパルス幅変調された光源を三次元的／時間的につきとめるためのモデル：再現速度、デューティサイクル、実際の画像速度に対する位相位置、例えば：相互交通道路標識のＬＥＤ、自動車のテールランプ等が考慮される。

さらに、信号発生ブロックは別の信号の特徴も算出することができる。例えば：
−２つの時点間の信号の平均的な時間的および／または三次元的な（局所的な）変化を算出し、アウトプットする（これはデータ伝送速度を低下させることがある）可能性。
−個別の露出Ｆｒａｍｅ１−３から、信号の時間的および／または三次元的（局所的）な分散がどの程度の大きさかを算出することもできる。
−上記中間測定値から、パラメータ化可能な閾値を用いて少ないビット数の情報量を有する特徴を抽出することができる。
−特に、時空的な信号量を“Ｆｌｉｃｋｅｒｎｄ／Ｐｕｌｓｅｄ ＬＥＤ”（フリッカー／パルスＬＥＤ）としてマーキングするために（例えば時間的な平均値に関連して時間的な信号分散を評価することによって）、単数または複数の閾値形成が利用されてよい。

この場合、説明のために以下の例を挙げることができる：スキャンサイクルにおいてセンサエレメントの信号が２５％より大きく変位すると、マーカービットを有する信号が変動しているものとしてマーキングされ、これは、人工的な光源の検出のために役立ち得る。閾値は、好適な形式で時間的におよび場合によっては場所的にも適合可能でなければならない。

時間的なエイリアシングなしのスキャンの他に、後処理ユニット内で処理され得る別の使用例もある：
−時空的な信号量の評価によってパターン化された露出時に正確な深度見積もりを抽出する。
…のための様々な光源の時間的な特徴（周波数、デューティサイクルその他）を決定する。

ここに紹介した本発明の構造および機能を、可能な代替案を有する詳細な実施例を用いて詳しく説明する。

ここに紹介した提案の一つの態様は、時間的にオーバラップした積分時間を三次元に置き換え、この際に、略三角形に構成された画像センサ若しくはセンサエレメントを有する規則的なスキャン格子を用いるという点にある。この場合、三角形はそれ自体が、二次元平面上の正確な補間を許容する最小の二次元形状である、ということが利用される。

図３は、格子構造３１０内におけるセンサエレメント３００（ピクセルとも称呼され得る）の可能な配置を示す。このセンサエレメント３００はそれぞれ、画像センサ３２０の三角形のセンサエレメント３００として構成されており、この場合、各センサエレメントは、青色、緑色、赤色または透明／白／ブロードバンドのために例えばスペクトルフィルタを備えていて、それによって所定の波長範囲内の光を検波することができる。

図４は、画像センサ３２０の三角形のセンサエレメント３００の４チャンネルの規則的な配置を示し、この場合、これらのチャンネルのそれぞれがセンサエレメント３００を有しており、これらのセンサエレメント３００は、前記４つの色、青、緑、赤および白のそれぞれを検出するために構成されている。さらに、図４に示されているように、（センサエレメントの側縁部に関連して）隣接可能に配置されたセンサエレメントが、それぞれ別の波長若しくは様々な波長範囲の光を検波するために構成されている。これは、図４の格子構造３１０内に配置されたセンサエレメント３００の様々なハッチングで分かる。例えば、センサエレメント３００ａは青色の光を検波するために構成されていて、センサエレメント３００ｂは緑色の光を検波するために構成されていて、センサエレメント３００ｃは赤色の光を検波するために構成されていて、またセンサエレメント３００ｄは白色の光を検波するために構成されている。

従って、ここに記載された本発明の実施例によれば、４チャンネルカラーフィルタ画像センサ３２０が使用され、この４チャンネルカラーフィルタ画像センサ内でセンサエレメント３００が、三角形ピクセルとして構成されていて規則的な格子構造３１０の配置を有している。多次元の光信号を補間するために（信号発生ブロックに関連して以下により詳しく記載された方法を参照）、センサエレメント３００の様々な近傍が考慮されてよい。

図５は、センサエレメント３００の可能な近傍において選択するための様々な波長範囲の光を検波する、隣接して配置されたセンサエレメント３００の詳細を示す。図５の左には格子構造３１０が示されていて、この格子構造３１０内には検出ポイント５００が示されており、この検出ポイント５００は、上で赤色の光に反応しやすいセンサエレメント３００ｃに隣接していて、右上および左下で青色の光に反応しやすいセンサエレメント３００ａに隣接していて、左上および右下で緑色の光に反応しやすいセンサエレメント３００ｂに隣接している。類似の形式で、検出ポイント５００の左隣および右隣の別の検出ポイント５１０においても、様々な色の光に反応しやすい相応の隣接するセンサエレメント３００が隣接しており、この場合、検出ポイント５００の左上および右下の検出ポイント５２０のために、やはり相応の、様々な色に対して感光性の隣接するセンサエレメント３００が隣接している。同じことが、検出ポイント５００に関連して左下および右上の検出ポイント５３０についても当てはまる。図５の右の図では、対応する検出ポイント５１０〜５３０における、様々な波長範囲に反応しやすいセンサエレメントの相応のパターンが示されている。

これらの近傍において、様々な三角形が中心点に検出ポイントとして補間され得る。

図６には、センサエレメント３００ｄによる白色の光に関する画像情報のための補間可能性が表されている実施例が示されている。この場合、例えば３つのセンサエレメント３００ｄのセンサ信号が使用されてよく、これらのセンサエレメント３００ｄは、検出ポイント５００の直ぐ隣で検出ポイント５００の周りに配置されている。これは、一方では、検出ポイント５００の下のセンサエレメント直線６００内並びに検出ポイント５００の上のセンサエレメント３００ｂ内における、図６の左の部分図に示されたセンサエレメント３００ｄであり、この場合、検出ポイント５００と白色の光のためのセンサエレメント３００ｄとの間に別のセンサエレメント３００ｃが配置されている。図６の右の部分図には、センサエレメント３００ｄの代替的な選択が示されており、このセンサエレメント３００ｄの、画像内容を算出または補間するためのセンサ信号は、検出ポイント５００のために考慮されてよい。この場合、検出ポイント５００は、画像内容を算出するためにセンサ信号が使用されるべき上記のセンサエレメント３００ｄとの接続によって形成される（想定）範囲内に、常に位置していることが分かる。

図７は、センサエレメント３００ｃを選択するための類似の可能性を示し、このセンサエレメント３００ｃは赤色の光に反応しやすいので、同様に検出ポイント５００のために相応の情報が画像処理若しくは補間によって算出され得る。

図８は、センサエレメント３００ｂを選択するための類似の可能性を示し、このセンサエレメント３００ｂは緑色の光に反応しやすいので、同様に検出ポイント５００のために相応の情報が画像処理若しくは補間によって算出され得る。

図９は、センサエレメント３００ａを選択するための類似の可能性を示し、このセンサエレメント３００ａは青色の光に反応しやすいので、同様に検出ポイント５００のために相応の情報が画像処理若しくは補間によって算出され得る。

図６〜図９に関する説明によって、画像情報、例えば輝度、色またはその他の、画像センサ３２０の検出ポイント５００のための画像パラメータが、ここに紹介された方法によって、つまり画像センサ３２０のセンサ表面上における画像センサ若しくはセンサエレメント３００を複数のグループに分割することによって、実装され得ることが明らかである。各グループは、三次元的な表示で位相がずらされたスキャン格子に相当する（上記のように）。各スキャン格子は、例えば別の格子に対する時間的な位相のずれを伴って別個に制御されてもよい。

上記提示された三角形の配置は、特に４チャンネルカラーフィルタアレイにおいて、２つの位相を実装する可能性、および同時に、常に明確に同じ種類の（つまり同じ波長範囲の光に反応しやすい）３つのセンサエレメント３００を補間するための可能性を提供することを可能にする。

図１０は、どのようにセンサエレメント３００が読み取られ、かつそれに基づく相応のセンサ信号がどのように処理され得るかの概略的なパターンを示す。このような光センサ３２０のセンサエレメント３００のセンサ信号の評価のために、読み取りが２つの位相で行われてよい。第１のＰｈａｓｅ１に、センサエレメント３００によって２つの行１０００が形成され、これらは、様々な波長のための感度を持つセンサエレメント３００を有しており、この場合、これらの行１０００のセンサエレメント３００は間隔を保って配置されており、従ってセンサエレメント３００の別の行１０１０が、２つの行１０００の間に位置している。第２の行は、以下に詳しく説明されているように、第２のＰｈａｓｅ２若しくは第２の周期で読み取ることができる。

第１のｐｈａｓｅ１で、例えば緑色の光に反応しやすい、２つの行１０００のセンサエレメント３００ｂが読み取られる。次いで、緑色の光に反応しやすいセンサエレメント３００ｂの個別の値を表すセンサ信号が、各記憶素子内に一時記憶され、場合によっては先に処理されることが可能で、この一時記憶されたまたは先に処理されたセンサ信号が画像情報を生ぜしめるために使用される前に、このセンサ信号は、読み取られたセンサエレメント３００ｂの（想定）接続ライン内に位置する検出ポイントに割り当てられる。次いでまたは時間的に平行して、２つの行１０００の、赤色の光に反応しやすいセンサエレメント３００ｃも読み取られ得る。次いで、赤色の光に反応しやすい個別のセンサエレメント３００ｃの値を表すセンサ信号が、各記憶素子内に一時記憶されることが可能で、場合によっては先に処理され、この一時記憶されたまたは先に処理されたセンサ信号が画像情報を生ぜしめるために使用される前に、このセンサ信号は、読み取られたセンサエレメント３００ｃの（想定）接続ライン内に位置する検出ポイントに割り当てられる。同様に、次いでまたは時間的に平行して、２つの行１０００の、白色の光に反応しやすいセンサエレメント３００ｄも読み取られる。次いで、白色の光に反応しやすい個別のセンサエレメント３００ｄの値を表すセンサ信号が、各記憶素子内に一時記憶され、場合によっては先に処理され、この一時記憶されたまたは先に処理されたセンサ信号が画像情報を生ぜしめるために使用される前に、このセンサ信号は、読み取られたセンサエレメント３００ｄの（想定）接続ライン内に位置する検出ポイントに割り当てられる。同様に、次いでまたは時間的に平行して、２つの行１０００の、青色の光に反応しやすいセンサエレメント３００ａも読み取られる。青色の光に反応しやすい個別のセンサエレメント３００ａの値を表すセンサ信号が、各記憶素子内に一時記憶され、場合によっては先に処理され、この一時記憶されたまたは先に処理されたセンサ信号が画像情報を生ぜしめるために使用される前に、このセンサ信号は、読み取られたセンサエレメント３００ａの（想定）接続ライン内に位置する検出ポイントに割り当てられる。

図１１は、センサエレメントをどのように読み取ることができるかの、別の概略的なパターンを示す。同様の形式で、第２のＰｈａｓｅ２若しくは第２のサイクルにおいても、別の行１０１０若しくは相応の追加的な行１１００のセンサエレメント３００が読み取られ、この場合、追加的な行１１００のセンサエレメント３００がやはり同様にセンサエレメント３００に対して間隔を保って配置されており、つまり別の行１０１０と追加的な行１１００との間に１つの行１０００が位置している。様々な波長範囲のためにそれぞれ異なる感度を有するセンサエレメント３００が隣接して配置されていることに基づいて、第２のサイクル若しくは第２の位相で、青色の光に反応しやすいセンサエレメント３００ａが、図１０に関連して前述されている方法と類似の方法で読み取られ、これから得られたセンサ信号が一時記憶または先に処理され、これから再び検出ポイントのための相応の画像情報を生ぜしめる。類似の方法は同様に、白色の光に反応しやすいセンサメント３００ｄ、赤色の光に反応しやすいセンサエレメント３００ｃ、および緑色の光に反応しやすいセンサエレメント３００ｂのために構成されるので、ここでは同様に、割り当てられた検出ポイントのための相応の画像情報若しくは画像内容が生ぜしめられる。さらに、読み取ろうとするセンサエレメント３００の行毎の配置を用いることによって、図６に関連して記載されているように、読み取られた２つのセンサエレメント３００がやはり１つの共通のセンサエレメント直線上に位置していることが分かる。

ここに紹介された方法は、信号理論的な観点で見て幾つかの特徴を有している。生成された光信号若しくはセンサエレメント信号は、通常は１つのコンデンサ内に集められた複数の電子を成している。オーバラップした露出時間の信号は、エイリアシングのない信号（例えば画像情報としての）を得るために、互いに精算する必要がある。追加的に、所定の設計の三次元的な構造、および時間的な低域通過フィルタの特性も一緒に考慮されてよい。時空的な光信号の低域通過フィルタリングを記述するために、数学的に、光学的な低域通過フィルタが時間的な低域通過フィルタと共に１単位を成している。これは、後からの信号再構成の実行時に考慮されるべきである。

画像センサが、今日一般的であるように、時間的にずらされた一定の露出時間で読み取られると、周波数範囲内の低域通過フィルタはＳｉｎｃ関数である。理想的には、周波数範囲内の矩形フィルタであって、これは時間レンジ内でＳｉｎｃ変調を必要とする。

実際には、選択的に低域通過特性の実装に関連して、テストされた多くの最先端技術、例えばＬａｎｃｚｏｓフィルタ、三角形とＳｉｎｃフィルタとから成る混合物その他がある。

図１２は、前記複数のセンサエレメント３００を読み取る際に同じ重み付けされた積分の実施例が記載された線図を示す。この場合、それぞれ読み取られたセンサエレメント３００ａ、３００ｂ，３００ｃ，３００ｄ（ここではフォトダイオードとして構成されている）は、それぞれ同じ波長範囲に反応しやすい（つまり、赤に敏感なセンサエレメント、青に敏感なセンサエレメント、白に敏感なセンサエレメントまたは緑に敏感なセンサエレメント）。この場合、読み取りは、当該のピクセルに割り当てられた曲線が高いレベルを有している時間間隔に関して行われる。つまり、３つの読み取ろうとするセンサエレメント３００ａ，３００ｂ，３００ｃ，３００ｄのそれぞれ（区別しやすくするために図１２ではピクセル１、ピクセル２およびピクセル３を有している）の前記方法に従ってそれぞれ、時間的に相前後して、好適には少なくとも部分的に時間的にオーバラップして読み取られる、という意味である。この場合、センサエレメント３００ａ，３００ｂ，３００ｃ，３００ｄの相応のセンサ信号１２００ａ，１２００ｂ，１２００ｃ若しくは読み取られた値は、それぞれ１つのコンデンサ１２１０内に一時記憶され、この場合、このコンデンサ１２１０内で電子の累積積分が所定の時間にわたって行われる。

さらに、ここで提案された方法によって、時間的に連続した低域通過フィルタのパラメータ化も可能である。パラメータ化可能な時間的な低域通過フィルタを実装するための可能性は、時間的に連続したフォトダイオード信号を低域通過変調器１３００に供給する。図１３は、このようなパラメータ化可能な低域通過変調器１３００を有する概略的な回路装置を示す。この回路装置は、センサエレメント３００ａ，３００ｂ，３００ｃ，３００ｄとしての当該のフォトダイオードによって生成されたセンサ信号１２００ａ，１２００ｂ，１２００ｃから、時間的に変調された電流を生ぜしめ、この電流が、キャパシタ若しくはコンデンサ１２１０内で累積積分され、このコンデンサ１２１０から後処理装置若しくは場所時間的な光信号再構成装置に供給される。

ここに紹介された提案によって、重み付けされかつ時間離散された積分若しくはパルス変調された露出時間の一例が図１４に概略的に示されているように、パラメータ化可能な時間離散された低域通過フィルタの実装が可能である。パラメータ化可能な時間的な低域通過フィルタを実装するための可能性は、ダイオード信号若しくはセンサ信号１２００ａの時間的な離散によって実現され得る。このために、フォトダイオード３００ａ，３００ｂ，３００ｃ，３００ｄが低域通過時間間隔内で例えば数百回読み取られる。

本発明のこの実施例では、集められた電子が、まず低域通過フィルタの時間的に最新の重み付けに応じて増幅されるが、これは例えば時間に依存した適当な増幅器１４００によって実施することができ、この場合、この増幅器１４００で実施された増幅はマイナスであってもよい。この変調は、例えばその後の増幅および電流への逆変換を含む、小さいキャパシタ１４１０内の一時記憶装置によって行うことができ、この電流がコンデンサ１２１０内に記憶される。生成された信号１２００ａ，１２００ｂ，１２００ｃは、パルス毎に重み付けされ、記憶キャパシタに供給され、ここで累積積分される。追加的に、この構造において、改善された信号品質を生成するために、パルス幅も低域通過特性に応じて適合されてよい。

特に好適には、ここで紹介された提案は、個別の構成要素がここで紹介された方法を実施するために１つの共通の処理モジュール１５００に組み込まれている場合に、使用され得る。従って、いわゆる“Ｓｔａｃｋｅｄ Ｄｉｅ（スタックドダイ）”内でピクセル構造の構成が行われ得る。古典的な半導体プロセスはその回路を２Ｄ構成で互いに隣り合わせて実装する。しかしながら最近の半導体プロセスは、複数の回路を互いに重ね合わせて接続することができる。これは、「スタックドダイ」技術と呼ばれている。時間的に正しいサンプリングの場合、前述のように、実際の画像センサに設けられているよりも複雑なハードウエア構造が必要となる。従って、特に好適な実施例によれば、相応に構成されたモジュールの上の層において光子から電子への変換を行わせ（今日一般的であるように）、低域通過変調および場合によっては別の後処理段階（勾配形成、フレーム時点での信号再構成その他）をモジュールのより深い層にシフトするように提案される。

図１５は、このようなモジュール１５００の概略的な横断面図を示す。上の層１５１０において、センサエレメント３００からのセンサ信号１２００を予め記憶することなしに、または場合によっては、時間離散された積分が予定されている場合に、センサエレメント３００からのセンサ信号１２００を小さいキャパシタ１４１０に予め記憶して、光子−電子変換が行われる。従って、光子−電子変換のために重要な層１５１０の下に、信号処理平面１５２０が設けられている。この下の平面１５２０若しくは層は、光子−電子変換のための層とは異なる製造技術（例えば：１４ｎｍまたは７ｎｍ）により製造されてもよく、これによって、著しく複雑な標準信号処理段階がここで可能である。次いで、この信号処理平面１５２０に、センサ信号１２００若しくは小さいキャパシタ１４１０から集められた信号を相応に処理できるようにするために、例えば低域通過変調器１３００および／または増幅器１４００が構成されてよい。最後に、この信号処理平面に、より複雑な信号処理ユニット１５３０が設けられてよい。この信号処理ユニット１５３０で例えば１回または複数回の生成ステップを実施することができる。

要約すると、ここに紹介された本発明の特に好適な実施例によれば、規則的なスキャン格子を用いた光信号のスキャンが開示されており、このスキャン格子は画像センサ若しくは三角形のセンサエレメントを備えている、ということがわかる。

図１６は、画像センサをスキャンするための方法１６００のフローチャートを示し、この場合、画像センサは三角形の複数のセンサエレメントを備えた格子構造を有していて、この格子構造内に、それぞれ互いに異なる波長範囲内の光を検波するために、隣接して配置されたンサエレメントが構成されている。この方法１６００は、格子構造の複数のセンサエレメントをスキャンすることによって画像センサを読み取るステップ１６１０を有しており、これらのセンサエレメントは、同じ第１の波長範囲内の光を検波するために構成されており、この場合、読み取りのステップで、センサエレメントごとに１つのセンサ信号が読み取られる。この方法１６００は、読み取られたセンサ信号を一時記憶するステップ１６２０も有している。さらに、この方法１６００は、一時記憶されたセンサ信号を用いて、画像センサの検出ポイントに割り当てられた画像情報を生成するステップ１６３０を有している。

図１７は、画像センサをスキャンするための装置１７００としての、本発明の一実施例のブロック図を示し、この場合、画像センサは、三角形の複数のセンサエレメントを備えた格子構造を有しており、格子構造内に、それぞれ互いに異なる波長範囲内の光を検波するために隣接して配置されたセンサエレメントが構成されている。この装置は、格子構造の複数のセンサエレメントをスキャンすることによって画像センサを読み取るための装置１７１０を有しており、この装置１７１０は、同じ第１の波長範囲内の光を検波するために構成されていて、この場合、読み取りのステップでセンサエレメント毎に１つのセンサ信号が読み取られる。また、この装置１７００は、読み取られたセンサ信号を一時記憶するためのユニット１７２０と、画像センサの検出ポイントに割り当てられた画像情報を一時記憶されたセンサ信号を用いて生成するためのユニット１７３０も有している。

一実施例が、第１の特徴と第２の特徴との間で「および／または」接続を有している場合、これは、この実施例が、一実施形態に従って第１の特徴も第２の特徴も有しており、また別の実施形態に従って第１の特徴だけまたは第２の特徴だけを有している、と読み取られるべきである。

３００，３００ａ，３００ｂ，３００ｃ，３００ｄ センサエレメント
３１０ 格子構造
３２０ 画像センサ
５００ 検出ポイント
６００ センサエレメント直線
１０００，１０１０，１１００ 行
１２００，１２００ａ，１２００ｂ，１２００ｃ，１２００ｄ センサ信号
１２１０ コンデンサ
１３００ 低域変調器
１４００ 増幅器
１４１０ キャパシタ
１５００ 処理モジュール
１５１０ 上の層
１５２０ 信号処理平面
１５３０ 信号処理ユニット
１６００ 方法
１６１０ 画像センサを読み取るステップ
１６２０ 読み取られたセンサ信号を一時記憶するステップ
１６３０ 画像情報を生成するステップ
１７００ 画像センサをスキャンするための装置
１７１０ 画像センサを読み取るための装置
１７２０ 読み取られたセンサ信号を一時記憶するためのユニット
１７３０ 画像情報を生成するためのユニット

Claims (12)

1. 画像センサ（３２０）をスキャンするための方法（１６００）であって、前記画像センサ（３２０）が、三角形の複数のセンサエレメント（３００ａ，３００ｂ，３００ｃ，３００ｄ）を備えた格子構造（３１０）を有しており、前記格子構造（３１０）内で隣接して配置されたセンサエレメント（３００ａ，３００ｂ，３００ｃ，３００ｄ）が、それぞれ互いに異なる光特性に関連して光を検波するために構成されており、この場合、前記方法（１６００）が次のステップ、つまり：
   −同じ第１の波長範囲内の光を検波するために構成された、前記格子構造（３１０）の複数のセンサエレメントをスキャンすることによって、前記画像センサ（３２０）を読み取るステップ（１６１０）を有しており、該読み取るステップ（１６１０）で、センサエレメント毎に１つのセンサ信号（１２００ａ，１２００ｂ，１２００ｃ）を読み取り、
   −前記読み取られたセンサ信号（１２００ａ，１２００ｂ，１２００ｃ）を一時記憶するステップ（１６２０）を有しており、
   −前記一時記憶されたセンサ信号を用いて、前記画像センサ（３２０）の検出ポイント（５００）に割り当てられた画像情報を生成するステップ（１６３０）を有している、
   画像センサ（３２０）をスキャンするための方法（１６００）。
2. 前記読み取るステップ（１６１０）で、少なくとも３つのセンサエレメント（３００ａ，３００ｂ，３００ｃ，３００ｄ）をスキャンし、この際に、スキャンされた３つのセンサエレメント（３００ａ，３００ｂ，３００ｃ，３００ｄ）のうちの２つが１つのセンサエレメント直線（６００）上に位置し、３つのセンサエレメント（３００ａ，３００ｂ，３００ｃ，３００ｄ）のうちの少なくとも１つが前記センサエレメント直線（６００）上に位置していないことを特徴とする、請求項１記載の方法（１６００）。
3. 前記読み取るステップ（１６１０）で、前記センサエレメント直線（６００）上に位置していない、読み取ろうとするセンサエレメント（３００ａ，３００ｂ，３００ｃ，３００ｄ）として、前記格子構造（３１０）内の位置に配置されたセンサエレメント（３００ａ，３００ｂ，３００ｃ，３００ｄ）をスキャンし、従って少なくとも１つのセンサエレメント（３００ａ，３００ｂ，３００ｃ，３００ｄ）が前記位置と前記センサエレメント直線（６００）との間に位置していることを特徴とする、請求項２記載の方法（１６００）。
4. 前記読み取るステップ（１６１０）で、前記センサエレメント（３００ａ，３００ｂ，３００ｃ，３００ｄ）を様々な時間間隔で読み取り、この場合、前記時間間隔を少なくとも部分的にオーバラップさせることを特徴とする、請求項１から３までのいずれか１項記載の方法（１６００）。
5. 前記生成するステップ（１６３０）を、前記一時記憶されたセンサ信号の補間法を用いて、および／または前記一時記憶されたセンサ信号から導き出された信号を用いて行うことを特徴とする、請求項１から４までのいずれか１項記載の方法（１６００）。
6. 前記読み取るステップ（１６１０）、前記一時記憶するステップ（１６２０）および前記生成するステップ（１６３０）を、前記第１の波長範囲とは異なる同じ第２の波長範囲内の光を検波するために構成されたセンサエレメント（３００ａ，３００ｂ，３００ｃ，３００ｄ）のために、繰り返し行うことを特徴とする、請求項１から５までのいずれか１項記載の方法（１６００）。
7. 前記読み取るステップ（１６１０）、前記一時記憶するステップ（１６２０）および前記生成するステップを、周期的に複数回連続して行い、第１のサイクル（Ｐｈａｓｅ１）で、前記格子構造（３１０）内の共通の第１のセンサエレメント直線（６００）上に配置されかつ前記格子構造（３１０）内の位置に配置されたセンサエレメント（３００ａ，３００ｂ，３００ｃ，３００ｄ）を読み取り、従って少なくとも１つのセンサエレメント（３００ａ，３００ｂ，３００ｃ，３００ｄ）が、格子構造内の前記位置とセンサエレメント直線（６００）との間に位置しており、第２のサイクル（Ｐｈａｓｅ２）で、前記格子構造（３１０）内の前記第１のセンサエレメント直線（６００）とは異なる共通の第２のセンサエレメント直線（６００）上に配置されかつ前記格子構造（３１０）内の位置に配置されたセンサエレメント（３００ａ，３００ｂ，３００ｃ，３００ｄ）を読み取り、従って少なくとも１つのセンサエレメント（３００ａ，３００ｂ，３００ｃ，３００ｄ）が格子構造内の前記位置と前記第２のセンサエレメント直線（６００）との間に位置していることを特徴とする、請求項１から６までのいずれか１項記載の方法（１６００）。
8. 前記一時記憶するステップ（１６２０）で、単数または複数の前記センサ信号（１２００ａ，１２００ｂ，１２００ｃ）の重み付けを行うことを特徴とする、請求項１から７までのいずれか１項記載の方法（１６００）。
9. 請求項１から８までのいずれか１項記載の方法（１６００）のステップを、相応のユニット（１４１０，１３００，１４００，１５３０；１７１０，１７２０，１７３０）で実施するために構成された装置（１７００，１５００）。
10. 前記装置（１７００，１５００）が１つの共通の半導体モジュール内に集積されている、請求項９記載の装置（１７００，１５００）。
11. 請求項１から８までのいずれか１項記載の前記方法（１６００）を実行するために構成されたコンピュータプログラム。
12. 請求項１１記載の前記コンピュータプログラムが記憶されている機械読み取り可能な記憶媒体。

Images