JP2018023096A - 光センサを走査する方法および装置 - Google Patents

Abstract

【課題】 本発明は、光センサ（１３００）を走査する方法に関する。【解決手段】 光センサ（１３００）は複数の六角形のセンサ素子（１３０２，１３０４，１３０６）からなる格子構造を含んでおり、これらのセンサ素子は、それぞれ隣接する３つのセンサ素子（１３０２，１３０４，１３０６）のそれぞれの中心点を仮想的な結合線によって実質的に二等辺三角形をなすように結合可能であるように配置されている。この方法では、まずセンサ素子（１３０２，１３０４，１３０６）の並びごとの走査によって光センサ（１３００）が読み出される。少なくとも４つの隣接する並びが走査されたときに読み出されたセンサ信号（１３２２）が中間保存される。その次のステップで、それぞれ１つのセンサ素子（１３０２，１３０４，１３０６）に割り当てられる複数の画像素子（１３２４）が、少なくともセンサ信号（１３２２）の補間によって生成される。【選択図】 図１３

Description

本発明は、独立請求項の分野に属する装置または方法を前提とする。コンピュータプログラムも本発明の対象物である。

画像センサはその個々の光センサについて、たとえば長方形、六角形、または斜角のグリッド構造を有することができる（二次元のブラベー格子参照）。

以上の背景のもとで、ここで提案される取組により、画像センサの光センサを用いて光信号を走査する方法、当該方法を適用する装置、ならびに最後に相応のコンピュータプログラムがそれぞれ主請求項に基づいて提案される。従属請求項に記載の方策により、独立請求項に記載されている装置の好ましい発展形と改良形が可能である。

１つの実施形態では光信号を走査する方法が提案され、画像センサは六角形の格子に配置された複数の六角形のセンサ素子から構成される。

このときセンサ素子は、それぞれ隣接する３つのセンサ素子のそれぞれの中心点を仮想的な結合線によって実質的に二等辺三角形をなすように結合可能であるように配置される。

個々の光センサは、たとえば色彩構成のために援用される、それぞれ異なるスペクトルフィルタを装備していてよい。各々の光センサは、フィルタ型式に応じて、スペクトルフィルタに割り当てられる光特性のセンサ信号（測定）を生成する。

光センサはこのように異なるセンサ型式の点で区別される。このとき本方法は次の各ステップを有している：

光センサ測定または光センサ信号の並びごとの、または列ごとの読出しによって画像センサが読み出され；

少なくとも４つの隣接する並びまたは列が走査されたときに読み出されたセンサ信号が中間保存され；

少なくとも１つの別のセンサ型式のセンサ信号の補間により、それぞれのセンサ素子に割り当てられる複数の光特性が生成される。

「画像センサ」とは、多数の異なる光センサから構成される構造物であると理解することができる。

光センサとは、光束のフォトンをその特性に依存して測定可能な信号に変換する物理的な装置であると理解することができる。

光束の特性は、フォトンのエネルギーと波長、単位時間あたりのフォトンの数（光束強度／強さ）、および光束のフォトンの分極の向きの３つである。

１つの実施形態では、光センサを走査する方法が提案され、光センサは複数の六角形のセンサ素子からなる格子構造を有しており、センサ素子は、それぞれ隣接する３つのセンサ素子のそれぞれの中心点を仮想的な結合線によって実質的に二等辺三角形をなすように結合可能であるように配置され、本方法は次の各ステップを含んでいる：

センサ素子の並びごとの走査によって光センサが読み出され；

少なくとも４つの隣接する並びが走査されたときに読み出されたセンサ信号が中間保存され；

センサ信号の、たとえば中間保存のステップで中間保存された少なくとも２つのセンサ信号の補間により、それぞれのセンサ素子に割り当てられる複数の画像素子が生成される。このとき、補間のために利用されるセンサ信号は第１のセンサ型式のセンサ素子のものを利用することができ、画像素子が生成されるセンサ素子は、第１のセンサ型式とは異なる第２のセンサ型式のセンサ素子である。１つの実施形態では、利用されるセンサ信号の少なくとも１つの画像情報の補間を実行することもできる。

画像センサとも呼ぶ光センサの走査とは、センサ素子から提供されるセンサ信号が走査されることであると理解することができる。したがって光センサの読出しは、センサ素子から提供されるセンサ信号の並びごとの走査が行われるように実行することができる。生成のステップで、光特性を画像素子として生成することができる。場合により補間の際に利用される画像情報は、少なくとも１つのセンサ信号に呼応させることができ、または少なくとも１つのセンサ信号によって表されていてよい。

たとえば生成のステップで、第１のセンサ型式のセンサ素子の、たとえば別のスペクトルフィルタを有するセンサ素子の、少なくとも２つのセンサ信号の補間によって、第２のセンサ型式のセンサ素子についての光特性を生成することができる。その際に利用されるセンサ信号は、中間保存のステップで中間保存されたセンサ信号であってよい。

並びごとの走査とは、行ごとまたは列ごとの走査であると理解することができる。光センサとも呼ぶセンサ素子とは、特定の光特性を測定するために特定の測定チャネルに割り当てられる光センサの感光性デバイスであると理解することができる。たとえば光センサは、たとえば赤、緑、青のように少なくとも３つの異なる光特性を測定するための少なくとも３つの測定チャネルを有することができる。センサ素子は、たとえば互いに隣接するように配置されていてよく、または、それぞれの割り当てられた測定チャネルに関して交互に格子構造で配置されていてよい。センサ素子は、特にセンサ型式の光特性の一次元の測定値のみによって表されるリクセルとも呼ぶことができる。画像素子とは、光センサにより生起されるべき画像のピクセルであると理解することができ、この画像は特に多次元の情報、たとえば光信号に割り当てられた色の数字コーディングを担うことができる。たとえば画像素子は生成のステップで、六角形または長方形の出力ラスタを利用したうえで生成することができる。画像情報とは、たとえば補間に基づいて判定される色情報や明度情報であると理解することができる。

ここで提案される取組が依拠する知見は、複数の六角形のセンサ素子からなる格子構造を有する光センサを並びごとの走査によって、特に列ごとに空間的に位相ずれしたセンサ素子の走査によって、ナイキスト適合的に、かつオーバーサンプリングなしに読み出すことができるというものである。

このとき、特にこのような構造ではローパスフィルタの特徴的な位置周波数を、同等の長方形の格子とは違ってさらに高い位置周波数がなおも通過されるように読み出すことが可能である。

１つの実施形態では、中間保存のステップでセンサ信号をリングバッファに中間保存することができる。それにより、中間保存をできる限り効率的に行うことができる。

別の実施形態では、生成のステップで、六角形の出力ラスタを利用したうえで画像素子を生成することができる。その追加または代替として、長方形の出力ラスタを利用したうえで画像素子を生成することができる。それにより、特に典型的な画像出力機器でその他の変換なしに表示することができる、現実に忠実な高解像度の画像を生成することができる。

光センサの１つの実施形態は、時間的に独立した２つまたはそれ以上の部分ステップで読出しを行うことができるような形式での光センサの分割である。すなわち、光センサが時間的に位相ずれして走査される。光センサの分割はサブピクセルと呼ぶこともでき、センサ素子の空間的な部分区域を含んでいる。このような実施形態により、時間的にオーバーラップした積分によって光信号の理想的な時間的走査を具体化することができる。

さらに光センサは、第１の光特性を測定するための少なくとも１つの第１の測定チャネルと、第２の光特性を測定するための第２の測定チャネルと、第３の光特性を測定するための第３の測定チャネルとを有することができる。センサ素子は、３つの測定チャネルのうちそれぞれ１つに割り当てられていてよく、それぞれ１つの中央のセンサ素子が隣接する６つのセンサ素子で包囲されるように配置されていてよい。このとき中央のセンサ素子は、隣接する６つのセンサ素子とは異なる測定チャネルに割り当てられていてよい。たとえば読出しのステップで、３つの測定チャネルをセンサ素子の並びごとの走査によって読み出すことができる。生成のステップで、隣接する６つのセンサ素子のうち少なくとも３つのセンサ信号を利用したうえで、中央のセンサ素子に割り当てられた少なくとも１つの中央の画像情報を補間することで画像素子を生成することができる。それにより、補間をできる限り効率的に実行することができる。１つの実施形態では、中央のセンサ素子は第１の測定チャネルに割り当てられていてよく、この場合、隣接する６つのセンサ素子のうち３つがそれぞれ第２の測定チャネルに割り当てられていてよく、隣接する６つのセンサ素子のうち別の３つがそれぞれ第３の測定チャネルに割り当てられていてよい。それに応じて生成のステップで、それぞれ第２の測定チャネルに割り当てられた隣接する３つのセンサ素子のセンサ信号の平均をとることで、またはその追加もしくは代替としてそれぞれ第３の測定チャネルに割り当てられた隣接する３つのセンサ素子のセンサ信号の加重平均をとることで、中央の画像情報を補間することができる。それにより、補間の効率をいっそう高めることができる。

１つの実施形態では、中央のセンサ素子は第１の測定チャネルに割り当てられていてよく、隣接する６つのセンサ素子のうち３つがそれぞれ第２の測定チャネルに割り当てられていてよく、隣接する６つのセンサ素子のうち別の３つがそれぞれ第３の測定チャネルに割り当てられていてよい。センサ素子が六角形の格子上にあるとき、光センサは二等辺三角形を形成することができる。

それに応じて生成のステップで、それぞれ第２の測定チャネルに割り当てられた隣接する３つのセンサ素子のセンサ信号の均等加重平均をとることで、またはその追加もしくは代替としてそれぞれ第３の測定チャネルに割り当てられた隣接する３つのセンサ素子のセンサ信号の均等加重された加重平均をとることで、中央の画像情報を補間することができる。それにより、補間の効率をいっそう高めることができる。

生成のステップで、第１の光特性を表す画像情報を中央の画像情報として補間することができる。それにより、第２または第３の光特性を表すセンサ信号からの補間によって、第１の光特性を判定することができる。

生成のステップで、光特性からの複素再構成によってのみ判定できる画像情報を光特性から生成することもできる（たとえば分極、ＬＥＤフリッカー挙動など・・・）。

この方法は、たとえばソフトウェアとして、またはハードウェアとして、またはソフトウェアとハードウェアからなる混合形態で、たとえば制御装置にインプリメントされていてよい。

さらに、ここで提案される取組は、ここで提案される方法の変形形態の各ステップを相応のデバイスで実施し、制御し、ないしは具体化するために構成された装置も提供する。このような装置の形態での本発明の実施態様によっても、本発明に課された課題を迅速かつ効率的に解決することができる。

そのためにこの装置は、信号またはデータを処理するための少なくとも１つの計算ユニット、信号またはデータを保存するための少なくとも１つの記憶装置ユニット、センサのセンサ信号を読み込むため、またはデータもしくは制御信号をアクチュエータへ出力するための、センサまたはアクチュエータとの少なくとも１つのインターフェース、および／または通信プロトコルに埋め込まれたデータを読み込むため、またはデータを出力するための少なくとも１つの通信インターフェースを有することができる。計算ユニットはたとえば信号プロセッサ、マイクロコントローラなどであってよく、記憶装置ユニットはフラッシュメモリ、ＥＰＲＯＭ、または磁気記憶装置ユニットであってよい。通信インターフェースは、データを無線式および／または回線式に読み込み、もしくは出力するために構成されていてよく、回線式にデータを読み込み、もしくは出力することができる通信インターフェースは、これらのデータをたとえば電気式または光学式に相応のデータ伝送回線から読み込み、もしくは相応のデータ伝送回線へ出力することができる。

装置とは、本件においては、センサ信号を処理し、それに依存して制御信号および／またはデータ信号を出力する電気機器であると理解することができる。この装置は、ハードウェアおよび／またはソフトウェアとして構成されていてよいインターフェースを有することができる。ハードウェアとしての構成では、インターフェースはたとえば装置の種々の機能を含むいわゆるシステムＡＳＩＣの一部であってよい。しかしながら、インターフェースが独自の集積回路であり、または少なくとも部分的に離散したコンポーネントからなっていることも可能である。ソフトウェアとしての構成では、インターフェースはたとえばマイクロコントローラに他のソフトウェアモジュールとともに存在するソフトウェアモジュールであってよい。

１つの好ましい実施形態では、本装置によって車両の制御が行われる。そのために本装置は、たとえば加速度信号、圧力信号、操舵角信号、または環境センサ信号などのセンサ信号にアクセスすることができる。制御は、車両のブレーキアクチュエータやステアリングアクチュエータを通じて、あるいはエンジン制御装置を通じて行われる。

半導体メモリ、ハードディスクメモリ、あるいは光学メモリのような機械式に読取可能な媒体または記憶媒体に保存されていてよく、特にプログラム製品またはプログラムがコンピュータや装置で実行されるときに、上に説明した実施形態のうちいずれか１つに基づく方法の各ステップを実行、具体化、および／または制御するために利用される、プログラムコードを有するコンピュータプログラム製品またはコンピュータプログラムも好ましい。

本発明の実施例が図面に示されており、以下の記述において詳しく説明する。図面は次のものを示す：

画像センサにおけるベイヤーカラーフィルタアレイを示す模式図である。 図１のベイヤーカラーフィルタアレイを示す模式図である。 長方形のセンサ構造の走査点を示す模式図である。 六角形のセンサ構造の走査点を示す模式図である。 ＲＧＢカラーフィルタアレイのアドレシングスキーマを示す模式図である。 図５のＲＧＢカラーフィルタアレイのアドレシングスキーマを示す模式図である。 図５のＲＧＢカラーフィルタアレイを示す模式図である。 図５のＲＧＢカラーフィルタアレイを示す模式図である。 図５のＲＧＢカラーフィルタアレイを示す模式図である。 図５のＲＧＢカラーフィルタアレイを示す模式図である。 感度のある面の形態の考えられ得る別の実施形態としての長方形のピクセルを示す模式図である。 感度のある面の形態の考えられ得る別の実施形態としての長方形のピクセルを示す模式図である。 １つの実施例に基づく光センサを示す模式図である。 図１３の光センサを示す模式図である。 １つの実施例に基づく光センサによる補間を示す模式図である。 目標走査のローパス特性、ならびに時間的なオーバーラップを含む理想的な時間的走査に関する露光スキーマを示す模式図である。 １つの実施例に基づく光センサを示す模式図である。 １つの実施例に基づく光センサを示す模式図である。 １つの実施例に基づく光センサを示す模式図である。 １つの実施例に基づく光センサを示す模式図である。 １つの実施例に基づく装置を示す模式図である。 １つの実施例に基づく方法を示すフローチャートである。

本発明の好都合な実施例についての以下の記述では、異なる図面に示されていて類似の作用をもつ部材については同一または類似の符号が使われており、そのような部材について繰り返し説明することはしない。

図１は、画像センサにおけるベイヤーカラーフィルタアレイ１００の模式図を示している。示されているのは、ここでは赤（Ｒ）、青（Ｂ）、または緑（Ｇ）であるそれぞれ１つの色を検知するための個々のリクセル１０２である。このような４つのリクセル１０２が、それぞれ１つのカラーフィルタアレイセル１０４を形成する。

図２は、図１のベイヤーカラーフィルタアレイ１００の模式図を示している。

図３は、長方形のセンサ構造の走査点３００の模式図を示している。

図４は、六角形のセンサ構造の走査点３００の模式図を示している。

図５は、スネークライクバスとも呼ばれる蛇状のバス５０２を有するＲＧＢカラーフィルタアレイ５００のアドレシングスキーマの模式図を示している。

図６は、ここでは直線状のバス６００により具体化される、図５のＲＧＢカラーフィルタアレイ５００のアドレシングスキーマの模式図を示している。

図７は、図５のＲＧＢカラーフィルタアレイ５００の模式図を示している。空間的なローパスフィルタの１つの特徴的な量が、３つの円７００によって表されている。３つの円７００の各々が、ＲＧＢカラーフィルタアレイ５００の３つすべてのチャネルを含んでいる。

図８は、図５のＲＧＢカラーフィルタアレイ５００の模式図を示している。示されているのは、ここではＲチャネルであるチャネルについての非直交の走査格子８００である。

図９は、図５のＲＧＢカラーフィルタアレイ５００の模式図を示している。示されているのは、サンプリング点とも呼ぶＲＧＢカラーフィルタアレイ５００のそれぞれの走査点９００の間隔ｒ、ならびに、走査格子のそれぞれの行の間隔ｄである。走査格子は等間隔である。たとえば
である。

図１０は、図５のＲＧＢカラーフィルタアレイ５００の模式図を示している。ＲＧＢカラーフィルタアレイ５００は、理想的な六角形のダイオード面１０００を有している。

図１１は、感度のある面の形態の考えられ得る別の実施形態としての長方形のピクセル１１００の模式図を示している。ピクセル１１００の読出しは行のフェーズシフトによって行われる。

図１２は、感度のある面の形態の考えられ得る別の実施形態としての長方形のピクセル１１００の模式図を示している。図１１とは異なり、ピクセル１１００の読出しはここでは列のフェーズシフトによって行われる。

図１３は、１つの実施例に基づく光センサ１３００の模式図を示している。この光センサ１３００は、本実施例では、第１の光特性を測定するための複数の第１のセンサ素子１３０２と、第２の光特性を測定するための複数の第２のセンサ素子１３０４と、第３の光特性を測定するための複数の第３のセンサ素子１３０６とからなる格子構造を有している。センサ素子１３０２，１３０４，１３０６はそれぞれ六角形として成形されるとともに、それぞれ隣接する３つのセンサ素子のそれぞれの中心点が、仮想的な結合線により、実質的に二等辺三角形をなすように結合されるように互いに隣接して配置される。本実施例では光センサ１３００は、第１の光特性としての色である赤、第２の光特性としての色である青、および第３の光特性としての色である緑を検知するためのＲＧＢセンサとして構成される。このとき赤の色は光センサ１３００の第１の測定チャネルを表し、青の色は光センサ１３００の第２の測定チャネルを表し、緑の色は光センサ１３００の第３の測定チャネルを表す。

センサ素子１３０２，１３０４，１３０６は、行ごとにも列ごとにも交互に格子構造に配置されている。

図１３に見られるとおり、センサ素子１３０２，１３０４，１３０６は、それぞれ１つセンサ素子が隣接する６つのセンサ素子で包囲されるように配置されている。それぞれ包囲されるセンサ素子を中央のセンサ素子とも呼ぶことができる。図１３では一例として、このような５つの近傍が大きな六角形によってマーキングされている。図示しているのは、中央のセンサ素子としてのそれぞれ１つの第３のセンサ素子１３０６ならびに隣接するセンサ素子としての３つの第１のセンサ素子１３０２および３つの第２のセンサ素子１３０４を有する緑中央の３つの近傍１３０８、中央のセンサ素子としての第１のセンサ素子１３０２ならびに隣接するセンサ素子としての３つの第２のセンサ素子１３０４および３つの第３のセンサ素子１３０６を有する赤中央の近傍１３１０、ならびに、中央のセンサ素子としての第２のセンサ素子１３０４ならびに隣接するセンサ素子としての３つの第１のセンサ素子１３０２および３つの第３のセンサ素子１３０６を有する青中央の近傍１３１２である。

光センサ１３００は、センサ素子１３０２，１３０４，１３０６の並びごとの走査によって光センサ１３００を読み出すために構成された装置１３２０に接続されている。その際に読み出されたセンサ信号１３２２を、装置１３２０は少なくとも４つの隣接する並びの容量を有する中間記憶装置に、たとえばリングバッファに保存する。さらに装置１３２０は、中間保存されたセンサ信号１３２２を利用したうえで、それぞれ１つのセンサ素子に割り当てられる複数の画像素子１３２４を少なくとも１つの画像情報の補間によって生成するために構成されている。二等辺三角形を有する六角形の格子構造の図１３に示す補間スキーマでは、たとえば３つの赤中央の近傍１３０８のケースでは、二等辺三角形における赤から緑の平均をとることによって、または青から緑の平均をとることによって補間が行われる。

図１４は、図１３の光センサ１３００の模式図を示している。ここでは行ごとの読出しをするための光センサアレイである光センサ１３００の下方に、個々のセンサ素子１３０２，１３０４，１３０６により生成されるセンサ信号１３２２を保存するための記憶装置１４００が示されている。記憶装置１４００は４行リングバッファとして構成されていて、それにより、考えられ得るすべての近傍セルの効率的な補間を可能にする。記憶装置１４００は、たとえば上に図１３を参照して説明した装置のコンポーネントとして具体化される。

図１５は、１つの実施例に基づく光センサ１３００による、たとえば上に図１３および１４を参照して説明した光センサによる、補間の模式図を示している。示されているのは、グリッドとも呼ばれる異なる出力ラスタ１５００，１５０２の画像素子１３２４をなすようにする、センサ素子１３０２，１３０４，１３０６の測定値の補間である。ここでは第１の出力ラスタ１５００は、六角形の格子においてたとえば｛ｒ，ｇ，ｂ｝や｛Ｌ，ｕ，ｖ｝のような多次元の内容を含むピクセルアレイを表し、第２の出力ラスタ１５０２は、長方形の格子においてたとえば｛ｒ，ｇ，ｂ｝や｛Ｌ，ｕ，ｖ｝のような多次元の内容を含むピクセルアレイを表す。

記憶装置１４００は、光センサ１３００を行ごとに読み出す役目を果たすものであり、２つの位相位置に４つの行からなるリングバッファを含んでいる。

さらに、中間保存されたセンサ信号１３２２を利用したうえで、記憶装置１４００の状態に応じて、特に記憶装置１４００のそれぞれの位相位置に応じて、かつセンサ素子により形成される近傍のそれぞれのセンタリングに応じて、ピクセルまたは色の複素（再）構成を実行するために本実施例に基づいて構成された、装置１３２０の生成ユニット１５０４が示されている。

図１６は、目標走査のローパス特性１６００、ならびに時間的なオーバーラップを含む理想的な時間的走査に関する露光スキーマ１６０２の模式図を示している。

図１７は、１つの実施例に基づく光センサ１３００の、たとえば上に図１３から１５を参照して説明した光センサの模式図を示している。本実施例では、センサ素子１３０２，１３０４，１３０６がそれぞれ２つのサブピクセル１，２に下位区分される。このとき本装置は、２つの位相のサブピクセル１，２の時間的にオーバーラップする時間シフトされた走査によって光センサ１３００を読み出すために構成される。

図１８は、１つの実施例に基づく光センサ１３００の模式図を示している。図１７とは異なり、センサ素子１３０２，１３０４，１３０６はそれぞれ３つのサブピクセル１，２，３に下位区分されている。それに応じて本装置は、３つの位相のサブピクセル１，２，３の時間的にオーバーラップする時間シフトされた走査によって光センサ１３００を読み出すために構成される。

図１９は、１つの実施例に基づく光センサ１３００の模式図を示している。この光センサ１３００は、上に図１４を参照して説明した光センサに実質的に対応しており、２つの時間位相を含む読出しスキーマのための記憶装置１４００のメモリ拡張を示す。時間的に位相ずれした光センサ１３００の読出しにより、光センサ１３００をフリッカーなしに読み出すことができる。

図２０は、１つの実施例に基づく光センサ１３００の模式図を示している。図１９とは異なり、図２０は３つの時間位相を含む読出しスキーマのための記憶装置１４００のメモリ拡張を示す。

図２１は、１つの実施例に基づく装置１３２０、たとえば上に図１３から２０を参照して説明した装置の模式図を示している。この装置１３２０は、センサ素子の並びごとの走査による光センサの読出しのための読出しユニット２１００を含んでいる。記憶装置１４００は、光センサの少なくとも４つの隣接する並びが走査されたときに読み出されるセンサ信号１３２２を中間保存するために構成される。記憶装置１４００は生成ユニット１５０４と接続されており、この生成ユニットは、中間保存されているセンサ信号１３２２を利用したうえで、光特性とも呼ぶ画像素子１３２４を少なくとも１つのセンサ信号の補間によって、たとえば画像情報の補間によって、生成するために構成されている。

図２２は、１つの実施例に基づく方法２２００のフローチャートを示している。光センサを走査する方法２２００は、たとえば上に図２１を参照して説明した装置との関連で実施することができる。このときステップ２２１０で、光センサがセンサ素子の並びごとの走査によって読み出される。次のステップ２２００で、少なくとも４つの隣接する並びが走査されたときに読み出されたセンサ信号が中間保存される。最後にステップ２２３０で、それぞれ１つのセンサ素子に割り当てられる画像素子が、中間保存されたセンサ信号を利用したうえで、相応の画像情報の補間によって生成される。

次に、ここで提案される取組のさまざまな実施例について、図１から２２を参照しながら別の言葉で再度説明する。

ここに記載されている取組により、たとえばカラー画像センサのピクセルデザインが、赤、緑、青のような３つのスペクトルチャネルを同じ空間周波数で走査することができるように適合化される。そのために、それぞれ２番目の列または行のピクセルが格子定数の半分だけシフトされる。それにより最終効果として、通常必要な光センサの６６パーセントによって、カラー光信号のナイキスト適合的な走査が可能となる。

現代の画像センサは、通常、次のような原理に従って機能する。光学系が、画像センサまたはイメージャとも呼ばれる平坦なセンサの上に光画像を生成する。画像センサがこの画像を空間的、時間的に走査する。スペクトル情報も得られるようにするために、たとえば色を再構成するために、個々の光センサの前に規則的なパターンがカラーフィルタに取り付けられる。このとき光学系は空間的なローパスフィルタとして作用する。

光センサは今日では通常、数百万個の個々のセンサ素子から構成されており、各々のセンサ素子が走査点をなす。規則的なカラーフィルタパターンは、カラーフィルタアレイすなわちColor Filter Array（ＣＦＡ）とも呼ばれる。色を再構成できるようにするために、可視スペクトル領域が３つの区域に下位区分される。このとき各々のスペクトルチャネルが、空間的にシフトして走査される独立した信号として取り扱われるのがよい。光学系のローパスフィルタは、本来、センサ素子のもっとも低い周波数に合わせるのがよい。紛らわしさを回避するために、以下においては光センサのセンサ素子のことを、ピクセルと呼ばれる画像素子に準じて、Light Sensor Elementを意味するリクセルと呼ぶ。

画像センサは通常、図１および２に示すような規則的な長方形の上に配置される。このときカラーフィルタアレイ１００は、通常、ＲＧＧＢベイヤーフィルタアレイから構成される。

ＲＧＧＢカラーフィルタアレイは個々のスペクトルチャネルについて、それぞれ異なる空間的なサンプリング周波数を意図してる。たとえばＧチャネルはＣＦＡ行ごとに２つのリクセルで走査され、それに対してＲチャネルとＢチャネルはＣＦＡ行ごとに１つのリクセルのみで走査される。したがって、光学系のローパスフィルタは正確な走査のために、これに比べて低いＲチャネルおよびＢチャネルの周波数に合わせて調整されなくてはならない。したがって、このことはＧチャネルでオーバーサンプリングを生成する。このことは走査のときのある意味でジレンマであり、文献の中でも数年来知られている。Ｇチャネル、Ｒチャネル、およびＢチャネルの間でのそれぞれ異なる空間的な限界周波数を活用する、あるいは回避する、さまざまな方式が試みられている。

コンシューマーエレクトロニクスの分野では、多くの場合、光学系とイメージャとの間のナイキスト適合的な調整が図られることはなく、ポストプロセッシングによって画質がバーチャルに改善される。

一方、ここで提案される取組では、たとえば３チャネルＣＦＡをナイキスト適合的に走査することができるように走査点が適合化される。そのために、走査点の位相がそれぞれ２番目の行または列で、図３および４に示すように、走査周期の半分だけシフトされる。この位相シフトは列で具体化されていてもよく、このことは図６に示すように直線状のバスの使用を可能にする。さらに、今日利用可能なＢＳＩテクノロジーにより、感光性層の下にリードバスとアドレスバスを敷設することが可能である。

そして図７および８に示すように、ＣＦＡの３つのチャネルが規則的な間隔で配分されていてよい。囲まれている円７００は、信号を正確に再構成できるようにするために必要である、ローパスフィルタの特徴的な量を明示している。

そしてチャネルごとの走査格子は、回転して押しつぶされた四角形に相当する。重要なのは、ＣＦＡの各々のチャネルがそれ自体として再構成されることである。そのような非直交の走査は、たとえばJaehne著「デジタル画像処理」の中で、固体物理学に基づく周知の数学への示唆とともに簡略に説明されている。図８は、個々のチャネルの走査の非直交の格子を示している。

特に単色センサとの関連では、すべての走査点が等しい相互間隔を有していると好ましい。このことは、たとえば色信号の再構成のためや、あらゆる種類の画像処理アルゴリズムのために必要である重みづけされた近傍演算を簡素化する。そのために、図９に示すように、それぞれの行の間隔は次式が成り立つように適合化される：

ここでｄは行間隔を表し、ｒはリクセル間隔を表す。

ただし、このような制限は絶対に必要というわけではないが、その背後にある画像処理を簡素化するとともに、各々のセンサ素子もしくはリクセルがその６つの近傍に対して等しい間隔を有する理想的な六角形格子を生成する。理想的には、このような光センサの感光面の形状は図５に示すように六角形に近づいていく。ただし、たとえば図１１および１２に示すような長方形のフィルタを使用することによっても、十分に良好な信号品質を実現することができる。

六角形の格子は、たとえば格子点を二等辺三角形によって表現することができるように選択される。それにより、光センサの個々のチャネルについて特別に簡素な再構成スキーマがもたらされる。このとき、７番目の近傍は常に６つのセンサ素子の縁部で構成されることが確認される。たとえばそのような近傍の中央のセンサ素子の位置にある光センサのチャネルは、センサ測定値によってごく普通に補間される。

残りの２つのチャネルの補間は２Ｄ補間である。そのために、少なくとも３つのサンプリング点が必要となる。別のサンプリング点におけるこの最低セットは、近傍の縁部に直接位置している。二等辺三角形が基礎となるように格子が選択されているとき、中央のセンサ素子への補間は、次のチャネルの３つのセンサ素子の均等加重補間である。このような補間は各々の近傍について、光センサのそれぞれ欠如している２つのチャネルの各々について可能である。対応するスキーマが図１３に示されている。

物理的に見ると補間は、新たな走査が後続する、光センサのチャネルの連続する信号の再構成である。新たな走査と再構成は、適用されるローパスフィルタに合わせて調整されるのがよい。

さらに、このような補間のために近傍全体がアクセス可能であるのがよい。光センサアレイに着目してみると、２つの異なる近傍の構造が存在しており、それぞれの近傍がオーバーラップしていることが明らかとなる。新たな読出しコストなしで近傍にアクセスできるようにするために、記憶装置１４００は、少なくとも４つの走査された行を準備しておくために構成される。それにより、すべての近傍の可能性を二重の読み込みなしに再構成することが可能である。記憶装置１４００は特に行リングバッファとして具体化され、図１４に示すとおり、センサ素子のそれぞれの測定値によって行ごとに充填可能である。

ラインメモリ１４００の最新の状態、厳密には最新の位相位置を知ったうえで、ピクセル再構成が実行される。このとき、近傍の中央に関しては上に挙げた３通りの可能性がある。

そして補間は、各々のセンサ素子について、光センサ１３００の３つすべてのチャネルを再構成された状態で含む、または、たとえばＣＩＥＬＵＶ色空間もしくはＬａｂ色空間への色空間変換、いわゆるトーンマッピングやガンマ修正のような他のさらに進んだ指標計算を３つのチャネルから完成させる、ピクセルとも呼ばれる画像素子を生成することを可能にする。

さらに補間は、出力ピクセルを六角形のラスタ１５００へ、または長方形のラスタ１５０２へ変換することを可能にする。このように補間により、オーバーサンプリングやアンダーサンプリングを具体化することができる。図１５はこのような方式を模式的に示す。

別の実施例では、光センサ１３００を時間的に位相ずれするように読出し可能である。光の時間的な変調は今日では無視することができなくなっており、通常の露光時間とビットレートで時間的なエイリアシング・アーティファクトを生成する。これを回避するために、同一の光信号が時間的にオーバーラップするような、かつ場合により相違する重みづけで読み出されるのがよい。このことは、いわゆるフリッカーフリーのセンサデザインを可能にするとともに、時間的なエイリアシング効果を防止する。このことは、たとえばセンサ素子をサブピクセルに分割し、それぞれ異なる時間的な位相でセンサ素子を読み出すことによって可能となる。図１６はこれに対応する時間領域のスキーマを示す。

時間的なローパスフィルタは露光時間によってしか実現できないので、１つの実施例では、時間的なオフセットは空間的な位相区分によって具体化される。このとき空間的なローパスフィルタによって、信号がさらに空間的に正確に再構成される。

１つの典型的な読出しスキーマの要諦は、たとえば位相に割り当てられたピクセルを時間的にそれぞれ半分ずつオーバーラップさせることにある。このとき重みづけを省略することができるが、それは、このことが技術的に実現が困難だからである。積分時間はいわゆる長方形フィルタもしくはボックスフィルタとしての役目を周波数空間で果たす。

図１７および１８は、選択される位相数に応じて、六角形のピクセル構造の分割の可能性を示している。円形または長方形のピクセル形状についても類似の分割が可能である。

上述した時間的な位相スキーマを適用する場合、各々の位相は本来の光センサと同じように取り扱われるのがよい。したがって、記憶装置ユニットも相応に拡張されるのがよい。このことは図１９および２０に示されている。

さらにこのようなケースでは、ピクセル生起が時間的な補間の分だけ拡張される。たとえばその個所で、３つの位相位置のピクセルの最善に重みづけされた混合が利用されて、それぞれ近傍について特定の時点を再構成する。ビットレートと露光時間を現在通常である数値に合わせるために、加重平均がたとえば相応にカスケード化される。

光センサ１３００を具体化するための上述した各実施例は、数多くの選択肢のうちのいくつかにすぎない。原則として光センサ１３００は、可視領域の光について少なくとも次のカラーフィルタにより具体化することができる：シアン、マゼンタ、黄、赤、緑、青、クリア。

可視光によってのみ作動するシステムについては、たとえばＲ−Ｃ−Ｇ、Ｒ−Ｃ−Ｂやイエロー−クリア−マゼンタなど、３つの異なるカラーフィルタのあらゆる組合せが有意義である。非可視領域では、実施例に応じて赤外バンドパスフィルタ、分極フィルタ、ＵＶフィルタなどによりスペクトルフィルタを拡張することができる。その場合でも、特に上述したフィルタとの関連でさらに別の組合せが可能である。

ある実施例が第１の構成要件と第２の構成要件との間に「および／または」結合を含んでいるとき、このことは、当該実施例が１つの実施形態では第１の構成要件と第２の構成要件を両方とも有しており、別の実施形態では第１の構成要件または第２の構成要件のいずれかのみを有していると読まれるべきである。

１，２ サブピクセル
１３００ 光センサ
１３０２，１３０４，１３０６ センサ素子
１３２２ センサ信号
１３２４ 画像素子
１４００ リングバッファ、記憶装置
１５００ 六角形の出力ラスタ
１５０２ 長方形の出力ラスタ
２２００ 方法
２２１０ 読出し
２２２０ 中間保存
２２３０ 生成

Claims (12)

1. 光センサ（１３００）を走査する方法（２２００）において、前記光センサ（１３００）は複数の六角形のセンサ素子（１３０２，１３０４，１３０６）からなる格子構造を有しており、前記センサ素子（１３０２，１３０４，１３０６）はそれぞれ隣接する３つのセンサ素子（１３０２，１３０４，１３０６）のそれぞれの中心点を仮想的な結合線によって実質的に二等辺三角形をなすように結合可能であるように配置されており、前記方法（２２００）は次の各ステップを含んでおり、すなわち、
   前記センサ素子（１３０２，１３０４，１３０６）の並びごとの走査によって前記光センサ（１３００）が読み出され（２２１０）、
   少なくとも４つの隣接する並びが走査されたときに読み出されたセンサ信号（１３２２）が中間保存され（２２２０）、
   それぞれ１つの前記センサ素子（１３０２，１３０４，１３０６）に割り当てられる複数の画像素子（１３２４）がセンサ信号（１３２２）の補間によって生成される（２２３０）方法。
2. 前記中間保存（２２２０）のステップで前記センサ信号（１３２２）がリングバッファ（１４００）に中間保存される、請求項１に記載の方法（２２００）。
3. 前記生成（２２３０）のステップで六角形の出力ラスタ（１５００）および／または長方形の出力ラスタ（１５０２）を利用したうえで前記画像素子（１３２４）が生成される、請求項１または２のうちいずれか１項に記載の方法（２２００）。
4. 前記読出し（２２１０）のステップで前記センサ素子（１３０２，１３０４，１３０６）のそれぞれ少なくとも２つのサブピクセル（１，２）が位相ずれして走査される、請求項１から３のうちいずれか１項に記載の方法（２２００）。
5. 前記読出し（２２１０）のステップで２つまたはそれ以上の時間的に独立した部分ステップで前記読出し（２２１０）が行われる、請求項１から４のうちいずれか１項に記載の方法（２２００）。
6. 前記光センサ（１３００）は、第１の光特性を測定するための少なくとも１つの第１の測定チャネルと、第２の光特性を測定するための第２の測定チャネルと、第３の光特性を測定するための第３の測定チャネルとを有しており、前記センサ素子（１３０２，１３０４，１３０６）は３つの前記測定チャネルのうちそれぞれ１つに割り当てられるとともに、それぞれ１つの中央のセンサ素子（１３０２，１３０４，１３０６）が隣接する６つのセンサ素子（１３０２，１３０４，１３０６）で包囲されるように配置されており、中央の前記センサ素子（１３０２，１３０４，１３０６）は隣接する６つの前記センサ素子（１３０２，１３０４，１３０６）とは異なる測定チャネルに割り当てられており、前記生成（２２３０）のステップで、隣接する６つの前記センサ素子（１３０２，１３０４，１３０６）のうち少なくとも３つのセンサ信号（１３２２）を利用したうえで、中央の前記センサ素子（１３０２，１３０４，１３０６）に割り当てられた少なくとも１つの中央の画像情報を補間することによって前記画像素子（１３２４）が生成される、請求項１から５のうちいずれか１項に記載の方法（２２００）。
7. 中央の前記センサ素子（１３０２，１３０４，１３０６）は前記第１の測定チャネルに割り当てられており、隣接する６つの前記センサ素子（１３０２，１３０４，１３０６）のうち３つがそれぞれ第２の測定チャネルに割り当てられており、隣接する６つの前記センサ素子（１３０２，１３０４，１３０６）のうち別の３つがそれぞれ第３の測定チャネルに割り当てられており、前記生成（２２３０）のステップで、それぞれ前記第２の測定チャネルに割り当てられた隣接する３つの前記センサ素子（１３０２，１３０４，１３０６）のセンサ信号（１３２２）の平均をとることで、および／またはそれぞれ前記第３の測定チャネルに割り当てられた隣接する３つの前記センサ素子（１３０２，１３０４，１３０６）のセンサ信号（１３２２）の平均をとることで中央の前記画像情報が補間される、請求項６に記載の方法（２２００）。
8. 中央の前記センサ素子（１３０２，１３０４，１３０６）は前記第１の測定チャネルに割り当てられており、隣接する６つの前記センサ素子（１３０２，１３０４，１３０６）のうち３つがそれぞれ前記第２の測定チャネルに割り当てられており、隣接する６つの前記センサ素子（１３０２，１３０４，１３０６）のうち別の３つがそれぞれ前記第３の測定チャネルに割り当てられている、請求項７に記載の方法（２２００）。
9. 前記生成（２２３０）のステップで前記第１の光特性を表す画像情報が前記中央の画像情報として補間される、請求項７または８に記載の方法（２２００）。
10. 請求項１から９のうちいずれか１項に記載の前記方法（２２００）を実施および／または制御するために構成されたユニット（１４００；１５０４；２１００）を有している装置（１３２０）。
11. 請求項１から９のうちいずれか１項に記載の前記方法（２２００）を実施および／または制御するために構成されているコンピュータプログラム。
12. 請求項１１に記載の前記コンピュータプログラムが保存されている機械読取可能な記憶媒体。