JP2005065274A - 画像を表すデータを生成するための方法及び装置 - Google Patents

Abstract

【課題】 画像を表すデータを生成するための方法及び装置を提供する。
【解決手段】 画像を表すデータを生成する方法において、対象物１２８と２次元の光センサアレイ１１０との間に光学要素１１２を配置し、レンズ１１４を用いて２次元の光センサアレイ１１０上に対象物１２８の画像を結像させるステップと、２次元の光センサアレイ１１０上に結像される画像を移動させるべく、光学要素１１２を移動させるステップと、光学要素１１２が移動している間に、２次元の光センサアレイ１１０を用いて、画像を表すデータを生成するステップとを含む。
【選択図】 図１

Description

本発明は、画像を表すデータを生成するための方法及び装置に関する。

デジタルカメラ及び他のデジタル画像化デバイスは、対象物の画像を表す、機械で読取り可能な画像データ（単に「画像データ」とも呼ばれる）を生成する。ある対象物の画像を表す画像データを生成する過程は、その対象物を画像化する、或いはその対象物の画像を取り込むと呼ばれることもある。画像化過程において、デジタルカメラは、２次元の光センサアレイ上に、その対象物の画像を生成する。光センサアレイは、光検出器とも呼ばれる複数の個別の光検出器要素を有する。各光検出器は、光検出器上に入射する光の強度に比例する値を有する電気信号を生成する。光センサアレイの出力は、光検出器によって生成された電気信号をデジタル値に変換するために用いられるアナログ／デジタル変換器に接続される。アナログ／デジタル変換器から出力されるデジタル値は、光検出器上に入射する光の強度に比例する。これらのデジタル値は、カウント或いは生データと呼ばれることもある。生データは、複数の数から構成され、それらの数のうち、大きな数は、通常、明るい光を受けた光検出器を表し、小さな数は、通常、薄暗い光を受けた光検出器を表す。

カラーデジタル写真では、通常、所定のカラーフィルタアレイパターンに配列されるフィルタを用いて色が生成される。各光検出器の上側に配置されるフィルタは、光検出器の応答を制限し、生成される生データが予め選択された光の波長に限定されるようにする。これらの予め選択された光の波長は、通常、加色混合の３原色の波長、すなわち赤色，緑色，及び青色に対応する。３つの色を表す生データが処理され、最終的な画像内の１つのピクセルが生成される。１つの一般的なタイプのカラーフィルタは、バイエルパターン（Bayer pattern）を用いる。バイエルパターンは、赤色光に反応する１つのピクセルと、緑色光に反応する２つのピクセルと、青色光に反応する１つのピクセルとから成る４ピクセル・クラスタ（4-pixel cluster）である。

デジタル画像は、連続したシーン或いは対象物をサンプリングすることにより生成される。そのサンプリング過程は、光センサアレイを形成する光検出器からなる２次元の格子上にそのシーンをマッピングすることからなる。デジタル画像を形成する過程が離散的であることに起因して、デジタルカメラによって生成される画像は、サンプリング過程から生じる、或る特定の画像異常を受ける。１つの異常は、エイリアシングであり、それは、画像がアンダーサンプリングされるときに、誤った周波数を生成する。エイリアシングは、高い空間周波数の内容を有する対象物の画像が画像化されるときに、より顕著になる。

再現されることができる最も高い空間周波数は、サンプリング周波数の半分であり、それはナイキスト周波数と呼ばれる。ナイキスト周波数よりも高い周波数は、低い周波数にエイリアシングされる。低い周波数の特徴成分は、画像内にアーティファクトを導入し、それは誤った画像を生成し、周期的なシーンの中にモアレパターンを形成するようになる。デジタルカメラは、通常、アレイ内の全ての光検出器を用いないので、デジタルカメラを用いてビデオ或いは映画の画像を生成する場合には、それらの異常はさらに大きくなる。従って、サンプリング速度が下がると、エイリアシングによる影響が大きくなる。

画像データ（画像を表すデータ）を生成する方法及び装置が本明細書で開示される。

方法の一実施形態は、２次元の光センサアレイ上に対象物の画像を結像させるステップを含んでおり、この場合には、光学要素が対象物と２次元の光センサアレイとの間に配置される。光学要素は移動させられ、この移動によって、２次元の光センサアレイ上に結像する画像が２次元の光センサアレイと平行に移動することができるようになる。画像を表すデータは、光学要素が移動している間に、２次元の光センサアレイによって生成される。

画像化システム（画像処理システム；imaging system）１００のブロック図の限定的ではない一実施形態が図１に示されている。画像化システム１００には、或る対象物の１つの画像を表す、機械によって読取り可能な画像データ（本明細書では単に画像データと呼ぶ）を生成する数多くの異なるタイプのデジタル画像化デバイスのうちの１つを用いることができる。対象物の１つの画像を表す画像データの生成は、対象物を画像化する、或いは対象物の１つの画像を取り込むとも呼ばれる。例えば、画像化システム１００は、スキャナ，デジタルスチルカメラ，或いはデジタルビデオカメラの一部であり得る。本明細書において提供される実施例では、画像化システム１００は、主に静止画像を取り込むために用いられるデジタルカメラの一部である。本明細書に記載されるデジタルカメラは、動画を取り込んで映画或いはビデオ用の画像を生成する能力も有することができる。

画像化システム１００は、光センサアレイ１１０と、ぼかしフィルタ（ぼけフィルタ；光学要素）１１２と、結像レンズ１１４と、プロセッサ１１６と、ユーザインタフェース１１８とを備えることができる。ぼかしフィルタ１１２は、光学要素１２４と、モーションデバイス１２６とを備えることができ、モーションデバイス１２６は、光学要素１２４を移動させるための役割を果たす。図示されないが、画像化システムに一般的に関連する他の構成要素も画像化システム１００内に含み得ることに留意されたい。基準にするために、本明細書では、図２のｘ方向、図１のｙ方向及びｚ方向の座標系が用いられる。図１には、対象物（オブジェクト）１２８の画像を画像化或いは取り込むための画像化システム１００が示されている。

要するに、画像化システム１００は、対象物１２８のような１つの対象物の１つの画像を表す画像データを生成するための役割を果たす。対象物１２８の画像は、光センサアレイ１１０上に結像し、光センサアレイ１１０が生データを生成する。本明細書において用いられるような生データは、光センサアレイ１１０によって生成されるデータである。ＪＰＥＧデータのような画像データが、生データを処理することにより生成される。その生データは、サンプリング点における画像内の光の強度を表す、画像の複数のサンプルから成る。サンプリング点には、光センサアレイ１１０上に配置される光検出器を用いることができる。

画像化システム１００のようなデジタル画像化デバイスにおける画像データの生成は、対象物１２８の画像が再現される際に、その画像を歪ませるエイリアシングを受ける可能性がある。エイリアシングは、一部は、対象物の画像のアンダーサンプリングに起因する。アンダーサンプリングそのものは、対象物の画像が高い空間周波数を有すること、及びサンプリング速度が遅すぎて高い空間周波数をサンプリングできないことの組み合わせに起因する。画像を再現するために、サンプリング周波数は、最も高い空間周波数の少なくとも２倍でなければならない。このサンプリング周波数は、ナイキスト周波数と呼ばれる。ナイキスト周波数よりも高い周波数は低い周波数にエイリアシングされ、再現された画像内にアーティファクトが導入される。このアーティファクトは、誤った画像を生成し、周期的なシーンの中にモアレパターンを形成し、さらに再現された画像内に他の異常を引き起こすこともある。

本明細書に記載される画像化システム１００は、ぼかしフィルタ１１２を用いることによりエイリアシングを低減する。ぼかしフィルタ１１２は、生データの生成中に対象物１２８の画像をぼかし、それ故、ローパスフィルタとして機能し、画像の高い周波数成分を減衰させる。画像化システム１００におけるぼかしは、光学要素１２４が画像をぼかすことにより、或いは生データの生成中に光学要素１２４を移動させることにより、或いは両方の組み合わせにより達成される。光学要素１２４が移動させられるとき、対象物１２８の画像が光センサアレイ１１０に対して移動させられる。光学要素が生データの生成中に移動させられるとき、生データは、空間周波数が低減された、ぼかされた画像を表す。移動させる量、すなわちぼかしの量は、データの生成中に用いられるサンプリング速度に応じて選択され得る。サンプリング速度は、ナイキスト周波数及び他の原理に基づいて選択され得る。例えば、画像化システム１００を用いて静止画像を表す画像データを生成する場合には、高い度合いのサンプリング、或いは高いサンプリング速度を用いることができ、結果として、必要とされるぼかしは僅かである。以下にさらに詳細に述べるように、低い度合いのサンプリング、或いは低いサンプリング速度が用いられる映画或いはビデオの画像を表す画像データの生成においては、さらに多くのぼかしが必要とされるかもしれない。

画像化システム１００を概略的に述べたが、ここでさらに詳細に述べることにする。

さらに、図２を参照すると、光センサアレイ１１０の正面図が示されており、光センサアレイ１１０は、前面１３２上に配置される複数の光検出器１３０を備えることができる。図示するために、図面において光検出器１３０のサイズは可成り拡大されている。光検出器は通常僅か数ミクロンの大きさである。図１では、光検出器１３０は、光センサアレイ１１０の表面１３２から延びるように示される。しかしながら、光検出器１３０は光センサアレイ１１０の前面１３２と同一面上にあるか、或いはそれよりも奥に配置され得ることに留意されるべきである。

光検出器１３０は、光の強度を、電子的な信号或いは数である生データに変換する役割を果たす。例えば、高い強度の光を受ける光検出器は、大きな数或いは値を有する生データを生成することができる。同様に、低い強度の光を受ける光検出器は、小さな数或いは値を有する画像データを生成することができる。その生データは、ライン１３５を経由してプロセッサ１１６に伝送されることができる。ライン１３５及び本明細書における全ての他のラインには、シリアルデータ線或いはパラレルデータ線のような、データ或いは信号を伝送する任意のデバイスを用いることができる。それらのラインは、ワイヤ，赤外線，及び無線伝送などの、データを伝送する任意の媒体を用いることができる。

光検出器１３０は、複数の行１３４及び列１３６に配列される。参考のために、行１３４のうちのいくつかが、第１の行１３８，第２の行１４０，第３の行１４２，第４の行１４４，及び第５の行１４６として参照される。図３は、図２の光検出器１３０のうちの２つの拡大図であり、光検出器１３０間の関係を示す役割を果たす。図３に示されるように、光検出器１３０はそれぞれ直径Ｄを有することができ、光検出器１３０は互いに距離Ｓだけ分離されることができる。直径Ｄ及び距離Ｓは、僅か数ミクロンにすることができる。従って、光検出器１３０の行１３４は、互いに極めて近接して配置することができるか、或いは互いに隣接させることができる。

光検出器１３０は、それぞれ、各光検出器１３０によって受ける光の強度に基づいて生データを生成することができる。直径が大きな光検出器１３０を有する光センサアレイは、直径が小さな光検出器１３０を有する光センサアレイに比べて、画像をサンプリングする部分の数が少ない。同様に、光検出器１３０間の距離が大きな光センサアレイは、光検出器１３０間の距離が小さな光センサアレイに比べてサンプリングする光が少ない。先に簡単に述べたように、ぼかしフィルタ１１２は、複数の光検出器１３０上の画像のある部分からの光を拡散、すなわち、ぼかすことにより、低いサンプリング速度に関連する問題を低減する役割を果たす。それ故、取り込まれる画像の空間周波数が低減される。

光センサアレイ１１０は、その上に数百万個の光検出器１３０を配置することができる。光検出器１３０は、それぞれ、受ける光の強度を表す生データを生成する。画像化システム１００を用いて、静止画像を表す画像データを生成するとき、画像化システム１００は、通常、全ての光検出器１３０によって生成される生データを処理するために所定時間を要する。さらに、画像化システム１００は、通常、図示されないが、電子データ記憶デバイスを用いることにより、結果として生成された画像データを格納するだけの十分なメモリを有する。全ての光検出器１３０によって生データが処理されているとき、画像のサンプリング速度は、比較的速い。それ故、比較的高い空間周波数を有する画像を処理することができ、画像に加えられる必要があるぼかし、すなわち、ローパスフィルタリングの量は、比較的小さい。

静止画像が画像化されるときにサンプリング速度が通常速い場合であっても、画像の高い空間周波数成分によって引き起こされるエイリアシングを低減するために、ある程度のローパスフィルタリングが必要とされるかもしれない。例えば、画像化システム或いはデバイスが静止画像を表す画像データを生成するとき、通常、１つのピクセル或いは光検出器のぼかしが用いられる。１つのピクセルのぼかしは、標準的には１つの光検出器或いは光検出器のグループを照明することになる光を、周囲にある光検出器に拡散する。こうして、画像を僅かにぼかすことにより、ローパスフィルタリングが達成される。

画像化システム１００を用いて、ビデオ画像を表す画像データを生成するとき、画像化システム１００は、全ての光検出器１３０によって生成される生データを処理するだけの処理速度或いはメモリを持たない場合がある。この問題を解消するために、全ての光検出器１３０よりも少ない光検出器からの生データが処理され、実際には、画像化システム１００によって処理されることになるサンプリング速度を遅くし、空間周波数を下げる。例えば、一実施形態では、光センサアレイ１１０は、映画或いはビデオを生成するために、毎秒３０画像の速度で生データを生成する。この大量の生データを処理するために、生データの可成りの部分が無視されるか、或いは全く生成されなくなる。

画像化システム１００の一実施形態では、画像化システム１００がビデオ画像を表す画像データを生成しているとき、２つおきの行の光検出器１３０だけからの生データが処理或いは生成される。この実施形態の一例では、第１の行１３８の光検出器１３０及び第４の行１４４の光検出器１３０によって生成される生データが処理され得る。第２の行１４０及び第３の行１４２によって生成されるデータは、破棄されるか、或いは単に光センサアレイ１１０によって生成されないようにすることができる。サンプリングされる１つ又は複数の画像の部分が少ないため、画像のサンプリング速度は下がる。画像のサンプリング速度が下がる結果として、再現された画像に上記の異常が生じることなく、画像化システム１００が高い空間周波数を有する画像を処理する能力が下げられる。

光センサアレイ１１０が生データを生成する最中に、上記のような１つのピクセルのぼかしが光センサアレイ１１０に加えられるとき、サンプリング速度が著しく低下することに起因して、依然としてエイリアシングが生じるようになる。例えば、対象物１２８が明るく、かつ、ｙ方向に移動しているときには、その画像が２つおきの行の光検出器１３０上に結像する時間においてのみ、生データが生成されるであろう。対象物１２８が比較的大きいときには、２つおきの行の光検出器１３０上に結像する画像の部分のみが画像化されるであろう。ビデオが再現されるとき、対象物１２８の再現された画像は、その対象物がｙ方向に移動するのに応じて点滅するように見えるであろう。その対象物１２８の移動は、また、滑らかな移動ではなく、不連続な移動として不適切に再現されるであろう。この不連続な移動は、対象物１２８のエッジが、画像データを生成する光検出器１３０の行１３４によってのみ画像化されていることに起因する。さらに、直立した対象物の再現された静止画像は縄を巻かれたように見えるであろう。このような見え方は、ｙ方向に沿った画像データサンプリングがナイキスト基準に一致しないか、或いはナイキスト基準を満たさないことによって引き起こされる。さらに、画像内にアーティファクトが導入されることがあり、モアレパターンが現われることもある。

他の画像化技法を用いて、全ての光検出器１３０よりも少ない検出器をサンプリングすることができることに留意されたい。例えば、光検出器１３０の種々の列１３６からの生データが生成、すなわち、処理されないようにすることもできる。別の例では、種々の光検出器１３０からの生データが生成、すなわち、処理されないようにすることができる。これらの他の画像化技法は、上記のものに類似の異常をもたらす可能性がある、再現された画像を生成するであろう。以下においてさらに詳細に述べるように、本明細書に記載される、移動するぼかしフィルタ１１２は、上記の異常の多くを解消或いは低減する役割を果たす。

光センサアレイ１１０を概略的に述べてきたが、ここで、画像化システム１００の他の構成要素をさらに詳細に述べる。光センサアレイ１１０は、明示されないが、光検出器１３０に隣接して配置されるカラーフィルタを有することができる。カラーフィルタは、光をフィルタリングし、予め選択された周波数の光のみが特定の光検出器１３０を横切る役割を果たす。その後、光検出器１３０は、カラーフィルタを通過した特定の周波数成分の光の強度に比例する生データを生成する。異なる色を表す生データは、画像の再現中に合成及び／又は処理されて、カラー画像が再構成される。対象物１２８の画像を再現するために、種々のデモザイク処理アルゴリズムが生データ及び画像データに適用され得ることに留意されたい。

カラーフィルタの一実施形態は図４に示されるようなバイエルパターンを用いる。バイエルパターンは、図３の光検出器１３０を、４つの光検出器１３０のグループ或いはタイルに配列するものと見なすことができ、１つの赤色光検出器（文字「Ｒ」によって示される）及び１つの青色光検出器（文字「Ｂ」によって示される）当たりに２つの緑色光検出器（文字「Ｇ」によって示される）が存在する。４つの光検出器からなる複数のグループによって生成される生データは処理中に合成され、再現される画像の１つの画素すなわちピクセルが生成される。さらに、カラーフィルタを用いて、対象物を表す画像データを生成する光検出器の数を減らすことにより、光センサアレイ１１０のサンプリング速度が低減される。より具体的には、カラーフィルタによって、画像が特定のスペクトル成分に分割されるようになり、特定の光検出器が、予め選択されたスペクトル成分の画像データを生成する。従って、画像全体を表す画像データを生成する光検出器の数が実質的に低減される。

再び図１を参照すると、結像レンズ１１４は、光検出器１３０上に対象物１２８の画像を結像させる役割を果たす。図１には、単一の光学要素であるような結像レンズ１１４が示される。しかしながら、結像レンズ１１４には、デジタル画像化デバイスにおいて一般的に用いられる複数のレンズを用いることができる。画像化システム１００の一実施形態では、結像レンズ１１４は、光センサアレイ１１０上に結像する画像のサイズを拡大或いは縮小するために、ｚ方向に移動する。従って、結像レンズは、光検出器１３０上に対象物１２８の鮮明な画像を結像させることに加えて、画像化システム１００のズーム機能を提供することができる。

プロセッサ１１６は、光センサアレイ１１０によって生成される生データを処理する役割を果たす。プロセッサ１１６は、光センサアレイ１１０によって生成される生データを、ビデオモニタ及びプリンタのような再現装置によって一般的に用いられる形式に変換することができる。また、プロセッサ１１６は、生データを解析して、生データ或いは処理済みの画像データによって表されるような、対象物１２８の画像の空間周波数を求めることもできる。以下においてさらに詳細に述べるように、生データの空間周波数は、光学要素１２４を移動させることによって、ぼかしフィルタ１１２が生成するぼかしの量を決定する際の１つの因子である。ぼかしに関して、プロセッサ１１６は、モーションデバイス１２６による光学要素１２４の移動を制御することもでき、それについても以下にさらに詳細に述べる。

ユーザインタフェース１１８は、ライン１５０によってプロセッサ１１６に接続されることができる。ユーザインタフェース１１８は、画像化システム１００のユーザが、画像データが生成されている画像に関するデータを入力できるようにするための役割を果たす。例えば、ユーザは、画像データの生成中に適用されることになる所望のサンプリング速度或いはぼかしに関する情報を入力することができる。ユーザインタフェース１１８を設けるために、数多くの異なる方法及び装置がある。例えば、ユーザインタフェース１１８は、ユーザによって起動されることができるスイッチを備えることができる。別の例では、画像化システム１００は、図示されないが、タッチスクリーンを備えることができ、この場合にはユーザインタフェース１１８はタッチスクリーンに関連付けられる。

画像化システム１００の構成要素のうちのいくつかを述べてきたが、ここで、ぼかしフィルタ１１２がさらに詳細に述べられるであろう。概して、ぼかしフィルタ１１２は、対象物１２８の画像の高い空間周波数成分を減衰させ、それによりデジタル画像化に関連するいくつかの異常を低減できるように、対象物１２８の画像をぼかすための役割を果たす。ぼかしフィルタ１１２の一実施形態の正面図が図５に示され、ぼかしフィルタ１１２の側面図が図１に示されている。ぼかしフィルタ１１２は、光学要素１２４を含み、その光学要素１２４は、コネクタ１５４によってモーションデバイス１２６に接続される。コネクタ１５４として、モーションデバイス１２６の一部を用いることができ、それは一例として光学要素１２４に固着され得る。モーションデバイス１２６は、図１に示されるように、ライン１５８を経由してプロセッサ１１６に接続される。先に簡単に述べたように、プロセッサ１１６は、モーションデバイス１２６によって生ぜしめられるモーション（運動；移動）を制御することができる。

モーションデバイス１２６は、光学要素１２４を移動させるためのデバイスである。上記の図１の画像化システム１００の実施形態では、モーションデバイス１２６は、光学要素１２４をｙ方向に移動させる。以下に述べるモーションデバイス１２６の他の実施形態では、ｘ方向或いはｙ方向に光学要素１２４を移動させることができる。またモーションデバイス１２６の実施形態によっては、光学要素１２４を回転、すなわち、旋回させることもできる。また、モーションデバイス１２６の他の実施形態によっては、光学要素を、複数の方向を組み合わせた方向に移動することもできる。モーションデバイス１２６は、例えば、圧電デバイス或いは電気機械デバイスを用いて、光学要素１２４を移動させることができる。

光学要素１２４のいくつかの例が図６〜図１０に示されている。図６の光学要素は、ディザリングされた光学的に透明な板１７０である。図１をさらに参照すると、モーションデバイス１２６によって、ディザリングされた光学的に透明な板１７０が、ｚ軸に沿って移動せしめられる。この移動によって、光センサアレイ１１０上に結像した対象物１２８の画像が、図２のｘ軸及びｙ軸の両方に沿ってぼかされることになる。

図７は、光学要素の一例として、ディザリングされた回折格子１７４を示す。ディザリングされた回折格子１７４は、図１の光センサアレイ１１０に対面する、ディザリングされた部分１７６を有することができる。一実施形態では、図１のモーションデバイス１２６によって、ディザリングされた回折格子１７４がｙ軸に沿って移動することができるようになり、それにより、対象物１２８の画像が、光センサアレイ１１０に対してｙ軸に沿ってぼかされるようになるであろう。

図８は、光学要素の一例として、並進型ウェッジ（translated wedge）１８０を示している。並進型ウェッジ１８０は、第１の表面１８２及び第２の表面１８４を有することができ、それらの表面は互いに平行ではない。第１の表面１８２或いは第２の表面１８４の何れかが図１の光センサアレイ１１０に対面することができる。一実施形態では、モーションデバイス１２６によって、並進型ウェッジ１８０がｙ軸に沿って移動することができるようになり、それにより、対象物１２８の画像が、光センサアレイ１１０に対してｙ軸に沿ってぼかされるようになるであろう。

図９は、並進型すりガラス板１８８を示しており、それは、画像をぼかすためにｙ軸に沿って移動され得る。図１０は、画像をぼかすために用いられるミラー１９０を示している。ミラー１９０が枢軸１９４を中心に回転するのに応じて、ミラー１９０から光路１９２が反射し得る。枢軸１９４を中心にした回転によって、光路１９２が、画像をぼかすことができるように移動することができる。枢軸１９４を中心にした回転によって、ミラー１９０は、複数の異なる方向にぼかしを引き起こすことができるようになる。例えば、ミラー１９０は、２つの軸（図示せず）を中心に回転することができる。

再び図１を参照するが、本明細書に記載されるように、対象物１２８の画像のぼかしは光学要素１２４を移動させることにより達成される。しかしながら、移動されることなくぼかしを生み出す光学要素１２４を用いることにより、さらにぼかすこともできる。例えば、光学要素１２４の材料として、複屈折石英素子或いは位相雑音ぼかしフィルタを用いることができる。光学要素１２４のこれらの例では、ぼかしの量のある程度は、光学要素１２４を構成する際に用いられる材料に応じて予め選択される。本明細書に記載されるように、生データの生成中に光学要素１２４を移動させることにより、画像化システム１００に対してさらにぼかしを与えることができる。

画像化システム１００の構造を述べてきたが、ここで、画像化システム１００の動作を述べる。

本明細書に記載される画像化システム１００の実施形態は、２つのモードを有する。第１のモードは、静止モードとも呼ばれ、静止画像を生成する。また、第２のモードは、ビデオモードとも呼ばれ、ビデオ画像を生成する。静止画像の生成中に、画像化システム１００は、全ての光検出器１３０によって生成される生データを用いることができる。そのような状況では、サンプリング速度は高い。それ故、高い周波数成分を含む画像内のエイリアシングの影響を低減するために、ぼかしは殆ど必要とされない。以下に述べる実施形態によっては、画像の空間周波数成分に応じて、異なる量のぼかしが用いられる。

一方、映画或いはビデオ画像は、通常、全ての光検出器１３０によって生成される生データを用いない。全ての光検出器１３０を用いることは、多大な時間を要し、通常、実用的なメモリよりも多くのメモリを用いる。例えば、ビデオ画像のための生データを生成するには、通常、光センサアレイ１１０が毎秒３０画像、すなわち、フレームを表す生データを生成する必要がある。この過程において全ての光検出器１３０が用いられたならば、スチルカメラにおいて用いられる大部分の実用的なポータブルメモリデバイスは直ぐにも一杯になってしまうであろう。

さらに、図４を参照すると、ビデオ画像を表す生データは、通常、光検出器１３０の全ての行１３４よりも少ない行を用いることにより生成される。例えば、２つおきの行１３４の光検出器１３０が、処理されることになる生データを生成することができる。２つおきの行を用いることは、光センサアレイ１１０上の光検出器１３０のうちの３分の１だけを用いることとなるが、カラーフィルタに関するバイエルパターンを維持する。生データが他の行１３４によって生成される場合には、それは処理中に削除或いは破棄されることができる。何れの場合でも、これらの行によって生成される生データは、格納されないので、メモリを占めることはないか、或いは処理時間を増加させることはない。

上記のように、全ての光検出器１３０よりも少ない検出器を用いることは、生データが生成されるときのサンプリング速度を下げることにより、再現される画像の品質を劣化させる。画像の劣化を抑えるために、光センサアレイ１１０上で画像がぼかされる。ぼかしの量，ぼかしが生じる方向，及びぼかしの速度は、まとめてぼかしプロファイルと呼ばれることもある。本明細書に記載されるものに加えて、いくつかのぼかしプロファイルが画像に適用され得る。

ぼかしプロファイルのいくつかの例が図１１に示されている。図示するために、図１１のぼかしプロファイルは、Ｙ方向に延びる光検出器の列２００に対して示されている。光検出器２００の列は、上記のバイエルパターンの図４の列１３６を表す。上記のように、図１の画像化システム１００がビデオモードになるとき、光センサアレイ１１０は、２つおきの行の光検出器１３０のみを処理することができる。ビデオモードにおいて処理されることができる、光検出器の列２００内の光検出器１３０は、丸で囲まれており、作動している光検出器と呼ばれる。作動している光検出器は、緑色光検出器２１０，赤色光検出器２１２，緑色光検出器２１４，青色光検出器２１６，緑色光検出器２１８，赤色光検出器２２０，緑色光検出器２２２，青色光検出器２２４，及び緑色光検出器２２６として参照される。

図１１に示される実施形態のうちの１つは、移動によるぼかしが画像に適用されない、移動のない実施形態２３０である。移動のない実施形態２３０では、図１の光学要素１２４は、生データの生成中に光センサアレイ１１０に対して静止したままである。本明細書に記載される実施形態では、光学要素１２４は、ぼかしフィルタである。それ故、画像の或る量のぼかしが生じるが、本明細書に記載されるように、そのぼかしはビデオ画像の品質を改善するほど十分ではない場合もあり、静止画像を表す生データを生成する際に主に用いられる。複数のライン２３２は、生データの生成中に特定のぼかしプロファイルを得るために照明される光センサアレイ１１０のエリアを表す。さらに、ライン２３２は、異なるぼかしプロファイルを得るために光を受ける光検出器１３０を示す。例えば、赤色光検出器２１２に導かれる光は、その周囲にある緑色光検出器も横切るようにぼかされる。しかしながら、これらの緑色光検出器は、図１の画像化システム１００がビデオモードにあるときに処理される生データを生成しない。同様に、緑色光検出器２１４に導かれる光は、その周囲にある青色及び赤色光検出器も横切るようにぼかされるが、それらの検出器は、図１の画像化システム１００がビデオモードにあるときに生データを生成しない。

移動のない実施形態２３０によってぼかしを制限する場合には、再現されるビデオ画像に歪みが生じるであろう。例えば、高い青色含有物を有する対象物がＹ方向に移動する場合には、概ね９個おきの光検出器によってのみ画像化されるであろう。より具体的には、青色の対象物（或いは青色の対象物のエッジ）がＹ方向に移動する際に、それは、そのような場所にある青色光検出器２１６によって画像化されるであろう。その対象物が青色光検出器２１６を通過して移動し続けるとき、その対象物は、青色光検出器２２４によって画像化されることになる場所に入るまで、再び画像化されないであろう。青色の対象物は、再現されたビデオが再生されるときに、或る場所から別の場所にジャンプするように見えるであろう。

移動している対象物（或いは対象物のエッジ）が多数の色成分の組み合わせを有する場合には、別の問題が生じる。青色光検出器２１６が対象物を画像化できるようにその対象物が配置されるとき、その対象物の青色成分のみが画像化されるであろう。その対象物が、緑色光検出器２１８がその対象物を画像化する場所に向かって移動するとき、緑色成分のみが画像化される。この過程が続くとき、対象物の画像或いは対象物のエッジによって生成される画像データは、対象物が移動するのに応じて、色を変えるであろう。その再現されたビデオは、対象物が移動するのに応じて色を変える対象物を表示するであろう。

上記のように、画像化システム１００の図１の光学要素１２４は、生データが生成されている際に、上記の問題を低減するために移動する。光学要素１２４の移動の一実施形態が、第１の移動のある実施形態２３６として示されている。第１の移動のある実施形態２３６では、光学要素１２４によって、単一の点から反射された光が、生データが生成されている時間に３つの作動している光検出器１３０間で移動することができるようになる。光が光検出器１３０間で移動する量は、ぼかしプロファイルを決定する要因のうちの１つである。ぼかしプロファイルは、移動が生じる速さも含むことができる。

複数のライン２３８は、光学要素１２４によって引き起こされるＹ方向のぼかしを示す。例えば、第１のライン２４０は、単に赤色光検出器２１２に入射した光に関連するぼかしを示す。ある特定の光検出器に入射する光は、×によって示される。図に示されるように、第１の移動のある実施形態２３６によって、光が緑色光検出器２１０と緑色光検出器２１４との間でぼかされるようになる。それ故、その赤色成分のみを画像化していた光は、その緑色成分も画像化する。以下においてさらに詳細に述べるように、赤色に対する緑色画像化の量は、ぼかしプロファイルの他の要因によって選択されることができる。例えば、移動によるぼかしの速さ、及び各作動している光検出器上で光が費やす時間が、ぼかしプロファイルに影響を及ぼす。

第２のライン２４２は、単に緑色光検出器２１４に入射していた光に関連するぼかしを示す。図に示されるように、第１の移動のある実施形態２３６によって、単に緑色光検出器２１４に入射していた光が、赤色光検出器２１２及び青色光検出器２１６にも入射できるようになる。それ故、その緑色成分のみが画像化されていた光が、その青色成分及び赤色成分も画像化されるようになる。

第３のライン２４４は、単に青色光検出器２１６に入射していた光に関連するぼかしを示す。図に示されるように、第１の移動のある実施形態２３６によって、単に青色光検出器２１６に入射していた光が、緑色光検出器２１４及び緑色光検出器２１８にも入射できるようになる。それ故、その青色成分のみが画像化されていた光が、その緑色成分及び赤色成分も画像化されるようになる。

第１の移動のある実施形態２３６は、対象物が移動している場合でも、対象物の画像の全ての部分が光検出器１３０に絶えず入射できるようにすることにより、対象物の連続的な画像を提供する。従って、対象物の再現される画像は、移動のぼかしが用いられなかった場合よりも、消失し、後に再び現われる可能性が小さくなるであろう。さらに、対象物の画像の色成分は、移動のぼかしが用いられなかった場合よりも連続的に画像化される。それ故、その対象物の再現される画像は、移動のぼかしが用いられなかった場合よりも、その対象物が移動する際に色を変える可能性が小さくなるであろう。第１の移動のある実施形態２３６の場合、再現される画像の青色成分及び赤色成分は、それらの色が必ずしも連続して画像化されないので、僅かに変動する可能性があることに留意されたい。しかしながら、緑色成分はそれらよりも連続的になるであろう。

バイエルカラーフィルタは、赤色及び青色光検出器の２倍だけ多くの緑色光検出器を有することに留意されたい。しかしながら、第１の移動のある実施形態２３６によって、緑色光検出器は、移動を用いない場合よりも、さらに大きな割合の光を受けられるようになる可能性がある。緑色光検出器によって受ける光の増加を矯正するために、緑色光検出器に関連するデータ値が、画像処理中に低減され得る。例えば、緑色光検出器によって生成される生データは、それらが受ける光の割合の増加に関連して高くなる値を補償するために、その割合に応じて低減され得る。

第２の移動のある実施形態２５０も図１１に示される。第２の移動のある実施形態２５０は第１の移動のある実施形態２３６に類似であるが、そのぼかしプロファイルによって、第１の移動のある実施形態２３６よりも高い度合いの移動が生じるようになる。第２の移動のある実施形態２５０は、複数のライン２５２によって示される。複数のライン２５２は、第１のライン２５４と、第２のライン２５６と、第３のライン２５８とを含む。ライン２３８の場合のように、ライン２５２は、第２の移動のある実施形態２５０によって与えられるぼかしの量及び方向を表す。

第１のライン２５４に関して、緑色光検出器２１４によってのみ画像化されていた光が、緑色光検出器２１０，赤色光検出器２１２，青色光検出器２１６，及び緑色光検出器２１８によっても画像化される。それ故、通常であれば緑色光検出器２１４によってのみ画像化されていた光は、赤色及び青色光検出器によっても画像化される。こうして、緑色光検出器２１４に入射する光のフルスペクトルが画像化されることができる。第２のライン２５６に関して、青色光検出器２１６によってのみ画像化されていた光が、赤色光検出器２１２，緑色光検出器２１４，緑色光検出器２１８，及び赤色光検出器２２０によっても画像化される。再び、青色光検出器２１６によってのみ画像化されていた光が、そのフルスペクトルで画像化されるようになる。第３のライン２５８に関して、緑色光検出器２１８によってのみ画像化されていた光が、緑色光検出器２１４，青色光検出器２１６，赤色光検出器２２０，及び緑色光検出器２２２によっても画像化される。上記の例の場合のように、その緑色成分のみを画像化されていた光が、その全色成分で画像化されるようになる。

第２の移動のある実施形態２５０は、光が光検出器１３０のうちのより多くの光検出器によって画像化されることにより、対象物のより多くのスペクトルを含む画像化を提供する。より具体的には、作動している光検出器１３０のうちの任意の光検出器に入射する光は、その全ての色成分が画像化されるであろう。第１の移動のある実施形態２３６の場合のように、光検出器１３０によって生成されるピクセル値は、第２の移動のある実施形態２５０によって引き起こされる赤色光検出器，緑色光検出器，及び青色光検出器を横切る光の強度の変化を補償するために、その割合に応じて調整されなければならないかもしれない。対象物を画像化する赤色光検出器，緑色光検出器，及び青色光検出器の割合は、バイエルパターンの場合と同じままにすることができるが、ぼかしが生じる速さ及び他のぼかしプロファイル特性は、生データ値を割合に応じて調整する必要があるかもしれない。

実際には、第２の移動のある実施形態２５０は、対象物の色成分の画像化を改善する。この結果として、対象物の色がより正確に画像化され、対象物が移動する場合であってもそれが維持されるようになる。それ故、対象物の画像の色の移り変わりは、対象物が移動する場合であっても、比較的一定のままであろう。さらに、近くに色の移り変わりがない対象物の画像の色は、対象物の全ての色成分が画像化されることに起因して、一定のままであろう。しかしながら、第２の移動のある実施形態２５０によって、対象物の画像は、他の画像化技術よりも細かく表現されないようになる可能性がある。以下に述べられる実施形態では、色の整合性を維持しながら、最も鮮明することができる画像を提供できるように、ぼかしの量が対象物の色に基づいて選択される。

図１１は、第１の移動のある実施形態２３６及び第２の移動のある実施形態２５０よりもぼかしが少ない第３の移動のある実施形態２６０も示している。複数の短いライン２６２が第３の移動のある実施形態２６０のぼかしを表す。ライン２６２は、第１のライン２６４，第２のライン２６６，及び第３のライン２６８を含む。

第１のライン２６４に関して、緑色光検出器２１０，赤色光検出器２１２，或いはその間に配置される光検出器１３０に入射していた光が、緑色光検出器２１０及び赤色光検出器２１２の両方によって画像化される。第２のライン２６６に関して、赤色光検出器２１２，緑色光検出器２１４，或いはその間に配置される光検出器１３０に入射していた光が、赤色光検出器２１２及び緑色光検出器２１４の両方によって画像化される。第３のライン２６８に関して、緑色光検出器２１４，青色光検出器２１６，或いはその間に配置される光検出器１３０に入射していた光が、緑色光検出器２１４及び青色光検出器２１６の両方によって画像化される。

第３の移動のある実施形態２６０は、最小限のぼかしを与えるが、この最小限のぼかしであっても、いくつかの画像を大幅に改善するだけの十分なぼかしであろう。例えば、比較的低い空間周波数を有する画像は、エイリアシングに関連する影響を低減するために、僅かなぼかししか必要としないかもしれない。そのような状況では、第３の移動のある実施形態２６０を用いることができる。

図１の光学要素１２４の移動の量のいくつかの実施形態を述べてきたが、ここで、光学要素１２４の速度のいくつかの実施形態を述べる。

図１の画像化システム１００の一実施形態では、光学要素１２４は漸次的に移動する。光学要素１２４を通過する光ビームは、光センサアレイ１１０に対して漸次的にぼける。漸次的な移動（incremental movement）は、作動している光検出器１３０に光ビームが入射するときに減速し、作動していない光検出器１３０に光ビームが入射する際に加速することができる。この漸次的なぼかしは、以下にさらに詳細に述べるように、その移動サイクル中に光学要素１２４の速さを変えることにより達成される。

図１１の第１の移動のある実施形態２３６とともに用いられる図１の光学要素１２４の漸次的速度の一実施形態を示すグラフが、図１２に示されている。そのグラフは、単に緑色光検出器２１４に入射していた光ビーム２７０をぼかす、図１１の第２のライン２４２を示す。光ビーム２７０は、図１２に示されるように、赤色光検出器２１２と青色光検出器２１６との間に延びる光検出器１３０に入射するようにぼかされる。従って、図１２のグラフは、光ビーム２７０が赤色光検出器２１２と青色光検出器２１６との間で移動する際のその移動の速度を示す。

光ビームが赤色光検出器２１２と青色光検出器２１６との間で左右に移動するとき、そのビームは止まって、方向を変えなければならない。方向の変化によって、光ビームは図１の光センサアレイ１１０に対して速度を落とすことができ、それがグラフの傾斜２７４及び２７６によって示される。光ビームが遅くなるとき、それは、より長い時間をかけて光検出器に入射するようになり、結果として、光検出器がより長い時間をかけて光ビームを画像化するようになる。図１２のグラフに関連して、緑色光検出器２１４の減速と方向の変化によって、赤色光検出器２１２及び青色光検出器２１６は、緑色光検出器２１４よりも、光ビーム２７０のうちの多くの量を画像化することができる。光検出器１３０によって生成される生データの値は、上記の種々の画像化時間を補償するように、スケーリングされることができる。

光ビーム２７０を移動させる別の例が図１３のグラフによって示される。図１３の実施形態は、図１２の実施形態よりも、光ビーム２７０の移動のより速い加速及び減速を用いる。さらに、光ビーム２７０の移動は、それが緑色光検出器２１４付近にあるときに減速される。この実施形態によれば、光ビーム２７０が、同じ長さの時間をかけて作動している光検出器１３０を画像化できるようになる。それ故、光検出器１３０によって生成される生データは、スケーリングする必要が殆どないか、或いはより予測可能なスケーリングを必要とする。

まとめてぼかしプロファイル呼ばれる、ぼかしの量及び速度に関するいくつかの実施形態を述べてきたが、ここで、ぼかしプロファイルの選択を述べる。図１を参照すると、画像化システム１００の一実施形態では、プロセッサ１１６は、光検出器１３０によって生成される生データを解析し、それ応じてぼかしプロファイルを選択する。画像化システム１００の別の実施形態では、ユーザが、ユーザインタフェース１１８を用いることにより、ぼかしプロファイルを選択する。

ぼかしプロファイルの選択は、画像化システム１００が静止画像を表す画像データを生成するためのモードにあるか、ビデオ画像を表す画像データを生成するためのモードにあるかに基づくことができる。上記のように、画像化システム１００は、通常、ビデオ画像を表す画像データの生成中に全ての光検出器１３０を利用するとは限らない。それ故、画像のサンプリングの低下を補償するために、ぼかしを増加することができる。画像化システム１００の一実施形態では、画像化システム１００を用いて、ビデオ画像を表す画像データを生成する際に、ぼかしが自動的に増加される。同様に、画像化システム１００を用いて、静止画像を表す画像データを生成する際に、ぼかしが自動的に低減される。

画像化システム１００の別の実施形態では、画像を取り込む前に対象物１２８の画像を解析することにより、ぼかしの量が求められる。例えば、画像の空間周波数を解析することができる。画像が高い空間周波数を有するものと判定されるとき、画像を取り込む前に、ぼかしの量を増加、すなわち、予め選択された高い値に設定することができる。同様に、ある画像が低い空間周波数を有するものと判定されるとき、画像を取り込む前に、ぼかしの量を減少、すなわち予め選択された低い値に設定することができる。

画像化システム１００の別の実施形態では、画像化システム１００のユーザがぼかしの量を調整することができる。１つのそのような実施形態では、ユーザは、対象物が画像化されるのに応じて、ぼかしを調整することができる。例えば、経験或いは個人的な嗜好によって、ユーザがぼかしを増減するように判断することができる。別のそのような実施形態では、画像化システム１００は、取り込まれることになる画像を表示することができる。その際、ユーザがぼかしを調整し、ぼかしが調整されるのに応じて画像への効果を確認することができる。それ故、いくつかのぼかしプロファイルを調べた後に、ユーザは所望のぼかしプロファイルを選択することができる。

以上を要約すると、次の通りである。すなわち、ここでは画像データ画像を生成するための方法及び装置が記載されている。本発明の方法の一実施形態は、２次元の光センサアレイ１１０上に対象物１２８の画像を結像させるステップを有する。この場合、対象物１２８と２次元の光センサアレイ１１０との間に光学要素１１２が配置される。光学要素１１２は、移動される。この移動により、２次元の光センサアレイ１１０上に結像される画像が２次元の光センサアレイ１１０に対して平行に移動される。光学要素１１２が移動されている間に、画像を表すデータが２次元の光センサアレイ１１０によって生成される。

画像化システムの一実施形態の概略的な側面図である。 図１に示される画像化システムにおいて用いられる光センサアレイの一実施形態の概略的な正面図である。 図２の光センサ上にある光検出器のうちの２つを拡大して示す平面図である。 バイエルフィルタを示す図である。 図１のぼかしフィルタの一実施形態の正面図である。 ディザリングされた光学的に透明な板である、図１の光学要素の一実施形態を示す図である。 ディザリングされた回折格子である、図１の光学要素の一実施形態を示す図である。 並進型ウェッジである、図１の光学要素の一実施形態を示す図である。 並進型すりガラス板である、図１の光学要素の一実施形態を示す図である。 ミラーである、図１の光学要素の一実施形態を示す図である。 Ｙ方向において生成されるぼかしプロファイルの一実施形態を示す図である。 図１１の実施形態に関連するぼかし速度の一実施形態を示すグラフである。 図１１の実施形態に関連するぼかし速度の一実施形態を示すグラフである。

符号の説明

１００ 画像化システム
１１０ 光センサアレイ
１１２ ぼかしフィルタ（光学要素）
１１４ 結像レンズ
１１６ プロセッサ
１１８ ユーザインタフェース
１２６ モーションデバイス
１２８ 対象物
１３０ 光検出器
１３４ 行
１３６ 列
１３８ 第１の行
１４０ 第２の行
１４２ 第３の行
１４４ 第４の行
１４６ 第５の行
１７０ 透明な板
１７４ 回折格子
１８０ 並進型ウェッジ
１８８ 並進型すりガラス板
１９０ ミラー

Claims (10)

1. 画像を表すデータを生成する方法であって、
   （ａ） 対象物と２次元の光センサアレイとの間に光学要素を配置し、レンズを用いて前記２次元の光センサアレイ上に前記対象物の画像を結像させるステップと、
   （ｂ） 前記２次元の光センサアレイ上に結像される前記画像を移動させるべく、前記光学要素を移動させるステップと、
   （ｃ） 前記光学要素が移動している間に、前記２次元の光センサアレイを用いて、前記画像を表すデータを生成するステップと、
   を含むことを特徴とする方法。
2. 前記移動させるステップは、前記データを生成するステップが、移動している画像を表すデータを生成するステップを含む場合には、前記光学要素を移動させるステップを含むことを特徴とする請求項１に記載の方法。
3. 前記移動させるステップは、前記データを生成するステップが、静止画像を表すデータを生成するステップを含む場合には、前記光学要素を第１の量だけ移動させるステップを含み、かつ、前記移動させるステップは、前記データを生成するステップが、ビデオ画像を表すデータを生成することを含む場合には、前記光学要素を第２の量だけ移動させることを含み、前記第１の量は、前記第２の量よりも少ないことを特徴とする請求項１に記載の方法。
4. 前記２次元の光センサアレイは、その上に配置された第１の数の光検出器を有しており、前記データを生成するステップは、前記光学要素が移動している間に、前記２次元の光センサアレイの第２の数の光検出器を用いてデータを生成するステップを含み、前記第２の数は、前記第１の数よりも少ないことを特徴とする請求項１に記載の方法。
5. 前記２次元の光センサアレイは、光検出器の複数の行を含み、光検出器の第１の行及び光検出器の第２の行がデータを生成し、前記第１の行と前記第２の行との間に、光検出器の少なくとも１つの行が配置され、前記移動させるステップは、前記２次元の光センサアレイがデータを生成している間に、前記光検出器の第１の行及び前記光検出器の第２の行の上に前記画像の少なくとも一部が結像するように、前記光学要素を移動させるステップを含むことを特徴とする請求項１に記載の方法。
6. 前記２次元の光センサアレイは、さらに、画像データを生成する光検出器の第３の行を含み、前記移動させるステップは、前記データが生成される間に、前記光検出器の第１の行，前記光検出器の第２の行，及び前記光検出器の第３の行の上に前記画像の少なくとも一部が結像するように、前記光学要素を移動させるステップを含むことを特徴とする請求項５に記載の方法。
7. 前記移動させるステップは、さらに、前記画像の一部が第１の光検出器上に結像するときに第１の速度で前記光学要素を移動させ、前記画像の前記一部が第２の光検出器上に結像するときに第２の速度で前記光学要素を移動させるステップを含むことを特徴とする請求項１に記載の方法。
8. （ａ） その上に結像される画像を表すデータを生成することが可能な２次元の光センサアレイと、
   （ｂ） 前記２次元の光センサアレイの近くにない場所から前記２次元の光センサアレイまで延びる光路と、
   （ｃ） 前記光路内に配置されるレンズと、
   （ｄ） 前記光路内に配置され、前記２次元の光センサアレイに対して移動することができる光学要素と、
   を備え、
   前記移動することができる光学要素は、前記２次元の光センサアレイがデータを生成する期間中に移動することができ、
   前記光学要素が移動することにより、前記光路が前記２次元の光センサアレイに対して移動することができること、
   を特徴とする画像化デバイス。
9. 前記２次元の光センサアレイは、第１の数の光検出器から構成され、
   前記画像化デバイスは、前記第１の数の光検出器によってデータを生成することができる第１の動作モードを有し、
   前記画像化デバイスは、第２の数の光検出器によって画像データを生成することができる第２の動作モードを有し、
   前記第１の数は、前記第２の数よりも多いこと、
   を特徴とする請求項８に記載の画像化デバイス。
10. 前記２次元の光センサアレイは、光検出器の第１の行と、光検出器の第２の行と、前記光検出器の第１の行と前記光検出器の前記第２の行との間に配置される光検出器の少なくとも１つの行とを備え、
    前記光検出器の第１の行及び前記光検出器の第２の行は、画像データを生成し、
    前記光学要素は、前記２次元の光センサアレイがデータを生成するときに、前記光検出器の第１の行及び前記光検出器の前記第２の行の上に画像の一部が結像できるように移動することができること、
    を特徴とする請求項８に記載の画像化デバイス。
    

Images