JP2006054583A - 撮像装置 - Google Patents

Abstract

【課題】歪み補正後の空間周波数帯域の不均一を低減して補正の精度を向上させた撮像装置を提供すること。
【解決手段】光学系により結像された画像を光電変換する撮像素子と、撮像素子に関して配置され、繰り返しの配列規則を有するカラーフィルタアレイとを備えた撮像装置であって、撮像素子の光電変換信号をサンプリングし、カラーフィルタアレイの各チャンネルの輝度情報と、サンプリングした位置の情報とを画像データとして取得するものであり、撮像素子から画像データを読み出すにあたって、読み出された画像データのチャンネルの配列がカラーフィルタアレイの繰り返しの配列規則とは異なるように読み出し動作を制御する読み出し制御部１２４と、撮像素子から読み出された画像データの歪みを補正する歪み補正部１４０とを具備し、歪み補正部１４０は、歪み補正が行われた画像データにおけるチャンネルの配列規則が、カラーフィルタアレイの繰り返し配列規則と等しくなるように歪み補正を行う。
【選択図】 図１

Description

本発明は、撮像装置に関するものである。

近年、パーソナルコンピュータの急速な普及により、画像入力機器としてのデジタルカメラの需要が拡大している。また、動画の記録機器としてデジタルビデオなどの高画質記録装置が広く用いられている。

上記電子スチルカメラの画質を決定する要素は幾つかあるが、その中でも撮像素子の画素数は撮影像の解像度を決定する大きな要素である。そのため、最近は５００万画素以上の画素数を持った電子スチルカメラも商品化されている。しかしながら、全ての用途において、５００万画素以上の画素が必ずしも必要なわけではなく、例えば、インターネットのＷｅｂ上に表示する画像では、比較的小さな画素サイズを使用することが多い。

一方、現状のデジタルカメラでは、撮像素子で取得した画像データを画像メモリに記録するのに少なからぬ時間を要し、このため、画素数が大きい機種で、高速な連写撮影を可能とするものが少ない。また、付加機能として動画撮影に対する要求が存在するので、メモリへのデータ転送は高速に行わなければならず、予め扱うデータ量を少なくすることが好ましい。

出力画像の画素数が、撮像素子の画素数に比べて少ない場合には、予め、使用する画素数を制限することによって、撮像素子からメモリに転送されるデータ量を減らし、メモリ転送の速度を向上できる。

一方、線形補間によるサイズ縮小では、全ての画素を使用して大きいサイズの画像を作成し、線形補間によって異なるサイズの画像を作成する。このような、線形補間によるサイズ変更は、画質の面では良好であるが、縮小画像を生成する場合、全画素のデータを取り込んで線形補間を行うために演算量が多く、上述した連写機能や動画撮影には適していない。

さらに、動画像に対して、上記の線形補間によるサイズ変更を適用した場合、変倍率によって読み出す画素数が異なるため、１フレームの時間が一定で有るような走査方法には適さない。

メモリ読み出しのデータ量を減らす手法としては、撮像素子に積分機能を付けて、平均化した少数のデータを読み出し、縮小画像を生成する方法がある。例えば特開２００１−２４５１４１号公報は、この方法を利用した高速な画像の縮小方法を開示している。

また、特開２００１−０１６４４１号公報は、解像度の種類が限定されている場合に、データの間引きを行い、さらにデータの歪みを補正する装置を開示している。同文献は、実施の形態において、６００ｄｐｉの解像度を持つ装置による４００ｄｐｉ相当のデータの作成を開示している。６００ｄｐｉのデータをそのまま間引いたのではデータの歪みが生じるため、位置の歪みを補正する画素データを６００ｄｐｉのデータから線形補間によって生成している。

さらに、特願２００２−３４９９６８明細書では、変倍率によらず１フレームでの走査画素数が一定になるように、変倍率に応じて画素の間引き読み出しを行い、間引き読み出しによる画像の歪みを補正するようなフィルタ処理を行う歪み補正処理機能を備えた撮像装置を開示している。
特開２００１−２４５１４１号公報 特開２００１−０１６４４１号公報 特願２００２−３４９９６８号明細書

特開２００１−２４５１４１号公報の方法は、２０％程度以下の縮小率の縮小においては効果的であるが、例えば４０％程度以上の大きい縮小率の縮小の場合には、積分による平均化だけでは読み出した画素位置による像の歪みを除くことは出来ない。従って、広い範囲の縮小倍率に対して、サイズ変更を行いながら高画質な画像を形成することが難しい。

また、特開２００１−０１６４４１号公報の装置では、走査により得た６００ｄｐｉのすべてのデータを用いて補間し、４００ｄｐｉ相当のデータを作っているが、読み出し時間の制限により基本解像度のデータ（特開２００１−０１６４４１号公報では走査して得られる６００ｄｐｉのデータ）を全て読むことが出来ないので、間引かれたデータ列から歪みの少ないデータ列を作成することを課題とするものではない。

これに対して特願２００２−３４９９６８では、変倍率によらず１フレームでの走査画素数が一定になるように、変倍率に応じて画素の間引き読み出しを行い、さらに、間引き読み出しによる画像の歪みを補正するようなフィルタ処理を行う歪み補正機能を有する撮像装置を開示した。特願２００２−３４９９６８においては、歪み補正の後の信号処理に対して、入力する信号のＲ（レッド）、Ｇ（グリーン））、Ｂ（ブルー）のチャンネルの配列規則が撮像素子の配列規則と同等で有るため、ノイズ、ゲインに対して差違はあるが、後続の信号処理は、入力信号を撮像素子から間引き読み出しせずに、直接読み出した場合とほぼ同等に扱えるため、従来の信号処理の方式を大きく変更すること無しに使える。このため、処理の前後でチャンネルの配列規則を保持することが望ましい。例えば、Ｂａｙｅｒ配列の場合、Ｒ−Ｇ−Ｒ−Ｇ−Ｒ−ＧまたはＧ−Ｂ−Ｇ−Ｂ−Ｇ−Ｂの様に２画素の繰り返しで水平、垂直方向にＣＦＡが並んでいるので、間引き読み出しはＣＦＡの配列規則を保持する為には、２画素連続して飛び越し読み出しを行わなければならない。そのため、線形補間による歪みの補正を行った場合、飛び越した画素の周辺で空間周波数帯域が劣化してしまう。

本発明はこのような課題に着目してものであり、その目的とするところは、画像データの読み出しに要する時間が短く、かつ、歪み補正後の空間周波数帯域の不均一を低減して補正の精度を向上させた撮像装置を提供することにある。

上記の目的を達成するために、本発明の第１の態様では、光学系により結像された画像を光電変換する撮像素子と、前記撮像素子に関して配置され、繰り返しの配列規則を有するカラーフィルタアレイとを備えた撮像装置であって、前記撮像素子の光電変換信号をサンプリングし、前記カラーフィルタアレイの各チャンネルの輝度情報と、前記サンプリングした位置の情報とを画像データとして取得するものであり、前記撮像素子から画像データを読み出すにあたって、読み出された画像データのチャンネルの配列が前記カラーフィルタアレイの繰り返しの配列規則とは異なるように読み出し動作を制御する読み出し制御手段と、前記撮像素子から読み出された画像データの歪みを補正する歪み補正手段と、を具備し、前記歪み補正手段は、前記歪み補正が行われた画像データにおけるチャンネルの配列規則が、前記カラーフィルタアレイの繰り返しの配列規則と等しくなるように歪み補正を行う。

また、本発明の第２の態様では、本発明の第１の態様において、前記歪み補正手段による歪み補正処理は、欠落した画素を推定する演算と、画素数を変換する演算とを線形演算により行う処理である。

また、本発明の第３の態様では、本発明の第２の態様において、前記欠落画素を推定する演算は、前記カラーフィルタアレイの各チャンネルの輝度レベルの相関関係に基づいて、欠落した画素の輝度レベルを推定する演算である。

また、本発明の第４の態様では、本発明の第２の態様において、前記欠落画素を推定する演算は、前記カラーフィルタアレイの各チャンネルの輝度レベルの比例関係に基づいて、欠落した画素の輝度レベルを推定する演算である。

また、本発明の第５の態様では、本発明の第２の態様において、前記欠落画素を推定する演算は、前記カラーフィルタアレイの各チャンネルの輝度レベルの差分関係に基づいて、欠落した画素の輝度レベルを推定する演算である。

また、本発明の第６の態様では、本発明の第１〜第５のいずれか１つの態様において、前記歪み補正手段は、歪み補正処理と色補間処理とを同時に行う。

本発明によれば、画像データの読み出しに要する時間が短く、かつ、歪み補正後の空間周波数帯域の不均一を低減して補正の精度を向上させた撮像装置が提供される。

以下、図面を参照して本発明の実施形態を詳細に説明する。

（第１実施形態）
図１は本発明の第１実施形態に係る撮像装置の構成を示している。撮像装置１００は、被写体の光学像を結像する結像光学系１１０と、結像光学系１１０により結像された光学像の所定の領域の画像信号を出力する撮像デバイス１２０とを有している。撮像デバイス１２０は、結像光学系１１０により結像された光学像を光電変換してデジタル画像データ（画素データの集合）を取得するエリア状の光電変換素子（撮像素子）１２２と、光電変換素子１２２で取得された画像データを必要に応じて間引いて読み出す制御を行う読み出し制御部１２４とを有している。

撮像装置１００はさらに、前記所定の領域に対応する領域を出力（表示）すべき画像の領域として設定する（すなわち表示する画像のサイズと位置を特定する）領域設定部１３２と、領域設定部１３２で設定された領域に応じて読み出し制御部１２４の画素間引き読み出し規則を設定する読み出し規則設定部１３４と、光電変換素子１２２から読み出されたデジタル画像データの歪みを補正する歪み補正部１４０とを有している。

読み出し制御部１２４は、読み出し規則設定部１３４で設定された画素間引き読み出し規則に基づいて、光電変換素子１２２内の画素配列中の対応する範囲の画素データを読み出す。ここでの間引き読み出し規則は、光電変換素子１２２に関連して配置されるカラーフィルタアレイの繰り返しの配列規則とは異なる間引き読み出し方法を可能にするものである。この結果、撮像デバイス１２０からは上記間引き読み出し規則に従って間引きされた画像データが出力される。

歪み補正部１４０は、読み出し制御部１２４によって光電変換素子１２２から読み出されたデジタル画像データをフィルタ処理するフィルタ処理部１４２と、読み出し規則設定部１３４で設定された画素間引き読み出し規則に応じてフィルタ処理部１４２のフィルタ処理に使用するフィルタ係数を設定するフィルタ係数設定部１４４とを有している。

フィルタ係数設定部１４４は、複数のフィルタ係数を含むルックアップテーブル（ＬＵＴ）を記憶するＬＵＴ記憶部１４６と、読み出し規則設定部１３４で設定された画素間引き読み出し規則に応じて、ＬＵＴ記憶部１４６に記憶されているルックアップテーブルからフィルタ係数を選択するフィルタ係数選択部１４８とを有している。

ここで、フィルタ係数設定部１４４は、必ずしもＬＵＴ記憶部１４６とフィルタ係数選択部１４８とを有している必要はなく、読み出し規則設定部１３４が設定した画素間引き読み出し規則に応じた演算を行ってフィルタ係数を算出してもよい。

ルックアップテーブルを使用するフィルタ係数設定部１４４は、ルックアップテーブルを記憶しておくために多くのメモリを必要とするが、演算を行うときの負担が少ないという利点がある。一方、ルックアップテーブルを使用しないフィルタ係数設定部１４４は、演算を行うときの負担が大きいが、多くのメモリを必要としないという利点がある。

フィルタ処理部１４２は、フィルタ処理されたデジタル画像データを図示しない後続の処理部に出力する。

以下に、歪み補正部１４０での歪み補正処理の詳細について述べる。図２は、第１実施形態における歪み補正処理の概念図である。図２の例では、カラーフィルタアレイの一例としてのＢａｙｅｒ配列のＲ−Ｇラインの水平方向８画素のうち２画素（Ｇ３、Ｒ６のチャンネル）を飛び越して読み出した画像データから、等配列の６画素の規則配列を生成する処理の概念図を示している。なお、図２のＲ0+は、次の周期の８画素配列の１番目の画素データを表している。

ここでの歪み補正処理は、（１）読み出した画素データから欠落している画素（Ｇ３，Ｒ６）のデータの推定値を算出して補間することにより８画素のデータとし、（２）次に、８画素から６画素のデータを生成する縮小処理を行う、ことにより達成される。

欠落した画素の値を推定する方法としては、以下に述べるような線形補間でも良いし、また後に述べるようなＲ−Ｇチャンネル間の相関を用いるような方式でも良い。一方、縮小処理としては以下に述べるような１次補間でも良いし、３次補間を用いても良い。間引き読み出し、歪み補正処理において８画素中６画素を読み出したときには７５％の縮小処理になる。あるいは１０画素中８画素で有れば８０％、１２画素中１０画素であれば８３％となる。

上記した補間処理及び縮小処理は行列演算により実現することができる。まず、サンプリングした画像データを

とする。この画像データは、Ｇ（ｉ＋３）と、Ｒ（ｉ＋６）の画素が欠落しているので、これらの画像データを補間することにより、以下の８画素の画像データを得る。

以下の行列式の右辺３項目は、上記サンプリングされた画像データに対応しており、右辺２項目の操作は、上記線形補間を表している。また、右辺１項目の操作は線形補間により８画素を６画素に変換（縮小）する操作を表している。

これらの２つの操作を合成すると以下の様な線形変換の式になる。

図３は、この線形変換の処理を実行するハードウェア構成を示している。シフトレジスタ９０１は６タップのＦＩＦＯになっており、１画素毎にシフトする構成となっている。図３の構成で１画素クロック毎に演算を行うときの論理表を図４に示す。論理表は行方向に１画素クロックの状態を示しており、画素データがＣ１←Ｃ２←Ｃ３の様にシフトするようになっている。

図３において、シフトレジスタ９０１に供給される画素データ列（ｉ０、ｉ１、ｉ２、…）は、Ｃ１＝ｉ０、Ｃ２＝ｉ１、Ｃ３＝ｉ２、…を初期状態として、クロックに従った一回の動作ごとに右方向にシフトしていく。これに伴い、セレクタ９０２は、制御信号ｓ１が０のときはＣ２を選択し、この場合、セレクタ９０２の出力ｄ１＝Ｃ２となる。また、ｓ１が１のときにはＣ３を選択し、この場合、セレクタ９０２の出力ｄ１＝Ｃ３となる。また、ｓ１が−１のときにはＣ１を選択し、この場合、セレクタ９０２の出力ｄ１＝Ｃ１となる。

一方、セレクタ９０３は、制御信号ｓ２が０のときはＣ４を選択し、この場合、セレクタ９０３の出力ｄ２＝Ｃ４となる。また、Ｓ２が２のときにはＣ６を選択し、この場合、セレクタ９０３の出力ｄ２＝Ｃ６となる。また、ｓ２が１のときにはＣ５を選択し、この場合、セレクタ９０３の出力ｄ２＝Ｃ５となる。また、Ｓ２が−１のときにはＣ３を選択し、この場合、セレクタ９０３の出力ｄ２＝Ｃ３となる。

また、クロックに同期して、フィルター係数選択部１４８は、ＬＵＴ記憶部１４６から係数ｋ１を選択して乗算器９０５に供給するとともに、係数ｋ２を選択して乗算器１７６に供給する。乗算器９０５の出力はｋ１×ｄ１となり、乗算器９０６の出力はｋ２×ｄ２となるので、加算器９０４の出力ｏｕｔはｋ１×ｄ１＋ｋ２×ｄ２となる。

図４からわかるように、画像データの逐次シフト、ｓ１とｓ２の状態に従ったセレクタの切り換え、式（１）に示した間引き規則に応じた重み付け係数ｋ１、ｋ２の出力、重み付け加算演算を同期して行うことによって、画素の位相操作（セレクタ切り換え）を含めたパイプライン処理が行われる。

なお、欠落した画素の輝度レベルの推定においては、前述したような同一チャンネルの１次補間あるいは、同一チャンネルの３次補間、ｓｉｎｃ関数等の線形補間以外にも、チャンネル間の相関関係、比例関係、あるいは差分関係を用いた補間方法を用いることが出来る。このときの推定値は、

あるいは、

で与えられる。

上記した第１実施形態によれば、単板カラー撮像素子のＣＦＡの配列規則を保持しないような間引き読み出しに対して、歪み補正の出力結果におけるチャンネルの配列規則が撮像素子のＣＦＡの配列規則と同等になるような歪み補正を行うので、画像データの読み出しに要する時間が短く、かつ、歪み補正後の空間周波数帯域の不均一を低減して補正の精度を向上させることができる。

（第２実施形態）
以下に、本発明の第２実施形態を説明する。Ｂａｙｅｒ配列での飛び越し読み出しが奇数、すなわち、ＲとＧの対を単位とした間引きが行われなかった場合、欠落した画素を推定してサイズ変更の処理を行ったときに、等配列のｂａｙｅｒ配列にしようとすると、ＲとＧの位置が反転することになる。すなわち、読み出し位置ではＲであるが、歪み補正を行った結果、その位置がＧチャンネルとなってしまうので、色補間を行う必要がある。これに対し、第２実施形態では、第１実施形態で説明した歪み補正処理に加えて、色補間処理を具備している。

図５は、第２実施形態における歪み補正、色補間処理の概念図である。図５の例では、Ｂａｙｅｒ配列のＲ−Ｇラインの水平方向８画素のうち１画素（Ｒ４のチャンネル）を飛び越して読み出した画像データから、歪み補正及び色補間を行うことにより、７画素のＲ／Ｇチャンネルの輝度データを持つ画素データに変換している。

上記した歪み補正処理、色補間処理は、行列演算により実現することができる。まず、サンプリング画像データを、

とする。この画像データは、Ｒ（ｉ＋４）画素データが欠落しているので、以下の（５）式を用いた線形補間により８画素のｂａｙｅｒ配列の画像データを生成する。（５）式の行列式の右辺２項目にあるＧi-1 は、１つ前の周期の８画素配列の８番目の画素データを表し、Ｇi+8 は、次の周期の８画素配列の１番目の画素データを表している。

次に、この８画素のｂａｙｅｒ配列の画像データから、以下の（６）式で示す行列演算により７画素のＲ／Ｇチャンネルの画像データを生成する。

したがって、Ｒ（ｉ＋４）の画素データが欠落した入力画像データ

から、歪み補正、色補間処理が施された出力画像データ

を得るためには、上述の（５），（６）式の行列演算を合成すればよい。これにより、以下の線形変換の行列式が得られる。

この行列式の右辺２項目が入力画像データであり、これを線形変換すると出力画像データとして左辺の行列が得られる。

上記のような、入力画像データから色補間を含めた歪み補正を行う処理は、間引き画素が２画素の場合でも同様に導ける。（１）式の変換にｂａｙｅｒ配列から色補間を行う（６）式と同様な変換を合成すればよい。

図６は、この線形変換の処理を実行するハードウェア構成を示している。シフトレジスタ１００１は７タップのＦＩＦＯであり、Ｒ／Ｇチャンネルそれぞれに４入力１出力のセレクタを２個ずつ使用した構成となっている。図６の構成で、１画素クロック毎に演算を行うときの論理表を図７（Ｒチャンネル）及び図８（Ｇチャンネル）に示す。

図６の構成の動作は基本的に図３の構成の動作に準じるものであるが、ここでのセレクタＲ１（１００２）及びＧ１（１００４）は、シフトレジスタ１００１のＣ４−Ｃ７のうちの１個の値を選択する。また、セレクタＲ２（１００３）及びＧ２（１００５）は、シフトレジスタ１００１のＣ１−Ｃ４のうちの１個の値を選択する。各セレクタＲ２（１００３）、Ｒ１（１００２）、Ｇ２（１００５）、Ｇ１（１００４）の出力ｄ１、ｄ２、ｄ３、ｄ４に対して乗算器１００８〜１０１１によりそれぞれ係数ｋ１，ｋ２，ｋ３，ｋ４を乗算する。加算器１００６は乗算器１００８の出力と、乗算器１００９の出力とを加算して加算結果Ｒｏｕｔを出力する。また、加算器１００７は乗算器１０１０の出力と、乗算器１０１１の出力とを加算して加算結果Ｇｏｕｔを出力する。

上記の演算を式で表現すると、

のようになる。

上記した第２実施形態によれば、第１実施形態の効果に加えて、Ｂａｙｅｒ配列での飛び越し読み出しが奇数のときの問題を解決することができる。

図１は本発明の第１実施形態に係る撮像装置の構成を示す図である。 第１実施形態における歪み補正処理の概念図である。 第１実施形態の線形変換の処理を実行するハードウェア構成を示す図である。 図３の構成で１画素クロック毎に演算を行うときの論理表を示す図である。 第２実施形態における歪み補正、色補間処理の概念図である。 第２実施形態の線形変換の処理を実行するハードウェア構成を示す図である。 図６の構成で１画素クロック毎に演算を行うときの論理表（その１）を示す図である。 図６の構成で１画素クロック毎に演算を行うときの論理表（その２）を示す図である。

符号の説明

１００…撮像装置、１１０…結像光学系、１２０…撮像デバイス、１２２…光電変換素子、１２４…読み出し制御部、１３２…領域設定部、１３４…読み出し規則設定部、１４０…歪み補正部、１４２…フィルタ処理部、１４４…フィルタ係数設定部、１４６…ＬＵＴ記憶部、１４８…フィルタ係数選択図。

Claims (6)

1. 光学系により結像された画像を光電変換する撮像素子と、前記撮像素子に関して配置され、繰り返しの配列規則を有するカラーフィルタアレイとを備えた撮像装置であって、
   前記撮像素子の光電変換信号をサンプリングし、前記カラーフィルタアレイの各チャンネルの輝度情報と、前記サンプリングした位置の情報とを画像データとして取得するものであり、
   前記撮像素子から画像データを読み出すにあたって、読み出された画像データのチャンネルの配列が前記カラーフィルタアレイの繰り返しの配列規則とは異なるように読み出し動作を制御する読み出し制御手段と、
   前記撮像素子から読み出された画像データの歪みを補正する歪み補正手段と、
   を具備し、
   前記歪み補正手段は、前記歪み補正が行われた画像データにおけるチャンネルの配列規則が、前記カラーフィルタアレイの繰り返しの配列規則と等しくなるように歪み補正を行うことを特徴とする撮像装置。
2. 前記歪み補正手段による歪み補正処理は、欠落した画素を推定する演算と、画素数を変換する演算とを線形演算により行う処理であることを特徴とする請求項１記載の撮像装置。
3. 前記欠落画素を推定する演算は、前記カラーフィルタアレイの各チャンネルの輝度レベルの相関関係に基づいて、欠落した画素の輝度レベルを推定する演算であることを特徴とする請求項２記載の撮像装置。
4. 前記欠落画素を推定する演算は、前記カラーフィルタアレイの各チャンネルの輝度レベルの比例関係に基づいて、欠落した画素の輝度レベルを推定する演算であることを特徴とする請求項２記載の撮像装置。
5. 前記欠落画素を推定する演算は、前記カラーフィルタアレイの各チャンネルの輝度レベルの差分関係に基づいて、欠落した画素の輝度レベルを推定する演算であることを特徴とする請求項２記載の撮像装置。
6. 前記歪み補正手段は、歪み補正処理に加えて、色補間処理を行うことを特徴とする請求項１〜５のいずれか１つに記載の撮像装置。

Images