JP2010074826A - 撮像装置および画像処理プログラム - Google Patents

Abstract

【課題】歪曲補正や画像の縮小・拡大処理等の所定の処理を施した後のＲＡＷデータを生成できる撮像装置を提供する。
【解決手段】撮像装置は、光学信号を電気信号に変換して第１の色配置パターン（例えばベイヤ配列）の画像データを生成する撮像素子１０２と、その画像データについて、色配置パターンを第１の色配置パターンから第２の色配置パターンに変換する色配置変換手段１０７と、色配置変換手段で変換された画像データに所定の処理（拡大、歪曲補正等）を施す画像処理手段１０６と、画像処理手段１０６で処理された画像データについて、色配置パターンを第２の色配置パターンから第１の色配置パターンに戻す色配置逆変換手段１０７と、を備える。
【選択図】図１

Description

本発明は、デジタルスチルカメラ等の撮像装置に関し、特に撮像素子が生成する画像データに基づき生成されたＲＡＷデータを記録媒体に記録可能な撮像装置に関する。

単板の撮像素子を用いる、デジタルスチルカメラ等のデジタル撮像装置において、撮像素子を構成する各画素の前面（被写体側）には、複数種類の色フィルタのいずれか１つが配置される。

図８は、色フィルタの色配置パターンを示す図である。Ｒは赤、Ｇは緑、Ｂは青の色フィルタをそれぞれ示している。図８（ａ）は、Ｇを千鳥配置とし、その空き位置にＲとＢを配したいわゆる「ベイヤ配列」と呼ばれる色フィルタの色配置パターンを示す図である。図８（ｂ）は、Ｇをストライプ状に配置し、空き列にＲとＢを配した色フィルタの色配置パターンを示す図である。図８（ｃ）は、ＲとＢを取り囲むようにＧをハニカム状に配した色フィルタの色配置パターンを示す図である。

図８（ａ）〜（ｃ）に原色フィルタについての色配置パターンを示したが、図８（ｄ）、（ｅ）に示すように補色フィルタについても様々な色配置パターンが提案されている。図８（ｄ）、（ｅ）において、Ｃはシアン、Ｙは黄、Ｍはマゼンタ、Ｇは緑の色フィルタをそれぞれ示している。以下の説明では、色フィルタとして原色フィルタを用いた場合について説明する。

色フィルタが前面に配された撮像素子から出力された画像データは、一般に「ＲＡＷデータ」と呼ばれる。ＲＡＷデータは、撮像素子を構成する各画素の画素位置に対応した画像データである。したがって、原色フィルタの場合は、各画素の画素位置には、Ｒ、Ｇ、Ｂのいずれかの色フィルタに対応した色の画素データのみが存在する。

そのため、各画素位置において、画素に配されていない色フィルタに対応した色の画素データ（画素値）を、周辺画素の画素データ（画素値）を補間して求める。例えば、Ｇの色フィルタが配された画素の画像データに、ＲとＢの色フィルタが配された周辺画素の画像データから、ＲとＢに対応する色の画像データを補間する。このようにして、各画素の画素位置に、Ｒ、Ｇ、Ｂのすべての色に対応した画像データが得られる。

特許文献１は、以上のように、ある画素に配されていない色フィルタに対応した色の画素データを、周辺画素の画素データから補間する技術を開示する。

特許第３８６２５０６号公報

近時、デジタルスチルカメラ等のデジタル撮像装置のデータを記録する記録媒体の容量が飛躍的に増大するに伴って、ＪＰＥＧデータのみならず、ＲＡＷデータをも記録媒体に記録したいという要望が高まっている。ＲＡＷデータを記録しておけば、パーソナルコンピュータの画像処理ソフトウェアを使用して、ＪＰＥＧデータでは行なえない様々な加工を繰り返し行なうことができる。このような画像処理ソフトウェアは、一般に「現像ソフト」と呼ばれている。

ＪＰＥＧデータを記録する場合、ある画素に配されていない色フィルタに対応した色の画像データを周辺画素の画像データから補間して得られた画像データに対して、ＹＣ分離を行ってＹＣデータを生成する。次に、ＹＣデータに対して各種補正処理を行なった後に、ＪＰＥＧ圧縮してＪＰＥＧデータを生成する。

一方、ＲＡＷデータを記録する場合においても、記録する前にＲＡＷデータの補正を行いたい場合がある。例えば、撮像光学系に不可避的に存在する歪曲等の収差は、画像処理ソフトウェアで補正することが困難である。このため、撮像素子からのデータをＲＡＷデータとして記録する前に、歪曲等に対する補正を行っておくことが望ましい。このような補正は、画像データを部分的に拡大・縮小することによって行なうが、一般にＲＡＷデータにおいては、１つの画素位置では１つの色の画素データしか存在しない。よって、従来、ＲＡＷデータにおいて、歪曲等に対する補正のために画像データを部分的に拡大・縮小することは不可能であった。

また、現像ソフトで画像処理を行うときに、大きなサイズのＲＡＷデータは不要であり、小さなサイズのＲＡＷデータで十分である場合に、縮小したＲＡＷデータの記録ができれば、記録媒体に記録できるＲＡＷデータの数を増やすことができるとともに、ＲＡＷデータの記録に要する処理時間も短縮することができる。

本発明は、歪曲補正や画像の縮小・拡大処理等の所定の処理を施した後のＲＡＷデータを生成することができる撮像装置を提供することを目的とする。

本発明に係る撮像装置は、光学信号を電気信号に変換して第１の色配置パターンの画像データを生成する撮像素子と、画像データについて、色配置パターンを第１の色配置パターンから第２の色配置パターンに変換する色配置変換手段と、色配置変換手段で変換された画像データに所定の処理を施す画像処理手段と、画像処理手段で処理された画像データについて、色配置パターンを第２の色配置パターンから第１の色配置パターンに戻す色配置逆変換手段と、を備える。

本発明に係る画像処理プログラムは、コンピュータを、第１の色配置パターンの画像データを入力する画像データ入力手段と、画像データについて、色配置パターンを第１の色配置パターンから第２の色配置パターンに変換する色配置変換手段と、色配置変換手段で変換された画像データに補正データに基づいて所定の処理を施す画像処理手段と、画像処理手段で処理された画像データについて、色配置パターンを第２の色配置パターンから第１の色配置パターンに戻す色配置逆変換手段として機能させるプログラムである。

本発明によれば、撮像素子からの画像データを、その色配置パターン（第１の色配置パターン）と異なる色配置パターン（第２の色配置パターン）へ変換し、その変換後の画像データに対して所定の処理（歪曲補正、縮小、拡大等）を施し、所定の処理後の画像データを再度第２の色配置パターンから第１の色配置パターンに変換する。これにより、歪曲補正や画像の縮小・拡大処理等の所定の処理を施した後のＲＡＷデータを生成できる。

撮像装置の一実施形態であるデジタルスチルカメラの構成を示すブロック図 歪曲収差を説明する概念図 ＲＡＷデータの記録動作のフローチャート 色配置変換／逆変換部における色配置変換処理、画像処理部における画像処理、及び色配置変換／逆変換部における色配置逆変換処理の流れを説明する概念図 Ｇの画素データの内挿処理を説明する概念図 Ｇの画素データの内挿回路例を示す図 画素密度による解像度の変化を示す概念図 （ａ）〜（ｃ）原色フィルタの色配置パターンを示す図、（ｄ）〜（ｅ）補色フィルタの色配置パターンを示す図

以下、添付の図面を参照して本発明の実施の形態を説明する。

１ デジタルスチルカメラの構成
図１に、本発明の撮像装置の一実施形態であるデジタルスチルカメラの構成を示すブロック図を示す。本実施形態のデジタルスチルカメラ１００は、撮像した画像データを、ＪＰＥＧデータとして記録することができるとともに、ＲＡＷデータとしても記録することができる。ＪＰＥＧデータやＲＡＷデータはメモリカード等の着脱可能な記録媒体１１２に記録される。

デジタルスチルカメラ１００は、撮像光学系１０１と、撮像光学系１０１の動作を制御する撮像光学系制御部１０９と、撮像光学系１０１を介して得られる光学信号を電気信号に変換する撮像素子１０２と、撮像素子１０２からのアナログ信号をデジタル信号に変換するＡ／Ｄ変換器１０３と、Ａ／Ｄ変換器１０３からのデジタル信号に所定の処理を施して画像データを作成し、記録媒体１１２に記録可能な画像処理ＬＳＩ１２０とを備える。デジタルスチルカメラ１００は、画像処理ＬＳＩ１２０が作業用領域として使用する作業メモリ１１１と、画像の補正に必要な情報を記憶する補正データ記憶部１１０とをさらに備える。

画像処理ＬＳＩ１２０は、前処理を実施する前処理部１０４と、ＪＰＥＧデータを生成するＪＰＥＧ生成部１１３と、補正データを生成する補正情報演算部１０５と、所定の画像処理を実施する画像処理部１０６と、画像の色配置変換等の処理を実行する色配置変換／逆変換部１０７とを含む。

撮像素子１０２は、受光面上に配置された複数の画素を有し、撮像光学系１０１によって受光面上に結像された像を各画素で電気信号に変換する光電変換素子である。撮像素子１０２として、例えばＣＣＤイメージセンサやＣＭＯＳイメージセンサ等を広く用いることができる。

ＣＣＤイメージセンサやＣＭＯＳイメージセンサ等の光電変換素子は、赤外線領域に高い感度を有している。そこで、一般的には、光電変換素子の前面に赤外線カットガラスや赤外線カットフィルタ等の赤外線除去手段を取り付けることによって、赤外線が光電変換素子に入射するのを防ぎ、人間の目の感度特性に合わせるように設計される。なお、図１では、赤外線除去手段は省略されている。

撮像素子１０２を構成する全ての画素の前面には、Ｒ、Ｇ、Ｂのいずれかの色の色フィルタ１０２ｂが配されている。各色フィルタ１０２ｂは、例えば、図８（ａ）に示すベイヤ配列のように規則正しく配置されている。なお、撮像素子１０２を構成する全ての画素の前面に配される色フィルタ１０２ｂの配置パターンが第１の色配置パターンであり、ベイヤ配列はその一例である。色フィルタ１０２ｂは補色フィルタであっても構わない。

撮像光学系１０１を介して入射した光は、赤外線除去手段やＲ、Ｇ、Ｂの各色の色フィルタ１０２ｂを通して撮像素子１０２上に結像され、Ｒ、Ｇ、Ｂの光の強さに応じた画像データに変換される。

前処理部１０４は、撮像素子１０２が出力する画像データをＡ／Ｄ変換器１０３でデジタル値に変換することで生成された画像データを、メモリ制御部１０８を経由して、作業メモリ１１１に書き込む。

その後、前処理部１０４は、画像データを、メモリ制御部１０８を経由して作業メモリ１１１から順次読み出して、ゲイン調整、ガンマ補正等の前処理を施す。前処理が施された画像データは、メモリ制御部１０８を経由して、作業メモリ１１１に再度書き込まれる。

補正データ記憶部１１０は、撮像素子１０２から出力された画像データに対して実施される所定の処理に必要な情報を格納している。この処理には、例えば、撮像光学系１０１の焦点距離と像高に対応したＲ、Ｇ、Ｂごとの歪曲収差に対する補正や色収差に対する補正（すなわち光学系の光学特性に基づく補正）又は画像の拡大、縮小処理が含まれる。

ここで、歪曲収差と色収差について説明する。歪曲収差とは、光学系の周辺部に発生する画像の歪みである。図２は歪曲収差を説明した概念図である。図２（ａ）、（ｂ）ともに、実線で示した長方形が本来の被写体の形状であり、破線で示した図形が実際に撮像素子１０２に結像した被写体の形状である。図２（ａ）は一般に樽型歪（樽型ディストーション）と呼ばれる現象を示し、図２（ｂ）は一般に糸巻型歪（糸巻型ディストーション）と呼ばれる現象を示している。歪曲収差は撮像光学系１０１の設計により可能な限り除去すべきではあるが、撮像光学系１０１の大きさや価格との均衡を図るため、一定程度の歪曲収差は許容される。撮像光学系１０１で除去できなかった歪曲収差は、画像処理によって補正することができる。図２（ａ）、（ｂ）の矢印は歪曲収差補正の概念を示している。

色収差とは、光の屈折率が波長によって異なることに起因して発生する色にじみのことをいう。色収差も歪曲収差と同様に撮像光学系１０１で除去することが望ましいが、画像処理によって補正することもできる。画像処理によって補正する場合は、Ｒ、Ｇ、Ｂの各色フィルタに対応する画素毎に、画素データの位置を移動すればよい。

ＪＰＥＧ生成部１１３は、前処理が施されて作業メモリ１１１に書き込まれた画像データからＪＰＥＧデータを生成し、記録媒体１１２に記録する。

画像処理部１０６は、前処理が施されて作業メモリ１１１に書き込まれた画像データに対して、所定の処理を実施しＲＡＷデータを生成し、記録媒体１１２に記録する。その際、画像処理部１０６は、補正データ記憶部１１０からの補正データを参照し、前処理後の画像データに対して所定の処理を実行できる。

２ デジタルスチルカメラの動作
２．１ ＪＰＥＧデータの記録
最初に、デジタルスチルカメラ１００のＪＰＥＧデータを記録する場合の動作について説明する。ＪＰＥＧ生成部１１３は、前処理が施された画像データを、メモリ制御部１０８を経由して、作業メモリ１１１から順次読み出す。ＪＰＥＧ生成部１１３は、各画素について、その画素に配されていない色フィルタの色の画素データを周辺画素の画素データから補間する。例えば、Ｇの色フィルタが配された画素にはＲ、Ｂの色フィルタは配されていないので、Ｇの色フィルタが配された画素に対するＲ、Ｂの画素データを、Ｒ、Ｂの色フィルタが配された周辺画素の画素データから補間する。このようにして、すべての画素はＲ、Ｇ、Ｂの各色に対する画素データを有する。ＪＰＥＧ生成部１１３は、Ｒ、Ｇ、Ｂの画素データを有する画像データに対してＹＣ分離を行って、ＹＣデータを生成する。さらに、ＪＰＥＧ生成部１１３は、ＹＣデータに対して各種補正処理を行なった後に、ＪＰＥＧ圧縮してＪＰＥＧデータを生成する。生成されたＪＰＥＧデータは、メモリ制御部１０８を経由して、記録媒体１１２に記録される。

２．２ ＲＡＷデータの記録
デジタルスチルカメラ１００のＲＡＷデータを記録する場合の動作について説明する。本実施形態では、撮像素子１０２で生成された第１の色配置パターンを有する画像データを第２の色配置パターンに変換し、その第２の色配置パターンの画像データに対して所定の処理を施す。その後、所定の処理が施された第２の色配置パターンの画像データを、第１の色配置パターンの画像データに変換する。そして、そのようにして得られた所定処理後の第１の色配置パターンの画像データをＲＡＷデータとして記録媒体１１２に記録する。

具体的には、色配置変換／逆変換部１０７は、メモリ制御部１０８を経由して、作業メモリ１１１から、前処理が施された画像データを順次読み出し、その画像データの色配置パターン（第１の色配置パターン）を別の色配置パターン（第２の色配置パターン）に変換する。

そして、画像処理部１０６は、第２の色配置パターンの画像データに所定の処理を施す。色配置変換／逆変換部１０７は、所定の処理後の第２の色配置パターンを有する画像データを再度第１の色配置パターンに逆変換し、得られた第１の色配置パターンの画像データをＲＡＷデータとして記録媒体１１２に記録する。

図３及び図４を参照して、色配置変換／逆変換部１０７における色配置変換処理と、画像処理部１０６における画像処理と、色配置変換／逆変換部１０７における色配置逆変換処理の流れを説明する。なお、図４は、画像処理部１０６が実行する所定の処理として、画像の拡大処理を実施した場合の色配置パターンの変換処理を説明した図である。

撮像素子１０２で撮像された画像データは前処理後、作業メモリ１１に格納される。色配置変換／逆変換部１０７は、作業メモリ１１から前処理後の画像データを読み出す（Ｓ１１）。図４（ａ）は、作業メモリ１１１から読み出された、前処理が施された画像データを示しており、この画像データはベイヤ配列（第１の色配置パターン）を有している。続いて、色配置変換／逆変換部１０７は、図４（ａ）に示すような画像データから、Ｇ、Ｒ、Ｂの各色について、Ｇ、Ｒ、Ｂの各色フィルタが配された画素位置の画素データを分離して抽出する（Ｓ１２）。図４（ｂ）は、図４（ａ）に示す第１の色配置パターンを有する画像データから抽出した、Ｇの色フィルタが配された画素位置の画素データを示した図である。同様に、図４（ｃ）、（ｄ）はそれぞれ、図４（ａ）に示す第１の色配置パターンを有する画像データから抽出した、Ｒ、Ｂの色フィルタが配された画素位置の画素データを示した図である。

そして、色配置変換／逆変換部１０７は、Ｇの色の画素データ（図４（ｂ）参照）について、Ｇの色フィルタが配されていない画素位置（すなわち、Ｒ、Ｂの色フィルタが配された画素位置）におけるＧの画素データ（画素値）を、周辺の画素の値を内挿して求める（Ｓ１３）。すなわち、Ｇの色について、全画素位置について画素データ（画素値）を有する画像データを求める。人間の目は緑色（Ｇ）に高い感度を有するため、緑色（Ｇ）の解像度を高めている。図４（ｅ）は、このようにして求められた、全画素位置にＧの色の画素値を有する画像データを示す。なお、ここでは、各画素に固有の光の強度信号を画素データと呼ぶ。画像データは複数の画素データから構成される。

次に、画像処理部１０６は、図４（ｅ）、（ｃ）、（ｄ）に示す各色の画像データに対して所定の処理を行う（Ｓ１４）。ここでは、所定の処理として拡大ズーム処理を実行する。すなわち、画像処理部１０６は、補正情報演算部１０５から拡大処理のための補正データを入力し、この補正データに基づいて、図４（ｅ）、（ｃ）、（ｄ）に示す各色の画像データを拡大処理し、その結果、図４（ｆ）、（ｇ）、（ｈ）に示すような画像データを得る。

その後、色配置変換／逆変換部１０７は、図４（ｆ）、（ｇ）、（ｈ）に示すＧ、Ｒ、Ｂの各色のデータをベイヤ配列（第１の色配置パターン）で配置して、図４（ｉ）に示すような画像データを生成し、生成した画像データを、メモリ制御部１０８を経由して作業メモリ１１１に書き戻す（Ｓ１５）。

図４（ｃ）、（ｄ）、（ｅ）を合わせた画像データの色配置は、第２の色配置パターンの一例である。このように、本実施形態では、撮像素子１０２で生成された第１の色配置パターンを有する画像データから、第２の色配置パターンを有する、Ｒ、Ｇ、Ｂ各色の画像データを生成する。そして、特に、Ｇの画像データについては、全画素について画素値が求められる。その後、第２の色配置パターンを有する画像データに対して、所定の処理を実施し、所定の処理後のデータを、第１の色配置パターン（すなわちベイヤ配列）で１つの画像データ中に配置する。

図４（ｉ）は、逆変換されて第１の色配置パターンすなわちベイヤ配列に戻された画像データを示した図である。逆変換は、図４（ｆ）に示すＲの画素データがあるべき位置に図４（ｇ）の画素データを、図４（ｆ）に示すＢの画素データがあるべき位置に図４（ｈ）の画素データをそれぞれ埋め込むことによって行なう。逆変換によって生成されたベイヤ配列の画像データは、画像処理部１０６により、ＲＡＷデータとして、メモリ制御部１０８を経由して、着脱可能な記録媒体１１２に記録される（Ｓ１６）。

２．２．１ Ｇの画素データの内挿処理
色配置変換／逆変換部１０７による、図４（ｂ）に示す画像データから図４（ｅ）に示す画像データを得るための、Ｇの画素データの内挿処理について、図５を参照して説明する。

ＲまたはＢの色フィルタが配された画素について、その画素の上下方向に画素データの相関が認められる場合、図５（ａ）に示すように、その画素の上下のＧの色フィルタが配された画素の画素データに基づいて、ＲまたはＢの色フィルタが配された画素の画素位置にＧの画素データを内挿する。ＲまたはＢの色フィルタが配された画素の画素位置において、その左右方向に画素の画素データに相関が認められる場合は、図５（ｂ）に示すように、その画素の左右のＧの色フィルタが配された画素の画素データに基づいて、ＲまたはＢの色フィルタが配された画素の画素位置にＧの画素データを内挿する。また、ＲまたはＢの色フィルタが配された画素の画素位置において、その上下または左右のＧの色フィルタが配された画素の画素データのいずれにも相関が認められない場合は、図５（ｃ）に示すように、その上下左右のＧの色フィルタが配された画素の画素データに基づいて、ＲまたはＢの色フィルタが配された画素の画素位置にＧの画素データを内挿する。

図６は、色配置変換／逆変換部１０７に含まれる、画素データの内挿回路の構成例を示した図である。内挿回路に画素データが順次入力される。方向判別回路６０８は、垂直ＢＰＦ６０３の出力と水平ＢＰＦ６０４の出力とから、方向判別信号をセレクタ６１２に出力する。垂直ＢＰＦ６０３の出力が大きい場合は、上下方向に相関が認められ、水平ＢＰＦ６０４の出力が大きい場合は、左右方向に相関が認められる。

垂直ＨＰＦ６０１と水平ＨＰＦ６０２の出力は、それぞれＮＲ回路６０６、６０７でノイズ除去された後に、誤判別防止回路６１０、６１１に入力される。誤判別防止回路６１０は、ＮＲ回路６０６でノイズ除去された垂直ＨＰＦ６０１の出力と、垂直ＢＰＦ６０３の出力とを比較して、絶対値のより小さい方をセレクタ６１２に出力する。他の誤判別防止回路６１１も同様に、ＮＲ回路６０７でノイズ除去された水平ＨＰＦ６０２の出力と、水平ＢＰＦ６０４の出力とを比較して、絶対値のより小さい方をセレクタ６１２に出力する。このようにするのは、垂直ＢＰＦ６０３や水平ＢＰＦ６０４の出力が、垂直ＨＰＦ６０１や水平ＨＰＦ６０２の出力と比較して十分大きな値でないときは、相関の信頼性が低いと考えられるからである。なお、この比較を適切に行うために、垂直ＢＰＦ６０３と水平ＢＰＦ６０４の出力にはゲイン調整回路６０９が設けられている。

これによって、たとえ方向判別回路６０８が垂直または水平のいずれかの方向判別信号をセレクタ６１２に出力したとしても、相関の信頼性が低い場合は、垂直ＨＰＦ６０１や水平ＨＰＦ６０２の出力ではなく、より小さい垂直ＢＰＦ６０３や水平ＢＰＦ６０４の出力が選択される。セレクタ６１２から出力された画素データは、ＬＰＦ６０５の出力と加算されて出力される。

このようにして、図４（ｅ）に示すような、Ｒ、Ｂの色フィルタが配された画素の画素位置に、Ｇの画素データが内挿された状態の画像データが得られる。

図７は、画素密度に応じた解像度の変化を説明した図である。図７において、上段は画素密度を示す概念図であり、下段は空間周波数の分布を示すグラフである。図７（ａ）は、全画素位置に画素データが存在する状態を示した図である。図７（ｂ）は、ベイヤ配列のＲやＢのように、画素データが存在する状態を示した図である。図７（ｂ）では、図７（ａ）と比較して水平・垂直方向ともに空間周波数が１／２となる。図７（ｃ）は、ベイヤ配列のＧのように画素データが存在する状態を示した図である。図７（ｃ）では、図７（ａ）と比較して斜め方向の空間周波数が１／２となる。ＲＡＷデータに拡大・縮小等の処理を行う場合、色再現性等に影響を与えないようにするために、各色別に処理をすることが望ましい。しかし、前述のように水平・垂直・斜め方向に空間周波数が低く制限された信号に対して拡大・縮小の補間処理をしてしまうと、補間処理演算によって大きな解像度劣化が発生してしまう。そこで、Ｇについては周囲画素の相関性を見て画素データの内挿処理を行ない、解像度を高めた後に、拡大・縮小ズーム処理を行っている。

２．２．２ 所定の処理の他の例（歪曲補正、縮小処理）
図４の例では、画像処理部１０６が実行する所定の処理として、画像の拡大処理を実行した例を説明したが、所定の処理はこれに限られない。所定の処理として、歪曲収差や色収差のような収差の補正を行っても良い。収差の補正は画像データを部分的に拡大・縮小することによって行なわれる。

所定の処理として、歪曲収差等の収差の補正を行なう場合、各画素の画素位置に対する移動量は補正情報演算部１０５から送られた補正データに基づいて算出される。

具体的には、画像撮影時において、撮像光学系制御部１０９は、撮影時の撮像光学系１０１の情報、例えば、焦点距離、絞り値、被写体距離等を補正情報演算部１０５に送信する。

補正データ記憶部１１０には、撮像素子１０２で撮像された画像データを補正するための情報が含まれている。補正情報演算部１０５は、補正データ記憶部１１０から撮影時の撮像光学系１０１の情報に対応する補正データを抽出する。補正データは、例えば、撮像光学系１０１の焦点距離と像高に対応したＲ、Ｇ、Ｂごとの歪曲収差補正量や色収差補正量等を含む。すなわち、補正データは、撮像光学系１０１の設計データを用いて光学シミュレーション等により求めることができる。なお、補正データ記憶部１１０に、撮影時の撮像光学系１０１の情報に対応する補正データが記憶されていない場合は、既知のデータを補間して補正データを得ることによって、撮影時の補正データを算出する。補正情報演算部１０５は、抽出または算出された補正データを画像処理部１０６に送る。

画像処理部１０６は、補正情報演算部１０５から送られた補正データに基き、図４（ｅ）、（ｃ）、（ｄ）に示す画像データに対して収差の補正を行ない、補正後の第２の色配置パターンを有する画像データを作業メモリ１１１に書き込む。その後、色配置変換／逆変換部１０７は、作業メモリ１１１から画像データを順次読み出して、色配置パターンを第２の色配置パターンから第１の色配置パターンに逆変換する。

また、所定の処理として、ＲＡＷデータのサイズを小さくするための、単純な縮小処理を行なうことも考えられる。画像処理部１０６は、このような所定の処理が施された、第２の色配置パターンを有する画像データを、作業メモリ１１１に書き込む。その後、色配置変換／逆変換部１０７は、作業メモリ１１１から画像データを順次読み出して、色配置パターンを第２の色配置パターンから第１の色配置パターンに逆変換する。

なお、画像処理部１０６は、図４（ｅ）、（ｃ）、（ｄ）に示す画像データに対して、所定の処理として、複数の処理を組み合わせて行っても良い。例えば、図４に示した画像の拡大処理と収差の補正処理とを同時に行っても良い。

３ その他
以上の構成において、前処理部１０４、補正情報演算部１０５、画像処理部１０６、色配置変換／逆変換部１０７、及びメモリ制御部１０８は、単一のＬＳＩ１２０内に設けられる構成としたが、本構成に限定されるものではない。また、色配置変換／逆変換部１０７は、一体の回路としたが、別々の回路であってももちろん構わない。

以上説明したデジタルスチルカメラの機能は、コンピュータの画像処理プログラムに対しても適用できる。このとき、補正データは外部から入力する必要がある。

本発明によれば、撮像素子からの画像データを、その色配置パターン（第１の色配置パターン）と異なる色配置パターン（第２の色配置パターン）へ変換し、その変換後の画像データに対して、所定の処理（歪曲補正、縮小、拡大等）を施し、所定の処理後の画像データを再度第２の色配置パターンから第１の色配置パターンに変換する。これにより、歪曲補正や画像の縮小・拡大処理等の所定の処理を施した後のＲＡＷデータを生成できる。よって、本発明は、撮像素子を用いて撮像した画像データを記録可能なデジタルスチルカメラ等の撮像装置および画像処理プログラムに適用できる。

１０１ 撮像光学系
１０２ 撮像素子
１０２ｂ 色フィルタ
１０３ Ａ／Ｄ変換器
１０４ 前処理部
１０５ 補正情報演算部
１０６ 画像処理部
１０７ 色配置変換／逆変換部
１０８ メモリ制御部
１０９ 撮像光学系制御部
１１０ 補正データ記憶部
１１１ 作業メモリ
１１２ 記録媒体
１１３ ＪＰＥＧ生成部
１２０ 画像処理ＬＳＩ

Claims (16)

1. 光学信号を電気信号に変換して第１の色配置パターンの画像データを生成する撮像素子と、
   前記画像データについて、色配置パターンを第１の色配置パターンから第２の色配置パターンに変換する色配置変換手段と、
   前記色配置変換手段で変換された画像データに所定の処理を施す画像処理手段と、
   前記画像処理手段で処理された画像データについて、色配置パターンを第２の色配置パターンから第１の色配置パターンに戻す色配置逆変換手段と、
   を備える撮像装置。
2. 前記撮像素子の前面に配された、複数の色を含む色フィルタをさらに備え、
   前記第１の色配置パターンは、前記色フィルタの配列のパターンである、ことを特徴とする請求項１に記載の撮像装置。
3. 前記色配置変換手段は、前記画像データについて、色配置パターンを第１の色配置パターンから第２の色配置パターンに変換するときに、所定の色について画像データの全画素に対して画素値が得られるように、所定の色以外の色の色フィルタが配された画素の画素値を補間処理で求める、ことを特徴とする請求項２に記載の撮像装置。
4. 前記所定の色は緑色である、ことを特徴とする請求項３に記載の撮像装置。
5. 前記第１の色配置パターンの画像データに対する補正情報を出力する補正情報演算手段をさらに備え、
   前記画像処理手段は、前記補正情報に基づいて前記色配置変換手段で変換された画像データに所定の処理を施す、ことを特徴とする請求項１に記載の撮像装置。
6. 前記所定の処理は画素位置の変更を伴う処理である、ことを特徴とする請求項５に記載の撮像装置。
7. 前記所定の処理は、前記第１の色配置パターンの画像データに含まれる歪曲収差および／または色収差を補正するための処理である、ことを特徴とする請求項５に記載の撮像装置。
8. 前記色配置逆変換手段によって色配置パターンが第２の色配置パターンから第１の色配置パターンに戻された画像データを記録媒体に記録する記録手段をさらに備えた、ことを特徴とする請求項１に記載の撮像装置。
9. コンピュータを
   第１の色配置パターンの画像データを入力する画像データ入力手段と、
   前記画像データについて、色配置パターンを第１の色配置パターンから第２の色配置パターンに変換する色配置変換手段と、
   前記色配置変換手段で変換された画像データに所定の処理を施す画像処理手段と、
   前記画像処理手段で処理された画像データについて、色配置パターンを第２の色配置パターンから第１の色配置パターンに戻す色配置逆変換手段と、
   して機能させる、
   画像処理プログラム。
10. 前記画像データは撮像素子により生成され、前記撮像素子の前面には複数の色を含む色フィルタが配され、
    前記第１の色配置パターンは、前記色フィルタの配列のパターンである、ことを特徴とする請求項９に記載の画像処理プログラム。
11. 前記色配置変換手段は、前記画像データについて、色配置パターンを第１の色配置パターンから第２の色配置パターンに変換するときに、所定の色について画像データの全画素に対して画素値が得られるように、所定の色以外の色の色フィルタが配された画素の画素値を補間処理で求める、ことを特徴とする請求項１０に記載の画像処理プログラム。
12. 前記所定の色は緑色である、ことを特徴とする請求項１１に記載の画像処理プログラム。
13. さらに、コンピュータを、前記第１の色配置パターンの画像データに対する補正情報を出力する補正情報演算手段として機能させ、
    前記画像処理手段は、前記補正情報に基づいて前記色配置変換手段で変換された画像データに所定の処理を施す、ことを特徴とする請求項１０に記載の画像処理プログラム。
14. 前記所定の処理は画素位置の変更を伴う処理である、ことを特徴とする請求項１３に記載の画像処理プログラム。
15. 前記所定の処理は、前記第１の色配置パターンの画像データに含まれる歪曲収差および／または色収差を補正するための処理である、ことを特徴とする請求項１３に記載の画像処理プログラム。
16. さらに、コンピュータを、前記色配置逆変換手段によって色配置パターンが第２の色配置パターンから第１の色配置パターンに戻された画像データを記録媒体に記録する記録手段として機能させる、ことを特徴とする請求項９に記載の画像処理プログラム。

Images