JP2012129927A - 撮像装置 - Google Patents

Abstract

【課題】多板式で撮影されたカラー画像を間引き処理する際にジャギーの軽減や解像感の向上を図る為、多板式で撮像された画像に対し、単板式で使用されている色配列に対する画像処理を適用させる。
【解決手段】複数の色成分に分解された被写体光を各色成分毎に同じ画素配置の画像を撮像する前記色成分数に対応する数の撮像部と、前記撮像部が撮像した前記各色成分に対応する複数の画像から互いに重複しない位置の画素を読み出して予め設定された色配列の画像を生成する間引き補間部と、前記間引き補間部が生成した色配列の画像に前記色配列特有の画像処理を施してカラー画像を生成する画像処理部と、前記画像処理部が画像処理したカラー画像を記憶媒体に保存する記録部とを有する。
【選択図】図１

Description

本発明は、カラー画像を撮像する撮像装置に関する。

一般的な撮像装置では、被写体光をＲＧＢの３つの色成分に分解してカラー画像を撮像する。撮像素子の種類は、１つの撮像素子にＲＧＢの各色成分に対応する画素を有する単板式と、３つの撮像素子でＲＧＢの各色成分毎に撮像する多板式とがある。単板式の場合、例えばベイヤー配列などの特定のＲＧＢ画素配列方法が用いられ、色補間処理など様々な優れた画像処理技術が確立されている。

一方、処理速度が十分ではない多板式の撮像装置で動画撮影を行う場合、撮像素子から読み出す時間が短くなるように間引き処理を行わなければならなかった。ところが、単純な間引き処理では画質が劣化するため、平均化などの画像処理が行われていた（例えば特許文献１参照）。

特開２００８−０４２９３７号公報

従来技術の場合は、３板撮像系で撮像した３つの画像に共通する位置の画素情報が含まれるため、輝度モアレには効果があるもののジャギーや解像感などの点で問題があった。さらに、従来技術ではベイヤー配列など既存の色配列に対応していないため、単板式で確立された優れた色補間処理などの画像処理を適用できないという問題があり、この点においてもジャギーの軽減や解像感の向上を図ることができなかった。

本発明の目的は、多板式で撮影されたカラー画像を間引き処理する場合でもジャギーの軽減や解像感の向上を図ることができる撮像装置を提供することである。

本発明に係る撮像装置は、複数の色成分に分解された被写体光を各色成分毎に同じ画素配置の画像を撮像する前記色成分数に対応する数の撮像部と、前記撮像部が撮像した前記各色成分に対応する複数の画像から互いに重複しない位置の画素を読み出して予め設定された色配列の画像を生成する間引き補間部と、前記間引き補間部が生成した色配列の画像に前記色配列特有の画像処理を施してカラー画像を生成する画像処理部と、前記画像処理部が画像処理したカラー画像を記憶媒体に保存する記録部とを有することを特徴とする。

本発明に係る撮像装置は、多板式で撮像された画像に対し、単板式で使用されている色配列に対する画像処理を適用させることができる。

実施形態に係る電子カメラ１０１の構成例を示す図である。 全画素読み出しの例を示す図である。 間引き読み出しの例を示す図である。 ベイヤー配列と色補間処理の例を示す図である。 ハニカム配列の例を示す図である。 実施形態に係る電子カメラ１０１の撮影時の処理を示すフローチャートである。 実施形態に係る電子カメラ１０１の撮影時の処理を示すその他のフローチャートである。 実施形態に係る電子カメラ１０１−１の構成例を示す図である。 実施形態に係る電子カメラ１０１−２の構成例を示す図である。 実施形態に係る電子カメラ１０１−３の構成例を示す図である。 間引き読み出しの画素位置の例（１）を示す図である。 間引き読み出しの画素位置の例（２）を示す図である。 間引き読み出しの画素位置の例（３）を示す図である。 間引き読み出しの画素位置の例（４）を示す図である。

以下、本発明に係る撮像装置の実施形態について図面を用いて詳しく説明する。ここでは、本発明に係る撮像装置を電子カメラ１０１に適用する例について説明するが、カメラ付携帯電話，ビデオカメラおよびカメラ付ゲーム機などの撮像機能を有する装置であれば同様に適用可能である。

［電子カメラ１０１の一例］
図１は、電子カメラ１０１の一例を示すブロック図である。図１において、電子カメラ１０１は、レンズ１０２と、メカニカルシャッタ１０３と、分光部１０４と、撮像素子１０５と、ＴＧ（タイミングジェネレータ）１０６と、バッファ１０７と、信号処理部１０８と、制御部１０９と、表示部１１０と、メモリカード１１１ａを装着するためのメモリカードＩＦ１１１と、操作部１１２とで構成される。

レンズ１０２は、入射する被写体光をメカニカルシャッタ１０３および分光部１０４を介して撮像素子１０５の受光面に結像する。

メカニカルシャッタ１０３は、制御部１０９の指令に応じたシャッタ速度で開閉される。

分光部１０４は、例えばダイクロイックミラーやダイクロイックプリズムなどの分光部材が用いられる。そして、レンズ１０２およびメカニカルシャッタ１０３を介して入射する被写体光は、分光部１０４でＲ（赤色）、Ｇ（緑色）およびＢ（青色）の３つの色成分に分光され、Ｒ成分の光はＲ用撮像素子１０５ａに、Ｇ成分の光はＧ用撮像素子１０５ｂに、Ｂ成分の光はＢ用撮像素子１０５ｃにそれぞれ入射される。

撮像素子１０５は、ＲＧＢの３色に対応するＲ用撮像素子１０５ａ、Ｇ用撮像素子１０５ｂおよびＢ用撮像素子１０５ｃの３つの固体撮像素子を有する。これらの固体撮像素子の受光面には、複数の画素が行列状に配置され、各画素で光電変換された信号がＴＧ１０６のタイミングに応じてバッファ１０７に読み出される。尚、本実施形態では、これらの固体撮像素子として、指定した画素位置から信号を読み出すことが可能なＣＭＯＳセンサを用いる。また、図１に示した撮像素子１０５は、各画素から読み出された画像信号をデジタルの画像データにＡ／Ｄ変換して出力し、バッファ１０７に直接記憶するようになっている。これに対して、撮像素子１０５がアナログの画像信号を出力する場合は、撮像素子１０５とバッファ１０７との間にＡ／Ｄ変換やゲイン調整を行うＡＦＥ（アナログフロントエンド）回路を設ければよい。

ＴＧ１０６は、制御部１０９の指令に応じて撮像素子１０５に各画素から画像信号を読み出すためのタイミング信号を出力する。ここで、ＴＧ１０６は、Ｒ用撮像素子１０５ａ、Ｇ用撮像素子１０５ｂおよびＢ用撮像素子１０５ｃの３つの固体撮像素子間で異なる位置の画素から信号を読み出すためのタイミング信号を出力する機能を有している。例えばＴＧ１０６は、制御部１０９の指令に応じて、奇数行や偶数行の指定、さらに１行置きや１列置きなど間引き行数や間引き列数の指定を行うためのタイミング信号を出力する。

バッファ１０７は、例えば揮発性の高速メモリが用いられ、撮像素子１０５から読み出される画像データが一時的に記憶される。ここで、バッファ１０７は、説明が理解し易いように、Ｒ用撮像素子１０５ａ、Ｇ用撮像素子１０５ｂおよびＢ用撮像素子１０５ｃの３つの固体撮像素子に対応するＲバッファ１０７ａ，Ｒバッファ１０７ｂおよびＲバッファ１０７ｃの３つの記憶領域を有するものとしたが、撮像素子１０５から間引いて読み出されたＲ画像データ、Ｇ画像データおよびＢ画像データを組み合わせて１画面分の画像データを作成しながら記憶するようにしてもよい。尚、バッファ１０７は信号処理部１０８が画像処理を行うための処理用バッファや表示部１１０に表示する画像を一時的に保持するための表示用バッファとしても用いられる。

信号処理部１０８は、バッファ１０７に取り込まれた画像データに対して制御部１０９から指示された所定の画像処理を行う。ここで、所定の画像処理とは、例えばホワイトバランス処理やガンマ補正処理あるいは画像圧縮処理などである。また、画像圧縮処理は、静止画撮影の場合は例えばＪＰＥＧ規格などによる画像圧縮を行い、動画撮影の場合は例えばＭｏｔｉｏｎ−ＪＰＥＧ規格やＭＰＥＧ規格などによる画像圧縮を行う。

制御部１０９は、例えば内部に予め記憶されているプログラムコードに従って動作するＣＰＵを有し、操作部１１２に設けられた各種の操作ボタンの操作に応じて電子カメラ１０１全体の動作を制御する。例えば制御部１０９は、メカニカルシャッタ１０３の開閉制御、ＴＧ１０６に対する撮像素子１０５の読み出し画素の指定、信号処理部１０８への画像処理内容の指示、バッファ１０７への画像データの読み書き、表示部１１０への画像やメニュー画面の表示、メモリカードＩＦ１１１に装着されているメモリカード１１１ａへの画像データの読み書き、操作部１１２の各操作ボタンの操作内容の入力などの処理を行う。

表示部１１０は、例えば液晶モニタが用いられ、制御部１０９が出力するメニュー画面や撮影画像を表示する。

メモリカードＩＦ１１１は、電子カメラ１０１に脱着可能なメモリカード１１１ａに撮影された画像データを記録するためのインターフェースである。例えば制御部１０９は、撮影した静止画や動画をメモリカードＩＦ１１１を介してメモリカード１１１ａに保存する。

操作部１１２は、電源ボタン１１２ａ、レリーズボタン１１２ｂ、動画ボタン１１２ｃおよび静止画ボタン１１２ｄなどの操作ボタンを有する。撮影者は、これらの操作ボタンを用いて電子カメラ１０１を操作し、これらの操作ボタンのオンオフなどの操作情報は制御部１０９に出力される。そして、制御部１０９は、操作部１１２から入力する操作情報に応じて、電子カメラ１０１全体の動作を制御する。例えば、動画ボタン１１２ｃが押下された場合は動画撮影モードが選択され、静止画ボタン１１２ｄが押下された場合は静止画撮影モードが選択される。続いて、レリーズボタン１１２ｂが押下されると、動画撮影モードの場合は所定のフレームレート（例えば３０フレーム／秒）で動画撮影を開始し、静止画撮影モードの場合は所定のシャッタ速度でメカニカルシャッタ１０３を開閉して静止画撮影を行う。尚、動画撮影の場合は、動画撮影中に再びレリーズボタン１１２ｂが押下されると、動画撮影を終了する。

尚、本実施形態に係る電子カメラ１０１は、静止画撮影モードが選択されている場合は撮像素子１０５から全画素の画像データを読み出し、動画撮影モードが選択されている場合は撮像素子１０５から予め設定された一部の画素の画像データを間引いて読み出す機能を有する。

ここで、動画撮影時に間引き読み出しを行う理由について説明する。ＲＧＢ３色に対応する３板式の撮像素子を有する場合は、全画素読み出しに時間が掛かることや、読み出しが可能であっても情報量が３倍に増えて読み出し後の画像処理に時間が掛かる。そこで、本実施形態に係る電子カメラ１０１は、動画撮影時には、ＲＧＢ３色に対応する３板式の撮像素子１０５から画像データを読み出す時に、各色成分に対応するＲ用撮像素子１０５ａ、Ｇ用撮像素子１０５ｂおよびＢ用撮像素子１０５ｃの３つの固体撮像素子の互いに重複しない位置の画素から画像データを読み出して予め設定された色配列の画像を生成する。この画像は、本実施形態ではベイヤー配列の画像である。生成された画像には１画面の全画素位置にＲＧＢのいずれかの画像データが撮像素子１０５から読み出されているので、色成分は異なるが全画素位置に対応する画像情報の欠落を防ぐことができる。これに対して、従来技術のように、同じ画素位置の画像データを間引いて読み出した場合は、共に間引かれた画素位置の画像情報が欠落してしまうという問題がある。このため、本実施形態に係る電子カメラ１０１のように全画素位置の画像情報が保持される場合に比べて補間処理を行った時の輝度モアレが生じ易くなる。また、間引かれた画素位置の画像情報が欠落するため、ジャギーや解像感も劣化する。

さらに、本実施形態に係る電子カメラ１０１は、ベイヤー配列になるようにＲ用撮像素子１０５ａ、Ｇ用撮像素子１０５ｂおよびＢ用撮像素子１０５ｃの３つの固体撮像素子の互いに重複しない画素位置からそれぞれの画像データを読み出すので、単板式のカメラで確立されたベイヤー配列専用の色補間処理などの優れた画像処理技術を適用でき、この点においてもジャギーの軽減や解像感の向上を図ることができる。

［画素間引きの一例］
図２は、静止画撮影モードにおいて撮像素子１０５から読み出される画素位置の一例を示す図である。ここで、本実施形態に係る電子カメラ１０１の静止画撮影モードでは、動画撮影モードとの違いが理解し易いように、Ｒ用撮像素子１０５ａ、Ｇ用撮像素子１０５ｂおよびＢ用撮像素子１０５ｃの３つの固体撮像素子の全画素から画像データを読み出すものとしたが、これに限定されない。例えば高画質モード、標準モード、エコノミーモードなどのモード別に予め設定された解像度に従って一部の画像データを読み出すようにしてもよい。

また、図２（ａ）から図２（ｃ）において、ｘ方向に４画素、ｙ方向に４画素の１画面が１６画素の例を示しているが、実際のカメラに搭載される撮像素子１０５ａ、１０５ｂ、１０５ｃはそれぞれ、例えば４０００画素×３０００画素などの１２００万画素程度の画素数を有する。なお、撮像素子１０５の画素数は本実施形態に限定されない。

図２（ａ）において、画像データＰｒはＲ用撮像素子１０５ａの１画面の画素座標を示し、Ｐｒ（ｘ，ｙ）のｘが１〜４の場合のそれぞれに対しｙが１〜４となる１６画素（Ｐｒ（１，１）からＰｒ（４，４）までの１６画素）の画素データを有する。同様に、図２（ｂ）において、画像データＰｇはＧ用撮像素子１０５ｂの１画面の画素座標を示し、Ｐｇ（ｘ，ｙ）のｘが１〜４の場合のそれぞれに対しｙが１〜４となる１６画素（Ｐｇ（１，１）からＰｇ（４，４）までの１６画素）の画素データを有する。また、図２（ｃ）において、画像データＰｂはＢ用撮像素子１０５ｃの１画面の画素座標を示し、Ｐｂ（ｘ，ｙ）のｘが１〜４の場合のそれぞれに対しｙが１〜４となる１６画素（Ｐｂ（１，１）からＰｂ（４，４）までの１６画素）の画素データを有する。そして、Ｒ用撮像素子１０５ａ、Ｇ用撮像素子１０５ｂおよびＢ用撮像素子１０５ｃの３つの固体撮像素子の全画素から読み出された画像データは、それぞれＲバッファ１０７ａ、Ｇバッファ１０７ｂおよびＢバッファ１０７ｃに取り込まれる。

図３は、動画撮影モードにおいて撮像素子１０５の読み出される画素位置の一例を示す図である。ここで、動画撮影モードにおいて、制御部１０９は、Ｒ用撮像素子１０５ａ、Ｇ用撮像素子１０５ｂおよびＢ用撮像素子１０５ｃの３つの固体撮像素子の全画素から所定の画素位置の画像データを間引いて読み出すようにＴＧ１０６に指令する。尚、図２と同様に、図３の各図において、Ｒ用撮像素子１０５ａ、Ｇ用撮像素子１０５ｂおよびＢ用撮像素子１０５ｃの３つの固体撮像素子は、ｘ方向に４画素、ｙ方向に４画素の１画面が１６画素を有する。図３（ａ）はＲ用撮像素子１０５ａから間引き読み出しされてＲバッファ１０７ａに取り込まれる画像データＰｒの一例を示している。尚、図３の各図において、×印の画素位置の画像データは読み出されないことを示す。また、画像データＰｒ、画像データＰｇおよび画像データＰｂは、図２の各図で説明したように、Ｒ用撮像素子１０５ａ、Ｇ用撮像素子１０５ｂおよびＢ用撮像素子１０５ｃのそれぞれの１画面の画素座標を示し、Ｐｒ（ｘ，ｙ）、Ｐｇ（ｘ，ｙ）およびＰｂ（ｘ，ｙ）のｘが１〜４の場合のそれぞれに対しｙが１〜４となる１６画素の画素データを有する。

図３（ａ）において、Ｒ用撮像素子１０５ａから読み出される画像データＰｒは奇数行且つ奇数列の画素で構成され、Ｐｒ（１，１）、Ｐｒ（１，３）、Ｐｒ（３，１）、Ｐｒ（３，３）の４つの画素データを有する。同様に、図３（ｂ）において、Ｇ用撮像素子１０５ｂから読み出される画像データＰｇは奇数行且つ偶数列および偶数行且つ奇数列の千鳥状の画素で構成され、Ｐｇ（１，２）、Ｐｇ（１，４）、Ｐｇ（２，１）、Ｐｇ（２，３）、Ｐｇ（３，２）、Ｐｇ（３，４）、Ｐｇ（４，１）、Ｐｇ（４，３）の８つの画素データを有する。また、図３（ｃ）において、Ｂ用撮像素子１０５ｃから読み出される画像データＰｂは偶数行且つ偶数列の画素で構成され、Ｐｂ（２，２）、Ｐｂ（２，４）、Ｐｂ（４，２）、Ｐｂ（４，４）の４つの画素データを有する。

そして、図３（ａ）のＲ画素、図３（ｂ）のＧ画素および図３（ｃ）のＢ画素を組み合わせると、図４（ａ）に示すようなベイヤー配列の画像データＰｂａｙｅｒが得られる。ここで、図４（ａ）の例では、ベイヤー配列の１画面の画像データＰｂａｙｅｒは、Ｐｂａｙｅｒ（ｘ，ｙ）のｘが１〜４の場合のそれぞれに対しｙが１〜４となる１６画素（Ｐｂａｙｅｒ（１，１）からＰｂａｙｅｒ（４，４）までの１６画素）の画素データを有する。

そして、信号処理部１０８は、バッファ１０７に作成されたベイヤー配列の画像データＰｂａｙｅｒに対して、単板式の固体撮像素子で用いられるベイヤー配列用の色補間処理を適用して各画素にＲＧＢ３色の色成分を有する図４（ｂ）に示すような画像データＰｒｇｂを作成する。図４（ｂ）の例では、各画素にＲＧＢ３色の色成分を有する１画面の画像データＰｒｇｂは、Ｐｒｇｂ（ｘ，ｙ）のｘが１〜４の場合のそれぞれに対しｙが１〜４となる１６画素（Ｐｒｇｂ（１，１）からＰｒｇｂ（４，４）までの１６画素）の画素データを有する。

ここで、ベイヤー配列用の色補間処理は単板式の電子カメラで広く用いられ、高画質化のための様々な技術が用いられた高精度の補間技術が使われている。特に本実施形態では、独自の色配列による間引き処理を行わずに、ベイヤー配列のような既存の色配列になるように間引き処理を行うので、広く利用されている高精度な補間技術を適用できるという利点がある。尚、本実施形態ではベイヤー配列の例を示したが、ハニカム配列の３板式の固体撮像素子を用いる場合でも同様に適用可能である。この場合は、図５（ａ）や図５（ｂ）に示すハニカム配列のＲ画素位置、Ｇ画素位置およびＢ画素位置に対応する画素位置の画像データを３板式のＲ用撮像素子、Ｇ用撮像素子およびＢ用撮像素子からそれぞれ読み出して１画面の画像になるように組み合わせればよい。

このようにして、動画１フレーム分の画像データＰｒｇｂが得られる。尚、動画撮影モードでは、上述のような処理を所定のフレームレート（例えば３０フレーム／秒）で繰り返し行う。また、動画圧縮処理を行う場合、信号処理部１０８は、例えばフレーム間で動きベクトルを求めるなどの圧縮処理を行って圧縮後の動画データを制御部１０９に出力する。そして、制御部１０９は信号処理部１０８から入力する動画データをメモリカードＩＦ１１１を介してメモリカード１１１ａに記録する。

尚、静止画撮影モードの場合は、図２に示したように、Ｒ用撮像素子１０５ａ、Ｇ用撮像素子１０５ｂおよびＢ用撮像素子１０５ｃの３つの固体撮像素子から読み出された全画素の画像データを有するので、ベイヤー配列のように色補間処理を行う必要がなく、図４（ｂ）に示すような各画素にＲＧＢ３色の色成分を有する高品質の画像データＰｒｇｂが得られる。

［撮影時の処理例］
次に、撮影時の処理の流れについて図６のフローチャートを用いて説明する。図６のフローチャートは、制御部１０９の内部に予め記憶されたプログラムに従って実行される処理の流れを示している。

（ステップＳ１０１）撮影者が操作部１１２の電源ボタン１１２ａを押下すると、制御部１０９は電子カメラ１０１を使用可能な状態にする。

（ステップＳ１０２）撮影者が操作部１１２の動画ボタン１１２ｃまたは静止画ボタン１１２ｄのいずれかを押下して撮影モードを選択すると、制御部１０９は選択された撮影モードを内部レジスタなど一時的な記憶領域に保持しておく。

（ステップＳ１０３）制御部１０９は、構図確認用のスルー画像を表示部１１０に表示する処理を開始する。ここで、スルー画像を撮影するために、例えば制御部１０９は、メカニカルシャッタ１０３を開放状態にし、予め設定された所定の画素数（例えば３２０×２４０画素程度）且つ所定のフレームレート（例えば１５フレーム／秒）をＴＧ１０６に指令して、撮像素子１０５からバッファ１０７に読み出される画像データをスルー画像として表示部１１０に表示する。

（ステップＳ１０４）制御部１０９は、操作部１１２のレリーズボタン１１２ｂが押下されたか否かを判別する。そして、制御部１０９は、レリーズボタン１１２ｂが押下された場合はステップＳ１０５に進み、押下されていない場合はレリーズボタン１１２ｂが押下されるまでステップＳ１０４で待機する。尚、この状態でもスルー画像は表示部１１０に表示されている。

（ステップＳ１０５）ステップＳ１０４でレリーズボタン１１２ｂが押下されたことを検出した制御部１０９は、ステップＳ１０２で内部の一時的な記憶領域に保持された撮影モードに対応する処理を行う。例えば撮影モードが静止画撮影モードである場合はステップＳ１１１に進み、動画撮影モードである場合はステップＳ１０６に進む。

（ステップＳ１０６）制御部１０９は、動画撮影処理を行う。具体的には、制御部１０９は予め設定された間引き画素位置（例えば図３参照）且つ所定のフレームレート（例えば３０フレーム／秒）をＴＧ１０６に指令する。そして、撮像素子１０５から間引き読み出しされる１フレーム分の画像データをバッファ１０７に一時的に記憶する。この時点で、バッファ１０７には図４（ａ）に示すようなベイヤー配列の画像データＰｂａｙｅｒが記憶されている。

（ステップＳ１０７）制御部１０９は、バッファ１０７に取り込まれたベイヤー配列の画像データＰｂａｙｅｒに対して、ベイヤー配列用の色補間処理を行うように信号処理部１０８に指令する。制御部１０９から指令を受けた信号処理部１０８は、ベイヤー配列の画像データＰｂａｙｅｒに対してベイヤー配列用の色補間処理を施して各画素にＲＧＢ３色の色成分を有する画像データＰｒｇｂを作成する。信号処理部１０８が作成した画像データＰｒｇｂは、バッファ１０７に一時的に記憶される。

（ステップＳ１０８）制御部１０９は、バッファ１０７に作成された画像データＰｒｇｂに対して、所定の画像処理を行うよう指令する。例えば、信号処理部１０８は、画像データＰｒｇｂに対して、ホワイトバランス処理やガンマ補正処理を行う。さらに、信号処理部１０８は、例えばＭｏｔｉｏｎ−ＪＰＥＧ規格やＭＰＥＧ規格などによる動画用の画像圧縮処理を行う。

（ステップＳ１０９）制御部１０９は、動画用の画像圧縮処理が行われた動画データをメモリカードＩＦ１１１を介してメモリカード１１１ａに記録する。ここで、ステップＳ１０６からステップＳ１０９までの処理は、ステップＳ１１０でレリーズボタン１１２ｂの再押下を検出するまで、１フレーム毎に繰り返し行われるが、メモリカード１１１ａに記録される動画データは、１フレーム毎に記録されるとは限らない。例えば、使用する動画用の画像圧縮処理がＭｏｔｉｏｎ−ＪＰＥＧ規格である場合は１フレーム毎に圧縮処理が完結するので１フレーム毎に動画データの記録が可能であるが、ＭＰＥＧ規格などフレーム間の動き検出を行う圧縮処理の場合は複数のフレーム単位で画像圧縮された動画データが記録される。

（ステップＳ１１０）制御部１０９は、操作部１１２のレリーズボタン１１２ｂが押下されたか否かを判別する。そして、制御部１０９は、レリーズボタン１１２ｂが押下された場合はステップＳ１１４に進み、押下されていない場合はステップＳ１０６に戻って動画撮影を継続する。

（ステップＳ１１１）制御部１０９は静止画撮影処理を行う。静止画撮影処理では、例えば図２で説明したように、制御部１０９は撮像素子１０５の全画素から画像データを読み出すようにＴＧ１０６に指令する。そして、撮像素子１０５から読み出される１画面分の画像データをバッファ１０７に一時的に記憶する。この時点で、図４（ｂ）に示すように各画素にはＲＧＢ３色の色成分を有する画像データＰｒｇｂがバッファ１０７に記憶されている。

（ステップＳ１１２）制御部１０９は、バッファ１０７に取り込まれた画像データＰｒｇｂに対して、所定の画像処理を行うよう指令する。そして、信号処理部１０８は、画像データＰｒｇｂに対して、例えばホワイトバランス処理やガンマ補正処理を行う。さらに、信号処理部１０８は、ＪＰＥＧ規格などによる静止画用の画像圧縮処理を行う。尚、制御部１０９は、先に表示部１１０に表示していたスルー画像に続いて、画像データＰｒｇｂを撮影中の動画像として表示部１１０に表示する。

（ステップＳ１１３）制御部１０９は、静止画用の画像圧縮処理が行われた静止画データをメモリカードＩＦ１１１を介してメモリカード１１１ａに記録する。

（ステップＳ１１４）制御部１０９は、一連の動画撮影処理または静止画撮影処理を終了する。この時点で、メモリカード１１１ａには、動画撮影の場合は動画データのファイル（例えばａｂｃ．ｍｐｇ）が作成され、静止画撮影の場合は静止画データのファイル（例えばａｂｃ．ｊｐｇ）が作成される。

以上説明したように、本実施形態に係る電子カメラ１０１は、各色成分に対応するＲ用撮像素子１０５ａ、Ｇ用撮像素子１０５ｂおよびＢ用撮像素子１０５ｃの３つの固体撮像素子の互いに重複しない画素位置の画像データを読み出すので輝度モアレを防止やジャギーの軽減および解像感の向上を図ることができる。さらに、単板式の撮影画像に用いられる実績のある優れた画像処理技術を適用できるので、この点においてもジャギーの軽減や解像感の向上を図ることができる。

［スルー画像への適用例］
上記の実施形態では、動画撮影時に図３に示すような間引き読み出しを行うようにしたが、スルー画像を撮影する場合にも動画撮影時と同様の処理を行うようにしてもよい。この場合は、先に説明した図６のフローチャートにおいて、ステップＳ１０３を図７のフローチャートに示すステップＳ１０３ａからＳ１０３ｃに置き換えればよい。尚、図７において、図６と同符号の処理ステップは同じ処理を示す。以下、図６と異なる処理について説明する。

（ステップＳ１０３ａ）制御部１０９は、スルー画像の撮影処理を行う。具体的には、制御部１０９は予め設定された所定の間引き画素位置（例えば図３参照）且つ所定のフレームレート（例えば３０フレーム／秒）をＴＧ１０６に指令する。そして、撮像素子１０５から間引き読み出しされる１フレーム分の画像データをバッファ１０７に一時的に記憶する。この時点で、バッファ１０７には図４（ａ）に示すベイヤー配列の画像データＰｂａｙｅｒが記憶されている。

（ステップＳ１０３ｂ）制御部１０９は、バッファ１０７に取り込まれたベイヤー配列の画像データＰｂａｙｅｒに対して、ベイヤー配列用の色補間処理を行うよう信号処理部１０８に指令する。そして、信号処理部１０８は、ベイヤー配列の画像データＰｂａｙｅｒに対して色補間処理を施して、各画素にＲＧＢ３色の色成分を有する画像データＰｒｇｂを作成し、バッファ１０７に一時的に記憶する。

（ステップＳ１０３ｃ）制御部１０９は、バッファ１０７に作成された画像データＰｒｇｂを表示部１１０に表示する。尚、表示前に制御部１０９は、信号処理部１０８に指令して、画像データＰｒｇｂに対して、例えばホワイトバランス処理やガンマ補正処理を行わせてもよい。

このようにして、輝度モアレやジャギーおよび解像感を改善したスルー画像を表示部１１０に表示することができる。さらに、単板式の撮影画像に用いられる実績のある優れた画像処理技術を適用できるので、より一層、ジャギーの軽減や解像感の向上を図ることができる。

［その他の構成例（１）］
図１の電子カメラ１０１は、ＴＧ１０６が撮像素子１０５に出力するタイミング信号を制御することによって図３に示すような間引き読み出しを行うようにしたが、図８に示す電子カメラ１０１−１のように、Ｒ用撮像素子１０５ａ、Ｇ用撮像素子１０５ｂおよびＢ用撮像素子１０５ｃの３つの固体撮像素子から全画素の画像データをＲバッファ１１７ａ、Ｇバッファ１１７ｂおよびＢバッファ１１７ｃに読み出した後、間引き処理部１２１で図３に示した間引き処理を施し、図４（ａ）に示したベイヤー配列の画像データＰｂａｙｅｒを作成してバッファ１１７に取り込むようにしても構わない。尚、図８に示した電子カメラ１０１−１において、図１と同符号のものは同じものを示す。

また、間引き処理を行わない静止画撮影の場合は、間引補間部１２１を経由せずに、Ｒバッファ１１７ａ、Ｇバッファ１１７ｂおよびＢバッファ１１７ｃに読み出された全画素の画像データは、信号処理部１０８に直接読み出され、信号処理部１０８はバッファ１７１を使用して静止画像データを作成する。

この場合でも電子カメラ１０１−１は、図１の電子カメラ１０１と同様に、輝度モアレを防止しジャギーの軽減や解像感を向上した動画像の撮影やスルー画像の表示を行うことができる。また、電子カメラ１０１−１においても、単板式の撮影画像に用いられる実績のある優れた画像処理技術を適用できるので、より一層、ジャギーの軽減や解像感の向上を図ることができる。

［その他の構成例（２）］
図８の電子カメラ１０１−１は、Ｒ用撮像素子１０５ａ、Ｇ用撮像素子１０５ｂおよびＢ用撮像素子１０５ｃの３つの固体撮像素子から全画素の画像データを読み出してＲバッファ１１７ａ、Ｇバッファ１１７ｂおよびＢバッファ１１７ｃに一時的に取り込んだ後、間引き処理部１２１は、Ｒバッファ１１７ａ、Ｇバッファ１１７ｂおよびＢバッファ１１７ｃから読み出して間引き処理とベイヤー配列の画像データの作成処理とを行ってバッファ１１７に記憶するため、ベイヤー配列の画像データが得られるまでの処理時間が長くなる。そこで、図９に示した電子カメラ１０１−２では、Ｒ用撮像素子１０５ａ、Ｇ用撮像素子１０５ｂおよびＢ用撮像素子１０５ｃの３つの固体撮像素子から全画素の画像データを読み出しながら図３に示した間引き処理を実行して、図４（ａ）に示したベイヤー配列の画像データＰｂａｙｅｒをバッファ２１７上に直接生成するようになっている。尚、図９に示した電子カメラ１０１−２において、図１と同符号のものは同じものを示す。

また、間引き処理を行わない静止画撮影の場合は、間引補間部１２１を経由せずに、Ｒ用撮像素子１０５ａ、Ｇ用撮像素子１０５ｂおよびＢ用撮像素子１０５ｃの３つの固体撮像素子から読み出された全画素の画像データは、信号処理部１０８に直接読み出され、信号処理部１０８はバッファ２７１を使用して静止画像データを作成する。

このように、電子カメラ１０１−２は、Ｒ用撮像素子１０５ａ、Ｇ用撮像素子１０５ｂおよびＢ用撮像素子１０５ｃの３つの固体撮像素子から全画素の画像データを読み出す時間だけ確保できれば、１フレームの時間内に以降の処理を図１の電子カメラ１０１と同じ速さで行うことができる。これにより、図１の電子カメラ１０１と同様に、輝度モアレを防止しジャギーの軽減や解像感を向上した動画の撮影やスルー画像の表示を行うことができる。また、電子カメラ１０１−２においても、単板式の撮影画像に用いられる実績のある優れた画像処理技術を適用できるので、より一層、ジャギーの軽減や解像感の向上を図ることができる。

［その他の構成例（３）］
図１の電子カメラ１０１は、撮像素子１０５とレンズ１０３との間に分光部１０４を配置してＲＧＢの３色の色成分を有する光に分離し、分光した光をＲ用撮像素子１０５ａ、Ｇ用撮像素子１０５ｂおよびＢ用撮像素子１０５ｃの３つの固体撮像素子にそれぞれ入射するようにしたが、図１０に示す電子カメラ１０１−３のように分光器１０４を搭載せず、Ｒ用撮像素子１１５ａ、Ｇ用撮像素子１１５ｂおよびＢ用撮像素子１１５ｃの３つの固体撮像素子を入射光に対して直交するように配置しても構わない。ここで、これらの固体撮像素子は、特定の色以外の光を透過する性質を有する積層型の固体撮像素子として知られているものである。例えばＲ用撮像素子１１５ａはＲ成分の光は検出するがＲ成分以外の光を透過し、Ｇ用撮像素子１１５ｂはＧ成分の光は検出するがＧ成分以外の光を透過し、Ｂ用撮像素子１１５ｃはＢ成分の光は検出するがＢ成分以外の光を透過する。尚、図１０では、理解し易いように、各固体撮像素子を厚く描いてあるが、３つの固体撮像素子の積層方向の厚さはレンズ１０２の焦点位置に対して十分無視できるほど薄いものとする。

また、電子カメラ１０１−３においても、Ｒ用撮像素子１１５ａ、Ｇ用撮像素子１１５ｂおよびＢ用撮像素子１１５ｃの３つの固体撮像素子から図３に示すような間引き読み出しが行われるので、図１の電子カメラ１０１と同様に、輝度モアレを防止しジャギーの軽減や解像感を向上した動画像の撮影やスルー画像の表示を行うことができる。また、電子カメラ１０１−３においても、単板式の撮影画像に用いられる実績のある優れた画像処理技術を適用できるので、より一層、ジャギーの軽減や解像感の向上を図ることができる。

［間引き読み出しの画素位置について］
図３で説明した間引き読み出しの画素位置は一例である。ここでは、図３と同様の間引き読み出しの画素位置について説明する。

（読み出し画素位置（１）の例）
先ず図３と同様に、図１１において、Ｒ用撮像素子１０５ａから読み出される１画面分の画像データＰｒ１は奇数行且つ奇数列の画素で構成され、Ｐｒ１（１，１）、Ｐｒ１（１，３）、Ｐｒ１（３，１）、Ｐｒ１（３，３）の４つの画素データを有する。同様に、図１１において、Ｇ用撮像素子１０５ｂから読み出される１画面分の画像データＰｇ１は奇数行且つ偶数列および偶数行且つ奇数列の千鳥状の画素で構成され、Ｐｇ１（１，２）、Ｐｇ１（１，４）、Ｐｇ１（２，１）、Ｐｇ１（２，３）、Ｐｇ１（３，２）、Ｐｇ１（３，４）、Ｐｇ１（４，１）、Ｐｇ１（４，３）の８つの画素データを有する。また、図１１において、Ｂ用撮像素子１０５ｃから読み出される１画面分の画像データＰｂ１は偶数行且つ偶数列の画素で構成され、Ｐｂ１（２，２）、Ｐｂ１（２，４）、Ｐｂ１（４，２）、Ｐｂ１（４，４）の４つの画素データを有する。

そして、画素データＰｒ１と画素データＰｇ１と画素データＰｂ１とを組み合わせて、ベイヤー配列の画像データＰｂａｙｅｒ１が得られる。尚、図１１の例では、ベイヤー配列の１画面の画像データＰｂａｙｅｒ１は、Ｐｂａｙｅｒ１（ｘ，ｙ）のｘが１〜４の場合のそれぞれに対しｙが１〜４となる１６画素（Ｐｂａｙｅｒ１（１，１）からＰｂａｙｅｒ１（４，４）までの１６画素）の画素データを有する。

（読み出し画素位置（２）の例）
次に図１２に示すように、Ｒ用撮像素子１０５ａから読み出される１画面分の画像データＰｒ２は偶数行且つ奇数列の画素で構成され、Ｐｒ２（２，１）、Ｐｒ２（２，３）、Ｐｒ２（４，１）、Ｐｒ２（４，３）の４つの画素データを有する。同様に、図１２において、Ｇ用撮像素子１０５ｂから読み出される１画面分の画像データＰｇ２は奇数行且つ奇数列および偶数行且つ偶数列の千鳥状の画素で構成され、Ｐｇ２（１，１）、Ｐｇ２（１，３）、Ｐｇ２（２，２）、Ｐｇ２（２，４）、Ｐｇ２（３，１）、Ｐｇ２（３，３）、Ｐｇ２（４，２）、Ｐｇ２（４，４）の８つの画素データを有する。また、図１２において、Ｂ用撮像素子１０５ｃから読み出される１画面分の画像データＰｂ２は奇数行且つ偶数列の画素で構成され、Ｐｂ２（１，２）、Ｐｂ２（１，４）、Ｐｂ２（３，２）、Ｐｂ２（３，４）の４つの画素データを有する。

そして、画像データＰｒ２と画像データＰｇ２と画像データＰｂ２とを組み合わせて、ベイヤー配列の１画面の画像データＰｂａｙｅｒ２が得られる。尚、図１２の例では、ベイヤー配列の１画面の画像データＰｂａｙｅｒ２は、Ｐｂａｙｅｒ２（ｘ，ｙ）のｘが１〜４の場合のそれぞれに対しｙが１〜４となる１６画素（Ｐｂａｙｅｒ２（１，１）からＰｂａｙｅｒ２（４，４）までの１６画素）の画素データを有する。

（読み出し画素位置（３）の例）
次に図１３に示すように、Ｒ用撮像素子１０５ａから読み出される１画面分の画像データＰｒ３は偶数行且つ偶数列の画素で構成され、Ｐｒ３（２，２）、Ｐｒ３（２，４）、Ｐｒ３（４，２）、Ｐｒ３（４，４）の４つの画素データを有する。同様に、図１３において、Ｇ用撮像素子１０５ｂから読み出される１画面分の画像データＰｇ３は奇数行且つ偶数列および偶数行且つ奇数列の千鳥状の画素で構成され、Ｐｇ３（１，２）、Ｐｇ３（１，４）、Ｐｇ３（２，１）、Ｐｇ３（２，３）、Ｐｇ３（３，２）、Ｐｇ３（３，４）、Ｐｇ３（４，１）、Ｐｇ３（４，３）の８つの画素データを有する。また、図１３において、Ｂ用撮像素子１０５ｃから読み出される１画面分の画像データＰｂ３は奇数行且つ奇数列の画素で構成され、Ｐｂ３（１，１）、Ｐｂ３（１，３）、Ｐｂ３（３，１）、Ｐｂ３（３，３）の４つの画素データを有する。

そして、画素データＰｒ３と画素データＰｇ３と画素データＰｂ３とを組み合わせて、ベイヤー配列の画像データＰｂａｙｅｒ３が得られる。尚、図１３の例では、ベイヤー配列の１画面の画像データＰｂａｙｅｒ３は、Ｐｂａｙｅｒ３（ｘ，ｙ）のｘが１〜４の場合のそれぞれに対しｙが１〜４となる１６画素（Ｐｂａｙｅｒ３（１，１）からＰｂａｙｅｒ３（４，４）までの１６画素）の画素データを有する。

（読み出し画素位置（４）の例）
次に図１４に示すように、Ｒ用撮像素子１０５ａから読み出される１画面分の画像データは奇数行且つ偶数列の画素で構成され、Ｐｒ４（１，２）、Ｐｒ４（１，４）、Ｐｒ４（３，２）、Ｐｒ４（３，４）の４つの画素データを有する。同様に、図１４において、Ｇ用撮像素子１０５ｂから読み出される１画面分の画像データＰｇ４は奇数行且つ奇数列および偶数行且つ偶数列の千鳥状の画素で構成され、Ｐｇ４（１，１）、Ｐｇ４（１，３）、Ｐｇ４（２，２）、Ｐｇ４（２，４）、Ｐｇ４（３，１）、Ｐｇ４（３，３）、Ｐｇ４（４，２）、Ｐｇ４（４，４）の８つの画素データを有する。また、図１４において、Ｂ用撮像素子１０５ｃから読み出される１画面分の画像データＰｂ４は偶数行且つ奇数列の画素で構成され、Ｐｂ４（２，１）、Ｐｂ４（２，３）、Ｐｂ４（４，１）、Ｐｂ４（４，３）の４つの画素データを有する。

そして、画像データＰｒ４と画像データＰｇ４と画像データＰｂ４とを組み合わせて、ベイヤー配列の画像データＰｂａｙｅｒ４が得られる。尚、図１４の例では、ベイヤー配列の１画面の画像データＰｂａｙｅｒ４は、Ｐｂａｙｅｒ４（ｘ，ｙ）のｘが１〜４の場合のそれぞれに対しｙが１〜４となる１６画素（Ｐｂａｙｅｒ４（１，１）からＰｂａｙｅｒ４（４，４）までの１６画素）の画素データを有する。

このように、Ｒ用撮像素子１０５ａ、Ｇ用撮像素子１０５ｂおよびＢ用撮像素子１０５ｃの３つの固体撮像素子から間引き読み出しする画素位置の組合せは、図１１、図１２、図１３および図１４で説明した４つのパターンが考えられる。そこで、これらの４つのパターンの少なくとも２つ以上のパターンを組み合わせて画像データを読み出すようにしてもよい。この場合、制御部１０９は、動画撮影のフレーム毎に異なるパターンの間引き読み出しをＴＧ１０６に指示する。例えば動画撮影時に４つのパターンを組み合わせる場合は、先ず図１１の画素間引きによって得られた画像データＰｂａｙｅｒ１のフレームを取得し、第１番目の動画フレームとする。次に図１２の画素間引きによって得られた画像データＰｂａｙｅｒ２のフレームを取得し、第２番目の動画フレームとする。さらに、図１３の画素間引きによって得られた画像データＰｂａｙｅｒ３のフレームを取得し、第３番目の動画フレームとする。次に図１４の画素間引きによって得られた画像データＰｂａｙｅｒ４のフレームを取得し、第４番目の動画フレームとする。そして、次のフレームは図１１の画像データＰｂａｙｅｒ１に戻って第５番目の動画フレームとし、以降は同様の処理を繰り返す。

このようにして、少なくとも動画の４フレーム毎に、Ｒ成分の画素とＧ成分の画素とＢ成分の画素とが互いに入れ替わるので、全画素位置でＲＧＢ３色の画像情報を得ることができる。これにより、各画素位置における色成分情報の欠落を補うことができ、より高画質化が期待できる。尚、この場合においても、単板式の撮影画像に用いられる実績のある優れた画像処理技術をパターンが異なる各フレームに適用できるので、より一層、ジャギーの軽減や解像感の向上を図ることができる。

以上、本発明に係る撮像装置について、各実施形態で例を挙げて説明してきたが、その精神またはその主要な特徴から逸脱することなく他の多様な形で実施することができる。そのため、上述した実施形態はあらゆる点で単なる例示に過ぎず、限定的に解釈してはならない。本発明は、特許請求の範囲によって示されるものであって、本発明は明細書本文にはなんら拘束されない。さらに、特許請求の範囲の均等範囲に属する変形や変更は、全て本発明の範囲内である。

１０１、１０１−１、１０１−２、１０１−３・・・電子カメラ
１０２・・・レンズ
１０３・・・メカニカルシャッタ
１０４・・・分光部
１０５・・・撮像素子
１０５ａ、１１５ａ・・・Ｒ用撮像素子
１０５ｂ、１１５ｂ・・・Ｇ用撮像素子
１０５ｃ、１１５ｃ・・・Ｂ用撮像素子
１０６・・・ＴＧ
１０７、１１７，２１７・・・バッファ
１０７ａ、１１７ａ・・・Ｒバッファ
１０７ｂ、１１７ｂ・・・Ｇバッファ
１０７ｃ、１１７ｃ・・・Ｂバッファ
１０８・・・信号処理部
１０９・・・制御部
１１０・・・表示部
１１ａ・・・メモリカード１
１１１・・・メモリカードＩＦ
１１２・・・操作部
１２１・・・間引き処理部

Claims (4)

1. 複数の色成分に分解された被写体光を各色成分毎に同じ画素配置の画像を撮像する複数の撮像部と、
   前記複数の撮像部が撮像した前記各色成分に対応する複数の画像間で互いに重複しない画素位置から信号を読み出して予め設定された色配列の画像を生成する間引き補間部と、
   前記間引き補間部が生成した前記色配列の画像に前記色配列特有の画像処理を施してカラー画像を生成する画像処理部と、
   前記画像処理部が画像処理を施したカラー画像を記憶媒体に保存する記録部と
   を有することを特徴とする撮像装置。
2. 請求項１に記載の撮像装置において、
   動画撮影と静止画撮影とを選択する操作部を更に設け、
   前記画像処理部は、前記操作部で動画撮影が選択されている場合は前記間引き補間部が生成した色配列の画像に前記色配列特有の画像処理を施してカラー画像を生成し、前記操作部で静止画撮影が選択されている場合は前記複数の撮像部が撮像した前記各色成分に対応する前記複数の画像からカラー画像を生成する
   ことを特徴とする撮像装置。
3. 請求項１または２に記載の撮像装置において、
   前記撮像部が撮影する画像をスルー画表示する表示部を更に設け、
   前記画像処理部は、前記表示部にスルー画を表示する場合は前記間引き補間部が生成した色配列の画像に前記色配列特有の画像処理を施してカラー画像を生成する
   ことを特徴とする撮像装置。
4. 請求項１から３のいずれか一項に記載の撮像装置において、
   前記撮像部は、被写体光をＲＧＢ３色の色成分に分解して前記色成分毎にｎ行ｍ列の画素からなる画像を撮像するＧ成分用撮像部，Ｒ成分用撮像部およびＢ成分用撮像部の３つの撮像部を有し、
   前記間引き補間部は、前記Ｇ成分用撮像部が撮像したｎ行ｍ列のＧ成分の画素からなるＧ成分の画像から行列方向にそれぞれ１画素置きに千鳥状にＧ成分の画素を読み出し、前記Ｒ成分用撮像部が撮像したｎ行ｍ列のＲ成分の画素からなるＲ成分の画像から前記Ｇ成分の画素位置と重複しないように１行置き且つ１列置きにＲ成分の画素を読み出し、前記Ｂ成分用撮像部が撮像したｎ行ｍ列のＢ成分の画素からなるＢ成分の画像から前記Ｇ成分の画素位置および前記Ｒ成分の画素位置と重複しないように１行置き且つ１列置きにＢ成分の画素を読み出し、読み出されたＧ成分の画素，Ｒ成分の画素およびＢ成分の画素を組み合わせてｎ行ｍ列のベイヤー配列の画像を生成し、
   前記画像処理部は、前記間引き補間部が生成したベイヤー配列の画像に前記ベイヤー配列特有の画像処理を施してカラー画像を生成する
   ことを特徴とする撮像装置。

Images