JP2010157892A - 画像生成装置 - Google Patents

Abstract

【課題】 解像度及び色再現性の高い画像を生成することができる画像生成装置を提供する。
【解決手段】 被写体光を第１被写体光及び第２被写体光に分岐する光分岐部５と、ベイヤー配列により、緑色、赤色、青色のカラーフィルタを配置し、前記第１被写体光を撮像する第１撮像素子７と、ベイヤー配列により、前記第１撮像素子７の緑色のカラーフィルタの配列方向とほぼ直交する方向へ緑色のカラーフィルタを配置し、前記第２被写体光を撮像する第２撮像素子９と、前記第１撮像素子７及び前記第２撮像素子９から出力される撮像信号に基づいて画像データを生成する画像データ生成部１３とを備える。
【選択図】 図１

Description

本発明は、画像生成装置に関するものである。

ベイヤー配列されたカラー撮像素子を画像形成面内において所定画素分変位駆動させる機能を備え、変位駆動前及び後にカラー撮像素子から出力される撮像信号に基づいて画像データを生成する画像生成装置が提案されている（例えば、特許文献１参照）。
特開２００２−１５９０１４号公報

ところで、特許文献１記載の画像生成装置では、高解像度の画像を得ることはできるが、色再現性の高い画像を得ることはできなかった。

本発明の目的は、解像度及び色再現性の高い画像を生成することができる画像生成装置を提供することである。

本発明の画像生成装置は、被写体光を第１被写体光及び第２被写体光に分岐する光分岐部と、ベイヤー配列により、緑色、赤色、青色のカラーフィルタを配置し、前記第１被写体光を撮像する第１撮像素子と、ベイヤー配列により、前記第１撮像素子の緑色のカラーフィルタの配列方向とほぼ直交する方向へ緑色のカラーフィルタを配置し、前記第２被写体光を撮像する第２撮像素子と、前記第１撮像素子及び前記第２撮像素子から出力される撮像信号に基づいて画像データを生成する画像データ生成部とを備えることを特徴とする。

本発明の画像生成装置によれば、解像度及び色再現性の高い画像を生成することができる。

以下、図面を参照して、本発明の実施の形態に係る画像生成装置としての電子カメラについて説明する。図１は、実施の形態に係る電子カメラ１のシステム構成を示すブロック図である。図１に示すように、電子カメラ１には、被写体からの光をカメラ内部に導く撮影レンズ３が装着されている。電子カメラ１は、ハーフミラー５、第１撮像素子７、第２撮像素子９、信号処理部１１、制御部１３、バッファメモリ１５、表示部１７、記憶部１９、操作部２１を備えており、ハーフミラー５は、撮影レンズ３を介した被写体光を２つに分岐する。２つに分岐された一方の光、即ちハーフミラー５の光分岐面５ａを透過した光（以下、第１被写体光という）は、第１撮像素子７に入射し、他方の光、即ち光分岐面５ａにより反射された光（以下、第２被写体光という）は、第２撮像素子９に入射する。第１撮像素子７及び第２撮像素子９は、光学的に共役な位置に配置されており、第１被写体光及び第２被写体光を撮像して撮像信号を信号処理部１１に対して出力する。

図２は第１撮像素子７、図３は第２撮像素子９の構成を示す図である。第１撮像素子７及び第２撮像素子９は、各画素に対してベイヤー配列による赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）の何れかのカラーフィルタを配置した撮像面を有している。即ち、第１撮像素子７及び第２撮像素子９の撮像面には、２つの緑色（Ｇ）のカラーフィルタ、１つの赤色（Ｒ）及び青色（Ｂ）のカラーフィルタを配置した隣接する４つの画素（２×２の画素、図２及び図３中太枠で示す）がアレイ状に配列されている。第１撮像素子７においては、図２に示すように、４つの画素の中の左上及びその対角である右下の画素に対して緑色（Ｇ）のカラーフィルタ、右上の画素に対して青色（Ｂ）のカラーフィルタ、左下の画素に対して赤色（Ｒ）のカラーフィルタが配置されている。第２撮像素子９においては、図３に示すように、４つの画素の中の右上及びその対角である左下の画素に対して緑色（Ｇ）のカラーフィルタ、左上の画素に対して赤色（Ｒ）のカラーフィルタ、右下の画素に対して青色（Ｂ）のカラーフィルタが配置されている。即ち、第２撮像素子９の緑色（Ｇ）のカラーフィルタは、第１撮像素子７の緑色（Ｇ）のカラーフィルタの配列方向とほぼ直交する方向に配置されている。

第１撮像素子７及び第２撮像素子９は、同一の被写体からの被写体光を受光しており、第１撮像素子７の緑色（Ｇ）のカラーフィルタが配置されている左上の画素（隣り合う４つの画素の中の）が受光する光と、第２撮像素子９の赤色（Ｒ）のカラーフィルタが配置されている画素が受光する光は、同一の被写体の同一の部分からの被写体光である。同様に、第１撮像素子７の緑色（Ｇ）のカラーフィルタが配置されている右下の画素と第２撮像素子９の青色（Ｂ）のカラーフィルタが配置されている画素とが受光する光、第１撮像素子７の青色（Ｂ）のカラーフィルタが配置されている画素と第２撮像素子９の緑色（Ｇ）のカラーフィルタが配置されている右上の画素とが受光する光、及び第１撮像素子７の赤色（Ｒ）のカラーフィルタが配置されている画素と第２撮像素子９の緑色（Ｇ）のカラーフィルタが配置されている左下の画素とが受光する光は、同一の被写体の同一の部分からの被写体光である。

第１撮像素子７及び第２撮像素子９から出力される撮像信号は、信号処理部１１においてアナログ信号からデジタル信号に変換され、制御部１３に対して出力される。制御部１３は、マイクロプロセッサ等により構成され、電子カメラ１の各部を統括的に制御する。制御部１３は、信号処理部１１から出力されるデジタル信号の画像データに対して各種の画像処理（ホワイトバランス調整、色補正、階調補正等）を行い、画像処理された画像データを撮影日時、露出等の撮影に関する情報と共に、Ｅｘｉｆ（Ｅｘｃｈａｎｇａｂｌｅ ｉｍａｇｅ ｆｉｌｅ ｆｏｒｍａｔ）等の所定の形式で、バッファメモリ１５に一時的に記憶させる。

表示部１７は、ライブビュー画像（スルー画像）、後述する記憶部１９に記憶されている画像データに基づく画像、及び撮影に関する種々の情報などを表示する。また、記憶部１９は、制御部１３によりバッファメモリ１５から読み込まれた画像データ及び画像データに付加されている撮影に関する情報等を記憶する。また、操作部２１は、電源をオン／オフする電源スイッチ、シャッタボタン、各種設定等を行うダイアル及びボタン等を含んで構成されている。バス２３は、制御部１３から出力される制御信号及び画像データを電子カメラ１の各部に送信するための送信路である。バス２３には、バッファメモリ１５、表示部１７、記憶部１９が接続されている。

次に、図４に示すフローチャートを参照して、この実施の形態に係る電子カメラ１において画像データを生成する際の動作について説明する。

まず、制御部１３は、第１撮像素子７及び第２撮像素子９から出力され、信号処理部１１においてアナログ信号からデジタル信号に変換された撮像信号を、信号処理部１１から取得する（ステップＳ１０）。次に、制御部１３は、ステップＳ１０において取得した撮像信号に基づいて緑色（Ｇ）の輝度情報を生成する（ステップＳ１１）。

具体的には、緑色（Ｇ）のカラーフィルタが配置された画素から出力される撮像信号に基づいて緑色（Ｇ）の輝度情報を生成する。即ち、図５に示すように、第１撮像素子７の４つの画素７ａ〜７ｄのうち、緑色（Ｇ）のカラーフィルタが配置されている画素７ａ，７ｄから出力される撮像信号、及び第１撮像素子７の４つの画素７ａ〜７ｄに対応して設けられている第２撮像素子９の４つの画素９ａ〜９ｄのうち、緑色（Ｇ）のカラーフィルタが配置されている画素９ｂ，９ｃから出力される撮像信号に基づいて、緑色（Ｇ）の輝度情報を生成する。したがって、図５に示すように、４つの画素すべての撮像信号に基づいて、４つの画素すべての緑色（Ｇ）の輝度情報を生成することができる。

次に、制御部１３は、ステップＳ１０において取得した撮像信号に基づいて赤色（Ｒ）の輝度情報を生成する（ステップＳ１２）。具体的には、赤色（Ｒ）のカラーフィルタが配置された画素から出力される撮像信号に基づいて赤色（Ｒ）の輝度情報を生成する。即ち、図５に示すように、第１撮像素子７の４つの画素７ａ〜７ｄのうち、赤色（Ｒ）のカラーフィルタが配置されている画素７ｃから出力される撮像信号、及び第２撮像素子９の４つの画素９ａ〜９ｄのうち、赤色（Ｒ）のカラーフィルタが配置されている画素９ａから出力される撮像信号に基づいて、赤色（Ｒ）の輝度情報を生成する。したがって、図６に示すように、４つの画素のうち２つの画素の撮像信号に基づいて、２つの画素の赤色（Ｒ）の輝度情報を生成することができる。なお、残りの２つの画素の赤色（Ｒ）の輝度情報は、周囲の赤色（Ｒ）のカラーフィルタが配置されている画素から出力される撮像信号に基づいて補間演算により生成される。

次に、制御部１３は、ステップＳ１０において取得した撮像信号に基づいて青色（Ｂ）の輝度情報を生成する（ステップＳ１３）。具体的には、青色（Ｂ）のカラーフィルタが配置された画素から出力される撮像信号に基づいて青色（Ｂ）の輝度情報を生成する。即ち、図５に示すように、第１撮像素子７の４つの画素７ａ〜７ｄのうち、青色（Ｂ）のカラーフィルタが配置されている画素７ｂから出力される撮像信号、及び第２撮像素子９の４つの画素９ａ〜９ｄのうち、青色（Ｂ）のカラーフィルタが配置されている画素９ｄから出力される撮像信号に基づいて、青色（Ｂ）の輝度情報を生成する。したがって、図７に示すように、４つの画素のうち２つの画素の撮像信号に基づいて、２つの画素の青色（Ｂ）の輝度情報を生成することができる。なお、残りの２つの画素の青色（Ｂ）の輝度情報は、周囲の青色（Ｂ）のカラーフィルタが配置されている画素から出力される撮像信号に基づいて補間演算により生成される。

次に、制御部１３は、ステップＳ１１〜ステップＳ１３において生成された各色（緑色、赤色、青色）の輝度情報に基づいて、被写体像に基づく画像データを生成する（ステップＳ１４）。ステップＳ１４において生成された画像データは、撮影に関する情報と共にＥｘｉｆ等の所定の形式でバッファメモリ１５に一時的に記憶され、最終的には記憶部１９に記憶される。

この実施の形態に係る電子カメラにおいては、ハーフミラー５により被写体光を分岐し、ベイヤー配列であるが互いに異なる配列を有する２つの撮像素子により被写体光を撮像する。したがって、従来の撮像素子では緑色（Ｇ）の輝度情報は全画素の１／２、赤色（Ｒ）及び青色（Ｂ）の輝度情報は全画素の１／４しか撮像信号により生成されず、残りの画素の輝度情報については補間演算により生成していたが、この実施の形態に係る電子カメラによれば、緑色（Ｇ）の輝度情報は全画素、赤色（Ｒ）及び青色（Ｂ）の輝度情報は全画素の１／２が撮像信号により生成することができる。即ち、従来の１つの撮像素子を備えた電子カメラと比較して２倍の輝度情報を撮像信号により生成することができるため、解像度及び色再現性の高い画像を生成することができる。また、赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）のカラーフィルタを備えた３つの撮像素子を搭載するのと比較して、電子カメラ本体のコンパクト化及び低コスト化を図ることができる。

なお、この実施の形態においては、ハーフミラー５を用いて被写体光を分岐しているが、通常、ハーフミラーは、特定の方向に振動する光を多く含む光を透過させ、または反射させる偏光特性を有する。よって、ハーフミラー５に入射する被写体光はあらゆる方向に振動する光であるが、ハーフミラー５を透過する第１被写体光は特定の方向に振動する光を多く含み、ハーフミラー５により反射される第２被写体光は特定の方向と交差する方向に振動する光を多く含む場合がある。そこで、ハーフミラー５の偏光フィルタとしての機能を利用し、被写体光の偏光特性を抽出させることもできる。

具体的には、まず、第１撮像素子７から出力された撮像信号に基づいて各色（緑色、赤色、青色）の輝度情報を生成し、同様に、第２撮像素子９から出力された撮像信号に基づいて各色（緑色、赤色、青色）の輝度情報を生成する。そして、第１撮像素子７の所定の領域の輝度情報、及び第２撮像素子９の所定の領域の輝度情報のコントラスト比を求め、求めたコントラスト比が大きい場合には、第１被写体光または第２被写体光に所定の方向に振動する光が多く含まれているため、偏光の影響を多く受けていると判断する。偏光の影響を多く受けている場合とは、例えば、被写体に水面やガラス面が含まれている場合に水面やガラス面の反射による写り込みが生じている場合のこと等であり、所定の方向に振動する光にはこの水面やガラス面による反射成分が多く含まれている。このように、被写体光の偏光特性を抽出し、抽出された偏光特性を考慮して、画像データの階調補正を行うとよい。この場合には、ハーフミラー５が有する偏光特性を利用して、水面やガラス面による反射成分が多く含まれている光を除去することができ、高精度な階調補正を行うことができる。

実施の形態に係る電子カメラのシステム構成を示すブロック図である。 実施の形態に係る第１撮像素子の構成を示す図である。 実施の形態に係る第２撮像素子の構成を示す図である。 実施の形態に係る電子カメラにおける画像データを生成する際の動作について説明するためのフローチャートである。 緑色の輝度情報の生成について説明するための図である。 赤色の輝度情報の生成について説明するための図である。 青色の輝度情報の生成について説明するための図である。

符号の説明

１…電子カメラ、３…撮影レンズ、５…ハーフミラー、７…第１撮像素子、９…第２撮像素子、１１…信号処理部、１３…制御部、１５…バッファメモリ、１７…表示部、１９…記憶部、２１…操作部、２３…バス。

Claims (2)

1. 被写体光を第１被写体光及び第２被写体光に分岐する光分岐部と、
   ベイヤー配列により、緑色、赤色、青色のカラーフィルタを配置し、前記第１被写体光を撮像する第１撮像素子と、
   ベイヤー配列により、前記第１撮像素子の緑色のカラーフィルタの配列方向とほぼ直交する方向へ緑色のカラーフィルタを配置し、前記第２被写体光を撮像する第２撮像素子と、
   前記第１撮像素子及び前記第２撮像素子から出力される撮像信号に基づいて画像データを生成する画像データ生成部と、
   を備えることを特徴とする画像生成装置。
2. 前記第１撮像素子及び前記第２撮像素子は、光学的に共役な位置に配置されることを特徴とする請求項１記載の画像生成装置。

Images