JP2007259337A - 撮像装置および画像処理方法 - Google Patents

Abstract

【課題】画像の減感補正を行なっても、ホワイトバランス補正による良好な画像を得ることのできる撮像装置および画像処理方法の提供。
【解決手段】撮像装置は、主画素・副画素に対応する高低２種類の感度を有するフォトダイオードを含む撮像部から成る。Ｇ（Green）色の主画素出力信号に、副画素の出力信号をゲインアップして加算する。これにより、主画素Ｇの飽和点に対応する露光量Ｅを超える露光量に対しても、「副画素データ」が上乗せされ、有効な出力を示すことができる。Ｒ（Red），Ｂ（Blue）色の主画素に対しても同様の処理を行なった後、点線75に適合するよう、減感補正を行なうと、飽和点までＲＧＢすべての色の信号が反映された出力が得られる。したがって、ホワイトバランス補正を行なっても、ハイライト部でも色つきのない良好な画像を生成することができる。
【選択図】図５

Description

本発明は、主画素・副画素に対応する２種類の感光部を含み、２種類の画像信号を出力する撮像装置および画像処理方法に関するものである。

特許文献１に示すように、相対的に感度の高い光電変換素子を用いて得られる高出力信号と、相対的に感度の低い光電変換素子を用いて得られる低出力信号とを合成し、ダイナミックレンジを拡大した画像信号を得る撮像装置が提案されている。

ところで、カラーフィルタが設けられ、Ｒ（Red）Ｇ（Green）Ｂ（Blue）の各色に対応した光電変換素子の感度と、光源の色温度とにより、ＲＧＢそれぞれに露光量および飽和の関係が異なる。その場合、減感補正を行なうと、シーンのうち輝度の高いハイライト部において、ホワイトバランスがとれず、色味がついてしまうことがある。

また、特許文献２によれば、ホワイトバランス情報により露出制御し、いわゆる露出アンダーの状態でシーン撮影することにより、画素を構成する光電変換素子が早期に飽和しないようにし、色温度追従性能を向上させる等の処理も提案されているが、結果的に露出制御は行なわれるため、明るさが適正にならない等の問題がある。
特開２００４−５６５６８号公報 特開２００４−９６６３３号公報

本発明はこのような課題に鑑み、ＲＧＢそれぞれに異なる露光量および飽和の関係にも拘らず、減感補正を行なっても、ホワイトバランスが適切にとれ、良好な画像信号を生成することの撮像装置および画像処理方法を提供することを目的とする。

本発明は、上述の課題を解決するために、第１の感光部と、第１の感光部より感度の低い第２の感光部とで構成される画素を撮像面に２次元的に配列した撮像装置において、第１の感光部を飽和させる露光量における出力信号と、かかる露光量における第２の感光部の出力信号とを、所定の比で合成する合成手段と、合成された出力信号を減感補正する減感補正手段とを含み、これによって、出力信号のS/N（Signal/Noise）比を向上させる。

本発明によれば、撮像部のＲＧＢそれぞれの画素によって異なる露光量および飽和の関係にも拘らず、減感補正を行なっても、ホワイトバランスが適切にとれ、S/N比の改善された良好な画像信号を生成することができる。

次に添付図面を参照して本発明による撮像装置および画像処理方法の実施例を詳細に説明する。

図１は本発明による撮像装置の実施例であるデジタルカメラのブロック図であり、図１に示すデジタルカメラ10は撮像部12を有する。撮像部12はフォトダイオードが光電変換した電荷をCCD（Charge Coupled Device; 電荷結合素子）によって転送し、出力する方式としてよい。図２は図１に示す撮像部12の撮像面に配列されたフォトダイオードを表す図である。フォトダイオードには主画素および副画素の２種類があり、図２に示すように、主画素の右上にそれに対応する副画素が配列された方式に従っている。したがって、主画素14にのみ注目すると、それらはベイヤ配列に従っていて、副画素16にのみ注目してもベイヤ配列に従っている。このような配列を本実施形態では一例として説明する。なお、本発明はこのような配列にのみ限定されるものではなく、目的や設計に応じて任意に好適な配列を適用することができるのは言うまでもない。主画素14および副画素16は、それぞれ、受光面積に広狭の差があり、前者は感度が高く後者は感度が低い。また、各画素には図２に示すようにＲＧＢのカラーフィルタが設けられていて、各色に対応した信号電荷を出力する。

図３は図２に示す主画素14・副画素16の出力特性を示すグラフである。図３に示すように、副画素16は、主画素14と飽和点は同じレベルであるが、感度は1/4であるため、主画素14の４倍の露光量に対しても、有効に出力が可能である。したがって、主画素14・副画素16から出力される高出力信号および低出力信号を、シーンの輝度値に応じて滑らかに合成することにより、最大400%のダイナミックレンジを有する画像信号を作成することができる。

カメラ10は図１に示す通り積算部90を含み、これは前処理部40の出力信号から、シーンの色温度を検出し、色温度が高低いずれかに偏っているかを判定して信号処理部20に判定結果を供給できるシーン判別機能を有する。

カメラ10は図１に示す通り信号処理部20を含み、これは撮像部12から到来する出力信号に所定の画像処理を施す部位である。図４は図１に示す信号処理部20の詳細の一例を示す機能ブロック図である。本実施例における信号処理部20の特徴は、図４に示すように、主画素信号および副画素信号に、上述のシーン判別結果に応じた合成処理70を受けさせた後に、ホワイトバランス補正54を受けさせることである。

ここで合成処理70にて行なわれる減感補正について説明する。図５は従来の減感補正と、本発明における減感補正とを比較する図である。図５(c)に示すように、本発明の実施例では、合成処理70にて、ＲＧＢの各色の主画素出力信号と、副画素出力信号とを合成した後に、減感補正を行なう。すなわち、図５(c)に示す飽和点において、ＲＧＢいずれの色の主画素も飽和し、それ以上の露光量に対して有効な出力を行なうことはできない。そこで、各色の主画素の飽和点に対応する露光量よりさらに高い露光量に対しても有効な出力を行なうことができる、副画素の出力信号を、主画素出力信号に加算する。例えば色Ｇのケースで説明すると、副画素の感度は、本実施例の場合、図３において説明したように、主画素の1/4であるため、図５(c)に示す露光量Ｅ以上の露光量に対して副画素Ｇが出力する信号を、４倍にゲインアップして主画素出力信号に加算する。すると、図５(c)に示すように、露光量Ｅを超える露光量に対しても、「副画素データ」が上乗せされ、有効な出力を示すことができる。

このように、合成処理70において、色Ｇだけでなく、色Ｂ，Ｒに対しても、飽和点を超える露光量については、副画素出力をゲインアップして主画素出力に加算する。その結果、図５(c)に示すように、ＲＧＢすべての色に対して、「副画素データ」として示す信号出力が上乗せされる。しかる後、点線75に適合するよう、減感補正を行なうと、図５(d)に示すように、飽和点までＲＧＢすべての色の信号が反映された出力が得られる。したがって、ホワイトバランス補正を行なうと、ハイライト部でも色つきのない良好な画像を生成することができる。

一方、従来の減感補正では、上述のような合成処理70が行なわれないまま減感補正が行なわれる。すなわち、図５(a)に示すように、飽和点を超えると有効な出力信号が存在しないため、点線77に適合するよう減感補正を行なうと、図５(b)に示すように、露光量Ｅ以上の露光量に対する出力信号には、Ｇ画素出力が全く存在しないし、Ｂ画素出力、Ｒ画素出力も部分的に失われている。このように、各色の飽和によって、露光量Ｅ以上のハイライト部分では色データが失われているため、ホワイトバランスがとれず、色味がついてしまう。

図６は、図４に示す合成処理70その他の処理を実行するパーソナルコンピュータ（以下「パソコン」と表記する）を示す図である。すなわち、図４に示す合成処理70をはじめとする各種処理は、必ずしもカメラ10の信号処理部20で行なう必要はなく、事後的にパソコン65で行なってもよい。具体的には、図１に示すデジタルカメラ10において撮像部12から得られ、前処理部40にて前処理を受け、バッファメモリ44を介してストレージ50に保存されるCCDRAW、すなわち生データを、図６に示すパソコン65に付け替えたストレージ50を介してパソコン65のCPU（Central Processing Unit）67に読みこみ、同CPU 67にて図４と同様の処理を行なってもよい。ユーザは、図１に示すデジタルカメラ10のモニタ30にて画像を確認した後、例えば現像処理をする際に、デジタルカメラ10からパソコン65へ生データを移し、図４の合成処理にて行なわれるのと同様の減感補正をすることが可能である。

図８は図６に示すパソコンの表示装置に表示される、減感補正時のグラフィカル・ユーザ・インターフェース（Graphical User Interface; GUI）を示す図である。また、図９は同パソコンにて行なう減感補正のフローチャートである。図８および図９を用いて、パソコンを用いた減感補正の流れについて説明する。表示装置69は、液晶表示装置その他の表示装置としてよく、画面左側に画像ファイルその他のファイルの記録場所をツリー構造のフォルダで示すフォルダ表示部100がある。画面中央にはGUIにて選択した画像ファイルを表示する画像表示部102がある。画面右側には画質調整の方法を決定する画質調整部104が設けられている。そして画面下部には、表示中の画像と同一のフォルダに記録されている画像をサムネイル表示するサムネイル表示部106がある。なお、表示装置69の画面に表示されるGUIは一例にすぎず、様々なレイアウトや表示項目を設けてもよいということは言うまでもない。

図９を用いて減感補正を行なう流れについて説明する。ユーザは、フォルダ表示部100を参照して画像ファイルを探す。その際、現在参照中のフォルダ内に存在する画像ファイルは、すべてサムネイル画像としてサムネイル表示部106に表示されるため、これを参照すれば、ユーザは画像ファイルの選択を便利に行なうことができる。ユーザがキーボード71やマウスなどのポインティングデバイス（図示しない）を用いて画像を選択すると、その画像は画像表示部102に表示される。

ユーザは続いてステップS122において画質調整部104を操作することにより、減感補正の方法を選択可能である。例えば、従来の減感補正を行なうか、本発明による減感補正を行なうか、を選択できる。また、減感補正だけでなく、増感補正を行なうなどの選択肢を画質調整部104に設けてもよい。ユーザは画質調整部104のGUIにより、選択した画像調整方法にて、画像調整を実行可能である。

ユーザが画質調整を実行すると、ステップS122に進み、本発明による減感補正が選択されたか否かが判断される。選択されていた場合には、ステップS124に進み、図５(c)に示した合成処理を行ない、さらにステップS126に進んで図５(d)に示した減感処理演算を行なう。一方、本発明による減感補正が選択されていなかった場合には、ステップS126に直接進み、図５(a)(b)にて説明した従来の減感補正が行なわれる。

図７は、図１に示す撮像部12の他の画素配列方式を示す図である。撮像部12は、図７(a)に示す単板CCDによるハニカム方式でもよいし、図７(b)(c)に示す配列を積層して作った多板CCDによるハニカム方式でもよい。またベイヤ方式でもよい。

以下、本発明の実施例を構成する他の要素について説明する。図１の光学系32は、被写界からの光を撮像部12へ集光する部位であり、図示しないレンズ、絞り、AF（Auto Focus）機能および絞り調節機構を有する。撮像部12はこれに電荷転送用の駆動信号を供給するドライバ34に接続されている。ドライバ34はタイミング信号発生器36に接続されていて、タイミング信号発生器36は、ドライバ34が駆動信号を生成するのに必要なタイミングパルスをドライバ34に与える。タイミング信号発生器36は、システム制御部38に接続されていて、制御部38は、タイミング信号発生器36その他の要素を制御する。制御部38はその他、前処理部40も制御し、前処理部40は、相関二重サンプリング（Correlated Double Sampling: CDS）回路、ゲイン調整アンプ（GCA: Gain-Controlled Amplifier）およびA/D変換器（Analog-to-Digital Converter）等の前処理を行なう各種回路を含む。システム制御部38は操作部18にも接続されていて、操作部18からの操作信号に基づいて、各要素を制御する。システム制御部38は、ストロボ42に接続されていて、ストロボ42はその有する光源を発光させ、撮像時に被写体に光を照射する要素である。前処理部40で処理された画像信号は、揮発性または不揮発性の記録装置であるバッファメモリ44に送られ、ここに一時的に保存された後、システムバス46を介して信号処理部20に送られ、図４に示す各種画像処理を受ける。

システムバス46には、バッファメモリ44および信号処理部20の他、システム制御部38、ストレージインターフェース回路48が接続されている。システム制御部38は、バス46に接続された各要素を制御可能である。ストレージインターフェース回路48には、ストレージ50が接続されていて、ストレージ50は、信号処理部20によって所定の処理を受けた画像信号を記録する外部記録装置である。

図４における処理について説明を補足する。図４に示すように、主画素14からの主画素信号と、副画素16からの副画素信号とは、それぞれ、オフセット補正52A、52Bまでは、同一の画像処理を個別に受け、図５を用いて説明した合成処理70の後は、合成された信号が各種処理を受ける。オフセット補正52A、52Bはオフセット誤差を補正する処理である。ホワイトバランス補正54は、画像上で、白、グレー、黒のように本来無彩色の部分を無彩色に修正することにより、画像全体のカラーバランスを調整する処理であり、トーンカーブのＲ、Ｇ、Ｂのレベルを個別に明るさ調整することにより行なう。リニアマトリクス処理56は、色マトリクス処理により、色相、色飽和特性を調整し、色再現性を向上させ、肉眼に近い自然な色調を得る処理である。ガンマ補正58は、供給されるデジタル画像データをルックアップテーブルのデータを用いてガンマ補正する処理である。ＲＧＢ補間処理26は、ある画素に対して、存在しない色について考慮しながら、補間して各画素にてＲＧＢ三原色すべてを求める処理である。色差マトリクス処理60は、ＲＧＢ信号を輝度信号および色差信号（Y/R-Y/B-Y）にマトリクス変換する処理である。トリミング・リサイズ処理62は、画像のトリミングおよび所定の拡大・縮小を行なう処理である。輪郭補正64は、映像の輪郭（シャープネス）を調整する処理である。画像圧縮処理66は、画像データをJPEG（Joint Photographic coding Experts Group）等の規格で圧縮処理を施す処理である。記録制御処理68は、画像信号を、ストレージ50に記録可能な所定の画像ファイルに変換する処理である。

本発明による撮像装置の実施例であるデジタルカメラのブロック図である。 図１に示す撮像部の撮像面に配列されたフォトダイオードを表す図である。 図２に示す主画素・副画素の出力特性を示すグラフである。 図１に示す信号処理部の一例を示す詳細な機能ブロック図である。 従来の減感補正と、本発明における減感補正とを比較する図である。 図４に示す処理を実行するパソコンを示す図である。 図１に示す撮像部の他の画素配列方式を示す図である。 図６に示すパソコンの表示装置に表示される、減感補正時のグラフィカル・ユーザ・インターフェースを示す図である。 図６に示すパソコンにて行なう減感補正のフローチャートである。

符号の説明

10 デジタルカメラ
12 撮像部
20 信号処理部
38 システム制御部
70 合成処理
90 積算部

Claims (7)

1. 第１の感光部と、第１の感光部より感度の低い第２の感光部とで構成される画素を撮像面に２次元的に配列した撮像装置において、該装置は、
   第１の感光部を飽和させる露光量における出力信号と、該露光量における第２の感光部の出力信号とを、所定の比で合成する合成手段と、
   該合成された出力信号を減感補正する減感補正手段とを特徴とする撮像装置。
2. 請求項１に記載の撮像装置において、前記合成手段による出力信号の合成と、前記減感補正手段による減感補正は、Ｒ（Red）Ｇ（Green）Ｂ（Blue）のうち、第１および第２の感光部に対応する色に応じて行なわれることを特徴とする撮像装置。
3. 請求項１または２に記載の撮像装置において、第１および第２の感光部の配列方式は、単板式または多板式であり、ハニカム方式またはベイヤ方式であることを特徴とする撮像装置。
4. 請求項１ないし３のいずれかに記載の撮像装置において、該撮像装置は、デジタルカメラであることを特徴とする撮像装置。
5. 請求項１ないし３のいずれかに記載の撮像装置において、該撮像装置は、携帯電話機であることを特徴とする撮像装置。
6. 第１の感光部と、第１の感光部より感度の低い第２の感光部とで構成される画素を撮像面に２次元的に配列した撮像装置を用いる画像処理方法において、該方法は、
   第１の感光部を飽和させる露光量における出力信号と、該露光量における第２の感光部の出力信号とを、所定の比で合成する合成工程と、
   該合成された出力信号を減感補正する減感補正工程とを含むことを特徴とする画像処理方法。
7. 請求項６に記載の方法において、前記合成工程と、前記減感補正工程とは、Ｒ（Red）Ｇ（Green）Ｂ（Blue）のうち、第１および第２の感光部に対応する色に応じて行なうことを特徴とする画像処理方法。