JP2010183158A - 撮像装置 - Google Patents

Abstract

【課題】全画素独立読み出し時のＲＧＢベイヤー処理と、隣接４画素混合時のカラー化との両立を実現する。
【解決手段】カラーフィルタ配列を工夫し、かつ撮像素子の出力に補正をかける手段を設ける。動画撮影のための隣接４画素混合時には異なる３以上の色を生成し、静止画撮影のための全画素独立読み出し時には撮像素子の出力に補正をかけることでＲＧＢベイヤーフィルタと等価な出力を生成できるようにする。
【選択図】図８

Description

本発明は、デジタルスチルカメラ（ＤＳＣ）、ビデオムービー、携帯電話等で使用される撮像装置に関し、特に静止画と動画との両方を扱う撮像装置に関するものである。

近年、ＤＳＣ、ビデオムービー、携帯電話等において、静止画と動画との両方を扱う撮像機器が増加してきている。静止画と動画では求められる画素数が異なるため、これらの撮像機器では動画時は撮像素子の画素を間引く、又は混合する等の処理により、画素数を減らし、同時に動画に求められる高いフレームレートを実現している。

特許文献１には、同色の画素を混合し、例えば１／９に画素数を減らす技術が開示されている。同色の画素を混合するために飛び越し画素混合となるが、ＣＣＤ型撮像素子の電極を工夫することで実現し、同時に水平・垂直を奇数画素混合とすることにより、混合後の重心の均等性を確保している。

同色画素混合は、混合後も混合前と同じ色が得られる反面、同色のカラーフィルタの画素のみの混合となるため、カラーフィルタパタンの制約を受け、自由な混合が難しいという問題がある。

特許文献２には、異色画素混合技術が開示されている。これは、ＣＣＤ型撮像素子においてカラーフィルタを工夫することで異色画素混合でもカラー化を可能にしたものである。特に従来のＲＧＢベイヤー配列のカラーフィルタは２×２のパタンであるため、隣接４画素を混合すると１色しか得られないが、３×１又は３×２のパタンでカラー化する方法を開示している。

特許文献３には、静止画撮影時のダイナミックレンジを拡大する技術が開示されている。これは、ｎを２以上の整数とするとき、レンズからの入射光を１／ｎにカットする減光フィルタを撮像素子に画素単位で市松模様に貼り付け、この撮像素子から出力される画像データのうち、減光フィルタのかかっている画素のデータをｎ倍して、周囲の画素と平均化するというものである。
特開２００４−３１２１４０号公報 特開２００３−１１６０６１号公報 特開２００２−１１２１１０号公報

カラーフィルタ配列を変更すれば、混合後だけでなく、混合前の静止画時においても、従来のカラーフィルタに対応した画像処理方法が使用できなくなる。従来、一般的なＤＳＣにおいてはＲＧＢベイヤー配列のカラーフィルタが用いられ、それに対応した画像処理によりＹ（輝度）信号及びＣ（色差）信号を得て、これをＪＰＥＧ方式で圧縮して記録画像を得る仕組みが一般的に採用されている。

ＲＧＢベイヤー方式は最も歴史の古い単板カメラのカラー化手法であり、その高画質化技術の蓄積は大きな技術資産となっており、それを捨て去ることは多大な不利益をもたらす。特に高い画質が要求される静止画処理を考慮すると、混合前の画像処理はＲＧＢベイヤー処理が使えることが望ましい。

本発明は、上記の問題点に鑑みてなされたものであり、上記の異色画素混合時のカラー化を実現するにあたり、簡単な補正処理を加えるだけで全画素独立読み出し時は従来のＲＧＢベイヤー処理が使えるという特徴を有する新たなカラーフィルタパタンとその処理方法を提供することを目的とするものである。

加えて、ダイナミックレンジを拡大するという新たな価値を提供することも、本発明の目的とするところである。

上記の目的を達成するために、本発明に係る撮像装置は、被写体の像を光電変換するために水平方向及び垂直方向に各々画素として配列された複数の光電変換部を有する撮像素子と、前記撮像素子の水平方向及び垂直方向に隣り合う４画素の電荷を混合して出力するための混合手段と、前記４画素混合を行わずに全画素の信号を独立して出力する動作モードと、前記４画素混合後の信号を出力する動作モードとを選択制御するための制御手段とを備えた撮像装置であって、前記両モードのいずれにおいても３つ以上の独立した色信号が得られるカラーフィルタ配列が前記撮像素子に設けられ、前記全画素の信号を独立して出力する動作モード時にはＲＧＢベイヤー処理が行えるように前記撮像素子の出力を補正する補正手段を更に備えたことを特徴としている。

具体的には、カラーフィルタ配列はＲＧＢベイヤー配列に所定のパタンで透過率に変調を与えたものであることを特徴としている。

また、補正手段はＲＧＢベイヤー配列に与えた所定の透過率の変調パタンをキャンセルするように画素単位でゲインをかけるという簡単な方法で通常のＲＧＢベイヤー処理を行うことができるという特徴を有する。

また、カラーフィルタ配列上の透過率の高い画素が飽和した場合、飽和していない画素のみを使って補間を行った後、ＲＧＢベイヤー処理を行うことによりダイナミックレンジの拡大を図ることができる。

また、４画素混合時は、水平方向の２画素の混合の組み合わせを垂直方向に混合する２行単位で行毎に変更することで、独立した３色以上の色信号を得ることができ、隣接４画素混合時でもカラー化を図ることができるという特徴を有する。

本発明に係る撮像装置は、隣接４画素混合モードと全画素独立読み出しモードとを持つので、静止画時は全画素を用いて高精細な画像を生成することができ、動画時は隣接４画素混合によりフレームレートを高めることで動画を得ることができる。静止画時は簡単な補正処理により従来のＲＧＢベイヤー配列と等価なカラーフィルタパタンに変換でき、これまでの高画質化技術がそのまま使え、従来同等の高画質静止画を簡単に得ることができる。加えてダイナミックレンジの拡大も行えるため、従来以上の高画質静止画を得ることができる。また、動画時は隣接の４画素を混合するので撮像素子の混合手段を簡素にすることができるとともに、画素混合の範囲が同色画素混合時と比べて狭いため周波数特性に優れ、従来よりも高解像度の動画を実現することができる。

図１は、本発明の実施形態に係る撮像装置であるデジタルスチルカメラ（ＤＳＣ）の全体構成を示している。このＤＳＣは、光学系のレンズ１０１と、ＣＣＤ等の撮像素子１０２と、撮像素子駆動部１０３と、アナログ信号処理部１０４と、アナログ・デジタル変換部１０５と、デジタル信号処理部１０６と、画像圧縮伸長部１０７と、画像記録部１０８と、画像表示部１０９とで構成される。

図１のＤＳＣによれば、レンズ１０１を通過した被写体の像は撮像素子１０２に結像される。撮像素子１０２は、撮像素子駆動部１０３により駆動されて光電変換を行い撮像信号を出力する。次に、アナログ信号処理部１０４はノイズ除去や増幅等の処理を行い、アナログ・デジタル変換部１０５が撮像信号をデジタル信号に変換する。デジタル信号処理部１０６はデジタル化された撮像信号を入力し、輝度信号（Ｙ）と色信号（Ｃ）とからなる画像信号を生成する。この画像信号を受け取った画像表示部１０９は画像を表示する。この画像表示と並行して、画像圧縮伸長部１０７はデジタル信号処理部１０６から受け取った画像信号を圧縮し、画像記録部１０８に圧縮された画像データが記録される。この画像記録部１０８に記録された画像データを画像圧縮伸長部１０７で伸長し、デジタル信号処理部１０６を介して画像表示部１０９に画像を再生することもできる。

以下、図１のＤＳＣの静止画撮影モードと動画撮影モードとの各々における動作を説明する。

〈静止画撮影モード〉
静止画撮影モードは、撮像素子１０２の全画素の信号を独立して出力する「全画素読み出し」モードである。撮像素子駆動部１０３による撮像素子１０２の読み出し方法は既に公知の技術であるため、詳しい説明は割愛する。

図２に、本発明における撮像素子１０２のカラーフィルタ配列を示す。２×２を単位とする２種類のパタンからなる４×２を基本配列とする。２種類のパタンは基本をＲＧＢベイヤー配列としながらも、透過率を変更している。２０１に示したパタンＡは、Ｇ画素が通常の透過率だが、ＲとＢ画素の透過率を１／２にしている。２０２に示したパタンＢはＲとＢ画素が通常の透過率だが、Ｇ画素の透過率を１／２としている。

撮像素子１０２から出力された信号は、アナログ信号処理部１０４及びアナログ・デジタル変換部１０５を経て、デジタル信号処理部１０６に入力される。

図３に、デジタル信号処理部１０６における静止画処理のための構成例を示す。従来のＲＧＢベイヤー処理部３０４に加えて、ゲイン補正部３０１、高輝度補間部３０２、合成部３０３が追加されている。

図４に、ゲイン補正部３０１の処理を示す。パタンＡではＲ画素とＢ画素とを２倍に増幅し、パタンＢではＧ画素を２倍に増幅する。これにより、通常のＲＧＢベイヤー配列と等価になるため、従来のＲＧＢベイヤー処理部３０４が使用できるようになる。

図５は、付加機能となるダイナミックレンジ拡大の仕組みを示したものである。横軸が撮像素子１０２への入力露光量、縦軸が撮像素子１０２の出力である。通常の透過率のカラーフィルタでは入力と出力との関係はグラフ５０１となる。すなわち、低輝度側の領域Ｘでは入力露光量に対して出力が比例して増加するが、高輝度側の領域Ｙでは出力が飽和設定レベル５０３と等しい一定出力となる。それに対し１／２の透過率のカラーフィルタではグラフ５０１と比較して傾きが１／２となり、領域Ｘ及び領域Ｙで単調増加するグラフ５０２となる。すなわち、出力の飽和設定レベル５０３を考慮して、通常のＲＧＢベイヤー配列では領域Ｘの露光域しか再現できないが、本発明の方式の場合、領域Ｙの露光域も再現でき、ダイナミックレンジが２倍になったことになる。

図６に、具体的な処理を示す。１／２の透過率のカラーフィルタの出力（グラフ５０２）は、ゲイン補正部３０１により２倍に増幅され、グラフ６０１になる。領域Ｘにおいては通常の透過率のカラーフィルタと、１／２の透過率のカラーフィルタとの両方の出力を使用し、通常のベイヤー処理を行い画像を生成する。領域Ｙにおいては通常の透過率のカラーフィルタは飽和して使用できないため、１／２の透過率のカラーフィルタの出力のみを使用して画像を生成する。そのため、図３に示した高輝度補間部３０２による補間処理が必要となり、図７に示すように２×２のパタンを単位として補間処理を行い、全画素を生成する。また通常中間階調を重視して高輝度部は、いわゆるニー処理により圧縮するので、入力と出力との関係を示すグラフの傾きは小さくなり、結果として全体としてはグラフ６０２のようになる。これにより、飽和設定レベル５０３よりも大きい出力最大値６０４を実現できる。以上のように領域Ｘ及び領域Ｙの各々にて画像を合成して出力するのが、合成部３０３の役割である。

〈動画撮影モード〉
動画撮影モードでは、隣接の４画素を混合して読み出すモードとなる。本発明では、前記カラーフィルタ配列と画素混合の組み合わせによって、隣接４画素混合時でも異なる３種類以上の色を得ることができることが最大の特徴である。

撮像素子１０２及び撮像素子駆動部１０３において隣接４画素混合を行う具体的な方法は公知であり、特にＣＣＤ型撮像素子における詳細方法は特許文献２に記載されているので、説明を割愛する。

図８に、本発明における隣接４画素混合時の色信号生成方法を示している。パタンＡ（８０１）、パタンＢ（８０２）で混合するモードと、１画素水平方向にずらしてパタンＣ（８０３）、パタンＤ（８０４）で混合するモードとを１行毎に切り替える。そして上下で差分を取る。

すると、図８に示すように４種類の色差信号８０５、すなわち、
(1) パタンＡ−パタンＣ＝（2G＋0.5R＋0.5B）−（1.5G＋R＋0.5B）＝−0.5（R−G）
(2) パタンＢ−パタンＣ＝（G＋R＋B）−（1.5G＋R＋0.5B）＝0.5（B−G）
(3) パタンＢ−パタンＤ＝（G＋R＋B）−（1.5G＋0.5R＋B）＝0.5（R−G）
(4) パタンＡ−パタンＤ＝（2G＋0.5R＋0.5B）−（1.5G＋0.5R＋B）＝−0.5（B−G）
が順番に得られる。１画素毎にＲ系とＢ系の色差信号が得られ、かつ２画素毎にそれらが反転する。これにより、隣接４画素混合を行う動画撮影時もカラー化が可能となる。

なお、図８においては矢印を使って、色差信号の発生を模式的に示している。矢印で結んだ混合後の画素間の演算により色差信号が発生し、矢印が示す側の混合された画素が正の要素となる。

図９に示すように、隣接画素混合は飛び越し画素混合よりも周波数特性に優れ、動画時においても高解像度を実現することができるという特徴を有する。隣接画素混合時はナイキスト周波数（ｆ０）をゼロ点とするローパスフィルタ（グラフ９０１）となるが、１画素飛び越しの画素混合時は１／２ナイキスト周波数（ｆ０／２）をゼロ点とするローパスフィルタ（グラフ９０２）となるので、１／２ナイキスト周波数（ｆ０／２）付近の高域信号が失われるのである。

なお、本実施形態では透過率の具体的な変調方法として１／２の透過率の画素を一定のパタンで配置する例のみを説明しているが、透過率は１／２に限られたものではなく、また、配置パタンも本実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲で様々な実施形態を取り得る。

以上のとおり、本発明に係る撮像装置は、高画質動画と高精細静止画とを両立させ、特に静止画については従来の画像処理が適用できることにより、画像処理として新たな処理を設けることなく従来同等の画質を保持しながら、更にダイナミックレンジの拡大という新規の価値をもたらす。また動画については解像度特性に優れた隣接画素混合におけるカラー化を可能とする。結果として、動画及び静止画の両方において従来よりも優れた撮像装置を実現でき、有用性は極めて高い。

本発明の実施形態に係る撮像装置の全体構成を示すブロック図である。 図１中の撮像素子のカラーフィルタ配列図である。 図１中のデジタル信号処理部の静止画処理のための構成図である。 図３中のゲイン補正部の動作説明図である。 図２の構成によるダイナミックレンジ拡大の概略説明図である。 図２の構成によるダイナミックレンジ拡大の詳細説明図である。 図３中の高輝度補間部の動作説明図である。 図１の撮像装置における動画撮影時の色信号抽出処理の説明図である。 隣接画素混合と飛び越し画素混合との周波数特性比較図である。

１０１ レンズ
１０２ 撮像素子
１０３ 撮像素子駆動部
１０４ アナログ信号処理部
１０５ アナログ・デジタル変換部
１０６ デジタル信号処理部
１０７ 画像圧縮伸張部
１０８ 画像記録部
１０９ 画像表示部
２０１，２０２ カラーフィルタ配列における２種類の２×２パタン
３０１ 静止画用のゲイン補正部
３０２ 静止画用の高輝度補間部
３０３ 静止画用の合成部
３０４ 静止画用のＲＧＢベイヤー処理部
５０１ 通常の透過率の画素の入力露光量と出力との関係を示したグラフ
５０２ 通常の１／２の透過率の画素の入力露光量と出力との関係を示したグラフ
６０１ 通常の１／２の透過率の画素を２倍に増幅した時の入力露光量と出力との関係を示したグラフ
６０２ 合成部からの出力と入力露光量との関係を示したグラフ
８０１〜８０４ 隣接４画素混合時に混合されるカラーフィルタパタン
８０５ 色差信号
９０１ 隣接画素混合時の周波数特性を示したグラフ
９０２ １画素の飛び越し画素混合時の周波数特性を示したグラフ

Claims (7)

1. 被写体の像を光電変換するために水平方向及び垂直方向に各々画素として配列された複数の光電変換部を有する撮像素子と、
   前記撮像素子の水平方向及び垂直方向に隣り合う４画素の電荷を混合して出力するための混合手段と、
   前記４画素混合を行わずに全画素の信号を独立して出力する動作モードと、前記４画素混合後の信号を出力する動作モードとを選択制御するための制御手段とを備えた撮像装置であって、
   前記両モードのいずれにおいても３つ以上の独立した色信号が得られるカラーフィルタ配列が前記撮像素子に設けられ、
   前記全画素の信号を独立して出力する動作モード時にはＲＧＢベイヤー処理が行えるように前記撮像素子の出力を補正する補正手段を更に備えたことを特徴とする撮像装置。
2. 請求項１記載の撮像装置において、
   前記全画素の信号を独立して出力する動作モード時には補正をかけることでダイナミックレンジの拡大が行えるダイナミックレンジ拡大手段を更に備えたことを特徴とする撮像装置。
3. 請求項１記載の撮像装置において、
   前記カラーフィルタ配列はＲＧＢベイヤー配列に所定のパタンで透過率に変調を与えたものであることを特徴とする撮像装置。
4. 請求項１記載の撮像装置において、
   前記カラーフィルタ配列は２種類の２×２のカラーフィルタパタンを持ち、１つはＧのカラーフィルタに対しＲとＢのカラーフィルタの透過率を下げたパタンであり、もう１つはＲとＢのカラーフィルタに対しＧのカラーフィルタの透過率を下げたパタンであることを特徴とする撮像装置。
5. 請求項３記載の撮像装置において、
   前記補正手段は、前記ＲＧＢベイヤー配列に与えた所定の透過率の変調パタンをキャンセルするように画素単位でゲインをかけることを特徴とする撮像装置。
6. 請求項２記載の撮像装置において、
   前記ダイナミックレンジ拡大手段は、ＲＧＢベイヤー配列に所定のパタンで透過率に変調を与えたカラーフィルタ配列上の透過率の高い画素が飽和した場合、飽和していない画素のみを使って補間を行った後、前記ＲＧＢベイヤー処理を行うことを特徴とする撮像装置。
7. 請求項１記載の撮像装置において、
   前記４画素混合時には、水平方向の２画素の混合の組み合わせを垂直方向に混合する２行単位で行毎に変更することで、独立した３色以上の色信号を得ることを特徴とする撮像装置。

Images