JP2004015772A - 撮像装置 - Google Patents
撮像装置 Download PDFInfo
- Publication number
- JP2004015772A JP2004015772A JP2002170791A JP2002170791A JP2004015772A JP 2004015772 A JP2004015772 A JP 2004015772A JP 2002170791 A JP2002170791 A JP 2002170791A JP 2002170791 A JP2002170791 A JP 2002170791A JP 2004015772 A JP2004015772 A JP 2004015772A
- Authority
- JP
- Japan
- Prior art keywords
- thinning
- color
- read
- image
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
- H04N23/843—Demosaicing, e.g. interpolating colour pixel values
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
- H04N25/42—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by switching between different modes of operation using different resolutions or aspect ratios, e.g. switching between interlaced and non-interlaced mode
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
- H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
- H04N25/445—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by skipping some contiguous pixels within the read portion of the array
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
- H04N25/46—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by combining or binning pixels
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Color Television Image Signal Generators (AREA)
- Blocking Light For Cameras (AREA)
- Solid State Image Pick-Up Elements (AREA)
Abstract
【課題】高解像度の撮像素子から比較的高速なフレームレートで動画像を読み出しても偽信号が発生しないようにした撮像装置を提供する。
【解決手段】間引き読み出し可能な単板カラー撮像素子１０２ と、読み出し態様を制御する駆動制御回路１０４ と、撮像素子から間引き読み出しした信号を補間して縮小画像を生成する間引き補間回路１０５ と、通常読み出しした信号を補間して縮小なしのカラー画像を生成する補間回路１０６ とを備え、４×４の各画素ブロックにおいてＧとＲそれぞれの４つのフィルタ位置の信号を平均化して読み出す読み出しタイプＩを用いる画素ブロックと、ＧとＢそれぞれの４つのフィルタ位置の信号を平均化して読み出す読み出しタイプＩＩを用いる画素ブロックとが市松状に配置され、且つフレーム毎に市松状配置が反転する如く間引き処理が行われるように撮像装置を構成する。
【選択図】 図３
【解決手段】間引き読み出し可能な単板カラー撮像素子１０２ と、読み出し態様を制御する駆動制御回路１０４ と、撮像素子から間引き読み出しした信号を補間して縮小画像を生成する間引き補間回路１０５ と、通常読み出しした信号を補間して縮小なしのカラー画像を生成する補間回路１０６ とを備え、４×４の各画素ブロックにおいてＧとＲそれぞれの４つのフィルタ位置の信号を平均化して読み出す読み出しタイプＩを用いる画素ブロックと、ＧとＢそれぞれの４つのフィルタ位置の信号を平均化して読み出す読み出しタイプＩＩを用いる画素ブロックとが市松状に配置され、且つフレーム毎に市松状配置が反転する如く間引き処理が行われるように撮像装置を構成する。
【選択図】 図３
Description
【０００１】
【発明の属する技術分野】
この発明は、撮像装置に関し、特に、液晶ビューファインダを持った高精細電子スチル画像撮像装置、及びビデオ動画撮影と高精細電子スチル画像撮影の両方を可能にした撮像装置に関するものである。
【０００２】
【従来の技術】
近年、パーソナルコンピューターの急速な普及により、画像入力機器としてのデジタルカメラ（電子スチルカメラ）の需要が拡大している。また、動画の記録機器としてデジタルビデオカメラなどの高画質記録装置が広く用いられている。これら画像入力機器では、撮像素子の画素数が撮影像の解像度を決定する大きな要素であるため、画素数は年々増加傾向にあり、最近は ４００万画素以上の多くの画素数を持ったデジタルカメラも商品化されている。また、一般的に、デジタルカメラは撮影範囲を確認する手段として、リアルタイムの電子式ファインダーを備えており、動画の撮像が可能なデジタルカメラも珍しくない。
【０００３】
これら動画記録や電子式ファインダーの機能を実現するためには、撮像素子の画素数に対して数分の一〜数十分の一の画素数を持つ画像を、リアルタイム（秒３０フレーム以上）で撮像することが要求される。しかし、数百万画素の撮像素子においては、秒３０フレームのレートで全画素読み出しを行うことは、動作クロックからみて困難である。そこで、特定モードにおいて、必要なだけの画素数を撮像素子から間引いて読み出す機能を持った撮像素子を用い、間引いた信号を処理して縮小画像を生成する方式が提案されている。
【０００４】
その一例として、特開平９−２４７６８９号公報に開示されている単板撮像素子を挙げることができる。この公報開示の撮像素子においては、指定した位置の画素を直接読み出すことができるＸＹアドレス方式の撮像素子が用いられており、間引き読み出しモードでは、間引きしない場合と同じモザイクフィルタパターンの信号が得られるように、同一色フィルタ位置の画素を４画素読み出して、その平均値を計算する信号処理回路を併用している。また、このような読み出しができないＣＣＤ撮像素子の場合には、垂直方向に電流値加算を行うことで縦方向を平均化し、且つ間引き読み出しする方式が多くとられている。
【０００５】
【発明が解決しようとする課題】
ところで、上記特開平９−２４７６８９号公報に開示されている従来技術では、単板撮像素子に対しては、間引き後のモザイクパターンが撮像素子のモザイクパターンと同一になるよう限定されており、モアレの発生を押さえ、且つ間引き後の解像度を維持するために間引きパターンを最適に選択するという観点については、考慮がなされていない。また、ＣＣＤ撮像素子における電流値の加算読み出し方式では、転送エリアの容量がオーバーフローしてしまい、信号の劣化を招いてしまうおそれがあった。
【０００６】
本発明は、従来の撮像装置における上記問題点を解決するためになされたものであり、高解像度の撮像素子から比較的高速なフレームレートで動画像を読み出しても偽信号が発生しないようにした撮像装置を提供することを目的とする。
【０００７】
【課題を解決するための手段】
上記問題点を解決するため、請求項１に係る発明は、モザイクカラーフィルタを有し、水平及び垂直方向に間引き動作可能な単板撮像素子と、前記撮像素子の間引き読み出しの動作を制御する間引き制御手段と、前記間引き制御手段により指定された間引きパターンで前記撮像素子から読み出された信号を処理して３色成分からなる縮小画像を作成する補間手段とを有し、前記間引き制御手段は、前記縮小画像の各画素に対応させて前記撮像素子上の複数位置の信号を読み出し、その際、読み出し位置のカラーフィルタの種類が２種類以上であって、且つそのうち少なくとも１種類のカラーフィルタは前記縮小画像の全画素に共通し、少なくとも１種類のカラーフィルタは前記縮小画素の全画素に共通しなくなるように読み出し制御を行い、前記補間手段は、前記縮小画像の各画素において、注目画素及びその空間的、時間的近傍に位置する画素で得られる２種類以上のカラーフィルタに対応する信号から、注目画素の３色成分を計算するようにして撮像装置を構成するものである。
【０００８】
このように構成された撮像装置においては、縮小画像の各画素に対応させて撮像素子上の複数位置の信号を読み出す際に、読み出し位置のカラーフィルタの種類が２種類以上であって、且つそのうち少なくとも１種類のカラーフィルタは縮小画像の全画素に共通し、少なくとも１種類のカラーフィルタは共通しなくなるように間引き読み出ししているので、縮小画像へのモアレの混入が抑制され、また欠落色成分の補間復元も容易に行うことが可能となる。
【０００９】
請求項２に係る発明は、請求項１に係る撮像装置において、前記モザイクカラーフィルタが原色ベイヤ配列であり、前記間引き制御手段は、前記縮小画像の各画素に対応して読み出すカラーフィルタの種類がＲ及びＧの組み合わせ、又はＢ及びＧの組み合わせであり、且つ前記Ｒ及びＧの組み合わせ読み出しに対応する画素と、前記Ｂ及びＧの組み合わせ読み出しに対応する画素の配置が市松状パターンとなるように読み出し制御を行うことを特徴とするものである。
【００１０】
このように構成された撮像装置においては、間引き読み出しした結果得られる画像が２板撮像系で得られる画像と同一パターンとなり、その後のカラー化処理等が容易に行うことが可能となる。
【００１１】
請求項３に係る発明は、請求項１に係る撮像装置において、前記間引き制御手段が、所定時間間隔で前記撮像素子からのフレームの間引き読み出しを繰り返し、その際、前記縮小画像の全画素に共通して読み出すカラーフィルタの種類が２種類以上となり、そのうち少なくとも１種類のカラーフィルタがフレーム間で共通しており、且つ少なくとも１種類のカラーフィルタがフレーム間で異なるように読み出し制御を行うことを特徴とするものである。
【００１２】
このように構成された撮像装置においては、縮小画像の全画素に共通して読み出すカラーフィルタの種類を２種類以上とし、そのうちの少なくとも１種類のカラーフィルタがフレーム間で共通しており、且つ少なくとも１種類のカラーフィルタがフレーム間で異なるように間引き読み出しを行うので、各フレームで間引き読み出しにより得られる色成分へのモアレの混入を抑えることができ、且つ共通する色成分を用いて前後フレームの対応関係を推定することにより、欠落する色成分を正確に補間復元することができる。
【００１３】
請求項４に係る発明は、請求項２に係る撮像装置において、前記間引き制御手段は、所定時間間隔で前記撮像素子からのフレームの間引き読み出しを繰り返し、その際、前記縮小画像において、前記Ｒ及びＧの組み合わせ読み出しに対応する画素と、前記Ｂ及びＧの組み合わせ読み出しに対応する画素の配置が、フレーム間で反転するように読み出し制御を行うことを特徴とするものである。
【００１４】
このように構成された撮像装置においては、組み合わせ読み出しに対応する画素配置の市松状パターンを、フレーム間で反転させるようにしているので、２板状態からの欠落色成分の補間復元で発生する色モアレの色がフレーム毎に補色関係になり、動画としてみると色モアレが色フリッカとして表示され、人間の視覚は色フリッカに対する感度が低いため、結果的に色モアレが目立たなくする効果が得られる。
【００１５】
請求項５に係る発明は、請求項１〜４のいずれか１項に係る撮像装置において、前記間引き制御手段が、所定時間間隔で前記撮像素子からのフレームの間引き読み出しを繰り返し、その際、少なくとも１種類の色成分がフレーム間で共通に読み出され、且つフレーム間で共通に読み出される種類の色成分の読み出し位置が、フレーム間で一部共通し、一部異なるように読み出し制御を行うことを特徴とするものである。
【００１６】
このように構成された撮像装置においては、フレーム間の間引き読み出しを繰り返す際に、少なくとも１種類の色成分がフレーム間で共通に読み出され、且つフレーム間で共通に読み出される色成分に対し、フレーム間で読み出し位置が一部共通し、一部異なるように読み出しているので、フレーム間で共通している読み出し位置における画素信号を用いて動き検出を行い、動きのない画素信号についてフレーム間の平均を求めることにより、間引き色成分画像に混入するモアレを低減させることができる。
【００１７】
請求項６に係る発明は、水平及び垂直方向に間引き動作可能で、各々前面に異なる種類のカラーフィルタを有する複数の撮像素子と、前記複数の撮像素子の間引き読み出しの動作を制御する間引き制御手段と、該間引き制御手段により指定された間引きパターンで前記複数の撮像素子から読み出された信号を処理して３色成分からなる縮小画像を作成する補間手段とを有し、前記間引き制御手段が、前記縮小画像の各画素に対応させて前記各撮像素子上の複数位置の信号を読み出し、その際、各撮像素子からの読み出し位置の一部が撮像素子間で異なり、他の一部が撮像素子間で共通となるように読み出し制御を行い、前記補間手段が、前記縮小画像の各画素において、前記撮像素子間で共通する読み出し位置における各撮像素子からの信号の色相関パラメータを推定し、その推定結果及び前記各撮像素子からの信号に基づいて前記縮小画像の各画素の３色成分を計算するようにして撮像装置を構成するものである。
【００１８】
このように構成された異なる種類のカラーフィルタを有する複数の撮像素子を備えた撮像系の間引き処理において、間引き読み出しパターンに撮像素子間で共通する読み出し部分と共通しない読み出し部分を設け、共通読み出し部分から局所的な色相関パラメータを算出し、これに基づいて共通しない読み出し部分の色成分値を推定した上で、この推定色成分値と実際に読み出した色成分値の両方から縮小画像の各画素の３色成分を求めるようにしているので、複数の撮像素子を備えた撮像系においても間引き時に発生する輝度モアレを抑制することができる。
【００１９】
請求項７に係る発明は、請求項１〜５のいずれか１項に係る撮像装置において、前記補間手段は、前記縮小画像の各画素において、全画素共通で得られる種類のカラーフィルタの信号の比較に基づいて注目画素と時間的、空間的な近傍画素との類似度を計算し、類似度が高いと判断された近傍画素において、注目画素で得られていない種類のカラーフィルタの信号と注目画素で得られている種類のカラーフィルタの信号との色相関関係を推定し、その推定結果及び注目画素で得られている信号値とに基づいて、前記縮小画像の各画素の３色成分を計算することを特徴とするものである。
【００２０】
このように構成された撮像装置においては、上記類似度が高いと判断された近傍画素において、注目画素で得られていない種類のカラーフィルタの信号と注目画素で得られている種類のカラーフィルタの信号との色相関関係を推定し、その推定結果及び注目画素で得られている信号値とに基づいて、前記縮小画像の各画素の３色成分を計算するようにしているので、精度よく現フレームの欠落色成分を推定することができる。
【００２１】
請求項８に係る発明は、請求項１〜５のいずれか１項に係る撮像装置において、前記間引き制御手段は、所定時間間隔で前記撮像素子からのフレームの間引き読み出しを繰り返し、その際、フレーム間で読み出し位置が一部共通し、一部共通しないように読み出し制御を行い、前記補間手段がフレーム間で共通する読み出し位置の信号に基づいてフレーム間での動きを検出し、検出結果に基づいて、前記共通しない読み出し位置の信号を補間処理に利用するかしないか決定することを特徴とするものである。
【００２２】
このように構成された撮像装置においては、フレーム間の間引き読み出しを繰り返す際に、フレーム間で読み出し位置が一部共通し、一部共通しないように読み出し、フレーム間で共通する読み出し位置の信号に基づいてフレーム間での動きを検出し、検出結果により動きがないと判断された場合に、共通しない読み出し位置の信号を補間処理に利用するようにしているので、処理結果に破綻をきたすことなく、動きのない部分でのモアレ低減効果を得ることができる。
【００２３】
請求項９に係る発明は、請求項１〜５のいずれか１項に係る撮像装置において、前記間引き制御手段は、所定時間間隔で前記撮像素子からのフレームの間引き読み出しを繰り返し、その際、前記補間手段は、前記縮小画像の全画素に共通して読み出すカラーフィルタ種類の信号に基づいてフレーム内の局所的な周波数特性を測定し、間引き制御手段は前記周波数特性測定結果に応じて次フレームの間引き読み出しパターンを決定するように構成されていることを特徴とするものである。
【００２４】
このように構成された撮像装置においては、間引きを行う際、間引き後の縮小画像に全画素で共通に得られる色成分信号が生成されるようにしているので、その共通色成分信号を用いて画像の各領域の周波数特性を測定することができ、それに応じて次フレームの間引き読み出しパターンを最適に選択することによって、色モアレの発生を抑えることができる。
【００２５】
【発明の実施の形態】
（第１の実施の形態）
次に、実施の形態について説明する。図１は、本発明に係る撮像装置の第１の実施の形態を示すブロック構成図で、本発明をデジタルカメラに適用したものである。この実施の形態に係るデジタルカメラ１００ は、図１に示すように、光学系１０１ ，間引き読み出しの可能な単板カラー撮像素子１０２ ，単板カラー撮像素子１０２ からの出力を記憶するバッファ１０３ ，単板カラー撮像素子１０２ の間引き読み出しの態様を制御する駆動制御回路１０４ ，動画記録モード設定時に、単板カラー撮像素子１０２ から間引き読み出しした信号を補間処理して、縮小カラー画像を内部バッファ１１１ 内に生成する間引き補間回路１０５ ，通常記録モード設定時に、単板カラー撮像素子１０２ を通常読み出しした結果を補間処理して縮小なしのカラー画像を生成し、更に補間処理した画素ブロックの画素値を平均化処理する補間回路１０６ ，間引き補間回路１０５ ないし補間回路１０６ の出力を処理して画質を改善する信号処理回路１０７ ，信号処理回路１０７ の出力を記録媒体に記録する記録回路１０８，信号処理回路１０７ の出力を液晶表示装置に表示する表示回路１０９ ，及びこれら各回路の動作を制御する制御回路１１０ から構成されている。
【００２６】
次に、このように構成されているデジタルカメラ１００ の動作について説明する。通常モードの撮影時においては、ユーザーが図示しないシャッタを押下すると、制御回路１１０ が駆動制御回路１０４ を全画素読み出しモードに設定し、駆動制御回路１０４ は単板カラー撮像素子１０２ を駆動して撮影を行う。これにより、単板カラー撮像素子１０２ からは、その全画素の信号がバッファ１０３ に出力される。単板カラー撮像素子１０２ からの出力が完了すると、制御回路１１０ が補間回路１０６ を動作させ、補間回路１０６ は単板状態の信号を補間処理によりカラー化し、補間処理の完了した画素ブロック毎に信号処理回路１０７ に出力する。信号処理回路１０７ では、入力されたカラーブロックに対し、順次マトリックス色変換、ガンマ補正、エッジ強調などの画質調整処理を施し、処理済カラーブロックを記録回路１０８ に出力する。記録回路１０８ では入力されたカラーブロックを圧縮処理し、図示していない記録媒体に記録する。
【００２７】
また補間回路１０６ は、記録回路１０８ への出力と並行して、内部で補間の完了した画素ブロックの画素値を平均化する処理を行い、平均化結果を内部バッファに記憶している。この平均化処理の結果、補間処理が終了した時点で、内部バッファには記録回路１０８ により記録されたカラー画像の縮小画像が形成される。記録回路１０８ の動作が完了した時点で、制御回路１１０ は補間回路１０６ の内部バッファの縮小画像を信号処理回路１０７ に出力する。最後に、信号処理回路１０７ が画質調整処理を施した画像を表示回路１０９ に出力し、ユーザーに撮影結果が表示されると、撮像完了となる。
【００２８】
一方、ユーザーが動画記録モードを設定してシャッタを押下した場合、駆動制御回路１０４ は単板カラー撮像素子１０２ を間引き読み出し駆動する。単板カラー撮像素子１０２ はＣＭＯＳ撮像素子であり、水平方向の平均化読み出しと、間引き読み出し（読み飛ばし）、及び垂直方向のラインスキップ（ライン読み飛ばし）が可能な構成となっている。図２に、単板カラー撮像素子１０２ のこれらの読み出し態様を示す。図２の（Ａ）に示した水平方向の複数画素の画素値を平均化して読み出す平均化読み出しは、ＣＭＯＳ撮像素子の各画素に付随するキャパシタの並列接続に基づいて実行されるようになっており、ＣＣＤ撮像素子のように電荷オーバーフローを伴う危険はない。また、読み出し時間は、平均化しないで一画素読み出す場合と同じとなる。
【００２９】
図２の（Ｂ）に示す水平方向の間引き読み出しでは、水平ラインの読み出しに用いるシフトレジスタを部分的に迂回する配線で実現しており、ライン内の最初の読み出し位置も可変となっている。平均化する画素数及び間引き位置は、外部からプログラム可能である。図２の（Ｃ）は、任意数のライン飛ばし（垂直方向の間引きスキップ）態様を示しており、図２の（Ｄ）は、図２の（Ａ）に示した平均化読み出しと図２の（Ｂ）に示した間引き読み出しの組み合わせ態様を示している。
【００３０】
駆動制御回路１０４ は、単板カラー撮像素子１０２ の、これらの読み出し機能を活用し、モアレの混入が少なくなる読み出しパターンで、単板カラー撮像素子１０２の画素を平均化及び間引き読み出しで読み出しを実行し、その結果をバッファ１０３ に出力する。
【００３１】
以下、単板カラー撮像素子１０２ のモザイクフィルタ配置が原色ベイヤ配列で、間引き率が縦横１／４の場合を例に、読み出しパターンについて説明する。なお、間引き率が縦横１／４ということは、４×４画素ブロックにつき１画素しか読み出しできないという意味ではない。現在のところ、リアルタイム動画として１フレーム期間内に出力する必要のある画素数は、デジタルカメラの動画記録モードにおいては、ＱＶＧＡ（３２０×２４０）ないしＶＧＡ（６４０×４８０）が一般的である。そのため、撮像素子の駆動速度が速く読み出し期間が「１フレーム期間−後処理期間」以内に収まっていれば、撮像素子からこれ以上の画素数の信号を読み出しても問題はない。以下の例では、４×４画素ブロックにつき４画素まで読み出し可能という前提で説明している。
【００３２】
図３に、間引き率１／４の間引き読み出しの際の駆動処理回路１０４ の間引き読み出しパターンを示す。この間引き読み出しパターンでは、図３の（Ａ）に示された単板カラー撮像素子１０２ の原色ベイヤ配列において、４×４の全ての画素ブロックで、図に示した平行四辺形パターンの各角部に位置する４つのＧフィルタの位置の信号を、平均化して読み出す。また、Ｒ，Ｂフィルタの位置の信号については、図３の（Ｂ）で示すように、４×４画素ブロックで同じく平行四辺形パターン（図中点線部）の各角部に位置する４つのＲフィルタの位置の信号を読み出し平均化するが、Ｂフィルタ位置の信号は読み出さない読み出しタイプ（読み出しタイプＩ）、及び平行四辺形パターン（点線部）の各角部に位置する４つのＢフィルタの位置の信号を読み出して平均化するが、Ｒフィルタ位置の信号は読み出さない読み出しタイプ（読み出しタイプＩＩ）、の二通りの読み出しタイプを設け、４×４画素ブロックの位置に応じて、いずれのパターンで読み出すかを、図３の（Ｃ）に示すように設定する。図３の（Ｃ）においては、各四角形領域は４×４画素ブロックに対応しており、各四角形領域中の記号（Ｉ又はＩＩ）が、そのブロックがいずれの読み出しタイプで読み出されるかを示している。２種類の読み出しタイプに対応する画素ブロックが市松状に配置されていること、及びフレーム毎に市松配置が反転することの２点が特徴である。
【００３３】
なお、Ｒ，Ｇ，Ｂそれぞれの読み出しパターンは、図２の（Ａ）〜（Ｃ）に示した平均化読み出し、間引き読み出し（読み飛ばし）、ラインスキップの基本動作の組み合わせで実現できる。例えば、平行四辺形パターンのＧフィルタ位置の信号の読み出しと平均化は、次のようなステップで行われる。すなわち、▲１▼ライン内で、２画素目から、水平方向に２画素平均し、２画素読み飛ばすパターンを繰り返す、▲２▼１ラインスキップする、▲３▼最初の読み出し位置を▲１▼おける最初の読み出し位置に対して２画素右にずらし同じ動作を行う、▲４▼１ラインスキップする、という動作を垂直方向に繰り返して、各ラインの信号をバッファ１０３ 内に得た後、▲１▼と▲３▼で読み出した信号値を、ライン間で加算平均することにより実行される。このようなライン間の平均化処理は、間引き補間回路１０５ 内で行われ、結果が間引き補間回路１０５ 内のバッファ１１１ に記憶される。
【００３４】
このように、駆動制御回路１０４ による上記の▲１▼〜▲４▼の読み出しと、間引き補間回路１０５ のライン間平均化処理により、各４×４画素ブロックで、Ｇ及びＲ、又はＧ及びＢの平均値が得られ、最終的に、間引き補間回路１０５ の内部バッファ１１１ には、図４の（Ａ）及び（Ｂ）に示すように、１／４に縮小された２板状態の画像が得られる。なお、図示のように、フレーム毎にＲ／Ｂのパターンが反転している。この状態から３色カラー画像を生成する２板カラー化処理は、２板撮像系のカメラの信号処理系として公知であり、間引き補間回路１０５ も公知例に従って処理を行う。
【００３５】
次に、図４の（Ｂ）を用いて、間引き補間回路１０５ における処理例を説明する。Ｇ成分は全画素で得られているので、補間処理が必要なのは、各画素で欠落しているＲ成分又はＢ成分である。例えば、図４の（Ｂ）中の網掛けのＧ１画素位置では、Ｂ成分はＢ１として存在するがＲ成分が欠落している。そこで、全画素で得られているＧに関して、網掛け画素Ｇ１と斜線部で示したその近傍のＧ画素とを比較し、最も差の小さい近傍画素を探索する。具体的には、図４の（Ｂ）における画素Ｇ１〜Ｇ５に関して、｜Ｇ１−Ｇｊ ｜（ｊは２〜５）を計算し、差分が最小となる画素Ｇｊ を求める。そして、その画素位置に対応するＲｊ を網掛け画素位置におけるＲ成分の値とする。このようにして、間引き補間回路１０５ において全ての欠落色成分が補間された後、内部バッファ１１１ 上に完成された画像は、通常撮影モードと同様に記録回路１０８ 及び表示回路１０９ に出力される。
【００３６】
以上の説明から把握できるように、本実施の形態は、以下に述べるような効果を含んでいる。
（１） ４×４ブロック毎に、ＲＧＢ全色が揃うように読み出すかわりに、いずれか２色が得られ、且つ一色は全ての４×４ブロックで共通に得られるような間引き読み出し方をした結果、間引き読み出し結果自体への各色へのモアレの混入を抑え、且つ欠落する色成分の復元（補間）もやりやすい構成となる。これは、請求項１に係る発明に対応する効果である。
（２） 特に、各ブロックでＲとＧ，又はＢとＧの組み合わせで色成分が得られ、且つこの組み合わせが市松状配置パターンをなすように間引きパターンを構成した結果、間引き読み出しした結果得られる画像が、２板撮像系で得られる画像と同一パターンとなり、その後のカラー化処理が行いやすくなる。これは、請求項２に係る発明に対応する効果である。
（３） また、上記（２）で述べた市松配置をフレーム毎に反転させることで、２板状態からの欠落色成分の補間復元で発生する色モアレの色がフレーム毎に補色関係になり、動画としてみると色モアレが色フリッカとして表示される。人間の視覚は色フリッカに対する感度が低いため、結果的に、色モアレが目立たなくする効果が得られる。この効果は、請求項４に係る発明に対応するものである。
【００３７】
なお、本実施の形態においては、いくつかの変形が可能である。一つの好ましい変形例では、間引き補間回路１０５ においてフレーム間で読み出し位置の共通するＧ成分を用いて公知の動き検出を行い、動いていないと判定した場合は、２板状態にした際に欠落しているＲ又はＢ成分の値として、前フレームの対応する位置の値を用いる。その結果、動いていない部分については、２板カラー化処理の際に発生する色モアレを低減させることができる。
【００３８】
また、別の好ましい変形例では、図３の（Ｃ）に示したように、フレーム間でＲとＧ，又はＢとＧの組み合わせ間引きパターンを反転させる代わりに、例えばＲ，Ｂの読み出しタイプとして、図５に示す読み出しタイプＩＩＩ 及びＩＶを新たに設け、フレーム間で読み出しタイプＩとＩＩＩ ，ＩＩとＩＶを交互に用いる。そして、間引き補間回路１０５ では、フレーム間で読み出し位置の共通するＧ成分を用いて、フレーム間差分に基づく方法などの公知の動き検出を行い、動いていないと判定した場合は、フレーム間の平均を取る操作を行う。このようにすると、動いていない部分では、フレーム間平均の結果、より多くの間引き情報を得ることができるようになり、モアレ低減効果が得られる。これらの変形例の構成は、請求項８に係る発明に対応するものである。
【００３９】
（第２の実施の形態）
次に、本発明の第２の実施の形態について説明する。図６は、第２の実施の形態を示すブロック構成図で、図１に示した第１の実施の形態と同じ部分には同一符号を付して示し、その説明は省略し、異なっている部分についてのみ説明する。この第２の実施の形態は、第１の実施の形態と同じく本発明をデジタルカメラに適用したものであるが、間引き読み出しのパターンとその制御法が、第１の実施の形態と異なっている。すなわち、図６に示すように、第１の実施の形態と異なり、間引き補間回路２０５ 内に、新たにモアレ予測回路２１２ とフィルタリング回路２１３ が付加されている。そして、モアレ予測回路２１２ からの信号が駆動制御回路２０４ にフィードバックされ、モアレ予測結果に応じて間引きパターンを変化させることが、構成上の大きな違いとなっている。その他の構成は、第１の実施の形態と同一である。
【００４０】
このように構成されている第２の実施の形態の動作は、通常撮影では第１の実施の形態と同一である。動画撮影時には、駆動制御回路２０４ が第１の実施の形態と同じく単板カラー撮像素子１０２ を間引き読み出し駆動するが、４×４画素ブロック内の間引き読み出しのタイプが、図５に読み出しタイプＩＩＩ ，ＩＶで示すように、更に２通り増えている。実際の読み出しにおいては、図７の（Ａ）に示すように、読み出しタイプＩＩＩ と図３の（Ｂ）に示した読み出しタイプＩが、また読み出しタイプＩＶと図３の（Ｂ）に示した読み出しタイプＩＩが組になり、各組のどちらかが別の組のどちらかと市松状パターンの配置をなす。各組でどちらの読み出しタイプが使用されるかは、前フレームにおけるモアレ予測回路２１２ の検出結果による。以下、縮小画像の各画素に対応するブロックに対し、読み出しタイプＩとＩＩＩ ，ないしＩＩとＩＶのどちらのタイプで読み出すかを指定したフラグｄが、駆動制御回路２０４ の内部に記憶されているものとして、動画撮影時の動作について説明する。
【００４１】
まず、駆動制御回路２０４ が、フラグｄ に基づき単板カラー撮像素子１０２ の間引き読み出しを行う。各読み出しパターンは、水平方向の２画素平均、水平方向の読み飛ばし、及び垂直方向のラインスキップの３動作の組み合わせになっている。これを利用して、駆動制御回路２０４ は各ブロックの読み出しパターンを基本操作に分解して組み直し、単板カラー撮像素子１０２ の各ライン毎に必要な読み出し位置を計算する。例として、図７の（Ｂ）に、フラグｄが図７の（Ｂ）の左側ブロックで指定されている場合の各ラインの読み出し位置を、斜線で示している。駆動制御回路２０４ は、計算された読み出し位置の画素と、その２画素右にある画素との平均値がライン毎に得られるように、単板カラー撮像素子１０２ を駆動し、間引かれた画素値をバッファ１０３ に得る。
【００４２】
次に、間引き補間回路２０５ が、第１の実施の形態と同様に２板化処理を行い、図４の（Ａ），（Ｂ）で示した２板状態の縮小画像を内部バッファ２１１ に得る。但し、本実施の形態では、Ｇ成分について、間引き画素値を３ラインづつバッファ１０３ から読み出し、各ラインからＧ成分のみを取り出した後、フィルタリング回路２１３ により垂直方向のフィルタリングを行う。３ラインのフィルタ係数は、〔１／４ １／２ １／４〕となっている。この処理により、図７の（Ｃ）に示すように、原画像に図７の（Ｃ）の右側に示すフィルタ係数を持ったローパスフィルタをかけるのと等価な結果が得られ、第１の実施の形態で計算したＧ成分より、垂直方向のモアレが抑えられる。なお、図７の（Ｃ）の左側の画素ブロックの外側に示した数字（１／４又は１／２）は、ライン毎のフィルタ係数である。一方、Ｒ，Ｂ成分に対しては、第１の実施の形態と同様に、図３の（Ｂ）及び図５の点線の平行四辺形パターンで示した４画素の平均値が得られるように、バッファ１０３ からデータを読み出してライン間で平均化処理する。こうして２板状態の画像が得られた後、間引き補間回路２０５ は第１の実施の形態と同一の２板カラー化処理を行い、内部バッファ２１１ に最終結果を記憶する。
【００４３】
これと並行して、モアレ予測回路２１２ では、次フレームにおいて特に２板カラー化処理でモアレが発生しそうな場所を推定する。具体的には、縮小画像中の斜めエッジや縞を検出するが、これは、２板状態のＲ／Ｂ成分が市松配置であり、斜め線や斜め縞に対してモアレを生じやすいためである。検出のために、モアレ予測回路２１２ は、縮小画像の全画素で得られているＧ成分に、図８の（Ａ）に示す２つのフィルタＦ１，Ｆ２を適用し、画素毎にフィルタリング結果の絶対値Ｃ１，Ｃ２を計算する。（フィルタＦ１は、右上がりの斜め縞、Ｆ２は右下がりの斜め縞で大きな絶対値を持つ。）そして、絶対値の差分Ｃ１−Ｃ２が、所定の閾値Ｔ１以上の画素を右上がりエッジのある画素に、閾値Ｔ２以下の画素を右下がりエッジのある画素と判定する。
【００４４】
モアレ予測回路２１２ の判定終了後、間引き補間回路２０５ は、判定結果に基づいて、次フレームにおいて最適な間引きパターンが得られるように、４×４画素ブロック毎の間引きパターンを指定するフラグｄを決定する。
【００４５】
ここで、間引きパターンを選択する効果を、図８の（Ｂ）を用いて説明する。図８の（Ｂ）は、２板状態のＲ成分を得るときにブロックの間引きパターンとして図３の（Ｂ）の読み出しタイプＩで得た場合と、図５の読み出しタイプＩＩＩ で得た場合の斜め方向の帯域の差を示している。図８の（Ｂ）において、横軸は周波数で縞の細かさを表しており、縦軸はレスポンスで縞のぼけ具合（レスポンス１：ぼけ小、レスポンス０：ぼけ大）を表している。このように、本実施の形態の間引きパターンで得られたＲないしＢ成分は、斜め方向の周波数特性に非対称性があり、パターンの選択により非対称関係が逆転する。そこで、斜めの特定方向に帯域が高い画像領域に対応するブロックにおける読み出しパターンとして、その方向での帯域低下効果が大きくなるものを選択すれば、フレーム間での動きが少ないという前提で、次フレームで２板状態のＲ／Ｂ成分に含まれるモアレの低減が可能となる。
【００４６】
この考えに基づき、間引き補間回路２０５ は、モアレ予測回路２１２ の判定で右上がりエッジと判断された画素の次フレームでの読み出しパターンを、読み出しタイプＩないしＩＩに、右下がりエッジと判断された画素の読み出しパターンを、読み出しタイプＩＩＩ ないしＩＶになるよう、駆動制御回路２０４ 内のフラグｄを設定する。また、どちらにも判定されなかった画素に対応するブロックについては、現フレームと同じものが選択されるように設定する。
【００４７】
間引き補間処理回路２０５ の処理が終了すると、その後第１の実施の形態と同一の処理がなされる。以上の説明から把握できるように、本実施の形態は、以下に述べるような効果を含んでいる。
（１） 間引きを行う際、間引き後の縮小画像に全画素で共通して得られる色成分を設けたので、その成分を使って画像の各領域の周波数特性を調べることができる。それに応じて次フレームの間引きパターンを最適に選択することで、色モアレの発生を抑えることができる。この効果は、請求項９に係る発明に対応するものである。
【００４８】
（第３の実施の形態）
次に、本発明の第３の実施の形態について説明する。図９は、第３の実施の形態を示すブロック構成図で、図１に示した第１の実施の形態と同じ部分には同一符号を付して示し、その説明を省略し、異なっている部分についてのみ説明する。この第３の実施の形態は、図９に示すように、第１の実施の形態と同じく本発明をデジタルカメラに適用したものである。本実施の形態では、第１の実施の形態と異なり、間引き補間回路３０５ 内に新たに動き補償回路３１４ とフィルタリング回路３１３ が付加されている。また、駆動制御回路３０４ の間引きの態様も第１の実施の形態と異なっているが、その他の構成は第１の実施の形態と同一である。
【００４９】
このように構成されている第３の実施の形態の動作は、通常撮影では第１の実施の形態と同一である。動画撮影時には、駆動制御回路３０４ が第１の実施の形態と同じく単板カラー撮像素子１０２ を間引き読み出し駆動するが、第１の実施の形態のように、４×４画素ブロック毎に間引きパターンを変える代わりに、フレーム単位で間引き読み出しパターンを変更する。間引き読み出しパターンは、フレーム２ｎのとき全ブロックで図３の（Ｂ）に示す読み出しタイプＩ，フレーム２ｎ＋１のとき全ブロックで図３の（Ｂ）に示す読み出しタイプＩＩとなっている。駆動制御回路３０４ は、フレーム毎に間引き読み出しパターンを切り替えて単板カラー撮像素子１０２ を駆動し、第２の実施の形態と同様に、水平方向の平均化処理を行いつつ、ライン単位でバッファ１０３ に間引き読み出し結果を格納する。
【００５０】
間引き補間回路３０５ は、間引き読み出しが終了すると各色成分の平均化処理を行うが、その際、第２の実施の形態と同様にライン間でフィルタリングを行う。フィルタ係数も第２の実施の形態に関して図７の（Ｃ）に示したものと同じく、〔１／４ １／２ １／４〕であるが、第２の実施の形態と異なり、Ｇ成分のみならず全ての色成分に対してライン間フィルタリングを行う。フィルタリングの結果、図１０に示すように、原画像の各色成分に対して図７の（Ｃ）に示したのと同じフィルタ係数を持つローパスフィルタをかけたのと同じ効果が得られる。平均化結果は、内部バッファ３１１ に記憶され、図１１の（Ａ），（Ｂ）に示すように、フレーム２ｎでは縮小されたＲ，Ｇ成分、フレーム２ｎ＋１では縮小されたＢ，Ｇ成分が得られる。
【００５１】
次に、各フレーム毎にＲ又はＢの欠落成分があるので、間引き補間回路３０５ は前フレームの情報を用いて欠落成分を推定する。次に、例として図１１の（Ｂ）の網掛けしたＧ＃画素位置に対応するＲ成分を推定する方法を示す。まず、動き補償回路３１４ が、図１１の（Ｂ）に示す網掛け位置が、図１１の（Ａ）に示す前フレームでどの位置に対応していたのかを、フレーム間で共通に得られているＧ成分を用いて推定する。具体的には、公知の動きベクトル推定手法を用いるが、例えば、図１１の（Ｂ）のＧ＃画素位置近傍の３×３ 画素範囲Ｐに対し、図１１の（Ａ）に太枠で示した探索範囲Ｑを設定し、該探索範囲Ｑ内の全ての３×３近傍（探索範囲Ｑの左上隅に網掛け範囲として例示）とのマッチングをとり、マッチング誤差が最小となる近傍位置を計算する。図１１の（Ａ）のＧ＊画素位置を中心とする３×３近傍が、これにあたる。このようにして、縮小画像の全画素に対し、動き補償回路３１４ により前フレームでの対応位置が求められると、間引き補間回路３０５は、前フレームの対応位置における現フレームの欠落色成分に対応するＲ成分（Ｒ＊）とＧ成分（Ｇ＊）の差分をとり、その差分に現フレームのＧ成分（Ｇ＃）を加えて現フレームの欠落色成分の値として、内部バッファ３１１ に記憶する。図１１に示した例では、図１１の（Ｂ）に示すＧ＃画素位置における欠落成分（Ｒ）の推定値は、図１１の（Ａ）中の対応位置での画素値Ｒ＊，Ｇ＊を用いて、Ｒ＃＝Ｇ＃＋（Ｒ＊−Ｇ＊）として計算される。
【００５２】
間引き補間回路３０５ の処理が終了後のデジタルカメラ３００ の動作は、第１の実施の形態と同一である。以上の説明から把握できるように、本実施の形態は、以下に述べるような効果を含んでいる。
（１） 間引きにより得る色成分の種類として、フレーム間で共通して読み出す色成分と特定フレームでしか読み出さない色成分を設けたことで、各フレームで間引き読み出しにより得られる色成分へのモアレの混入を抑えることができ、且つ共通する成分を使って前後フレームの対応関係を推定することで、欠落する色成分も正しく補間復元することができる。この効果は、請求項３に係る発明に対応するものである。
（２） フレーム間で共通して読み出すＧ成分を用いて前後フレームの位置の対応関係を計算し、更にＧ成分と前フレームでしか読み出さないＲ又はＢ成分の相関関係（本実施の形態ではＲ成分とＧ成分の差分又はＢ成分とＧ成分の差分）を計算し、その関係と、現フレームで読み出したＧ成分から現フレームで読み出されていない色成分を推定することで、精度よく現フレームの欠落色成分を推定できる。この効果は、請求項７に係る発明に対応するものである。
【００５３】
なお、この実施の形態の好ましい変形例として、以下のものを挙げることができる。例えば、４×４ブロック単位ではなく、２×２ブロック単位で考えると、図１０の間引き読み出しは、図１２の（Ａ），（Ｂ）に示した読み出しタイプＸとＹの組み合わせで実現できる。読み出しタイプＸは、太枠で示した２×２ブロックに対し、点線で示したＲの平均値、及び実線で示したＧの平均値を読み出す。読み出しタイプＹは、太枠で示した２×２ブロックに対し、点線で示したＢの平均値、及び実線で示したＧの平均値を読み出す。そして、ＧとＲを読み出すフレームでは、図１２の（Ｃ）に示すように、読み出しタイプＸの読み出しを、２×２ブロックを単位として市松状に繰り返すことで実現でき、ＧとＢを読み出すフレームでは、図１２の（Ｄ）に示すように、読み出しタイプＹの読み出しを、２×２ブロックを単位として市松状に繰り返すことで実現できる。
【００５４】
上述の実施の形態では、図１２の（Ｃ），（Ｄ）の太枠で示したように、２×２ブロックを４個まとめた４×４ブロックにつき、フレーム毎に、ＲとＧ，又はＢとＧが得られていると考えていたが、２×２ブロック単位で考えると、このように、フレーム毎に市松状に、ＲとＧ，又はＢとＧが得られる。そこで、２×２ブロック単位で、上述の実施の形態と同様に動き検出を行って、特定２×２ブロックに対応する前後フレーム内の２×２ブロックを求める。これにより、例えば、図１２の（Ｅ）に示すように、フレーム２ｎの＃の付いた画素位置に対し、フレーム２ｎ＋１の＊の付いた画素位置が対応することがわかる。そして、このような対応関係を、値の得られている全ての２×２ブロックで調べた後、対応関係に基づいて各ブロックで欠落する色成分を推定する。
【００５５】
推定方法は、上述の実施の形態と同様である。例えば、図１２の（Ｅ）において、フレーム２ｎの＃の付いた画素位置で欠落する色成分Ｂ＃に対し、フレーム２ｎ＋１において対応する＊の付いた画素位置で得られているＧ＊，Ｂ＊，及び
フレーム２ｎの＃の付いた画素位置で得られているＧ＃から、Ｂ＃＝（Ｇ＊−Ｂ＊）＋Ｇ＃と推定する。最後に、各２×２ブロックで、このように欠落色成分を推定した後、２×２ブロックでの３色成分値を縦２個、横２個の４個単位で平均化することで、縮小画像の１画素に対応する４×４ブロックの３色成分値を計算する。この方法では、対応関係を求めるブロックサイズが上述の実施の形態より細かくなっており、より精度よく欠落色成分を推定できる。
【００５６】
更に別の好ましい変形例は、Ｇ成分の間引きパターンをフレーム間で変えるもので、図１３に示すように、フレーム２ｎで本実施の形態で示した間引きパターン（実線）を、フレーム２ｎ＋１ではそれとは異なる間引きパターン（点線）をとる。ここで、図１３中の一点鎖線枠中の読み出し位置は、フレーム間で変わらないように構成する。そして、動き補償回路３１４ では、フレーム間の動き検出をフレーム間で変わらない読み出し位置のＧ信号を使って行う。そして、動いていないと判断された画素については、前フレームのＧ成分と現フレームのＧ成分を平均する。その結果、間引いたＧ成分に混入するモアレを低減させることができる。この効果は、請求項５に係る発明に対応するものである。
【００５７】
（第４の実施の形態）
次に、本発明の第４の実施の形態について説明する。図１４は、第４の実施の形態を示すブロック構成図で、図１に示した第１の実施の形態と同じ部分には同一符号を付して示し、その説明は省略し、異なっている部分についてのみ説明する。この第４の実施の形態は、図１４に示すように、第１の実施の形態と同じく本発明をデジタルカメラに適用したものであるが、３板撮像系である点が大きな違いである。光学像は、色分解プリズムを介して色成分毎にＲ撮像素子４０２ａ，Ｇ撮像素子４０２ｂ，Ｂ撮像素子４０２ｃで撮像され、各撮像素子からの出力は同一のバッファ１０３ に入るようになっている。各撮像素子は、第１の実施の形態における単板カラー撮像素子１０２ と同一の間引き読み出し機能を備えており、駆動制御回路４０４は３つの撮像素子それぞれの間引き読み出し駆動を独立に行うことができる。また、間引き補間回路４０５ には、新たに色相関計算回路４１４ ，フィルタリング回路４１３ が付加されている。その他は、３板撮像系であるため補間回路１０６ がない点を除いて、第１の実施の形態と同一である。
【００５８】
このように構成されている第４の実施の形態の動作は、通常撮影では第１の実施の形態と類似しているが、駆動制御回路４０４ が全画素読み出しモードでＲ撮像素子４０２ａ，Ｇ撮像素子４０２ｂ，Ｂ撮像素子４０２ｃを駆動すると、バッファ１０３ に３色カラー画像が直接得られ、信号処理回路１０７ が直接バッファ１０３ から３色カラー画像を読み出して画質改善処理を施す点が異なっている。一方、動画撮影時には、駆動制御回路４０４ が間引き読み出しモードでＲ撮像素子４０２ａ，Ｇ撮像素子４０２ｂ，Ｂ撮像素子４０２ｃを駆動し、各撮像素子からバッファに得られた間引き読み出し出力を、間引き補間回路４０５ が補間処理して３色カラー画像を生成した後、信号処理回路１０７ に出力する。以下、駆動制御回路４０４ 及び間引き補間回路４０５ の動作について説明するが、これまでの実施の形態と同じく、縮小率は１／４，読み出しレートは４×４画素ブロック毎に４画素の場合について説明する。
【００５９】
駆動制御回路４０４ による各撮像素子の間引き方は、全てのフレームで、３つの撮像素子それぞれに対し、図１５の（Ａ）の網掛けで示したとおりである。特徴は、読み出し位置に撮像素子間で共通している部分といない部分があることである。撮像素子間で共通している読み出し位置を、図１５の（Ｂ）に示した。駆動制御回路４０４ により、各撮像素子から網掛け部分の画素が水平方向に２画素づつ平均して読み出され、バッファ１０３ の撮像素子別に設けられた領域に記憶される。４×４画素ブロック当たり各ライン毎に４つの値が記憶される。
【００６０】
間引き読み出しが完了すると、間引き補間回路４０５ は、他の実施の形態と同じくバッファ１０３ 内のデータの平均化処理を行う。その際、３つの素子の間引き読み出し結果を総合し、各撮像素子で間引き読み出しされていない位置での信号値を推定してから、平均化操作を行うことで、モアレ低減を可能にしている。図１６に示した例に基づいて推定方法を説明する。
【００６１】
この図１６において、黒い四角で囲んだ画素位置は、Ｒ撮像素子４０２ａとＧ撮像素子４０２ｂに共通の間引き読み出し位置である。相関計算回路４１１ は、この共通の位置で得られているＲ，Ｇの信号Ｒ＊及びＧ＊から、各４×４ブロック内でのＲ成分とＧ成分の色相関を推定する。本実施の形態では、最も簡単なものとして、共通読み出し位置での平均値の差Ｄ＝Ａｖｇ（Ｒ＊）−Ａｖｇ（Ｇ＊）（Ａｖｇは平均を表す）を、色相関を表すパラメータとして計算する。水平方向の平均値は、すでにバッファ１０３ に得られているので、相関計算回路４１１ は２つの撮像素子からの共通読み出し位置に対応する出力を更に平均し差分をとるだけでよい。なお、色相関を表すパラメータとしては、この他にもＡｖｇ（Ｒ＊）／Ａｖｇ（Ｇ＊）など様々なものが考えられる。
【００６２】
この計算の後、間引き補間回路４０５ は、ある撮像素子では値が読み出されなかったが他の撮像素子では値が読み出されているような位置に対し、読み出されなかった値を推定する。図１６に示した例では、Ｒ撮像素子４０２ａで２画素平均値Ｒ＃が読み出されている位置に対し、その位置でのＧ撮像素子４０２ｂにおける２画素平均値Ｇ＃を、共通読み出し位置での色相関パラメータ計算結果を用いて、Ｒ＃＋Ｄで推定する。このようにして、全ての撮像素子に共通しない読み出し位置での画素値を推定した後、間引き補間回路４０５ は各４×４ブロックでの平均値を計算し、内部バッファ４１１ に保存する。
【００６３】
間引き補間回路４０５ の処理が終了後のデジタルカメラ４００ の作用は、第１の実施の形態と同一である。以上の説明から把握できるように、本実施の形態は、以下に述べるような効果を含んでいる。
（１） ３板撮像系の間引き処理において、色成分間の間引き読み出しパターンに共通する読み出し部分と共通しない読み出し部分を設け、共通読み出し部分から局所的な色成分間の相関関係（色相関パラメータ）を計算し、共通しない読み出し部分にこれを適用することで、各色成分において間引き読み出しされなかった位置の信号の推定が可能になり、推定値を含めて平均化処理を行うことで、３板撮像系においても間引き時に発生する輝度モアレを抑制することができる。これは、請求項６に係る発明に対応する効果である。
【００６４】
【発明の効果】
以上実施の形態に基づいて説明したように、請求項１に係る発明によれば、縮小画像の各画素に対応させて撮像素子上の複数位置の信号を読み出す際に、読み出し位置のカラーフィルタの種類が２種類以上であって、且つそのうち少なくとも１種類のカラーフィルタは縮小画像の全画素に共通し、少なくとも１種類のカラーフィルタは共通しなくなるように間引き読み出ししているので、縮小画像へのモアレの混入が抑制され、また欠落色成分の補間復元も容易に行うことが可能となる。また請求項２に係る発明によれば、間引き読み出しした結果得られる画像が２板撮像系で得られる画像と同一パターンとなり、その後のカラー化処理等が容易に行うことが可能となる。また請求項３に係る発明によれば、縮小画像の全画素に共通して読み出すカラーフィルタの種類を２種類以上とし、そのうちの少なくとも１種類のカラーフィルタがフレーム間で共通しており、且つ少なくとも１種類のカラーフィルタがフレーム間で異なるように間引き読み出しを行うように構成されているので、各フレームで間引き読み出しにより得られる色成分へのモアレの混入を抑えることができ、且つ共通する色成分を用いて前後フレームの対応関係を推定することにより、欠落する色成分を正確に補間復元することができる。また請求項４に係る発明によれば、組み合わせ読み出しに対応する画素配置の市松状パターンを、フレーム間で反転させるようにしているので、２板状態からの欠落色成分の補間復元で発生する色モアレの色がフレーム毎に補色関係になり、動画としてみると色モアレが色フリッカとして表示され、人間の視覚は色フリッカに対する感度が低いため、結果的に色モアレが目立たなくする効果が得られる。また請求項５に係る発明によれば、フレーム間の間引き読み出しを繰り返す際に、少なくとも１種類の色成分がフレーム間で共通に読み出され、且つフレーム間で共通に読み出される色成分に対し、フレーム間で読み出し位置が一部共通し、一部異なるように読み出しているので、フレーム間で共通している読み出し位置における画素信号を用いて動き検出を行い、動きのない画素信号についてフレーム間の平均を求めることにより、間引き色成分画像に混入するモアレを低減させることができる。
【００６５】
また請求項６に係る発明によれば、異なる種類のカラーフィルタを有する複数の撮像素子を備えた撮像系の間引き処理において、間引き読み出しパターンに撮像素子間で共通する読み出し部分と共通しない読み出し部分を設け、共通読み出し部分から局所的な色相関パラメータを算出し、これに基づいて共通しない読み出し部分の色成分値を推定した上で、この推定色成分値と実際に読み出した色成分値の両方から縮小画像の各画素の３色成分を求めるようにしているので、複数の撮像素子を備えた撮像系においても間引き時に発生する輝度モアレを抑制することができる。また請求項７に係る発明によれば、類似度が高いと判断された近傍画素において、注目画素で得られていない種類のカラーフィルタの信号と注目画素で得られている種類のカラーフィルタの信号との色相関関係を推定し、その推定結果及び注目画素で得られている信号値とに基づいて、前記縮小画像の各画素の３色成分を計算するようにしているので、精度よく現フレームの欠落色成分を推定することができる。また請求項８に係る発明によれば、フレーム間の間引き読み出しを繰り返す際に、フレーム間で読み出し位置が一部共通し、一部共通しないように読み出し、フレーム間で共通する読み出し位置の信号に基づいてフレーム間での動きを検出し、検出結果により動きがないと判断された場合に、共通しない読み出し位置の信号を補間処理に利用するようにしているので、処理結果に破綻をきたすことなく、動きのない部分でのモアレ低減効果を得ることができる。また請求項９に係る発明によれば、間引きを行う際、間引き後の縮小画像に全画素で共通に得られる色成分信号が生成されるようにしているので、その共通色成分信号を用いて画像の各領域の周波数特性を測定することができ、それに応じて次フレームの間引き読み出しパターンを最適に選択することによって、色モアレの発生を抑えることができる。
【図面の簡単な説明】
【図１】本発明に係る撮像装置の第１の実施の形態を示すブロック構成図である。
【図２】図１に示した第１の実施の形態における単板カラー撮像素子の読み出し機能を示す説明図である。
【図３】第１の実施の形態における間引き読み出しパターンを示す説明図である。
【図４】縮小された２板状態の画像を示す図及び２板カラー化処理の説明図である。
【図５】第１の実施の形態の変形例、及び第２の実施の形態における４×４ブロックの間引き読み出しパターンを示す図である。
【図６】本発明の第２の実施の形態を示すブロック構成図である。
【図７】第２の実施の形態における間引き読み出し方法及びフィルタリング処理についての説明図である。
【図８】第２の実施の形態におけるモアレ予測に用いるフィルタ、及び２板状態のＲ成分を得るときに読み出しタイプＩ及びＩＩＩ を用いた場合の周波数特性を示す図である。
【図９】本発明の第３の実施の形態を示すブロック構成図である。
【図１０】第３の実施の形態における間引き読み出しパターンを示す説明図である。
【図１１】第３の実施の形態における動き補償回路を用いた欠落色成分の推定手法を示す説明図である。
【図１２】第３の実施の形態における動き補償回路における処理の変形例を示す説明図である。
【図１３】第３の実施の形態における間引き読み出しパターンの変形例を示す図である。
【図１４】本発明の第４の実施の形態を示すブロック構成図である。
【図１５】第４の実施の形態における間引き読み出しパターンを示す説明図である。
【図１６】第４の実施の形態における色相関計算回路による画素値予測の説明図である。
【符号の説明】
１００， ２００， ３００， ４００ デジタルカメラ
１０１ 光学系
１０２ 単板カラー撮像素子
１０３ バッファ
１０４， ２０４， ３０４， ４０４ 駆動制御回路
１０５， ２０５， ３０５， ４０５ 間引き補償回路
１０６ 補間回路
１０７ 信号処理回路
１０８ 記録回路
１０９ 表示回路
１１０ 制御回路
１１１， ２１１， ３１１， ４１１ 内部バッファ
２１２ モアレ予測回路
２１３， ３１３， ４１３ フィルタリング回路
３１４ 動き補償回路
４０２ａ Ｒ撮像素子
４０２ｂ Ｇ撮像素子
４０３ｃ Ｂ撮像素子
４１４ 色相関計算回路
【発明の属する技術分野】
この発明は、撮像装置に関し、特に、液晶ビューファインダを持った高精細電子スチル画像撮像装置、及びビデオ動画撮影と高精細電子スチル画像撮影の両方を可能にした撮像装置に関するものである。
【０００２】
【従来の技術】
近年、パーソナルコンピューターの急速な普及により、画像入力機器としてのデジタルカメラ（電子スチルカメラ）の需要が拡大している。また、動画の記録機器としてデジタルビデオカメラなどの高画質記録装置が広く用いられている。これら画像入力機器では、撮像素子の画素数が撮影像の解像度を決定する大きな要素であるため、画素数は年々増加傾向にあり、最近は ４００万画素以上の多くの画素数を持ったデジタルカメラも商品化されている。また、一般的に、デジタルカメラは撮影範囲を確認する手段として、リアルタイムの電子式ファインダーを備えており、動画の撮像が可能なデジタルカメラも珍しくない。
【０００３】
これら動画記録や電子式ファインダーの機能を実現するためには、撮像素子の画素数に対して数分の一〜数十分の一の画素数を持つ画像を、リアルタイム（秒３０フレーム以上）で撮像することが要求される。しかし、数百万画素の撮像素子においては、秒３０フレームのレートで全画素読み出しを行うことは、動作クロックからみて困難である。そこで、特定モードにおいて、必要なだけの画素数を撮像素子から間引いて読み出す機能を持った撮像素子を用い、間引いた信号を処理して縮小画像を生成する方式が提案されている。
【０００４】
その一例として、特開平９−２４７６８９号公報に開示されている単板撮像素子を挙げることができる。この公報開示の撮像素子においては、指定した位置の画素を直接読み出すことができるＸＹアドレス方式の撮像素子が用いられており、間引き読み出しモードでは、間引きしない場合と同じモザイクフィルタパターンの信号が得られるように、同一色フィルタ位置の画素を４画素読み出して、その平均値を計算する信号処理回路を併用している。また、このような読み出しができないＣＣＤ撮像素子の場合には、垂直方向に電流値加算を行うことで縦方向を平均化し、且つ間引き読み出しする方式が多くとられている。
【０００５】
【発明が解決しようとする課題】
ところで、上記特開平９−２４７６８９号公報に開示されている従来技術では、単板撮像素子に対しては、間引き後のモザイクパターンが撮像素子のモザイクパターンと同一になるよう限定されており、モアレの発生を押さえ、且つ間引き後の解像度を維持するために間引きパターンを最適に選択するという観点については、考慮がなされていない。また、ＣＣＤ撮像素子における電流値の加算読み出し方式では、転送エリアの容量がオーバーフローしてしまい、信号の劣化を招いてしまうおそれがあった。
【０００６】
本発明は、従来の撮像装置における上記問題点を解決するためになされたものであり、高解像度の撮像素子から比較的高速なフレームレートで動画像を読み出しても偽信号が発生しないようにした撮像装置を提供することを目的とする。
【０００７】
【課題を解決するための手段】
上記問題点を解決するため、請求項１に係る発明は、モザイクカラーフィルタを有し、水平及び垂直方向に間引き動作可能な単板撮像素子と、前記撮像素子の間引き読み出しの動作を制御する間引き制御手段と、前記間引き制御手段により指定された間引きパターンで前記撮像素子から読み出された信号を処理して３色成分からなる縮小画像を作成する補間手段とを有し、前記間引き制御手段は、前記縮小画像の各画素に対応させて前記撮像素子上の複数位置の信号を読み出し、その際、読み出し位置のカラーフィルタの種類が２種類以上であって、且つそのうち少なくとも１種類のカラーフィルタは前記縮小画像の全画素に共通し、少なくとも１種類のカラーフィルタは前記縮小画素の全画素に共通しなくなるように読み出し制御を行い、前記補間手段は、前記縮小画像の各画素において、注目画素及びその空間的、時間的近傍に位置する画素で得られる２種類以上のカラーフィルタに対応する信号から、注目画素の３色成分を計算するようにして撮像装置を構成するものである。
【０００８】
このように構成された撮像装置においては、縮小画像の各画素に対応させて撮像素子上の複数位置の信号を読み出す際に、読み出し位置のカラーフィルタの種類が２種類以上であって、且つそのうち少なくとも１種類のカラーフィルタは縮小画像の全画素に共通し、少なくとも１種類のカラーフィルタは共通しなくなるように間引き読み出ししているので、縮小画像へのモアレの混入が抑制され、また欠落色成分の補間復元も容易に行うことが可能となる。
【０００９】
請求項２に係る発明は、請求項１に係る撮像装置において、前記モザイクカラーフィルタが原色ベイヤ配列であり、前記間引き制御手段は、前記縮小画像の各画素に対応して読み出すカラーフィルタの種類がＲ及びＧの組み合わせ、又はＢ及びＧの組み合わせであり、且つ前記Ｒ及びＧの組み合わせ読み出しに対応する画素と、前記Ｂ及びＧの組み合わせ読み出しに対応する画素の配置が市松状パターンとなるように読み出し制御を行うことを特徴とするものである。
【００１０】
このように構成された撮像装置においては、間引き読み出しした結果得られる画像が２板撮像系で得られる画像と同一パターンとなり、その後のカラー化処理等が容易に行うことが可能となる。
【００１１】
請求項３に係る発明は、請求項１に係る撮像装置において、前記間引き制御手段が、所定時間間隔で前記撮像素子からのフレームの間引き読み出しを繰り返し、その際、前記縮小画像の全画素に共通して読み出すカラーフィルタの種類が２種類以上となり、そのうち少なくとも１種類のカラーフィルタがフレーム間で共通しており、且つ少なくとも１種類のカラーフィルタがフレーム間で異なるように読み出し制御を行うことを特徴とするものである。
【００１２】
このように構成された撮像装置においては、縮小画像の全画素に共通して読み出すカラーフィルタの種類を２種類以上とし、そのうちの少なくとも１種類のカラーフィルタがフレーム間で共通しており、且つ少なくとも１種類のカラーフィルタがフレーム間で異なるように間引き読み出しを行うので、各フレームで間引き読み出しにより得られる色成分へのモアレの混入を抑えることができ、且つ共通する色成分を用いて前後フレームの対応関係を推定することにより、欠落する色成分を正確に補間復元することができる。
【００１３】
請求項４に係る発明は、請求項２に係る撮像装置において、前記間引き制御手段は、所定時間間隔で前記撮像素子からのフレームの間引き読み出しを繰り返し、その際、前記縮小画像において、前記Ｒ及びＧの組み合わせ読み出しに対応する画素と、前記Ｂ及びＧの組み合わせ読み出しに対応する画素の配置が、フレーム間で反転するように読み出し制御を行うことを特徴とするものである。
【００１４】
このように構成された撮像装置においては、組み合わせ読み出しに対応する画素配置の市松状パターンを、フレーム間で反転させるようにしているので、２板状態からの欠落色成分の補間復元で発生する色モアレの色がフレーム毎に補色関係になり、動画としてみると色モアレが色フリッカとして表示され、人間の視覚は色フリッカに対する感度が低いため、結果的に色モアレが目立たなくする効果が得られる。
【００１５】
請求項５に係る発明は、請求項１〜４のいずれか１項に係る撮像装置において、前記間引き制御手段が、所定時間間隔で前記撮像素子からのフレームの間引き読み出しを繰り返し、その際、少なくとも１種類の色成分がフレーム間で共通に読み出され、且つフレーム間で共通に読み出される種類の色成分の読み出し位置が、フレーム間で一部共通し、一部異なるように読み出し制御を行うことを特徴とするものである。
【００１６】
このように構成された撮像装置においては、フレーム間の間引き読み出しを繰り返す際に、少なくとも１種類の色成分がフレーム間で共通に読み出され、且つフレーム間で共通に読み出される色成分に対し、フレーム間で読み出し位置が一部共通し、一部異なるように読み出しているので、フレーム間で共通している読み出し位置における画素信号を用いて動き検出を行い、動きのない画素信号についてフレーム間の平均を求めることにより、間引き色成分画像に混入するモアレを低減させることができる。
【００１７】
請求項６に係る発明は、水平及び垂直方向に間引き動作可能で、各々前面に異なる種類のカラーフィルタを有する複数の撮像素子と、前記複数の撮像素子の間引き読み出しの動作を制御する間引き制御手段と、該間引き制御手段により指定された間引きパターンで前記複数の撮像素子から読み出された信号を処理して３色成分からなる縮小画像を作成する補間手段とを有し、前記間引き制御手段が、前記縮小画像の各画素に対応させて前記各撮像素子上の複数位置の信号を読み出し、その際、各撮像素子からの読み出し位置の一部が撮像素子間で異なり、他の一部が撮像素子間で共通となるように読み出し制御を行い、前記補間手段が、前記縮小画像の各画素において、前記撮像素子間で共通する読み出し位置における各撮像素子からの信号の色相関パラメータを推定し、その推定結果及び前記各撮像素子からの信号に基づいて前記縮小画像の各画素の３色成分を計算するようにして撮像装置を構成するものである。
【００１８】
このように構成された異なる種類のカラーフィルタを有する複数の撮像素子を備えた撮像系の間引き処理において、間引き読み出しパターンに撮像素子間で共通する読み出し部分と共通しない読み出し部分を設け、共通読み出し部分から局所的な色相関パラメータを算出し、これに基づいて共通しない読み出し部分の色成分値を推定した上で、この推定色成分値と実際に読み出した色成分値の両方から縮小画像の各画素の３色成分を求めるようにしているので、複数の撮像素子を備えた撮像系においても間引き時に発生する輝度モアレを抑制することができる。
【００１９】
請求項７に係る発明は、請求項１〜５のいずれか１項に係る撮像装置において、前記補間手段は、前記縮小画像の各画素において、全画素共通で得られる種類のカラーフィルタの信号の比較に基づいて注目画素と時間的、空間的な近傍画素との類似度を計算し、類似度が高いと判断された近傍画素において、注目画素で得られていない種類のカラーフィルタの信号と注目画素で得られている種類のカラーフィルタの信号との色相関関係を推定し、その推定結果及び注目画素で得られている信号値とに基づいて、前記縮小画像の各画素の３色成分を計算することを特徴とするものである。
【００２０】
このように構成された撮像装置においては、上記類似度が高いと判断された近傍画素において、注目画素で得られていない種類のカラーフィルタの信号と注目画素で得られている種類のカラーフィルタの信号との色相関関係を推定し、その推定結果及び注目画素で得られている信号値とに基づいて、前記縮小画像の各画素の３色成分を計算するようにしているので、精度よく現フレームの欠落色成分を推定することができる。
【００２１】
請求項８に係る発明は、請求項１〜５のいずれか１項に係る撮像装置において、前記間引き制御手段は、所定時間間隔で前記撮像素子からのフレームの間引き読み出しを繰り返し、その際、フレーム間で読み出し位置が一部共通し、一部共通しないように読み出し制御を行い、前記補間手段がフレーム間で共通する読み出し位置の信号に基づいてフレーム間での動きを検出し、検出結果に基づいて、前記共通しない読み出し位置の信号を補間処理に利用するかしないか決定することを特徴とするものである。
【００２２】
このように構成された撮像装置においては、フレーム間の間引き読み出しを繰り返す際に、フレーム間で読み出し位置が一部共通し、一部共通しないように読み出し、フレーム間で共通する読み出し位置の信号に基づいてフレーム間での動きを検出し、検出結果により動きがないと判断された場合に、共通しない読み出し位置の信号を補間処理に利用するようにしているので、処理結果に破綻をきたすことなく、動きのない部分でのモアレ低減効果を得ることができる。
【００２３】
請求項９に係る発明は、請求項１〜５のいずれか１項に係る撮像装置において、前記間引き制御手段は、所定時間間隔で前記撮像素子からのフレームの間引き読み出しを繰り返し、その際、前記補間手段は、前記縮小画像の全画素に共通して読み出すカラーフィルタ種類の信号に基づいてフレーム内の局所的な周波数特性を測定し、間引き制御手段は前記周波数特性測定結果に応じて次フレームの間引き読み出しパターンを決定するように構成されていることを特徴とするものである。
【００２４】
このように構成された撮像装置においては、間引きを行う際、間引き後の縮小画像に全画素で共通に得られる色成分信号が生成されるようにしているので、その共通色成分信号を用いて画像の各領域の周波数特性を測定することができ、それに応じて次フレームの間引き読み出しパターンを最適に選択することによって、色モアレの発生を抑えることができる。
【００２５】
【発明の実施の形態】
（第１の実施の形態）
次に、実施の形態について説明する。図１は、本発明に係る撮像装置の第１の実施の形態を示すブロック構成図で、本発明をデジタルカメラに適用したものである。この実施の形態に係るデジタルカメラ１００ は、図１に示すように、光学系１０１ ，間引き読み出しの可能な単板カラー撮像素子１０２ ，単板カラー撮像素子１０２ からの出力を記憶するバッファ１０３ ，単板カラー撮像素子１０２ の間引き読み出しの態様を制御する駆動制御回路１０４ ，動画記録モード設定時に、単板カラー撮像素子１０２ から間引き読み出しした信号を補間処理して、縮小カラー画像を内部バッファ１１１ 内に生成する間引き補間回路１０５ ，通常記録モード設定時に、単板カラー撮像素子１０２ を通常読み出しした結果を補間処理して縮小なしのカラー画像を生成し、更に補間処理した画素ブロックの画素値を平均化処理する補間回路１０６ ，間引き補間回路１０５ ないし補間回路１０６ の出力を処理して画質を改善する信号処理回路１０７ ，信号処理回路１０７ の出力を記録媒体に記録する記録回路１０８，信号処理回路１０７ の出力を液晶表示装置に表示する表示回路１０９ ，及びこれら各回路の動作を制御する制御回路１１０ から構成されている。
【００２６】
次に、このように構成されているデジタルカメラ１００ の動作について説明する。通常モードの撮影時においては、ユーザーが図示しないシャッタを押下すると、制御回路１１０ が駆動制御回路１０４ を全画素読み出しモードに設定し、駆動制御回路１０４ は単板カラー撮像素子１０２ を駆動して撮影を行う。これにより、単板カラー撮像素子１０２ からは、その全画素の信号がバッファ１０３ に出力される。単板カラー撮像素子１０２ からの出力が完了すると、制御回路１１０ が補間回路１０６ を動作させ、補間回路１０６ は単板状態の信号を補間処理によりカラー化し、補間処理の完了した画素ブロック毎に信号処理回路１０７ に出力する。信号処理回路１０７ では、入力されたカラーブロックに対し、順次マトリックス色変換、ガンマ補正、エッジ強調などの画質調整処理を施し、処理済カラーブロックを記録回路１０８ に出力する。記録回路１０８ では入力されたカラーブロックを圧縮処理し、図示していない記録媒体に記録する。
【００２７】
また補間回路１０６ は、記録回路１０８ への出力と並行して、内部で補間の完了した画素ブロックの画素値を平均化する処理を行い、平均化結果を内部バッファに記憶している。この平均化処理の結果、補間処理が終了した時点で、内部バッファには記録回路１０８ により記録されたカラー画像の縮小画像が形成される。記録回路１０８ の動作が完了した時点で、制御回路１１０ は補間回路１０６ の内部バッファの縮小画像を信号処理回路１０７ に出力する。最後に、信号処理回路１０７ が画質調整処理を施した画像を表示回路１０９ に出力し、ユーザーに撮影結果が表示されると、撮像完了となる。
【００２８】
一方、ユーザーが動画記録モードを設定してシャッタを押下した場合、駆動制御回路１０４ は単板カラー撮像素子１０２ を間引き読み出し駆動する。単板カラー撮像素子１０２ はＣＭＯＳ撮像素子であり、水平方向の平均化読み出しと、間引き読み出し（読み飛ばし）、及び垂直方向のラインスキップ（ライン読み飛ばし）が可能な構成となっている。図２に、単板カラー撮像素子１０２ のこれらの読み出し態様を示す。図２の（Ａ）に示した水平方向の複数画素の画素値を平均化して読み出す平均化読み出しは、ＣＭＯＳ撮像素子の各画素に付随するキャパシタの並列接続に基づいて実行されるようになっており、ＣＣＤ撮像素子のように電荷オーバーフローを伴う危険はない。また、読み出し時間は、平均化しないで一画素読み出す場合と同じとなる。
【００２９】
図２の（Ｂ）に示す水平方向の間引き読み出しでは、水平ラインの読み出しに用いるシフトレジスタを部分的に迂回する配線で実現しており、ライン内の最初の読み出し位置も可変となっている。平均化する画素数及び間引き位置は、外部からプログラム可能である。図２の（Ｃ）は、任意数のライン飛ばし（垂直方向の間引きスキップ）態様を示しており、図２の（Ｄ）は、図２の（Ａ）に示した平均化読み出しと図２の（Ｂ）に示した間引き読み出しの組み合わせ態様を示している。
【００３０】
駆動制御回路１０４ は、単板カラー撮像素子１０２ の、これらの読み出し機能を活用し、モアレの混入が少なくなる読み出しパターンで、単板カラー撮像素子１０２の画素を平均化及び間引き読み出しで読み出しを実行し、その結果をバッファ１０３ に出力する。
【００３１】
以下、単板カラー撮像素子１０２ のモザイクフィルタ配置が原色ベイヤ配列で、間引き率が縦横１／４の場合を例に、読み出しパターンについて説明する。なお、間引き率が縦横１／４ということは、４×４画素ブロックにつき１画素しか読み出しできないという意味ではない。現在のところ、リアルタイム動画として１フレーム期間内に出力する必要のある画素数は、デジタルカメラの動画記録モードにおいては、ＱＶＧＡ（３２０×２４０）ないしＶＧＡ（６４０×４８０）が一般的である。そのため、撮像素子の駆動速度が速く読み出し期間が「１フレーム期間−後処理期間」以内に収まっていれば、撮像素子からこれ以上の画素数の信号を読み出しても問題はない。以下の例では、４×４画素ブロックにつき４画素まで読み出し可能という前提で説明している。
【００３２】
図３に、間引き率１／４の間引き読み出しの際の駆動処理回路１０４ の間引き読み出しパターンを示す。この間引き読み出しパターンでは、図３の（Ａ）に示された単板カラー撮像素子１０２ の原色ベイヤ配列において、４×４の全ての画素ブロックで、図に示した平行四辺形パターンの各角部に位置する４つのＧフィルタの位置の信号を、平均化して読み出す。また、Ｒ，Ｂフィルタの位置の信号については、図３の（Ｂ）で示すように、４×４画素ブロックで同じく平行四辺形パターン（図中点線部）の各角部に位置する４つのＲフィルタの位置の信号を読み出し平均化するが、Ｂフィルタ位置の信号は読み出さない読み出しタイプ（読み出しタイプＩ）、及び平行四辺形パターン（点線部）の各角部に位置する４つのＢフィルタの位置の信号を読み出して平均化するが、Ｒフィルタ位置の信号は読み出さない読み出しタイプ（読み出しタイプＩＩ）、の二通りの読み出しタイプを設け、４×４画素ブロックの位置に応じて、いずれのパターンで読み出すかを、図３の（Ｃ）に示すように設定する。図３の（Ｃ）においては、各四角形領域は４×４画素ブロックに対応しており、各四角形領域中の記号（Ｉ又はＩＩ）が、そのブロックがいずれの読み出しタイプで読み出されるかを示している。２種類の読み出しタイプに対応する画素ブロックが市松状に配置されていること、及びフレーム毎に市松配置が反転することの２点が特徴である。
【００３３】
なお、Ｒ，Ｇ，Ｂそれぞれの読み出しパターンは、図２の（Ａ）〜（Ｃ）に示した平均化読み出し、間引き読み出し（読み飛ばし）、ラインスキップの基本動作の組み合わせで実現できる。例えば、平行四辺形パターンのＧフィルタ位置の信号の読み出しと平均化は、次のようなステップで行われる。すなわち、▲１▼ライン内で、２画素目から、水平方向に２画素平均し、２画素読み飛ばすパターンを繰り返す、▲２▼１ラインスキップする、▲３▼最初の読み出し位置を▲１▼おける最初の読み出し位置に対して２画素右にずらし同じ動作を行う、▲４▼１ラインスキップする、という動作を垂直方向に繰り返して、各ラインの信号をバッファ１０３ 内に得た後、▲１▼と▲３▼で読み出した信号値を、ライン間で加算平均することにより実行される。このようなライン間の平均化処理は、間引き補間回路１０５ 内で行われ、結果が間引き補間回路１０５ 内のバッファ１１１ に記憶される。
【００３４】
このように、駆動制御回路１０４ による上記の▲１▼〜▲４▼の読み出しと、間引き補間回路１０５ のライン間平均化処理により、各４×４画素ブロックで、Ｇ及びＲ、又はＧ及びＢの平均値が得られ、最終的に、間引き補間回路１０５ の内部バッファ１１１ には、図４の（Ａ）及び（Ｂ）に示すように、１／４に縮小された２板状態の画像が得られる。なお、図示のように、フレーム毎にＲ／Ｂのパターンが反転している。この状態から３色カラー画像を生成する２板カラー化処理は、２板撮像系のカメラの信号処理系として公知であり、間引き補間回路１０５ も公知例に従って処理を行う。
【００３５】
次に、図４の（Ｂ）を用いて、間引き補間回路１０５ における処理例を説明する。Ｇ成分は全画素で得られているので、補間処理が必要なのは、各画素で欠落しているＲ成分又はＢ成分である。例えば、図４の（Ｂ）中の網掛けのＧ１画素位置では、Ｂ成分はＢ１として存在するがＲ成分が欠落している。そこで、全画素で得られているＧに関して、網掛け画素Ｇ１と斜線部で示したその近傍のＧ画素とを比較し、最も差の小さい近傍画素を探索する。具体的には、図４の（Ｂ）における画素Ｇ１〜Ｇ５に関して、｜Ｇ１−Ｇｊ ｜（ｊは２〜５）を計算し、差分が最小となる画素Ｇｊ を求める。そして、その画素位置に対応するＲｊ を網掛け画素位置におけるＲ成分の値とする。このようにして、間引き補間回路１０５ において全ての欠落色成分が補間された後、内部バッファ１１１ 上に完成された画像は、通常撮影モードと同様に記録回路１０８ 及び表示回路１０９ に出力される。
【００３６】
以上の説明から把握できるように、本実施の形態は、以下に述べるような効果を含んでいる。
（１） ４×４ブロック毎に、ＲＧＢ全色が揃うように読み出すかわりに、いずれか２色が得られ、且つ一色は全ての４×４ブロックで共通に得られるような間引き読み出し方をした結果、間引き読み出し結果自体への各色へのモアレの混入を抑え、且つ欠落する色成分の復元（補間）もやりやすい構成となる。これは、請求項１に係る発明に対応する効果である。
（２） 特に、各ブロックでＲとＧ，又はＢとＧの組み合わせで色成分が得られ、且つこの組み合わせが市松状配置パターンをなすように間引きパターンを構成した結果、間引き読み出しした結果得られる画像が、２板撮像系で得られる画像と同一パターンとなり、その後のカラー化処理が行いやすくなる。これは、請求項２に係る発明に対応する効果である。
（３） また、上記（２）で述べた市松配置をフレーム毎に反転させることで、２板状態からの欠落色成分の補間復元で発生する色モアレの色がフレーム毎に補色関係になり、動画としてみると色モアレが色フリッカとして表示される。人間の視覚は色フリッカに対する感度が低いため、結果的に、色モアレが目立たなくする効果が得られる。この効果は、請求項４に係る発明に対応するものである。
【００３７】
なお、本実施の形態においては、いくつかの変形が可能である。一つの好ましい変形例では、間引き補間回路１０５ においてフレーム間で読み出し位置の共通するＧ成分を用いて公知の動き検出を行い、動いていないと判定した場合は、２板状態にした際に欠落しているＲ又はＢ成分の値として、前フレームの対応する位置の値を用いる。その結果、動いていない部分については、２板カラー化処理の際に発生する色モアレを低減させることができる。
【００３８】
また、別の好ましい変形例では、図３の（Ｃ）に示したように、フレーム間でＲとＧ，又はＢとＧの組み合わせ間引きパターンを反転させる代わりに、例えばＲ，Ｂの読み出しタイプとして、図５に示す読み出しタイプＩＩＩ 及びＩＶを新たに設け、フレーム間で読み出しタイプＩとＩＩＩ ，ＩＩとＩＶを交互に用いる。そして、間引き補間回路１０５ では、フレーム間で読み出し位置の共通するＧ成分を用いて、フレーム間差分に基づく方法などの公知の動き検出を行い、動いていないと判定した場合は、フレーム間の平均を取る操作を行う。このようにすると、動いていない部分では、フレーム間平均の結果、より多くの間引き情報を得ることができるようになり、モアレ低減効果が得られる。これらの変形例の構成は、請求項８に係る発明に対応するものである。
【００３９】
（第２の実施の形態）
次に、本発明の第２の実施の形態について説明する。図６は、第２の実施の形態を示すブロック構成図で、図１に示した第１の実施の形態と同じ部分には同一符号を付して示し、その説明は省略し、異なっている部分についてのみ説明する。この第２の実施の形態は、第１の実施の形態と同じく本発明をデジタルカメラに適用したものであるが、間引き読み出しのパターンとその制御法が、第１の実施の形態と異なっている。すなわち、図６に示すように、第１の実施の形態と異なり、間引き補間回路２０５ 内に、新たにモアレ予測回路２１２ とフィルタリング回路２１３ が付加されている。そして、モアレ予測回路２１２ からの信号が駆動制御回路２０４ にフィードバックされ、モアレ予測結果に応じて間引きパターンを変化させることが、構成上の大きな違いとなっている。その他の構成は、第１の実施の形態と同一である。
【００４０】
このように構成されている第２の実施の形態の動作は、通常撮影では第１の実施の形態と同一である。動画撮影時には、駆動制御回路２０４ が第１の実施の形態と同じく単板カラー撮像素子１０２ を間引き読み出し駆動するが、４×４画素ブロック内の間引き読み出しのタイプが、図５に読み出しタイプＩＩＩ ，ＩＶで示すように、更に２通り増えている。実際の読み出しにおいては、図７の（Ａ）に示すように、読み出しタイプＩＩＩ と図３の（Ｂ）に示した読み出しタイプＩが、また読み出しタイプＩＶと図３の（Ｂ）に示した読み出しタイプＩＩが組になり、各組のどちらかが別の組のどちらかと市松状パターンの配置をなす。各組でどちらの読み出しタイプが使用されるかは、前フレームにおけるモアレ予測回路２１２ の検出結果による。以下、縮小画像の各画素に対応するブロックに対し、読み出しタイプＩとＩＩＩ ，ないしＩＩとＩＶのどちらのタイプで読み出すかを指定したフラグｄが、駆動制御回路２０４ の内部に記憶されているものとして、動画撮影時の動作について説明する。
【００４１】
まず、駆動制御回路２０４ が、フラグｄ に基づき単板カラー撮像素子１０２ の間引き読み出しを行う。各読み出しパターンは、水平方向の２画素平均、水平方向の読み飛ばし、及び垂直方向のラインスキップの３動作の組み合わせになっている。これを利用して、駆動制御回路２０４ は各ブロックの読み出しパターンを基本操作に分解して組み直し、単板カラー撮像素子１０２ の各ライン毎に必要な読み出し位置を計算する。例として、図７の（Ｂ）に、フラグｄが図７の（Ｂ）の左側ブロックで指定されている場合の各ラインの読み出し位置を、斜線で示している。駆動制御回路２０４ は、計算された読み出し位置の画素と、その２画素右にある画素との平均値がライン毎に得られるように、単板カラー撮像素子１０２ を駆動し、間引かれた画素値をバッファ１０３ に得る。
【００４２】
次に、間引き補間回路２０５ が、第１の実施の形態と同様に２板化処理を行い、図４の（Ａ），（Ｂ）で示した２板状態の縮小画像を内部バッファ２１１ に得る。但し、本実施の形態では、Ｇ成分について、間引き画素値を３ラインづつバッファ１０３ から読み出し、各ラインからＧ成分のみを取り出した後、フィルタリング回路２１３ により垂直方向のフィルタリングを行う。３ラインのフィルタ係数は、〔１／４ １／２ １／４〕となっている。この処理により、図７の（Ｃ）に示すように、原画像に図７の（Ｃ）の右側に示すフィルタ係数を持ったローパスフィルタをかけるのと等価な結果が得られ、第１の実施の形態で計算したＧ成分より、垂直方向のモアレが抑えられる。なお、図７の（Ｃ）の左側の画素ブロックの外側に示した数字（１／４又は１／２）は、ライン毎のフィルタ係数である。一方、Ｒ，Ｂ成分に対しては、第１の実施の形態と同様に、図３の（Ｂ）及び図５の点線の平行四辺形パターンで示した４画素の平均値が得られるように、バッファ１０３ からデータを読み出してライン間で平均化処理する。こうして２板状態の画像が得られた後、間引き補間回路２０５ は第１の実施の形態と同一の２板カラー化処理を行い、内部バッファ２１１ に最終結果を記憶する。
【００４３】
これと並行して、モアレ予測回路２１２ では、次フレームにおいて特に２板カラー化処理でモアレが発生しそうな場所を推定する。具体的には、縮小画像中の斜めエッジや縞を検出するが、これは、２板状態のＲ／Ｂ成分が市松配置であり、斜め線や斜め縞に対してモアレを生じやすいためである。検出のために、モアレ予測回路２１２ は、縮小画像の全画素で得られているＧ成分に、図８の（Ａ）に示す２つのフィルタＦ１，Ｆ２を適用し、画素毎にフィルタリング結果の絶対値Ｃ１，Ｃ２を計算する。（フィルタＦ１は、右上がりの斜め縞、Ｆ２は右下がりの斜め縞で大きな絶対値を持つ。）そして、絶対値の差分Ｃ１−Ｃ２が、所定の閾値Ｔ１以上の画素を右上がりエッジのある画素に、閾値Ｔ２以下の画素を右下がりエッジのある画素と判定する。
【００４４】
モアレ予測回路２１２ の判定終了後、間引き補間回路２０５ は、判定結果に基づいて、次フレームにおいて最適な間引きパターンが得られるように、４×４画素ブロック毎の間引きパターンを指定するフラグｄを決定する。
【００４５】
ここで、間引きパターンを選択する効果を、図８の（Ｂ）を用いて説明する。図８の（Ｂ）は、２板状態のＲ成分を得るときにブロックの間引きパターンとして図３の（Ｂ）の読み出しタイプＩで得た場合と、図５の読み出しタイプＩＩＩ で得た場合の斜め方向の帯域の差を示している。図８の（Ｂ）において、横軸は周波数で縞の細かさを表しており、縦軸はレスポンスで縞のぼけ具合（レスポンス１：ぼけ小、レスポンス０：ぼけ大）を表している。このように、本実施の形態の間引きパターンで得られたＲないしＢ成分は、斜め方向の周波数特性に非対称性があり、パターンの選択により非対称関係が逆転する。そこで、斜めの特定方向に帯域が高い画像領域に対応するブロックにおける読み出しパターンとして、その方向での帯域低下効果が大きくなるものを選択すれば、フレーム間での動きが少ないという前提で、次フレームで２板状態のＲ／Ｂ成分に含まれるモアレの低減が可能となる。
【００４６】
この考えに基づき、間引き補間回路２０５ は、モアレ予測回路２１２ の判定で右上がりエッジと判断された画素の次フレームでの読み出しパターンを、読み出しタイプＩないしＩＩに、右下がりエッジと判断された画素の読み出しパターンを、読み出しタイプＩＩＩ ないしＩＶになるよう、駆動制御回路２０４ 内のフラグｄを設定する。また、どちらにも判定されなかった画素に対応するブロックについては、現フレームと同じものが選択されるように設定する。
【００４７】
間引き補間処理回路２０５ の処理が終了すると、その後第１の実施の形態と同一の処理がなされる。以上の説明から把握できるように、本実施の形態は、以下に述べるような効果を含んでいる。
（１） 間引きを行う際、間引き後の縮小画像に全画素で共通して得られる色成分を設けたので、その成分を使って画像の各領域の周波数特性を調べることができる。それに応じて次フレームの間引きパターンを最適に選択することで、色モアレの発生を抑えることができる。この効果は、請求項９に係る発明に対応するものである。
【００４８】
（第３の実施の形態）
次に、本発明の第３の実施の形態について説明する。図９は、第３の実施の形態を示すブロック構成図で、図１に示した第１の実施の形態と同じ部分には同一符号を付して示し、その説明を省略し、異なっている部分についてのみ説明する。この第３の実施の形態は、図９に示すように、第１の実施の形態と同じく本発明をデジタルカメラに適用したものである。本実施の形態では、第１の実施の形態と異なり、間引き補間回路３０５ 内に新たに動き補償回路３１４ とフィルタリング回路３１３ が付加されている。また、駆動制御回路３０４ の間引きの態様も第１の実施の形態と異なっているが、その他の構成は第１の実施の形態と同一である。
【００４９】
このように構成されている第３の実施の形態の動作は、通常撮影では第１の実施の形態と同一である。動画撮影時には、駆動制御回路３０４ が第１の実施の形態と同じく単板カラー撮像素子１０２ を間引き読み出し駆動するが、第１の実施の形態のように、４×４画素ブロック毎に間引きパターンを変える代わりに、フレーム単位で間引き読み出しパターンを変更する。間引き読み出しパターンは、フレーム２ｎのとき全ブロックで図３の（Ｂ）に示す読み出しタイプＩ，フレーム２ｎ＋１のとき全ブロックで図３の（Ｂ）に示す読み出しタイプＩＩとなっている。駆動制御回路３０４ は、フレーム毎に間引き読み出しパターンを切り替えて単板カラー撮像素子１０２ を駆動し、第２の実施の形態と同様に、水平方向の平均化処理を行いつつ、ライン単位でバッファ１０３ に間引き読み出し結果を格納する。
【００５０】
間引き補間回路３０５ は、間引き読み出しが終了すると各色成分の平均化処理を行うが、その際、第２の実施の形態と同様にライン間でフィルタリングを行う。フィルタ係数も第２の実施の形態に関して図７の（Ｃ）に示したものと同じく、〔１／４ １／２ １／４〕であるが、第２の実施の形態と異なり、Ｇ成分のみならず全ての色成分に対してライン間フィルタリングを行う。フィルタリングの結果、図１０に示すように、原画像の各色成分に対して図７の（Ｃ）に示したのと同じフィルタ係数を持つローパスフィルタをかけたのと同じ効果が得られる。平均化結果は、内部バッファ３１１ に記憶され、図１１の（Ａ），（Ｂ）に示すように、フレーム２ｎでは縮小されたＲ，Ｇ成分、フレーム２ｎ＋１では縮小されたＢ，Ｇ成分が得られる。
【００５１】
次に、各フレーム毎にＲ又はＢの欠落成分があるので、間引き補間回路３０５ は前フレームの情報を用いて欠落成分を推定する。次に、例として図１１の（Ｂ）の網掛けしたＧ＃画素位置に対応するＲ成分を推定する方法を示す。まず、動き補償回路３１４ が、図１１の（Ｂ）に示す網掛け位置が、図１１の（Ａ）に示す前フレームでどの位置に対応していたのかを、フレーム間で共通に得られているＧ成分を用いて推定する。具体的には、公知の動きベクトル推定手法を用いるが、例えば、図１１の（Ｂ）のＧ＃画素位置近傍の３×３ 画素範囲Ｐに対し、図１１の（Ａ）に太枠で示した探索範囲Ｑを設定し、該探索範囲Ｑ内の全ての３×３近傍（探索範囲Ｑの左上隅に網掛け範囲として例示）とのマッチングをとり、マッチング誤差が最小となる近傍位置を計算する。図１１の（Ａ）のＧ＊画素位置を中心とする３×３近傍が、これにあたる。このようにして、縮小画像の全画素に対し、動き補償回路３１４ により前フレームでの対応位置が求められると、間引き補間回路３０５は、前フレームの対応位置における現フレームの欠落色成分に対応するＲ成分（Ｒ＊）とＧ成分（Ｇ＊）の差分をとり、その差分に現フレームのＧ成分（Ｇ＃）を加えて現フレームの欠落色成分の値として、内部バッファ３１１ に記憶する。図１１に示した例では、図１１の（Ｂ）に示すＧ＃画素位置における欠落成分（Ｒ）の推定値は、図１１の（Ａ）中の対応位置での画素値Ｒ＊，Ｇ＊を用いて、Ｒ＃＝Ｇ＃＋（Ｒ＊−Ｇ＊）として計算される。
【００５２】
間引き補間回路３０５ の処理が終了後のデジタルカメラ３００ の動作は、第１の実施の形態と同一である。以上の説明から把握できるように、本実施の形態は、以下に述べるような効果を含んでいる。
（１） 間引きにより得る色成分の種類として、フレーム間で共通して読み出す色成分と特定フレームでしか読み出さない色成分を設けたことで、各フレームで間引き読み出しにより得られる色成分へのモアレの混入を抑えることができ、且つ共通する成分を使って前後フレームの対応関係を推定することで、欠落する色成分も正しく補間復元することができる。この効果は、請求項３に係る発明に対応するものである。
（２） フレーム間で共通して読み出すＧ成分を用いて前後フレームの位置の対応関係を計算し、更にＧ成分と前フレームでしか読み出さないＲ又はＢ成分の相関関係（本実施の形態ではＲ成分とＧ成分の差分又はＢ成分とＧ成分の差分）を計算し、その関係と、現フレームで読み出したＧ成分から現フレームで読み出されていない色成分を推定することで、精度よく現フレームの欠落色成分を推定できる。この効果は、請求項７に係る発明に対応するものである。
【００５３】
なお、この実施の形態の好ましい変形例として、以下のものを挙げることができる。例えば、４×４ブロック単位ではなく、２×２ブロック単位で考えると、図１０の間引き読み出しは、図１２の（Ａ），（Ｂ）に示した読み出しタイプＸとＹの組み合わせで実現できる。読み出しタイプＸは、太枠で示した２×２ブロックに対し、点線で示したＲの平均値、及び実線で示したＧの平均値を読み出す。読み出しタイプＹは、太枠で示した２×２ブロックに対し、点線で示したＢの平均値、及び実線で示したＧの平均値を読み出す。そして、ＧとＲを読み出すフレームでは、図１２の（Ｃ）に示すように、読み出しタイプＸの読み出しを、２×２ブロックを単位として市松状に繰り返すことで実現でき、ＧとＢを読み出すフレームでは、図１２の（Ｄ）に示すように、読み出しタイプＹの読み出しを、２×２ブロックを単位として市松状に繰り返すことで実現できる。
【００５４】
上述の実施の形態では、図１２の（Ｃ），（Ｄ）の太枠で示したように、２×２ブロックを４個まとめた４×４ブロックにつき、フレーム毎に、ＲとＧ，又はＢとＧが得られていると考えていたが、２×２ブロック単位で考えると、このように、フレーム毎に市松状に、ＲとＧ，又はＢとＧが得られる。そこで、２×２ブロック単位で、上述の実施の形態と同様に動き検出を行って、特定２×２ブロックに対応する前後フレーム内の２×２ブロックを求める。これにより、例えば、図１２の（Ｅ）に示すように、フレーム２ｎの＃の付いた画素位置に対し、フレーム２ｎ＋１の＊の付いた画素位置が対応することがわかる。そして、このような対応関係を、値の得られている全ての２×２ブロックで調べた後、対応関係に基づいて各ブロックで欠落する色成分を推定する。
【００５５】
推定方法は、上述の実施の形態と同様である。例えば、図１２の（Ｅ）において、フレーム２ｎの＃の付いた画素位置で欠落する色成分Ｂ＃に対し、フレーム２ｎ＋１において対応する＊の付いた画素位置で得られているＧ＊，Ｂ＊，及び
フレーム２ｎの＃の付いた画素位置で得られているＧ＃から、Ｂ＃＝（Ｇ＊−Ｂ＊）＋Ｇ＃と推定する。最後に、各２×２ブロックで、このように欠落色成分を推定した後、２×２ブロックでの３色成分値を縦２個、横２個の４個単位で平均化することで、縮小画像の１画素に対応する４×４ブロックの３色成分値を計算する。この方法では、対応関係を求めるブロックサイズが上述の実施の形態より細かくなっており、より精度よく欠落色成分を推定できる。
【００５６】
更に別の好ましい変形例は、Ｇ成分の間引きパターンをフレーム間で変えるもので、図１３に示すように、フレーム２ｎで本実施の形態で示した間引きパターン（実線）を、フレーム２ｎ＋１ではそれとは異なる間引きパターン（点線）をとる。ここで、図１３中の一点鎖線枠中の読み出し位置は、フレーム間で変わらないように構成する。そして、動き補償回路３１４ では、フレーム間の動き検出をフレーム間で変わらない読み出し位置のＧ信号を使って行う。そして、動いていないと判断された画素については、前フレームのＧ成分と現フレームのＧ成分を平均する。その結果、間引いたＧ成分に混入するモアレを低減させることができる。この効果は、請求項５に係る発明に対応するものである。
【００５７】
（第４の実施の形態）
次に、本発明の第４の実施の形態について説明する。図１４は、第４の実施の形態を示すブロック構成図で、図１に示した第１の実施の形態と同じ部分には同一符号を付して示し、その説明は省略し、異なっている部分についてのみ説明する。この第４の実施の形態は、図１４に示すように、第１の実施の形態と同じく本発明をデジタルカメラに適用したものであるが、３板撮像系である点が大きな違いである。光学像は、色分解プリズムを介して色成分毎にＲ撮像素子４０２ａ，Ｇ撮像素子４０２ｂ，Ｂ撮像素子４０２ｃで撮像され、各撮像素子からの出力は同一のバッファ１０３ に入るようになっている。各撮像素子は、第１の実施の形態における単板カラー撮像素子１０２ と同一の間引き読み出し機能を備えており、駆動制御回路４０４は３つの撮像素子それぞれの間引き読み出し駆動を独立に行うことができる。また、間引き補間回路４０５ には、新たに色相関計算回路４１４ ，フィルタリング回路４１３ が付加されている。その他は、３板撮像系であるため補間回路１０６ がない点を除いて、第１の実施の形態と同一である。
【００５８】
このように構成されている第４の実施の形態の動作は、通常撮影では第１の実施の形態と類似しているが、駆動制御回路４０４ が全画素読み出しモードでＲ撮像素子４０２ａ，Ｇ撮像素子４０２ｂ，Ｂ撮像素子４０２ｃを駆動すると、バッファ１０３ に３色カラー画像が直接得られ、信号処理回路１０７ が直接バッファ１０３ から３色カラー画像を読み出して画質改善処理を施す点が異なっている。一方、動画撮影時には、駆動制御回路４０４ が間引き読み出しモードでＲ撮像素子４０２ａ，Ｇ撮像素子４０２ｂ，Ｂ撮像素子４０２ｃを駆動し、各撮像素子からバッファに得られた間引き読み出し出力を、間引き補間回路４０５ が補間処理して３色カラー画像を生成した後、信号処理回路１０７ に出力する。以下、駆動制御回路４０４ 及び間引き補間回路４０５ の動作について説明するが、これまでの実施の形態と同じく、縮小率は１／４，読み出しレートは４×４画素ブロック毎に４画素の場合について説明する。
【００５９】
駆動制御回路４０４ による各撮像素子の間引き方は、全てのフレームで、３つの撮像素子それぞれに対し、図１５の（Ａ）の網掛けで示したとおりである。特徴は、読み出し位置に撮像素子間で共通している部分といない部分があることである。撮像素子間で共通している読み出し位置を、図１５の（Ｂ）に示した。駆動制御回路４０４ により、各撮像素子から網掛け部分の画素が水平方向に２画素づつ平均して読み出され、バッファ１０３ の撮像素子別に設けられた領域に記憶される。４×４画素ブロック当たり各ライン毎に４つの値が記憶される。
【００６０】
間引き読み出しが完了すると、間引き補間回路４０５ は、他の実施の形態と同じくバッファ１０３ 内のデータの平均化処理を行う。その際、３つの素子の間引き読み出し結果を総合し、各撮像素子で間引き読み出しされていない位置での信号値を推定してから、平均化操作を行うことで、モアレ低減を可能にしている。図１６に示した例に基づいて推定方法を説明する。
【００６１】
この図１６において、黒い四角で囲んだ画素位置は、Ｒ撮像素子４０２ａとＧ撮像素子４０２ｂに共通の間引き読み出し位置である。相関計算回路４１１ は、この共通の位置で得られているＲ，Ｇの信号Ｒ＊及びＧ＊から、各４×４ブロック内でのＲ成分とＧ成分の色相関を推定する。本実施の形態では、最も簡単なものとして、共通読み出し位置での平均値の差Ｄ＝Ａｖｇ（Ｒ＊）−Ａｖｇ（Ｇ＊）（Ａｖｇは平均を表す）を、色相関を表すパラメータとして計算する。水平方向の平均値は、すでにバッファ１０３ に得られているので、相関計算回路４１１ は２つの撮像素子からの共通読み出し位置に対応する出力を更に平均し差分をとるだけでよい。なお、色相関を表すパラメータとしては、この他にもＡｖｇ（Ｒ＊）／Ａｖｇ（Ｇ＊）など様々なものが考えられる。
【００６２】
この計算の後、間引き補間回路４０５ は、ある撮像素子では値が読み出されなかったが他の撮像素子では値が読み出されているような位置に対し、読み出されなかった値を推定する。図１６に示した例では、Ｒ撮像素子４０２ａで２画素平均値Ｒ＃が読み出されている位置に対し、その位置でのＧ撮像素子４０２ｂにおける２画素平均値Ｇ＃を、共通読み出し位置での色相関パラメータ計算結果を用いて、Ｒ＃＋Ｄで推定する。このようにして、全ての撮像素子に共通しない読み出し位置での画素値を推定した後、間引き補間回路４０５ は各４×４ブロックでの平均値を計算し、内部バッファ４１１ に保存する。
【００６３】
間引き補間回路４０５ の処理が終了後のデジタルカメラ４００ の作用は、第１の実施の形態と同一である。以上の説明から把握できるように、本実施の形態は、以下に述べるような効果を含んでいる。
（１） ３板撮像系の間引き処理において、色成分間の間引き読み出しパターンに共通する読み出し部分と共通しない読み出し部分を設け、共通読み出し部分から局所的な色成分間の相関関係（色相関パラメータ）を計算し、共通しない読み出し部分にこれを適用することで、各色成分において間引き読み出しされなかった位置の信号の推定が可能になり、推定値を含めて平均化処理を行うことで、３板撮像系においても間引き時に発生する輝度モアレを抑制することができる。これは、請求項６に係る発明に対応する効果である。
【００６４】
【発明の効果】
以上実施の形態に基づいて説明したように、請求項１に係る発明によれば、縮小画像の各画素に対応させて撮像素子上の複数位置の信号を読み出す際に、読み出し位置のカラーフィルタの種類が２種類以上であって、且つそのうち少なくとも１種類のカラーフィルタは縮小画像の全画素に共通し、少なくとも１種類のカラーフィルタは共通しなくなるように間引き読み出ししているので、縮小画像へのモアレの混入が抑制され、また欠落色成分の補間復元も容易に行うことが可能となる。また請求項２に係る発明によれば、間引き読み出しした結果得られる画像が２板撮像系で得られる画像と同一パターンとなり、その後のカラー化処理等が容易に行うことが可能となる。また請求項３に係る発明によれば、縮小画像の全画素に共通して読み出すカラーフィルタの種類を２種類以上とし、そのうちの少なくとも１種類のカラーフィルタがフレーム間で共通しており、且つ少なくとも１種類のカラーフィルタがフレーム間で異なるように間引き読み出しを行うように構成されているので、各フレームで間引き読み出しにより得られる色成分へのモアレの混入を抑えることができ、且つ共通する色成分を用いて前後フレームの対応関係を推定することにより、欠落する色成分を正確に補間復元することができる。また請求項４に係る発明によれば、組み合わせ読み出しに対応する画素配置の市松状パターンを、フレーム間で反転させるようにしているので、２板状態からの欠落色成分の補間復元で発生する色モアレの色がフレーム毎に補色関係になり、動画としてみると色モアレが色フリッカとして表示され、人間の視覚は色フリッカに対する感度が低いため、結果的に色モアレが目立たなくする効果が得られる。また請求項５に係る発明によれば、フレーム間の間引き読み出しを繰り返す際に、少なくとも１種類の色成分がフレーム間で共通に読み出され、且つフレーム間で共通に読み出される色成分に対し、フレーム間で読み出し位置が一部共通し、一部異なるように読み出しているので、フレーム間で共通している読み出し位置における画素信号を用いて動き検出を行い、動きのない画素信号についてフレーム間の平均を求めることにより、間引き色成分画像に混入するモアレを低減させることができる。
【００６５】
また請求項６に係る発明によれば、異なる種類のカラーフィルタを有する複数の撮像素子を備えた撮像系の間引き処理において、間引き読み出しパターンに撮像素子間で共通する読み出し部分と共通しない読み出し部分を設け、共通読み出し部分から局所的な色相関パラメータを算出し、これに基づいて共通しない読み出し部分の色成分値を推定した上で、この推定色成分値と実際に読み出した色成分値の両方から縮小画像の各画素の３色成分を求めるようにしているので、複数の撮像素子を備えた撮像系においても間引き時に発生する輝度モアレを抑制することができる。また請求項７に係る発明によれば、類似度が高いと判断された近傍画素において、注目画素で得られていない種類のカラーフィルタの信号と注目画素で得られている種類のカラーフィルタの信号との色相関関係を推定し、その推定結果及び注目画素で得られている信号値とに基づいて、前記縮小画像の各画素の３色成分を計算するようにしているので、精度よく現フレームの欠落色成分を推定することができる。また請求項８に係る発明によれば、フレーム間の間引き読み出しを繰り返す際に、フレーム間で読み出し位置が一部共通し、一部共通しないように読み出し、フレーム間で共通する読み出し位置の信号に基づいてフレーム間での動きを検出し、検出結果により動きがないと判断された場合に、共通しない読み出し位置の信号を補間処理に利用するようにしているので、処理結果に破綻をきたすことなく、動きのない部分でのモアレ低減効果を得ることができる。また請求項９に係る発明によれば、間引きを行う際、間引き後の縮小画像に全画素で共通に得られる色成分信号が生成されるようにしているので、その共通色成分信号を用いて画像の各領域の周波数特性を測定することができ、それに応じて次フレームの間引き読み出しパターンを最適に選択することによって、色モアレの発生を抑えることができる。
【図面の簡単な説明】
【図１】本発明に係る撮像装置の第１の実施の形態を示すブロック構成図である。
【図２】図１に示した第１の実施の形態における単板カラー撮像素子の読み出し機能を示す説明図である。
【図３】第１の実施の形態における間引き読み出しパターンを示す説明図である。
【図４】縮小された２板状態の画像を示す図及び２板カラー化処理の説明図である。
【図５】第１の実施の形態の変形例、及び第２の実施の形態における４×４ブロックの間引き読み出しパターンを示す図である。
【図６】本発明の第２の実施の形態を示すブロック構成図である。
【図７】第２の実施の形態における間引き読み出し方法及びフィルタリング処理についての説明図である。
【図８】第２の実施の形態におけるモアレ予測に用いるフィルタ、及び２板状態のＲ成分を得るときに読み出しタイプＩ及びＩＩＩ を用いた場合の周波数特性を示す図である。
【図９】本発明の第３の実施の形態を示すブロック構成図である。
【図１０】第３の実施の形態における間引き読み出しパターンを示す説明図である。
【図１１】第３の実施の形態における動き補償回路を用いた欠落色成分の推定手法を示す説明図である。
【図１２】第３の実施の形態における動き補償回路における処理の変形例を示す説明図である。
【図１３】第３の実施の形態における間引き読み出しパターンの変形例を示す図である。
【図１４】本発明の第４の実施の形態を示すブロック構成図である。
【図１５】第４の実施の形態における間引き読み出しパターンを示す説明図である。
【図１６】第４の実施の形態における色相関計算回路による画素値予測の説明図である。
【符号の説明】
１００， ２００， ３００， ４００ デジタルカメラ
１０１ 光学系
１０２ 単板カラー撮像素子
１０３ バッファ
１０４， ２０４， ３０４， ４０４ 駆動制御回路
１０５， ２０５， ３０５， ４０５ 間引き補償回路
１０６ 補間回路
１０７ 信号処理回路
１０８ 記録回路
１０９ 表示回路
１１０ 制御回路
１１１， ２１１， ３１１， ４１１ 内部バッファ
２１２ モアレ予測回路
２１３， ３１３， ４１３ フィルタリング回路
３１４ 動き補償回路
４０２ａ Ｒ撮像素子
４０２ｂ Ｇ撮像素子
４０３ｃ Ｂ撮像素子
４１４ 色相関計算回路
Claims (9)
- モザイクカラーフィルタを有し、水平及び垂直方向に間引き動作可能な単板撮像素子と、前記撮像素子の間引き読み出しの動作を制御する間引き制御手段と、前記間引き制御手段により指定された間引きパターンで前記撮像素子から読み出された信号を処理して３色成分からなる縮小画像を作成する補間手段とを有し、前記間引き制御手段は、前記縮小画像の各画素に対応させて前記撮像素子上の複数位置の信号を読み出し、その際、読み出し位置のカラーフィルタの種類が２種類以上であって、且つそのうち少なくとも１種類のカラーフィルタは前記縮小画像の全画素に共通し、少なくとも１種類のカラーフィルタは前記縮小画素の全画素に共通しなくなるように読み出し制御を行い、前記補間手段は、前記縮小画像の各画素において、注目画素及びその空間的、時間的近傍に位置する画素で得られる２種類以上のカラーフィルタに対応する信号から、注目画素の３色成分を計算することを特徴とする撮像装置。
- 前記モザイクカラーフィルタが原色ベイヤ配列であり、前記間引き制御手段は、前記縮小画像の各画素に対応して読み出すカラーフィルタの種類がＲ及びＧの組み合わせ、又はＢ及びＧの組み合わせであり、且つ前記Ｒ及びＧの組み合わせ読み出しに対応する画素と、前記Ｂ及びＧの組み合わせ読み出しに対応する画素の配置が市松状パターンとなるように読み出し制御を行うことを特徴とする請求項１に係る撮像装置。
- 前記間引き制御手段が、所定時間間隔で前記撮像素子からのフレームの間引き読み出しを繰り返し、その際、前記縮小画像の全画素に共通して読み出すカラーフィルタの種類が２種類以上となり、そのうち少なくとも１種類のカラーフィルタがフレーム間で共通しており、且つ少なくとも１種類のカラーフィルタがフレーム間で異なるように読み出し制御を行うことを特徴とする請求項１に係る撮像装置。
- 前記間引き制御手段は、所定時間間隔で前記撮像素子からのフレームの間引き読み出しを繰り返し、その際、前記縮小画像において、前記Ｒ及びＧの組み合わせ読み出しに対応する画素と、前記Ｂ及びＧの組み合わせ読み出しに対応する画素の配置が、フレーム間で反転するように読み出し制御を行うことを特徴とする請求項２に係る撮像装置。
- 前記間引き制御手段が、所定時間間隔で前記撮像素子からのフレームの間引き読み出しを繰り返し、その際、少なくとも１種類の色成分がフレーム間で共通に読み出され、且つフレーム間で共通に読み出される種類の色成分の読み出し位置が、フレーム間で一部共通し、一部異なるように読み出し制御を行うことを特徴とする請求項１〜４のいずれか１項に係る撮像装置。
- 水平及び垂直方向に間引き動作可能で、各々前面に異なる種類のカラーフィルタを有する複数の撮像素子と、前記複数の撮像素子の間引き読み出しの動作を制御する間引き制御手段と、該間引き制御手段により指定された間引きパターンで前記複数の撮像素子から読み出された信号を処理して３色成分からなる縮小画像を作成する補間手段とを有し、前記間引き制御手段が、前記縮小画像の各画素に対応させて前記各撮像素子上の複数位置の信号を読み出し、その際、各撮像素子からの読み出し位置の一部が撮像素子間で異なり、他の一部が撮像素子間で共通となるように読み出し制御を行い、前記補間手段が、前記縮小画像の各画素において、前記撮像素子間で共通する読み出し位置における各撮像素子からの信号の色相関パラメータを推定し、その推定結果及び前記各撮像素子からの信号に基づいて前記縮小画像の各画素の３色成分を計算することを特徴とする撮像装置。
- 前記補間手段は、前記縮小画像の各画素において、全画素共通で得られる種類のカラーフィルタの信号の比較に基づいて注目画素と時間的、空間的な近傍画素との類似度を計算し、類似度が高いと判断された近傍画素において、注目画素で得られていない種類のカラーフィルタの信号と注目画素で得られている種類のカラーフィルタの信号との色相関関係を推定し、その推定結果及び注目画素で得られている信号値とに基づいて、前記縮小画像の各画素の３色成分を計算することを特徴とする請求項１〜５のいずれか１項に係る撮像装置。
- 前記間引き制御手段は、所定時間間隔で前記撮像素子からのフレームの間引き読み出しを繰り返し、その際、フレーム間で読み出し位置が一部共通し、一部共通しないように読み出し制御を行い、前記補間手段がフレーム間で共通する読み出し位置の信号に基づいてフレーム間での動きを検出し、検出結果に基づいて、前記共通しない読み出し位置の信号を補間処理に利用するかしないか決定することを特徴とする請求項１〜５のいずれか１項に係る撮像装置。
- 前記間引き制御手段は、所定時間間隔で前記撮像素子からのフレームの間引き読み出しを繰り返し、その際、前記補間手段は、前記縮小画像の全画素に共通して読み出すカラーフィルタ種類の信号に基づいてフレーム内の局所的な周波数特性を測定し、間引き制御手段は前記周波数特性測定結果に応じて次フレームの間引き読み出しパターンを決定するように構成されていることを特徴とする請求項１〜５のいずれか１項に係る撮像装置。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002170791A JP4190805B2 (ja) | 2002-06-12 | 2002-06-12 | 撮像装置 |
| US10/457,134 US7181092B2 (en) | 2002-06-12 | 2003-06-09 | Imaging apparatus |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002170791A JP4190805B2 (ja) | 2002-06-12 | 2002-06-12 | 撮像装置 |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2007238692A Division JP4246244B2 (ja) | 2007-09-14 | 2007-09-14 | 撮像装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004015772A true JP2004015772A (ja) | 2004-01-15 |
| JP4190805B2 JP4190805B2 (ja) | 2008-12-03 |
Family
ID=29727774
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002170791A Expired - Fee Related JP4190805B2 (ja) | 2002-06-12 | 2002-06-12 | 撮像装置 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US7181092B2 (ja) |
| JP (1) | JP4190805B2 (ja) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2005055590A1 (ja) * | 2003-12-08 | 2005-06-16 | Olympus Corporation | 画像補間装置及び画像補間方法 |
| JP2007174117A (ja) * | 2005-12-20 | 2007-07-05 | Fujitsu Ltd | 画像処理回路および画像処理方法 |
| US7782370B2 (en) | 2006-11-02 | 2010-08-24 | Hoya Corporation | Imaging unit |
| JP4547462B1 (ja) * | 2009-11-16 | 2010-09-22 | アキュートロジック株式会社 | 撮像素子、撮像素子の駆動装置、撮像素子の駆動方法、画像処理装置、プログラム、及び、撮像装置 |
| JP2012129927A (ja) * | 2010-12-17 | 2012-07-05 | Nikon Corp | 撮像装置 |
| JP2015216619A (ja) * | 2014-04-25 | 2015-12-03 | パナソニックＩｐマネジメント株式会社 | 撮像システム、撮像装置、撮像方法および符号化方法 |
| JP2017108267A (ja) * | 2015-12-09 | 2017-06-15 | キヤノン株式会社 | 画像処理装置、撮像装置、画像処理方法、プログラム、記憶媒体 |
Families Citing this family (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2002032112A1 (fr) * | 2000-10-06 | 2002-04-18 | Sony Corporation | Procede de correction de qualite d"image, dispositif de traitement de donnees d"image, procede d"enregistrement/de reproduction de donnees, systeme de traitement de donnees par lots, procede de traitement de donnees, et systeme de traitement de donnees |
| JP4190805B2 (ja) * | 2002-06-12 | 2008-12-03 | オリンパス株式会社 | 撮像装置 |
| WO2004004361A1 (ja) * | 2002-06-28 | 2004-01-08 | Nokia Corporation | 情報端末 |
| JP3768182B2 (ja) * | 2002-10-23 | 2006-04-19 | 三洋電機株式会社 | 電子カメラ |
| JP2004363853A (ja) * | 2003-06-04 | 2004-12-24 | Casio Comput Co Ltd | 画像信号のノイズ低減方法及びノイズ低減装置 |
| JP2007235877A (ja) * | 2006-03-03 | 2007-09-13 | Fujifilm Corp | 多板式固体撮像素子モジュール及び撮像装置 |
| US8139123B2 (en) * | 2006-10-31 | 2012-03-20 | Sanyo Electric Co., Ltd. | Imaging device and video signal generating method employed in imaging device |
| KR100929349B1 (ko) * | 2007-01-30 | 2009-12-03 | 삼성전자주식회사 | 유기물 컬러 필터를 포함하지 않는 컬러 픽셀, 이미지 센서, 및 컬러 보간방법 |
| JP5188080B2 (ja) * | 2007-03-06 | 2013-04-24 | キヤノン株式会社 | 撮像装置、撮像装置の駆動方法、及び読み出し装置 |
| US7825965B2 (en) * | 2007-09-07 | 2010-11-02 | Seiko Epson Corporation | Method and apparatus for interpolating missing colors in a color filter array |
| US20090092338A1 (en) * | 2007-10-05 | 2009-04-09 | Jeffrey Matthew Achong | Method And Apparatus For Determining The Direction of Color Dependency Interpolating In Order To Generate Missing Colors In A Color Filter Array |
| JP5256711B2 (ja) * | 2007-11-28 | 2013-08-07 | 株式会社ニコン | 撮像素子および撮像装置 |
| JP5045421B2 (ja) * | 2007-12-21 | 2012-10-10 | ソニー株式会社 | 撮像装置、色ノイズ低減方法および色ノイズ低減プログラム |
| JP5625298B2 (ja) * | 2009-09-28 | 2014-11-19 | ソニー株式会社 | 撮像装置 |
| JP2012060434A (ja) * | 2010-09-09 | 2012-03-22 | Fuji Xerox Co Ltd | 画素補間装置、画像読取装置、及び画素補間プログラム |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4642678A (en) * | 1984-09-10 | 1987-02-10 | Eastman Kodak Company | Signal processing method and apparatus for producing interpolated chrominance values in a sampled color image signal |
| JPH09247689A (ja) | 1996-03-11 | 1997-09-19 | Olympus Optical Co Ltd | カラー撮像装置 |
| US6289139B1 (en) * | 1996-05-03 | 2001-09-11 | Omnivision Technologies, Inc. | Single chip color CMOS image sensor with two or more line reading structure |
| US6731397B1 (en) * | 1999-05-21 | 2004-05-04 | Foveon, Inc. | Method for storing and retrieving digital image data from an imaging array |
| US6847396B1 (en) * | 2000-04-26 | 2005-01-25 | Sunplus Technology Co., Ltd. | Interpolation method for producing full color images in using a single-chip color sensor |
| JP4190805B2 (ja) * | 2002-06-12 | 2008-12-03 | オリンパス株式会社 | 撮像装置 |
| JP3965460B2 (ja) * | 2002-06-14 | 2007-08-29 | 有限会社ビーテック | 単板カラーカメラの市松配列緑色信号等インタリーブの関係にある画素信号の補間方法 |
-
2002
- 2002-06-12 JP JP2002170791A patent/JP4190805B2/ja not_active Expired - Fee Related
-
2003
- 2003-06-09 US US10/457,134 patent/US7181092B2/en not_active Expired - Fee Related
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2005055590A1 (ja) * | 2003-12-08 | 2005-06-16 | Olympus Corporation | 画像補間装置及び画像補間方法 |
| JP2007174117A (ja) * | 2005-12-20 | 2007-07-05 | Fujitsu Ltd | 画像処理回路および画像処理方法 |
| JP4573769B2 (ja) * | 2005-12-20 | 2010-11-04 | 富士通セミコンダクター株式会社 | 画像処理回路および画像処理方法 |
| US7782370B2 (en) | 2006-11-02 | 2010-08-24 | Hoya Corporation | Imaging unit |
| JP4547462B1 (ja) * | 2009-11-16 | 2010-09-22 | アキュートロジック株式会社 | 撮像素子、撮像素子の駆動装置、撮像素子の駆動方法、画像処理装置、プログラム、及び、撮像装置 |
| WO2011058814A1 (ja) * | 2009-11-16 | 2011-05-19 | アキュートロジック株式会社 | 撮像素子、撮像素子の駆動装置、撮像素子の駆動方法、画像処理装置、プログラム、及び、撮像装置 |
| JP2011109335A (ja) * | 2009-11-16 | 2011-06-02 | Acutelogic Corp | 撮像素子、撮像素子の駆動装置、撮像素子の駆動方法、画像処理装置、プログラム、及び、撮像装置 |
| KR101136222B1 (ko) | 2009-11-16 | 2012-04-17 | 어큐트로직 가부시키가이샤 | 촬상소자, 촬상소자의 구동장치, 촬상소자의 구동방법, 화상처리장치, 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체 및 촬상장치 |
| US8384807B2 (en) | 2009-11-16 | 2013-02-26 | Acutelogic Corporation | Imaging element, drive device for an imaging element, drive method for an imaging element, image processing device, image processing method, and imaging device |
| JP2012129927A (ja) * | 2010-12-17 | 2012-07-05 | Nikon Corp | 撮像装置 |
| JP2015216619A (ja) * | 2014-04-25 | 2015-12-03 | パナソニックＩｐマネジメント株式会社 | 撮像システム、撮像装置、撮像方法および符号化方法 |
| JP2017108267A (ja) * | 2015-12-09 | 2017-06-15 | キヤノン株式会社 | 画像処理装置、撮像装置、画像処理方法、プログラム、記憶媒体 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4190805B2 (ja) | 2008-12-03 |
| US7181092B2 (en) | 2007-02-20 |
| US20030231251A1 (en) | 2003-12-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4190805B2 (ja) | 撮像装置 | |
| US9544517B2 (en) | Electric camera | |
| US8823808B2 (en) | Method for improved digital video image quality | |
| JP4142340B2 (ja) | 撮像装置 | |
| JP4469018B2 (ja) | 画像処理装置、画像処理方法、コンピュータプログラムおよび当該コンピュータプログラムを記録した記録媒体、フレーム間動き算出方法および画像処理方法 | |
| JP4317586B2 (ja) | 撮像処理装置および撮像装置、画像処理方法およびコンピュータプログラム | |
| US8139123B2 (en) | Imaging device and video signal generating method employed in imaging device | |
| EP0632663A2 (en) | Apparatus and method for adaptively interpolating a full color image utilizing luminance gradients | |
| US5808674A (en) | Producing and improved digital image from digital signals corresponding to pairs of photosites | |
| JP4317587B2 (ja) | 撮像処理装置および撮像装置、画像処理方法およびコンピュータプログラム | |
| EP0964585A2 (en) | Color image pickup apparatus | |
| JP5096645B1 (ja) | 画像生成装置、画像生成システム、方法、およびプログラム | |
| JP2003101886A (ja) | 撮像装置 | |
| US8970747B2 (en) | Imaging device | |
| JP4246244B2 (ja) | 撮像装置 | |
| JP2004194248A (ja) | 撮像素子及び撮像装置 | |
| JPH0795595A (ja) | カラー撮像装置 | |
| JP2007089219A (ja) | 撮像装置 | |
| JPH02218286A (ja) | 撮像装置 | |
| JPH0418868A (ja) | 映像信号処理装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050520 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070622 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070717 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070914 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080916 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080917 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110926 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120926 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130926 Year of fee payment: 5 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| LAPS | Cancellation because of no payment of annual fees |