JP2006253827A - 撮像装置及びその画素補間方法 - Google Patents

Abstract

【課題】好ましい補間データを生成する。
【解決手段】動画画素加算モードが指定された場合、撮像部１は、制御部３によって制御され、ＣＣＤ１３ｒ，１３ｇ，１３ｂの水平方向、垂直方向に、それぞれ、ｍ×ｎ（ｍ，ｎ；３以上の奇数）画素ずつ画素加算を行う。撮像部１は、ＣＣＤ１３ｒ、１３ｂを、ＣＣＤ１３ｇに対して、水平方向、垂直方向に、それぞれ、ｍ／２、ｎ／２画素だけシフトする。このように制御部３が制御することにより、撮像部１が画素加算するすることによって得られた加算画素データの重心位置は、他の画素データに対応するようになる。
【選択図】図１

Description

本発明は、撮像装置及びその画素補間方法に関するものである。

撮像装置として、Ｒ（Red；赤），Ｇ（Green；緑），Ｂ（Blue；青）色の３つのＣＣＤ（Charge Coupled Device;電荷結合素子）を用いた３板方式のものがある（例えば、特許文献１参照）。この撮像装置は、画素ずらしを行うことにより比較的画素数の少ないＣＣＤを用いて高い解像度を得るようにしている。

即ち、この撮像装置は、図８に示すように、Ｇ色のＣＣＤ５１ｇに対して、Ｒ色のＣＣＤ５１ｒ，Ｂ色のＣＣＤ５１ｂを、ともに水平方向、垂直方向に１／２画素だけシフトして配置する。この撮像装置は、このように、ＣＣＤ５１ｒ，５１ｇ，５１ｂを配置することにより、図９に示すような補間画素Ｓを生成している。

一方、多画素のＣＣＤを用いて動画を撮影する場合に、ＣＣＤ内において画素加算するようにした撮像装置がある（例えば、特許文献２参照）。この撮像装置は、ＣＣＤ内において、図１０に示すように、水平、垂直方向に、それぞれ、２×２個の画素を単位として、画素加算を行い、補間データを生成する。そして、撮像装置は、生成した補間データを、Ｇ画素の重心位置Ｇｇ、Ｒ／Ｂ画素の重心位置Ｒｇ／Ｂｇに配置して出力する。

このような画素加算を行うことにより、ＣＣＤの出力画素数は、全画素に対して１／４になり、静止画撮影と同一のクロック周波数でＣＣＤを駆動した場合、フレームレートは約４倍になる。この撮像装置は、このような画素加算を行うことにより、ＣＣＤの出力画素数を低減し、フレームレートを上げるようにしている。

さらに、これらの技術を用いて高解像度の静止画像とフレームレート重視の動画像とを得るようにした撮像装置もある（例えば、特許文献３参照）。
特開平８−１７２６３６号公報（第３頁、図１） 特開平１１−３３１７０６号公報（第３頁、図１） 特開２００２−３４０４９号公報（第３頁、図１）

しかし、図１０に示すように、画素加算を行った場合、Ｇ画素の重心Ｇｇ、Ｒ／Ｂ画素の各重心Ｒｇ／Ｂｇは、加算結果の座標系における各画素位置と一致しない。また、Ｇ画素とＲ／Ｂ画素との位置関係は、１／２画素シフトした関係にもなっていない。このため、従来の撮像装置では、画素加算後のＧ画素、Ｒ／Ｂ画素の位置関係が好ましくなく、特に、曲線や斜線の描写が不自然になってしまい、好ましい補間データを取得することができない。

本発明は、このような従来の問題点に鑑みてなされたもので、好ましい補間データを生成することが可能な撮像装置及びその画素補間方法を提供することを目的とする。

この目的を達成するため、本発明の第１の観点に係る撮像装置は、
複数の光電変換素子が行列配置され、前記光電変換素子がそれぞれ光を受光して、受光した光の光強度に応じた信号レベルの光検出信号を生成し、前記光電変換素子を１画素として、行列方向に、それぞれ、ｍ（ｍは３以上の奇数）×ｎ（ｎは３以上の奇数）画素ずつ画素データを画素加算して、加算画素データを生成する３原色用の複数の撮像素子と、
前記３原色のうち、赤色用及び青色用の撮像素子と緑色用の撮像素子との位置の差としての画素ずらし量が、前記光電変換素子の行列方向に、それぞれ、（ｉ＋１／２）×ｍ、（ｊ＋１／２）×ｎ画素（ｉ，ｊは整数）となるように、各撮像素子の配置位置を設定する撮像素子設定部と、
前記撮像素子設定部によって設定された前記赤色用、青色用の撮像素子が生成した加算画素データと前記緑色用の撮像素子が生成した加算画素データとに基づいて補間データを生成する補間データ生成部と、を備えたことを特徴とする。

本発明の第２の観点に係る撮像装置は、
複数の光電変換素子が行列配置され、前記光電変換素子がそれぞれ光を受光して、受光した光の光強度に応じた信号レベルの光検出信号を生成し、前記光電変換素子を１画素として、行方向又は列方向にｎ（ｎは３以上の奇数）画素ずつ画素データを画素加算して、加算画素データを生成する３原色用の複数の撮像素子と、
前記３原色のうち、赤色用及び青色用の撮像素子と緑色用の撮像素子との位置の差としての画素ずらし量が、画素加算を行った方向に（ｊ＋１／２）×ｎ画素（ｊは整数）となるように、各撮像素子の配置位置を設定する撮像素子設定部と、
前記撮像素子設定部によって配置位置が設定された前記緑色用の撮像素子から出力された加算画素データにつき、行方向又は列方向のうち、前記複数の撮像素子が画素加算した方向とは異なる方向に、ｍ（ｍは３以上の奇数）画素ずつ、画素データを画素加算して、新たな加算画素データを生成する第１の画素加算部と、
前記撮像素子設定部によって配置位置が設定された前記赤色用、青色用の撮像素子から出力されたそれぞれの加算画素データにつき、前記複数の撮像素子が画素加算した方向とは異なる方向に、（（ｉ＋１／２）×ｍ＋１／２）画素目（ｉは整数）から、ｍ画素ずつ画素加算を行って、新たな加算画素データを生成する第２の画素加算部と、
前記第１の画素加算部が生成した加算画素データと前記第２の画素加算部が生成した加算画素データとに基づいて補間データを生成する補間データ生成部と、を備えたことを特徴とする。

本発明の第３の観点に係る撮像装置の画素補間方法は、
複数の光電変換素子が行列配置され、前記光電変換素子がそれぞれ光を受光して、受光した光の光強度に応じた信号レベルの光検出信号を生成する３原色用の複数の撮像素子を備えた撮像装置の画素補間方法において、
前記各撮像素子の前記光電変換素子を１画素として、行列方向に、それぞれ、ｍ（ｍは３以上の奇数）×ｎ（ｎは３以上の奇数）画素ずつ画素データを画素加算して、加算画素データを生成するステップと、
前記３原色のうち、赤色用及び青色用の撮像素子と緑色用の撮像素子との位置の差としての画素ずらし量が、前記光電変換素子の行列方向に、それぞれ、（ｉ＋１／２）×ｍ、（ｊ＋１／２）×ｎ画素となるように、各撮像素子の配置位置を設定するステップと、
配置位置が設定された前記赤色用、青色用の撮像素子が生成した加算画素データと前記緑色用の撮像素子が生成した加算画素データとに基づいて補間データを生成するステップと、を備えたことを特徴とする。

本発明の第４の観点に係る撮像装置の画素補間方法は、
複数の光電変換素子が行列配置され、前記光電変換素子がそれぞれ光を受光して、受光した光の光強度に応じた信号レベルの光検出信号を生成する３原色用の複数の撮像素子を備えた撮像装置の画素補間方法において、
前記各撮像装置の前記光電変換素子を１画素として、行方向又は列方向にｎ（ｎは３以上の奇数）画素ずつ画素データを画素加算して、加算画素データを生成するステップと、
前記３原色のうち、赤色用及び青色用の撮像素子と緑色用の撮像素子との配置位置の差として画素ずらし量が、画素加算を行った方向に（ｊ＋１／２）×ｎ画素（ｊは整数）となるように、各撮像素子の配置位置を設定するステップと、
配置位置が設定された前記緑色用の撮像素子から出力された加算画素データにつき、行方向又は列方向のうち、前記複数の撮像素子が画素加算した方向とは異なる方向に、ｍ（ｍは３以上の奇数）画素ずつ、画素データを画素加算して、新たな加算画素データを生成するステップと、
配置位置が設定された前記赤色用、青色用の撮像素子から出力されたそれぞれの加算画素データにつき、前記複数の撮像素子が画素加算した方向とは異なる方向に、（（ｉ＋１／２）×ｍ＋１／２）画素目（ｉは整数）から、ｍ画素ずつ画素加算を行って、新たな加算画素データを生成するステップと、
前記緑色の加算画素データと前記赤色、青色の加算画素データとに基づいて補間データを生成する補間データ生成部と、を備えたことを特徴とする。

本発明によれば、好ましい補間データを生成することができる。

以下、本発明の実施形態に係る撮像装置を図面を参照して説明する。
本実施形態に係る撮像装置の構成を図１に示す。
本実施形態に係る撮像装置は、撮像部１と、信号処理部２と、制御部３と、からなる。撮像部１は、光を受光して、光検出信号を出力するものであり、レンズ１１と、ダイクロイックミラー１２と、ＣＣＤ１３ｒと、ＣＣＤ１３ｇと、ＣＣＤ１３ｂと、からなる。

レンズ１１は、それぞれ、ＣＣＤ１３ｒ，１３ｇ，１３ｂに像を結像させるためのものである。
ダイクロイックミラー１２は、レンズ１１を介して入射した光を、ＲＧＢの各色の光に分解して、それぞれ、ＣＣＤ１３ｒ，１３ｇ，１３ｂに供給するものである。

ＣＣＤ１３ｒは、複数の光電変換素子が、水平方向、垂直方向に行列配置され、Ｒ（赤）色の光を受光して、受光した赤色光を、その光強度に対応した信号レベルのＲ信号に光電変換するものである。ＣＣＤ１３ｇは、緑色光を受光して、受光した緑色光を、その光強度に対応した信号レベルのＧ信号に光電変換するものである。ＣＣＤ１３ｂは、青色光を受光して、受光した青色光を、その光強度に対応した信号レベルのＢ信号に光電変換するものである。

ＣＣＤ１３ｒ，１３ｇ，１３ｂのそれぞれの光電変換素子が１画素に相当し、ＣＣＤ１３ｒ、１３ｇ、１３ｂは、例えば、それぞれ、３００万画素、有効画素で２０４８×１５３６画素のものとする。

この撮像装置は、静止画撮影、動画撮影が可能なものである。静止画撮影の場合、この撮像装置は、ずらしなしモードと画素ずらしモードとで撮影を行う機能を有する。

ずらしなしモードは、図２（ａ）に示すように、光軸に対して、ＣＣＤ１３ｒ，１３ｇ，１３ｂを同じ位置に配置することにより補間を行わないモードである。画素ずらしなしモードでは、画素データがないにもかかわらず生じてしまうような偽色は発生せず、解像感の高い画像が得られる。画像サイズは、ＣＣＤ１３ｒ，１３ｇ，１３ｂの画素サイズに対して等倍である。

画素ずらしモードは、図２（ｂ）に示すように、ＣＣＤ１３ｇに対して、ＣＣＤ１３ｒ，１３ｂとを、例えば、１／２画素シフトして、画素補間を行うモードである。緑色は、人間の目にとって最も感度が高い色であり、このように緑色の光を受光するＣＣＤ１３ｇをずらさないで配置することにより、輝度が向上する。

また、この画素ずらしモードにおいて、撮像部１は、各画素データ及びＧ画素とＲ／Ｂ画素とで補間した画素の補間データを出力する。この画素ずらしモードでは、偽色は発生するものの、画像の情報量を増やすことができ、撮像装置は、ＣＣＤ１３ｒ，１３ｇ，１３ｂに対して、水平、垂直方向に２倍の画像サイズの画像を生成する。

動画撮影の場合、本実施形態の撮像装置は、ＣＣＤ１３ｒ，１３ｇ，１３ｂのフレームレートを低減するために画素加算を行って補間データを生成する。さらに、撮像装置は、静止画撮影時の画素ずらしモードを適用し、画素加算を行って得られた加算画素データの位置をずらす動画画素加算モードの処理を実行する。

本実施形態の撮像装置は、このモードにおいて、ＣＣＤ１３ｒ、１３ｇ、１３ｂのそれぞれの画素につき、水平方向、垂直方向に、それぞれ、ｍ×ｎ（ｍ，ｎ；それぞれ、３以上の奇数）画素ずつ、画素加算を行い、加算画素データを生成する。

尚、ＣＣＤ１３ｒ、１３ｇ、１３ｂは、それぞれ、水平ＣＣＤと、垂直ＣＣＤと、出力部と、駆動部と、を備える（いずれも図示せず）。出力部は、リセットゲート部を備え、駆動部は、垂直転送パルス、水平転送パルス、リセットパルスを発生し、発生したこれらのパルスを、それぞれ、水平ＣＣＤ、垂直ＣＣＤ、出力部のリセットゲート部に供給することにより、各画素の信号電荷を転送する。ＣＣＤ１３ｒ、１３ｇ、１３ｂは、これらの各パルスのタイミングを制御することにより、画素加算を行ったり、行わなかったりする。

ｍ＝３、ｎ＝３とした場合、撮像装置は、図３に示すように、ＣＣＤ１３ｒ、１３ｇ、１３ｂのそれぞれの画素につき、加算する画素として、水平方向、垂直方向に、それぞれ、３画素、３×３個の画素を設定する。

かつ、撮像装置は、ＣＣＤ１３ｒ，１３ｂとＣＣＤ１３ｇとの位置の差として画素ずらし量を設定する。この画素ずらし量は、水平方向の場合、ｍ＝３であるので、ｍ／２＝３／２＝１．５画素となる。垂直方向の画素ずらし量についても同様であり、１．５画素となる。

信号処理部２は、ＣＣＤ１３ｒ，１３ｇ，１３ｂが、それぞれ、変換したＲＧＢ信号を画素データに変換して信号処理を行うものである。信号処理部２は、ＡＦＥ部１４ｒ、１４ｇ、１４ｂと、前処理部１５ｒ、１５ｇ、１５ｂと、ＤＭＡ１６ｒ、１６ｇ、１６ｂと、メモリ１７と、ＤＭＡ１８と、ガンマ変換部１９と、補間部２０と、ＹＵＶ変換部２１と、画素数変換部２２と、フィルタ処理部２３と、ＤＭＡ２４と、メモリと、を備える。ＤＭＡ１６ｒ、１６ｇ、１６ｂと、メモリ１７と、ＤＭＡ１８，２４とは、バス２５を介して接続されている。

ＡＦＥ（アナログ・フロント・エンド）部１４ｒ、１４ｇ、１４ｂは、それぞれ、ＣＣＤ１３ｒ，１３ｇ，１３ｂが光電変換したＲ，Ｇ，Ｂ信号に対してアナログ処理をしてディジタル化するためのものである。

ＡＦＥ部１４ｒ、１４ｇ、１４ｂは、それぞれ、ＣＤＳ回路と、ＡＧＣ回路と、Ａ／Ｄ変換器と、からなる（いずれも図示せず）。

ＣＤＳ（Correlated Double Sampling；相関二重サンプリング）回路は、ＣＣＤの出力信号の中に含まれる基準レベルと信号レベルとの差分をサンプリングすることにより、ＣＣＤのアンプ雑音とリセット雑音を除去するためのものである。

ＡＧＣ（Automatic Gain Control；自動利得制御）回路は、後段のＡ／Ｄ変換器のＤレンジに信号振幅を合わせるためのものである。

Ａ／Ｄ変換器は、ＣＣＤが出力したアナログ信号をディジタルデータに変換するためのｍのである。

前処理部１５ｒ、１５ｇ、１５ｂは、それぞれ、ＡＦＥ部１４ｒ、１４ｇ、１４ｂが出力した画素データに対して調整を行うためのものである。前処理部１５ｒ、１５ｇ、１５ｂは、それぞれ、ＯＢクランプ部と、ホワイトバランスゲイン部と、を備える（いずれも図示せず）。

ＯＢ（Optical Black）クランプ部は、黒レベルの補正としてＯＢクランプを行うものである。ホワイトバランスゲイン部は、ＲＧＢの画素データに対して白レベルを調整するためのものである。

ＤＭＡ（Direct Memory Access）１６ｒ、１６ｇ、１６ｂは、それぞれ、バス２５を介してメモリ１７にＲＧＢの画素データを送信するものである。

メモリ１７は、バス２５を介してＤＭＡ１６ｒ、１６ｇ、１６ｂから受信した画素データを記憶するとともに、ＤＭＡ２４から送信された画素データを記憶するためのものである。

ＤＭＡ１８は、バス２５を介して、画素データをメモリ１７から取得して、取得した画素データをガンマ変換部１９に供給するものである。

ガンマ変換部１９は、ＤＭＡ１８から供給されたＲＧＢの画素データに対してガンマ補正を行うものである。ガンマ補正は、ＣＣＤ１３ｒ，１３ｇ，１３ｂの光電変換特性による階調の非線形特性を補正する処理である。

補間部２０は、ガンマ変換部１９からガンマ補正されたＲＧＢの画素データを取得し、画素ずらし配置されたＣＣＤ１３ｒ，１３ｇ，１３ｂの各データに対して補間処理を施して、ＣＣＤ上のデータに対して、１対１に対応するＲＧＢ画素データを生成するものである。補間部２０は、補間処理により、ＣＣＤ１３ｒ，１３ｇ，１３ｂの出力画素数に対して水平・垂直とも２倍の画像数を有するＲＧＢの画素データを生成する。

ＹＵＶ変換部２１は、ＲＧＢの画素データをＹＵＶデータに変換するためのものである。ＹＵＶ変換部２１は、数１に示す３×３のマトリクス演算を行うことにより、このような変換を行う。

画素数変換部２２は、デジタルズーム等の機能を実現するため、画像サイズを、指定されたサイズに変換する処理を行うものである。画素数変換部２２は、画像サイズを拡大する場合、補間演算を行い、画像サイズを縮小する場合、平均演算を行う。尚、画素数変換部２２は、補間と平均とを組み合わせるように構成されることもできる。

フィルタ処理部２３は、解像度を高めるためのエッジ付加等の処理を行うものである。また、フィルタ処理部２３は、画素数変換部２２が変換した輝度信号と色差信号とに対して帯域制限を行うことにより、高解像度化、画素数変換に伴って発生するノイズ成分、偽色を除去する。

ＤＭＡ２４は、フィルタ処理部２３が出力した画素データを、バス２５を介してメモリ１７に送信するものである。

制御部３は、ＣＰＵ、ＲＯＭ、ＲＡＭ等を備え、この撮像装置全体を制御するものである。具体的に、制御部３は、静止画撮影、動画撮影の処理、各モードの処理を実行する。

静止画撮影の場合、ＣＣＤ１３ｒ，１３ｇ，１３ｂのすべての画素データを読み出して、メモリ１７に記憶するように、撮像部１、ＡＦＥ１４ｒ，１４ｇ，１４ｂ、前処理部１５ｒ，１５ｇ、１５ｂ、ＤＭＡ１６ｒ，１６ｇ，１６ｂを制御する。

制御部３は、ＲＧＢの各データをメモリ１７に記憶する場合、ＲＧＢの画素データが、順次、メモリ１７に送信されるようにＤＭＡ１６ｒ，１６ｇ，１６ｂを制御する。

制御部３は、ずらしなしモードが指定されると、撮像部１を制御して、ＣＣＤ１３ｒ、１３ｇ、１３ｂを図２（ａ）に示すように配置する。制御部３は、画素ずらしモードが指定されると、撮像部１を制御して、ＣＣＤ１３ｒ、１３ｇ、１３ｂを図２（ｂ）に示すように配置する。

尚、制御部３は、ＹＵＶデータを取得する場合、出力するＹＵＶデータの生成に必要なＣＣＤ１３ｒ、１３ｇ、１３ｇのデータの領域を求め、求めた領域に対応するメモリ１７上のアドレス、領域に変換して、ＤＭＡ１８に指定することにより、メモリ１７からデータを読み出させる。

制御部３は、動画画素加算モードが指定されると、撮像部１を制御して、ＣＣＤ１３ｒ、１３ｇ、１３ｂを図３に示すような画素加算を行わせる。
そして、制御部３は、ＣＣＤ１３ｒ，１３ｂとＣＣＤ１３ｇとの画素ずらし量が、水平、垂直方向（光電変換素子の行列方向）に、それぞれ、ｍ／２、ｎ／２画素となるように、ＣＣＤ１３ｒ，１３ｇ、１３ｂの配置位置を設定する。

尚、撮像部１は、ＣＣＤ１３ｒ、１３ｇ、１３ｂの位置をシフトするか、あるいは、ダイクロイックミラー１２を制御することにより、入射光の光軸を制御するように構成されている。このような構成により、ＣＣＤ１３ｒ、１３ｇ、１３ｂの画素ずらしが可能となる。

次に本実施形態に係る撮像装置の動作を説明する。
静止画撮影において、ずらしなしモードが指定された場合、制御部３は、撮像部１を制御して、図２（ａ）に示すように、３つのＣＣＤ１３ｒ、１３ｇ、１３ｂをシフトせずに配置する。

ＣＣＤ１３ｒ，１３ｇ、１３ｂの各光電変換素子は、それぞれ、レンズ１１、ダイクロイックミラー１２を介して入射したＲ，Ｇ，Ｂ色の光を受光して、Ｒ，Ｇ，Ｂ信号に光電変換する。

ＡＦＥ部１４ｒ，１４ｇ、１４ｂは、それぞれ、ＣＣＤ１３ｒ，１３ｇ、１３ｂが光電変換したＲ，Ｇ，Ｂ信号に対してアナログ処理を施してディジタル化した画素データを生成する。前処理部１５ｒ，１５ｇ、１５ｂは、それぞれ、ＡＦＥ部１４ｒ，１４ｇ，１４ｂが出力した画素データに対して、黒レベルをクランプし、ＲＧＢの白レベルを調整する。

ＤＭＡ１６ｒ，１６ｇ，１６ｂは、制御部３によって制御されて、それぞれ、ＲＧＢの画素データを、順次バス２５を介してメモリ１７に送信する。メモリ１７は、ＣＣＤ１３ｒ，１３ｇ，１３ｂの画素データをすべて記憶する。ずらしなしモードが指定された場合、撮像装置は、メモリ１７に記憶された画素データを出力する。

画素ずらしモードが指定された場合、ＤＭＡ１８は、制御部３によって制御されて、メモリ１７からバス２５を介して、記憶された画素データを、順次、取得して、ガンマ補正部１９に供給する。

ガンマ補正部１９は、ＤＭＡ１８から供給された画素データに対してガンマ補正を行い、補間部２０は、ガンマ補正された画素データに対して補間処理を行う。ＣＣＤ１３ｒ及びＣＣＤ１３ｂとＣＣＤ１３ｇとの画素ずらし量は、図４に示すように、水平、垂直方向に１．５画素となる。補間部２０は、このＣＣＤ１３ｇの各画素データＧと、ＣＣＤ１３ｒ及びＣＣＤ１３ｂの各画素データＲ／Ｂと、を補間して、補間データＨを生成する。

ＹＵＶ変換部２１は、数１に従い、３×３のマトリクス演算を行うことにより、補間部２０が補間した画素データＨをＹＵＶのデータに変換する。画素数変換部２２は、画像サイズを、指定されたサイズに変換する。

フィルタ処理部２３は、画素数変換部２２が変換したＹＵＶデータに対してエッジ付加等の処理を行う。

ＤＭＡ２４は、フィルタ処理部２３が出力した画素データを、バス２５を介してメモリ１７に送信する。画素ずらしモードが指定された場合、撮像装置は、補間された画素データに基づくＹＵＶデータを出力する。

次に、動画撮影において、動画画素加算モードが指定された場合、３つのＣＣＤ１３ｒ、１３ｇ、１３ｂは、制御部３によって制御され、図３に示すように、それぞれ、３×３（＝９）画素について、画素加算を行う。

また、制御部３は、ＣＣＤ１３ｒ，１３ｂとＣＣＤ１３ｇとの画素ずらし量が、１．５画素となるように、ＣＣＤ１３ｒ，１３ｇ，１３ｂの配置位置を設定する。ＡＦＥ１４ｒ，１４ｇ，１４ｂ、前処理部１５ｒ，１５ｇ，１５ｂは、それぞれ、ＣＣＤ１３ｒ，１３ｇ，１３ｂから出力された画素データに対する上記処理を行う。ＤＭＡ１６ｒ，１６ｇ，１６ｂは、この画素データをメモリ１７に転送する。メモリ１７は、この加算画素データを記憶する。

ＤＭＡ１８は、制御部３によって制御され、バス２５を介して、メモリ１７から加算画素データを、順次、取得し、ガンマ補正部１９に供給する。

補間部２０は、ガンマ補正された加算画素データに基づいて補間データを生成する。図５に示すように、二重丸で示す各画素の重心位置が各ＣＣＤ１３ｒ，１３ｇ，１３ｂの加算画素データである。

このＣＣＤ１３ｒ，１３ｇ，１３ｂのそれぞれの加算画素データの水平方向、垂直方向の間隔は１画素であり、ＣＣＤ１３ｇの加算画素データと、ＣＣＤ１３ｒ，１３ｂの加算画素データとの間隔は、０．５画素になる。従って、各画素の位置と、ＣＣＤ１３ｇの加算画素データの位置と、ＣＣＤ１３ｇ，１３ｂの加算画素データの位置とは、一致する。

ＹＵＶ変換部２１は、この加算画素データに対して、数１に従い、３×３のマトリクス演算を行うことにより、補間部２０が補間した画素データをＹＵＶのデータに変換する。画素数変換部２２は、この画像サイズを、指定されたサイズに変換する。

例えば、５００万（＝２５６０×１９２０）画素の場合、ＣＣＤ１３ｒ，１３ｇ，１３ｂのそれぞれの画素数は８５３（≒２５６０／３）×６４０（≒１９２０／３）となる。補間部２０が出力する画素データの画素数は、Ｒ、Ｇ、Ｂについて、それぞれ、１７０６×１２８０となる。ＹＵＶ変換部２１が出力するＹＵＶデータの画素数も同じである。

画素数変換部２２は、指定された場合、ＹＵＶデータについて、それぞれ、６４０×４８０画素に変換する。動画画素加算モードが指定された場合、撮像装置は、このＹＵＶデータを出力する。

以上説明したように、本実施形態によれば、撮像装置は、動画画素加算モードが指定された場合、ＣＣＤ１３ｒ，１３ｇ，１３ｂの３×３画素について画素加算を行う。また、撮像装置は、ＣＣＤ１３ｒ，１３ｂとＣＣＤ１３ｇとの位置の差としての画素ずらし量が、水平、垂直方向に、それぞれ、３画素となるように、ＣＣＤ１３ｒ，１３ｇ，１３ｂの配置位置を設定するようにした。

従って、動画画素加算モードにおいて、Ｒ／Ｂの画素の重心位置は、Ｇ色の画素と重なり、好ましい補間データを生成することができ、画素加算を行っても、曲線や斜線を滑らかに描写することができる。

また、動画画素加算モードにおいても１／２画素ずらしの位置関係を実現できるため、静止画での１／２画素ずらしの効果を維持しつつ、画素ずらしによる効果を得ることができる。

即ち、動画撮影において、画素加算モードが指定された場合、撮像部１の出力画素数は、全画素に対して１／９になる。そして、静止画撮影と同一のクロック周波数でＣＣＤ１３ｒ，１３ｇ，１３ｂを駆動した場合、フレームレートは約９倍になる。このため、撮像装置は、ＣＣＤ１３ｒ，１３ｇ，１３ｂの出力画素数を低減して、フレームレートを上げることができ、しかも、鮮明な画像を生成することができる。

尚、本発明を実施するにあたっては、種々の形態が考えられ、上記実施形態に限られるものではない。
例えば、上記実施形態では、３×３の画素データの画素加算を行った場合、画素ずらし量を、水平方向、垂直方向に、ともに０．５画素として説明した。しかし、３×３の画素データの画素加算を行った場合に、画素ずらし量を、水平方向に１．５、２．５、・・・画素、垂直方向に、１．５、２．５、・・・画素とすることができる。即ち、ｍ×ｎの画素データの画素加算の場合、画素ずらし量を、水平方向に（ｉ＋１／２）×ｍ（ｉは整数）、垂直方向に（ｊ＋１／２）×ｎ（ｊは整数）とすることができる。

上記実施形態では、３×３の画素データを画素加算するようにした。しかし、加算する画素数は、水平、垂直方向に、３以上の奇数であればよく、それぞれ、５，７，・・・であってもよい。このような画素数であっても、同等の結果を得ることができる。

また、上記実施形態では、動画撮影において、動画画素加算モードが指定された場合、撮像部１内において、水平、垂直方向に画素加算を行うようにした。しかし、撮像部１内では、水平方向及び垂直方向のうち、いずれか一方の方向の画像加算を行い、撮像部１外において、他方の方向の画素加算を行うようにすることもできる。

例えば、水平方向の画素加算を撮像部１外で行う場合、撮像装置は、図６に示すように、信号処理部２に縮小処理部３１ｒ，３１ｇ，３１ｂを備える。この縮小処理部３１ｒ，３１ｇ，３１ｂは、水平方向の画素加算を行うものである。

制御部３は、ＣＣＤ１３ｒ，１３ｂとＣＣＤ１３ｇとの位置の差としての画素ずらし量が、例えば、水平方向に０．５画素、垂直方向に１．５画素となるように、ＣＣＤ１３ｒ，１３ｇ，１３ｂの配置位置を設定する。撮像装置は、図７（ａ）に示すような加算画素データを生成する。

縮小処理部３１ｒ，３１ｇ，３１ｂは、それぞれ、図７（ｂ）に示すように、Ｒ／Ｂの加算画素データを、Ｇの加算画素データに対して、１．５画素だけ画素ずらしを行う。この場合、縮小処理部３１ｒ，３１ｂは、最初のデータを使用せず、２つ目（＝（ｍ＋１）／２）画素目のデータから３画素ずつ画素加算する。

このように、縮小処理部３１ｒ，３１ｇ，３１ｂを備え、撮像素子１内外で、このようにＣＣＤ１３ｒ、１３ｂを、ＣＣＤ１３ｇに対して水平方向、垂直方向に画素ずらしを行うことにより、ＣＣＤ１３ｒ、１３ｇ、１３ｂの各画素データの位置関係を代えることなく、撮像部１内の構成を簡易にすることもでき、かつ、静止画、動画の両方で、半画素ずらしによる効果を得ることができる。尚、この場合、画素加算を行う方向が垂直方向であって、画素ずらしの方向が水平方向であってもよい。

さらに、制御部３は、ＣＣＤ１３ｒ，１３ｂとＣＣＤ１３ｇとの位置の差としての画素ずらし量が、例えば、水平方向に０．５画素、垂直方向に（ｊ＋１／２）×ｎ画素（ｊは整数）となるように、ＣＣＤ１３ｒ，１３ｇ，１３ｂの配置位置を設定する。そして、縮小処理部３１ｒ，３１ｇ，３１ｂは、それぞれ、Ｒ／Ｂの加算画素データを、Ｇの加算画素データに対して、水平方向に、（ｉ＋１／２）×ｍ画素だけ画素ずらしを行うこともできる。この場合、縮小処理部３１ｒ，３１ｂは、それぞれ、（（ｉ＋１／２）×ｍ＋１／２）画素目（ｉは整数）のデータからｍ画素ずつ画素加算する。

上記実施形態では、ＣＣＤ１３ｒ、１３ｂを、ＣＣＤ１３ｇに対して、図中、斜め右下に画素ずらしを行うようにした。しかし、画素ずらしの方向は、これに限定されるものではなく、斜め右上、斜め左上、斜め左下であってもよい。

上記実施形態では、撮像部１を３つのＣＣＤ１３ｒ、１３ｇ、１３ｂを備えた３板式のものとして説明した。しかし、ＣＣＤは１つとして、撮像部１は、赤、緑、青の光を時系列化して１つのＣＣＤが受光することにより、あたかも３つのＣＣＤを備えるように構成されたものであってもよい。

本発明の実施形態に係る撮像装置の構成を示すブロック図である。 図１に示す撮像装置の機能を示す図であり、（ａ）は、画素ずらしなし、（ｂ）は画素ずらしの処理を示す。 図１に示す撮像装置の機能として、動画画素加算の処理を示す図である。 図１に示す撮像装置が実行する画素ずらしモードにおける補間方法を示す図である。 図１に示す撮像装置が実行する動画画素加算モードにおける処理を示す図である。 図１に示す撮像装置が実行する補間処理の応用例としての構成を示すブロック図である。 図６に示す撮像装置が実行する補間処理の内容を示す図である。 従来の補間方法を実行する場合の３つのＣＣＤの配置を示す図である。 従来の補間方法を示す図である。 従来の動画画素加算の課題を示す図である。

符号の説明

１・・・撮像部、２・・・信号処理部、３・・・制御部、１３ｒ、１３ｇ、１３ｂ・・・ＣＣＤ、３１ｒ、３１ｇ、３１ｂ・・・縮小処理部

Claims (4)

1. 複数の光電変換素子が行列配置され、前記光電変換素子がそれぞれ光を受光して、受光した光の光強度に応じた信号レベルの光検出信号を生成し、前記光電変換素子を１画素として、行列方向に、それぞれ、ｍ（ｍは３以上の奇数）×ｎ（ｎは３以上の奇数）画素ずつ画素データを画素加算して、加算画素データを生成する３原色用の複数の撮像素子と、
   前記３原色のうち、赤色用及び青色用の撮像素子と緑色用の撮像素子との位置の差としての画素ずらし量が、前記光電変換素子の行列方向に、それぞれ、（ｉ＋１／２）×ｍ、（ｊ＋１／２）×ｎ画素（ｉ，ｊは整数）となるように、各撮像素子の配置位置を設定する撮像素子設定部と、
   前記撮像素子設定部によって設定された前記赤色用、青色用の撮像素子が生成した加算画素データと前記緑色用の撮像素子が生成した加算画素データとに基づいて補間データを生成する補間データ生成部と、を備えた、
   ことを特徴とする撮像装置。
2. 複数の光電変換素子が行列配置され、前記光電変換素子がそれぞれ光を受光して、受光した光の光強度に応じた信号レベルの光検出信号を生成し、前記光電変換素子を１画素として、行方向又は列方向にｎ（ｎは３以上の奇数）画素ずつ画素データを画素加算して、加算画素データを生成する３原色用の複数の撮像素子と、
   前記３原色のうち、赤色用及び青色用の撮像素子と緑色用の撮像素子との位置の差としての画素ずらし量が、画素加算を行った方向に（ｊ＋１／２）×ｎ画素（ｊは整数）となるように、各撮像素子の配置位置を設定する撮像素子設定部と、
   前記撮像素子設定部によって配置位置が設定された前記緑色用の撮像素子から出力された加算画素データにつき、行方向又は列方向のうち、前記複数の撮像素子が画素加算した方向とは異なる方向に、ｍ（ｍは３以上の奇数）画素ずつ、画素データを画素加算して、新たな加算画素データを生成する第１の画素加算部と、
   前記撮像素子設定部によって配置位置が設定された前記赤色用、青色用の撮像素子から出力されたそれぞれの加算画素データにつき、前記複数の撮像素子が画素加算した方向とは異なる方向に、（（ｉ＋１／２）×ｍ＋１／２）画素目（ｉは整数）から、ｍ画素ずつ画素加算を行って、新たな加算画素データを生成する第２の画素加算部と、
   前記第１の画素加算部が生成した加算画素データと前記第２の画素加算部が生成した加算画素データとに基づいて補間データを生成する補間データ生成部と、を備えた、
   ことを特徴とする撮像装置。
3. 複数の光電変換素子が行列配置され、前記光電変換素子がそれぞれ光を受光して、受光した光の光強度に応じた信号レベルの光検出信号を生成する３原色用の複数の撮像素子を備えた撮像装置の画素補間方法において、
   前記各撮像素子の前記光電変換素子を１画素として、行列方向に、それぞれ、ｍ（ｍは３以上の奇数）×ｎ（ｎは３以上の奇数）画素ずつ画素データを画素加算して、加算画素データを生成するステップと、
   前記３原色のうち、赤色用及び青色用の撮像素子と緑色用の撮像素子との位置の差としての画素ずらし量が、前記光電変換素子の行列方向に、それぞれ、（ｉ＋１／２）×ｍ、（ｊ＋１／２）×ｎ画素となるように、各撮像素子の配置位置を設定するステップと、
   配置位置が設定された前記赤色用、青色用の撮像素子が生成した加算画素データと前記緑色用の撮像素子が生成した加算画素データとに基づいて補間データを生成するステップと、を備えた、
   ことを特徴とする撮像装置の画素補間方法。
4. 複数の光電変換素子が行列配置され、前記光電変換素子がそれぞれ光を受光して、受光した光の光強度に応じた信号レベルの光検出信号を生成する３原色用の複数の撮像素子を備えた撮像装置の画素補間方法において、
   前記各撮像装置の前記光電変換素子を１画素として、行方向又は列方向にｎ（ｎは３以上の奇数）画素ずつ画素データを画素加算して、加算画素データを生成するステップと、
   前記３原色のうち、赤色用及び青色用の撮像素子と緑色用の撮像素子との配置位置の差として画素ずらし量が、画素加算を行った方向に（ｊ＋１／２）×ｎ画素（ｊは整数）となるように、各撮像素子の配置位置を設定するステップと、
   配置位置が設定された前記緑色用の撮像素子から出力された加算画素データにつき、行方向又は列方向のうち、前記複数の撮像素子が画素加算した方向とは異なる方向に、ｍ（ｍは３以上の奇数）画素ずつ、画素データを画素加算して、新たな加算画素データを生成するステップと、
   配置位置が設定された前記赤色用、青色用の撮像素子から出力されたそれぞれの加算画素データにつき、前記複数の撮像素子が画素加算した方向とは異なる方向に、（（ｉ＋１／２）×ｍ＋１／２）画素目（ｉは整数）から、ｍ画素ずつ画素加算を行って、新たな加算画素データを生成するステップと、
   前記緑色の加算画素データと前記赤色、青色の加算画素データとに基づいて補間データを生成する補間データ生成部と、を備えた、
   ことを特徴とする撮像装置の画素補間方法。

Images