以下、本発明の実施の形態を図にしたがって説明する。
(実施形態1)
図1は、本発明の各実施形態に共通するデジタルカメラの全体構成を示すブロック図である。図に示すように、デジタルカメラは、撮影光学系1と、撮影光学系1により結像された被写体の光学像を電気信号に変換するイメージセンサ2、イメージセンサ2から出力された撮像信号を処理するDSP(Digital Signal Processor、デジタル信号処理回路)3を有している。
前記撮影光学系1は、光軸上に配置された焦点レンズ5、ズームレンズ6、絞り7、メカニカルシャッタ8から構成され、各々が、制御回路10から送られる制御信号に従いドライバブロック9における各駆動回路(図で焦点レンズ駆動やズームレンズ駆動等)が生成する駆動信号によって適宜駆動される。
制御回路10は、主としてCPU11と、CPU11にデータバス12を介してそれぞれ接続されたインタフェース13、音声入出力回路14、入力回路15、メモリカード・インタフェース16、USBコントローラ17、ハードディスク・インタフェース18といった周辺回路から構成されている。
前記DSP3は制御回路10に接続され、また画像データバス19を介して前記インタフェース13にも接続されており、CPU11によって制御される。前記インタフェース13には、画像データバス19を介してバッファメモリ20と、画像CODEC(Coder & Decoder、符号器/復号器)21、動画像CODEC22、表示駆動回路23が接続され、表示駆動回路23にLCD(液晶表示器)24が接続されている。また、前記制御回路10内のデータバス12には、音声CODEC(Coder & Decoder、符号器/復号器)27、プログラム・メモリ28、不揮発性の内蔵メモリであるデータ・メモリ29が接続されている。
前記DSP3によって処理された画像データはバッファメモリ20に順次記憶されるとともに、表示駆動回路23によってLCD24にスルー画像として表示される。
そして、静止画撮影時に前記DSP3によって処理された画像データは、画像CODEC21によってJPEG規格等に準じた圧縮符号化画像データ、もしくはRAWデータなど非圧縮の符号化画像データなどに符号化される。符号化された画像データは、EXIF、JPEGなどのファイル形式で前記データ・メモリ29に記録されたり、前記メモリカード・インタフェース16を介してフラッシュメモリカードなどの着脱自在な画像メモリ媒体25に記録されるか、前記ハードディスク・インタフェース18を介して小型のHDD(Hard Disk Drive:ハードディスク記録装置)26に記録される。
また、動画撮影時に前記DSP3によって処理された画像データは、動画像CODEC22によってMPEG4やH.264/AVCなどの圧縮符号化方式で圧縮符号化され、AVIやMP4などのファイル形式で前記データ・メモリ29や画像メモリ媒体25又はHDD26に記録され、画像メモリ媒体25等に記録された静止画像や動画像は、画像CODEC21や動画像CODEC22によって復号された後、LCD24に画面表示される。
前記音声CODEC27は、MIC30から入力し、アンプ31、A/D変換器32を経て前記音声入出力回路14に入力した音声データを符号化する。音声CODEC27により符号化された音声データは、例えば音声付きの動画撮影時においては、動画像CODEC22により圧縮符号化された動画データと重畳されて動画ファイルとして記録される。また、前記音声CODEC27は、音声付きの動画像の再生時には、動画データに重畳されている音声データを復号する。復号された音声データは、音声入出力回路14、D/A変換器33、アンプ34、スピーカ35を介して出力される。
前記USBコントローラ17にはUSB端子36が接続されており、記録された静止画像や動画像の画像データファイルは、画像メモリ媒体25とは別にUSBなど外部入出力インタフェースを介して、必要に応じてPC(パーソナル・コンピュータ)やプリンタに転送可能となっている。なお、転送した画像データファイルは、PC内の大容量HDD装置に蓄積記録されたり、さらにはCD−RやDVDなどディスク媒体等に保存記録されたり、あるいは、PC内の画像編集ソフトなどを用いて撮影画像や録画済みの映像を編集されたり、モニターに再生表示されたり、プリンタで印刷されたりする。
前記入力回路15には操作入力部37が接続されている。操作入力部36は電源キーと、静止画撮影モード、動画撮影モード、再生モードの各モードの切り替えを行うモード切替キー、MENUキー、レリーズ(シャッター)ボタン、ズームキー等の複数の操作キーを含み、ユーザによるキー操作に応じたキー入力信号を生成する。生成されたキー入力信号は、入力回路15を介してCPU11に出力される。なお、レリーズボタンは、半押しと全押しの2段階操作が可能な所謂ハーフシャッター機能を有するとともに、動画撮影時には録画開始/終了ボタンとしても機能する。
また、前記制御回路10には、CPU11の指令に基づきストロボ(キセノン管等の発光管)38を駆動するためのストロボ駆動回路39と、被写体の明るさを検出するための測光センサや被写体までの距離を計測するための測距センサを含むセンサ回路40から出力される各センサの検出信号を処理しCPU11へ出力する検出回路41が接続されている。さらに、制御回路10には、ニッケル水素電池等の充電可能な電池42の電力を各部に供給するための電源制御回路43が接続されている。
前記プログラム・メモリ28には、CPU11に前述した各部を制御させるための各種プログラム(AE、AF、AWB等の制御用プログラムを含む)、及びCPU11が使用する各種データが格納されている。特に、CPU11を本発明の駆動制御手段、領域制御手段、加算数制御手段、ズーム倍率設定手段、倍率制限手段として機能させ、CPU11に後述するデジタルズーム処理を行わせるためのプログラムが格納されている。
また、前記データ・メモリ29には、前述した静止画像や動画像の画像データファイル以外にも、デジタルカメラの動作を規定するとともに、必要に応じてユーザにより変更または設定された各種の設定データが保持されている。さらにデータ・メモリ29は、CPU11の作業用メモリとしても使用される。
・イメージセンサ
図2は、前述した撮像部2、DSP3の詳細を示したシステム構成図、図3は、前記イメージセンサ2の詳細を示した回路図である。
イメージセンサ2は、主として感光部201と、垂直走査回路202、タイミング発生回路203、CDS/ADC回路(図でCDS/AD変換)204、デジタル画素加算回路206、デジタル信号読出し回路207、水平走査回路208、並列/直列変換回路(P/S)209から構成される。
本実施の形態のイメージセンサ2は、CMOS(Complementary Meta1 0xide Semiconductor:相補型金属酸化膜半導体)イメージセンサであり、より詳しくは一般的なAPS(Active Pixel Sensor:増幅型画素センサ)型である。なお、CMOSイメージセンサは、CCDに比べると、撮像信号を画素毎にランダムアクセスで読み出せ、各画素回路は電気的に分離しているので伝送ノイズに強く、またCMOS LSI等と同様に、同じ製造プロセスにてイメージセンサ部の周辺に各種のCMOS回路や加算演算回路などデジタル論理回路などを高集積化して比較的容易に一緒に作りこめる利点がある。
前記感光部201は、図4(a)に示したように、フォトダイオード251を含む単位画素回路252からなり、単位画素回路252毎にFD(Floating Dihsion)アンプ253を内蔵することにより、暗電流とkTC雑音を低減できるようにした構成である。
図4(b)は上記の単位画素回路252の構造図、同図(c)は単位画素回路252の動作を示した図である。前記フォトダイオード251で光電変換された信号電荷はFD(Floating Dihsion)アンプ253で一旦増幅され、垂直走査回路202からの行アドレス選択信号と水平走査回路208からの列選択信号によりXYアドレス方式で選択された画素毎の撮像信号が、出力から順次電圧または電流として取り出される。つまり、CCD(Charge Coupled Device:電荷結合素子)のように順番に取り出さなくとも、任意の画素や領域の撮像信号だけを、任意の順序で取り出すことができ、これにより後述するようにデジタルズーム処理で所定領域のみを切り出して読み出す場合には、撮像信号を高速で読み出せるようになっている。
前記デジタル画素加算回路206は、各画素に隣接する同色(フィルタ)の複数の画素の撮像信号同士をデジタル信号で加算する回路であり、デジタルズーム時に、選択領域内の画素データを任意の行列毎に所定の複数画素分加算された撮像信号の読出しが可能であるとともに、スルー画像や動画撮影において、高速レートでも、画像データ量の小さい撮像信号に変換して出力できるようになっている。
前述したように選択読出しされた選択領域の撮像信号、さらに画素加算された撮像信号は、列回路(図3に破線で示した部分)のCDS/ADC回路204、すなわちCDS回路(Correlated Double Sampling:相関二重サンプル回路)204a、及びA/D変換回路204bから水平走査回路208の列選択信号により選択され列信号として順次出力され、並列/直列変換回路209によって直列のデジタル撮像信号に変換された後、DSP3に高速フレームレートで転送出力される。
なお、CDS/ADC回路204、デジタル画素加算回路206は列信号線毎に並列に並んだ前記列回路にそれぞれ設けられており、これによりフォトダイオード251をリセットする前と後の信号を減算して固定パターンノイズを除去できるとともに、デジタル信号での撮像信号の出力が容易となっている。なお、A/D変換回路204bには積分型や巡回型、逐次型などが使用できる。
図5は、CDS/ADC回路204及びデジタル画素加算回路206の具体的構成を示した回路図である。並列に並んだ列回路に設けるCDS/ADC回路204には、各種の方式が開発されているが、本実施の形態では、いわゆる、「Column ADC方式」のCDS/ADC回路を用いて、列毎に並列処理するA/D変換器204bにより、画素の固定パターンノイズ(FPN)を抑圧しながらデジタル信号に変換する。Column ADC方式のCDS回路204aでは、固定パターンノイズを抑圧するために、粗精度と高精度の2段階のクランプ(Clamp)回路を用いる。クランプは、信号のあるレベルを基準電圧に置き換える動作で、クランプ回路は例えば、キャパシタとスイッチで構成され、キャパシタの出力側がスイッチにより基準電圧にセットされる。
図6に示した信号読み出し時の動作タイミングチャートにあるように、まず、列回路のA1とA2のクランプスイッチS1、S2を同時に閉じてから、S1を先に開くと、点Vinの電圧が、A1の閾値電圧にS1スイッチングのバラツキが加算された電圧に粗い精度でクランプされるが、S2は閉じたままなので、その電圧がA2入力の閾値電圧になる。
その後、S2を開くと、A2にもスイッチングのバラツキを含む電圧がクランプされ、クランプ動作が完了する。S2スイッチングのバラツキ成分はA2の利得で割った分かVin側のバラツキに還元されるので、Vin側から見るとクランプ精度が向上して、クランプ回路で発生する縦筋状の固定パターンノイズ(FPN)の発生が抑えられる。
次に、行読出し線(転送ゲート線TG)にパルスが立ち上がると、画素信号が列信号線に現れるので、スイッチS4を閉じてサンプリングする。サンプリング完了後、スイッチSSを開いて、ランプ波形(順次電圧が上昇する階段状波形)をしたA/D変換用の基準信号をスイッチS4から加えると、ランプ波形に応じてVinの電圧がやがてクランプ回路の閾値を越えてA2の出力が反転し、反転する電圧までの10ビットカウンタの値がデジタルの画素信号値としてラッチに記憶され、A/D変換処理が終了する。
また、画素加算については、図5に示したように、前記CDS/ADC回路204を含む列回路の後に、列加算回路(垂直加算回路)などのデジタル演算回路206aを設け、行アドレス選択された画素の信号を列信号線から読出し、CDS/ADC回路204でノイズ除去されデジタル変換されたデジタル並列信号を、タイミング信号でラッチ回路にラッチし、同じく選択された同じ列で異なる行の画素のデジタル並列信号を、同様に別のタイミング信号で別のラッチ回路にラッチして、ラッチ回路の出力同士をデジタル演算回路206a(列加算回路)でデジタル加算する。
また、水平信号線からの信号出力部に、行加算回路(水平加算回路)などのデジタル演算回路206bを設け、列加算された信号同士をタイミング信号で選択して水平信号線に読出し、ラッチ回路にラッチして、ラッチ回路の出力同士をデジタル演算回路206b(行加算回路)でデジタル加算する。
カラー撮像の場合には、例えば、Bayer配列等の千鳥状に2画素周期で交互に並んだRGB各色カラーフィルタに対応する各画素から、列方向に(一つ飛ばしで)隣接する同色フィルタの画素同士を、R画素はR画素同士で、G画素はG画素同士で、B画素はB画素同士で、列方向に複数加算し、また、行方向に(一つ飛ばしで)隣接する同色フィルタの値数の画素を行方向に加算して読み出すことで同色の画素の信号同士が複数画素分加算できる。
また、加算された撮像信号のデジタル信号は所定の符号化を行うとともに、並列/直列変換回路で順次シリアル(直列)のデジタル信号に変換されて出力され、DSP3に転送される。
・DSP(デジタル信号処理回路)
前記DSP3は、イメージセンサ2から出力されたシリアル(直列)の撮像信号が入力する直列/並列変換回路(S/P)301と、バッファメモリ302、WB/カラー補正回路303、リサイズ/補間処理回路304、カラー補間回路305、輪郭補正回路306、ガンマ補正回路307、カラーマトリクス回路308から構成されている。
イメージセンサ2からDSP3に入力した撮像信号は直列/並列変換回路(S/P)301によりパラレル(並列)のデジタル信号に変換され、バッファメモリ302にフレーム毎に画像データとして蓄積され、蓄積された画像データは、WB/カラー補正回路303によってホワイトバランス調整やカラーバランス調整を行われる。係る段階の画像データは、撮像素子の前面に設けられ、モザイク状の「ベイヤー(Bayer)配列」や、水平/垂直に2画素単位の繰り返し周期で千鳥配列されたGreen市松R/B色差線順次方式など、RGB原色フィルタなどカラーフィルタ配列にしたがって、画素毎には一つの色成分しか持たないが、カラー補間回路305により、他の色差成分の画素値が、近隣周辺の画素値から画素補間(Pixel Signal lnterpolation)して求められ(カラー補間処理)、各画素毎にRGB各色差成分毎の階調値を持つデジタル画像データに変換される。
また、上記カラー補間を行う前には、必要に応じて、リサイズ/補間処理回路304(本発明のサイズ変換手段)が、撮像画像サイズを異なる画像サイズに変換する解像度変換処理(Resolution Conversion)を行う。例えば、スルー画像や再生画像をファインダやモニタに表示する為に表示駆動回路23内の表示メモリ(Video RAMでもよい)23aに書き込む為に、所定の画像サイズ(VGAサイズなど)に変換するリサイズ(Resize)、もしくは、補間処理(lnterpolation)を行う。
あるいは、撮影記録時に、所望の記録画像サイズで記録する為に、設定記録画像サイズの画像に縮小/拡大処理や、リサイズ/補間処理もしくは解像度変換処理を行う。リサイズや補間処理を行った場合に、画像がぼけたり解像感が落ちたりしやすいので、合わせて、各種のアンシャープネス・フィルタ(Unsharpness Filtering)など輪郭強調フィルタ演算や画像鮮鋭化フィルタ処理なども行う。
さらに、DSP3では、ガンマ補正回路307により階調補正されたRGB系のデジタル画像信号は前述したバッファメモリ20に一時記憶された後、LCD24など電子ファインダに再生表示されるか、カラーマトリクス回路308でRGB系からYUV系/YCbCr系など所定の色空間の画像信号に変換され、前述した画像CODEC21や動画像CODEC22により、JPEG静止画像データやMPEG4やH.264動画像データなどに圧縮/符号化処理される。
そして、スルー画像や再生画像を前記LCD24に表示する場合には、前記表示駆動回路23は、その表示メモリ23aに所定サイズで更新書き込みされた画像データを定期的に繰り返し読み出してLCD24に繰り返し更新表示される。
一方、前記リサイズ/補間処理回路304では、単に間引き(Decimation)や平均化を行うとギザギザやデジタルノイズ、偽信号が発生したり画質が劣化しやすいので、「最近傍法」(各画素値をその最も近い近傍の画素の画素値から求める)や「線形補間法」(周りの4〜8画素の周囲画像や64画素など近傍の画素値から求める)などを用いて、各画素をその周辺近傍の画素から補間演算したり、幾何学変換処理したりする二次元フィルタ演算処理を行う。
ここで、従来のデジタルズーム処理では、特に、画像サイズの拡大や伸張を必要とする圧縮/伸張処理やリサイズ/補間処理を行う場合には、解像度や画質が大幅に劣化することが避けられなかった。
本実施の形態では、まず、このような画像サイズの拡大や伸張を伴う、画質が劣化しやすい圧縮/伸張処理やリサイズ/補間処理は行わないように済む範囲内で、前記CPU11が後述するようなデジタルズーム処理を行う。
さらに、これだけでは、解像度や画質は確保できても、高解像度で高速フレームレートのスルー表示や動画撮影には対応できないので、前記CPU11が、イメージセンサ2の駆動を後述するように制御することにより、解像度や画質を劣化させずに、イメージセンサ2から読み出す撮像データや信号処理のデータ量を削減して、所要メモリ容量やDSP3の信号処理量を削減して、撮影時のスルー表示や動画像撮影時における信号処理負担を大幅に削減し、デジタルズーム処理を行う場合にも、高解像度、かつ、高フレームレートでの撮像が実現できるように制御する。
以下に、上述した構成からなるデジタルカメラの本発明に係る動作を説明する。図7及び図8は、静止画撮影モードが設定されているときCPU11が実行する、主としてデジタルズームに関する処理内容を示すフローチャートである。
撮影時においてCPU11は、まず、操作入力に応じて、撮影モードおよび撮影条件、記録画像サイズを設定した後(ステップSA1)、撮影モードでなければ(ステップSA2でNO)、そのまま他のモードの処理へ移行する(ステップSA3)。
撮影モードであれば(ステップSA2でYES)、撮像フル画像サイズ(XF、YF)と表示メモリ23aの書込み画像サイズ(Xd、Yd)に応じて、(画質劣化しない)デジタルズーム倍率(DZ)の限度(DZmax)を設定する(ステップSA4)。
次に、測光処理及びホワイトバランス調整処理を行い(ステップSA5)、ユーザーによるAF枠の選択があれば、操作に応じてAF枠を選択し、選択されたAF枠(の中心)をデジタルズ−ムの中央位置(XC,YC)に設定し(ステップSA6でYES、ステップSA7)、ユーザーによるAF枠の選択がなければ、視野の中央をデジタルズームの中央位置(XC,YC)に設定する(ステップSA6でNO、ステップSA8)。なお、設定した中央位置(XC,YC)はデータ・メモリ29に記憶する。
また、ユーザーによる光学ズーム操作があれば(ステップSA9でYES)、操作入力に応じて光学ズーム倍率を増減し(ステップSA10)、増減後の光学ズーム倍率に応じてズームレンズ6を駆動する光学ズーム処理を行った後(ステップSA11)、また、光学ズーム操作がなければ(ステップSA9でNO)、直ちに、ステップSA12へ進み、選択されたAF枠又は視野中央をフォーカス検出領域として焦点レンズ5を駆動するAF処理を行う。
また、ユーザーによるデジタルズーム操作があれば(ステップSA13でYES)、操作入力に応じてデジタルズーム倍率(DZ)を増減した後(ステップSA14)、また、デジタルズーム操作がなければ(ステップSA13でNO)、直ちに、増減後のデジタルズーム倍率(DZ)、又は既に設定されているデジタルズーム倍率(DZ)が、1倍以上、(画質劣化しない)デジタルズーム倍率(DZ)の限度(DZmax)以下の範囲内であるか否かを判別する(ステップSA15)。
そして、デジタルズーム倍率(DZ)が上記範囲内でない場合には(ステップSA15でNO)、それが1倍未満であれば(ステップSA16がYES)、デジタルズーム倍率(DZ)を1倍に修正し(ステップSA17)、デジタルズーム倍率(DZ)が上記限度(DZmax)を超えていれば(ステップSA16でNO、ステップSA18がYES)、デジタルズーム倍率(DZ)を上記限度(DZmax)に修正する(ステップSA19)。しかる後、図9の(画質劣化の少ない)デジタルズーム処理(1)のサブルーチンに移行する(ステップSA20)。
図9は、(画質劣化の少ない)デジタルズーム処理(1)の内容を示したフローチャートである。係る処理では、画素加算数の切替ステップ段数(i)、及び初期の画素加算数、すなわち水平および垂直方向の加算数(m,n)の初期値(m(i),n(i))を、例えば、i=3、m(i)=m(3)、n(i)=n(3)に設定した後(ステップSA101)、前述したステップSA7又はステップSA8で設定したデジタルズ−ムの中央位置(XC,YC)をデータ・メモリ29から読み込む(ステップSA102)。
引き続き、前述した感光部201から撮像信号を読み出すときの画素加算数(m,n)を予め設定する。つまり画素加算における水平および/または垂直方向の加算数(m,n)を、デジタルズーム倍率(DZ)に応じて、DZが低倍率になるほど加算数が大きく、高倍率になるほど加算数が小さくなるように、段階的に切り替えて加算数の自動調整を行う(ステップSA103〜SA109)。
これにより、低倍率で表示画角が広い時には、加算処理によって撮像信号のデータ量を、1/(m×n)に小さくするとともに、画素加算効果によって、撮像感度を上げ画質の劣化を補う。また、高倍率で画角が狭い時には、加算数を減らすことにより、高精細の解像度を優先させるとともに、画角(=選択領域)を狭くすることでデータ量を所定以下に抑える。
なお、上記の加算読出しにおける各段階の加算数(m(i),n(i))は、撮影モードのスルー表示中には、スルー表示の画質が劣化しないように、選択領域の加算読出し画像サイズ(X’,Y’)が、少なくとも、表示メモリ23aヘ書込みする(VGAサイズ=640×480など)所定の画像サイズ(Xd,Yd)以上となる加算数の切替条件、すなわち、
X’=X/m=INT(XF/DZ)/m ≧Xd、
かつ、
Y’=Y/n=INT(YF/DZ)/n ≧Yd、
が満足される範囲とする。
すなわち、デジタルズーム時の加算数(m(i),n(i))に応じて、デジタルズーム倍率(DZ)が次式で表されるデジタルズーム倍率限度DZL(i)以内となるように、
DZ≦DZL(i)、
但し、
DZL(i)=INT{XF/m(i)}/Xd、またはINT{YF/n(i)}/Yd
となる範囲内で、デジタルズーム倍率を可変するように制御すれば、スルー表示での画質劣化が抑えられるので、それを超える高倍率が選択された場合には、選択領域の加算読出し画像サイズ(X’,Y’)が、表示書込み用画像サイズ(Xd,Yd)未満になる場合には、各デジタルズーム倍率限度に達する度に、加算数(m(i),n(i))を、順次小さい加算数(m(i−1),n(i−1))、(m(i−2),n(i−2))、・・・等に段階的に切り替える。
例えば、XF=2,880、YF=2,160、Xd=640、Yd=480のとき、初期の加算数をm=n=3からはじめる場合には、
DZL(3)=1.5、DZL(2)=2.25、DZL(1)=4.5となるので、
DZ=1〜1.5倍のとき、m=n=3として、(3×3)の加算読出しを行い、
DZ=1.5〜2.25倍のとき、m=n=2として、(2×2)の加算読出しを行い、
DZ=2.25〜4.5倍のとき、m=n=1として、(1×1)の加算なし読出しを行うようにする。
引き続き、そのときのデジタルズーム倍率(DZ)と前記中央位置(XC,YC)に応じて、感光部201における選択読出し領域の画像サイズ(ヨコX×タテY)と、読出し範囲(X1〜X2,Y1〜Y2)、つまり(ヨコ)×1/(DZ)、(タテ)×1/(DZ)の大きさの部分領域(選択領域)を設定する(ステップSA110)。
すなわち、感光部201の有効領域の大きさ(画素数)を(XF,YF)とすると、選択する部分領域の大きさ(画素数)(X,Y)は、
X=INT(XF/DZ)、Y=INT(YF/DZ)、
また、視野中央もしくは選択AF枠など、中央の画素位置を(XC,YC)とすると、選択する部分領域の範囲(例:左上からの画素座標)(X1〜X2)、(Y1〜Y2)は、 X1=XC−X/2、X2=XC+X/2、Y1=YC−Y/2、Y2=YC+Y/2、
ただし、X1<0のとき、X1=0、X2=X、または、
X2>XFのとき、X1=XF−X、X2=XF、
および、Y1<0のときY1=0、Y2=Y、または、
Y2>YFのときY1=YF−Y、Y2=YF、
として、上下左右の端から超えるときには、各端からはみ出さないようにずらせて、設定された部分領域の大きさ(X,Y)を確保する(なお、この点はデジタルズームをDSP3ではなく、感光部201内で行う以外は、従来のデジタルズームと略同様である)。
そして、前述した撮像素子(CMOSイメージセンサ)201の領域選択読出し機能を利用して、上記のように設定した読出し範囲(X1〜X2,Y1〜Y2)の画像信号を、加算数(m,n)に従って加算して(又は加算なしで)読出し、画像サイズ(X’,Y’)=(X/m,Y/n)の画像信号をDSP3(バッファメモリ302)に読み込む(ステップSA111)。
すなわちXF=2,880、YF=2,160、Xd=640、Yd=480であれば、
(例1)例えば、デジタルズーム倍率DZ=1.2倍のときには、
X=INT(XF/DZ)=(2,880/1.2)=2,400、Y=INT(YF/DZ)=(2,160/1.2)=1,800、の大きさの撮像領域を選択読出しし、かつ、DZ≦DZL(3)=1.5なので、加算数m=3、n=3で加算読出しすることにより、
X’=X/m=(2,400/3)=800、Y’=Y/n=(1,800/3)=600、すなわち、(800×600)画素の(3×3)加算読出し画像を得る。
(例2)また、デジタルズーム倍率DZ=2倍のときには、
X=INT(XF/DZ)=(2,880/2)=1,440、Y=INT(YF/DZ)=(2,160/2)=1,080、の大きさの撮像領域を選択読出しし、かつ、DZ>DZL(3)=1.5、DZ≦DZL(2)=2.25なので、加算数m=2、n=2で加算読出しすることにより、
X’=X/m=(1,440/2)=720、Y’=Y/n=(1,080/2)=540、すなわち、(720×540)画素の(2×2)加算読出し画像を得る。
(例3)また、デジタルズーム倍率DZ=3倍のときには、
X=INT(XF/DZ)=(2,880/3)=960、Y=INT(YF/DZ)=(2,160/3)=720、の大きさの撮像領域を選択読出し、かつ、DZ>DZL(2)=2.25、DZ≦DZL(1)=4.5なので、加算数m=1、n=1で加算読出しすることにより、
X’=X/m=(960/1)=960、Y’=Y/n=(720/1)=720、すなわち、(960×720)画素の(1×1)加算読出し画像を得る。
しかる後、メインルーチン(図8)へ戻り、撮像画像サイズ(X’,Y’)と、表示メモリ23aの書込みサイズ(Xd,Yd)に応じて、リサイズ率(IPx=Xd/X’、IPy=Yd/Y’)を設定して、リサイズ/補間処理を行った後(ステップSA21)、処理後の画像データを表示メモリ23aに書き込むスルー画像の表示処理を行う(ステップSA22)。
例えば前述したステップSA107で、前記(例1)のように、(800×600)画素の(3×3)加算読出し画像を得ていたときには、それを元に、表示用書込みサイズの(640×480)画素に合わせて、IPx=Xd/X’=640/800=1/1.25、および、IPy=Yd/Y’=480/600=1/1.25、に相当するリサイズ/補間処理(1/1.25×1/1.25)を行って、(640×480)画素の画像を表示メモリ23aに書き込む。
また、前記(例2)のように、(720×540)画素の(2×2)加算読出し画像を得ていたときには、それを元に、表示用書込みサイズの(640×480)画素に合わせて、IPx=Xd/X’=640/720=1/1.125、および、IPy=Yd/Y’=480/540=1/1.125、に相当するリサイズ/補間処理(1/1.125×1/1.125)を行って、(640×480)画素の画像を表示メモリ23aに書き込む。
また、前記(例3)のように、(960×720)画素の(1×1)加算読出し画像を得ていたときには、それを元に、表示用書込みサイズの(640×480)画素に合わせて、IPx=Xd/X’=640/960=1/1.5、および、IPy=Yd/Y’=480/720=1/1.5、に相当するリサイズ/補間処理(1/1.5×1/1.5)を行って、(640×480)画素の画像を表示メモリ23aに書き込む。
このように、最低限でも、表示用書込みサイズ(640×480)画素以上の画像サイズから表示用のリサイズ/補間処理を行うことができ、画像を拡大や伸張を含むようなリサイズ処理や補間処理は行わないので、解像度や画質の劣化がなくデジタルズーム処理が可能となる。
図10〜図14に、上述した(画質劣化の少ない)デジタルズーム処理の例を示す。図10及び図11は画素加算しない場合の例、図12及び図13は画素加算を行う場合の例、図14は選択されたAF枠を中心にデジタルズーム処理を行う場合の例である。
そして、これ以降は、レリーズボタンが半押しされなければ(ステップSA23でNO)、その他のキー処理を行ってから(ステップSA24)、前述した図7のステップSA5へ戻る。レリーズボタンが半押しされたら(ステップSA23でYES)、測光処理を行うとともに、測光値と撮影条件とに応じて露出条件を設定する(ステップSA25)。
引き続き、レリーズボタンが全押しされなければ(ステップSA26でNO)、ステップSA23へ戻り、レリーズボタンが全押しされたら(ステップSA26でYES)、設定撮影条件と露出条件に従って、露出&撮影処理(デジタルズーム倍率DZに応じて、領域選択した画像を、加算なしで読み出して撮影)を行う(ステップSA27)。
そして、設定記録画像サイズに応じて、(必要な場合のみ)撮影画像データのリサイズ/補間処理を行った後(ステップSA28)、撮影した画像データの符号化/圧縮符号化、撮影画像データのメモリへの記録、撮影画像のレビュー表示を行い(ステップSA29〜SA31)、撮影処理を終了する。
また、図15及び図16は、静止画撮影モードでの撮影時に前述した「画質劣化の少ないデジタルズーム」を光学ズームと組み合わせ、双方を連動制御する場合における処理内容を示したフローチャートである。すなわち両フローチャートは、前述した図7のステップSA9以降の処理に対応する要部を示したものであり、図15は、光学ズームの限度を越えると、デジタルズームを行う場合の例(光学&デジタルズーム処理1)、図16は、画質劣化の少ないデジタルズームを行い、その限度を越えると光学ズームを行う場合の例(光学&デジタルズーム処理2)である。なお、図15のステップSB18、及び図16のステップSC15の処理は、図7に示した(画質劣化の少ない)デジタルズーム処理(1)である。
以上のように本実施の形態では、領域選択読出しと水平/垂直の画素加算読出しができる高速CMOSイメージセンサを用いて、デジタルズーム倍率(DZ)に応じて、低倍率の時には、加算数を上げてデータ量を削減するとともに加算効果により画質の向上を計り、高倍率のときには、解像度や画質を優先させて段階的に加算数を下げるように制御されるが画角が狭くデータ量も削減されるので、解像度を劣化させずに、かつ、読み出す撮像信号のデータ量を全体に大幅に削減できる。つまり信号処理負担を大幅に削減することができる。
このため、所要メモリ容量を大幅に増やすことなく、DSPなどの処理性能を大幅に上げることなく、結果的に低コストで、画質の優れたデジタルズーム機能が提供できる。
また、画素加算を行い信号データ量が削減される場合でも、最低限でも、表示用書込みサイズ以上の画像サイズが確保できるようにズーム倍率限度を設定し、それを超えると新たな加算条件を設定し、同様に、表示用書込みサイズが最低限確保できるズーム倍率限度を設定してズーム処理を行うので、イメージセンサ2から読み出した撮像信号に基づく画像、すなわち撮像した画像に対する切り出し処理が不要であり、撮像時における画像処理を簡略化して、それを高速に行うことができる。
しかも、拡大や伸張を含むリサイズ/補間処理は行わず、縮小方向のリサイズ/補間処理のみ行うので、解像度の劣化が少ない高画質デジタルズームが実現できる。
したがって、高解像度で高速フレームレートの場合でも、荒い間引きやフレームレートの低減などを行わなくでも、画質を劣化させたり解像感が段階的に落ちたりすることなく、スムーズで滑らかなデジタルズーム撮影や動画撮影が実現できる。
なお、本実施の形態では、ユーザーによるデジタルズーム操作に応じてデジタルズーム倍率(DZ)を増減するとき、それを前述した(画質劣化しない)デジタルズーム倍率(DZ)の限度(DZmax)以下に予め制限するため、常に解像度の劣化が少ない高画質デジタルズームを行うことができる。
また、イメージセンサ2内にデジタル論理回路による演算回路(図5のデジタル演算回路206a,206b)を設けたので、加算以外の演算や(輪郭強調処理など)各種フィルタ処理やパターンマッチングなど画像処理にも利用でき、また小型高集積に実装できる。特に、イメージセンサ2はCMOSイメージセンサであるため、同じCMOS−LSIの製造プロセスにて、イメージセンサ部周辺に高密度で一緒に集積して一体化したイメージセンサが容易に実現できる。
・実施形態1の変形例について、
(1)第1実施例では、デジタルズーム倍率に応じて設定する加算数、および、加算数毎のズーム倍率限度の設定制御は、拡大や伸張処理なしに表示書込み用の所定の画像サイズが確保できるように制御するようにしたが、例えば、動画撮影中においては、表示書込み画像サイズの代わりに、ユーザーが設定した動画記録用の所望の画像サイズを基準にして、拡大や伸張なしに記録画像サイズが確保できるように、ズーム処理を制御しでも良い(実施形態2を参照)。
(2)解像度や画質の劣化しない条件を基準に、デジタルズーム倍率や加算数を制御するようにしたが、例えば、動画撮影において、バッファメモリ容量やCODEC側のバッファ容量など、メモリ所要量や、撮像信号のデータ量を基準にして、ズーム倍率および加算数を制御しても良い。
(3)あるいは、動画撮影のフレームレート、あるいは、撮像信号の読出しデータ速度、DSPの信号処理速度、CODEC処理速度など、所定のデータ処理速度を基準にして、所定の処理速度が得られるように、あるいは、所定の処理速度内で処理できるように、ズーム倍率および加算数を制御しても良い。
(実施形態2)
次に、本発明の第2の実施形態について説明する。本実施の形態は、図1に示した構成のデジタルカメラにおいて、動画撮影時に、前述した表示書込み画像サイズではなく、ユーザーが設定した動画記録用の所望の画像サイズを基準にして、拡大や伸張なしに記録画像サイズを確保するものである。
図17及び図18は、本実施の形態において動画撮影モードが設定されているときCPU11が実行する、主としてデジタルズームに関する処理内容を示すフローチャートである。
具体的には、撮影時においてCPU11は、まず、操作入力に応じて、撮影モードおよび撮影条件、記録画像サイズを設定した後(ステップSD1)、動画撮影モードでなければ(ステップSD2でNO)、そのまま他のモードの処理へ移行する(ステップSD3)。
動画撮影モードでかつ、動画撮影中であれば(ステップSD2,SD4が共にYES)、撮像フル画像サイズ(XF、YF)と記録画像サイズ(XR、YR)に応じて、(画質劣化しない)デジタルズーム倍率(DZ)の限度(DZmax)を設定する(ステップSD5)。また動画撮影モードであるが、録画停止中であれば(ステップSD2でYES,ステップSD4がNO)、撮像フル画像サイズ(XF、YF)と表示メモリ23aの書込み画像サイズ(Xd、Yd)に応じて、(画質劣化しない)デジタルズーム倍率(DZ)の限度(DZmax)を設定する(ステップSD6)。
次に、測光処理及びホワイトバランス調整処理を行い(ステップSD7)、視野の中央をデジタルズームの中央位置に設定する(ステップSD8)。なお、設定した中央位置はデータ・メモリ29に記憶する。
また、ユーザーによる光学ズーム操作があれば(ステップSD9でYES)、操作入力に応じて光学ズーム倍率を増減し(ステップSD10)、増減後の光学ズーム倍率に応じてズームレンズ6を駆動する光学ズーム処理を行った後(ステップSD11)、また、光学ズーム操作がなければ(ステップSD9でNO)、直ちに、ステップSD12へ進み、視野中央をフォーカス検出領域として焦点レンズ5を駆動するAF処理を行う。
また、ユーザーによるデジタルズーム操作があれば(ステップSD13でYES)、操作入力に応じてデジタルズーム倍率(DZ)を増減した後(ステップSD14)、また、デジタルズーム操作がなければ(ステップSD13でNO)、直ちに、増減後のデジタルズーム倍率(DZ)、又は既に設定されているデジタルズーム倍率(DZ)が、1倍以上、(画質劣化しない)デジタルズーム倍率(DZ)の限度(DZmax)以下の範囲内であるか否かを判別する(ステップSD15)。
そして、デジタルズーム倍率(DZ)が上記範囲内でない場合には(ステップSD15でNO)、それが1倍未満であれば(ステップSD16がYES)、デジタルズーム倍率(DZ)を1倍に修正し(ステップSD17)、デジタルズーム倍率(DZ)が上記限度(DZmax)を超えていれば(ステップSD16でNO、ステップSD18がYES)、デジタルズーム倍率(DZ)を上記限度(DZmax)に修正する(ステップSD19)。
しかる後、図19に示したように、動画撮影中でない録画停止中であれば(ステップSD20でNO)、感光部201から読み出す画像データの画素サイズ(XOUT,YOUT)を表示書込み用画像サイズ(Xd,Yd)に設定した後(ステップSD21)、実施形態1で説明した図9の(画質劣化の少ない)デジタルズーム処理(1)のサブルーチン、つまり静止画撮影におけるスルー表示のデジタルズーム処理に移行して(ステップSD22)、前述したようにスルー撮像画像の画像サイズが表示書込み画像サイズ(Xd,Yd)より大きくなるように制御する。
一方、動画撮影中の場合には(ステップSD20でYES)、静止画記録と違って、スルー表示の解像度で動画像が記録されてしまうので、動画の記録画質が劣化しないように、スルー表示が劣化することを抑制するだけでは不十分で、記録される動画の解像度や画質に重点を置く必要がある。そのため、感光部201から読み出す画像データの画素サイズ(XOUT,YOUT)を設定記録画像サイズ(XR,YR)に設定した後(ステップSD23)、図17の(画質劣化の少ない)デジタルズーム処理(2)のサブルーチンに移行する(ステップSD24)。
そして、係る処理においては、動画撮影時のユーザーが設定した記録画像サイズ(XR,YR)に応じて、あらかじめ、画素加算する加算数の上限値を、
mmax=INT(XF/XR)、または、nmax=INT(YF/YR)
のように、つまり撮像素子から読み出される撮像画像サイズが、設定記録画像サイズより大きくなるように設定する(ステップSD101〜SD104)。
例えば、XF=2,880、YF=2,160で、設定記録画像サイズが、XR=1,280、YR=960のとき、
加算数の限度は、mmax≦INT(2,880/1,280)=2、nmax≦INT(2,160/960)=2となるので、m1=n1=1、m2=n2=2、とすると、
加算数m2の限度倍率DZL(2)=INT(2,880/2)/1,280=1.125、
加算数m1の限度倍率DZL(1)=INT(2,880/1)/1,280=2.25、となるので、
初期加算数をi=2、m=n=2からはじめたとき、
DZ=1〜1.125倍のとき、m=n=2(2×2加算読出し)、
DZ=1.125〜2.25倍のとき、m=n=1(1×1加算なし読出し)
となるように、DZ=1.125にて、加算数を切り替える。
その後、ステップSD102以降の処理により以下の制御を行う。すなわち、選択領域の加算読出し画像サイズ(X’,Y’)が、少なくとも、ユーザーにより設定されている所望の動画記録の画像サイズ(XR,YR)以上となる条件、
X’=X/m=INT(XF/DZ)/m(i)≧XR、かつ、
Y’=Y/n=INT(YF/DZ)/n(i)≧Y、
が満足される範囲で、デジタルズーム倍率(DZ)を可変するようにして、つまり、加算数(m(i−1),n(i−1))に応じて、デジタルズーム倍率(DZ)が
DZ≦DZL(i)、但し、DZL(i)=INT{XF/m(i)}/XR、または、INT{YF/nL(i)}/YR
となる範囲内で、デジタルズーム倍率(DZ)を可変するように制御すれば、記録される動画像の画質劣化が抑えられるので、それを超える高倍率が選択され、選択領域の加算読出し画像サイズが設定記録画像サイズ(XR,YR)未満になる場合には、加算数(m(i),n(i))を順次小さい加算数に切り替えてデジタルズームを行うように制御する。
なお、表示書込み用画像サイズ(Xd,Yd)の代わりに、設定された記録画像サイズ(XR,YR)よりも小さな読出し画像サイズにならないように、画素加算数を切り替える以外は、実施形態1で説明した図9の(画質劣化の少ない)デジタルズーム処理(1)、つまり静止画撮影におけるスルー表示のデジタルズーム処理とほぼ同様である。
このとき、拡大や伸張処理などを伴う画質が劣化しやすいリサイズや補間処理を行わない範囲内において、画素加算数を切り替えて、表示あるいは記録動画像の画質が劣化したり解像感が落ちない範囲で、読出し画像のデータ量を削減して、所要メモリ容量や信号処理量などを抑えるように制御する。
すなわちステップSD113,SD114においては、例えば、XF=2,880、YF=2,160で、設定記録画像サイズが、XR=1,280、YR=960であれば、
(例1)デジタルズーム倍率DZ=1.0倍のとき、選択読み出しする領域の大きさ(X,Y)は、
X=INT(XF/DZ)=(2,880/1)=2,800、Y=INT(YF/DZ)=(2,160/1)=2,160、
DZは、DZL(2)=1.125より小さい範囲内に入るので、加算数m=2、n=2として加算読出しし、
X’=X/m=(2,800/2)=1,440、Y’=Y/n=(2,160/2)=1,080、
すなわち、1,440×1,080画素の(2×2)加算画像を得る。
(例2)同様に、デジタルズーム倍率DZ=2.0倍のとき、選択読み出しする領域の大きさ(X,Y)は、
X=(2,880/2)=1,440、Y=(2,160/2)=1,080、
DZは、DZL(2)=1.125より大きいが、DZL(1)=2.25よりは小さいので、加算数m=1、n=1として加算読出しして、
X’=(1,440/1)=1,440、Y’=(1,080/1)=1,080、
すなわち、1,440×1,080画素の(1×1)加算画像を得る。
そして、上述した(画質劣化の少ない)デジタルズーム処理(1)、又は(画質劣化の少ない)デジタルズーム処理(2)が終了したら、メインルーチン(図17)へ戻り、リサイズ/補間処理前の画像データを順次動画像CODEC22に出力して圧縮符号化させるとともに、符号化した動画データをデータ・メモリ29や画像メモリ媒体25等に記録する(ステップSD25)。
さらに、実施形態1で説明した静止画撮影モードの場合と同様に、設定記録画像サイズに応じて、(必要な場合のみ)撮影画像データのリサイズ/補間処理を行った後(ステップSD26)、スルー画像の表示処理を行った後(ステップSD27)、ユーザーによるキー操作があれば、録画の開始/停止/終了を含む他のキー処理を行い(ステップSD28)、それ以後は、前述した図17のステップSD4へ戻り、前述した処理を繰り返す。
したがって、本実施の形態においては、動画撮影の記録中でも、設定された所望の記録画像サイズが確保できる範囲で、画素加算数を切り替えて、画質が劣化したり解像感が落ちたりしない範囲で、読出し画像のデータ量を削減できるので、所要メモリ量や所要信号量を大幅に削減できる。つまり信号処理負担を大幅に削減することができる。
ここで、前述したイメージセンサ2の構成は、例えば図20に示すように、水平出力回路に、各画素に隣接する同色(フィルタ)の複数の画素の撮像信号同士をデジタル信号で加算するデジタル加算回路(若しくは演算回路)211を設ける構成、または、図21に示すように、列回路のCDS/ADC回路204の前やCDS回路内に、各画素に隣接する複数の画素の撮像信号をアナログ信号のまま、画素加算または画素混合するアナログ加算回路を設けるとともに、加算後の撮像信号を読み出すアナログ信号読み出し回路221を設け、加算後の撮像信号をA/D変換回路222でデジタル変換して出力する構成としてもよい。
なお、選択読出しされた選択領域の撮像信号、さらに画素加算された撮像信号は、列回路のCDS/ADC回路から水平走査回路の列選択信号により選択された列信号が順次出力されるが、このとき、高速クロックに同期させて並列のデジタル信号として出力させてもよい。
また、以上説明した実施形態1,2では、加算読出しは、列回路部のColumn型CDS方式によるCDS/ADC回路204でデジタル変換された信号同士を演算するデジタル演算回路を設けて行うようにしたが、CDS/ADC回路部は、その他のCDS方式やADC方式で構成してもよい(実施形態3参照。例えば、積分型ADCの代わりに、逐次型や巡回型のADCを用いると、さらに高速に加算処理できる。)。
また、加算読出しは、列回路のCDS/ADC回路204の出力のデジタル信号同士をデジタル演算する演算回路を設けて構成したが、CDS/ADC回路204に入力される前のアナログ撮像信号同士で加算処理を行い、加算結果のアナログ信号をCDS/ADC回路204でデジタル信号に変換してから出力できるように構成してもよい(実施形態4を参照。キャパシタ面積などアナログ回路部は若干大きくなり、演算の汎用性も劣るが、並列デジタル信号の多数の配線数が削減でき、回路も単純化できる。)。
あるいは、CMOSセンサの代わりに、CCDセンサを用いて構成し、撮像電荷を垂直&水平転送CCDで順次転送して(低速度で)読み出すが、垂直および水平転送路上で画素加算してデータ量を少なくして読出し、また、出力を並列化する等して、通常のスルー映像や動画像の読出しより、(垂直加算数)×(水平加算数)×(並列出力数)の分だけ、数〜数十倍、速い速度で撮像信号を出力できるようにして、画質劣化の少ないデジタルズーム処理を実現してもよい(実施形態5を参照。既存のCCDや性能の安定したCCDをそのまま利用できる。)。
さらに、実施形態1,2において、CDS/ADC回路は、Column ADC方式で構成したが、各種の方法があり、たとえば、単純なColumn CDS方式や、DDS方式(Double Data Sampling)、電荷領域差分方式など、他のCDS/ADC回路方式で構成してもよい。また、ADC回路部(アナログ/デジタル変換器)はシンプルな積分型A/D変換器で構成したが、積分型A/D変換器は線形性に優れるが、所要とする変換時間が長くかかるので、回路は若干大きくなるが逐次型A/D変換器や巡回型A/D変換器など、変換時間を短くできる他のA/D変換器を用いてもよい。
(実施形態3)
次に、本発明の第3の実施形態について説明する。本実施の形態は、前述したイメージセンサ2の他の構成に関するものであって、比較器とアップ/ダウンカウンタによるCDS/ADC回路、加算回路に関するものである。
例えば、特開2005−278135号公報(「固体撮像装置および固体撮像装置の駆動方法」)には、積分型ADCを列並列ADC比較器およびアップ/ダウンカウンタを用いて、CDS/ADC回路を構成して、デジタル画素値をメモリ部に書込み、例えば、カウンタをリセットせずに次の画素値を続けてカウントさせると加算器なしで加算演算を行えるようにしたCMOSイメージセンサの構成例が公開されている。このような加算回路で画素加算処理を行ってもよい。
図22は、上記CMOSイメージセンサと同様のCDS/ADC回路401に、さらに、任意の演算や信号処理ができるように、列演算回路402、行演算回路403を設け、出力に並列デジタル/直列デジタル変換回路209を備えた出力回路404を設けた例である。
列回路部は、列信号線毎に設けられたCDS/ADC回路401を有し、各単位画素回路252から列毎に出力されるアナログ信号をデジタル信号に変換して出力する。
各列のADC回路(アナログ−デジタル変換回路)部の構成は、制御信号によって、全領域の撮像信号を読み出すプログレッシブ走査方式での(加算なしの)通常フレームレートモードと、単位画素の露光時間を1/Nに設定してフレームレートをN倍、例えば2倍に上げる(垂直加算を行う)高速フレームレートモードとの各動作モードに対応したA/D変換動作を切り替えられる構成となっており、各ADCは、比較器405と、アップ/ダウンカウンタ406などの計数器、転送スイッチ407およびメモリ408から成る。
参照電圧の供給部は、例えばDAC(デジタル−アナログ変換回路)409などを内蔵し、クロックCKに基づいて、時間経過につれて電値が傾斜状に変化する、いわゆるランプ(RAMP)波形の参照電圧Vrefを生成する(以下、図23参照)。
比較器405は、n列目の列信号線の信号電圧Vxと、参照電圧供給部からのランプ波形の参照電圧Vrefとを比較し、例えば、参照電圧Vrefが列信号線の信号電圧Vxよりも大きいときに比較器の出力Vcoが「H」レベルになり、参照電圧Vrefが信号電圧Vx以下のときに比較器出力Vcoが「L」レベルになる。
アップ/ダウンカウンタ406は、非同期カウンタで、クロックCKに同期してダウン(DOWN)カウント、または、アップ(UP)カウントを行うことにより、比較器405での比較開始から比較終了までの比較時間を計測し、参照電圧Vrefは電圧が線形に上昇するRAMP波形なので、カウント値はデジタル電圧値を表すことになる。
1回目の読出し動作では、(単位画素毎にばらつく固定パターンノイズを含む)単位画素のリセット成分△Vが読み出され、2回目の読出し動作では、リセット成分△Vに加えて、単位画素毎の入射光量に応じた信号成分が、同様動作によって読出される。
通常フレームレートモードでは、1つの画素からの信号読出しにおいて、1回目の読出し時に、比較器出力Vcoが「H」から「L」へ反転するまで、ダウンカウントを行うことにより1回目読出し時の比較時間を計測し、2回目の読出し時に、Vcoが逆に「L」から「H」へ反転するまで、アップカウントを行うことにより2回目読出し時の比較時間を計測する。
また、ダウンカウント後にアップカウントを行うことにより、2回目と1回目の減算を行うことになり、
(2回目の比較時間)−(1回目の比較時間)
=(信号成分Vsig+リセット成分△V+ADCオフセット成分)−(リセット成分△V+ADCオフセット成分)
=(信号成分Vsig)
となるので、2回の読出し動作とアップ/ダウンカウンタ406での減算処理により、単位画素毎のばらつきを含んだリセット成分△Vに加えて、ADC毎のオフセット成分も除去され、単位画素毎の入射光量に応じた信号成分Vsigのみを取り出すことができる。ADC回路に加え、CDS回路の働きを兼ねることができる。
一方、(N画素加算による)高速フレームレートモードでは、ある行の単位画素についてのカウント結果をそのまま保持しておき、引き続き、次行の単位画素について、前回カウント結果から1回目の読出し時にダウンカウント、2回目の読出し時にアップカウントを行うので、同様にCDS/ADC処理を行うとともに、画素値が引き続き加算されることになり、さらに垂直加算回路の働きをも兼ねることができる。
転送スイッチ407は、(加算なしの)通常フレームレートモードでは、ある行の単位画素についてのアップ/ダウンカウンタ406のカウント動作が完了した時点でオンとなってアップ/ダウンカウンタ406のカウント結果をメモリ装置に転送する。
一方、例えば(N=2)の画素加算読出しによる高速フレームレートでは、ある行の単位画素についてのアップ/ダウンカウント動作が完了した時点でオフのままで、引き続き、次行の単位画素についてのアップ/ダウンカウント動作が完了した時点でオン状態となってアップ/ダウンカウンタ406の垂直2画素分についてのカウント結果をメモリ408に転送する。
先に図5に示したものと同様に、カウント結果を、転送スイッチ407を介して選択的にメモリ408に転送できるため、カウント動作と、カウント結果の水平信号線への読出し動作とを独立して制御できる。
このようにして、各単位画素から列毎に供給されるアナログ信号が、ADCにおける比較器405およびカウンタ動作により、Nビットのデジタル信号に変換されてメモリ408に格納される。
水平走査回路(Hレジスタ、列走査回路)208からの列選択信号に応じて、各ADCでA/D変換されたNビットのデジタル信号は順に水平信号線に読み出され、水平信号線を経由して出力回路404から撮像データとして出力される。
本例では、さらに、メモリ408に演算回路(列演算回路402)を設け、読出し時のアップ/ダウンカウンタ406による加減算以外の演算、例えば、エッジ検出(輪郭強調)やパターン識別などの演算処理もできる。また、出水平信号線の後段で出力回路404の前段にも、メモリ410と演算回路(行演算回路403)を設けたので、垂直加算だけでなく、水平加算などの水平方向の列同士の演算も行える。
また、そのほか、特開2006−25189号公報(「デイジタルノイズキヤンセル機能をもつイメージセンサ」)には、巡回型ADCを用いるCDS/ADC回路を設けたCMOSイメージセンサの例が公開されている。説明は略すが、このような他方式によるCDS/ADCを設けたり、画素加算を行ったりしても良い。巡回型や逐次型のADCでは、回路規模は増えるが、加算処理が高速にできる。
(実施形態4)
次に、本発明の第4の実施形態について説明する。本実施の形態は、先に図21に示したように、アナログ信号のまま加算してから、CDS/ADC回路でデジタル信号に変換するように構成したイメージセンサに関するものである。
例えば、特開2000−106653号公報(「固体撮像装置」)には、単位画素回路のフォトダイオードによる光電変換出力の増幅信号を、少なくとも上下2画素分蓄積し、加算する2Hラインメモリ+2Hライン加算回路を備えて、センサ内部でインターレース動作を行えるCMOSイメージセンサの例が公開されている。
この例ではインターレス動作を行う為に、キャパシタによるラインメモリに蓄積した信号同士を垂直加算しているが、同様の方法を用いて、アナログ信号のまま異なる行の垂直信号線からの信号を加算してから、CDS/ADC回路でデジタル信号に変換するようにしても良い。
図24は、このような2Hラインメモリ+2Hライン加算回路451を設けたCMOSイメージセンサで垂直方向の画素加算を行い、加算された撮像信号をCDS/ADC回路でノイズ除去およびデジタル信号に変換して、また、並列/直列変換して高速で読み出せるようにしたものである。
加算方法は、例えば、上記特開2000−106653号公報に記載された方法と同様の方法を用いるとすると、各列の第1の垂直信号線には、サンプルホールドトランジスタS/H Tr1とキャパシタC1を介して、第2の垂直信号線が接続される。第2の垂直信号線には、(2画素加算のみ行う場合には)トランジスタ2とキャパシタC2の直列接続と、トランジスタ3とキャパシタC3の直列接続との2組分が接続される(3画素加算を行う場合には3組設ければよい)。
例えば、(2N行)の信号電圧はトランジスタ2を介してキャパシタC2に蓄積され、(2N+1)行の信号電圧はトランジスタ3を介してキャパシタC3に蓄積され、この(2N)行の信号電圧と(2N+1)行の信号電圧は、第2の垂直信号線で加算され、列選択トランジスタを介して、水平信号線に読み出される。
例えば、各画素回路252を転送読出し線(転送ゲート線)を設けず、フォトダイオードの光電変換部と行選択アドレス線と行リセット線、列信号読出し線にそれぞれ接続された3素子トランジスタによる単純な構成とした場合には、図25に示したように、水平帰線期間内に、(2N)行目の行アドレス線を選択し、この時、H1線に接続されたトランジスタ2のみがONなので、第2の垂直信号線がクランプされる。その後、リセット線により当該行の単位画素回路のリセットトランジスタをONすることによって、(信号電圧−リセット電圧)の信号をキャパシタC2に書き込む。同様にして、(2N+1)行目の行アドレス線を選択し、H2線に接続されたトランジスタ3のみがONなので、第2の垂直信号線がクランプされる。リセットトランジスタをONすることによって、(2N+1)行目の(信号電圧−リセット電圧)の信号をキャパシタC3に蓄積する。
最後にトランジスタ2および3を同時にONすることによって、上下2行分の信号を第2の垂直信号線で加算する。第2の垂直信号線を1本使って信号の加算が行われる。
(実施形態5)
次に、本発明の第5の実施形態について説明する。実施形態1〜5においては、前記イメージセンサ2をCMOSイメージセンサとした例を主体に説明したが、高速で読出しできる撮像素子であれば、CCD(Charge Coupled Device:電荷結合素子)など他の方式のイメージセンサを用いて構成しても良い。
垂直方向の画素加算読出し動作については、例えば、特開平9−55952号公報等に記されたような垂直2画素周期の繰返し配置の色フィルタを有し、垂直加算読出しを可能とした固体撮像装置における垂直方向の画素加算読出し動作によって、垂直方向に2画素離れた同色の信号電荷を垂直転送レジスタ内で加算した信号を得ることができる。
同様に、水平方向の画素加算読出しについても、特開平11−234569号公報、特開平11−234688号公報、特開2000−115643号公報(「固体撮像装置の駆動方法、固体撮像装置、固体撮像素子、並びに撮像カメラ」)等に記された撮像装置における水平加算読出し動作と同様に、水平方向の同一行の互いに異なる列の同色フィルターの画素同士を水平転送CCD上で加算して読み出すことで行える。上記の垂直方向と水平方向の画素加算を組み合わせて、例えば、垂直2画素加算×水平2画素加算=4画素加算読出し、垂直3画素加算×水平3画素加算=9画素加算読出し、・・・など加算数を変えて行うこともできる。
このようなCCD撮像素子などの固体撮像装置を用いて、上述のCMOSセンサにおける加算回路の代わりに、CCD転送路における垂直画素加算および水平画素加算読出しで画素加算を行うように構成しても良い。図26に、CCD撮像素子における全画素読出しモード(a)と垂直加算読出しモード(b)、垂直&水平加算読出しモード(c)の例を示す。
CCDによる垂直方向の加算は、以前よりビデオカメラなどでインターレス読出し時の画質向上などに用いられているので、ここでは、例として、水平方向の画素加算読出しの動作を、前記の特開2000−115643号公報に記された固体撮像素子を例に、以下に概略を説明する。
図27(a)に、「通常読み出しモード」での駆動信号のタイムチャートを、同図(b)に、「水平加算読出しモード」での駆動信号のタイムチャートを、また、図28に、水平加算読出し時の信号電荷の状態の動作例を、それぞれ示す。
この固体撮像素子では、垂直CCDレジスタ501と水平CCDレジスタ502との間に転送ゲート部を有し、この転送ゲート部において、第1相及び第2相の転送電極が、垂直CCDレジスタ501の一定の列毎に互に違いに配置され、垂直CCDレジスタ501の転送電極及び転送ゲート部の転送電極が2層電極構造で形成され、垂直CCDレジスタ501の一定の列単値毎に別々に信号電荷を水平CCDレジスタ502ヘ転送することができるので、この間に水平CCDレジスタ502を動作させて別々に転送した信号電荷を水平CCDレジスタ502内で混合することができる。
また、垂直CCDレジスタ501内での転送数が垂直レジスタ列に関して周期的に異なるように電荷転送を行い、同一行の互いに離れた同色の画素の信号電荷を順番に垂直CCDレジスタ501から水平CCDレジスタ502ヘ転送し、先に水平CCDレジスタ502ヘ転送した画素の信号電荷を水平CCDレジスタ502内で転送した後、後から水平CCDレジスタ502ヘ転送した同色の画素の信号電荷と加算する。同じ行の互いに離れた同色フィルタの画素の信号電荷を水平CCDレジスタ502内で加算できる。
通常読み出し動作では、垂直CCDレジスタ501の入力端子tV1〜tV4には、図27(a)に示すような4相駆動パルスφVI〜φV4を印加し、入力端子tV1’〜tV4’には、別の4相駆動パルスφV1’ 〜φV4’を印加する。駆動パルスφV1’ 〜φV4’を印加する電極群は、駆動パルスφV1〜φV4を印加する電極群に比べ2倍の回数の転送を行う。
従って、駆動パルスφV1〜φV4を印加する電極群から駆動パルスφV1’〜φV4’を印加する電極群へ信号電荷が順次送られるのに対し、駆動パルスφV1’〜φV4’を印加する電極群では信号電荷のパケットと空パケットが存在するように信号電荷が水平CCDレジスタ方向に転送されることとなる。
今、第2の転送期間T3を経て駆動パルスφV1〜φV4を印加する電極群から駆動パルスφV1’〜φV4’を印加する電極群へj行目の電荷が転送されたとする。一方、駆動パルスφV1〜φV4を印加する電極群は、第2の転送期間T3の他に第1の転送期間T2があるため、垂直CCDレジスタ〔1〕,〔2〕と垂直CCDレジスタ〔3〕,〔4〕のパケット数の違いは吸収され、水平走査期間T1に蓄積されたj行目の信号電荷を水平CCDレジスタに転送することができる。
すなわち、水平ブランキング期間HBLKの第1の転送期間T2において、垂直CCDレジスタ〔1〕,〔2〕におけるj行目の信号電荷が水平CCDレジスタ502に転送され、垂直CCDレジスタ〔3〕,〔4〕におけるj行目の信号電荷が垂直CCDレジスタ501の最終段へと1パケット分垂直転送される。次いで、第2の転送期間T3において、垂直CCDレジスタ〔3〕,〔4〕のj行目の信号電荷が水平CCDレジスタ502ヘ転送されると共に、垂直CCDレジスタ〔1〕,〔2〕,〔3〕,〔4〕のj−1行目の信号電荷が垂直CCDレジスタ501ヘ転送されることになる。
従って通常読出し動作では、1行の信号電荷が順次出力されることになる。
水平画素加算動作では、垂直CCDレジスタ501の入力端子tV1〜tV4に、図27(b)に示す4相駆動パルスφV1〜φV4を印加し、入力端子tV1’〜tV4’には、4相駆動パルスφV1’〜φV4’を印加する。また、水平CCDレジスタ502には、2相駆動パルスφH1及びφH2を印加する。
図28の信号電荷の状態と図27(b)の駆動パルスとを対応させて説明すると、
1)先ず、図27(b)の水平走査期間T1の終了時が図28(A)に相当する。
2)次に、図28(B)に示すように、水平ブランキング期間HBLKのうちの第1の期間T2において、垂直CCDレジスタ〔1〕,〔2〕の信号電荷が水平CCDレジスタ502ヘ転送されると共に、垂直CCDレジスタ〔3〕,〔4〕の信号電荷が垂直CCDレジスタ501の最終段へ垂直転送される。
3)次に、図28(C)に示すように、第2の期間T3において、水平CCDレジスタ502で2パケット分の転送が行われ、同一行の2画素列方向に離れた信号電荷同士が同一列に移動される。
4)次に、図28(D)に示すように、第3の期間T4において、垂直転送により垂直CCDレジスタ〔3〕,〔4〕の最終段の信号電荷が水平CCDレジスタ502ヘ転送され、先に水平CCDレジスタ502に転送された垂直CCDレジスタ〔1〕,〔2〕の信号電荷に加算される。
すなわち、水平CCDレジスタ502内で同一行の2画素だけ列方向に離れた信号電荷同士が加算される。同時に、水平CCDレジスタ502の空パケットに垂直CCDレジスタ〔1〕,〔2〕から次の行の信号電荷が転送される。
5)さらに、図28(E)に示すように、第4の期間T5において、水平CCDレジスタ502内で2パケット分の転送が行われ、上記次の行の2画素列方向に離れた信号電荷同士が同一列に移動される。
6)次いで、図28(F)に示すように、第5の期間T6において、垂直転送により垂直CCDレジスタ〔3〕,〔4〕の最終段の信号電荷が水平CCDレジスタ502ヘ転送され、先に転送された垂直CCDレジスタ〔1〕,〔2〕の信号電荷に加算される。
すなわち、水平CCDレジスタ502内で上記次の行の2画素だけ列方向に離れた信号電荷同士が加算される。この結果、水平CCDレジスタ502に水平方向に2画素加算された信号電荷が2行分、蓄積されることになる。
従って、水平走査期間T1において、水平CCDレジスタ502を2相駆動し、水平走査を1回行うことで、2行分の信号がCCD固体撮像素子の出力端子より出力される。
このようなカラーCCD固体撮像素子に水平2画素周期の色フィルタを用いるときは、各々の行の画素の偶数列同士、奇数列同士が同一色になるので、混合しても混色が発生しない。
また、水平方向に2画素離れた信号電荷同士を加算混合することで、水平方向のデータレートを1/2に削減できる。これにより高速に動作を行うことができる。また、撮像領域の画素全体の信号に対し合成を行うため、水平方向のデータ数を1/2にしても画角が変わらない。
以上、水平方向の2画素加算について簡単に説明したが、水平3画素以上の加算についても可能である。また、前述の垂直方向の画素加算読出し動作と組み合わせることにより、垂直2画素加算×水平2画素加算=4画素加算読出しなど、垂直方向と水平方向の加算数を共に切り替えて各種加算倍率の読出し走査が行える。
もちろん、上記の特開2000−115643号公報に記載の固体撮像素子とは、転送路や転送ゲート電極の構成、タイミング制御方法などが異なるような、他の構成の撮像素子を用いて画素加算読出しができるようにしても構わない。
(実施形態6)
次に、本発明の第6の実施形態について説明する。本実施の形態は、イメージセンサ2からDSP3へ撮像信号を転送するための、CML、LVDSなどの高速シリアル転送回路に関するものである。
上述のように、加算された撮像信号のデジタル信号は、並列/直列変換回路209で順次シリアル(直列)のデジタル信号に変換されて出力されDSP3に転送される。高解像度で高速フレームで撮像を行うためには、当然ながら、撮像信号を高速でDSP3に転送する必要がある。
例えば、図29(a)に示すような、一般のCMOS入出力回路では、入出力信号の振幅は、電源電圧範囲の一杯の範囲で振らせるので、消費電力が大きくなるばかりでなく、転送できる速度も遅くなってしまう。
図29(b)に示すようなCML系(Current Mode Logic、電流モードロジック)の入出力回路では、トランジスタを不飽和領域で使用して、インピーダンスを低くし、電圧を振らせるというよりは電流をon/offさせる方法で、(Vdd−0.4V)の電位電位を中心に低振幅で動作させる。浮遊容量を充・放電する量が少なくなるので高速動作できる。
また、図29(c)に示すLVDS系(Low-Voltage Differentia1 Signaling、小振幅差動信号方式)は、2本の信号線を使って情報を運ぶ差動信号方式で、単一チャンネルあたり数百〜数千Mbps(メガビット/秒)の高速度でデータ伝送でき、かつ、mWレベルの低消費電力の差動データ伝送方式として、内部バスの信号線の本数等を減らせるため、通信機器やPDP(プラズマディスプレイパネル)など表示装置や映像信号のデジタル入出力インタフェースとして普及している。
2本の配線を必要とするが、電流モード・ドライバの採用と、+1.2V電位を中心に0.3Vの上下振幅内で振らせる小振幅によって、コモンモードノイズを除去でき、広い周波数範囲に対して高いノイズ耐性が得られる。
低振幅としたことで本来は雑音の影響は受けやすくなるが、信号振幅をわずか数百mVに抑えられるのは、シングル・エンド伝送ではなく差動伝送にして、信号対ノイズの除去性能を高めたからで、振幅が小さくできるため遷移時間は短くなり、高いデータ・レートが実現できる。さらに、データ信号とクロック信号を多重化することなどで、1対の信号線でRCB各6ビット〜10ビットのデータ伝送を実現することができる。汎用のLVDS規格も、ANSI/TIA/EIA−644−A(2001年改訂)として、ドライバやレシーバの入出力特性など電気的特性が規格化されている。
このように、CMOS回路でも高速でシリアル伝送できるCML系やLVDS系などによる低振幅の入出力インタフェースを用いて、直列信号に変換されたデジタル撮像信号を撮像素子の出力回路(送信トランシーバー)から出力して、後段のDSP回路3などへ高速で伝送し、DSP側の入力回路(受信レシーバー)で受信した直列デジタル信号を並列/直列変換回路301で並列デジタル信号に変換してから、デジタル撮像信号として映像信号処理に用いることができる。
図30(a)に、LVDS方式を用いて直列シリアルのデジタル信号で伝送する撮像素子側(イメージセンサ2側)の出力回路(トランシーバー)とDSP3側の入力回路(レシーバー)の構成例を、同図(b)にタイミングチャートを示す。
また、図31に示すように、映像機器間に用いられるデジタルインタフェースとして、Siliconlmage社が開発したシリアル転送方式のTMDS(Transition Minimized Differential Signaling)などがある。
PC用ディスプレイ向け映像入出力用のデジタル・インターフェース規格であるDVI(Digital Visual Interface)や、DVIをベースにデジタル家電/AV機器向けに開発された次世代の映像・音声・制御信号入出力用デジタル・インタフェース規格のHDMI(High Definition Multimedia lnterface)などにも、物理層としてTMDSが採用されている。
TMDSでは、基本的にドライバ側がオープン・ドレインの電流源で、レシーバ側は差動レシーバとなり、差動の+側と−側がそれぞれ50Ω3.3Vにオフセット終端された不平衡対称差動伝送路を形成する。1リンク当たりデータ転送速度は、22.5Mpps〜165Mpps(Pixel Per Second)と高速で、1リンクでVGA(640×480画素@60Hz)からUXGA(1600×1200画素@60Hz)またはSXGA(1280×1024画素@85Hz)までカバーでき、アナログ信号変換による信号劣化がなくなり、伝送画質が向上する。
TMDSでは、データ信号用にD0〜D2のSレーン、クロック信号用に1レーンのTMDSリンクが構成される。D0〜D2の各レーンは、それぞれ10ビット(うちわけは、YCbCrやRGB等の色データが各8ビット、コントロール信号が各3ビット)の映像データ信号を10:1にシリアル化して送信できる。クロックのレーンは、ベース・クロックが、(データに対して10分の1の伝送レートで)そのまま送信される。受信側では、レシーバPLLによって、クロック信号が再生されて再生復元されたクロック信号を用いてデータ信号が受信される。
このような映像入出力用のTMDSやDVI、HDMIなどの高速シリアル転送方式、あるいは、これらのデジタル・インターフェースによるリンクを複数並列に用いて、撮像素子からDSPなどでデジタル撮像信号を高速でシリアル転送するように構成しても良い。
(実施形態7)
次に、本発明の第7の実施形態について説明する。本実施の形態は、撮像信号の出力を並列化して高速転送するものである。上述した実施形態6では、デジタル撮像信号を並列/直列変換して高速で出力し、後段のDSPなど信号処理回路へ転送出力する例を示した。
CMOSイメージセンサなどでは、このような方法も採りやすいが、CCDなどでは、撮像電荷をCCD転送路で順次バケツリレー式に運んで読出し出力するので、このような方法では、高速化にも限度がある。このため、以前より特殊な高速度カメラなどで一部用いられているが、撮像信号の出力端子を複数設けて、並列に出力する方法がある。もちろん、アナログ信号のままであっても、デジタル信号であってもよい。
図32は、撮像信号の出力を複数設けて構成したCCD撮像素子601の例を示した回路図、図33は、撮像信号出力を複数並列に設けて、デジタル信号による撮像信号、あるいは、さらに並列直列変換した直列デジタル信号を複数本並列に出力して、転送速度をさらに稼げるようにしたCMOSイメージセンサ701の例を示した回路図である。後段の信号処理回路も並列に複数設けたり、複数のDSPで同じ画像データを部分データ毎に分離して並列パイプラインで映像信号処理した後で合成して、信号処理された画像データを出力できるように構成しても良い。
なお、以上説明した各実施の形態では、本発明をデジタルカメラに適用する場合について説明したが、本発明は電子ズーム機能を有しているものであれば、光学ズームの有無に関係なくデジタルビデオカメラ、カメラ付き携帯電話端末、カメラ付きPDA等の他の撮像装置にも採用することができる。