JP2010016536A - 静止画像及び動画像撮像装置 - Google Patents

Abstract

【課題】静止画像のピント精度を保証しつつ、高画質の動画像生成と高精細の静止画像生成とのシームレスな切り替えを実現する。
【解決手段】静止画像撮影時には、ベイヤー配列のカラーフィルタを持つ画素セルアレイ１０１の全画素セルから読み出した信号を、出力セレクタ１０９にて記録及び表示のための出力Ａとして選択する。動画像撮影時には、９画素混合信号を出力セレクタ１０９にて出力Ａとして選択するとともに、当該９画素の重心位置にある画素セルの出力信号と９画素混合信号との差分成分をメモリ回路１０８から出力Ｂとして供給し、出力Ｂをもとに被写体像のコントラスト情報を取得してレンズの焦点調整を実施する。
【選択図】図１

Description

本発明は、電子的に静止画像及び動画像を生成し表示又は記録する機器に関し、例えばデジタルスチルカメラ、デジタルビデオカメラ又はカメラ付き携帯電話における撮像装置に関するものである。

近年のデジタルスチルカメラにおいては、単板カラー固体撮像素子の高画素化による高精細の静止画像撮影機能の進歩が１つのトレンドとなっており、めざましい発展を遂げている。一方で静止画像撮影を主機能とするデジタルスチルカメラにおいて従来副機能であった動画像を撮影し記録する機能においても、特に再生、受像機器としてのＨＤＴＶの普及に伴い高画質化と高性能化が求められている。そこで、高精細の静止画像と高画質の動画像との生成を両立するような新規の撮像素子の駆動や内部構造によって実現される画素混合技術について提案がなされている（特許文献１参照）。

しかしながら、ピント精度を求めるような高精細の固体撮像素子を持ちレンズの焦点調整が必要となるカメラにおいては、動画像記録時に高画質の動画像を生成する手段として固体撮像素子内での画素混合技術を用いると必然的に空間的なＬＰＦを施しているため、静止画像では記録可能な空間周波数の高周波成分が減衰することとなり、撮像素子に画素混合動作をさせている状態では静止画像撮影のためのピント精度を確保できるレンズの焦点調整を実施することが困難であった。

この課題に対して、動画像生成状態から静止画像生成状態に移行する間に固体撮像素子内の画素混合を実施せずに水平方向又は垂直方向の画素は全画素を読み出し、他方の方向には画素を間引いて読み出すモードへ一旦移行させ、レンズ焦点の合焦位置を所定量シフトさせながら全画素を読み出す方向の画素信号を用いて静止画像のピント精度確保に必要な帯域の空間周波数成分を抽出して焦点調整を行う、いわゆるコントラストＡＦを実施する方法が提案されている（特許文献２参照）。
特開２００４−３１２１４０号公報 特開２００５−９２０８１号公報

しかしながら、特許文献２で開示されている方式では、高画質の動画像生成モードから高精細の静止画像生成モードへ移行する際に焦点調整を行うための固体撮像素子の間引き読み出しモードへ移行して焦点調整を実施するため、原理的に静止画像を撮影する状態に移行するまでにタイムラグが発生し、静止画像の本質的な要件であるユーザーが狙った瞬間を切り取るという基本性能が低下することと、焦点調整を行うための固体撮像素子の間引き読み出しモードにより得られる動画像は１方向での読み出し画素の間引きを前提としているため空間周波数の高周波成分が折り返って画像にモアレが発生し、動画像としての画質が著しく低下することから違和感が強いという問題があった。

本発明は、上記問題を鑑みて、高画質の動画像を生成しながら静止画像に要求されるピント精度を確保するレンズの焦点調整を可能として、静止画像撮影の実施時には撮影開始へ移行するタイムラグを最小化しかつ違和感のある低画質の画像を取得しない撮像装置を提供することを目的とする。

上記課題を解決するために、本発明の撮像装置は、行列状に配置された複数の画素セルを有する固体撮像素子を備えた静止画像及び動画像撮像装置であって、静止画像生成のための全画素を読み出す全画素読み出し手段と、動画像生成のための行方向及び列方向のうち少なくとも１方向の複数画素を混合して読み出す画素混合読み出し手段と、前記画素混合読み出し手段と同時に動作可能でありかつ前記画素混合読み出し手段にて混合される画素の空間的な範囲内に含まれる画素の信号成分を読み出す混合内部分画素成分読み出し手段とを更に備え、前記全画素読み出し手段と画素混合読み出し手段とは排他的に動作することを特徴とする。

更には、前記混合内部分画素成分読み出し手段にて読み出される信号から被写体のコントラスト情報を検波するコントラスト検波手段を備えたことを特徴とする。

本発明によれば、動画像生成時には固体撮像素子の画素混合読み出し手段から読み出される映像信号から動画像を生成し、前記画素混合読み出し手段と同時に動作させた混合内部分画素成分読み出し手段から読み出される信号から被写体像のコントラスト情報が取得可能であるから、高画質の動画像を生成しながら被写体像のコントラスト情報を基にレンズの焦点調整が実施でき、動画像生成から静止画像生成への移行がタイムラグレスとなり、動画像と静止画像とのシームレスな切り替えが実現可能となる。

以下、図面を参照して本発明の２つの実施の形態について説明する。なお、以下で説明する実施の形態はあくまで例であり、様々な改変を行うことが可能である。

図１は、第１の実施の形態における電子カメラの単板型ＭＯＳ撮像素子の構成を示す。行列状に配置された複数の画素セルＰ１１，Ｐ１２，Ｐ１３・・・からなる画素セルアレイ１０１は、各画素セルが２×２画素の単位毎に色位相コーディングが施された、例えばベイヤー配列のカラーフィルタを有し、後述するＭＯＳ撮像素子の構成となっている。画素セルアレイ１０１の各画素セルＰ１１，Ｐ１２，Ｐ１３・・・は、列毎に配置された共通信号読み出し線Ｌ１，Ｌ２，Ｌ３・・・及び図示しない共通構成の共通信号読み出し線へスイッチング素子を介して接続されている。該スイッチング素子は、タイミングジェネレータ１０２から各行毎に共通の選択信号Ｓ１１，Ｓ１２，Ｓ１３・・・及び図示しない共通構成の選択信号が供給され、導通信号であるハイレベルが入力されると各列の共通信号読み出し線Ｌ１，Ｌ２，Ｌ３・・・へ同じ行に配置される画素セルのアナログ映像信号が一斉に読み出される。

各列の共通信号読み出し線Ｌ１，Ｌ２，Ｌ３・・・は、各列にＡＤ変換器が配置されたカラムＡＤ群１０３に入力される。カラムＡＤ群１０３は、タイミングジェネレータ１０２から入力される制御信号Ｓ３１により制御され、ローレベルからハイレベルへ遷移したハイエッジ入力でＡＤ変換を開始し、ハイレベル期間中はＡＤ変換を実施し、ハイレベルからローレベルへ遷移したローエッジ入力でＡＤ変換の終了となり、ロー期間中はＡＤ変換された各列のデジタル映像信号を出力に保持する。

カラムＡＤ群１０３の各列のデジタル映像信号出力は、水平走査第１セレクタ１０４へ入力される。水平走査第１セレクタ１０４は、タイミングジェネレータ１０２から入力される制御信号Ｓ４１のハイレベル信号によりカラムＡＤ群１０３の図中左端のデジタル映像信号出力から順に図示しない基準クロックに同期して逐次選択し、出力セレクタ１０９へ出力する。カラムＡＤ群１０３のデジタル映像信号出力は、更に１列おきに３列の共通信号読み出し線（例えばＬ１、Ｌ３及びＬ５）から得られるデジタル信号を加算する加算器に入力される。加算器は、３列の共通信号読み出し線に対応するデジタル信号出力線毎に配置されているので、行方向の画素セル数を３で除算した商の数が配置されている。図中では共通信号読み出し線Ｌ１とＬ３とＬ５からそれぞれＡＤ変換されたデジタル映像信号が１つの加算器へ入力され、共通信号読み出し線Ｌ４とＬ６とＬ８からそれぞれＡＤ変換されるデジタル映像信号が他の１つの加算器に入力されている。各加算器からのデジタル信号は累積加算正規化器１０７へ入力され、累積加算正規化器１０７は、タイミングジェネレータ１０２から出力される制御信号Ｓ３２のハイレベル入力にて累積加算値がゼロリセットされ、制御信号Ｓ３３のハイパルス入力毎に該加算器より入力されるデジタル信号を１／９した値を累積加算していき、制御信号Ｓ３３のロー期間中は出力を保持する。

累積加算正規化器１０７の出力は、水平走査第２セレクタ１０５及び減算器に供給される。水平走査第２セレクタ１０５は、タイミングジェネレータ１０２から入力される制御信号Ｓ４２のハイレベル信号により累積加算正規化器１０７の図中左端のデジタル信号出力から順に図示しない基準クロックに同期して逐次選択し、出力セレクタ１０９へ出力する。減算器には累積加算正規化器１０７からの入力と、１つの加算器に入力されるカラムＡＤ群の３列のデジタル映像信号のうち列方向で空間的に中心に位置する列のデジタル映像信号とが入力され、出力である減算差分値がメモリ回路１０８へ出力される。図中では、共通信号読み出し線Ｌ３及びＬ６に接続されたＡＤ変換器からの出力が、それぞれ減算器に入力されている。

メモリ回路１０８は、タイミングジェネレータ１０２から入力される制御信号Ｓ３４のハイパルスにて減算器からの入力をラッチし、ロー期間中は記憶保持して水平走査第３セレクタ１０６へ出力する。水平走査第３セレクタ１０６は、タイミングジェネレータ１０２から入力される制御信号Ｓ４３のハイレベル信号により図中左端から右端の順でメモリ回路１０８のデジタル信号出力を図示しない基準クロックに同期して逐次選択し、出力Ｂとして出力する。

タイミングジェネレータ１０２には、垂直同期信号ＶＤ及び水平同期信号ＨＤと全画素読み出しモードか画素混合読み出しモードかを識別するためのモード選択信号ＭＯＤＥとが入力される。

タイミングジェネレータ１０２から出力セレクタ１０９へは制御信号Ｓ４４が入力される。タイミングジェネレータ１０２は、モード選択信号ＭＯＤＥから全画素読み出しモードが指示されている場合には水平走査第１セレクタ１０４から出力セレクタ１０９へ入力されるデジタル映像信号を出力Ａとして出力選択するよう制御し、モード選択信号ＭＯＤＥから画素混合読み出しモードが指示されている場合には水平走査第２セレクタ１０４から出力セレクタ１０９へ入力されるデジタル映像信号を出力Ａとして出力選択するよう制御する。

図２は、画素セルの等価回路であり、フォトダイオード３０１にて入射した光が光電変換され発生した電荷は、読み出し信号がゲートに接続された読み出しトランジスタ３０２を介してフローティングディフュージョン３０３へ読み出され電荷電圧変換される。フローティングディフュージョン３０３は、フォトダイオード３０１からの電荷が読み出される前に、リセット信号がゲートに入力されるリセットトランジスタ３０４を介してリセットされる。フローティングディフュージョン３０３の電圧はアンプ３０５を通し、かつ図２には示されていないスイッチング素子を介して各列の共通信号読み出し線Ｌ１，Ｌ２，Ｌ３・・・へ接続される。

例えば、図１中の画素セルＰ１１のアンプ３０５からの出力は、スイッチング素子を介して共通信号読み出し線Ｌ１へ接続されている。図１中では上記読み出し信号及びリセット信号の信号線が図示されていないが、いずれもタイミングジェネレータ１０２より各行毎に共通に印加され、同じく各行毎に共通の選択信号Ｓ１１，Ｓ１２，Ｓ１３・・・及び図示しない共通構成の選択信号の各々へ導通信号であるハイパルスが印加される直前に、リセット信号印加によるフローティングディフュージョン３０３のリセットが実施された後に読み出し信号をオンすることで、フォトダイオード３０１の電荷をフローティングディフュージョン３０３へ読み出す駆動が各行単位で実施され、結果としてフォトダイオード３０１に入射した光に比例する、すなわちアナログ映像信号がアンプ３０５から出力されることとなる。

次に、図３を用いて、図１に示す撮像素子の動画像撮影時の動作である画素混合読み出しモードを説明する。タイミングジェネレータ１０２にはモード選択信号ＭＯＤＥにより画素混合読み出しモードが選択され、出力セレクタ１０９は、水平走査第２セレクタ１０５から入力されるデジタル映像信号を出力Ａへ出力選択している。

タイミングジェネレータ１０２に入力される垂直同期信号ＶＤと水平同期信号ＨＤとのハイパルスに同期して第１番目の水平同期期間が開始される。入力された水平同期信号ＨＤのハイパルスに同期してタイミングジェネレータ１０２は、累積加算正規化器１０７の累積加算値をゼロリセットするパルスを制御信号Ｓ３２へ出力する。この後選択信号Ｓ１１にハイレベルが出力され、画素セルＰ１１，Ｐ１２，Ｐ１３，Ｐ１４，Ｐ１５・・・のアナログ映像信号が共通信号読み出し線Ｌ１，Ｌ２，Ｌ３，Ｌ４，Ｌ５・・・へ接続される。選択信号Ｓ１１のハイ期間中にタイミングジェネレータ１０２からカラムＡＤ群１０３に制御信号Ｓ３１のローレベルからハイレベルへの遷移が入力されＡＤ変換が開始され、制御信号Ｓ３１のハイレベルからローレベルの遷移でカラムＡＤ群１０３の各ＡＤ変換器では画素セルＰ１１，Ｐ１２，Ｐ１３，Ｐ１４，Ｐ１５・・・の各アンプ３０５から出力された各アナログ映像信号がＡＤ変換されデジタル映像信号が出力保持されている。また同時にＬ１、Ｌ３及びＬ５に接続されたＡＤ変換器出力は加算器に入力され画素セルＰ１１とＰ１３とＰ１５の映像信号が加算されたデジタル映像信号が第１番目の累積加算正規化器（ＡＣＣ１）１０７へ入力され、Ｌ４、Ｌ６及びＬ８に接続されたＡＤ変換器の出力が加算器に入力され画素セルＰ１４とＰ１６とＰ１８の映像信号が加算されたデジタル映像信号が第２番目の累積加算正規化器（ＡＣＣ２）１０７へ入力されている。図示していないこのような組み合わせの加算されたデジタル映像信号が３列に１つ配置された累積加算正規化器１０７に入力されることとなる。この状態でタイミングジェネレータ１０２より制御信号Ｓ３３のハイパルスが累積加算正規化器１０７に入力されることで累積加算正規化器（ＡＣＣ１）１０７の出力には（Ｐ１１出力）／９＋（Ｐ１３出力）／９＋（Ｐ１５出力）／９に対応するデジタル映像信号が出力され、累積加算正規化器（ＡＣＣ２）１０７の出力には（Ｐ１４出力）／９＋（Ｐ１６出力）／９＋（Ｐ１８出力）／９に対応するデジタル映像信号が出力される。

次に、選択信号Ｓ１５がタイミングジェネレータ１０２から選択状態となるハイレベルが入力され、上記同様に制御信号Ｓ３１及びＳ３３が順次ハイパルス入力されることで累積加算正規化器（ＡＣＣ１）１０７の出力には（Ｐ１１出力）／９＋（Ｐ１３出力）／９＋（Ｐ１５出力号）／９＋（Ｐ５１出力）／９＋（Ｐ５３出力）／９＋（Ｐ５５出力）／９に対応するデジタル映像信号が出力され、累積加算正規化器（ＡＣＣ２）１０７の出力には（Ｐ１４出力）／９＋（Ｐ１６出力）／９＋（Ｐ１８出力）／９＋（Ｐ５４出力）／９＋（Ｐ５６出力）／９＋（Ｐ５８出力）／９に対応するデジタル映像信号が出力される。

続いて、選択信号Ｓ１３がタイミングジェネレータ１０２から選択状態となるハイレベルが入力され、上記同様に制御信号Ｓ３１及びＳ３３が順次ハイパルス入力されることで累積加算正規化器（ＡＣＣ１）１０７の出力には（Ｐ３１出力）／９＋（Ｐ３３出力）／９＋（Ｐ３５出力）／９に対応する加算値が累積され結果として（Ｐ１１出力＋Ｐ１３出力＋Ｐ１５出力＋Ｐ３１出力＋Ｐ３３出力＋Ｐ３５出力＋Ｐ５１出力＋Ｐ５３出力＋Ｐ５５出力）／９に対応する同色位相の行方向３画素かつ列方向３画素の範囲の合計９画素が混合されたデジタル映像信号が出力され、累積加算正規化器（ＡＣＣ２）１０７の出力には（Ｐ３４出力）／９＋（Ｐ３６出力）／９＋（Ｐ３８出力）／９に対応する加算値が累積され結果として（Ｐ１４出力＋Ｐ１６出力＋Ｐ１８出力＋Ｐ３４出力＋Ｐ３６出力＋Ｐ３８出力＋Ｐ５４出力＋Ｐ５６出力＋Ｐ５８出力）／９に対応する同色位相の９画素が混合されたデジタル映像信号が出力される。

続いて、選択信号Ｓ１３のハイ期間中に制御信号Ｓ３４のハイパルスがメモリ回路１０８に入力されることで、第１番目のメモリ回路（Ｍ１）１０８は、共通信号読み出し線Ｌ３に接続されたＡＤ変換器の出力であるＰ３３出力と前述の累積加算正規化器（ＡＣＣ１）１０７の出力との減算差分値であるＰ３３−（Ｐ１１出力＋Ｐ１３出力＋Ｐ１５出力＋Ｐ３１出力＋Ｐ３３出力＋Ｐ３５出力＋Ｐ５１出力＋Ｐ５３出力＋Ｐ５５出力）／９、すなわち同色位相の９画素混合信号と該９画素の中央位置にある画素セルの出力信号との差分成分が記録保持され、第２番目のメモリ回路（Ｍ２）１０８には共通信号読み出し線Ｌ６に接続されたＡＤ変換器の出力であるＰ３６出力と前述の累積加算正規化器（ＡＣＣ２）１０７の出力との減算差分値であるＰ３６−（Ｐ１４出力＋Ｐ１６出力＋Ｐ１８出力＋Ｐ３４出力＋Ｐ３６出力＋Ｐ３８出力＋Ｐ５４出力＋Ｐ５６出力＋Ｐ５８出力）／９、すなわち第１番目のメモリ回路（Ｍ１）１０８とは異なる色位相について同色位相の９画素混合信号と該９画素の中央位置にある画素セルの出力信号との差分成分が記録保持される。

次に、タイミングジェネレータ１０２から水平走査第２セレクタ１０５を動作させる制御信号Ｓ４２のハイレベル信号が入力され、更に水平走査第３セレクタ１０６を動作させる制御信号Ｓ４３のハイレベル信号が入力されると、選択信号Ｓ１１とＳ１３とＳ１５が接続されたスイッチング素子を介して共通信号読み出し線に接続される画素セルＰ１１，Ｐ１２，Ｐ１３，Ｐ１４，Ｐ１５・・・とＰ３１，Ｐ３２，Ｐ３３，Ｐ３４，Ｐ３５・・・とＰ５１，Ｐ５２，Ｐ５３，Ｐ５４，Ｐ５５・・・に対して出力Ａからは図３中のＡ１のタイミングで同色位相の９画素混合された映像信号が行方向の順次で出力され、出力Ｂからは図３中のＢ１のタイミングで同色位相の画素セルで９画素混合信号と該９画素の中央位置つまりは重心位置にある画素セルの出力信号との差分成分信号が行方向の順次で出力される。

続いて、水平同期信号ＨＤのハイパルスに同期して開始される第２番目の水平同期期間については、選択信号Ｓ１４とＳ１６とＳ１８が接続されたスイッチング素子を介して共通信号読み出し線に接続される画素セルに対して第１番目の水平同期期間と同様なタイミング制御をタイミングジェネレータ１０２が実施し、画素セルＰ４１，Ｐ４２，Ｐ４３，Ｐ４４，Ｐ４５・・・とＰ６１，Ｐ６２，Ｐ６３，Ｐ６４，Ｐ６５・・・とＰ８１，Ｐ８２，Ｐ８３，Ｐ８４，Ｐ８５・・・に対して出力Ａからは図３中のＡ２にて同色位相の９画素混合された映像信号、例えば（Ｐ４１出力＋Ｐ４３出力＋Ｐ４５出力＋Ｐ６１出力＋Ｐ６３出力＋Ｐ６５出力＋Ｐ８１出力＋Ｐ８３出力＋Ｐ８５出力）／９に対応するデジタル映像信号が行方向の順次で出力され、出力Ｂからは図３中のＢ２にて同色位相の画素セルで９画素混合信号と該９画素の中央位置つまりは重心位置にある画素セルの出力信号との差分成分信号、例えばＰ６３−（Ｐ４１出力＋Ｐ４３出力＋Ｐ４５出力＋Ｐ６１出力＋Ｐ６３出力＋Ｐ６５出力＋Ｐ８１出力＋Ｐ８３出力＋Ｐ８５出力）／９が行方向の順次で出力される。図３中のＡ３及びＢ３、Ａ４及びＢ４についても同様である。

次に、図４を用いて、図１に示す撮像素子の静止画像撮影時の動作である全画素読み出しモードについて説明する。タイミングジェネレータ１０２にはモード選択信号ＭＯＤＥにより全画素読み出しモードが選択され、出力セレクタ１０９は、水平走査第１セレクタ１０４から入力されるデジタル映像信号を出力Ａへ出力選択している。

タイミングジェネレータ１０２に入力される垂直同期信号ＶＤと水平同期信号ＨＤとのハイパルスに同期して、第１番目の水平同期期間が開始される。入力された水平同期信号ＨＤのハイパルスに同期してタイミングジェネレータ１０２は選択信号Ｓ１１にハイレベルを出力するので、画素セルＰ１１，Ｐ１２，Ｐ１３，Ｐ１４，Ｐ１５・・・のアナログ映像信号が共通信号読み出し線Ｌ１，Ｌ２，Ｌ３，Ｌ４，Ｌ５・・・へ一斉に出力される。選択信号Ｓ１１のハイ期間中にタイミングジェネレータ１０２からカラムＡＤ群１０３に制御信号Ｓ３１のローレベルからハイレベルへの遷移が入力されてＡＤ変換が開始され、制御信号Ｓ３１のハイレベルからローレベルの遷移でカラムＡＤ群１０３の各ＡＤ変換器では画素セルＰ１１，Ｐ１２，Ｐ１３，Ｐ１４，Ｐ１５・・・の各アナログ映像信号のＡＤ変換結果であるデジタル映像信号が出力保持されている。次に、タイミングジェネレータ１０２から水平走査第１セレクタ１０４を動作させる制御信号Ｓ４１のハイレベル信号が入力され、出力Ａから図４中のＡＡ１にて画素セルＰ１１，Ｐ１２，Ｐ１３，Ｐ１４，Ｐ１５・・・の各デジタル映像信号が行方向の順次で出力される。

第２番目の水平同期期間では、選択信号Ｓ１２が接続されたスイッチング素子を介して共通信号読み出し線に接続される画素セルに対して第１番目の水平同期期間と同様なタイミング制御をタイミングジェネレータ１０２が実施し、出力Ａから図４中のＡＡ２にてＰ２１，Ｐ２２，Ｐ２３，Ｐ２４，Ｐ２５・・・の各デジタル映像信号が行方向の順次で出力される。図４中のＡＡ３からＡＡ８までについても同様である。このように、１つの水平同期期間で１行の各画素セルの映像信号を読み出し、列方向に１行毎に読み出し行が移ることから、ラスタースキャン順で全画素を読み出すこととなる。

次に、図５にて、撮像装置全体の回路構成を説明する。撮像素子２０１は、前述した図１の撮像素子であり、レンズユニット２０２にて結像される光情報と、同期信号発生器２０３にて図示しない基準クロックをもとに生成される垂直同期信号ＶＤ及び水平同期信号ＨＤと、コントローラ２０６が発生するモード選択信号ＭＯＤＥとが入力される。レンズユニット２０２は、光学的な焦点調整機構とこれをアクチュエータにて電気駆動するレンズ駆動ユニット２０７にて焦点調整が行われる。撮像素子２０１からは前述の出力Ａが画像処理回路２０４に入力され、画像処理回路２０４にて単板カラーのデジタル映像信号から空間補間処理が実施されたＹＣ映像信号を生成し、メディア記録回路２０８及び画像表示回路２１０へ出力する。一方、撮像素子２０１から出力される前述の出力Ｂはコントラスト検波回路２０５に入力され、撮像素子２０１の画素セルアレイの画角に対して予め検出エリアとして設定されている範囲内の画素セルのうちで輝度成分に最も近い色位相を持つ画素色成分、例えばベイヤー配列ＣＦＡを持つ撮像素子の場合はグリーンフィルタを有する画素セルに対応する出力Ｂの加算平均値を算出し、コントラスト情報としてコントローラ２０６へ出力する。２０９は画像記録のためのメディアであり、２１１は画像表示のための表示デバイスである。

ここで、図６のグラフを用いて前述の出力Ｂの信号特性を説明する。図６のグラフの横軸は空間周波数であり、ｆ１は全画素のナイキスト周波数であり、ｆ２は周波数ｆ１の２／３の周波数であり、ｆ３は周波数ｆ１の１／３の周波数としている。また、縦軸はレスポンスを示す。実線の曲線は画素混合読み出しモードで得られる９画素混合信号の空間周波数特性を示し、破線の曲線はこれに対応する９画素の中央位置つまりは重心位置にある画素セルの出力信号の空間周波数特性を示す。出力Ｂは、９画素混合信号と該９画素の重心位置にある画素セルの出力信号との差分成分であるから、斜線部の成分からなる信号となる。このことから、出力Ｂを所定のエリアで加算平均して得られる信号は、全画素読み出しモードにて読み出された全画素の映像信号を画像処理回路２０４にて生成した際のＹＣ映像信号のレンズのピントの合焦状態を的確に示し、合焦時には高出力となり被写体からピントが外れるほど低出力となるコントラスト値と大小関係が合致する信号であることが分かる。

さて、図５のメディア記録回路２０８は、コントローラ２０８からの入力信号により動画像記録が指示された場合には画像処理回路２０４から入力されるＹＣ映像信号の圧縮・符号化を実施し、ＭＰＥＧ４の動画像ファイルを生成してメディア２０９へ保存し、静止画像記録が指示された場合にはＪＰＥＧ圧縮を実施した画像ファイルをメディア２０９へ記録する。またメディア記録回路２０８は、動画像記録中に静止画像記録が指示され、９画素混合により画素数が縮小された画素混合読み出しモードの撮像素子出力のＹＣ映像信号から全画素読み出しモードのＹＣ映像信号へピクセルサイズが増加しフレームレートが変更された場合にも、それまでの動画像のピクセルサイズへＹＣ映像信号入力からリサイズし、フレームレートの低下はフレームレート変更前の直前コマのフレームの映像信号で補完することで、動画像記録が途切れることなく同時に静止画像ファイルをメディア２０９へ記録可能な機能を有する。

画像表示回路２１０は、画像処理回路２０４から入力されるＹＣ映像信号をＬＣＤ等の表示デバイス２１１へのインターフェイス信号へ変換して出力する。

コントローラ２０６は、図示しないユーザーインターフェイス部の第１の操作により動画像記録開始指示が入力されると、撮像素子２０１に対して画素混合読み出しモードでの起動をかけ、メディア記録回路２０８に動画像記録開始を指示する。あわせてレンズ駆動ユニット２０７へ所定量焦点を変位させる指示をしながら、コントラスト検波回路２０５から入力される被写体コントラスト情報の大小関係を追跡することでコントラストのピークを検出する、いわゆる山登りＡＦを実施する。この時の被写体コントラスト情報は９画素混合された映像信号では空間的なＬＰＦがかかって検出できない空間周波数の高周波成分を使用しているので、動画像のみならず全画素読み出しモードでのピント精度に耐えうる焦点調整が可能であることは前述の通りである。

コントローラ２０６は、図示しないユーザーインターフェイス部の第２の操作により動画像記録中に静止画像記録が指示されると、撮像素子２０１へ全画素読み出しモードのモード選択を出力し、メディア記録回路２０８に対して全画素読み出しモードで撮像素子２０１から出力され画像処理回路２０４で生成されたＹＣ映像信号に対し、動画像記録を継続しながら静止画像圧縮処理して解像度の高い静止画像をメディア２０９へ記録するよう指示する。

以上のことから、動画像生成用の画素混合読み出しモードで撮像素子２０１を動作させている状態から全画素読み出しモードへ移行する場合に、特段の焦点調整のための撮像素子２０１の駆動モードへ切り替えることなく、画素混合読み出しモード状態にて静止画像生成用の全画素読み出しにおけるＹＣ映像信号のピント状態を保証できる高い精度の焦点調整が行えるため、本実施の形態のようにユーザーの第２の操作により動画像生成状態からタイムラグを生じることなくシームレスに静止画像記録へ移行でき、ユーザーの狙った瞬間を切り取るという静止画像の本質的な要件を満たすことができる。また、通常全画素の映像信号から被写体コントラスト情報を得る場合は対象とするエリア内の画素セル出力に対して複数タップのバンドパスフィルタを構成し特定の空間周波数成分を抽出する必要があるが、本実施の形態では出力Ｂが既に空間的なバンドパスフィルタと同等な特性を持った信号であるため、非常に少ない回路規模でコントラストを検波する手段を構成でき、かつ動作する構成回路が少ないことから低消費電力化できるという利点がある。また、撮像素子２０１の内部で生成する出力Ｂは同色位相の９画素の画素セル出力の混合成分と重心位置の画素セル出力成分という非常に相関性の高い成分間の差分であることから、簡便な追加回路にて符号化処理が可能であり、出力Ａに対して出力Ｂのデータ長を低減することが可能であるので、更なる低消費電力化の効果もある。

図７は、撮像素子の第２の実施の形態を示す図であり、第１の実施の形態である図１との違いは、メモリ回路１０８に入力される信号が画素混合された映像信号と画素混合される範囲の重心位置にある画素セルの出力信号との差分成分信号ではなく、画素混合される範囲の列方向で中心に位置する画素セルの映像信号が入力される点と、出力Ａ及び出力Ｂの次段に出力第２セレクタ１１０を有する点とである。出力第２セレクタ１１０は、制御信号としてタイミングジェネレータ１０２から出力され水平走査第３セレクタ１０６に入力される制御信号Ｓ４３が同じく入力され、制御信号Ｓ４３のローレベル入力では出力セレクタ１０９から入力される出力Ａの映像信号を、制御信号Ｓ４３のハイレベル入力では水平走査第３セレクタ１０６からの出力である出力Ｂをそれぞれ出力Ｗから出力する。

次に、図８を用いて、図７に示す撮像素子の動画像生成時の動作である画素混合読み出しモードを説明する。タイミングジェネレータ１０２から出力される選択信号Ｓ１１，Ｓ１２，Ｓ１３，Ｓ１４，Ｓ１５・・・と、カラムＡＤ群１０３に対する制御信号Ｓ３１と、累積加算正規化器１０７に対するリセットのための制御信号Ｓ３２と、累積加算制御を行う制御信号Ｓ３３と、メモリ回路１０８の記憶保持制御のための制御信号Ｓ３４との、垂直同期信号ＶＤ及び水平同期信号ＨＤに対するタイミングは、第１の実施の形態と同様である。タイミングジェネレータ１０２からメモリ回路１０８へ記憶保持を指示する制御信号Ｓ３４のハイパルス出力後、水平走査第２セレクタ１０５を動作させる制御信号Ｓ４２のハイレベル信号が入力されるので、例えば第１番目の水平同期期間では出力Ａを経由して出力Ｗから図８中のＡ１のタイミングで画素セルＰ１１，Ｐ１２，Ｐ１３，Ｐ１４，Ｐ１５・・・とＰ３１，Ｐ３２，Ｐ３３，Ｐ３４，Ｐ３５・・・とＰ５１，Ｐ５２，Ｐ５３，Ｐ５４，Ｐ５５・・・に対して同色位相の９画素混合された映像信号が行方向の順次で出力される。この後、第２番目の水平同期期間の開始を示す水平同期信号ＨＤのハイパルスが入力されたところで、水平走査第３セレクタ１０６を動作させる制御信号Ｓ４３のハイレベル信号がタイミングジェネレータ１０２より出力するので、出力Ｂを経由して出力Ｗから、Ａ１のタイミングで混合出力された９画素の中心位置、つまりは重心位置に位置する画素セルＰ３３，Ｐ３６・・・の映像信号が、Ｃ１のタイミングで行方向のＡ１と対応する順次で出力される。

次に、第２番目の水平同期期間のＡ２のタイミングでは、画素セルＰ４１，Ｐ４２，Ｐ４３，Ｐ４４，Ｐ４５・・・とＰ６１，Ｐ６２，Ｐ６３，Ｐ６４，Ｐ６５・・・とＰ８１，Ｐ８２，Ｐ８３，Ｐ８４，Ｐ８５・・・に対して同色位相の９画素混合された映像信号が行方向の順次で出力Ｗから出力され、第３番目の水平同期期間のＣ２のタイミングでＰ６３，Ｐ６６・・・の映像信号が行方向のＡ２と対応する順次で出力される。図８中のＡ３及びＣ３、Ａ４、Ｃｘについても同様である。また、静止画像生成時の全画素読み出しモードでは、第１の実施の形態である図４と同じ制御手順となり、図４中の出力Ａが出力Ｗを介して出力される。

次に、図９にて、撮像装置全体の回路構成を説明する。撮像素子２０１は、前述した図７の撮像素子である。この撮像素子２０１から出力された出力Ｗは、画像処理回路２０４ａ及びコントラスト検波回路２０５ａに入力される。コントローラ２０６から撮像素子２０１へ出力される画素混合読み出しモード又は全画素読み出しモードのいずれかを示すモード選択信号ＭＯＤＥは、画像処理回路２０４ａ及びコントラスト検波回路２０５ａへも入力される。

画像処理回路２０４ａは、モード選択信号ＭＯＤＥが画素混合読み出しモードを示す状態では図８中のＡ１、Ａ２、Ａ３・・・で出力される９画素混合されたデジタル映像信号をもとに、空間補間処理が実施されたＹＣ映像信号を生成してメディア記録回路２０８及び画像表示回路２１０へ出力し、全画素読み出しモード時は各水平同期期間に出力される全画素セルのデジタル映像信号からＹＣ映像信号を生成してメディア記録回路２０８及び画像表示回路２１０へ出力する。

コントラスト検波回路２０５ａは、画素混合読み出しモードにおいてのみ動作し、図８中のＡ１で入力された９画素混合信号とＣ１で入力された混合される９画素の画素セルの重心位置に位置する画素セルの出力信号との差分成分を各々混合された画素セルの単位毎に算出し、撮像素子２０１の画素セルアレイの画角に対して予め検出エリアとして設定されている範囲内の画素セルのうちで輝度成分に最も近い色位相を持つ画素色成分、例えばベイヤー配列ＣＦＡを持つ撮像素子の場合はグリーンフィルタを有する画素セルに対応する上記差分成分の加算平均値を算出し、コントラスト情報としてコントローラ２０６へ出力する。上述以外の構成については第１の実施の形態と同じとなっている。

以上のことから、コントラスト検波回路２０５ａでは第１の実施の形態のコントラスト検波回路２０５と同様な効果を持つコントラスト情報を得ることができるため、動画像生成状態からタイムラグを生じることなくシームレスに静止画像記録へ移行でき、ユーザーの狙った瞬間を切り取るという静止画像の本質的な要件を第１の実施の形態と同じく満たすことができる。また、第２の実施の形態では画素混合読み出しモードで混合する対象の３行の画素セル出力のＡＤ変換中に１つ前の水平同期期間でＡＤ変換されメモリ回路１０８に記憶保持された各混合範囲の重心位置の画素セル出力を読み出しており、第１の実施の形態に比べてフレームレートを低下させることなく出力Ａと出力Ｂとを１系統出力に多重化して出力するため、第１の実施の形態に比べて撮像素子２０１の端子数の削減が可能である。したがって、撮像素子２０１自体の小型化や、当該撮像素子２０１から引き出す配線部材などの電気部品の小型化が可能となり、フレームレートという重要な動画像性能を劣化させることなく撮像装置全体の小型化が可能となる効果がある。

本発明によって、モアレの少ない良好な動画像を取得しながら高い精度で焦点調整が可能な高解像度の静止画像の取得にシームレスに移行できるので、デジタルスチルカメラ又はデジタルビデオカメラの静止画像と動画像との機能融合による高付加価値化のみならず、動画像を記録しながら特定の場面で高解像の静止画像記録を必要とするような用途の監視カメラや、車載分野におけるドライブレコーダ等において利用可能性がある。

本発明の第１の実施の形態に係る撮像装置における撮像素子の構成を示すブロック図である。 図１中の個々の画素セルの等価回路図である。 図１の撮像素子の画素混合読み出しモードにおける動作を示すタイミング図である。 図１の撮像素子の全画素読み出しモードにおける動作を示すタイミング図である。 図１の撮像素子を用いた撮像装置の全体回路構成を示すブロック図である。 図１中の出力Ｂの信号特性を説明するための空間周波数特性図である。 本発明の第２の実施の形態に係る撮像装置における撮像素子の構成を示すブロック図である。 図７の撮像素子の画素混合読み出しモードにおける動作を示すタイミング図である。 図７の撮像素子を用いた撮像装置の全体回路構成を示すブロック図である。

符号の説明

１０１ 画素セルアレイ
１０２ タイミングジェネレータ
１０３ カラムＡＤ群
１０４ 水平走査第１セレクタ
１０５ 水平走査第２セレクタ
１０６ 水平走査第３セレクタ
１０７ 累積加算正規化器
１０８ メモリ回路
１０９ 出力セレクタ
１１０ 出力第２セレクタ
２０１ 撮像素子
２０２ レンズユニット
２０３ 同期信号発生器
２０４，２０４ａ 画像処理回路
２０５，２０５ａ コントラスト検波回路
２０６ コントローラ
２０７ レンズ駆動ユニット
２０８ メディア記録回路
２０９ メディア
２１０ 画像表示回路
２１１ 表示デバイス
３０１ フォトダイオード
３０２ 読み出しトランジスタ
３０３ フローティングディフュージョン
３０４ リセットトランジスタ
３０５ アンプ

Claims (9)

1. 行列状に配置された複数の画素セルを有する固体撮像素子を備えた静止画像及び動画像撮像装置であって、
   静止画像生成のための全画素を読み出す全画素読み出し手段と、
   動画像生成のための行方向及び列方向のうち少なくとも１方向の複数画素を混合して読み出す画素混合読み出し手段と、
   前記画素混合読み出し手段と同時に動作可能でありかつ前記画素混合読み出し手段にて混合される画素の空間的な範囲内に含まれる画素の信号成分を読み出す混合内部分画素成分読み出し手段とを更に備え、
   前記全画素読み出し手段と前記画素混合読み出し手段とは排他的に動作することを特徴とする静止画像及び動画像撮像装置。
2. 請求項１記載の静止画像及び動画像撮像装置において、
   前記混合内部分画素成分読み出し手段にて読み出される信号は、前記画素混合読み出し手段にて混合される画素の重心位置に最も近い画素の映像信号を含む信号であることを特徴と静止画像及び動画像撮像装置。
3. 請求項１記載の静止画像及び動画像撮像装置において、
   前記固体撮像素子は、行列状に配置されかつ２×２画素の単位で色位相コーディングが施されたカラーフィルタアレイを有し、
   前記画素混合読み出し手段は、行方向で２ｎ＋１（ｎは自然数）画素と列方向で２ｍ＋１（ｍは自然数）画素との範囲を単位とする同色位相画素を混合し、混合される画素の重心同士は行方向で２ｎ＋１のピッチ、列方向で２ｍ＋１のピッチとなることを特徴とする静止画像及び動画像撮像装置。
4. 請求項２記載の静止画像及び動画像撮像装置において、
   前記混合内部分画素成分読み出し手段にて読み出される信号は、前記画素混合読み出し手段にて混合される画素の重心位置に最も近い画素の映像信号と、前記混合された画素の映像信号との差分成分からなる信号であることを特徴とする静止画像及び動画像撮像装置。
5. 請求項３記載の静止画像及び動画像撮像装置において、
   前記混合内部分画素成分読み出し手段にて読み出される信号は、前記画素混合読み出し手段にて混合された画素の映像信号と、行方向で２ｎ＋１（ｎは自然数）画素と列方向で２ｍ＋１（ｍは自然数）画素の範囲の同色位相画素の各混合された単位毎で空間的に中心に位置する画素の映像信号との差分成分からなる信号であることを特徴とする静止画像及び動画像撮像装置。
6. 請求項１記載の静止画像及び動画像撮像装置において、
   前記混合内部分画素成分読み出し手段にて読み出される信号から被写体のコントラスト情報を検波するコントラスト検波手段を更に備えたことを特徴とする静止画像及び動画像撮像装置。
7. 請求項６記載の静止画像及び動画像撮像装置において、
   前記固体撮像素子に被写体像を結像するレンズ手段と、
   前記固体撮像素子への前記レンズ手段のピント状態を変化させる焦点調整手段と、
   前記コントラスト検波手段から得られる被写体像のコントラスト情報から前記焦点調整手段に対して被写体像のコントラストが最大振幅となるようピント調整を行う制御手段とを更に備えたことを特徴とする静止画像及び動画像撮像装置。
8. 請求項６記載の静止画像及び動画像撮像装置において、
   前記コントラスト検波手段は、前記混合内部分画素成分読み出し手段にて信号が読み出される対象画素の中で、被写体像のコントラスト情報は前記固体撮像素子の画素セルが並ぶ受光エリアの中で予め設定された所定のエリア内にある対象画素の信号成分を加算平均化して前記コントラスト情報を生成することを特徴とする静止画像及び動画像撮像装置。
9. 請求項１記載の静止画像及び動画像撮像装置において、
   前記固体撮像素子は、前記画素混合読み出し手段により読み出される映像信号と前記混合内部分画素成分読み出し手段により読み出される信号とを多重化して１系統の信号として出力することを特徴とする静止画像及び動画像撮像装置。

Images