JP2005303653A

JP2005303653A - 撮像装置

Info

Publication number: JP2005303653A
Application number: JP2004116555A
Authority: JP
Inventors: Naomoto Kubo; 直基久保
Original assignee: Fuji Photo Film Co Ltd
Current assignee: Fujifilm Holdings Corp
Priority date: 2004-04-12
Filing date: 2004-04-12
Publication date: 2005-10-27

Abstract

【課題】高ダイナミックレンジ、高Ｓ／Ｎの動画を得ることができるようにする。
【解決手段】垂直同期信号ＶＤに同期してＣＣＤから高感度画素フレームの画像Ａ、Ｂ、Ｃ、…と、低感度画素フレームの画像ａ、ｂ、ｃ…とを交互に読み出す（図４（Ａ）、（Ｂ））。これらの高感度画素フレームの画像Ａ、Ｂ、Ｃ、…と、低感度画素フレームの画像ａ、ｂ、ｃ…とをＳＲＡＭに一時格納し（図４（Ｃ））、このＳＲＡＭに格納された高感度画素、低感度画素フレームの画像Ａとａ、Ｂとｂ、…をそれぞれ合成し、広ダイナミックレンジの動画として連続的に出力する（図４（Ｄ））。
【選択図】図４

Description

本発明は撮像装置に係り、特に感度の異なる素子を持つ撮像素子を用いた広ダイナミックレンジを有する動画の撮像技術に関する。

近年、１つのフォドダイオード（ＰＤ）を高感度・低感度の２つの領域に分けたＣＣＤ(Charge Coupled Device) を備え、このＣＣＤから得られる高感度の画像と低感度の画像とを合成して広ダイナミックレンジの静止画を取得することができるデジタルカメラが実用化されている。

また、特許文献１には、１つのＣＣＤ内に高感度の受光素子群と、低感度の受光素子群とを有し、これらの受光素子群から得られた信号を加算することにより、広ダイナミックレンジの静止画を得ることができる記載がある。また、特許文献１の段落番号「００５５」には、「ムービーモードでは、所定の時間内に画像表示を行う規則に応じて読み出した信号をディスプレイに表示する必要があるので、低感度の受光素子群あるいは高感度の受光素子群のいずれか一方からの信号だけを読み出して表示する。」という記載がある。
特開２０００−１２５２０９号公報

上記従来のデジタルカメラでは、動画撮影時には、高感度又は低感度の画像のみを取得するようにしていたため、逆光・高コントラスト被写体の撮影時には、黒つぶれや白飛びが発生する画像になり、特にオートフォーカス（ＡＦ）時のパターン認識においては、誤判定するという問題がある。

また、ダイナミックレンジをかせぐために、シャッター速度を速くする方法があるが、スミアの影響や主要被写体のＳ／Ｎが低下し、認識精度が悪くなるデメリットがある。更に、絞りをフレーム毎に切り替えて、高感度・低感度情報を取り出し、これらの情報を後で合成する方法も考えられるが、絞り追従性（１フレームが無駄になり、フレームレートが落ちる）や耐久性が問題となり、実用的ではない。

本発明はこのような事情に鑑みてなされたもので、高ダイナミックレンジ、高Ｓ／Ｎの動画を得ることができる撮像装置を提供することを目的とする。

前記目的を達成するために請求項１に係る撮像装置は、感度の高い高感度画素と、該高感度画素よりも感度の低い低感度画素とが所定の配列形態に従って多数配置され、前記高感度画素及び低感度画素で光電変換された信号をそれぞれ取り出すことが可能な撮像手段と、動画撮影期間中に前記撮像手段により所定の周期で連続的に撮影を行わせる撮影制御手段と、各撮影ごとに前記撮像手段から高感度画素で光電変換された１フレーム分の信号（高感度のフレーム画像）と、低感度画素で光電変換された１フレーム分の信号（低感度のフレーム画像）とを交互に読み出す読出手段と、前記読出手段によって読み出された高感度のフレーム画像と低感度のフレーム画像とを一時記憶する記憶手段と、前記記憶手段に記憶された高感度のフレーム画像と低感度のフレーム画像とに基づいて広ダイナミックレンジの動画用のフレーム画像を生成するフレーム画像生成手段と、前記フレーム画像生成手段によって生成された動画用のフレーム画像を出力する出力手段と、を備えたことを特徴としている。

即ち、前記撮影制御手段は、広ダイナミックレンジの撮影が可能な撮像手段により所定の周期で連続的に撮影を行わせ、前記読出手段は、前記撮像手段から高感度画素に対応する高感度のフレーム画像と、低感度画素に対応する低感度のフレーム画像とを交互に繰り返し読み出す。ここで、動画撮影時の周期を、例えば１／３０秒とすると、高感度のフレーム画像及び低感度のフレーム画像の読み出し時のフレームレートは、６０フレーム／秒となる。このようにして読み出した高感度のフレーム画像と低感度のフレーム画像とは、合成処理のために記憶手段に一時記憶される。一時記憶された高感度のフレーム画像と低感度のフレーム画像とは、その後、フレーム画像生成手段によって合成され、広ダイナミックレンジの動画用のフレーム画像として生成される。これにより、高ダイナミックレンジ、高Ｓ／Ｎの動画が得られる。

請求項２に示すように請求項１に記載の撮像装置において、前記フレーム画像生成手段は、前記記憶手段に記憶された、それぞれ同じ露光期間に対応する高感度のフレーム画像と低感度のフレーム画像とに基づいて広ダイナミックレンジの動画用のフレーム画像を生成し、前記出力手段は、前記生成された動画用のフレーム画像を２フレームずつ出力することを特徴としている。

この場合の合成される高感度のフレーム画像と低感度のフレーム画像とは、同じ露光期間の画像であるため、被写体に動きがあっても合成後の動画用のフレーム画像のＳ／Ｎを高くすることができる。また、生成された動画用のフレーム画像を２フレームずつ出力することで、前記撮像手段からの高感度及び低感度のフレーム画像の読み出し時のフレームレートと、動画用のフレーム画像のフレームレートとを一致させるようにしている。

請求項３に示すように請求項１に記載の撮像装置において、前記フレーム画像生成手段は、前記記憶手段に記憶された、前回読み出されたフレーム画像と今回読み出されたフレーム画像とに基づいて広ダイナミックレンジの動画用のフレーム画像を生成することを特徴としている。これにより、動画用のフレーム画像を、フレームごとに更新することができる。

請求項４に示すように請求項１乃至３のいずれかに記載の撮像装置において、前記読出手段は、前記高感度のフレーム画像及び低感度のフレーム画像をそれぞれ間引いて読み出すことを特徴としている。

一般に、静止画で要求される画像サイズよりも動画で要求される画像サイズは小さいため、前記撮像手段より間引いて読み出すことにより、動画で要求される画像サイズを確保しつつ、１フレーム分の読み出し速度を向上させることができるとともに、後段の合成等の処理速度を向上させることができる。

請求項５に示すように請求項１に記載の撮像装置において、前記読出手段は、前記高感度のフレーム画像及び低感度のフレーム画像をそれぞれ間引いて同時に読み出すことを特徴としている。

本発明によれば、広ダイナミックレンジの撮影が可能な撮像手段から高感度画素に対応する高感度のフレーム画像と、低感度画素に対応する低感度のフレーム画像とを所定のフレームレートで交互に繰り返し読み出し、これらの高感度のフレーム画像と低感度のフレーム画像とを合成して動画用のフレーム画像を生成するようにしたため、高ダイナミックレンジ、高Ｓ／Ｎの動画を得ることができる。

以下添付図面に従って本発明に係る撮像装置の好ましい実施の形態について詳説する。

〔撮像素子の構造〕
まず、本発明に係る撮像装置に適用される撮像素子の構造について説明する。図１は本発明に係る撮像装置に用いられるＣＣＤ固体撮像素子（以下、ＣＣＤという）の一例を示す平面模式図である。

同図に示すように、ＣＣＤ１０は、多数の受光セル２０が水平方向（行方向）及び垂直方向（列方向）に一定の配列周期で配置された二次元撮像デバイス（イメージセンサ）である。図示した構成はハニカム配列と呼ばれる画素配列であり、受光セル２０の幾何学的な形状の中心点を行方向及び列方向に１つおきに画素ピッチの半分（１／２ピッチ）ずらして配列させたものとなっている。即ち、互いに隣接する受光セル２０の行どうし（又は列どうし）において、一方の行（又は列）のセル配列が、他方の行（又は列）のセル配列に対して行方向（又は列方向）の配列間隔の略１／２だけ相対的にずれて配置された構造となっている。

各受光セル２０は、感度の異なる２つに分割されたＰＤ領域２１、２２を含む。第１のＰＤ領域２１は、相対的に広い面積を有し、感度の高い画素（以下、「高感度画素」という）を構成する。第２のＰＤ領域２２は、相対的に狭い面積を有し、感度の低い画素（以下、「低感度画素」という）を構成する。

各受光セル２０について、高感度画素２１と低感度画素２２には同色のカラーフィルタが配置されている。つまり、各受光セル２０に対応してそれぞれＲＧＢの何れか１色の原色カラーフィルタが割り当てられている。図１のように、水平方向についてＧＧＧＧ…の行の次段にＢＲＢＲ…の行が配置され、その次段にＧＧＧＧ…の行、更にその次の行にＲＢＲＢ…という具合に配列される。また、列方向についてみれば、ＧＧＧＧ…の列と、ＢＲＢＲ…の列と、ＧＧＧＧ…の列と、ＲＢＲＢ…の列とが循環式に繰り返される配列パターンとなっている。

受光セル２０の右側には垂直転送路（ＶＣＣＤ）３０が形成されている。垂直転送路３０は、受光セル２０の各列に近接して受光セル２０を避けながらジグザグ状に蛇行して垂直方向に伸びている。

垂直転送路３０上には４相駆動（φ1,φ2,φ3,φ4)に必要な転送電極３１、３２、３３、３４が配置される。転送電極３１〜３４は、受光セル２０の各行に近接して受光セル２０の開口を避けながら蛇行して図１の水平方向に伸びるように設けられている。例えば、２層ポリシリコンで転送電極を形成する場合、φ1 のパルス電圧が印加される第１の転送電極３１とφ3 のパルス電圧が印加される第３の転送電極３３は第１層ポリシリコン層で形成され、φ2 のパルス電圧が印加される第２の転送電極３２とφ4 のパルス電圧が印加される第４の転送電極３４は第２層ポリシリコン層で形成される。

図１において受光セル２０が並んだ撮像エリア４０の右側には、転送電極３１〜３４にパルス電圧を印加するＶＣＣＤ駆動回路４２が配置される。また、撮像エリア４０の下側（垂直転送路３０の下端側）には、垂直転送路３０から移された信号電荷を水平方向に転送する水平転送路（ＨＣＣＤ）４４が設けられている。

水平転送路４４は、２相駆動の転送ＣＣＤで構成されており、水平転送路４４の最終段（図１上で最左段）は出力部４６に接続されている。出力部４６は出力アンプを含み、入力された信号電荷の電荷検出を行い、信号電圧として出力端子４８に出力する。こうして、各受光セル２０で光電変換した信号が、点順次の信号列として出力される。

図２は高感度画素２１と低感度画素２２の光電変換特性を示すグラフである。横軸は入射光量、縦軸はＡ／Ｄ変換後の画像データ値（ＱＬ値）を示す。本例では１２ビットデータを例示するが、ビット数はこれに限定されない。

同図に示すように、高感度画素２１と低感度画素２２の感度比は１：１／ａとなっている（ただし、ａ＞１、本例ではａ＝１６）。高感度画素２１の出力は、入射光量に比例して次第に増加し、入射光量が「ｃ」のときに出力が飽和値（ＱＬ値＝4095）に達する。以後、入射光量が増加しても高感度画素２１の出力は一定となる。この「ｃ」を高感度画素２１の飽和光量と呼ぶことにする。

一方、低感度画素２２の感度は、高感度画素２１の感度の１／ａであり、入射光量がα×ｃのときにＱＬ値＝4095／ｂで飽和する（ただし、ｂ＞１，α＝ａ／ｂ、本例ではｂ＝４，α＝４）。このときの「α×ｃ」を低感度画素２２の飽和光量と呼ぶ。

このように、異なる感度と飽和を持つ高感度画素２１と低感度画素２２とを組み合わせることにより、高感度画素のみの構成よりも撮像素子のダイナミックレンジをα倍に拡大できる。本例では感度比１／１６、飽和比１／４でダイナミックレンジを約４倍に拡大している。高感度画素２１のみを使用する場合の最大ダイナミックレンジを１００％とするとき、本例では低感度画素２２を活用することによって最大で約４００％までダイナミックレンジが拡大される。

〔撮像装置の構成例〕
次に、本発明に係る撮像装置の実施の形態について説明する。

図３は本発明に係る撮像装置の実施の形態を示すブロック図である。この撮像装置１００は、上述した広ダイナミックレンジ撮像用のＣＣＤ１０が搭載され、撮影時に高感度画素と低感度画素の信号を合成することで、広ダイナミックレンジの静止画及び動画を撮影することができるようになっている。

撮像装置全体の動作は、中央処理装置（ＣＰＵ）１０２によって統括制御されている。操作部１０４は、電源スイッチ、シャッターボタン、撮影モードと再生モードとを切り換えるためのモード切替えスイッチ、ズームやコマ送り等の各種の指令信号を出力するマルチファンクションの十字キー等を含む。この操作部１０４からの各種の操作信号は、ＣＰＵ１０２に加えられるようになっている。尚、この撮像装置１００は、シャッターボタンをＯＮするごとに静止画を撮影する静止画の撮影モード（静止画モード）の他に、シャッターボタンがＯＮされている間、所定のフレームレートで連続的に撮影を行う動画の撮影モード（動画モード）があり、これらのモードは操作部１４での操作によって適宜選択できるようになっている。

静止画や動画の撮影時には、被写体を示す画像光は、撮影レンズ１０６及び絞り１０８を介して、図１で詳述した広ダイナミックレンジ撮像用のＣＣＤ１０の受光面に結像される。ＣＣＤ１０に蓄積された高感度画素２１に蓄積された信号（高感度画素フレームの信号）と、低感度画素２２に蓄積された信号（低感度画素フレームの信号）とは、ＣＣＤドライバ１１０により電圧信号として読み出される。これらの高感度画素フレームの信号と、低感度画素フレームの信号は、アナログ処理部１１２に加えられる。

アナログ処理部１１２は、サンプリングホールド回路、色分離回路、ゲイン調整回路等の信号処理回路を含み、相関二重サンプリング（ＣＤＳ）処理並びにＲ，Ｇ，Ｂの各色信号に色分離処理され、各色信号の信号レベルの調整（プリホワイトバランス処理）が行われる。アナログ処理部１１２から出力された信号は、Ａ／Ｄ変換器１１４によりデジタル信号に変換された後、メモリ（ＳＲＡＭ(Static RAM)）１１６に一時記憶される。

タイミングジェネレータ（ＴＧ）１１８は、ＣＰＵ１０２の指令に従ってＣＣＤドライバ１１０、アナログ処理部１１２及びＡ／Ｄ変換器１１４に対してタイミング信号を与えており、このタイミング信号によって各回路の同期がとられている。

ＳＲＡＭ１１６は、高感度画素フレームのデータ及び低感度画素フレームのデータを複数フレーム分、記憶することができる記憶容量を有するとともに、後述する高感度画素フレームの画像と低感度画素フレームの画像とを合成する合成処理や他の画像処理等を行う際に使用されるワークメモリとして機能する。

ＲＯＭ１２０には、予めプログラムや調整値などが記憶されており、これらのプログラムや調整値は適宜読み出される。

信号処理部１２２は、高感度画素フレームの画像と低感度画素フレームの画像の合成処理や、ホワイトバランス調整、ガンマ補正、Ｒ、Ｇ、Ｂデータから輝度データＹ及び色差データＣ_r、Ｃ_bの生成処理（ＹＣ変換）等を行う。尚、高感度画素フレームの画像と低感度画素フレームの画像の合成処理は、各受光セル２０内の高感度画素２１と低感度画素２２のデータに、それぞれ適宜の係数を乗算し、これらの乗算値を加算することでダイナミックレンジを拡大した画像を生成する。

信号処理部１２２で処理された画像データは、ビデオ・エンコーダ１２６においてエンコーディングされ、カメラ背面に設けられている液晶モニタ（ＬＣＤ）１２８に出力され、これにより被写体像がＬＣＤ１２８の表示画面上に表示される。

また、信号処理部１２２で処理された画像データ（ＹＣデータ）は圧縮伸張処理部１２４に出力され、JPEG (joint photgraphic experts group)などの所定の圧縮処理が実行された後、メディアコントローラ１３０を介してメモリカード１３２に記録される。

次に、動画撮影時の画像処理について説明する。

図４に示すように動画撮影時には、垂直同期信号ＶＤに同期してＣＣＤ１０から高感度画素フレームの画像Ａ、Ｂ、Ｃ、…と、低感度画素フレームの画像ａ、ｂ、ｃ…とを交互に読み出す（図４（Ａ）、（Ｂ））。ここで、Ａとａ、Ｂとｂ、Ｃとｃ、…は、それぞれ同じ露光期間にＣＣＤ１０にて電荷蓄積された信号に対応するものである。

ＣＣＤ１０から順次読み出された高感度画素フレームの画像Ａ、Ｂ、Ｃ、…と、低感度画素フレームの画像ａ、ｂ、ｃ…とはＳＲＡＭ１１６に格納される（図４（Ｃ））。このＳＲＡＭ１１６に格納された高感度画素、低感度画素フレームの画像Ａとａ、Ｂとｂ、…はそれぞれ合成され、広ダイナミックレンジの動画として連続的に出力される（図４（Ｄ））。この動画出力時には、垂直同期信号ＶＤに同期して動画のフレーム画像が出力されるように、同じフレーム画像が２フレームずつ出力される。

次に、上記の画像処理について図５及び図６を参照しながら詳細に説明する。

図５はフレーム画像のＳＲＡＭへの格納から動画の表示までの流れを示すフローチャートであり、図６は図３に示した撮像装置の要部ブロック図である。

これらの図面に示しように、ＣＣＤ１０から垂直同期信号ＶＤに同期して順次読み出され、Ａ／Ｄ変換器１１４でデジタル信号に変換された高感度画素フレームの画像Ａ、低感度画素フレームの画像ａは、それぞれＳＲＡＭ１１６に格納される（ステップ(1) 、ステップ(2))。

信号処理部１２２は、ＳＲＡＭ１１６から高感度画素フレームの画像Ａと、低感度画素フレームの画像ａとを読み出し、これらの画像Ａと画像ａとを合成し、広ダイナミックレンジのフレーム画像（Ａ＋ａ）を生成する（ステップ(3))。

信号処理部１２２によって生成された広ダイナミックレンジのフレーム画像（Ａ＋ａ）は、ビデオ・エンコーダ１２６を介してＬＣＤ１２８に出力されて表示される（ステップ(4))。

そして、次の撮影シーケンスで撮影された高感度画素フレームの画像Ｂ、低感度画素フレームの画像ｂについても同様に処理される。尚、ＳＲＡＭ１１６に格納されたフレーム画像のうち、ＬＣＤ１２８への出力が終了したものは消去され、又は次に格納されるフレーム画像によって上書きされる。

また、広ダイナミックレンジの動画用のフレーム画像は、ＬＣＤ１２８や図示しないビデオ出力端子から出力する場合に限らず、メモリカード１３２に記録することができる。即ち、動画用のフレーム画像は、再びＳＲＡＭ１１６に記憶され、動画撮影終了後にＳＲＡＭ１１６に記憶された一連の動画用のフレーム画像は動画ファイル化される。この動画ファイルは、メディアコントローラ１３０を介してメモリカード１３２に記録される。動画ファイルとしては、ＤＶＤ（Digital Versatile Disk) ビデオ方式や、ビデオＣＤ方式などの汎用の再生機器（ＤＶＤプレーヤなど）で再生可能な動画ファイル形式で作成することが好ましい。また、動画撮影終了後に動画ファイルを作成する場合に限らず、動画撮影中にメモリカード１３２に逐次、動画を記録するようにしてもよい。

図７乃至図９はそれぞれＣＣＤ１０からのフレーム画像の読み出し方法を示す図である。

図７に示すように動画撮影時にＣＣＤ１０の全ての画素（高感度画素、低感度画素を含む全ての画素）を読み出す場合には、まず、全ての高感度画素に蓄積された電荷を、図７（Ａ）中の矢印で示すように垂直転送路３０に転送し、その後、垂直転送路３０及び水平転送路４４を駆動して１フレーム分の高感度画素フレームの信号として読み出す。続いて、全ての低感度画素に蓄積された電荷を、図７（Ｂ）中の矢印で示すように垂直転送路３０に転送し、その後、垂直転送路３０及び水平転送路４４を駆動して１フレーム分の低感度画素フレームの信号として読み出す。

尚、このＣＣＤ１０は、図１に示したような垂直転送路３０を４相駆動（φ1,φ2,φ3,φ4)する転送電極３１、３２、３３、３４を有するため、全ての高感度画素及び低感度画素の電荷を同時に垂直転送路３０に転送すると、画素混合が発生する。従って、図７に示したように高感度画素フレームの信号と、低感度画素フレームの信号とを別々に読み出すようにしている。

図８は高感度画素フレームの信号と低感度画素フレームの信号とを間引いて別々に読み出す場合に関して示している。

即ち、図８（Ａ）に示すようにＣＣＤ１０の全ての高感度画素のうちの半分の高感度画素に蓄積された電荷を、図８（Ａ）中の矢印で示すように垂直転送路３０に転送し、その後、垂直転送路３０及び水平転送路４４を駆動して１／２間引きされた１フレーム分の高感度画素フレームの信号として読み出す。続いて、全ての低感度画素のうちの半分の低感度画素に蓄積された電荷を、図８（Ｂ）中の矢印で示すように垂直転送路３０に転送し、その後、垂直転送路３０及び水平転送路４４を駆動して１／２間引きされた１フレーム分の低感度画素フレームの信号として読み出す。尚、図８上で、読み出すラインと、間引きするラインとが２ラインずつになっている理由は、この２ラインによってＲ、Ｇ、Ｂのデータが揃うからである。また、水平方向の画素の間引きは、例えばデジタル処理で行われる。

図９は高感度画素フレームの信号と低感度画素フレームの信号とを間引いて同時に読み出す場合に関して示している。この場合、読み出される高感度画素と低感度画素との間には２ライン分の画素が間引かれているため、同時に読み出しても垂直転送路３０上で画素混合が発生することがない。

ただし、このようにして読み出された高感度画素の信号と低感度画素の信号とを合成する場合、両画素のＣＣＤ１０上の位置が異なるため、画質が低下する。従って、被写体の動きが速い場合の位置合わせの目的として使用することが好ましい。

図１０は動画撮影時の画像処理の他の実施の形態を示すタイミングチャートである。

同図に示すように動画撮影時には、垂直同期信号ＶＤに同期してＣＣＤ１０から高感度画素フレームの画像Ａ、Ｂ、Ｃ、…と、低感度画素フレームの画像ａ、ｂ、ｃ…とを交互に読み出す（図１０（Ａ）、（Ｂ））。ＣＣＤ１０から順次読み出された高感度画素フレームの画像Ａ、Ｂ、Ｃ、…と、低感度画素フレームの画像ａ、ｂ、ｃ…とはＳＲＡＭ１１６に格納される（図１０（Ｃ））。このＳＲＡＭ１１６に格納された高感度画素、低感度画素フレームの画像Ａとａ、Ｂとａ、Ｂとｂ、…はそれぞれ合成され、広ダイナミックレンジの動画として連続的に出力される（図１０（Ｄ））。

即ち、ＣＣＤ１０から前回読み出された高感度又は低感度のフレーム画像と、今回読み出された低感度又は高感度のフレーム画像とを合成するようにしている。従って、図１０（Ｄ）に示すように、同じ露光期間にＣＣＤ１０で撮像された高感度及び低感度のフレーム画像が合成された画像と、異なる露光期間にＣＣＤ１０で撮像された高感度及び低感度のフレーム画像が合成された画像とが交互に出力される。

図１１（Ａ）はＣＣＤの高感度画素から得られた従来の動画を示し、図１１（Ｂ）はＣＣＤの高感度画素及び低感度画素を合成して得られた動画を示している。

図１１（Ａ）に示すように、被写体中に高輝度被写体Ａが存在すると、高輝度被写体Ａに対応する画像が白飛びし、また垂直転送路の方向にスミアＢが発生する。

これに対し、図１１（Ｂ）に示すように高感度画素及び低感度画素を合成して得られる広ダイナミックレンジの画像は、被写体中に高輝度被写体Ａが存在していても白飛びやスミヤの発生を防止することができる。

尚、高感度画素及び低感度画素で光電変換された信号をそれぞれ取り出すことが可能な撮像手段は、図１に示した実施の形態のものに限らず、他の画素配列や、カラーフィルタ配列のものでもよい。

図１は本発明の実施に用いられるＣＣＤの一例を示す平面模式図である。図２は高感度画素と低感度画素の光電変換特性を示すグラフである。図３は本発明に係る撮像装置の実施の形態を示すブロック図である。図４は動画撮影時の画像処理の実施の形態を示すタイミングチャートである。図５はフレーム画像のＳＲＡＭへの格納から動画の表示までの流れを示すフローチャートである。図６は図３に示した撮像装置の要部ブロック図である。図７はＣＣＤからのフレーム画像の読み出し方法の一例を示す図である。図８はＣＣＤからのフレーム画像の読み出し方法の他の例を示す図である。図９はＣＣＤからのフレーム画像の読み出し方法の更に他の例を示す図である。図１０は動画撮影時の画像処理の他の実施の形態を示すタイミングチャートである。図１１（Ａ）は従来の動画を示し、図１１（Ｂ）は広ダイナミックレンジを有する動画を示す図である。

符号の説明

１０…ＣＣＤ、２０…受光セル、２１…ＰＤ領域（高感度画素）、２２…ＰＤ領域（低感度画素）、１００…撮像装置、１０２…中央処理装置（ＣＰＵ）、１０４…操作部、１０６…撮影レンズ、１１０…ＣＣＤドライバ、１１２…アナログ処理部、１１４…Ａ／Ｄ変換器、１１６…メモリ（ＳＲＡＭ）、１２２…信号処理部、１２６…ビデオエンコーダ、１２８…液晶モニタ（ＬＣＤ）、１３０…メディアコントローラ、１３２…メモリカード

Claims

感度の高い高感度画素と、該高感度画素よりも感度の低い低感度画素とが所定の配列形態に従って多数配置され、前記高感度画素及び低感度画素で光電変換された信号をそれぞれ取り出すことが可能な撮像手段と、
動画撮影期間中に前記撮像手段により所定の周期で連続的に撮影を行わせる撮影制御手段と、
各撮影ごとに前記撮像手段から高感度画素で光電変換された１フレーム分の信号（高感度のフレーム画像）と、低感度画素で光電変換された１フレーム分の信号（低感度のフレーム画像）とを交互に読み出す読出手段と、
前記読出手段によって読み出された高感度のフレーム画像と低感度のフレーム画像とを一時記憶する記憶手段と、
前記記憶手段に記憶された高感度のフレーム画像と低感度のフレーム画像とに基づいて広ダイナミックレンジの動画用のフレーム画像を生成するフレーム画像生成手段と、
前記フレーム画像生成手段によって生成された動画用のフレーム画像を出力する出力手段と、
を備えたことを特徴とする撮像装置。
前記フレーム画像生成手段は、前記記憶手段に記憶された、それぞれ同じ露光期間に対応する高感度のフレーム画像と低感度のフレーム画像とに基づいて広ダイナミックレンジの動画用のフレーム画像を生成し、前記出力手段は、前記生成された動画用のフレーム画像を２フレームずつ出力することを特徴とする請求項１に記載の撮像装置。
前記フレーム画像生成手段は、前記記憶手段に記憶された、前回読み出されたフレーム画像と今回読み出されたフレーム画像とに基づいて広ダイナミックレンジの動画用のフレーム画像を生成することを特徴とする請求項１に記載の撮像装置。
前記読出手段は、前記高感度のフレーム画像及び低感度のフレーム画像をそれぞれ間引いて読み出すことを特徴とする請求項１乃至３のいずれかに記載の撮像装置。
前記読出手段は、前記高感度のフレーム画像及び低感度のフレーム画像をそれぞれ間引いて同時に読み出すことを特徴とする請求項１に記載の撮像装置。