JP2014057189A

JP2014057189A - 撮像装置

Info

Publication number: JP2014057189A
Application number: JP2012200324A
Authority: JP
Inventors: Toshimasa Miura; 利雅三浦
Original assignee: Olympus Imaging Corp
Current assignee: Olympus Imaging Corp
Priority date: 2012-09-12
Filing date: 2012-09-12
Publication date: 2014-03-27
Anticipated expiration: 2032-09-12
Also published as: JP6057630B2

Abstract

【課題】白飛びや黒つぶれが抑制された広ダイナミックレンジ画像を得るための撮影を行う撮像装置を提供する。
【解決手段】
露光量に応じた光電変換信号を生成するための画素が多数配列された撮像素子１１０と、第１の露光量と、該第１の露光量よりも少ない第２露光量に基づいて撮影を行うための撮像制御部（ＣＰＵ１２１等）と、上記第１の露光量に基づいて撮影を行うときは予め設定された第１レベル以下の画素信号のＡ／Ｄ変換のみを行い、上記第２の露光量に基づいて撮影を行うときは予め設定された第２レベル以上の画素信号のＡ／Ｄ変換のみを行うＡ／Ｄ変換制御部（Ａ／Ｄ変換器２０３、ＣＰＵ１２１等）と、上記撮影によって得られた画像データを基に広ダイナミックレンジの画像データを合成する画像処理部１１４とを備えたことを特徴とする撮像装置。
【選択図】図１

Description

この発明は、白飛びや黒つぶれが抑制された広ダイナミックレンジ画像データを得るための撮影を行う撮像装置に関する。

デジタルスチルカメラやデジタルビデオカメラ等の撮像装置で明度差の大きなシーンを撮影したときに、明部では白とびが、暗部では黒つぶれが発生することがある。このような白とびや黒つぶれを補正する技術の１つとして、露光量の異なる複数枚の画像を撮影し、各画像に存在する白とびの無い領域と黒つぶれの無い領域を合成することで、明部や暗部が適切に再現された広ダイナミックレンジ画像データを生成する技術がある。また、動画にも対応した広ダイナミックレンジ画像データを生成するために、１フィールド期間内において露光量の異なる複数枚の画像を撮影する技術がある。

例えば、特許文献１には、固体撮像素子を通常のｎ倍速で駆動させるとともに、１フィールド期間内にｎ個のシャッタパルスを供給してシャッタ蓄積期間をきめ細かく制御することによって連続した階調の画像出力を得て、これらの画像出力をｎ個のフィールドメモリへホワイト・クリップをかけた後記憶させ、垂直同期パルスＶＤに同期して出力させた後に加算器により加算することによりダイナミックレンジの広い画像を生成する技術が記載されている。

また、特許文献２には、１フィールド期間内に、高画質な広ダイナミックレンジ画像を生成するために必要な合成用画像の輝度値を変更することにより、静止撮影時だけではなく動画撮影時においても１フィールド毎に高画質な広ダイナミックレンジ画像を生成する技術が記載されている。

特開平９−２００６２１号公報特開２０１２−１０９８４９号公報

しかし、特許文献１では、固体撮像素子を通常のｎ倍速で駆動させると、消費電力が増大するという問題があった。また、特許文献２においては、動画撮影時にも１フィールド毎に高画質な広ダイナミックレンジ画像を生成しようとすると、通常撮影時に比べて高速に画像信号を読み出す必要があるので、消費電力が増大するという問題があった。

本発明は上述した従来技術の問題に鑑み、消費電力の増大を抑えるとともに、動画撮影に好適な広ダイナミックレンジ画像を得るための撮影を行うことができる撮像装置を提供することを目的とする。

上述した課題を解決するために、請求項１に係る撮像装置は、露光量の異なる複数の画像データを基に、広ダイナミックレンジの画像データを合成する撮像装置において、露光量に応じた光電変換信号を生成するための画素が多数配列された撮像素子と、第１の露光量と該第１の露光量よりも少ない第２の露光量に基づいて撮影を行う撮像制御部と、上記第１の露光量に基づいて撮影を行うときは予め設定された第１レベル以下の画素信号のＡ／Ｄ変換のみを行い、上記第２の露光量に基づいて撮影を行うときは予め設定された第２レベル以上の画素信号のＡ／Ｄ変換のみを行うＡ／Ｄ変換制御部と、上記撮影によって得られた画像データを基に広ダイナミックレンジの画像データを合成する画像処理部とを備えた。

請求項２に係る撮像装置は、上記請求項１に係る撮像装置において、上記撮像制御部は、さらに上記第１の露光量と上記第２の露光量の中間レベルの第３の露光量に基づいて撮影を行うものであり、上記Ａ／Ｄ変換制御部は、上記第３の露光量に基づいて撮影を行うときは、予め設定された第３レベルと予め設定された第４レベル画素信号の間のＡ／Ｄ変換のみを行う。

請求項３に係る撮像装置は、上記請求項１及び請求項２に係る撮像装置において、上記Ａ／Ｄ変換制御部は二重積分方式のＡ／Ｄ変換を行なうものである。

請求項４に係る撮像装置は、上記請求項１に係る撮像装置において、上記画像処理部によって生成された画像データを動画像として表示する表示部をさらに備えた。

本発明によれば、消費電力の増大を抑えるとともに、動画撮影に好適な広ダイナミックレンジ画像を得るための撮影を行うことができる撮像装置を提供することができる。

本発明の実施形態１、実施形態２に共通の撮像装置の構成を示すブロック図である。本発明の実施形態１、実施形態２に共通の撮像素子の概略構成を示すブロック図である。本発明の実施形態１、実施形態２に共通の撮像素子の１画素の回路構成を示す図である。本発明の実施形態１、実施形態２に共通のＡ／Ｄ変換器の構成を示すブロック図である。通常撮影において、撮像素子から１画素の信号を読み出してＡ／Ｄ変換を行なうときのタイミングチャートである。本発明の実施形態１、実施形態２におけるアンダー露光撮影により、撮像素子から１画素の信号を読み出してＡ／Ｄ変換を行なうときのタイミングチャートである。本発明の実施形態１、実施形態２におけるオーバー露光撮影により、撮像素子から１画素の信号を読み出してＡ／Ｄ変換を行なうときのタイミングチャートである。本発明の実施形態２における標準露光撮影により、撮像素子から１画素の信号を読み出してＡ／Ｄ変換を行なうときのタイミングチャートである。通常撮影時のフィールド同期信号と画素選択信号φＳとの関係を表すタイミングチャートである。本発明の実施形態１、実施形態２におけるフィールド同期信号と画素選択信号φＳとの関係を表すタイミングチャートである。本発明の実施形態１におけるアンダー露光により撮影された画像データ、及びオーバー露光により撮影された画像データと被写体輝度との関係を示す図である。本発明の実施形態１における広ダイナミックレンジ画像データの合成処理の概念図である。本発明の実施形態２におけるアンダー露光により撮影された画像データ、標準露光により撮影された画像データ及びオーバー露光により撮影された画像データと被写体輝度との関係を示す図である。本発明の実施形態２における広ダイナミックレンジ画像データの合成処理の概念図である。本発明の実施形態１における撮像装置の全体的な動作の流れを示す図である。本発明の実施形態２における撮像装置の全体的な動作の流れを示す図である。

[実施形態１]
図１は撮像装置の構成を示すブロック図である。この撮像装置は、レンズ１０１と、レンズ１０１を駆動するモータ１０２と、フォーカス制御部１０３と、絞り機構１０４と、モータ１０５と、絞り制御部１０６と、シャッター機構１０７と、プランジャー１０８と、プランジャー制御部１０９と、撮像素子１１０と、ＡＥ処理部１１２と、ＡＦ処理部１１３と、画像処理部１１４と、ＬＣＤドライバ１１５と、ＬＣＤ１１６と、不揮発性メモリ１１７と、内蔵メモリ１１８と、圧縮伸張部１１９と、着脱メモリ１２０と、ＣＰＵ１２１と、入力部１２２と、電源部１２３と、データバス１２４を有している。

レンズ１０１は、撮像素子１１０に被写体の光学像を結像するためのものである。モータ１０２は、レンズ１０１を駆動するものである。フォーカス制御部１０３は、モータ１０２によりレンズ１０４を合焦位置に駆動するためのものである。絞り機構１０４は、レンズ１０１を透過した被写体光束の開口径を制限するものである。モータ５は絞りが所定の大きさになるように絞り機構１０４を駆動するものである。絞り制御部１０６は、モータ１０５を制御するものである。シャッター機構１０７は、シャッターを開閉して撮像素子１１０へ被写体光を通過させたり遮蔽したりするためのものである。プランジャー１０８は、シャッター機構１０７を駆動するためのものである。プランジャー制御部１０９は、プランジャー１０８を駆動制御するためのものである。

撮像素子１１０は、撮像面に受けた光学像を電気信号に変換し、画像信号を生成するためのものである。撮像素子１１０は、画素列ごとに配置されたＡ／Ｄ変換器２０３（図２参照）を内蔵している。撮像素子１１０の各画素から読み出されたアナログ画像信号は、Ａ／Ｄ変換器２０３によりデジタル信号に変換され、撮像素子１１０からデジタル画像データ（以下、アナログの「画像信号」に対応したデジタル信号を、単に、「画像データ」と称する。）が出力される。ＡＥ処理部１１２は、露出レベルが適正になるような露出時間や絞り値を演算する。

ＡＦ処理部１１３は、撮像素子１１０から出力された画像データの高周波成分に基づいて、被写体のピント状態を検出する。画像処理部１１４は、撮像素子１１０から読み出された画像データの同時化処理、階調変換処理、ホワイトバランス調整、エッジ処理、広ダイナミックレンジ画像データの合成処理等の各種画像処理を行なう。ＬＣＤ１１６は、撮像された広ダイナミックレンジ画像その他の情報を表示するためのものである。ＬＣＤドライバ１１５は、ＬＣＤ１１６を駆動するためのものである。不揮発性メモリ１１７は、種々のプログラム及びユーザの設定データ等を格納するためのものである。内蔵メモリ１１８は、高速書き込み／読み出しが可能なメモリであり、撮像素子１１０から読み出された画像データを一時的に記憶する。また、内蔵メモリ１１８は、画像処理部１１４における各種処理のワークメモリとして利用される。

圧縮伸張部１１９は、画像データを圧縮するとともに、この圧縮した画像データを圧縮前の画像データに戻す伸張処理を行なうためのものである。着脱メモリ１２０は、画像データを記録するためのカードメモリ等の不揮発性のメモリであり、カメラに対して着脱可能となっている。ＣＰＵ１２１は、撮像装置全体を統括的に制御するためのものである。ＣＰＵ１２１は、動画撮影や静止画撮影における露光量を制御したり、撮像タイミングを制御したりする撮像制御部としての機能を有する。また、ＣＰＵ１２１は、Ａ／Ｄ変換制御部の一部を構成する。入力部１２２は、撮像装置の各種モード設定やレリーズ操作等の各種操作を指示入力するためのものである。電源部１２３は撮像装置全体に電源を供給するためのものである。データバス１２４は各種データの送受信を行なうためのバスラインである。

図２は、撮像素子１１０の概略構成を示すブロック図である。撮像部２０１には、ｎ行ｍ列の画素Ｐ１１〜Ｐｍｎが配列されている。各画素列に対応して列並列Ａ／Ｄ変換方式のＡ／Ｄ変換器２０３（Ａ／Ｄ１〜Ａ／Ｄｍ）が配置されている。垂直走査回路２０４は、各画素行に接続され、画素行１から画素行ｎまで行毎に順次に画素を選択して、この選択した画素の信号をＡ／Ｄ変換器に出力するための垂直走査信号(φＳ,φＲ、φＴ）を出力する回路である。垂直走査回路制御部２０５は、垂直走査回路２０４に接続され、各画素行に対して垂直走査信号を出力するタイミングを制御するための制御回路である。なお、垂直走査回路制御部２０５は、その機能の一部、又は全部をＣＰＵ１２１にもたせてもよい。

ランプ波生成回路２０６は、列並列デジタルＣＤＳ方式Ａ／Ｄ変換に必要な階段状のランプ波を出力する回路である。Ａ／Ｄ変換器２０３は水平読み出し回路２０７に接続されている。水平読み出し回路２０７は、Ａ／Ｄ変換器２０３から画素行毎にパラレルに出力された画像データを、シリアル信号に変換して撮像素子１１０の外部に出力するための回路である。Ａ／Ｄ変換器２０３、及びランプ波生成回路２０６はＡ／Ｄ変換制御部の一部を構成する。なお、Ａ／Ｄ変換の詳細については後述する。

図３は、図２に示した撮像素子１１０における１画素の回路構成を示す図である。図３において、ＰＤ(Photo Diode)は光電変換部であり、ＦＤ(Floating Diffusion)は、光電変換部ＰＤで生成された光電荷を一時的に保持する信号蓄積部である。ここで、信号蓄積部ＦＤは遮光されており、画素部２０２に光が入射されていても、信号蓄積部ＦＤに保持されている信号は変化しないようになっている。

Ｔｒ１は、光電変換部ＰＤをリセットするリセット部、及び光電変換部ＰＤに蓄積した電荷を信号蓄積部ＦＤに転送するゲート部としての機能を併用するトランジスタであり、電荷転送信号φＴにより制御される。

Ｔｒ２は、増幅部として機能する増幅用トランジスタでありソースフォロワアンプを構成する。信号蓄積部ＦＤに蓄積された信号ＶＳＦは、増幅用トランジスタＴｒ２により増幅され、信号読出部として機能する選択トランジスタＴｒ３を介して垂直信号線Ｌｖに出力される。選択トランジスタＴｒ３は、画素選択信号φＳにより制御される。

Ｔｒ４は、光電変換部ＰＤおよび信号蓄積部ＦＤをリセットするリセット部として機能するトランジスタであり、画素リセット信号φＲにより制御されるようになっている。

次に、図４を参照してＡ／Ｄ変換器２０３の構成を説明する。このＡ／Ｄ変換器２０３の基本構成は、列並列デジタルＣＤＳ（Correlated Double Sampling）方式として公知のものである（例えば、技術文献：ＣＸ−ＰＡＬ７１号、ソニー株式会社に掲載されている)。

Ａ／Ｄ変換器２０３は、比較器４０１とラッチ回路４０２とカウンタ４０３を有している。比較器４０１の入力には、図２のＦＤに蓄積された信号ＶＳＦを伝送する垂直信号線Ｌｖと、この垂直信号線ＬＶの画素信号ＶＳＦと比較するための参照信号ＶＲＡＭＰを出力する信号線に接続される。ラッチ回路４０２には、カウンタ４０３の計数値を出力するためのカウンタ出力部、及び比較器４０１の出力部が接続される。カウンタ４０３には、カウンタクロック信号φＣＴＣＫを供給するための信号線、カウンタ４０３をリセットするためのカウンタリセット信号φＣＲを供給するための信号線、及びカウンタ４０３をアップカウンタ、又はダウンカウンタのいずれかに切り替えるためのカウント方向信号φＵＤを供給するための信号線が接続される。

参照信号ＶＲＡＭＰはランプ波生成回路２０６（図２参照）によって生成される。また、カウンタクロック信号φＣＴＣＫ、カウンタリセット信号φＣＲ、カウント方向信号φＵＤは、垂直操作回路制御部２０５、及び垂直走査回路２０４によって生成される。なお、ランプ波生成回路２０６、垂直操作回路制御部２０５、及び垂直走査回路２０４はＡ／Ｄ変換制御部の一部を構成する。

次に、実施形態１の動作を説明する。

実施形態１は、露光量を制御するパラメータとして露光時間を変えて同一被写体を２回撮影し、露光量が異なる２コマの画像データを合成して広ダイナミックレンジ画像データを生成するものである。

まず、図１５のタイミングチャートを参照して、撮像装置の全体的な動作の流れを説明する。

図１５のフィールド同期信号は画像信号読み出しタイミングの基準となる同期信号である。１フィールド期間露光（図１５では露光時間(長）と記載した。）された画像信号は、オーバー露光による画像信号として、電子ローリングシャッタ制御により読み出される。読み出された画像信号はＡ／Ｄ変換され、オーバー露光画像データとして内蔵メモリ１１８に一時的に記憶される。

つぎに、１フィールド期間の途中の所定のタイミングで最初の画素行のすべての光電変換部ＰＤがリセットされる。この光電変換部ＰＤのリセットは、図３の画素リセット信号φＲと電荷転送信号φＴに同時にパルスを引加してＴｒ４とＴｒ１を同時にオンすることにより行う。同様な動作を最後の画素行まで順次繰り返し行う。図１５の点線の斜線がこの動作を示している。そして、次のフィールド同期信号に同期して最初の画素行の電荷転信号φＴにパルスを引加して、光電変換部ＰＤに蓄積された画素信号をＦＤに転送し、つぎに選択トランジスタＴｒ３をオンすることにより画素信号が読み出される。同様な動作を最後の画素行まで順次繰り返し行う。図１５の点線による斜線隣の実線による斜線がこれを示している。ここで、点線による斜線から隣の実線による斜線までの時間が露光時間に相当する。読み出された短時間露光による画像信号はＡ／Ｄ変換され、アンダー露光画像データとして内蔵メモリ１１８に一時的に記憶される。

なお、上記のような画素読み出し制御は、一般に電子ローリングシャッタ制御と称される。

内蔵メモリ１１８に記憶された画像データのうち、アンダー露光による画像データは後述する所定のレベル変換が行われる。つぎに、画像処理回路１１４により、アンダー露光による画像データとオーバー露光による画像データに基づいて、後述する広ダイナミックレンジ画像データを合成するための画像処理が行われる。

画像処理回路１１４により合成された広ダイナミックレンジ画像データは、圧縮伸張部１１９により圧縮処理が施された後、着脱メモリ１２０に記録される。また、画像処理回路１１４により合成された広ダイナミックレンジ画像データに対応した画像はＬＣＤ１１６に表示される。

なお、図１５においては、１フィールド期間をオーバー露光の露光時間としたが、アンダー露光の露光時間と同様に電子ローリングシャッタを利用して１フィール期間以外の露光時間に設定してもよい。図１５に示した露光時間は一例に過ぎない。また、図１５においては、動画データの生成について述べたが、レリーズスイッチを検出した直後のアンダー露光画像データ、及びオーバー露光画像データを合成して得られた広ダイナミックレンジ画像データを静止画像データとして記録するようにしてもよい。

つぎに本実施形態について詳細に説明する。

図５のタイミングチャートは、後述する本実施形態におけるＡ／Ｄ変換変換器２０３の動作と比較するために、通常撮影時のＡ／Ｄ変換器２０３の動作を示したものである。

図５において、画素選択信号φＳが”Ｈ”の期間、信号蓄積部ＦＤに蓄積された信号ＶＳＦが信号出力線ＬＶに出力され、比較器４０１の一方の入力に供給される。画素リセット信号φＲのパルスがトランジスタＴｒ４のゲートに印加されると、信号蓄積部ＦＤの電圧は、電圧ＶＤＤにリセットされる。図５のＶＳＦはφＲの印加と同時にリセット電圧まで上昇している。

次に、Ａ／Ｄ変換器２０３にカウンタリセット信号φＣＲが印加されると、カウンタ４０３はリセット（カウンタ値は０）される。このとき、カウント方向信号φＵＤはダウンカウントに設定されている。次にカウンタクロック信号φＣＴＣＫがカウンタ４０３に出力されると同時に、参照信号ＶＲＡＭＰとしての階段状のランプ波が比較器４０１の他方の入力に供給される。カウンタ４０３はダウンカウントを開始し、そのカウント数を表すデジタルデータ（カウンタ出力）がラッチ回路４０２に出力される。参照信号ＶＲＡＭＰが時間経過とともに低下してＶＳＦと一致すると、比較器４０１の出力φＣＯＵＴが反転する。つぎに、このＶＣＯＵＴの変化を受けて、カウンタ４０３はカウント動作をストップする。ここでカウンタ４０３には最終的に計数されたカウント値が保持されている。このカウンタに保持されているデジタルデータは、リセット信号ＶＲＳＴに相当する。

カウンタクロックφＣＴＣＫは、Ｎｒｓｔ個のパルスが出力されるとパルス出力が停止されて一定の定常値になる。このパルス数Ｎｒｓｔは、リセット電圧ＶＲＳＴより若干大きなアナログ電圧をデジタルデータに変換可能なビット数であればよい。

次に、トランジスタＴｒ１のゲートに電荷転送信号φＴが印加されると、所定の露光時間、光電変換部ＰＤに蓄積された信号電荷が信号蓄積部ＦＤに転送される。図５に示す画素信号ＶＳＩＧがこの転送された信号電荷による電圧に相当する。φＴのパルス出力に同期して、参照信号ＶＲＡＭＰがリセットされる。また、φＴの出力に同期して、カウント方向φＵＤはアップカウンタに切り替えられる。また、比較器４０１の出力φＣＯＵＴはφＲにほぼ同期して反転して”Ｈ”レベルになる。続いて、参照信号ＶＲＡＭＰが時間経過とともに低下しＶＳＦと一致すると、比較器４０１の出力φＣＯＵＴが反転する。ラッチ回路４０２は、比較器４０１の出力信号の反転を受けて、カウンタ４０３のカウント数を表すデジタルデータをラッチする。また、カウンタ４０２のカウント動作がストップする。ここでラッチ回路４０２にラッチされたデジタルデータは、画素信号ＶＳＩＧとリセット信号ＶＲＳＴの加算データに相当する。

カウンタクロックφＣＴＣＫは、Ｎ（ｓｉｇ＋ｒｓｔ）個のパルスが出力されるとパルス出力が停止されて一定の定常値になる。上記パルス数Ｎ（ｓｉｇ＋ｒｓｔ）は、リセット電圧ＶＲＳＴと画素信号ＶＳＩＧを加算した電圧より若干大きなアナログ電圧をデジタルデータに変換可能なビット数であればよい。

以上説明したＡ／Ｄ変換動作の結果、最終的にラッチ回路４０２にラッチされたカウント結果は、画素信号ＶＳＩＧとリセット信号ＶＲＳＴの加算データから、ＶＲＳＴを減算した画素信号ＶＳＩＧに相応したデジタルの画素データに等しい。そして、このラッチ回路４０２にラッチされた画素データは、撮像素子の水平読み出し回路２０７（図１参照）を介して、他の列の同一ラインの画素データとともに撮像素子１１０から、シリアルデータに変換されて読み出される。上述したＡ／Ｄ変換方式は、一般に二重積分方式と呼ばれるものである。

なお、図５は所定の画素行に属する１画素のＡ／Ｄ変換動作を示すが、この所定の画素行に属するすべての画素について、画素列毎に配置されたＡ／Ｄ変換器により同時並列的に同様のＡ／Ｄ変換動作が実行される。そして最初の画素信号ＶＳＩＧのＡ／Ｄ変換が終了すると、次の画素行について同様のＡ／Ｄ変換が実行される。以上の動作が最後の画素行の画素の画素信号ＶＳＩＧの読み出しが完了するまで行なわれる。

図９に、通常撮影時におけるフィールド同期信号と画素選択信号φＳとの関係を表すタイミングチャートを示す。

この画像データの読み出し時間は、略１フィールド期間に設定されている。この読み出された画像データは、画像処理部１１４により、同時化処理、諧調処理、ホワイトバランス処理等の画像処理が施された後、動画としてＬＣＤ１１６に表示されたり、圧縮伸張部１１９で圧縮処理が施され動画データ又は静止画データとして着脱メモリ１２０に記録されたりする。

図６は、いわゆるＡＰＥＸ（Additive system of Photographic EXposure）演算に基づく標準露光よりも小さな露光（以下「アンダー露光」と称する。）で撮影するときの、Ａ／Ｄ変換変換器２０３の動作を示すタイミングチャートである。図６の基本的な動作は図５と同様であるので、以下においては図５と異なるところのみ説明する。

図６においては、アップカウント開始時の参照信号ＶＲＡＭＰの値が図５と異なるのみで、その他は図５と同様である。アンダー露光においては、ランプ波生成回路２０６により、アップカウント開始時のＶＲＡＭＰの電圧を図５の通常撮影時の電圧よりもＶＳＴＡＲＴ１だけ低い値に設定する。いま、図５と同様にしてダウンカウントが終了し、カウンタ４０３にはリセット信号ＶＲＳＴに相当する計数値が保持されているとする。つぎに、参照信号ＶＲＡＭＰが時間経過とともに低下し、このＶＲＡＭＰとＶＳＦが一致すると、比較器４０１の出力φＣＯＵＴが反転する。この信号の反転を受けて、ラッチ回路４０２は、カウンタ４０３のカウント数を表すデジタルデータをラッチする。また、カウンタ４０２のカウント動作がストップする。

ラッチ回路４０２にラッチされた画素データは、撮像素子の水平読み出し回路２０７（図１参照）を介して、他の列の同一ラインの画素データとともに撮像素子１１０から、シリアルデータに変換されて読み出される。

以上説明したＡ／Ｄ変換動作の結果、最終的にラッチ回路４０２にラッチされたカウント結果は、画素信号ＶＳＩＧがＶＳＴＡＲＴ１以下では０、画素信号ＶＳＩＧがＶＳＴＡＲＴ１以上では、ＶＳＦ（＝ＶＳＩＧ＋ＶＲＳＴ）からＶＳＴＡＲＴ１＋ＶＲＳＴを減算した画素データ（＝ＶＳＩＧ−ＶＳＴＡＲＴ１）に等しい。

したがって、アンダー露光の撮影においては、画像合成処理回路１１４により、Ａ／Ｄ変換器２０３の出力データが０のときはそのままにし、それ以外のデータに対しては、ＶＳＴＡＲＴ１に相応したデジタル値を加算するデータ変換処理が行われる。これにより、ＶＳＴＡＲＴ１より大きいＶＳＦを出力する画素の正しい画素信号ＶＳＩＧを得ることができる。後述する画像合成処理を説明するための図１１の太い実線（アンダー露光）は、このデータのレベル変換が行われた画像データＶＳＩＧ＿ＡＤと被写体輝度との関係を示す。例えば、Ａ／Ｄ変換器のＭＳＢを１２ビット、このＭＳＢに対応するＡ／Ｄ変換器の入力アナログ電圧を１Ｖ、ＶＳＴＡＲＴ１を０．３Ｖとするとすると、ＶＳＴＡＲＴ１に相応したデジタル値は、２＾１２＊０．３／１＝１２２９となり、ダウンカウント時間が通常撮影時の約３０％短縮される。

図６は１画素のＡ／Ｄ変換動作を示すが、それぞれの画素行に属するすべての画素について、画素列毎に配置されたＡ／Ｄ変換器により同時並列的に同様のＡ／Ｄ変換動作が実行される。そして最初の行の画素信号ＶＳＩＧのＡ／Ｄ変換が終了すると、次の画素行について同様のＡ／Ｄ変換が実行される。以上の動作が最後の画素行の画素の画素信号ＶＳＩＧの読み出しが完了するまで行なわれる。

このようにしてアンダー露光により撮影されて読み出された１フィールドの画像信号は、内蔵メモリ１１８に一時的に記憶される。

図７は、ＡＰＥＸ演算に基づく標準露光よりも大きな露光（以下「オーバー露光」と称する。）で撮影するときの、Ａ／Ｄ変換変換器２０３の動作を示すタイミングチャートである。図７の基本的な動作は図５と同様であるので、以下においては図５と異なるところのみ説明する。

図７においては、アップカウント終了時の参照信号ＶＲＡＭＰの値が図５と異なるのみで、その他は図５と同様である。オーバー露光においては、アップカウント終了時のＶＲＡＭＰの最大値を図５の通常撮影時の電圧よりも高い値ＶＥＮＤ１に設定する。ＦＤに蓄積された信号ＶＳＦがＶＥＮＤ１よりも小さい場合は、参照信号ＶＲＡＭＰが時間経過とともに低下しＶＳＦと一致すると、比較器４０１の出力φＣＯＵＴが反転する。ラッチ回路４０２は、比較器４０１の出力信号の反転を受けて、カウンタ４０３のカウント数を表すデジタルデータをラッチする。また、カウンタ４０２のカウント動作がストップする。一方、ＦＤに蓄積された信号ＶＳＦがＶＥＮＤ１よりも大きい場合は、ＶＲＡＭＰがＶＥＮＤ１に達した時点で、ランプ波生成回路２０６により、ＶＲＡＭＰを強制的に画素信号ＶＳＩＧが取り得る最大値以上の値に設定する。すると、比較器４０１の出力φＣＯＵＴは強制的に反転し、これにより、カウンタ４０３のカウンタ出力はラッチ回路４０２によりラッチされる。

以上説明したＡ／Ｄ変換動作の結果、最終的にラッチ回路４０２にラッチされたカウント結果は、ＶＳＦ（画素信号ＶＳＩＧとリセット信号ＶＲＳＴを加算したもの）とＶＲＳＴを減算した画素信号ＶＳＩＧに等しい。なお、ＶＳＦがＶＥＮＤ１より大きい値のときは、ラッチ回路４０２には強制的にＶＳＦは一定のＶＥＮＤ１に相応したカウント値がラッチされる。

すなわち、図７におけるＡ／Ｄ変換器２０３の出力データは、ＶＳＦがＶＥＮＤ１よりも小さいときはＶＳＩＧに相応した画像データであり、ＶＳＦがＶＥＮＤ１より大きいときはＶＥＮＤ１に相応した画像データである。後述する画像合成処理を説明するための図１１の細い実線（オーバー露光）は、上述したようなＡ／Ｄ変換が行われた画像データＶＳＩＧ＿ＡＤと被写体輝度との関係を示す。例えば、Ａ／Ｄ変換器のＭＳＢを１２ビット、このＭＳＢに対応するＡ／Ｄ変換器の入力アナログ電圧を１Ｖ、ＶＥＮＤ１を０．６Ｖとするとすると、ＶＥＮＤ１に相応したデジタル値は、２＾１２＊０．６／１＝２４５８となり、アップカウント時間が通常撮影時の約６０％に短縮される。

図７は１画素のＡ／Ｄ変換動作を示すが、それぞれの画素行に属するすべての画素について、画素列毎に配置されたＡ／Ｄ変換器により同時並列的に同様のＡ／Ｄ変換動作が実行される。そして最初の画素信号ＶＳＩＧのＡ／Ｄ変換が終了すると、次の画素行について同様のＡ／Ｄ変換が実行される。以上の動作が最後の画素行の画素信号ＶＳＩＧの読み出しが完了するまで行なわれる。

このようにして、オーバー露光により撮影されて読み出された１フィールドの画像信号は、内蔵メモリ１１８に一時的に記憶される。そして、画像処理回路１１４により、内蔵メモリ１１８に記憶されたアンダー露光撮影により生成された画像データと、オーバー露光撮影により生成された画像データを基に、次に述べる広ダイナミックレンジ画像を合成する画像処理が行われる。

図１１はアンダー露光により撮影された画像データ及びオーバー露光により撮影された画像データと被写体輝度との関係を示す図である。同図において横軸は被写体の輝度、縦軸は画像データの値（画像信号ＶＳＩＧをＡ／Ｄ変換した値にレベル変換処理が施された値であり、ＶＳＩＧ＿ＡＤとする。）を表す。アンダー露光の撮影の場合は、図１１の太い実線で示すように、ＶＳＩＧ＿ＡＤは、既述の通り、ＶＳＩＧがＶＳＴＡＲＴ１以下（被写体輝度がＢＶＳＡＴＲＴ１以下）のときは０である。また、ＶＳＩＧがＶＳＴＡＲＴ１以上（被写体輝度がＢＶＳＡＴＲＴ１以上）のときは、被写体輝度がＢＶＳＴＡＲＴ１のときＶＳＩＧ＿ＡＤ＝ＶＳＴＡＲＴ１を基点として被写体輝度に比例して大きくなる。

一方、オーバー露光による撮影の場合は、図１１の細い実線で示すように、ＶＳＩＧがＶＥＮＤ１以下（被写体輝度がＢＶＥＮＤ以下）のときは被写体輝度に比例して大きくなり、ＶＳＩＧがＶＥＮＤ１以上（被写体輝度がＢＶＥＮＤ１以上）の場合は、一定値（＝ＶＥＮＤ１）となる。

図１２は広ダイナミックレンジ画像の合成処理を説明するための合成処理の概念図である。同図において、直線（ａ）のうち太い実線は、アンダー露光で撮影された画像データのうち、ＶＳＴＡＲＴ１以上の値を有する画像データの値を、オーバー露光の撮影と同じ露光条件で撮影したものと仮定したときの値に変換した直線である。例えば、シャッタースピードのみを変えて、アンダー露光撮影（シャッタースピード：Ｔ１）とオーバー露光撮影（シャッタースピード：Ｔ２）を行った場合、アンダー露光撮影で得られた画像データをＫ倍（Ｋ＝Ｔ２／Ｔ１）する。

ここで、図１２の直線（ａ）で表される画像データのうち、ＢＶＳＴＡＲＴ１とＢＶＥＮＤ１の間の被写体輝度に対応した画像データについては、アンダー露光撮影又はオーバー露光撮影のいずれか一方の画像データを選択する。

図１２から明らかなように、合成画像データの最大値は、画像データの最大値Ｍａｘを越えるので、ニーポイントを設定して高輝度部分を圧縮した諧調特性に変換する。図１２の曲線（ｂ）に従って変換された画像データは、圧縮伸張部１１９により圧縮された後、着脱メモリ」１２０に記録される。また、図１２の曲線（ｂ）に従って変換された画像データは、ＬＣＤ１１６によって画像表示される。

また、図１２から明らかなように、アンダー露光撮影とオーバー露光撮影においては、被写体輝度の重複する部分が必要である。その必用十分な条件はＢＶＳＴＡＲＴ１＜ＢＶＥＮＤ１となることである。したがって、ＶＳＴＡＲＴ１及びＶＥＮＤ１は上記不等式が成立するように設定する。

なお、以上の説明においては、図１２の直線（ａ）で表される画像データのうち、ＢＶＳＴＡＲＴ１とＢＶＥＮＤ１の間の被写体輝度に対応した画像データについては、アンダー露光撮影又はオーバー露光撮影のいずれか一方の画像データを選択するとしたが、アンダー露光撮影による画像データとオーバー露光撮影による画像データの加算平均値を採用してもよい。

また、以上の説明においては、アンダー露光撮影による画像データをオーバー露光の画像データに変換する際に、アンダー露光撮影による画像データに露光時間比を乗算してデータ変換をしたが、この場合、撮像素子や回路特性の誤差により画質が劣化することがある。この問題を解決するために、アンダー露光撮影とオーバー露光撮影の被写体輝度が重複する部分の画素データの統計的処理（例えば総和）により正確に露光量比を求め、この露光量比によりアンダー露光撮影による画像データをオーバー露光の画像データに変換するようにしてもよい。

本実施形態によれば、アンダー露光撮影においては、ＦＤに蓄積された信号ＶＳＦのうちＶＳＴＡＲＴ１以下の信号電圧に対するアップカウントが行われないのでＡ／Ｄ変換を高速化することができる。また、オーバー露光撮影においては、ＦＤに蓄積された信号ＶＳＦのうちＶＥＮＤ１以上の信号電圧に対するアップカウントが行われないのでＡ／Ｄ変換を高速化することができる。図１０に、アンダー露光撮影又はオーバー露光撮影におけるフィールド同期信号と画素選択信号φＳとの関係を表すタイミングチャートを示す。図９の通常撮影時と比較してフィールド期間を短くすることができる。

したがって、本実施形態においては撮像素子を高速駆動することなく短時間でＡ／Ｄ変換を行うことができるので、消費電力を低減することができる。また、撮像素子を高速駆動することなく広ダイナミックレンジ画像データを高速に生成することができるので、動画撮影に好適な広ダイナミックレンジ画像データを得るための撮影を行うことができる。
[実施形態２]
次に、本発明の実施形態２について説明する。

実施形態１においては、アンダー露光、オーバー露光のそれぞれにより撮影されて読み出された画像データを基に広ダイナミックレンジ画像データを合成した。これに対して本実施形態は、アンダー露光撮影、標準露光撮影、及びオーバー露光撮影により読み出された画像データを基に、広ダイナミックレンジ画像データを合成するものである。

以下の説明においては実施形態１と異なるところのみを説明する。

図１６に撮像装置の全体的な動作の流れを示す。

図１６においては、図１５のアンダー露光撮影とオーバー露光撮影の間に標準露光撮影が加わった点、及びアンダー露光撮影、オーバー露光撮影、標準露光撮影のそれぞれの撮影により得られた画像データを合成して広ダイナミックレンジ画像データを合成する点以外は、実施形態１と同様である。

つぎに本実施形態について詳細に説明する。

図８は、ＡＰＥＸ演算に基づく標準露光で撮影するときの、Ａ／Ｄ変換器２０３の動作を示すタイミングチャートである。本実施形態においては、実施形態１におけるオーバー露光撮影とアンダー露光撮影に加えて標準露光撮影を行い、この標準露光撮影において被写体の中間的な輝度分布を有する部分の画像データを生成する。標準露光撮影においては、ＦＤに蓄積された信号ＶＳＦが、ＶＳＴＡＲ２からＶＥＮＤ２の間の信号のみをアップカウントする。アップカウントの開始時の動作は、実施形態１ではＶＲＡＭＰの初期値がＶＳＴＡＲＴ１であったのに対して本実施形態ではＶＳＴＡＲＴ２である点以外は、実施形態１におけるアンダー露光撮影におけるＡ／Ｄ変換の動作と同じである。また、アップカウント終了時の動作は、実施形態１ではアップカウント終了時のＶＲＡＭＰの値がＶＥＮＤ１であったのに対して本実施形態ではＶＥＮＤ２である点以外は、実施形態１におけるオーバー露光撮影におけるＡ／Ｄ変換の動作と同じである。

図８は１画素のＡ／Ｄ変換動作を示すが、それぞれの画素行に属するすべての画素について、画素列毎に配置されたＡ／Ｄ変換器により同時並列的に同様のＡ／Ｄ変換動作が実行される。そして最初の画素信号ＶＳＩＧのＡ／Ｄ変換が終了すると、次の画素行について同様のＡ／Ｄ変換が実行される。以上の動作が最後の画素行の画素信号ＶＳＩＧの読み出しが完了するまで行なわれる。

このようにして標準露光により撮影されて読み出された１フィールドの画像信号は、内蔵メモリ１１８に一時的に記憶される。そして、画像処理回路１１４により、内蔵メモリ１１８に記憶されたアンダー露光撮影により読み出された画像データ、標準露光撮影により読み出された画像データ、及びオーバー露光撮影により読み出された画像データを基に、次に述べる画像合成処理により広ダイナミックレンジ画像データを合成するための画像処理が行われる。

図１３はアンダー露光により撮影された画像データ、標準露光により撮影された画像データ及びオーバー露光により撮影された画像データと被写体輝度と関係を示す図である。被写体輝度と画像データとの関係を示す図である。同図において横軸は被写体の輝度、縦軸は画像データの値（画像信号ＶＳＩＧをＡ／Ｄ変換した値にレベル変換処理が施された値であり、ＶＳＩＧ＿ＡＤとする。）を表す。アンダー露光による撮影の場合は、図１３の中間レベルの太い実線で示すように、ＶＳＩＧ＿ＡＤは、実施形態１で説明したように画像処理回路１１４によってデータのレベル変換が行われる。その結果、ＶＳＩＧがＶＳＴＡＲＴ１以下（被写体輝度がＢＶＳＡＴＲＴ１以下）のときは０である。また、ＶＳＩＧがＶＳＴＡＲＴ１以上のときは、被写体輝度がＢＶＳＡＴＲＴ１のときＶＳＩＧ＿ＡＤ＝ＶＳＴＡＲＴ１を基点として被写体輝度に比例して大きくなる。

オーバー露光による撮影の場合は、図１１の細い実線で示すように、ＶＳＩＧがＶＥＮＤ１以下（被写体輝度がＢＶＥＮＤ以下）のときは被写体輝度に比例して大きくなり、ＶＳＩＧがＶＥＮＤ１以上（被写体輝度がＢＶＥＮＤ１以上）の場合は、一定値（ＢＶＥＮＤ１）となる。

標準露光による撮影の場合は、図１３の最も太い実線で示すように、ＶＳＩＧ＿ＡＤは、ＶＳＩＧがＶＳＴＡＲＴ２以下（被写体輝度がＢＶＳＡＴＲＴ２以下）のときは０であり、ＶＳＩＧがＶＳＴＡＲＴ２以上（被写体輝度がＢＶＳＡＴＲＴ２以上）で且つＶＥＮＤ２以下（被写体輝度がＢＶＥＮＤ２以下）のときは、被写体輝度がＢＶＳＡＴＲＴ２のときＶＳＩＧ＿ＡＤ＝ＶＳＴＡＲＴ２を基点として被写体輝度に比例して大きくなる。そして、ＶＳＩＧがＶＥＮＤ２以上（被写体輝度がＢＶＥＮＤ２以上）の場合は、一定値（＝ＢＶＥＮＤ２）となる。

図１４は広ダイナミックレンジ画像の合成処理を説明するための合成処理の概念図である。同図において、直線（ａ）のうち中間レベルの太い実線は、アンダー露光で撮影された画像データのうち、ＶＳＴＡＲＴ１−ＶＲＳＴ以上の値を有する画像データを、オーバー露光の撮影と同じ露光条件で撮影したものと仮定したときの値に変換した直線である。この変換の方法は実施形態１と同様に行う。

ここで、図１４の直線（ａ）で表される画像データのうち、ＢＶＳＴＡＲＴ２とＢＶＥＮＤ１の間の被写体輝度に対応した画像データ、及びＢＶＳＴＡＲＴ１とＢＶＥＮＤ２の間の被写体輝度に対応した画像データについては、アンダー露光撮影又はオーバー露光撮影のいずれか一方の画像データを選択する。

図１４から明らかなように、合成画像データの最大値は、画像データの最大値Ｍａｘを越えるので、ニーポイントを設定して高輝度部分を圧縮した諧調特性に変換する。図１４の曲線（ｂ）に従って変換された画像データは、圧縮伸張部１１９により圧縮された後、着脱メモリ１２０に記録される。また、図１４の曲線（ｂ）に従って変換された画像データは、ＬＣＤドライバ１１５を介してＬＣＤ１１６によって画像表示される。

また、図１４から明らかなように、アンダー露光撮影、標準露光撮影、及びオーバー露光撮影においては、被写体輝度の重複する部分が必要である。その必用十分な条件はＢＶＢＶＳＴＡＲＴ２＜ＢＶＥＮＤ１、且つＳＴＡＲＴ１＜ＢＶＥＮＤ２となることである。したがって、ＶＳＴＡＲＴ１、ＶＥＮＤ１、ＶＳＴＡＲＴ２、ＶＥＮＤ２は上記不等式が成立するように設定する。

なお、以上の説明においては、図１４の直線（ａ）で表される画像データのうち、ＢＶＳＴＡＲＴ１とＢＶＥＮＤ２の間の被写体輝度に対応した画像データ、及びＢＶＳＴＡＲＴ２とＢＶＥＮＤ１の間の被写体輝度に対応した画像データについては、いずれか一方の画像データを選択するとしたが、アンダー露光撮影による画像データと標準露光撮影による画像データの加算平均処理、及び標準露光撮影による画像データとオーバー露光撮影による画像データの加算平均値を採用してもよい。

また、以上の説明においては、アンダー露光撮影による画像データ及び標準露光撮影による画像データをオーバー露光の画像データに変換する際に、露光時間の比を乗算して画像データを変換したが、この場合、撮像素子や回路特性の誤差により画質が劣化することがある。この問題を解決するために、アンダー露光撮影又は標準露光撮影と、オーバー露光撮影の被写体輝度が重複する部分の画素データのそれぞれの統計的処理（例えば総和）により正確に露光量比を求め、この露光量比によりアンダー露光撮影による画像データをオーバー露光の画像データに変換するようにしてもよい。

また、図１６に示す露光時間の組み合わせは一例であってさまざまな露光時間の組み合わせが考えられる。

本実施形態においては、実施形態１のアンダー露光撮影、オーバー露光撮影に加えて標準露光撮影を行い、これら３種類の露光に基づく画像データを合成して広ダイナミックレンジ画像を合成するので、実施形態１に比べて、より広い輝度範囲を有する被写体に対しても白飛びや黒つぶれが抑制された広ダイナミックレンジ画像データを得ることができる。

また、本実施形態においては、アンダー露光の撮影においては、ＦＤに蓄積された信号ＶＳＦのうちＶＳＴＡＲＴ１−ＶＲＳＴ以下の信号電圧に対するアップカウントが行われないのでＡ／Ｄ変換を高速化することができる。また標準露光撮影においては、ＦＤに蓄積された信号ＶＳＦのうちＶＳＴＡＲＴ２−ＶＲＳＴ以下及びＶＥＮＤ２−ＶＲＳＴ以上の信号電圧に対するアップカウントが行われないのでＡ／Ｄ変換を高速化することができる。

さらに、オーバー露光の撮影においては、ＦＤに蓄積された信号ＶＳＦのうちＶＥＮＤ１−ＶＲＳＴ以上の信号電圧に対するアップカウントが行われないのでＡ／Ｄ変換を高速化することができる。

したがって、本実施形態においては撮像素子を高速駆動することなく短時間でＡ／Ｄ変換を行うことができるので、消費電力を低減することができる。また、撮像素子を高速駆動することなく広ダイナミックレンジ画像データを高速に生成することができるので、動画撮影に好適な広ダイナミックレンジ画像を得るための撮影を行うことができる。

実施形態１においては、アンダー露光、オーバー露光のそれぞれにより撮影されて読み出された画像データを基に広ダイナミックレンジ画像を合成した。また、実施形態２においては、アンダー露光、適正露光、及びオーバー露光により撮影されて読み出された画像データを基に、広ダイナミックレンジ画像を合成した。しかし、本発明はこれらに限ることなく、アンダー露光、適正露光、オーバー露光の任意の組み合わせにより広ダイナミックレンジ画像を合成す撮像装置に適用可能である。

また、本発明は上述した実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化することもできる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成することもできる。さらに異なる実施形態にわたる構成要素を適宜組み合わせてもよい。このように、発明の趣旨を逸脱しない範囲において種々の変形や応用が可能である。

１０１…レンズ
１０２…モータ
１０３…フォーカス制御部
１０４…絞り機構
１０５…モータ
１０６…絞り制御部
１０７…シャッター機構
１０８…プランジャー
１０９…プランジャー制御部
１１０…撮像素子
１１２…ＡＥ処理部
１１３…ＡＦ処理部
１１４…画像処理部
１１５…ＬＣＤドライバ
１１６…ＬＣＤ
１１７…不揮発性メモリ
１１８…内蔵メモリ
１１９…圧縮伸張部
１２０…着脱メモリ
１２１…ＣＰＵ
１２２…入力部
１２３… 電源部
１２４… データバス

Claims

露光量の異なる複数の画像データを基に、広ダイナミックレンジの画像データを合成する撮像装置において、
露光量に応じた光電変換信号を生成するための画素が多数配列された撮像素子と、
第１の露光量と該第１の露光量よりも少ない第２の露光量に基づいて撮影を行う撮像制御部と、
上記第１の露光量に基づいて撮影を行うときは予め設定された第１レベル以下の画素信号のＡ／Ｄ変換のみを行い、上記第２の露光量に基づいて撮影を行うときは予め設定された第２レベル以上の画素信号のＡ／Ｄ変換のみを行うＡ／Ｄ変換制御部と、
上記撮影によって得られた画像データを基に広ダイナミックレンジの画像データを合成する画像処理部と、
を備えたことを特徴とする撮像装置。
上記撮像制御部は、さらに上記第１の露光量と上記第２の露光量の中間レベルの第３の露光量に基づいて撮影を行うものであり、上記Ａ／Ｄ変換制御部は、上記第３の露光量に基づいて撮影を行うときは、予め設定された第３レベルと予め設定された第４レベル画素信号の間のＡ／Ｄ変換のみを行うことを特徴とする請求項１に記載の撮像装置。
上記Ａ／Ｄ変換制御部は二重積分方式のＡ／Ｄ変換を行なうものであることを特徴とする請求項１及び請求項２に記載の撮像装置。
上記画像処理部によって生成された画像データを動画像として表示する表示部をさらに備えたことを特徴とする請求項１に記載の撮像装置。